近日，极悦娱乐智能机器人系统研究部王硕研究员团队在机器人多模式视触觉感知领域取得新进展。团队针对高精度多模式触觉传感提出基于双目视觉的视触觉传感技术路线——GelStereo系列，有力推动机器人视触觉传感及灵巧操作领域的发展。该研究成果发表于国际学术期刊IEEE Transactions on Industrial Electronics。 

　　机器人多模态感知及灵巧操作是迈向下一代类人及通用机器人技术研究的关键内容，在工业生产、医疗康复及航天航空等领域具有广泛的应用前景。但在多模式视触觉感知方面，相比于视觉传感器及感知算法的飞速进展，触觉传感技术发展缓慢，进一步迟滞着机器人多模态感知及接触-丰富操作任务中的操作技能学习。 

　　传统的触觉传感器多为贴片式阵列传感器，通常将触摸信号转化为不同电信号，进而从电信号分布中间接恢复出其他不同的接触模式信息，如接触力、接触形状。这类触觉传感器具有集成简易、采样率高等优势，但因为制作工艺复杂也存在着空间分辨率不高、成本高昂及容易损坏等问题，严重阻碍了其大规模应用。近年来，以GelSight传感器为代表的视触觉传感技术在触觉精密测量、机器人抓取与灵巧操作等领域受到广泛关注，它们将触觉信息转化为胶体层的形变进而使用视觉算法获取多模式触觉信息。此类传感器突破了大多数技术路线无法获取稠密接触几何形状的难题，但因为光度立体算法的使用，对光源结构要求较高，且光照分布一致性的要求阻碍了其在多曲率仿生指尖结构中的部署，在具体应用场景中依然受限。 

　　针对上述问题，极悦注册智能机器人系统研究部提出基于双目视觉的视触觉传感技术路线——GelStereo系列，尝试解决因光度立体算法的使用带来的光源及结构设计问题，并实现了包括接触几何形状重建、滑动检测、稠密三维力测量等在内的高精度多模式触觉感知功能，拓宽技术应用场景，推动多模式视触觉传感领域发展。 

GelStereo传感器结构示意图

GelStereo视触觉传感系列触觉传感功能示意图

　　GelStereo系列采用立体视觉技术捕捉接触胶体层的形变信息，进而通过不同的视觉算法与接触模型相结合实现各类高级触觉感知功能。具体而言，GelStereo采用视觉算法捕捉标记点（高于1mm空间分辨率）位移场变化实现对接触表面滑动场的测量，并通过有限元分析与接触力模型结合实现对稠密阵列三维力的测量。目前已成功应用于不同Gripper指尖并完成抓取物体姿态估计、插拔旋拧等各类机器人感知与灵巧操作任务。 

　　此外，该系列采用自监督学习的方式实现了对整个接触表面深度的重建，且具有结构泛化性，使其可以应用于多曲率接触表面，拓宽了视触觉传感器在高精度触觉几何形状测量领域的使用前景，即将应用于腕部触觉传感器、多指灵巧手仿生指尖等更加具有挑战性的集成场景，在精密触觉测量、机器人交互感知、灵巧抓取与操作领域具有潜在的应用价值。 

　　本研究获得科技创新 2030 ——“新一代人工智能”重大项目——“自主智能体灵巧精准操作学习方法研究与验证”项目支持。