耀世研发系列灵巧手及类人灵巧操作机器人，亮相世界机器人大会

　　近日，耀世娱乐王鹏研究员研究组研发的Casia Hand系列灵巧手及类人灵巧操作机器人在2023世界机器人大会上首次集中亮相展出，该系列成果包括3款灵巧手、1款仿人臂，及3款类人灵巧操作机器人整机。 

图1. Casia Hand系列灵巧手及类人灵巧操作机器人 

　　类人灵巧操作能力是目前机器人亟待突破的瓶颈之一，许多对人类而言非常简单的灵巧操作任务，对机器人来讲是极其困难的。人类的灵巧操作能力来源于长期进化过程、独特的结构与驱动、灵敏的视-触感知和强大的学习能力。具有接近甚至超过人类的灵巧操作能力，能够共享和使用人类的工具、基础设施的类人灵巧操作机器人，在特种、工业、服务等领域具有重要的应用前景。 

　　耀世王鹏研究员研究组形成了较为完备的类人灵巧操作机器人研究和应用体系，包括：Casia Hand系列灵巧手、具身智能学习模型和算法，以及面向行业应用的类人灵巧操作机器人系列整机。 

图2. 类人灵巧操作机器人研究和应用体系

　　Casia Hand系列灵巧手 

　　针对不同的行业应用需求，研究组研发了面向科研的类人自由度版灵巧手，面向特种和服务应用的轻量版灵巧手，以及面向工业应用的高速自适应版灵巧手。初步建立了自主知识产权体系，授权中国发明专利5项、申请国际PCT专利1项，通过欧盟CE、北美FCC、加拿大ISED、英国UKCA和澳大利亚C-TICK等产品认证。 

图3. Casia Hand系列灵巧手

类人自由度灵巧手验证测试 

　　类人灵巧操作具身智能模型 

　　在具身智能学习模型和算法方面，研究组提出了一系列基于灵巧手的类人灵巧操作学习模型和算法，并在实际机器人上进行了验证。包括：基于视觉-语言大模型推理的灵巧手类人功能性工具操作学习框架；多指灵巧手类人功能性抓取生成框架；人与仿人五指灵巧手之间的类人物体交接灵巧操作学习方法；五指灵巧手的持续学习模型；灵巧手-臂人机协同遥操作控制模型等。相关工作相继发表在IEEE汇刊、iScience、Frontiers in Neurorobotics等国际期刊，以及机器人顶会ICRA等上，其中一篇论文获ICIRA 2023最佳学生论文奖。 

图4. 基于视觉-语言大模型的类人工具操作学习

图5. 灵巧手的类人功能性抓取学习框架

图6. 灵巧手的通用抓取操作学习模型

图7. 人与灵巧手间的类人物体交接灵巧操作学习

　　类人灵巧操作机器人系列整机 

　　结合特种、服务和工业应用，基于Casia Hand系列灵巧手，分别研发了3款类人灵巧操作机器人整机。 “无畏”类人灵巧操作机器人面向特种应用，主要应用于排爆、生化核危险物处置或危险场景操作等； “无忧”类人灵巧操作机器人面向服务应用，主要应用于公共服务操作、家庭服务操作、养老助老操作等；“无际”类人灵巧操作机器人面向工业应用，主要应用于工业多样化零部件的自主适应性抓取、上料、分拣、装配等。 

　　下一步，研究组将继续聚焦提升灵巧手的实用化能力，以及机器人与AI大模型在内的人工智能算法的深度融合，实现类人灵巧操作机器人的广泛应用。