买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:中国人民解放军国防科技大学
摘要:本发明涉及一种基于多模态融合模仿学习的灵巧手自适应抓取方法,包括:执行多模态数据的采集,并构建出多模态数据集;其中,所述多模态数据集包括:与灵巧手抓取动作相对应的视觉图像、手指关节扭矩和手指关节角度;基于所述多模态数据集构建用于控制灵巧手的自适应抓取模型;针对抓取目标,所述自适应抓取模型输出供所述灵巧手执行的动作指令以自适应抓取所述抓取目标。本发明提出的灵巧手自适应抓取方法以视觉、手指关节角度、手指关节扭矩三种模态数据为依据,相比现有灵巧手抓取算法具有更高的成功率、更强的物体类型适应性。
主权项:1.基于多模态融合模仿学习的灵巧手自适应抓取方法,其特征在于,包括以下步骤:S1.执行多模态数据的采集,并构建出多模态数据集;其中,所述多模态数据集包括:与灵巧手抓取动作相对应的视觉图像、手指关节扭矩和手指关节角度;S2.基于所述多模态数据集构建用于控制灵巧手的自适应抓取模型;其中包括:S21.对所述多模态数据集进行特征提取,以获得多组特征向量,其中,多组所述特征向量包括:与所述视觉图像相对应的第一特征向量,与所述手指关节扭矩相对应的第二特征向量,与所述手指关节角度相对应的第三特征向量;S22.将属于连续状态的多组所述特征向量进行多模态融合,以获得连续状态的多模态特征;S23.将连续状态的所述多模态特征输入多层感知器获取灵巧手自适应抓取动作输出,以及,对所述多模态数据集进行特征提取的特征提取神经网络,用于进行多模态融合的多模态融合网络和所述多层感知器构成自适应抓取模型;S3.针对抓取目标,所述自适应抓取模型输出供所述灵巧手执行的动作指令以自适应抓取所述抓取目标。
全文数据:
权利要求:
百度查询: 中国人民解放军国防科技大学 基于多模态融合模仿学习的灵巧手自适应抓取方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。