买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:北京深谋科技有限公司
摘要:本发明公开了一种基于RGB‑D视觉引导的家庭服务机器人智能抓取方法及系统,采用RGB‑D视觉传感器,结合RGB图像和深度信息,实现对周围环境和物体的感知和识别;首先,通过目标检测网络识别出RGB图像中抓取目标的种类和锚定框信息,随后,利用深度信息和目标网络检测结果融合生成目标物体的三维点云数据,将生成的点云数据送入到位姿估计网络中,计算出目标物体的最佳抓取位姿,最终,通过位姿转换将计算得到的抓取位姿转换为机器人坐标系下,引导机器人进行抓取。本发明系统提供直观的人机交互界面,用户可以通过简单的操作指令设定任务和监控抓取过程,进一步增强系统的操作便携性和用户体验。
主权项:1.一种基于RGB-D视觉引导的家庭服务机器人智能抓取方法,其特征在于,包括:步骤1,家庭服务机器人通过携带的RGB-D深度相机采集工作区域的原始图像;步骤2,对所述家庭服务机器人进行手眼标定,求解RGB-D深度相机相对于机器人末端的位置转换关系,得到机器人末端与RGB-D深度相机之间的变换矩阵;步骤3,采用特征融合的深度神经网络算法,搭建目标检测网络及6D抓取位姿估计网络;将采集到的RGB图像送入所述目标检测网络,得到不同目标的类别及其锚定框信息,从RGB图像中裁剪出目标子图,并与相应的深度子图融合生成目标点云;将所述目标点云输入6D抓取位姿估计网络,预测目标的抓取位置以及抓取姿态,为机器人的动作引导及抓取控制提供目标信息;步骤4,根据所述位置转换关系,将步骤3得到的目标6D抓取位姿转换为机器人抓取位姿,引导控制安装于所述机器人末端的夹爪完成目标抓取;步骤5,对所述机器人目标抓取过程中的RGB图像、深度图像、点云图像、抓取位姿以及控制信息进行数据可视化和人机交互。
全文数据:
权利要求:
百度查询: 北京深谋科技有限公司 一种基于RGB-D视觉引导的家庭服务机器人智能抓取方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。