买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：苏州诺克智能装备股份有限公司

摘要：本申请实施例提供了一种基于深度学习的高反光汽车零件识别上料方法与系统，该方法包括：获取数据集，构建了一个高效的物理模拟引擎来合成数据集，对原始数据集进行扩充，并对数据集进行训练得到相应的权重参数；基于注意力机制的多尺度特征融合的MaskRcnn目标检测网络对堆叠零件进行实例分割和目标对象检测，得到局部RGB图像和深度图；对零件反光部位的深度图置零，根据相机内参将深度图转为点云，使用点云特征提取模块对缺失点云进行特征提取，获得高质量的点云；将RGB图像和高质量的点云输入FFB6D位姿估计网络，输出位姿；通过机器人手眼标定，并向机器人发送抓取指令进行抓取。

主权项：1.一种基于深度学习的高反光汽车零件识别上料方法，其特征在于，包括：S1，获取数据集，构建高效的物理模拟引擎合成数据集，对原始数据集进行扩充，并对数据集进行训练得到相应的权重参数；S2，基于注意力机制的多尺度特征融合的MaskRcnn目标检测网络对堆叠零件进行实例分割和目标对象检测，得到局部RGB图像和深度图；S3，对零件反光部位的深度图置零，根据相机内参将深度图转为点云，改进PF-NET网络对去除零件反光部位的点云进行补全；在编码器阶段，使用pointmlp的点云特征提取模块对三个不同尺度的缺失点云进行特征提取，生成多维特征向量，获得高质量的点云；S4，将RGB图像和高质量的点云输入FFB6D位姿估计网络，输出位姿；S5，通过机器人手眼标定，完成相机坐标系到机器人基坐标系的转换，并向机器人发送抓取指令进行抓取；步骤S2中基于注意力机制的多尺度特征融合的MaskRcnn目标检测网络对堆叠零件进行实例分割和目标对象检测之后还包括：使用ResNet-101作为网络的骨干，将融合相加后的特征作为语义分支的输入，将语义信息融合到mask分支，增强分割准确度；根据每个实例的bounding-box和mask，对图像中得分最高的零件进行裁剪，得到局部RGB图像和深度图；步骤S3中，训练PF-NET网络时，自定义去除和补全零件反光部位的点云个数，引入注意力机制来强调点云中反光部位的特征补全点云坐标；根据2D图像素的位置，寻找距离像素坐标最近的点云的深度进行赋值，得到完整的深度图。

全文数据：

权利要求：

百度查询： 苏州诺克智能装备股份有限公司 一种基于深度学习的高反光汽车零件识别上料方法与系统