买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：江西省通讯终端产业技术研究院有限公司

摘要：本发明公开了一种基于深度学习语义分割和点云配准的钢包视觉对位方法、装置及设备，基于RGB‑D相机获取的深度图片，利用SegNet网络中的编码结构提取RGB钢包图片特征，解码结构还原钢包轮廓，实现像素级精准分割，最后再从钢包轮廓分割图中提取点云信息；针对传统的点云初始配准算法的成功率低、配准不稳定、点云噪声多、部分重叠等问题，再采用一种半监督快速点云配准方法对钢包轮廓分割图的点云进行配准，以此得到钢包姿态，实现了在浇铸环节小车与钢包精准对位。

主权项：1.一种基于深度学习语义分割和点云配准的钢包视觉对位方法，其特征在于，包括以下步骤：步骤1，通过RGB-D相机采集不同角度下的钢包彩色图和钢包深度图；步骤2，对钢包彩色图进行轮廓标注；步骤3，利用已进行轮廓标注的钢包彩色图，对SegNet网络进行训练，使得SegNet网络对钢包彩色图进行像素级的语义分割，获得钢包分割图；步骤4，将钢包分割图与对应同时采集的钢包深度图结合，提取钢包分割图点云；步骤5，将钢包分割图点云与RGB-D相机采集的钢包原始点云通过半监督快速点云配准方法进行点云配准，并将配准后的钢包位置信息输出，得到钢包位置估计；步骤6，将钢包承运小车移动至钢包位置估计处，然后将钢包放置钢包承运小车上，完成钢包承运小车与钢包的对位；将钢包分割图点云与RGB-D相机采集的钢包原始点云通过半监督快速点云配准方法进行点云配准的具体过程如下：步骤5.1，以RGB-D相机采集的钢包原始点云作为源点云P，以钢包分割图点云作为目标点云Q，将源点云P和目标点云Q作为输入数据，输入13层卷积层的编码器网络，提取源点云P和目标点云Q的特征：源点云特征FP和目标点云特征FQ；步骤5.2，将源点云特征FP和目标点云特征FQ输入到由4层全连接层组成的解码器网络，得到还原后的点云信息；步骤5.3，计算源点云特征FP和目标点云特征FQ之间的特征投影误差r，并根据误差的大小更新所述解码器网络参数； 其中，g为刚性变换矩阵，F是点云的全局特征，p表示源点云，Q表示目标点云；步骤5.4，计算源点云特征FP的雅可比矩阵Ji； 步骤5.5，根据特征投影误差和雅可比矩阵Ji计算增量Δθ，将增量Δθ以及步骤5.2得到的解码器输出的点云信息，输入到损失函数，通过计算损失函数值反向传播到解码器网络和编码器网络，更新整个解码器网络和编码器网络的参数，直到损失函数值误差最小，完成源点云P和目标点云Q的配准，获得钢包三维空间位置信息；Δθ＝-JiTJi-1Jir。

全文数据：

权利要求：

百度查询： 江西省通讯终端产业技术研究院有限公司 一种基于深度学习语义分割和点云配准的钢包视觉对位方法、装置及设备