买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：武汉理工大学

摘要：本发明公开了一种钢质模锻件磁痕识别与重建方法及系统，通过机器人带动相机获得已知不同位置下的锻件图像；通过目标检测网络识别带有磁痕的锻件图像，并选取任意一张图像作为参考图像，获得该图像中磁痕标识框位置；将带有磁痕的锻件图像作为多视图立体深度恢复模型的输入，获得参考图像深度信息；计算参考图像中磁痕区域位置，通过目标分割网络获得磁痕像素位置，并通过图像坐标转化到参考图像中；利用磁痕像素与深度图的2D‑3D位置对应关系，重构磁痕在相机坐标系下的三维坐标，结合机器人与相机的位姿关系，转换三维坐标到机器人坐标系下。本发明为进一步的机器人打磨提供磁痕空间位置信息，有利于实现全自动化的磁粉检测。

主权项：1.一种钢质模锻件磁痕识别与重建方法，其特征在于，包括以下步骤：步骤1：机器人带动相机，获得机器人已知不同位置下的锻件图像Iimg；步骤2：通过目标检测网络，识别带有磁痕的锻件图像Iimg_crack，并从Iimg_crack选取任意一张图像作为参考图像Iref，其它图像为源图像Isource，获得参考图像Iref中磁痕标识框位置；其中，所述的目标检测网络为区域卷积神经网络，图像特征提取为四个基于自注意力机制的残差块，每个残差块中包含一个下采样层，4个自注意力层、一个卷积层和与下采样层的串联，下采样层的维度为其中H，W为锻件图像尺寸，C为特征数量，i为第i个残差块；步骤3：基于步骤2中参考图像Iref和源图像人ource，通过多视图立体深度恢复网络，获得参考图像Iref深度信息；其中，所述深度恢复网络为基于代价体构建的多视图立体深度恢复网络，其中特征提取模块采用编码-解码结构，在该结构中间加入自注意力模块；源图像Isource通过可微单应性变换转换到参考图像Iref坐标系下： 其中，Hid表示第i个源图像Isource与参考图像Iref在深度为d上的同构关系，i表示源图像的个数，表示K1和Ki均表示相机的内参，Ri，ti和R1，t1分别表示源图像Isource和参考图像Iref相对于世界坐标系的旋转矩阵和平移向量；I表示单位矩阵；n表示参考图像所对应的相机主轴；步骤4：基于步骤2中参考图像Iref中磁痕标识框位置，计算磁痕区域图像Irer_seg，将磁痕区域图像Iref_seg作为目标分割网络的输入图像，获得磁痕在磁痕区域图像Irer_seg中的像素位置，并计算磁痕在参考图像Iref下的位置信息；步骤5：基于步骤3中参考图像Iref深度信息及步骤4中磁痕在参考图像Iref下的位置信息，通过图像2D-3D位置对应，重构磁痕的三维信息，结合机器人与相机位姿关系，转换三维信息到机器人坐标系下。

全文数据：

权利要求：

百度查询： 武汉理工大学 一种钢质模锻件磁痕识别与重建方法及系统