买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国计量大学

摘要：本发明公开了一种基于CAD图与深度学习算法的机械臂辅助图像配准技术，涉及图像配准领域，包括步骤一：准备第一网络数据：根据被拍照的对象，先加载其某期望拍照角度形成的平面CAD模型，然后用相机在不同角度、距离和位置下拍摄该模型对应的30张照片，作为第一组数据集，然后更换拍照对象，及其对应的某一期望拍照角度的CAD模型，再次进行拍摄，重复此过程，直到收集不低于2000组数据图片；对于每组数据集，进行人工标定匹配度，评定一个0到1之间的匹配度得分。该基于CAD图与深度学习算法的机械臂辅助图像配准技术，解决了人工选择很难选择出最优参数的技术问题，本案通过深度学习算法评估机械臂移动的效果，从而避免了人工选择的局限性。

主权项：1.一种基于CAD图与深度学习算法的机械臂辅助图像配准技术，其特征在于，包括以下步骤：步骤1：准备第一网络数据：根据被拍照的对象，先加载其某期望拍照角度形成的平面CAD模型，然后用相机在不同角度、距离和位置下拍摄该模型对应的30张照片，作为第一组数据集，然后更换拍照对象，及其对应的某一期望拍照角度的CAD模型，再次进行拍摄，重复此过程，直到收集不低于2000组数据图片；对于每组数据集，进行人工标定匹配度，评定一个0到1之间的匹配度得分，该得分表示CAD图与其对应照片之间的匹配程度，0表示完全不匹配，1表示完全匹配；每组数据都由6名专业工程师标记匹配度，去除最大和最小值后，取剩余值的平均值作为标签，对每张照片进行标签确定，形成标签集；步骤2：训练第一神经网络：将CAD图与其对应的照片作为输入，以其标签为输出，训练深度学习模型，本案采用7层网络结构的深度学习模型，可采用以下架构：第一层：卷积层，包含30个大小为3的一维卷积核，激活函数为ReLU；第二层：卷积层，包含60个大小为6的一维卷积核，激活函数为ReLU；第三层：池化层，采用最大池化，核大小为2，步长为3；第四层：卷积层，包含70个大小为3的一维卷积核，激活函数为ReLU；第五层：全连接层，输出为10个神经元，激活函数为ReLU；第六层：全连接层，输出1个神经元，激活函数为sigmoid；根据在测试集上的预测效果，可以尝试调整网络结构、损失函数、优化器以获得更好的性能，完成第一网络的训练；步骤3：使用第一网络构建第二网络的数据：设定机械臂的控制参数如下：P＝{θ1，θ2，...，θn，v1，v2，...，vn，a1，a2，...，an，x，y，z，vx，vy，vz}其中，θ1，θ2，...，θn是关节角度，v1，v2，...，vn是关节速度，a1，a2，...an是关节加速度，x，y，z是末端执行器的位置，vx，vy，vz是末端执行器的速度；首先载入CAD图纸，然后在当前相机位置拍摄一张照片，再设定一组控制参数P，机械臂根据设定的控制参数移动到新位置，并在稳定后拍摄第二张照片；将预先载入的CAD图纸与这两次拍摄的照片分别输入到第一网络中，网络输出两个得分：s1移动前和s2移动后；计算得分差值d＝s1-s2，d的值域为[-1，1]，这个差值用于评估机械臂移动的效果，d越小机械臂移动的效果越好；将机械臂移动前拍摄的照片和机械臂的控制参数作为输入数据，将计算出的得分差异d作为输出数据，以此构建第二神经网络的训练数据集；重复上述步骤，构建包含10000组数据的数据集；步骤4：训练第二网络：使用步骤3中构建的包含10000组数据的数据集，每组数据包括机械臂移动前的照片、机械臂的控制参数和移动前后的得分差值，将数据集划分为训练集和测试集，按照85％、15％的比例进行划分；以机械臂移动前拍摄的照片、机械臂的控制参数为输入，以得分差值d作为输出，以此训练神经网络，可采用以下架构：第一层：卷积层，包含30个大小为3的一维卷积核，激活函数为ReLU；第二层：卷积层，包含70个大小为7的一维卷积核，激活函数为ReLU；第三层：池化层，采用最大池化，核大小为3，步长均为2；第四层：卷积层，包含90个大小为3的一维卷积核，激活函数为ReLU；第五层：全连接层，输出为20个神经元，激活函数为ReLU；第六层：全连接层，输出1个神经元，激活函数为sigmoid；最后输出网络预测值，也就是得分差值。

全文数据：

权利要求：

百度查询： 中国计量大学 一种基于CAD图与深度学习算法的机械臂辅助图像配准技术