买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：青岛理工大学;山东大学;河北工业大学

摘要：本发明涉及一种装配机器人遥操作环境的数字孪生建模方法，包括以下步骤：采集遥操作环境的图像；识别正在装配的零部件；查询装配体装配顺序，根据正在装配的零部件获取已装配零部件列表；根据上述列表生成当前装配体的三维模型，并计算当前装配体在图像采集设备坐标系中的位姿信息；加载机器人三维模型，确定机器人坐标系与图像采集设备坐标系的坐标转换关系；根据坐标转换关系确定机器人在图像采集设备坐标系中的位姿信息；根据当前装配体和机器人在图像采集设备坐标系中的位姿信息确定当前装配体和机器人的相对位置关系；基于当前装配体的三维模型、机器人三维模型以及当前装配体和机器人的相对位置关系建立遥操作环境的数字孪生模型。

主权项：1.一种装配机器人遥操作环境的数字孪生建模方法，其特征在于，包括以下步骤：通过图像采集设备采集遥操作环境的图像；识别图像中当前正在装配的零部件；查询装配体装配顺序，根据当前正在装配的零部件获取已装配零部件列表；根据已装配零部件列表生成当前装配体的三维模型，并计算当前装配体在图像采集设备坐标系中的位姿信息；加载机器人三维模型，确定机器人坐标系与图像采集设备坐标系的坐标转换关系；根据坐标转换关系对图像中的机器人进行方位标定，确定机器人在图像采集设备坐标系中的位姿信息；根据当前装配体在图像采集设备坐标系中的位姿信息以及机器人在图像采集设备坐标系中的位姿信息确定当前装配体和机器人的相对位置关系；基于当前装配体的三维模型、机器人三维模型以及当前装配体和机器人的相对位置关系建立遥操作环境的数字孪生模型；其中，所述计算当前装配体在图像采集设备坐标系中的位姿信息的步骤具体为：对深度图像进行预处理，剔除背景，保留当前装配体的深度图像；利用图像采集设备的内参和成像模型将当前装配体的深度图像转换为装配体点云；将装配体点云输入至点云特征提取网络提取装配体的点云特征；将装配体的点云特征输入至预训练的位姿估计网络，输出装配体在图像采集设备坐标系中的位姿信息；其中，所述位姿估计网络的预训练过程为：确定初始信息；提取并记录初始视角下装配体三维模型点云的标签位姿信息，标签位姿信息包括三维模型点云中每个点的旋转矩阵Ri和偏移矩阵Ti，i为三维模型点云中每个点的索引；点云转换；提取装配体三维模型在一与初始视角不同的另一视角下的装配体深度图像，并利用图像采集设备内参和成像模型将该装配体深度图像转换为装配体点云；位姿预测；将装配体点云输入至点云特征提取网络，输出点云逐点特征，将点云逐点特征输入至位姿估计网络，预测每一点的位姿预测信息，包括预测旋转矩阵R′i和预测偏移矩阵T′i；计算每一点的位姿预测信息与标签姿态信息的欧式距离，根据欧式距离生成置信度；若置信度小于设定的阈值，则执行图像更新步骤，若置信度大于设定的阈值或训练次数达到设定值，则输出当前视角的装配体最优位姿预测信息；判断训练是否完成，未完成则返回点云转换步骤，更换下一视角下的装配体深度图像继续训练，完成则执行图像更新步骤；图像更新；将预测旋转矩阵R′i和预测偏移矩阵T′i作为输入，对装配体点云进行位移和旋转变换，更新装配体点云的三维坐标，将更新后的装配体点云输入至点云特征提取网络继续训练。

全文数据：

权利要求：

百度查询： 青岛理工大学 山东大学 河北工业大学 一种装配机器人遥操作环境的数字孪生建模方法及系统