买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：深圳市晨东智能家居有限公司

摘要：本发明提出一种交互式的焊接环境建模系统及方法，通过设置用于对建模空间进行扫描建模的结构光扫描装置、用于采集所述建模空间的实体影像的影像采集装置、用于显示所述建模空间的动态模型的显示装置以及控制装置，所述控制装置在焊接设备处于非工作状态时通过所述结构光扫描装置对建模空间进行扫描建模以生成相应的静态模型，在焊接设备处于工作状态时通过所述结构光扫描装置对建模空间进行扫描建模以生成相应的动态模型，基于所生成的动态模型和静态模型之间的差异来判断是否存在新增物体以及基于新增物体模型的位姿执行对应的交互操作，从而可以基于交互操作实时了解焊接情况以及修改焊接参数，能够有效促进工业生产质量和工业生产效率的提升。

主权项：1.一种交互式的焊接环境建模方法，应用于焊接环境建模系统，其特征在于，所述焊接环境建模系统包括焊接设备，所述焊接设备包括用于放置焊接对象的焊接平台、用于对所述焊接平台上的焊接对象进行焊接的焊接头以及用于固定并控制所述焊接头运动的数控机械臂数控机械臂，所述焊接环境建模系统还包括固定设置在所述焊接平台一侧的至少两个扫描方向不平行的用于对建模空间进行扫描建模的结构光扫描装置、用于采集所述建模空间的实体影像的影像采集装置以及用于显示所述建模空间的动态模型的显示装置，所述结构光扫描装置包括结构光发射单元和结构光接收单元，所述焊接环境建模系统还包括用于控制所述焊接设备、所述结构光扫描装置、所述影像采集装置以及所述显示装置的控制装置，所述方法包括：在结构光扫描范围内构建建模空间，所述结构光扫描范围为两个或两个以上的结构光扫描装置所覆盖的扫描范围的并集区域，所述建模空间落入所述两个或两个以上的结构光扫描装置的扫描范围的交集区域，所述建模空间覆盖焊接设备的焊接平台；在静态条件下控制所述结构光扫描装置对所述建模空间进行扫描以生成所述建模空间的静态模型，所述静态条件为所述建模空间内的物体处于静止状态；在工作状态下，控制所述结构光扫描装置以预设的高频扫描周期对所述建模空间进行周期性扫描得到所述建模空间内的结构光周期性扫描图像，所述结构光周期性扫描图像包括每一个扫描周期对应的结构光扫描装置同步扫描得到的结构光扫描图像；通过所述结构光周期性扫描图像判断所述建模空间内的物体是否发生运动或者发生变化；当所述建模空间内的物体发生运动或者发生变化时，基于所述结构光周期性扫描图像生成所述建模空间的动态模型；对所述静态模型和所述动态模型执行物体识别以获取所述静态模型和所述动态模型中的物体类型和数量；当所述动态模型中的物体类型和数量与所述静态模型不一致时，确定所述动态模型中每一个新增物体模型的位姿；根据所述动态模型中每一个新增物体的位姿执行对应的交互操作；确定所述动态模型中每一个新增物体模型的位姿的步骤具体包括：根据物体识别结果从所述静态模型和所述动态模型中分别提取独立的物体模型；对所述静态模型和所述动态模型中物体模型的位置和形状进行匹配；建立所述静态模型和所述动态模型中相同物体的物体模型的对应关系，所述相同物体的物体模型为基于现实环境中的同一物体在所述静态模型和所述动态模型中生成的物体模型；将所述动态模型中没有与所述静态模型中的物体模型建立对应关系的物体模型确定为新增物体模型；从所述动态模型中获取所述新增物体模型的位置和姿态数据；根据所述动态模型中每一个新增物体模型的位姿执行对应的交互操作的步骤具体包括：读取预先配置的焊接对象信息，所述焊接对象信息包括焊接对象的标准模型、焊接位置以及焊接参数；将所述新增物体模型与所述焊接对象的标准模型进行匹配；根据匹配结果判断所述新增物体模型是否包含所述焊接对象的模型；当所述新增物体模型包含所述焊接对象的模型时，根据所述焊接对象的模型的位姿、所述焊接位置以及所述焊接参数控制所述焊接头对所述焊接对象进行焊接；在基于所述结构光周期性扫描图像生成所述建模空间的动态模型的步骤之后，还包括：通过影像采集装置采集所述建模空间的实体影像；根据物体识别结果读取所述动态模型中的物体的材质信息；对所述实体影像进行解析以得到所述实体影像的视角信息、对应所述动态模型中的物体的色彩信息以及焊接环境的光源信息；基于所述材质信息、所述视角信息、所述色彩信息以及所述光源信息对所述动态模型中的物体模型进行渲染以生成所述动态模型的虚拟影像；在所述焊接设备的显示装置上显示所述虚拟影像；基于所述高频扫描周期更新所述显示装置上显示的所述虚拟影像；根据所述动态模型中每一个新增物体的位姿执行对应的交互操作的步骤具体包括：读取预先配置的交互对象信息，所述交互对象信息包括交互对象的标准模型、运动姿态以及与所述运动姿态关联的交互指令；将所述新增物体模型与所述交互对象的标准模型进行匹配；根据匹配结果判断所述新增物体模型是否包含所述交互对象的模型；当所述新增物体模型包含所述交互对象的模型时，控制所述焊接设备进入交互状态。

全文数据：

权利要求：

百度查询： 深圳市晨东智能家居有限公司 一种交互式的焊接环境建模系统及方法