买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东新一代信息产业技术研究院有限公司

摘要：本申请公开了一种基于具身智能的三维场景图谱处理方法、系统及介质，主要涉及三维场景图谱处理技术领域，用以解决现有的三维场景图谱处理方法为静态感知，无法感知动态变化的环境、缺乏对场景信息的深度探索和挖掘的问题。包括：通过具身智能设备，构建的三维场景图谱；当位置变化信息为物体不在原位置时，获得若干导航目标点；确定若干导航目标点的排序顺序；找到物体节点对应的物品，更新或维持三维场景图谱；当位置变化信息为物体在原位置且物体节点的节点属性为可打开和非隐私时，进一步识别物体节点内部的物品；当位置变化信息为物体在原位置且物体节点的节点属性为消耗品时，补充和完善三维场景图谱中的物品节点的物体状态信息。

主权项：1.一种基于具身智能的三维场景图谱处理方法，其特征在于，所述方法包括：通过具身智能设备，构建当前环境对应的K个层级的三维场景图谱，获得三维场景图谱中各个物体节点的描述信息；其中，具身智能设备安装有移动底盘、计算单元、视觉传感器、配有重量传感器的夹爪机械臂，且计算单元中已布置好任意独立的建图定位技术环境、物体识别技术环境、训练好的大语言模型、训练好的视觉语言模型，描述信息包括属性描述集合、三维点云和语义特征向量，且属性描述集合包括：节点类别、节点属性、物体状态信息，三维场景图谱由物体节点和边组成，且边表示两端物体节点之间的关系；当具身智能设备对当前环境执行预设任务或进行定期巡视时，具身智能设备持续收集当前环境对应的三维场景图谱中的节点类别为预设可操作节点的物体节点的位置变化信息；其中，位置变化信息分为物体不在原位置和物体在原位置；当位置变化信息为物体不在原位置时，具身智能设备触发物体寻找指令，进而运行训练好的大语言模型；利用训练好的大语言模型，基于预设提示分析指令、三维场景图谱，获得物体不在原位置的物体节点的若干导航目标点；基于预设投票机制和训练好的大语言模型，确定若干导航目标点的排序顺序；具身智能设备基于排序顺序，依次导航到各个导航目标点，进而通过视觉传感器获取对应的捕捉图片，进而输入视觉语言模型，以获得导航目标点的语义特征向量；通过语义特征向量比对，确定是否找到物体不在原位置的物体节点对应的物品；在确定找到物体节点对应的物品后，获取处理指令，当处理指令为放回物体时，不更新三维场景图谱，否则更新三维场景图谱；当位置变化信息为物体在原位置且物体节点的节点属性为可打开和非隐私时，通过具身智能设备的夹爪机械臂打开物体节点对应的物品，并进一步识别物体节点内部的物品，从而补充和完善三维场景图谱中的物品节点和边；当位置变化信息为物体在原位置且物体节点的节点属性为消耗品时，通过具身智能设备的夹爪机械臂抓取物体节点对应的物品，并利用夹爪机械臂上的重量传感器进一步识别物体的重量，通过视觉传感器和训练好的视觉语言模型捕捉物体形态的变化，从而补充和完善三维场景图谱中的物品节点的物体状态信息。

全文数据：

权利要求：

百度查询： 山东新一代信息产业技术研究院有限公司 基于具身智能的三维场景图谱处理方法、系统及介质