买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：深圳市万德昌科技有限公司;深圳市万德昌创新智能有限公司

摘要：本发明涉及图像数据处理技术领域，具体涉及一种多模态陪护机器人意图理解方法及系统，该方法包括：获取待陪护对象的手部的骨架线图像集；基于所述骨架线图像集对应的时序变化信息，在所述手部的骨架像素点中确定高价值点和低价值点；基于所述低价值点在所属的骨架线图像中的局部邻域，在所述高价值点和所述低价值点中确定目标特征点；基于所述目标特征点，对所述待陪护对象进行意图理解，得到所述待陪护对象的目标意图。该方法能够优化特征点的选取，使得进行意图理解的特征点尽量为包含高价值的像素点，从而提高了意图理解的效率和准确性。

主权项：1.一种多模态陪护机器人意图理解方法，其特征在于，所述方法包括：获取待陪护对象的手部的骨架线图像集；基于所述骨架线图像集对应的时序变化信息，在所述手部的骨架像素点中确定高价值点和低价值点；基于所述低价值点在所属的骨架线图像中的局部邻域，在所述高价值点和所述低价值点中确定目标特征点；基于所述目标特征点，对所述待陪护对象进行意图理解，得到所述待陪护对象的目标意图；所述基于所述骨架线图像集对应的时序变化信息，在所述手部的骨架像素点中确定高价值点和低价值点，包括：基于所述骨架线图像集对应的时序变化信息，对所述骨架像素点赋予价值系数；基于所述价值系数，确定所述高价值点和所述低价值点；所述基于所述骨架线图像集对应的时序变化信息，对所述骨架上的像素点赋予价值系数，包括：针对所述骨架线图像集中任一骨架线图像，基于所述任一骨架线图像对应的时序变化信息，确定所述任一骨架线图像与前一帧骨架线图像中骨架线的候选像素点之间的第一距离；其中，所述候选像素点包括：骨架线的端点或交叉点；基于所述第一距离、所述骨架线图像集的帧数和候选图像的频数，确定所述骨架线的候选像素点的初始价值系数；其中，所述候选图像为所述候选像素点发生位移的骨架线图像；基于所述任一骨架线图像中骨架线的端点之间的第二距离，确定所述任一骨架线图像中候选像素点的价值权重；基于所述初始价值系数和所述价值权重，获得所述任一骨架线图像中候选像素点的价值系数；所述基于所述第一距离、所述骨架线图像集的帧数和候选图像的频数，确定所述骨架线的候选像素点的初始价值系数，包括：基于所述骨架线图像集的帧数和所述候选图像的频数，确定单条骨架线的候选像素点在发生位移的图像帧数的频率；将所述第一距离和所述频率进行融合，得到所述骨架线的候选像素点的初始价值系数；所述基于所述低价值点在所属的骨架线图像中的局部邻域，在所述高价值点和所述低价值点中确定目标特征点，包括：确定所述局部邻域中的局部特征变化信息；基于所述局部特征变化信息，对所述低价值点的价值系数进行修正，得到携带已更新价值系数的已修正价值点；基于所述已修正价值点的已更新价值系数和所述高价值点的价值系数，在所述已修正价值点和所述高价值点中确定所述目标特征点。

全文数据：

权利要求：

百度查询： 深圳市万德昌科技有限公司 深圳市万德昌创新智能有限公司 一种多模态陪护机器人意图理解方法及系统