买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国科学技术大学苏州高等研究院;中国科学技术大学

摘要：本发明提供了一种基于视觉‑语言层级对齐关系的人体全身姿态关键点的预测方法。该方法包括：利用金字塔视觉Transformer网络对目标图像进行多层级特征提取，得到多层级的特征金字塔；利用多模态文本编码器从学习好的提示符和预定义的类别标签中提取文本特征向量，并基于文本特征向量，得到文本语义特征空间；利用预定义的最优传输算法将特征金字塔与文本语义特征空间进行同层级间的特征向量对齐操作，得到视觉‑语言潜在空间；利用特征金字塔预测网络对视觉语言潜在空间进行特征向量映射操作，生成目标图像中人体全身姿态关键点的热图，并基于人体全身姿态关键点的热图预测每个人体全身姿态关键点在目标图像中的位置坐标信息。

主权项：1.一种基于视觉-语言层级对齐关系的人体全身姿态关键点的预测方法，其特征在于，包括：对人体全身姿态关键点预测模型进行训练，并在模型训练过程中对用于提示学习的信息进行优化，得到训练完成的人体全身姿态关键点预测模型和学习好的提示符，其中，所述训练完成的人体全身姿态关键点预测模型包括金字塔视觉Transformer网络、多模态文本编码器以及特征金字塔预测网络，所述学习好的提示符是用于表示所述人体全身姿态关键点的向量；利用所述金字塔视觉Transformer网络对目标图像进行多层级特征提取，得到多层级的特征金字塔，其中，所述多层级的特征金字塔中不同层级的图像特征具有不同的尺寸、不同的分辨率和不同的图像粒度；利用所述多模态文本编码器从所述学习好的提示符和预定义的类别标签中提取文本特征向量，并基于所提取到的文本特征向量，得到具有附属关系的、多层级的文本语义特征空间，其中，所述文本语义特征空间与所述特征金字塔具有相同数量的层级；利用预定义的最优传输算法将所述特征金字塔与所述文本语义特征空间进行同层级间的特征向量一一对齐操作，得到融合视觉特征向量和文本语义特征向量的视觉-语言潜在空间；利用所述特征金字塔预测网络对所述视觉-语言潜在空间进行特征向量映射操作，生成所述目标图像中人体全身姿态关键点的热图，并基于所述人体全身姿态关键点的热图预测每个所述人体全身姿态关键点在所述目标图像中的位置坐标信息。

全文数据：

权利要求：

百度查询： 中国科学技术大学苏州高等研究院 中国科学技术大学 基于视觉-语言层级对齐关系的人体全身姿态关键点的预测方法