买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京优创新港科技股份有限公司

摘要：本发明公开了基于单个模型高效率识别人体位置和关键点检测方法，该方法包括，步骤1、构建人体关键点估计网络，所述人体关键点估计网络包括多尺度特征提取模块、检测头模块、人体位置框检测模块、感兴趣区域对齐模块和人体关键点检测模块；步骤2、利用训练数据集训练所述人体关键点估计网络，得到人体关键点估计模型；步骤3、将待检测图像输入所述人体关键点估计模型，输出不同尺度的人体关键点预测坐标；步骤4、对不同尺度的所述人体关键点预测坐标进行融合，得到人体关键点坐标。本发明是在自顶而下的基础上次加以改进，采用一次前向推理的结构，即只需要单个模型就可实现人体位置的检测和人体关键点的检测，确保了检测精度的同时，又提高了运行效率。

主权项：1.基于单个模型高效率识别人体位置和关键点检测方法，其特征在于，包括：步骤1、构建人体关键点估计网络，所述人体关键点估计网络包括多尺度特征提取模块、检测头模块、人体位置框检测模块、感兴趣区域对齐模块和人体关键点检测模块；所述多尺度特征提取模块用于接受输入图像并输出多个尺度的特征图；所述检测头模块用于接受特征图并输出多个尺度的检测头特征图；所述人体位置框检测模块用于接受检测头特征图并输出多个尺度的预测人体位置框；所述感兴趣区域对齐模块用于接受检测头特征图、人体位置框并输出多个尺度的对齐特征图；所述人体关键点检测模块用于接受对齐特征图并输出不同尺度的人体关键点预测坐标；步骤2、利用训练数据集训练所述人体关键点估计网络，得到人体关键点估计模型；所述步骤2包括：步骤2.1，选择所述训练数据集，所述训练数据集为coco数据集；步骤2.2，所述人体位置框为真实人体位置框或所述预测人体位置框，所述真实人体位置框为coco数据集中标注的人体位置框，训练过程中实时获取所述真实人体位置框以及所述预测人体位置框；当所述真实人体位置框与所述预测人体位置框的IOU≤80%时，所述人体关键点估计网络的感兴趣区域对齐模块输入的人体位置框为真实人体位置框；当所述真实人体位置框与所述预测人体位置框的IOU＞80%时，所述人体关键点估计网络的感兴趣区域对齐模块输入的人体位置框为真实人体位置框和预测人体位置框；步骤2.3，采用梯度下降法训练所述人体关键点估计网络，得到人体关键点估计中间模型；步骤2.4，对所述人体关键点估计中间模型的感兴趣区域对齐模块进行调整，使其输入的所述人体位置框为所述预测人体位置框，得到人体关键点估计模型；步骤3、将待检测图像输入所述人体关键点估计模型，输出不同尺度的人体关键点预测坐标；所述步骤3具体步骤为：步骤31，将待检测图像输入所述多尺度特征提取模，输出多个尺度的特征图；步骤32，将所述特征图输入所述检测头模，输出多个尺度的检测头特征图；步骤33，将所述检测头特征图输入所述人体位置框检测模块，输出多个尺度的预测人体位置框；步骤34，将所述检测头特征图以及所述预测人体位置框输入所述感兴趣区域对齐模块，输出多个尺度的对齐特征图；步骤35，将所述对齐特征图输入人体关键点检测模块，输出多个尺度的人体关键点预测特征图；步骤36，在每个尺度的所述人体关键点预测特征图中，取每个通道中最大值的坐标作为人体关键点预测坐标，得到不同尺度的人体关键点预测坐标；步骤4、对不同尺度的所述人体关键点预测坐标进行融合，得到人体关键点坐标；所述步骤4包括：步骤41，将不同尺度中的人体关键点预测坐标映射回待检测图像中，得到不同尺度的人体关键点映射坐标；步骤42，将不同尺度的人体关键点映射坐标求均值，如下：得到最终的人体关键点坐标，，其中，i=0，…，16；D为不同尺度；所述多尺度特征图提取模块输出4个尺度的特征图，所述检测头模块输出4个尺度的检测头特征图，所述人体位置框检测模块输出4个尺度的预测人体位置框；所述感兴趣区域对齐模块输出4个尺度的对齐特征图，所述人体关键点检测模块输出4个不同尺度的17个人体关键点预测坐标；所述多尺度特征图提取模块包括Backbone特征提取模块、自上而下多尺度特征融合模块以及自下而上多尺度特征融合模块；所述Backbone特征提取模块采用多个残差网络块，得到至少4个尺度的特征图，输出分辨率从小到大的最后4个尺度的特征图，分别为：，，，；所述自上而下多尺度特征融合模块，输出4个尺度的特征图，分辨率从小到大分别为，，，，其中，通过对进行卷积操作得到；通过对进行转置卷积并加上的卷积操作后得到；通过对进行转置卷积并加上的卷积操作后得到；通过对进行转置卷积并加上的卷积操作后得到；所述自下而上多尺度特征融合模块，输出4个尺度的特征图，分辨率从小到大分别为，，，，其中，通过对卷积操作得到；通过对卷积操作并加上的卷积操作后得到；通过对卷积操作并加上的卷积操作后得到；通过对卷积操作并加上的卷积操作后得到；所述检测头模块通过对4个尺度的特征图分别做卷积操作，输出4个尺度的检测头特征图，分别为：，，，；所述人体位置框检测模块分别对4个尺度的检测头特征图做卷积操作，得到4个尺度的预测人体位置框，分别为，，为每个尺度中的每个像素预测至少1个anchor，每个anchor预测6个值，分别为人体位置框的中心位置的横坐标、人体位置框的中心位置的纵坐标、人体位置框相对中心位置宽的偏移量、人体位置框相对中心位置高的偏移量、目标存在的置信度以及人体类别置信度；所述人体关键点检测模块对4个尺度的对齐特征图采用卷积操作，得到4个尺度的人体关键点预测特征图，分别为,,,，所述人体关键点预测特征图的通道数为17；所述步骤1-4自顶而下的基础上次加以改进，采用一次前向推理的结构，包括了人体位置框检测和人体关键点检测，即只需要单个模型就可实现人体位置的检测和人体关键点的检测，确保了自顶而下技术方案的准确性的同时，又提高了运行效率。

全文数据：

权利要求：

百度查询： 北京优创新港科技股份有限公司 基于单个模型高效率识别人体位置和关键点检测方法