买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江工商大学

摘要：本发明公开了一种基于注意力机制的视频人体姿态传播方法，设计了基于纯注意力机制的端到端的编码器‑解码器架构，编码器包括骨干网络、时空全局融合模块，解码器包含补丁匹配校正模块；时空全局融合模块利用自注意力机制有效地将多个视频帧的特征进行全局空间融合，解决了单帧图像方法面临的时序信息缺失问题，补丁匹配校正模块合并多帧姿态热图并且根据编码器输出的特征对姿态热图进行补丁匹配局部空间校正，实现对粗糙热图中的姿态更精细化的调整。本发明提升了复杂动作和遮挡情况下的姿态估计精度，解决了标注更稀疏情况下的姿态传播退化问题，降低了对密集标注的依赖，提高了视频姿态标注的效率，探寻出了半自动化视频姿态标注的可行性。

主权项：1.一种基于注意力机制的视频人体姿态传播方法，包括如下步骤：1获取以人物为中心的视频数据集并进行处理；2构建基于纯注意力机制的端到端编-解码模型架构，包括编码器和解码器，编码器包括骨干网络和时空全局融合模块，其中：所述骨干网络用于提取视频图像中的人体姿态特征，输出特征令牌和姿态热图；所述时空全局融合模块用于融合时序特征，对特征令牌在空间上进行全局融合，该模块包括预处理层、级联自注意力层以及线性融合层，输入为特征令牌和姿态热图，先通过预处理层对特征令牌进行权重筛选，再通过级联自注意力层进行空间上的全局融合，最后利用线性融合层把特征令牌的数量缩减三倍以实现输入输出对应，最终输出融合特征；所述解码器用于局部空间姿态校正，将掩码热图和姿态热图拼接后与编码器输出的特征进行姿态融合和精细化的姿态校正，从而生成关键点热图；解码器包含掩码生成模块、补丁匹配校正模块以及姿态检测头，其中掩码生成模块先计算骨干网络输出的姿态热图之间的残差并进行压缩激活处理得到姿态掩码，然后合并对应通道的姿态热图并与姿态掩码进行计算得到掩码热图，随后将掩码热图与姿态热图拼接后送入补丁匹配校正模块进行姿态融合和精细化的姿态校正，最后通过姿态检测头将分辨率恢复至热图大小并输出；3利用视频数据集对上述模型架构进行训练，得到视频人体姿态传播模型；4将未标注的视频帧及其标注的支持帧输入至视频人体姿态传播模型，即可预测输出该视频帧中人物各关键点的位置坐标。

全文数据：

权利要求：

百度查询： 浙江工商大学 一种基于注意力机制的视频人体姿态传播方法