买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：深圳力强数智科技有限公司

摘要：本发明涉及神经网络领域，揭露一种视频流分析训练的人体骨骼关键点推理方法及装置，方法包括：从视频流中提取单帧图像，将单帧图像表征为图像向量，识别单帧图像中的第一骨骼关键点，对第一骨骼关键点进行关键点解码；判别骨骼线路是否为人体骨骼线路；计算第一骨骼关键点损失，利用第一骨骼关键点损失完成预设的骨骼关键点识别模型的骨骼关键点的识别能力训练；对单帧图像进行网格划分；对划分网格进行网格旋转平移，从相邻单帧图像中查询旋转平移网格的的相似网格；确定相似网格中的第三骨骼关键点，计算第二骨骼关键点损失，利用第二骨骼关键点损失完成视频流中骨骼关键点的运动追踪能力的训练。本发明可以降低骨骼关键点推理任务的复杂度。

主权项：1.一种视频流分析训练的人体骨骼关键点推理方法，其特征在于，所述方法包括：从视频流中提取单帧图像，利用预设的骨骼关键点识别模型中的编码层将所述单帧图像表征为图像向量，基于所述图像向量，利用所述预设的骨骼关键点识别模型中的隐藏层识别所述单帧图像中的第一骨骼关键点，利用所述预设的骨骼关键点识别模型中的解码层对所述第一骨骼关键点进行关键点解码，得到解码关键点；将所述解码关键点连接为骨骼线路，判别所述骨骼线路是否为人体骨骼线路；在所述骨骼线路不为所述人体骨骼线路时，计算所述解码关键点与预设的真实骨骼关键点之间的第一骨骼关键点损失，并利用所述第一骨骼关键点损失完成所述预设的骨骼关键点识别模型的骨骼关键点的识别能力训练，得到训练好的骨骼关键点识别模型；利用所述训练好的骨骼关键点识别模型输出所述单帧图像的第二骨骼关键点，基于所述第二骨骼关键点在所述单帧图像中的关键点分布，对所述单帧图像进行网格划分，得到划分网格；对所述划分网格进行网格旋转平移，得到旋转平移网格，从所述视频流中提取所述旋转平移网格所在的单帧图像的相邻单帧图像，从所述相邻单帧图像中查询所述旋转平移网格的相似网格；确定所述相似网格中的第三骨骼关键点，计算所述第三骨骼关键点与预设的真实第三骨骼关键点之间的第二骨骼关键点损失，利用所述第二骨骼关键点损失完成所述视频流中骨骼关键点的运动追踪能力的训练，得到运动追踪能力训练结果，将所述运动追踪能力训练结果作为所述视频流中的人体骨骼关键点推理结果；所述第三骨骼关键点是指所述相似网格中与所述划分网格中的第二骨骼关键点之间的相似度最高的点；所述计算所述第三骨骼关键点与预设的真实第三骨骼关键点之间的第二骨骼关键点损失，包括：利用下述公式计算所述第三骨骼关键点与预设的真实第三骨骼关键点之间的第二骨骼关键点损失： 其中，L2表示所述第二骨骼关键点损失，di表示所述第三骨骼关键点中第i个骨骼关键点与预设的真实第三骨骼关键点中第i个骨骼关键点之间的欧式距离，δ表示可见性标志位，Tk表示预先设定的阈值，取值为0～0.1，ddef表示尺度因子；所述利用所述第二骨骼关键点损失完成所述视频流中骨骼关键点的运动追踪能力的训练，得到运动追踪能力训练结果，包括：获取对所述划分网格进行网格旋转平移的旋转角度与平移距离；基于所述第二骨骼关键点损失，调整所述旋转角度与所述平移距离，得到调整角度与调整距离；基于所述调整角度与所述调整距离，查询所述第二骨骼关键点在所述相邻单帧图像中的第四骨骼关键点，将所述第四骨骼关键点作为所述运动追踪能力训练结果。

全文数据：

权利要求：

百度查询： 深圳力强数智科技有限公司 视频流分析训练的人体骨骼关键点推理方法及装置