买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中科晶锐(苏州)科技有限公司

摘要：本发明公开了一种对人体2D图像进行3D姿态还原的方法与装置，涉及3D姿态估计技术领域，包括S1、2D到3D姿态生成的网络；S2、摄像机参数预测网络；S3、2D投影还原；S4、姿态判断网络；S5、姿态判断网络损失函数；S6、摄像机预测网络损失函数。该对人体2D图像进行3D姿态还原的方法与装置，通过学习从输入分布到输出分布的映射，即从2D姿势到3D姿势的映射，观察和统计2D数据，对3D姿势进行回归计算，有效弥补了深度信息缺失的影响，并通过2D到3D的图像生成网络得到3D姿态，配合摄像机参数预测网络，以便更加准确的进行2D投影还原，结合姿态判断网络，能够对复杂姿态和遮挡情况进行处理。

主权项：1.一种对人体2D图像进行3D姿态还原的方法，其特征在于，包括：S1、2D到3D姿态生成的网络：根据目标任务构建2D到3D姿态生成的网络，所述网络的激活函数采用ReLU，且网络的姿态估计部分由两个连续的残差网络块组成，其中，每个残差网络块包含有三个隐藏层，每个隐藏层是有1000个神经元的全连接；所述网络的主网络结构如下：输入层、残差网络块1、残差网络块2、输出层；所述残差网络块结构如下：输入、隐藏层1、隐藏层2、隐藏层3、输出；最后一层输出一个3n维向量，其中包含3D位姿并且可以重塑为X，X∈R3xn，X是个三维坐标xyz，表示一个关键点的3D位置，n表示关键点个数，且n的取值为正整数,R3xn表示输出维向量；S2、摄像机参数预测网络：摄像机参数预测网络结构采用与2D到3D姿态生成的网络类似的结构，输出包含相机参数的6维向量，通过使用由六个变量定义的透视相机模型，获得相机矩阵，输出向量定义为K∈R2x3；S3、2D投影还原：将2D到3D姿态生成的网络的输出姿态X和摄像机参数预测网络网络的输出K作为投影还原层的输入，通过特定投影方式重新投影到2D坐标空间；S4、姿态判断网络：姿态判断网络的网络结构中，运动空间矩阵是包含关节角度和骨骼长度的人体姿势的表示，并且可以仅通过两个矩阵乘法来计算，通过引入运动空间矩阵，优化运算速度，然后对骨骼进行定义，骨骼定义为第r个和第t个关节之间的向量，且定义公式如下：bk＝pr-pt＝Xc其中，c＝0，0，1...0，-1，0，0..0T，位置r是1，位置t是-1，bk的方向和长度代表了骨骼k的方向和长度；规定骨骼的数量为b个，并定义骨骼矩阵B∈R3xb，将其引入C∈Rjxb，其中，j表示关节数，得出B＝XC，从而得出运动空间矩阵定义为： 其中，对角线就是骨骼的长度；S5、姿态判断网络损失函数：损失函数采用Wassersteinloss，用来衡量生成器生成的图像与真实图像之间的距离，且函数定义如下：LwG，D＝WPr，Pg其中，Pr是真实图像的概率分布，Pg是生成器生成的图像的概率分布；WP，Q＝infγ∈ΠP，Q∫|x-y|dγx，y其中，P和Q是两个概率分布，ΠP，Q是从P到Q的所有概率分布的集合，γ∈ΠP，Q是从P到Q的一个概率分布；S6、摄像机预测网络损失函数：输出一个6维的向量，利用损失函数对预测损失进行计算。

全文数据：

权利要求：

百度查询： 中科晶锐(苏州)科技有限公司 一种对人体2D图像进行3D姿态还原的方法与装置