申请/专利权人：北京工业大学

申请日：2020-08-12

公开（公告）日：2024-07-05

公开（公告）号：CN112232106B

主分类号：G06V40/20

分类号：G06V40/20;G06V40/10;G06V10/80;G06V10/82;G06N3/0464;G06N3/047;G06N3/09

优先权：

专利状态码：有效-授权

法律状态：2024.07.05#授权;2021.02.02#实质审查的生效;2021.01.15#公开

摘要：一种二维到三维人体姿态估计方法，其能够克服三维标注数据的不足以及背景、灯光、服装形状和纹理、肤色等条件的影响，并从多尺度中提取特征，促进不同姿态之间的相互学习，得到更加准确的三维姿态。该方法包括：1分层图卷积网络；2结合对角占优图卷积层和非局部层的特征提取网络块；3人体几何约束。

主权项：1.一种二维到三维人体姿态估计方法，其特征在于：该方法包括以下步骤：1分层图卷积网络：包括特征增强模块和分层图卷积模块；特征增强模块由3层全连接层组成，其中后两层组成了一个残差块，通过网络从二维坐标中挖掘出关节坐标之间的潜在关系，以此来增强人体的特征表示；分层图卷积模块有6层，每层对应着当前粒度下的人体模型划分，通过统一的特征提取网络块提取人体不同粒度的特征，并通过层次化的融合，从而得到更好的特征；2结合对角占优图卷积层和非局部层的特征提取网络块：在每一个粒度的人体骨架上利用对角占优图卷积层和非局部层进行特征提取；3人体几何约束：在位置损失的基础上，加入人体几何约束，使得预测的三维姿态加合理；人体几何约束包括骨长比值约束以及骨方向夹角约束；预测的三维姿态应该满足人体各部位长度的比值固定，为了获得一个合理的人体骨架统一模型，利用训练数据集得到一个平均的人体骨架当作统一模板；所述步骤2中，令和分别表示节点经过第l层卷积前后的特征，则图卷积的一般形式为公式1： 其中表示图G的邻接矩阵，如果有连接关系aij＝1，否则aij＝0；I是单位阵，是对角矩阵，其中表示每个节点的度，σ表示激活函数，表示可学习的权重参数；对角占优的图卷积为公式2： 其中表示需要学习的关于边的权重矩阵，⊙表示对应元素相乘；图卷积主要聚合节点的邻居节点特征，提取的是关节点的局部特征，因此在对角占优的图卷积层后面加入非局部层，以此来平衡局部特征和全局特征；输入的特征矩阵经过三个全连接层将特征数量将为原来的一半，由前两个分支得到相关性矩阵，经过softmax进行标准化；第三个分支乘以相关性矩阵，则输出的每个节点特征都是其他节点特征的加权平均值；最后经过Wz恢复原始维度，并加上输出得到最终的输出，如公式3：y＝WzsoftmaxHTWθTWφHWgH+H；所述步骤3中，平均的人体骨架为公式4： 其中sn表示训练集的第n个人体骨架；表示S中的骨长集合，其中表示S中第i个骨长；对于预测的三维姿态，将其表示为骨长集合和骨向量的集合其中bi表示预测的姿态的第i个骨长，vi表示预测的姿态的第i个骨方向；对于三维groundtruth，获取其骨向量的集合其中表示预groundtruth的第i个骨方向；人体不同的关节拥有不同的运动范围，为了约束网络生成的三维姿态具有合理的关节角度，加入了不同部位之间的角度约束；其中三维groundtruth的第i和第j个部位的夹角定义为公式5： 同样地得到预测的姿态的第i和第j个部位之间的夹角θij；网络的整体目标函数为公式6： 其中Jk表示第k个关节点，fJk表示第k个关节点经过网络后的三维预测值，表示第k个关节的三维groundtruth。

全文数据：

权利要求：

百度查询： 北京工业大学 一种二维到三维人体姿态估计方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD