买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：暗物质(北京)智能科技有限公司

摘要：本发明公开了一种基于参数化模型的动作捕捉方法及系统，人体检测模块将采集RGB视频或搭配深度信息的RGBD视频，获取目标人物及双手的位置边界框；根据目标人物边界框中的区域图像和目标人物双手边界框的区域图像，足部触地检测模块利用二分类算法模型获得人物双脚的二分类结果；人体姿态捕捉模块利用人体参数化三维模型，捕捉、估计人体各个关节点的旋转值；绝对位置估计模块通过绝对位置估计算法获得目标人物在相机坐标系中的3D坐标；数据优化模块根据人体各个关节点的旋转值、人体在相机坐标系中的坐标、人物双脚是否接地的二分类结果，通过均值滤波处理和逆运动学优化算法，获得优化后消除脚部滑动、漂浮的旋转值和人体在相机坐标系中的坐标。

主权项：1.一种基于参数化模型的动作捕捉方法，其特征在于，包括以下步骤：S1.采集RGB视频或搭配深度信息的RGBD视频；S2.定位视频画面中目标人物的位置，同时定位目标人物双手的位置，获取目标人物的边界框及其双手的位置边界框；S3.根据目标人物边界框中的区域图像，利用二分类算法模型，获得人物双脚的二分类结果，判断人物双脚与地面是否有接触；根据目标人物边界框中的区域图像和目标人物双手边界框的区域图像，利用人体参数化三维模型，捕捉、估计人体各个关节点的旋转值；根据目标人物边界框中的区域图像，通过绝对位置估计算法获得目标人物在相机坐标系中的3D坐标，估计目标人物的位移信息；S4.根据人体各个关节点的旋转值、人体在相机坐标系中的坐标、人物双脚是否接地的二分类结果，通过均值滤波处理和逆运动学的优化算法，获得优化后消除脚部滑动、漂浮的旋转值和人体在相机坐标系中的坐标；步骤S3中二分类算法模型包括多层感知机MLP，其中包括一个输入层，三个隐藏层，一个输出层，五层网络均为全连接层，二分类算法模型的损失函数采用二分类交叉熵损失函数；步骤S3中人体参数化三维模型包含一个编码器，一个空间特征金字塔网络，以及一个回归器；输入的图像经过编码器输出包含丰富语义信息的特征图后，输入空间金字塔网络进一步提取特征，最后通过回归器输出人体参数化三维模型所需的输入参数和估计的相机参数，输入参数为各个骨骼点的旋转值，通过前向运动学和相机参数得到人体的3D关键点位置和2D关键点位置，并用于损失函数的计算，通过重建损失函数训练人体参数化三维模型；步骤S3中绝对位置估计算法包括主干网络和两个回归器，其中主干网络由多层卷积层构成，回归器主要由全连接层构成，图像经过主干网络提取特征，分别输入两个回归器，分别估计出相机参数和相对根节点的3D坐标，再通过估计的相机参数将相对根节点的3D坐标转换成相机坐标系的绝对3D坐标；步骤S2中包括单人模式或多人模式，其中单人模式中，若画面出现多人，则只输出边界框占画面比重最大的一个；多视角模式，将不同视角中的同一人物的边界框通过匹配算法进行匹配，定位同一个人在不同视角中的位置；步骤S3中，多视角模式时，将多个视角的二分类结果进行汇总，以各个视角中占多数的分类结果为人物双脚的二分类结果；将各个视角输出的旋转值通过多视角融合算法输出最终的旋转值；多个视角估计的3D坐标的均值为目标人物在相机坐标系中的3D坐标；训练人体参数化三维模型的重建损失函数具体为：Lreg＝λ2d||K-Kg||+λ3d||J-Jgt||+λpara||Θ-Θgt||其中，K表示2D关键点位置，J表示3D关键点位置，θ表示人体参数化三维模型输入参数和相机参数，λ表示不同部分的权重，·表示L2范数。

全文数据：

权利要求：

百度查询： 暗物质(北京)智能科技有限公司 一种基于参数化模型的动作捕捉方法及系统