买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州像衍科技有限公司

摘要：本发明公开了一种基于IMU和前向变形场的单目人体重建方法及装置，能通过用一段绑定惯性传感器的人体运动单目RGB视频训练，得到准确、高质量的重建动态人体的几何和新视角的自然真实的渲染结果，且可以用新输入的人体姿态驱动该重建人体得到新动作。本发明首先建立了表达基准空间形状的隐式符号距离场模型以及表达颜色的神经辐射场模型，然后建立前向蒙皮变形场得到逐帧图片对应的当前空间点到基准空间点的变形，得到逐帧图片中每个像素点的颜色值和透明度，将其与输入图片的差异作为一个主要的损失函数。为避免单目视频存在的自遮挡问题，本发明利用惯性传感器绑定在运动人体上提供相邻帧之间的相对位置信息作为另一个主要的损失函数进行训练。

主权项：1.一种基于IMU和前向变形场的单目人体重建方法，其特征在于，包括：S1：采集佩戴惯性传感器的人体运动单目RGB视频，对所述人体运动单目RGB视频逐帧分割人体和背景，记录惯性传感器绑定的人体位置；S2：使用预训练好的人体参数化拟合模型逐帧拟合人体运动单目RGB视频，得到逐帧的人体参数化拟合模型的形状和姿态的初始估计，在人体参数化拟合模型对应的标准网格点标记传感器标签；S3：采用可学习的蒙皮权重，结合S2得到的初始估计结果，建立从基准空间中的点到逐帧人体运动图片对应的当前空间中的点的前向蒙皮变形场模型；S4：建立基准空间中表达基准形状的隐式符号距离场模型；S5：建立基准空间中表达颜色的神经辐射场模型；S6：采用体渲染的方式从逐帧人体运动图片对应的当前空间中采样射线，再沿所述射线采点；S7：根据前向蒙皮变形场将采样点变形到基准空间中，根据隐式符号距离场得到采样点符号距离值，根据神经辐射场得到采样点颜色值和透明度；S8：沿射线方向，根据所有采样点的颜色值和透明度，得到逐帧人体运动图片对应的渲染颜色值；S9：对S6中的每个采样点查找到人体参数化拟合模型对应的标准网格点中的最近点，将标准网格点的传感器标签迁移到采样点上；将绑定惯性传感器的采样点记为关键采样点，先变形到基准空间，再通过S3变形到相邻帧对应的当前空间得到新坐标，记录关键采样点的原始坐标和新坐标之间的欧氏距离；S10：训练由所述蒙皮变形场、所述隐式符号距离场和所述神经辐射场构成的动态人体重建模型，根据训练好的动态人体重建模型得到重建人体；S11：将新的人体参数化拟合模型的姿态输入S10训练好的动态人体重建模型，产生该重建人体的新姿态。

全文数据：

权利要求：

百度查询： 杭州像衍科技有限公司 基于IMU和前向变形场的单目人体重建方法及装置