买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西安电子科技大学

摘要：本发明公开了一种基于单目图像的三维人体模型联合重建方法、电子设备及存储介质，所述方法包括：基于原始单目图像获取身体单目图像、手部单目图像和脸部单目图像，提取其中的二维关键点坐标，得到身体候选框、手部候选框和脸部候选框，基于此对原始单目图像进行裁剪得到三个特征图像，使用局部特征提取网络分别获得各特征图像中的特征，将其拼接得到级联特征，训练SMPLX模型，基于级联特征进行三维人体重建；本发明提取的深度信息更丰富，构建的三维人体模型精度更高，耗时更短。

主权项：1.基于单目图像的三维人体模型联合重建方法，其特征在于，包括以下步骤：S1，对待重建的原始单目图像进行处理获取身体单目图像、手部单目图像和脸部单目图像，分别预测各单目图像中的二维关键点坐标，得到身体候选框、手部候选框和脸部候选框；S2，利用身体候选框、手部候选框和脸部候选框对原始单目图像进行裁剪，并调整裁剪图像的大小，得到身体特征图像、脸部特征图像和手部特征图像；S3，训练三个局部特征提取网络，分别提取身体特征图像、脸部特征图像和手部特征图像中的身体特征、脸部特征和手部特征，将身体特征、脸部特征和手部特征拼接得到级联特征；S4，训练SMPLX模型，基于级联特征进行三维人体重建；所述局部特征提取网络的训练过程如下：对HUMBI数据集进行删选获得包含人体全身的原始单目图像，对其进行裁剪得到局部单目图像，使用OpenPose模型预测局部单目图像中的二维关键点坐标，根据二维关键点的分布获得局部候选框，根据局部候选框对原始单目图像进行裁剪得到局部特征图像，获取各局部特征图像对应的真实模型参数；使用RestNet50网络捕获局部特征图像中的局部特征；基于局部特征使用多层感知器预测相机参数和模型参数；基于真实模型参数、相机参数和预测的模型参数计算特征提取网络的损失函数，基于损失函数值对特征提取网络进行参数调整，得到优化的特征提取网络；所述局部特征提取网络中的损失函数如下：L＝Lp+τ1Ljoint,3D+τ2Lreproj其中Lp表示预测的模型与真实模型之间的损失，Ljoint,3D表示预测模型提取的三维关键点和真实模型提取的三维人体关键点计算的损失，Lreproj表示将预测模型提取的三维关键点通过相机投影得到的二维关键点和真实模型提取的二维关键点之间的损失，τ1、τ2表示平衡损失项的加权系数；所述S4中训练SMPLX模型的过程如下：以带有SMPLX模型标签的单目图像为训练数据，使用S1～S3所述方法获取训练数据中的局部特征，对各局部特征进行拼接得到级联特征；将级联特征F输入多层感知器中，预测相机参数K、SMPLX模型姿势参数体型参数经验参数根据训练数据中各单目图像对应的真实SMPLX模型参数和人体关键点坐标分别计算投影误差、三维关键点误差和SPMLX模型参数误差，进而得到损失函数L′；重复上述过程，计算每次迭代的损失函数，基于新损失函数值更新SMPLX模型参数，得到优化的SMPLX模型。

全文数据：

权利要求：

百度查询： 西安电子科技大学 基于单目图像的三维人体模型联合重建方法、电子设备及存储介质