买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明提出了一种基于三维高斯的稀疏视角人脸重建方法及装置，该方法是基于神经网络的三维高斯初始化点云生成，使用计算机视觉技术对真实拍摄的图片进行智能识别，得到准确的人脸重建结果；再进行10个视角下稀疏数据的人脸高斯初步重建，初步优化使得三维高斯在优化中贴合人脸几何的表面，几何优化给之后的人脸材质重建提供良好的几何基础；引入稳定扩散模型，给予真实的拍摄数据更高的优化权重进一步优化，最后基于前述建模结果再基于PBR模型的人脸外观重建。本发明实现了在输入图像信息不足的情况下，利用有效的初始化输入限制，以及稳定扩散模型，弥补了信息不足的缺点，改善了稀疏三维高斯重建RelightableGaussian容易失败和陷入局部最优值。

主权项：1.一种基于三维高斯的稀疏视角人脸重建方法，其特征在于，包括以下步骤：1利用神经网络拟合了人脸面部的基础模型，并建立了三角面片模型转为点云模型的管线，以生成面部的点云模型作为三维高斯训练的初始化三维高斯数据；2使用计算机视觉技术对真实拍摄的图片进行智能识别，提取出主题对象的遮罩，筛去背景影响，从而得到准确的人脸重建结果；3进行10个视角下稀疏数据的人脸高斯初步重建：使用提前矫正的相机位姿数据和步骤1中得到的面部点云作为初始化数据进行三维高斯的优化，使用10个视角的已遮罩的实拍结果作为优化目标，进行包含头发和肩膀的人脸几何重建；4初步优化是针对人脸的外观特点，将三维高斯的不透明度初始值设置为1，使得三维高斯在优化中贴合人脸几何的表面，避免出现稀疏视角的三维高斯重建中外观半透明和模糊失真；5几何优化中根据对初始点云的三维坐标范围进行动态扩展，建立三维高斯的包围盒，主动剔除超过包围盒范围的高斯元，避免出现因缺少视角和信息的几何优化失败，以及避免出现陷入局部最优值和过拟合，从而给之后的人脸材质重建提供良好的几何基础；6引入稳定扩散模型，对初步优化产生的14个新视角下的渲染结果图像进行修复和补全，并将优化好的结果加入到优化目标中；由于引入稳定扩散模型带来的视角不一致，则需通过给予真实的拍摄数据更高的优化权重进一步优化，从而避免视角不一致带来的人脸面部模糊和不同视角下外观闪烁；最后得到仅含有颜色和不透明度信息的普通高斯重建结果；7利用可改变光照的三维高斯重建方法对人脸材质进行PBR建模，对最后得到仅含有颜色和不透明度信息的普通高斯重建结果进行基于PBR模型的人脸外观重建。

全文数据：

权利要求：

百度查询： 浙江大学 一种基于三维高斯的稀疏视角人脸重建方法及装置