恭喜方田医创(成都)科技有限公司田怡然获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜方田医创(成都)科技有限公司申请的专利一种可编辑面部三维重建方法、系统和储存介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119206101B 。
龙图腾网通过国家知识产权局官网在2025-03-25发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411742013.6,技术领域涉及:G06T17/00;该发明授权一种可编辑面部三维重建方法、系统和储存介质是由田怡然;曾茂林;黄明鑫设计研发完成,并于2024-11-29向国家知识产权局提交的专利申请。
本一种可编辑面部三维重建方法、系统和储存介质在说明书摘要公布了:本发明属于图像数据处理技术领域,具体涉及一种可编辑面部三维重建方法、系统和储存介质。本发明的方法主要包括如下步骤:获取建模者的无表情图像数据和有表情图像数据;获得中性模型、真实有表情模型;训练形变场、颜色场和超分辨率神经网络;训练表情编码器构建表情基向量;通过表情基向量和最终生成的模型构成建模者的有表情的面部三维模型并输出渲染图像。本发明还进一步提供实现上述方法的系统。本发明基于神经辐射场技术进行人脸三维重建,能够生成精准、自然、美观、真实的面部三维模型,且能够进行灵活和便捷的个性化调整,在医疗和医美领域具有很好的应用前景。
本发明授权一种可编辑面部三维重建方法、系统和储存介质在权利要求书中公布了:1.一种可编辑面部三维重建方法,其特征在于,包括如下步骤:获取多个角度拍摄的建模者无表情图像数据和有表情图像数据;使用所述无表情图像数据生成头部点云,获得中性模型;使用所述有表情图像数据生成头部点云,获得真实有表情模型;使用真实有表情模型,训练形变场和颜色场;所述中性模型经过颜色场和形变场,获得最终输出的模型;利用最终输出的模型获得渲染图像,使用所述渲染图像和所述有表情图像数据训练超分辨率神经网络;使用无表情图像数据和有表情图像数据,训练表情编码器;对所述无表情图像数据中患者脸部特征点进行拖拽后,送入所述表情编码器,所述表情编码器将拖拽后的特征点坐标编码为表情基向量;所述表情基向量和所述最终输出的模型构成建模者的有表情的面部三维模型;所述有表情的面部三维模型通过超分辨率网络获得高清渲染图;所述超分辨率网络的训练过程为:所述中性模型和表情基向量经过形变场和颜色场获得有表情稀疏点云;有表情稀疏点云渲染的低分辨率图像通过超分辨率神经网络获得对应的高分辨率图像;所述形变场和颜色场的训练过程为:所述中性模型包括中性点云位置向量和中性点云特征点颜色向量,所述中性点云位置向量为发生位置变化的有表情特征点的位置坐标组成的向量;所述中性点云特征点颜色向量为发生位置变化的有表情特征点的颜色值组成的向量;在形变场中,所述中性点云位置向量和表情基向量通过形状的改变形成矩阵,并在通道维度上进行拼接,形成通道数为4的张量,所述张量通过ResNet进行特征提取与融合,最后通过三个全连接层映射出相对于中性模型相应点位的位置偏移量;在颜色场中,所述中性点云位置向量、中性点云特征点颜色向量和表情基向量通过形状的改变形成矩阵,并在通道维度上进行拼接,形成通道数为4的张量,所述张量通过ResNet进行特征提取与融合,最后通过三个全连接层映射出相对于中性模型相应点位的位置偏移量;训练形变场和颜色场过程中,采用如下三种损失函数:LRGB=||Irgb–Igt||1Lsil=1-IOUM,MgtLdef=||P-Pgt||2其中,LRGB为RGB损失,Lsil为轮廓损失,Ldef为人脸特征点损失;Irgb为颜色场输出的RGB数值,Igt为真实的有表情模型相应点位的RGB数值,M为生成点云的面部轮廓,Mgt为真实有表情模型中的面部轮廓,IOU为两个轮廓的交并比,Pgt为真实有表情模型点的位置,P为生成点云的相应点的位置;LRGB的计算公式中,下标1表示L1Loss损失函数;Ldef的计算公式中,下标2表示L2Loss损失函数;P=P0+fdefP0,zexpP0为中性点云相应点位置,Zexp为表情基向量,fdef为形变场;训练形变场和颜色场过程中,引入先验约束Loffset,所述Loffset为惩罚所有非零位移,Loffset=λ1counterfdefP0,zexp=0其中λ1为权重,用于缩放损失;counterfdefP0,zexp=0表示计算出特征点中所有偏移量为零的数据;训练所述超分辨率神经网络过程中,采用如下损失函数:L=λ2||Ihr−Igt||1+1-λ2||Ilr−Igt||1其中,Ihr为超分辨率神经网络提升分辨率后的高清图像,Ilr为点云渲染出的低分辨率图像,Igt为真实有表情的图像,λ2为权重;构建表情基向量的具体过程表示为:Zexp=EexpIin,P0其中,Zexp为表情基向量,Eexp为表情编码器,Iin为无表情图像数据,P0为有表情图像数据的68个特征点。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人方田医创(成都)科技有限公司,其通讯地址为:610000 四川省成都市天府新区兴隆街道湖畔路西段99号附OL-10-202209009号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。