买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜复旦大学申请的专利一种基于三维分解的人脸盲修复方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114862697B 。

龙图腾网通过国家知识产权局官网在2025-03-25发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210370638.9，技术领域涉及：G06T5/77；该发明授权一种基于三维分解的人脸盲修复方法是由颜波;谭伟敏;白玉;何瑞安;林洋乐设计研发完成，并于2022-04-10向国家知识产权局提交的专利申请。

本一种基于三维分解的人脸盲修复方法在说明书摘要公布了：本发明属于数字图像处理技术领域，具体为一种基于三维分解的人脸盲修复方法。本发明包括：使用人脸三维重建模型将人脸图像分解为纹理层、骨骼结构层和环境及位姿参数三部分；对骨骼结构层使用编码器‑解码器对其进行粗粒度填充，对纹理层先使用不同参数编码器‑解码器对其进行细粒度填充，再使用人脸增强模块对人脸细节增强；用三维重建网络中的渲染器将修复的两个成分与其他参数结合渲染得到修复重建后的三维人脸图像；将修复得到的三维人脸图像和被遮挡的输入图共同输入人脸精修模块，得到被修复的人脸图像。实验结果表明，当图像的遮挡范围没有被手动标注时，本发明能够准确地对人脸进行修复，同时保持未被遮挡部分和输入图像保持一致。

本发明授权一种基于三维分解的人脸盲修复方法在权利要求书中公布了：1.一种基于三维分解的人脸盲修复方法，其特征在于，具体步骤如下：1人脸三维分解将给定的被遮挡待修复人脸图像输入到无监督的三维人脸分解网络中，利用该网络将所输入图像分解为骨骼结构层s、纹理层t和环境e及位姿p参数；其中，骨骼结构层为单通道的灰度图，纹理层为三通道的彩色图像，其余参数为一组表示人脸所处光照环境和人脸角度的数值，具体分解过程表示为：Ωt,s,e,p＝F3DI#1其中，Ω表示三维分解模型的结果集合，其分解结果分别为骨骼结构层s、纹理层t和环境e及位姿p参数，I表示输入的待分解图像，F3D为三维分解函数；三维人脸分解网络中，由编码器-解码器结构生成骨骼结构层和纹理层，由编码器结构对环境及位姿参数进行编码；其中，不同的编码器-解码器或编码器结构不共享参数，生成骨骼结构层的网络结构为处理单通道图像的网络，生成纹理层的网络为处理三通道图像的网络；分解得到的各个组成成分经过渲染器渲染得到三维人脸重建模型，三维人脸重建模型根据输入图像的位姿参数投影，得到和输入图像具有相同位姿和环境光照的二维人脸图像；三维人脸重建渲染过程表示为：M＝R0t,s,e#2三维人脸重建模型的投影过程表示为：I′＝∏M,p＝∏R0t,s,e,p#3其中，R0表示渲染器，∏为投影函数；所使用的人脸三维分解网络模型是基于无监督三维人脸重建模型的，在此基础上将图像尺度调整为128×128以提高图像的分辨率，并在网络训练过程中加入人脸身份损失，以提高分解结果中人脸的身份特征保持程度，身份损失LID用如下公式表示： 其中，函数f·为网络对图像进行的变换，I为输入图像，I′为经过处理的图像；人脸三维分解过程中使用人脸对称概率图，以确保人脸各个组成成分均为标准状态下的对称图，该对称概率图在一定程度上修复人脸各个结构层中非对称的遮挡和损坏；2骨骼结构层和纹理层修复对于三维人脸分解网络中分解获得的、待修复图像的骨骼结构层和纹理层进行修复，使修复后的骨骼结构层和纹理层具有完整的人脸结构；对于对称的待修复区域，骨骼结构层和纹理层均首先使用编码器-解码器网络分别对其进行修复；对该部分网络，均分别使用像素级的重构损失、生成器对抗损失和对应判别器的对抗损失进行训练；其中：像素级重构损失Lpix表示为：Lpix＝∥tgt-Gtocc∥#5对抗损失Ladv表示为： 对应的判别器对抗损失LD表示为： 在公式567中，tocc表示遮挡图分解得到的骨骼结构图，tgt为对应的groundtruth图像，G为生成器，D为判别器；该阶段，训练总损失为：LM＝λ1Lpix+λ2Ladv+λ3LD；参数λ1，λ2，λ3为对应的权系数；对于骨骼结构层的灰度图仅经过编码器-解码器结构修复，即可恢复较为准确的结构；对于纹理层，还使用人脸增强模块增强修复过程中较为模糊的细节；经过本步骤得被修复的骨骼结构图tinpaint和纹理图sinpaint，分别表示为：tinpaint＝EGtocc#8sinpaint＝Gsocc#9其中，tinpaint和tocc分别为修复后的骨骼结构图和未被修复的、直接从遮挡图像分解得到的骨骼结构图；sinpaint和socc分别为修复后的纹理图和未被修复的、直接从遮挡图像分解得到的纹理图；3骨骼结构层和纹理层修复结果渲染合成三维人脸模型将步骤2中修复得到的骨骼结构层和纹理层结合步骤1中分解得到的环境参数及位姿参数，经过渲染器和投影函数得到修复后三维人脸结果、和输入图像具有相同环境光照和位置参数的二维投影，具体渲染和投影过程同公式2、3中所表述；4人脸精修将步骤3中获得的三维修复人脸模型的二维投影与原始待修复图像结合，将其和原始待修复图像共同输入人脸精修模块，得到最终的人脸修复结果；三维人脸模型的二维投影与原始待修复图像的结合方式，表示为：Irecon＝Iocc⊕I′3D＝Iocc⊕∏R0tinpaint,sinpaint,e,p#10公式10结合得到的人脸重建图具有完整的人脸结构而失去了少量人脸所具有的细节，需要使用原始待修复图像中的部分细节与其进行结合，以获得视觉效果较好的修复结果，该步骤需要学习一个重建图和待修复图到修复人脸的映射，表示为：Irecon,Iocc→Igt#11所述人脸精修模块采用U-Net网络的架构，使用像素到像素损失、感知损失、对抗损失和判别器对抗损失对网络进行训练，其中：像素到像素损失为： 感知损失Lpercep为： 对抗损失Ladv_U表示为： 判别器的对抗损失LDU以表示为： 5网络总体训练最后，为了保证网络各个模块之间的连续性，并针对整个网络优化各个模块所包含的参数，人脸精修模块和人脸成分修复模块使用端到端的重构损失进行微调；由于三维人脸分解网络的训练数据与其余模块不同，在最终的端到端训练中，固定三维分解网络的参数，仅对各个人脸成分修复模块和人脸精修模块网络的参数进行微调；其损失Lrecon表示为：Lrecon＝|Irefine-Igt|#16整个网络的训练损失表示为： 参数λ1，λ2，λ3，λ4，λ5、λ6，λ7为对应项权系数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人复旦大学，其通讯地址为：200433 上海市杨浦区邯郸路220号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。