恭喜重庆邮电大学李红波获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜重庆邮电大学申请的专利一种基于单视图三维重建的人脸blendshape生成方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN114255308B 。
龙图腾网通过国家知识产权局官网在2025-03-14发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202111526978.8,技术领域涉及:G06F17/40;该发明授权一种基于单视图三维重建的人脸blendshape生成方法是由李红波;陈建宇;王利设计研发完成,并于2021-12-14向国家知识产权局提交的专利申请。
本一种基于单视图三维重建的人脸blendshape生成方法在说明书摘要公布了:本发明公开了一种基于单视图三维重建的人脸blendshape生成方法,包括如下步骤:利用基于深度学习的单视图三维人脸重建方法,并利用现有数据集,训练从单张RGB人脸图片恢复出人脸三维结构的网络;将所述目标模型集导入主流三维动画软件中合成blendshape。本发明实现了基于一张二维人脸图片生成整个包括各种表情模型的blendshape,优化了流程,避免了人工建模操作的繁琐,大大降低了人力物力投入;本发明第一部分人脸重建部分采用编码器解码器结构,使用UV位置图表示三维人脸信息,重建出的人脸具有更加丰富的细节信息,避免了传统方法中出现的缺失人脸纹理细节的问题。
本发明授权一种基于单视图三维重建的人脸blendshape生成方法在权利要求书中公布了:1.一种基于单视图三维重建的人脸blendshape生成方法,其特征在于,包括如下步骤:利用基于深度学习的单视图三维人脸重建方法,并利用现有数据集,训练从单张RGB人脸图片恢复出人脸三维结构的网络;在训练所得网络中输入一张中性人脸图片以及多张表情图片,进而取得多个三维人脸模型作为源模型集;在训练所得网络中输入意图生成blendshape的人脸图片,生成目标模型;利用三角网格形变传递方法和基于深度学习重建人脸时所得人脸的68个人脸关键点位置实现自动化形变传递,将所述源模型集中的自然表情到多个非自然表情的形变根据对应的关键点传递到目标模型上,生成目标模型集;将所述目标模型集导入主流三维动画软件中合成blendshape;具体的,所述步骤利用基于深度学习的单视图三维人脸重建方法,并利用现有数据集,训练从单张RGB人脸图片恢复出人脸三维结构的网络包括如下子步骤:对数据集进行增广;对数据集进行预处理;设计编码器解码器网络结构;设计损失函数进行网络训练;所述步骤利用基于深度学习的单视图三维人脸重建方法,并利用现有数据集,训练从单张RGB人脸图片恢复出人脸三维结构的网络中,包括:对所述数据集数据进行预处理,并生成UV位置图;所述步骤利用基于深度学习的单视图三维人脸重建方法,并利用现有数据集,训练从单张RGB人脸图片恢复出人脸三维结构的网络中,包括如下子步骤:设计编码器-解码器结构网络;将二维人脸图像输入编码器,提取此图像区域特征;经过解码器,得到人脸UV位置图参数;所述步骤利用基于深度学习的单视图三维人脸重建方法,并利用现有数据集,训练从单张RGB人脸图片恢复出人脸三维结构的网络中,包括:设计损失函数,损失函数如下:;其中,Px,y为输入图片经过编码器-解码器结构网络后的输出结果,为预处理所得到的UV位置图groundtruth,Wx,y为权重遮罩;所述步骤利用基于深度学习的单视图三维人脸重建方法,并利用现有数据集,训练从单张RGB人脸图片恢复出人脸三维结构的网络中,包括:将增广所得人脸图像以及预处理所得UV位置图传入编码器-解码器结构网络中进行训练;人脸图像作为输入,预处理所得UV位置图作为groundtruth,使用所述损失函数计算训练损失值,不断迭代进行模型训练;所述步骤利用基于深度学习的单视图三维人脸重建方法,并利用现有数据集,训练从单张RGB人脸图片恢复出人脸三维结构的网络包括:编码器-解码器结构网络包含编码器模块和解码器模块,所述编码器模块使用ResNeSt网络;编码器内部包括1个单卷积层,8个splitattention模块;每个所述splitattention模块可包含1×1卷积层、2×2平均池化层、SplitAttention卷积层以及BatchNormal层;解码器模块包含若干上采样层;所述步骤利用三角网格形变传递方法和基于深度学习重建人脸时所得人脸的68个人脸关键点位置实现自动化形变传递,将所述源模型集中的自然表情到多个非自然表情的形变根据对应的关键点传递到目标模型上,生成目标模型集中,包括:所述三角网格形变传递基于仿射变换,对源模型三角网格进行形变,通过源模型与目标模型的对应关系传递该形变变换,且对于一个目标模型顶点集的仿射变换集合需满足实现一致性约束,其中,T是目标网格的三角形索引集合,T和d分别是仿射变换的非平移部分和平移矢量,𝑝𝑣𝑖是共享顶点的所有三角形集合,在此基础上形变传递目标仿射变换的约束优化问题公式为;所述步骤利用三角网格形变传递方法和基于深度学习重建人脸时所得人脸的68个人脸关键点位置实现自动化形变传递,将所述源模型集中的自然表情到多个非自然表情的形变根据对应的关键点传递到目标模型上,生成目标模型集中,包括:求解源模型三角网格索引集合与目标模型索引集合对应关系使用定点位置重构上述约束优化公式,源模型未变形和变形后顶点分别用和表示,其中,对于目标模型的每个三角网格增加一个顶点作为第四个未变形点:;仿射变换的非平移部分用未变形和变形的顶点组合表示为,将已知的未变形顶点作为常量,T作为未知变形顶点的线性组合,可得公式:,其中c是包含源变换S的向量,是未知变形顶点坐标的向量,A是映射到c的稀疏矩阵;将目标函数梯度设为0可得正规方程,其中A是只依赖与未变型网格的顶点位置,列对应未知变形目标顶点,列数为目标网络顶点数量和三角网格数量之和;所述步骤利用三角网格形变传递方法和基于深度学习重建人脸时所得人脸的68个人脸关键点位置实现自动化形变传递,将所述源模型集中的自然表情到多个非自然表情的形变根据对应的关键点传递到目标模型上,生成目标模型集中,包括:通过基于深度学习重建人脸时所得人脸的68个人脸关键点位置实现自动化形变传递,所述步骤利用基于深度学习的单视图三维人脸重建方法,并利用现有数据集,训练从单张RGB人脸图片恢复出人脸三维结构的网络中的人脸重建网络回归所得UV位置图将每个像素的位置以RGB形式存储相应xyz坐标,因此可直接利用68个人脸特征点位置通过迭代最近点方法计算源模型集到目标模型的映射。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人重庆邮电大学,其通讯地址为:400000 重庆市南岸区南山街道崇文路2号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。