买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:南昌市小核桃科技有限公司
摘要:本发明提出了一种基于神经符号距离场的三维一致性面部生成方法,结合了轻量级NeRF‑GAN和基于风格的神经上采样器,所提出的NeRF‑GAN采用多分辨率哈希网格作为场景表示的编码器,可有效提高训练速度,为了解决多视图图像的不一致性问题,在所提出的神经上采样器中集成了一种额外的自监督方法,此外,SDF建模能够生成更高质量的3D模型,实验结果表明,本方法优于基准方法,尤其是合成的图像在高分辨率下依然保持了高质量和细节,展示了其卓越的性能。
主权项:1.一种基于神经符号距离场的三维一致性面部生成方法,其特征在于,包括以下步骤:步骤S1:获取人脸相关数据,从FFHQ数据集中获取人脸RGB图像;步骤S2:创建一个基于神经符号距离场SDF的体积渲染网络,初始化网络超参数;步骤S3:采用可学习的多分辨率哈希网格对三维点和射线方向进行哈希编码,并使用一个潜在的映射网络处理潜在编码,将映射后的潜在编码与哈希编码作为所设计的NeRF-GAN生成器的输入;步骤S4:NeRF-GAN生成器输出采样点的SDF值、特征值和RGB颜色,并采用2D噪声注入的方式;轻量级NeRF-GAN采用由LeakyReLU激活的三层MLP作为其映射网络,将潜在编码通过映射网络得到潜在向量,来自潜在空间的潜在向量通过特征线性调制FiLM进行仿射变换,注入映射网络的每一层,并将映射网络扩展为8层,作为基于样式的神经上采样器的映射网络,每个SURF块接收潜在空间的潜在向量作为噪声输入,通过可学习线性层为每个块生成频率和相移,并通过周期性激活函数注入噪声;将SURF块表示为:,,,,,,其中表示第层的输入,和是全连接层的权重矩阵和偏移向量,分别表示3个全连接层,SURF层输出的中间向量分别经过两个全连接层和,生成特征向量和SDF值,线性层和激活函数用于将和转化为体渲染所需的RGB值和体密度,其中是可学习的激活函数;生成的SDF值用于后续提取mesh模型,训练参数来指示表面的紧密程度,并将SDF值用于体渲染,采用公式将SDF值转换为空间体积密度;步骤S5:采用体积渲染来合成分辨率为64×64的图像,同时额外渲染了携带生成过程中先验知识的特征图F;步骤S6:设计一种基于风格的神经上采样器,对特征图进行处理,生成高分辨率的二维图像,并采用两阶段的监督方式;步骤S7:计算对抗损失、相机位姿损失、Eikonal损失和一致性损失,优化生成模型。
全文数据:
权利要求:
百度查询: 南昌市小核桃科技有限公司 一种基于神经符号距离场的三维一致性面部生成方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。