买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:北京百度网讯科技有限公司
摘要:本公开提供了生成虚拟形象渲染模型的方法和装置,涉及人工智能技术领域,具体为计算机视觉、增强现实、虚拟现实、深度学习等技术领域,可应用于元宇宙、数字人等场景。具体实现方案为:获取预定人物的视频;对视频进行人脸检测跟踪,得到人脸图像集合;将人脸图像集合通过三维可变形人脸模型进行三维人脸重建,得到每帧人脸图像的表情参数、纹理参数;基于每帧人脸图像的表情参数、纹理参数训练优化模型;根据三维可变形人脸模型、优化模型生成虚拟形象渲染模型。该实施方式提供了在算力成本、硬件成本、终端适配性、渲染引擎适配、收敛速度等相对其他方法都有很大优势的虚拟形象渲染模型。
主权项:1.一种生成虚拟形象渲染模型的方法,包括:获取预定人物的视频;对所述视频进行人脸检测跟踪,得到人脸图像集合;将所述人脸图像集合通过三维可变形人脸模型进行三维人脸重建,得到每帧人脸图像的表情参数和纹理参数;基于每帧人脸图像的表情参数和纹理参数中至少一项训练优化模型,包括:基于每帧人脸图像的纹理参数训练颜色优化模型作为优化模型;根据所述三维可变形人脸模型、所述优化模型生成虚拟形象渲染模型;其中,所述基于每帧人脸图像的纹理参数训练颜色优化模型作为优化模型,包括:基于每帧人脸图像的表情参数通过形状优化模型中的三维运动体素网格基对每帧人脸图像的表情参数进行映射加权,得到每帧人脸图像的表情参数的加权结果;基于每帧人脸图像的表情参数的加权结果通过形状优化模型中的多层感知机实现每帧人脸图像的表情参数的加权结果的校准空间学习,得到每帧人脸图像的表情参数的校准结果;基于每帧人脸图像的表情参数的校准结果和每帧人脸图像的纹理参数训练颜色优化模型作为优化模型。
全文数据:
权利要求:
百度查询: 北京百度网讯科技有限公司 生成虚拟形象渲染模型的方法和装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。