申请/专利权人：北京中科金财科技股份有限公司

申请日：2023-12-15

公开（公告）日：2024-06-21

公开（公告）号：CN117729298B

主分类号：H04N5/265

分类号：H04N5/265;G06N3/0455;G06N3/0464;G06N3/082;G10L13/08

优先权：

专利状态码：有效-授权

法律状态：2024.06.21#授权;2024.04.05#实质审查的生效;2024.03.19#公开

摘要：本发明公开了一种基于动作驱动和口型驱动的照片驱动方法，根据用户输入的音频或文本信息，驱动模型内置人物的口型，得到目标人物的说话的动作；根据音频驱动得到的动作，驱动用户上传的照片，实现照片驱动；最后为了实现实时驱动速度，将全部网络在TensorRT框架下进行推理。优点是：既能够实现动作效果，又无需进行训练，且能够实现实时照片驱动。通过结合语音驱动和动作驱动相结合的方式，达到提高照片驱动的效率和用户体验，从而满足用户对于高效、便捷和快速响应的需求。

主权项：1.一种基于动作驱动和口型驱动的照片驱动方法，其特征在于：包括如下步骤，S1、语音驱动口型：将用户输入的音频或根据用户输入的文本信息转换成的音频，输入到预训练好的Bert结构的模型中，预测三维人脸关键点；根据用户输入的是照片或视频，利用相应的姿态信息对获取的三维人脸关键点进行仿射变换，获取相应姿态下的三维人脸关键点；将相应姿态下的三维人脸关键点输入到预训练好的姿态后处理网络中，推理得到校验后的三维人脸关键点；利用校验后的三维人脸关键点为每一帧图像构建条件特征图，并基于条件特征图以及目标人物的候选图像集，获取目标人物的说话动作；步骤S1具体包括如下内容，S11、三维人脸关键点预测：利用DECA模型预测人脸的姿态信息pitch、yaw和roll以及3D人脸关键点信息作为GroundTruth，计算GroundTruth中人脸的姿态信息pitch、yaw和roll以及3D人脸关键点信息的均值和方差，并对计算结果进行归一化处理获取数据集，利用数据集对Bert结构的模型进行预训练，获取训练好的Bert结构的模型；将用户输入的音频或根据用户输入的文本信息转换成的音频，输入到训练好的Bert结构的模型中预测三维人脸关键点；S12、三维人脸关键点校验：若用户上传的是照片，利用预置姿态对预测到的三维人脸关键点进行仿射变换，获取对应姿态下的三维人脸关键点；若用户上传的是视频，则利用DECA模型预测用户上传的视频中的人物的人脸姿态信息pitch，yaw和roll，再根据姿态信息对预测到的三维人脸关键点进行仿射变换，获取相应姿态下的三维人脸关键点；S13、姿态域适应：设置姿态后处理网络PostPoseNet，利用姿态估计网络预测目标人视频的姿态作为GroundTruth，利用GroundTruth对姿态后处理网络进行预训练获取训练好的姿态后处理网络PostPoseNet，将相应姿态下的三维人脸关键点输入到训练好的姿态后处理网络PostPoseNet中推理得到校验后的三维人脸关键点；S14、人脸渲染：为每一帧图像绘制由校验后的三维人脸关键点信息构建的条件特征图，将条件特征图结合目标人物的候选图像集一起输入到解码器中，实现人脸的渲染；S2、动作驱动照片：基于目标人物的说话动作和用户上传的图片或视频，利用改进的TPSMotion算法实现动作驱动照片；S3、模型加速：将全部的网络模型在TensorRT框架下进行模型推理，实现实时照片驱动。

全文数据：

权利要求：

百度查询： 北京中科金财科技股份有限公司 一种基于动作驱动和口型驱动的照片驱动方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD