龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
摘要：本发明涉及计算机视觉处理技术领域，具体涉及一种基于牙齿运动一致性的细粒度说话人脸生成方法，将驱动音频和视频文件输入到完成训练的生成模型，生成模型根据驱动音频调整视频文件中的唇形和牙齿，得到人脸说话视频；生成模型的训练过程包括：对视频文件进行切片采样，对得到多个视频片段进行音频分离；通过说话人脸基础生成器得到人脸说话视频；通过牙齿运动估计模块预测牙齿的运动流：通过面部特征优化模块进行牙齿形状约束和多尺度人脸感知约束；本发明显著提升了牙齿运动的连续性和自然度，解决了传统技术在牙齿动画生成中存在的不连贯问题；还引入牙齿形状约束和多尺度面部感知约束，有效增强了面部细节的清晰度和真实性。
主权项：1.一种基于牙齿运动一致性的细粒度说话人脸生成方法，其特征在于，将驱动音频和视频文件输入到完成训练的生成模型，得到人脸说话视频；生成模型的训练过程包括：对包含人脸的视频文件进行切片、音频分离，得到视频片段和对应的驱动音频；从视频片段中提取源人脸图像的序列和参考人脸图像的序列；基于驱动音频、和，通过说话人脸基础生成器得到生成图像的序列，即得到人脸说话视频，基于和构建重建损失；基于生成图像和驱动音频的同步概率构建同步损失；通过牙齿运动估计模块提取源人脸图像的牙齿区域掩码，预测牙齿的运动流，计算基于牙齿区域掩码的预测牙齿运动流和真实牙齿运动流之间的差异，构建一致性损失；通过生成图像与源人脸图像的牙齿区域特征的L1距离，构建形状损失；通过对生成图像和源人脸图像进行下采样得到的结果，构建感知损失；基于、、、、对生成模型进行训练。
全文数据：
权利要求：
百度查询： 合肥工业大学 一种基于牙齿运动一致性的细粒度说话人脸生成方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号