买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:中国科学院计算技术研究所
摘要:本申请提供了视频换脸模型的训练方法及视频换脸方法。首先在图像数据集上利用判别器对视频换脸模型中外观编码器和生成器进行对抗式训练直到判别器无法判断生成器的输出结果的真实性;接着视频数据集上通过光流场判别器继续对该视频换脸模型中外观编码器和生成器进行对抗式训练直到光流场判别器无法判断来自生成器的相邻两帧图像之间的光流场的真实性。这样,通过采用这种面向视频的光流场判别器在视频数据集上进一步训练换脸模型,加速了模型收敛,使得在少量人脸图像样本集上训练的生成器能生成逼真和更加稳定的图像,减少了合成后视频中的抖动、伪影和闪烁等现象,同时也摆脱了对大量高质量样本数据的依赖。
主权项:1.一种用于训练换脸模型的方法,其中所述换脸模型包括外观编码器、生成器、判别器、光流场编码器、光流场判别器以及预先训练好的人脸识别器;其中光流场编码器用于提取输入的两帧图像之间的光流场;所述光流场判别器用于判断从光流场编码器接收的光流场的真实性;所述方法包括:步骤S1基于视频数据集预先训练光流场编码器,所述光流场编码器以一个人的视频序列中相邻两帧图像作为输入,其输出这相邻两帧图像之间的光流场,所述视频数据集包括对多个人分别采集的视频序列;步骤S2从包含多个人脸图像的图像数据集提取的多个样本对来训练外观编码器、生成器和判别器;其中每个样本对由源人脸图像和目标人脸图像构成,所述生成器用于根据经由人脸识别器从源人脸图像中提取的身份特征和经由外观编码器从目标人脸图像中提取的外观特征来生成换脸图像,所述判别器用于判断所述生成器所生成的换脸图像的真实性;步骤S3从视频数据集中两个不同人的视频序列分别提取相邻两帧图像,由此构成两个相邻的样本对,并通过所述生成器对于这两个相邻的样本对生成两个相邻的换脸图像;步骤S4利用该光流场编码器提取来自生成器的两个相邻的换脸图像之间的光流场,并利用光流场判别器判断所述光流场的真实性,根据光流场判别器的判断结果调整外观编码器和生成器的参数;重复上述步骤S3和步骤S4,直到光流场判别器无法判断来自生成器的两个相邻的换脸图像之间的光流场的真实性为止。
全文数据:
权利要求:
百度查询: 中国科学院计算技术研究所 视频换脸方法、装置及存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。