买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:浙江大学;浙江大学软件学院(宁波)管理中心(宁波软件教育中心)
摘要:本发明公开了一种细节优化补偿的面部动作表情迁移方法及装置。本发明使用了三维面部重建模型对面部动作表情进行建模编码,实现了面部信息的采集压缩,利用滑动窗口保证了生成视频人物的一致性;使用多次深层信息融合技术获得面部像素流场,对原图进行初次扭曲,解决基于关键点的表情迁移模型对于差异较大人脸泛化能力差、动作表情缺失的问题;利用多层次面部细节编码和优化补偿模型,对图像缺失部分进行针对性修补,解决信息缺失导致的细节缺失、边缘扭曲等问题。
主权项:1.一种细节优化补偿的面部动作表情迁移方法,其特征在于,该方法包括:S1、获取视频数据集并进行分帧预处理;S2、随机抽取某一视频中的两帧作为该视频的源图像和驱动图像,将源图像和驱动图像中的面部参数进行数量匹配,使用两图像中的面部参数构建最终驱动参数;S3、构建输入为最终驱动参数和源图像的像素流场提取网络模型;S4、构建输入为源图像的细节优化补偿神经网络模型,包括将源图像进行下采样得到原始特征并通过像素流场扭曲特征图,将扭曲后的特征图进行上采样,并在上采样过程中,将每一层下采样得到的原始特征和每一层上采样得到的扭曲特征间进行细节优化补偿;S5、对构建的网络模型进行训练:计算结果图像和驱动图像的差异,使用梯度下降进行反向传播训练;S6、将待处理视频的第一帧作为源图像,其余帧作为驱动图像,使用训练好的网络模型进行视频生成,得到细节优化补偿后的迁移视频。
全文数据:
权利要求:
百度查询: 浙江大学 浙江大学软件学院(宁波)管理中心(宁波软件教育中心) 一种细节优化补偿的面部动作表情迁移方法及装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。