买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国科学院自动化研究所

摘要：本发明提供一种人脸图像重演方法、装置、电子设备及存储介质，涉及图像处理技术领域，其中方法包括：对源图像和驱动图像进行人脸关键点检测以及背景预测，确定目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵；基于目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵进行密集运动转换，确定密集光流和多尺度掩码图像；其中，多尺度掩码图像用于标识源图像中扭曲重建的部分和上下文修复的部分；基于密集光流和多尺度掩码图像进行人脸重演，确定源图像和驱动图像对应的重建图像；人脸重演包括扭曲重建和上下文修复。本发明实现了源图像和驱动图像之间存在较大差异时也能够精确人脸重演的目的，大幅提高了人脸重演的精准性和适用性。

主权项：1.一种人脸图像重演方法，其特征在于，包括：对源图像和驱动图像进行人脸关键点检测以及背景预测，确定目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵；基于所述目标人脸薄板样条插值关键点矩阵和所述背景仿射变换参数矩阵进行密集运动转换，确定密集光流和多尺度掩码图像；其中，所述多尺度掩码图像用于标识所述源图像中扭曲重建的部分和上下文修复的部分；基于所述密集光流和所述多尺度掩码图像进行人脸重演，确定所述源图像和所述驱动图像对应的重建图像；所述人脸重演包括所述扭曲重建和所述上下文修复；其中，所述对源图像和驱动图像进行人脸关键点检测以及背景预测，确定目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵，具体包括：采用Resnet18网络和注意力机制，确定源图像中人脸关键点注意力的第一初始得分矩阵和驱动图像中所述人脸关键点注意力的第二初始得分矩阵；对所述第一初始得分矩阵和所述第二初始得分矩阵分别进行Gumbel-softmax采样，确定第一采样得分矩阵和第二采样得分矩阵；将所述第一采样得分矩阵和所述第二采样得分矩阵分别与预设数量个人脸关键点相乘、再将相乘所得的两个矩阵中的0值均剔除，确定第一人脸薄板样条插值关键点矩阵和第二人脸薄板样条插值关键点矩阵；基于全连接层，对所述源图像和所述驱动图像分别进行自监督学习，确定第三人脸薄板样条插值关键点矩阵和第四人脸薄板样条插值关键点矩阵；将所述第一人脸薄板样条插值关键点矩阵和所述第三人脸薄板样条插值关键点矩阵拼接为所述源图像对应的第一目标人脸薄板样条插值关键点矩阵，将所述第二人脸薄板样条插值关键点矩阵和所述第四人脸薄板样条插值关键点矩阵拼接为所述驱动图像对应的第二目标人脸薄板样条插值关键点矩阵，并确定所述目标人脸薄板样条插值关键点矩阵包括所述第一目标人脸薄板样条插值关键点矩阵和所述第二目标人脸薄板样条插值关键点矩阵；采用所述Resnet18网络对所述源图像和所述驱动图像进行背景检测，确定背景仿射变换参数矩阵。

全文数据：

权利要求：

百度查询： 中国科学院自动化研究所 人脸图像重演方法、装置、电子设备及存储介质