买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东浪潮超高清智能科技有限公司

摘要：本发明提供了一种2D运动场说话肖像合成方法和装置，属于说话肖像合成技术领域。包括：选定高清的HDTF、MEAD数据集和混合质量的AVSpeech数据集作为初始数据集，对初始数据集进行预处理后划分为测试集和训练集；构建运动场说话肖像合成模型，包括人脸编码器、人脸解码器，通过训练集训练运动场说话肖像合成模型，获取性能最优模型；将测试集数据输入到训练完成的运动场说话肖像合成模型，输出合成的说话肖像结果。本发明采用高清且高质量的数据集用于模型的训练，从本质上改善了合成说话肖像的质量问题。提高了人脸编解码网络结构分辨率，产出更高分辨率的说话肖像，实现了大屏上的应用。两个监督策略的引入，丰富了唇形风格，提升了合成说话肖像的效果。

主权项：1.一种2D运动场说话肖像合成方法，其特征在于，包括：选定高清的HDTF、MEAD数据集和混合质量的AVSpeech数据集作为初始数据集，对初始数据集进行预处理后划分为测试集和训练集；构建运动场说话肖像合成模型，包括人脸编码器、人脸解码器，所述人脸编码器包括依次串联的9个卷积模块，实现掩码人脸图像和参考人脸图像的特征编码；所述人脸解码器包括人脸解码模块和声音编码模块，所述声音编码模块包括依次串联的6个卷积模块，所述人脸解码模块包括依次串联的9个上采样卷积模块；通过训练集训练运动场说话肖像合成模型，获取性能最优模型；将测试集数据输入到训练完成的运动场说话肖像合成模型，输出合成的说话肖像结果；所述预处理方式如下：将初始数据集中的视频帧率转变为25fps，音频码率转变为为16000hz，并对音视频切分，每段音视频时长少于5s，并使用同步网络过滤声音和唇形不同步的音视频，将音频处理为梅尔频谱图序列；对剩余的视频进行人脸检测，提取人脸ROI并保存为图像；所述人脸解码器中第一个卷积模块和第九个卷积模块包括一个卷积层，第二个卷积模块、第七个卷积模块和第八个卷积模块包括两层卷积层，第三个卷积模块、第五个卷积模块和第六个卷积模块包括三层卷积层，第四个卷积模块包括四层卷积层；所述声音编码模块中第一个卷积模块、第二个卷积模块、第三个卷积模块包括三个卷积层，第四个卷积模块包括两个卷积层，第五个卷积模块和第六个卷积模块包括一个卷积层；所述人脸解码模块第一个上采样卷积模块包括一个卷积层，第二个上采样卷积模块包括依次连接的上采样层和卷积层，所述第三个上采样卷积模块、第四个上采样卷积模块、第五个上采样卷积模块、第六个上采样卷积模块、第七个上采样卷积模块、第八个上采样卷积模块、第九个上采样卷积模块均包括依次连接的上采样层和两个串联的卷积层。

全文数据：

权利要求：

百度查询： 山东浪潮超高清智能科技有限公司 一种2D运动场说话肖像合成方法和装置