买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京硅基智能科技有限公司

摘要：本申请提供了一种音频驱动三维人脸动画模型的生成方法、装置及设备，该方法包括：获取样本数据，样本数据包括样本音频数据、样本说话风格数据以及样本混合变形值；对样本音频数据进行特征提取，得到样本音频特征；基于待训练音频驱动三维人脸动画模型对样本音频特征进行卷积，得到初始音频特征；以及基于待训练音频驱动三维人脸动画模型对样本说话风格数据进行编码，得到样本说话风格特征；基于待训练音频驱动三维人脸动画模型对初始音频特征以及样本说话风格特征进行编码，得到输出混合变形值；对样本混合变形值以及输出混合变形值进行计算，得到损失函数值。本申请的技术方案，能够提高音频驱动三维人脸动画技术的精准度。

主权项：1.一种音频驱动三维人脸动画模型的生成方法，其特征在于，包括：获取样本数据，所述样本数据包括样本音频数据、样本说话风格数据以及样本混合变形值，所述样本音频数据与所述样本说话风格数据属于相同用户，所述样本说话风格数据用于描述用户的面部表情，所述样本混合变形值是对所述样本音频数据进行预处理得到的；对所述样本音频数据进行特征提取，得到样本音频特征；基于待训练音频驱动三维人脸动画模型对所述样本音频特征进行卷积，得到至少一个中间音频特征；基于所述待训练音频驱动三维人脸动画模型对所述至少一个中间音频特征中每两个中间音频特征进行匹配，得到与所述至少一个中间音频特征中每两个中间音频特征对应的中间音频特征组；基于所述待训练音频驱动三维人脸动画模型对至少一个中间音频特征组中每个中间音频特征组中两个中间音频特征进行合并，得到与至少一个中间音频特征组中每个中间音频特征组对应的中间合并特征；基于所述待训练音频驱动三维人脸动画模型对至少一个中间合并特征中每个中间合并特征进行计算，得到初始音频特征；所述至少一个中间音频特征中每个中间音频特征对应一个卷积计算通道，所述中间音频特征组对应的两个卷积计算通道的序列值不相邻；以及基于所述待训练音频驱动三维人脸动画模型对所述样本说话风格数据进行编码，得到样本说话风格特征；基于所述待训练音频驱动三维人脸动画模型对所述初始音频特征以及所述样本说话风格特征进行编码，得到输出混合变形值；对所述样本混合变形值以及所述输出混合变形值进行计算，得到损失函数值；基于所述损失函数值对所述待训练音频驱动三维人脸动画模型的模型参数进行更新。

全文数据：

权利要求：

百度查询： 南京硅基智能科技有限公司 音频驱动三维人脸动画模型的生成方法、装置及设备