申请/专利权人：南昌大学

申请日：2024-01-05

公开（公告）日：2024-07-05

公开（公告）号：CN117934991B

主分类号：G06V10/774

分类号：G06V10/774;G06N3/0475;G06N3/045;G06N3/0464;G06N3/088;G06N3/094

优先权：

专利状态码：有效-授权

法律状态：2024.07.05#授权;2024.05.14#实质审查的生效;2024.04.26#公开

摘要：本发明涉及图像处理技术领域，特别涉及一种基于身份保持的多类面部表情图片生成技术，包括条件生成对抗网络模型训练、多类面部表情图片生成两个步骤。本发明能够根据主体中性表情图片生成包含该主体六类基本不同面部表情愤怒、厌恶、恐惧、快乐、悲伤、以及惊讶的面部图片，具有灵活性和实用性；另外，该技术能够在生成主体多类面部表情图片的同时保持主体身份信息，使得生成图片更为自然逼真，具有良好的应用前景。

主权项：1.一种基于身份保持的多类面部表情图片生成技术，其特征在于，包括以下步骤：S1、条件生成对抗网络模型训练：生成对抗网络模型包含一个生成器G和一个多任务判别器D，所述判别器D包含三个子判别器，分别为对抗相关的子判别器Dgan、表情分类相关的子判别器Dexp和身份相关的子判别器Did，即D＝[Dgan，Dexp，Did]；所述生成器G包括下采样模块、骨干网络以及上采样模块，其中所述下采样模块负责将输入图片编码为潜在向量；所述骨干网络负责对潜在向量进行特征提取；所述上采样模块负责将潜在向量还原为图片；所述判别器D包括输入层、隐藏层和三个相互独立的输出层，所述输入层负责接收输入图片，所述隐藏层负责特征提取，所述输出层负责将提取的特征转换为结果向量，最后三个相互独立的输出层分别输出判别真伪的结果向量、表情分类的结果向量和身份预测的结果向量，分别对应Dgan、Dexp和Did三个子判别器的功能；在生成对抗网络框架中引入表情与身份标签信息约束、循环一致性约束、以及目标一致性约束条件限制，引导模型学习基于身份保持的多类面部表情图片生成；1表情与身份标签信息约束：在模型中引入表情标签信息约束，使生成器G在目标表情标签c′的引导下，基于输入的真实图片x生成包含目标表情的面部图片x′；与此同时，利用表情标签训练子判别器Dexp学习对输入图片进行表情分类；表情标签信息约束通过在模型训练目标函数中引入表情分类损失Lcls来实现；其次，在模型中引入身份标签信息约束，身份标签信息约束通过在模型训练目标函数中引入身份预测损失Lid来实现；另外，在模型训练目标函数中引入对抗损失Ladv，在对抗损失中引入梯度惩罚项以使模型的训练过程更加稳定并提升生成图片的质量；2循环一致性约束：在模型中引入循环一致性约束，本约束可通过在模型训练目标函数中引入循环一致性损失Lcyc来实现；3目标一致性约束：在模型中引入目标一致性约束，目标一致性约束通过在模型训练目标函数中引入目标一致性损失Ltcl来实现；条件生成对抗网络的最终损失函数如公式6所示：Ltotal＝Ladv+λclsLcls+λidLid+λcycLcyc+λtclLtcl6其中，λcls、λid、λcyc和λtcl分别表示表情分类损失Lcls、身份预测损失Lid、循环一致性损失Lcyc和目标一致性损失Ltcl的权重超参数；S2、多类面部表情图片生成：在条件生成对抗网络模型的训练完成后，向训练完成的模型生成器中输入主体的中性表情图片和目标表情标签，通过调整目标表情标签使其表示六类基本不同表情，使得生成器生成包含所述主体六类基本不同表情的面部图片，生成的面部表情图片在表现表情特征的同时保留主体的身份信息，该过程用公式7表示，Iexpr＝GIneutral，cexpr7其中，G表示训练完成的生成器，Ineutral表示主体的中性表情面部图片，cexpr表示目标表情标签，Iexpr表示生成的目标表情面部图像。

全文数据：

权利要求：

百度查询： 南昌大学 一种基于身份保持的多类面部表情图片生成技术

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD