买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西北大学

摘要：本发明公开一种基于U‑GAT‑IT改进的秦腔角色卡通化风格迁移的方法，首先制作了独有的秦腔角色卡通数据集，并对搜集到的人脸图片进行修改尺寸大小等预处理操作，其次在U‑GAT‑IT网络的基础上，在编码器之前和解码器之后均增加了两个堆叠的up‑down采样卷积模块，逐步提升模型的特征抽象和重建能力。另外，在U‑GAT‑IT网络中加入faceloss损失函数，约束新生成的秦腔角色卡通图，让秦腔角色卡通图的身份信息与输入的人脸信息尽可能保持一致。最后通过pytorch构建网络模型，将处理好的人脸图像传入到该网络中，得到具有秦腔角色特征的卡通图。其解决了卡通图像在风格迁移时易丢失原图像的身份信息的问题，改进了U‑GAT‑IT需要大量数据集的缺陷，并且能更准确的勾勒出卡通图的细节信息。

主权项：1.一种基于U-GAT-IT改进的秦腔角色卡通化风格迁移的方法，其特征在于：包括以下步骤；步骤1：获取秦腔角色卡通数据集和人脸图片集；步骤2：使用pytorch构建原始的U-GAT-IT网络框架，U-GAT-IT网络框架包括包括生成器Generator和鉴别器Discriminator，在U-GAT-IT网络框架中输入步骤1中获取的一张人脸图像作为源域图像x～XS，同时输入一张步骤1中获取的秦腔角色卡通图作为目标域图像x～Xy；步骤3：将步骤2中得到的源域图像和目标域图像通过两个堆叠的up-down采样卷积模块，在保证语义信息位置不变的情况下提取源域图像和目标域图像的特征，后经过生成器Generator中的编码器ES编码，得到编码后的特征图步骤4：将步骤3中所得特征图通过生成器Generator中一个二分类的辅助分类器ηs进行分类，区分图像来自源域还是目标域，得到每个特征图的权重信息WS＝{Ws1,Ws2,…,Wsn}；步骤5：将步骤4中所得每个特征图的权重信息均与编码后的特征图相乘即得到有注意力的特征图；步骤6：将步骤5中得到的注意力特征图通过1*1的卷积和激活函数层得到类激活图 其中，a表示每个类激活图，w表示每个特征图的权重信息，E表示编码后的特征图；步骤7：将步骤6中得到的类激活图通过全连接层fc得到生成器Generator中解码器Gt中AdaptiveLayer-InstanceNormalization层且用于AdaLIN做归一化处理的2c个参数gamma和beta；步骤8：将步骤7中得到的gamma和beta通过自适应残差块AdaptiveResidualBlocks进一步生成图像；步骤9：将步骤8中所得图像通过新增加的两个堆叠up-down采样卷积模块，从嵌入特征中进一步生成目标域图像；步骤10：将步骤9中得到的目标域图像通过鉴别器Discriminator中的CAM类激活图判断图像的真伪；步骤11：将步骤10中判断出的结果通过U-GAT-IT网络框架中的GANLoss，CycleLoss，IdentityLoss，CAMLoss以及FaceLoss损失函数计算得到秦腔角色特征的卡通图像。

全文数据：

权利要求：

百度查询： 西北大学 一种基于U-GAT-IT改进的秦腔角色卡通化风格迁移的方法