Document
拖动滑块完成拼图
个人中心

预订订单
服务订单
发布专利 发布成果 人才入驻 发布商标 发布需求

在线咨询

联系我们

龙图腾公众号
首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 恭喜北京工业大学施云惠获国家专利权

恭喜北京工业大学施云惠获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网恭喜北京工业大学申请的专利一种基于Retinex模型的卡通风格迁移方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN113066114B

龙图腾网通过国家知识产权局官网在2025-03-11发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202110305033.7,技术领域涉及:G06T7/40;该发明授权一种基于Retinex模型的卡通风格迁移方法是由施云惠;欧阳浩然;齐娜;尹宝才设计研发完成,并于2021-03-10向国家知识产权局提交的专利申请。

一种基于Retinex模型的卡通风格迁移方法在说明书摘要公布了:一种基于Retinex模型的卡通风格迁移方法属于计算机视觉领域。将真实世界的照片转换成卡通风格的图像是一项有意义且具有挑战性的任务。现有方法由于没有分别考虑卡通图像和现实照片在结构、纹理和光照方面的一致性和连续性,不能得到令人满意的卡通化结果。本发明中Retinex模型联合学习照片和卡通图像的内在属性形状和纹理和外在属性光照。RexGAN框架包括通过反射损失来学习从照片图像到卡通图像的映射的ReflectGAN以及通过光照损失来进一步促进生成图像的结构和光照的LuminGAN。本发明不仅能够从真实照片中生成高质量的卡通图像,而且具有清晰的边缘和结构以及正确的照明,且在主观效果上优于目前最先进的方法。

本发明授权一种基于Retinex模型的卡通风格迁移方法在权利要求书中公布了:1.一种基于Retinex模型的卡通风格迁移方法,其特征在于:方法实现分为训练阶段和测试阶段;首先同时训练两个生成对抗网络来实现,它们分别是生成器G与鉴别器DR以及生成器F与鉴别器DI,然后将现实照片x作为输入使其连续通过生成器G与生成器F最后得到输出图像FGx;分为以下三个步骤:数据集的预处理、RexGAN模型的训练以及卡通图像的合成;1数据集的预处理为了有效的估计现实照片和卡通图像的光照分量I和反射分量R,将内在与外在的联合先验模型Jeip整合到映射函数RexGAN中;因此首先使用Jeip模型分别对卡通图像y和现实照片x进行分解,得到卡通图像的反射分量Ry以及现实照片的反射分量Rx;然后利用未配对的训练数据集和训练生成器G使其学习从照片图像x的照片域X到卡通图像y的反射域Q的映射函数ReflectGAN;最后通过配对的训练数据集和训练生成器F使其学习从卡通图像的反射域Q到卡通域Y的映射函数LuminGAN;训练数据包含现实照片x和卡通图像y,而测试数据只包括现实照片x;在RexGAN的训练过程中,使用的是AnimeGAN所提供的数据集;此外,把所有训练图像都调整为256*256;2RexGAN模型的训练基于图像的反射分量含有细腻纹理以及具有分段连续性的假设,将现实照片的反射转移到对应的卡通图像上;因此,RexGAN模型包括两个映射G:x→Ry即ReflectGAN和F:Ry→y即LuminGAN;此外,引入了两个对抗鉴别器DR和DI,DR的目的是区分图像Ry和已转换图像Gx,其与生成器G相对应;同样的,DI的目的是区分y和FRy,其与生成器F相对应;因此,目标函数被表述为: 其中argminmax表示最大最小问题的解决,其中与训练一个生成对抗网络类似,将解决两个生成对抗网络的训练问题,即最小化生成器G与生成器F,最大化鉴别器DR和鉴别器DI;LuminGAN本质上是利用生成对抗网络来保存目标图像的结构和重建目标图像的光照;因此,公式推导为:LG,F,DR,DI=LRG,DR+LIF,DI2LRG,DR和LIF,DI分别代表了ReflectGAN和LuminGAN的损失函数,接下来对其进行详细描述;2.1ReflectGAN的训练ReflectGAN被训练用来学习卡通图像反射的风格特征;为了减少ReflectGAN的训练参数,直接引入了AnimeGANv2中的生成器模型;此外,使用了一个简单的块级鉴别器来判断生成的结果是否具有卡通图像反射成分的特征;ReflectGAN的损失函数由反射对抗损失内容损失反射风格损失Lgra以及颜色一致性损失Lcol组成;因此,LRG,DR表示为: 其中ω1=300,ω2=1.4、ω3=2.5和ω4=100是用于平衡ReflectGAN损失的权重;将现实照片x输入到生成器G中并尝试生成图像Gx,图像Gx的外观风格和纹理应该与真实卡通图像的反射分量Ry一致,而鉴别器DR的目的是将合成的图像Gx与反射分量Ry区分开;因此,分别将生成图像Gx与反射分量Ry输入到鉴别器DR中得到虚假概率DRGx以及真实概率DRRy,然后将虚假概率DRGx与真实概率值1作比较以及将真实概率DRRy与虚假概率值0作比较,进而使生成器G与鉴别器DR达到交替迭代训练的目的,直至收敛;而为了有效地学习卡通图像反射的风格特征,提出基于最小二乘损失的反射对抗损失来约束生成器G和鉴别器DR;反射对抗损失则表示为: 其中表示卡通图像反射域Q中反射分量Ry的数据集合,表示现实照片域X中现实照片x的数据集合;引入感知损失作为内容损失,其具有保持图像内容和整体空间结构的能力;因此利用VGG能提取高级特征的能力提取Gx、x以及Ry的图像高级特征;此外,使用Gram矩阵从图像的高级特征中来提取图像反映的风格特征;最后,将内容损失和反射风格损失Lgra定义为: 其中表示将卡通图像反射域Q中反射分量Ry与现实照片域X中现实照片x的数据集合与VGG表示由ImageNet数据集上预训练的19层VGG网络提取的高级特征图,l表示特定VGG层的特征映射;在训练中,选择“conv4-4”层来计算这个损失;反射风格损失包含了风格图像反射的颜色信息,而JeiP模型主要是HSV颜色空间照明度V通道中进行的图像分解;因此,将RGB格式的图像转换为HSV格式,建立颜色一致性损失,使生成的图像的反射颜色与真实照片的反射颜色接近;因为V通道中包含了大量的纹理信息,所以对V通道采用l1稀疏约束,对色调H通道和饱和度S通道采用Huber损失lh;颜色一致性损失Lcol定义为: 其中表示现实照片域X中现实照片x与现实照片反射域P中的现实照片反射分量Rx的数据集合;H·,S·,V·分别表示HSV格式图像的三个通道,并且α表示V通道的权重;2.2LuminGAN的训练将四个轻量级的通道注意力模块ECA整合到生成器F的八个逆残差块IRB中组成新的残差块;将卡通图像和卡通图像的反射作为一组成对数据集LuminGAN进行训练,使生成器F具有重建光照特征的能力;因此,目标函数LIF,DI主要由光照对抗性损失内容损失以及全局一致性损失Lglo;LuminGAN的损失函数表示为: 其中γ1=150,γ2=0.5和γ3=1000是用于平衡LuminGAN损失的权重;将卡通图像的反射分量Ry输入到生成器F中并尝试生成图像FRy,图像FRy的外观应该与真实卡通图像y一致,而鉴别器DI的目的是将合成的图像FRy与反射分量Ry区分开;因此光照对抗损失被定义为: 公式9与公式4的约束方式相同,区别在于分别将卡通图像y与其反射分量Ry输入到鉴别器DI中得到真实概率DIy以及虚假概率EIFRy;然后将虚假概率DIFRy与真实概率值1作比较以及将真实概率DIy与虚假概率值0作比较,进而使生成器F与鉴别器DI达到交替迭代训练的目的,直至收敛;其中表示卡通图像域Y中卡通图像y的数据集合;为了加快LuminGAN训练时的收敛速度,加入了与ReflectGAN中内容损失结构相同的内容损失去约束生成器F,其中区别在于仅仅将ReflectGAN中的输入现实图像x改为输入卡通图像的反射分量Ry;为了突出图像的边缘结构,引入了HSV空间的颜色一致性损失约束生成器F,并将这种一致性损失添加到整个图像中;因此,将全局一致性损失Lglo定义为: 其中表示卡通图像反射域Q中反射分量Ry与卡通图像域Y中卡通图像y的数据集合,H·,S·,V·分别表示HSV格式图像的三个通道,β=2表示V通道的权重。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京工业大学,其通讯地址为:100124 北京市朝阳区平乐园100号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。