买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：成都信息工程大学

摘要：本发明提供一种基于深度强化学习的任意图片风格迁移的方法及系统，涉及图片处理领域，其中，该方法包括：建立深度强化学习模型，其中，深度强化学习模型至少包括演员网络、评论家网络和执行者网络；建立训练集；通过训练集及总损失函数对深度强化学习模型进行训练，其中，总损失函数至少包括内容损失函数、风格损失函数及多级风格化对比损失函数；获取待迁移的内容图片和待迁移的内容图片对应的风格图片；通过训练后的深度强化学习模型，基于待迁移的内容图片和待迁移的内容图片对应的风格图片，生成待迁移的内容图片对应的风格迁移后的图片，具有提高任意图片风格迁移的效率的优点。

主权项：1.一种基于深度强化学习的任意图片风格迁移的方法，其特征在于，包括：建立深度强化学习模型，其中，所述深度强化学习模型至少包括演员网络、评论家网络和执行者网络；建立训练集；通过训练集及总损失函数对所述深度强化学习模型进行训练，其中，所述总损失函数至少包括内容损失函数、风格损失函数及多级风格化对比损失函数；获取待迁移的内容图片和所述待迁移的内容图片对应的风格图片；通过训练后的所述深度强化学习模型，基于所述待迁移的内容图片和所述待迁移的内容图片对应的风格图片，生成所述待迁移的内容图片对应的风格迁移后的图片；所述通过训练集及总损失函数对所述深度强化学习模型进行训练，包括：S1、将当前状态输入演员网络，演员网络观察当前的状态，得到风格信息，建立当前状态中移动图片的风格化策略，并采样得到当前状态对应的最优决策动作，其中，所述当前状态包括移动图片和风格图片，所述移动图片由内容图片初始化生成；S2、将所述最优决策动作输入至执行者网络，并将演员网络中生成的风格信息通过跳跃连接的方式，同步输入到执行者网络中；S3、执行者网络将跳跃连接提供的风格信息作为参考，执行最优决策动作，得到决策执行结果，并使用决策执行结果更新移动图片得到新的状态；S4、将新状态的移动图片和风格图片放入预训练神经网络VGG19中，得到新状态的移动图片的多层特征图和风格图片的多层特征图，计算执行动作得到的反馈奖励；S5、将当前状态的移动图片、最优决策动作和反馈奖励输入评论家网络，分析状态特征，并与动作在通道维度上拼接得到融合特征，分析融合特征以获取最大期望奖励；S6、演员网络根据最大期望奖励调整更新策略；S7、通过内容损失函数、风格损失函数及多级风格化对比损失函数，计算损失；S8、根据所述损失，判断是否满足预设训练条件，若是，完成训练，若否，通过梯度反向传播优化，执行S1-S7；所述总损失函数为： ，其中，为总损失，为演员网络的模型参数，为执行者网络的模型参数，、、均为可学习参数，为内容损失，为风格损失，为多级风格化对比损失；所述内容损失函数为： ，其中，为执行者网络第步的输出，为内容图片，是预训练神经网络VGG19的第四个卷积块中的第一个激活函数层输出的输入图片的特征图，、和分别表示预训练神经网络VGG19的第四个卷积块中的第一个激活函数层输出的输入图片的特征图的通道数量、高度和宽度；所述风格损失函数为： ，其中，为执行者网络第步的输出，为风格图片，是预训练神经网络VGG19提取的输入图片在第层的特征图，为选取的最大层数，表示求均值，表示求方差；所述多级风格化对比损失函数为： ，其中，为批样本数，为演员网络的层数，为第个样本中的移动图片在演员网络第层的输出，为第个样本中的移动图片在演员网络第层的输出，为第个样本中的风格图片在演员网络的第k层输出。

全文数据：

权利要求：

百度查询： 成都信息工程大学 一种基于深度强化学习的任意图片风格迁移的方法及系统