买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：大连理工大学

摘要：本发明属于计算机视觉中的图像上色领域，涉及一种基于深度学习的动画视频线稿上色方法，可应用于图像处理场景。该上色算法依据前帧与首帧，使用区域定位模块和特征增强模块增强当前线稿帧关键转换区域的着色，通过生成对抗网络实现高质量的动画帧上色。本发明提出的多尺度欧氏距离差图，有效定位了几何变换区域，同时设计了两种特征增强模块降低了模型计算成本。实验结果表明，与其它的动画线稿以及视频动画线稿上色方法相比，我们的方法可以在实现更快的速度的同时，得到更好的上色效果。

主权项：1.一种基于深度学习的动画视频线稿上色方法，其特征在于，分为三个阶段来实现动画视频线稿的上色；第一阶段为基于欧式距离差图和卷积神经网络的视频帧变化区域定位，第二阶段为基于注意力机制的变化区域特征增强，第三阶段为基于生成对抗网络的特征图片生成，包括如下步骤：第一阶段，基于欧式距离差图和卷积神经网络的视频帧变化区域定位步骤1，线稿帧通过卷积神经网络得到多尺度欧式距离差图输入目标帧、前帧与首帧线稿，计算得到三张图片的欧式距离图，再分别将前帧与目标帧、首帧与目标帧的欧式距离图逐像素相减，得到两张欧式距离差图；将所得到的两张欧式距离差图输入卷积神经网络，分别得到前帧与首帧的多尺度欧式距离差图；步骤2，彩色帧通过卷积神经网络得到高维特征图将两张参考彩图即前帧与首帧通过卷积神经网络，得到前帧与首帧的高维特征图；第二阶段，基于注意力机制的变化区域特征增强若选择轻量化模块：步骤3，通过注意力机制得到参考特征图将前帧与首帧的多尺度欧式距离差图与高维特征图按尺度成对通过注意力机制计算，得到首帧的对目标帧的彩色映射特征与前帧的对目标帧的彩色映射特征，将彩色映射特征按尺度成对在通道层面叠加，得到最终的多维参考特征图；若选择复杂化模块：步骤4，获取掩码处理的图片将在步骤1中所得到前帧的多尺度欧式距离差图进行二值化；将前帧的二值化欧氏距离差图分别与前帧线稿、目标线稿、前帧彩图、目标彩图进行元素相乘，得到前帧掩码遮挡的前帧线稿、前帧掩码遮挡的目标线稿、前帧掩码遮挡的前帧彩图、前帧掩码遮挡的目标彩图；将首帧的二值化欧氏距离差图分别与首帧线稿、目标线稿、首帧彩图、目标彩图进行元素相乘，得到首帧掩码遮挡的首帧线稿、首帧掩码遮挡的目标线稿、首帧掩码遮挡的首帧彩图、首帧掩码遮挡的目标彩图；步骤5，利用相似性矩阵得到参考特征图将在步骤4中得到的前帧掩码遮挡的前帧线稿与前帧掩码遮挡的目标线稿进行矩阵变形，使得二者变形为一维向量，再进行相乘得到前帧相似性矩阵；再将步骤4中得到的前帧掩码遮挡的前帧彩图进行矩阵变形，将其与前帧相似性矩阵进行矩阵相乘后，得到根据前帧预测的当前帧的参考特征图；将在步骤4中得到的首帧掩码遮挡的首帧线稿与首帧掩码遮挡的目标线稿进行矩阵变形，使得二者变形为一维向量，再进行相乘得到首帧相似性矩阵；再将步骤4中得到的首帧掩码遮挡的首帧彩图进行矩阵变形，将其与首帧相似性矩阵进行矩阵相乘后，得到根据首帧预测的当前帧的参考特征图；最终将根据前帧与首帧预测的当前帧的参考特征图按尺度成对在通道层面叠加，得到初步的多维参考特征图；再将其与上述轻量化模块中得到的多维参考特征图进行通道叠加，得到最终的多维参考特征图；第三阶段，基于生成对抗网络的特征图片生成步骤6，利用生成对抗网络预测彩色目标帧将第二阶段轻量化模块或复杂化模块得到的最终的多维参考特征图按尺度输入生成对抗网络的编码器，同时向编码器输入目标帧线稿；将生成的结果输入鉴别器经过训练得到目标帧的上色图像。

全文数据：

权利要求：

百度查询： 大连理工大学 一种基于深度学习的动画视频线稿上色方法