买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：青海大学

摘要：本发明提供一种融合全局信息和多颜色空间的边缘引导图像修复方法，涉及图像处理技术领域。本发明的边缘引导图像修复模型包括边缘补全网络和图像修复网络；边缘补全网络输出修复后的单通道边缘图像；图像修复网络以修复后的边缘结构图和待修复的破损图像的RGB图作为输入，结合待修复的破损图像的YUV编码图像进行采样，输出修复后的RGB图像；边缘补全网络和图像修复网络均基于编码器‑解码器架构，在编码器和解码器之间插入堆叠的TMC特征交互块，在TMC特征交互块中采用CNN残差网络和SwinTransformer结构提取、融合图像中的全局信息和局部信息。本发明能清楚完整的恢复受损图像的基本结构，且能在色彩上也能与图像的整体保持高度的统一。

主权项：1.一种融合全局信息和多颜色空间的边缘引导图像修复方法，其特征在于，包括：获取待修复的破损图像；基于预先构建的边缘引导图像修复模型对待修复的破损图像进行处理，得到修复后的RGB图像；其中，边缘引导图像修复模型包括边缘补全网络和图像修复网络；边缘补全网络对待修复的破损图像进行处理，补全待修复的破损图像的缺失边缘，输出修复后的单通道边缘图像；图像修复网络以修复后的边缘结构图和待修复的破损图像的RGB图作为输入，结合待修复的破损图像的YUV编码图像进行采样，输出修复后的RGB图像；所述边缘补全网络和图像修复网络均基于编码器-解码器架构，在编码器和解码器之间插入堆叠的TMC特征交互块，在TMC特征交互块中采用CNN残差网络和Swin注意力结构提取、融合图像中的全局信息和局部信息；所述边缘补全网络包括边缘编码器、第一TMC特征交互块和边缘解码器，其中，所述边缘编码器包括n个特征交互模块、n个膨胀卷积层和n+1个标准卷积层，n为大于1的正整数；图像联合特征分别经过第一个标准卷积层和第一个膨胀卷积层，第一个标准卷积层输出的第一局部特征和第一个膨胀卷积层输出的第一非局部特征输入到第一个特征交互模块中，输出第一交互特征；同时第一非局部特征经过第二个膨胀卷积层输出第二非局部特征；第一交互特征输入到第二个标准卷积网络中，输出第二局部特征；第二局部特征和第二非局部特征，输出第二交互特征；依次类推，最后输出的第n交互特征经过一个标准卷积层，输出编码特征；所述图像联合特征为待修复的破损图像经过一个合并通道进行特征联合得到的图像特征；所述特征交互模块包括合并通道、卷积层、残差连接和批量归一化层；输入的局部特征和非局部特征通过合并通道进行联合操作后由卷积层进行特征变换，结合残差连接后，由批量归一化层进行归一化处理；所述图像修复网络包括图像编码器、第二TMC特征交互块和图像解码器，其中，所述图像编码器中包括两个分支，在第一个分支中，包括M个标准卷积层和M+1个合并通道；在第二个分支中，包括一个合并通道、M个膨胀卷积层、M个标准卷积层和M个特征细化交互块；第一个分支中，以合并通道、标准卷积层、合并通道这一方式排列；破损RGB图像、单通道边缘图像和破损灰度图经过一个合并通道进行联合操作后，输入到第一分支中；破损YUV图像和mask图像经过第M+2个合并通道进行联合操作后分别经过到M膨胀卷积层和M个标准卷积层中，第m，m＝1,2,…，M个膨胀卷积层的输出和第m个标准卷积层的输出，经过第m个特征细化交互块，输出第m个细化特征；第m个细化特征与RGB编码特征通过第一分支中的第m个合并通道进行联合操作进行合并，第一分支中的第M+1个合并通道输出图像编码特征；所述特征细化交互块包括三个分支，每个分支均包括卷积层、归一化层和激活层，其中，第一个分支输入RGB编码特征，第三个分支输入YUV编码特征；特征细化交互块的第二个分支中还包括合并通道，RGB编码特征和YUV编码特征通过合并通道进行联合操作后，输出的联合特征，联合特征经过卷积层、归一化层和激活层之后，与第一分支输出的特征按元素相乘，输出的融合特征与第三分支的输出通过一个残差连接输出细化特征。

全文数据：

权利要求：

百度查询： 青海大学 融合全局信息和多颜色空间的边缘引导图像修复方法