买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：陕西师范大学

摘要：一种基于注意力掩膜的红外图像彩色化方法，红外图像输入初步映射模块生成初步彩色图像，初步彩色图像输入到注意力掩膜模块生成内容掩膜、前景注意力掩膜和背景注意力掩膜；将前景注意力掩膜和背景注意力掩膜与相应的内容掩膜相融合，以增强特定区域的颜色和细节，同时得到目标图像；确定掩膜生成器的循环一致性损失，确保每个输入图像经过循环后生成的图像能够恢复到原始输入图像；确定感知损失，用于提高生成图像的感知质量；输出彩色图像。本发明在完成红外图像彩色化任务的同时显著提高了对于红外图像的前景内容中包含的重要信息的彩色化效果，使得红外图像彩色化后的细节内容得以更加清晰且完整地展现。

主权项：1.一种基于注意力掩膜的红外图像彩色化方法，其特征在于，包括以下步骤：步骤1.红外图像输入初步映射模块生成初步彩色图像，初步映射模块由编码器、转换层、解码器依次串联构成；步骤1.1.红外图像输入到编码器进行二维卷积操作，生成初步特征图，对初步特征图依次进行归一化操作、第一激活函数处理，输出结果到转换层；步骤1.2.转换层进一步深化特征后输出到解码器；步骤1.3.解码器对转换层的输出进行反卷积操作，生成更接近原始图像尺寸的特征图，并依次通过归一化操作、第二激活函数处理生成初步彩色图像；步骤2.初步彩色图像输入到注意力掩膜模块生成内容掩膜、前景注意力掩膜和背景注意力掩膜；所述注意力掩膜模块由参数共享编码器、掩膜生成器串联构成，掩膜生成器包括并联的内容掩膜生成器、注意力掩膜生成器；步骤2.1.初步彩色图像输入到参数共享编码器进行特征提取，生成特征图m输入到掩膜生成器；步骤2.2.掩膜生成器的内容掩膜生成器用于提取图像的前景内容，生成多个内容掩膜；步骤2.3.注意力掩膜生成器生成前景注意力掩膜和背景注意力掩膜；步骤3.将前景注意力掩膜和背景注意力掩膜与相应的内容掩膜相融合，以增强特定区域的颜色和细节，同时得到目标图像；步骤4.按照下式确定掩膜生成器的循环一致性损失，确保每个输入图像经过循环后生成的图像能够恢复到原始输入图像； 式中，是循环一致性损失函数，x是输入的红外域图像,y是与x对应的可见光域的图像，Gx是生成器G生成的y域图像，FGx是对生成器G生成后的y域图像恢复到源红外域的图像，Εx～Pdatax[·]是输入图像x与经过两次生成器重建后的图像之差的L1规范化后的期望，Εy～Pdatay[·]是输入的y域图像与经过两次生成器重建后的图像之差的L1规范化后的期望；Fy是生成的x域图像，GFy是对生成器F生成的x域图像恢复到源可见光域的图像，‖·‖1是L1范数；步骤5.按照下式确定感知损失，用于提高生成图像的感知质量； 式中，是感知损失，是使用神经网络预训练模型提取图像的深层特征，‖·‖2是L2范数；步骤6.输出彩色目标图像。

全文数据：

权利要求：

百度查询： 陕西师范大学 一种基于注意力掩膜的红外图像彩色化方法