买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：广东海洋大学

摘要：本发明公开了一种联合高级视觉任务的红外与可见光图像融合方法，属于图像处理领域，首先构建包括教师网络和学生网络的图像融合网络；采用两个判别器分别用于区分可见光图像与融合图像、红外图像与融合图像；通过实时语义分割模型对图像融合网络的输出图像进行分割并辅助图像融合网络学习保留融合图像的语义信息；通过计算语义分割损失，将语义信息反馈给融合网络，指导其优化参数，使得生成的融合图像不仅在视觉效果上接近真实图像，而且在语义信息上也具有高质量的表现。该方法与现有主流的融合方法进行了比较，在视觉效果和客观评价指标方面表现出极具竞争性的融合性能。此外，通过分割对比实验进一步验证了提出的方法的有效性。

主权项：1.一种联合高级视觉任务的红外与可见光图像融合方法，其特征在于，包括如下步骤：S1、构建包括教师网络和学生网络的图像融合网络；S2、利用对抗生成网络的训练方法对所构建的图像融合网络进行优化训练,包括如下步骤：S21、利用图像融合网络接收真实的红外图像和真实的可见光图像的输入，生成初步融合图像；S22、将真实的红外图像、真实的可见光图像的输入以及S21生成的初步融合图像分别输入到两个判别器中区分输入图像的真实性；S23、利用判别器对抗损失函数优化两个判别器的分类能力，判别器对抗损失函数表示为： ； ；式中，为第一判别器对抗损失函数，为真实红外图像输入第一判别器的输出结果，为输入第一判别器的真实红外图像，为初步融合图像输入第一判别器的输出结果，为输入第一判别器的初步融合图像；为第二判别器对抗损失函数，为真实可见光输入第二判别器的输出结果，为输入第二判别器的真实可见光图像，为初步融合图像输入第二判别器的输出结果，为输入第二判别器的初步融合图像；为特征向量长度，N为输入图像数量，常数1表示希望判别器相信融合图像为真实图像；S24、基于S23判别器对抗损失函数指导教师网络和学生网络进行训练，具体方式为： ；式中，为融合损失函数；为像素强度损失函数；为纹理损失函数，为纹理损失函数权重；为图像融合对抗损失函数，为图像融合对抗损失函数权重；其中： ；式中，m为训练批次大小，max为相同位置元素最大化操作，If、Iir和Ivis依次为融合图像、输入的红外图像和输入的可见光图像，为求和计数； ；式中，为Sobel梯度算子； ；式中，为初步融合图像输入第一判别器的输出结果，为初步融合图像输入第二判别器的输出结果，为平衡参数，N为输入图像数量，常数1表示希望判别器相信融合图像为真实图像；S3、将实时语义分割模型引入优化训练后的图像融合网络中，对图像融合网络的输出图像进行分割并辅助图像融合网络学习保留融合图像的语义信息；S4、计算所得到的语义信息的分割损失函数，利用所得到的语义信息的分割损失函数生成联合损失函数指导图像融合网络的训练和优化；S5、利用S4训练和优化后的图像融合网络进行红外与可见光图像融合，生成包含语义信息的融合图像。

全文数据：

权利要求：

百度查询： 广东海洋大学 一种联合高级视觉任务的红外与可见光图像融合方法