申请/专利权人：西北工业大学

申请日：2024-04-26

公开（公告）日：2024-07-05

公开（公告）号：CN118097362B

主分类号：G06V10/80

分类号：G06V10/80;G06N3/0455;G06N3/0464;G06N3/084;G06T5/50;G06V10/26;G06V10/44;G06V10/52;G06V10/82;G06T5/60

优先权：

专利状态码：有效-授权

法律状态：2024.07.05#授权;2024.06.14#实质审查的生效;2024.05.28#公开

摘要：为了解决现有的图像融合方法融合结果对下游任务如目标检测等无法起到促进作用，以及融合效果不佳的技术问题，本发明提出一种基于语义感知学习的多模态图像融合方法，用于融合长波红外、中波红外和短波红外图像从而生成高质量融合图像。本发明先构建并训练语义分割网络，再构建嵌套密集连接的融合网络并利用训练好的语义分割网络指导该融合网络训练，最终训练好的融合网络能够对图像中不同区域采用不同的融合策略实现对图像融合过程的细粒度控制，突出目标的纹理细节和像素强度信息，使得融合结果更加符合图像中不同区域的语义信息，提高了融合结果的信息熵等融合质量评价指标，对下游任务如目标检测起到很好的促进作用。

主权项：1.一种基于语义感知学习的多模态图像融合方法，其特征在于，包括以下步骤：步骤1：构建并训练语义分割网络；所述语义分割网络包括结构相同但参数不共享的长波、中波和短波语义分割子网络；长波、中波和短波语义分割子网络均包括依次设置的特征提取网络、空间注意力提取模块、第一注意力融合模块和分割模块；第一注意力融合模块用于将所述特征提取网络从输入语义分割网络的图像中提取的特征图和所述空间注意力提取模块从所述特征图中提取的空间注意力图逐元素相乘，输出融合空间注意力的特征图；所述分割模块用于对所述融合空间注意力的特征图进行分割，输出分割结果；步骤2：构建嵌套密集连接的融合网络，通过训练好的语义分割网络引入空间注意力机制并基于总损失进行训练；所述融合网络包括第一卷积层CONV、编码器网络、注意力叠加模块、全局池化层、第二注意力融合模块、解码器网络和第二卷积层Conv；第一卷积层CONV用于对输入融合网络的图像进行特征聚合，生成聚合特征图；编码器网络用于将所述聚合特征图编码为低维度的特征表示，生成特征图；为编码器网络中编码器的数目；注意力叠加模块用于对空间注意力图逐像素相加，所述空间注意力图由训练好的语义分割网络从输入所述融合网络的图像中提取；全局池化层用于对所述注意力叠加模块的输出图像进行全局池化，得到融合空间注意力图；第二注意力融合模块用于将所述特征图与所述融合空间注意力图一一对应分别逐像素相乘，生成结合空间注意力的特征图；解码器网络用于对所述特征图重构，融合高维语义特征和低维纹理特征，生成融合图像；所述总损失利用下式计算： 式中，为总损失；为融合网络的内容损失；为语义分割网络的第二分割损失；为平衡因子；和分别为前景掩码和背景掩码，根据分割标签构造前景掩码和背景掩码；表示L1范数；算子表示逐元素乘法；表示逐元素最大选择；表示逐元素平均操作；表示求结构相似度；表示融合图像；为平衡因子；、和分别表示配准后的长波、中波和短波红外图像；、和分别为长波、中波和短波语义分割子网络的第二分割损失；表示由分割标签变换而成的one-hot编码的向量，即真实值；分割标签通过加载标注文件获得；、和分别为图像高度、宽度和类别数；、和分别为训练好的语义分割网络对配准后的长波、中波和短波红外图像的分割结果；步骤3：将待融合的长波、中波和短波红外图像配准后，均输入到步骤1训练好的语义分割网络和步骤2训练好的嵌套密集连接的融合网络中，嵌套密集连接的融合网络输出最终的融合图像。

全文数据：

权利要求：

百度查询： 西北工业大学 一种基于语义感知学习的多模态图像融合方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD