买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：江西财经大学

摘要：本发明提出一种基于多尺度注意力稀疏级联的多模态图像融合方法与系统，该方法包括：将红外图像和可见光图像输入特征编码器，得到浅层编码特征图；将浅层编码特征图嵌入三尺度块，得到深层编码特征图；将深层编码特征图输入并依次通过空间注意力网络和交叉注意力网络、双层Transformer残差块和重建解码网络，得到潜在图像；将潜在图像、红外图像和可见光图像输入多成分优化增补模块，得到融合图像；本发明充分提取多模态图像中的显著红外目标和可见纹理细节，再利用交叉注意力和Transformer长程依赖机制以及多成分优化增补模块，以提高融合模型的特征拟合能力，增强不同尺度特征之间的长程依赖关联，实现更鲁棒的融合。

主权项：1.一种基于多尺度注意力稀疏级联的多模态图像融合方法，其特征在于，所述方法包括如下步骤：步骤1、将红外图像和可见光图像输入特征编码器，得到初始特征图，将初始特征图以稀疏级联的方式输入到挤压激励块中，形成挤压激励级联块，利用初始特征图，经过连续三个串联的挤压激励块后得到浅层编码特征图；步骤2、将浅层编码特征图嵌入一个由三个不同尺度的卷积块以稀疏级联的方式连接起来构成的三尺度块中；将浅层编码特征图依次通过三个不同尺度的卷积层，并将每个卷积层的输出进行融合，得到深层编码特征图；将深层编码特征图输入到空间注意力网络和交叉注意力网络中，分别得到空间增强特征图和通道增强特征图，将空间增强特征图和通道增强特征图进行交叉相乘操作，得到浅层融合特征图；步骤3、将浅层融合特征图输入到双层Transformer残差块中，提取并得到强关联混合特征图；将强关联混合特征图输入到由四个串联卷积块构成的重建解码网络中，得到潜在图像；步骤4、将潜在图像、红外图像和可见光图像分别输入到多成分优化增补模块中，最终得到融合图像；在所述步骤4中，将潜在图像、红外图像和可见光图像分别输入到多成分优化增补模块中，最终得到融合图像的方法包括：将潜在特征图、红外图像和可见光图像分别输入多成分优化增补模块中；根据对比度成分、红外亮度成分和可见纹理成分，自适应动态调整潜在特征图、红外图像和可见光图像的特征分布，最后得到融合图像；对应过程中的关系式如下：对比度成分： ；其中，表示潜在图像的高度，表示潜在图像的宽度，表示Frobenius范数，表示梯度符号，表示最大与最小亮度的差异参数，表示对比度成分；可见纹理成分： ；其中，表示处的可见纹理成分，表示角度参数，表示图像关于坐标的二阶偏导数，表示图像关于坐标的二阶偏导数，表示图像关于左边的二阶段混合偏导数，和为两个空间坐标；红外亮度成分： ；其中，表示红外亮度成分，表示原图像的平均值，表示原图像的标准差，表示原图像；综合上述对比度成分、可见纹理成分和红外亮度成分，计算出融合图像： ；其中，表示避免过度提取纹理的平衡参数，表示避免过度提取亮度的平衡参数，表示融合图像，表示对应的多模态图像，表示可见纹理成分，表示改进之后的红外成分；在所述步骤3中，将浅层融合特征图输入到双层Transformer残快中，提取并得到强关联混合特征图的过程存在如下关系式： ；其中，，均表示强关联混合特征图，表示层归一化操作，表示经过多头注意力机制处理，表示经过多层感知机处理，和均表示加法操作；将强关联混合特征图输入到由四个串联卷积块构成的重建解码网络中，得到潜在图像的过程中存在的关系式如下； ；其中，，均表示多模态重建特征图，表示逐元素加法操作，表示潜在图像，表示第次步骤后得到的第个强关联混合特征图，其中，。

全文数据：

权利要求：

百度查询： 江西财经大学 基于多尺度注意力稀疏级联的多模态图像融合方法与系统