买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南昌航空大学

摘要：本发明属于红外与可见光图像融合技术领域，公开了一种分治损失约束下的无监督红外与可见光图像融合方法，包括以下步骤：输入一组红外图像I和可见光图像V，并采用基于密集连接的编码网络分别提取各自的特征；在通道维度中，将所提取的特征图进行拼接操作，并送入解码网络进行特征重建，以获得融合图像F；根据得到的融合图像F，计算融合图像F与源图像I和V的分治损失；优化鉴别器网络；重复上述步骤，共迭代n次，迭代完成后直接利用融合网络获取融合图像。本发明采用上述一种分治损失约束下的无监督红外与可见光图像融合方法，通过对融合网络进行不同层次的约束和多种损失的协同，提高融合图像的主观视觉效果和在下游高级视觉任务中的表现。

主权项：1.一种分治损失约束下的无监督红外与可见光图像融合方法，其特征在于，包括以下步骤：S1、输入一组红外图像I和可见光图像V，并采用基于密集连接的编码网络分别提取各自的特征；S2、在通道维度中，将所提取的特征图进行拼接操作，并送入解码网络进行特征重建，以获得融合图像F；S3、根据得到的融合图像F，计算融合图像F与源图像I和V的分治损失；通过分治损失函数对融合网络进行多层次的约束，其中融合图像F与源图像I和V的分治损失具体包括模态特征损失Lmodal、深层信息损失LDI、浅层信息损失LSI和细节信息损失Ldetail；S31、源图像I和V与融合图像F之间的模态特征损失Lmodal，如下所示： 1；其中，f表示融合图像；Dv表示可见光图像鉴别器，Di表示红外图像鉴别器，它们具有相同的网络结构但不共享网络参数；表示f是从融合图像的分布域pf中采样得到，并计算该分布上所得到的期望值；S32、计算源图像I和V与融合图像F之间的深层信息损失LDI，具体过程如下：S321、利用一个预训练的深层特征感知器，分别提取源图像I和V与融合图像F的深层特征图，和；S322、基于上述深层特征图，计算深层信息损失LDI，如下所示： 2；其中，N表示深层特征感知器所提取的特征图的数量，n表示当前通道序号；MISD表示多尺度信息引导的空间距离，计算公式如下： 3；其中，表示矩阵点乘，T表示尺度的数量，t表示当前计算的尺度；dac表示输入图像a与c的窗口空间距离矩阵，dbc表示输入图像b与c的窗口空间距离矩阵，其计算公式如下： 4；其中，x,y表示图像的像素坐标位置，，W表示图像的宽度，，H表示图像的高度；表示图像p以x,y为中心的窗口，其大小与当前计算尺度t有关，p表示a、b、c；表示Frobenius范数；S323、wa和wb表示权重图，用于对相应尺度的空间窗口距离矩阵进行加权，根据a和b图像的信息图Ia和Ib计算得到，具体计算过程如下： 5； 6； 7； 8；其中，为所定义的计算操作，用于提取图像p中的显著性信息；表示全局平均操作，ReLU表示修正线性单元；表示Laplacian算子；表示信息图Ia以x,y为中心的窗口，表示信息图Ib以x,y为中心的窗口，其窗口大小与当前尺度t有关；Softmax表示归一化指数函数；表示进一步提取初始窗口权重矩阵与中的显著性信息，获取对应尺度t上的权重图和；通过公式6得到信息图Ia和Ib；然后，通过公式7，先计算Ia和Ib窗口内的均值，从而得到与公式4所对应的窗口信息分布矩阵，再通过Softmax函数来获得对应的初始窗口权重矩阵；最后，通过公式8进一步过滤权重矩阵中的非显著部分，以获得最终的权重图wa和wb；S33、源图像I和V与融合图像F之间的浅层信息损失LSI，如下所示： 9；其中，i，v和f分别表示红外图像，可见光图像和融合图像；MISD表示多尺度信息引导的空间距离，其计算方式与公式3中一致；S34、源图像I和V与融合图像F之间的细节信息损失Ldetail，如下所示： 10；其中，MSSI表示计算两幅图像的多尺度结构相似性，表示全局平均池化；S35、源图像I和V与融合图像F之间的最终分治损失L，如下所示： 11；其中，，，和表示平衡系数，通过迭代优化实现对融合网络的多层次约束；S4、优化鉴别器网络；S5、重复上述步骤，共迭代n次，迭代完成后直接利用融合网络获取融合图像。

全文数据：

权利要求：

百度查询： 南昌航空大学 一种分治损失约束下的无监督红外与可见光图像融合方法