买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：武汉工程大学

摘要：本发明提供了一种基于生成对抗式双通道权重分配的图像融合方法及装置，其方法包括：构建初始图像融合模型，包括生成器模块和孪生鉴别器模块，生成器模块包括伪孪生特征提取模块和特征融合模块；获取红外图像样本和可见光图像样本，并基于伪孪生特征提取模块获得红外特征图和可见光特征图；基于特征融合模块生成融合特征图；基于孪生鉴别模块分别获得融合特征图与红外图像样本的第一相似度及与可见光图像样本的第二相似度；对初始图像融合模型进行训练，获得目标图像融合模型；基于目标图像融合模型对待融合红外图像和待融合可见光图像进行融合，获得目标融合图像。本发明可获得具有清晰目标和丰富细节纹理的目标融合图像。

主权项：1.一种基于生成对抗式双通道权重分配的图像融合方法，其特征在于，包括：构建初始图像融合模型，所述初始图像融合模型包括生成器模块和孪生鉴别器模块，所述生成器模块包括伪孪生特征提取模块和特征融合模块；获取红外图像样本和可见光图像样本，并基于所述伪孪生特征提取模块分别提取所述红外图像样本和所述可见光图像样本的特征，对应获得红外特征图和可见光特征图；基于所述特征融合模块将所述红外特征图和所述可见光特征图进行融合，生成融合特征图；基于所述孪生鉴别器模块分别获得所述红外图像样本与所述融合特征图的第一相似度以及所述可见光图像样本与所述融合特征图的第二相似度；基于预设的损失函数、所述第一相似度、所述第二相似度、所述红外图像样本和所述可见光图像样本对所述初始图像融合模型进行训练，获得训练完备的目标图像融合模型；基于所述目标图像融合模型对待融合红外图像和待融合可见光图像进行融合，获得目标融合图像；所述基于预设的损失函数、所述第一相似度、所述第二相似度、所述红外图像样本和所述可见光图像样本对所述初始图像融合模型进行训练，获得训练完备的目标图像融合模型，包括：判断所述第一相似度和所述第二相似度的差值是否小于预设差值；当所述第一相似度和所述第二相似度的差值小于所述预设差值时，所述初始图像融合模型为所述目标图像融合模型；当所述第一相似度和所述第二相似度的差值大于或等于所述预设差值时，基于预设的损失函数、所述红外图像样本和所述可见光图像样本对所述初始图像融合模型继续进行训练；所述第一相似度为： 所述第二相似度为： 式中，为第一相似度；为第二相似度；为融合特征图；为红外图像样本；为可见光图像样本；P为红外图像样本或可见光图像样本的特征维数；为融合特征图的第i维特征；为红外图像样本的第i维特征；为可见光图像样本的第i维特征；为二范数。

全文数据：

权利要求：

百度查询： 武汉工程大学 基于生成对抗式双通道权重分配的图像融合方法及装置