买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：佛山大学

摘要：本申请属于图像处理技术领域，公开了一种非对称U‑Net结构的多模态图像融合模型及构建方法，由第一编码单元利用各第一编码块逐步提取的可见光特征信息注入压缩和激励模块形成可见光信息的注意图，用以与相应的第二编码块提取的红外光特征信息相乘后辅助下一个第二编码块进行红外光特征信息提取，以加快红外光编码支路对红外图像的特征提取效率，从而使对应的第二编码块能够提取更多的红外光特征信息，最后把多个第一编码块和多个第二编码块提取的特征图像融合，能够减少融合结果的浅层信息丢失或偏向单一模态的情况发生，得到质量良好的融合图像。

主权项：1.一种非对称U-Net结构的多模态图像融合模型，用于对红外图像和可见光图像进行融合处理，其特征在于，包括依次连接的第一编码单元（1）、融合单元（2）、第一解码单元（3）和输出层（4）；所述第一编码单元（1）包括由第一输入层（5）和N个第一编码块（6）串接而成的可见光编码支路（101）、具有从前到后依次连接的第二输入层（7）和N个第二编码块（8）的红外光编码支路（102）以及N-2个压缩和激励模块（103），N为不小于3的正整数；所述第一输入层（5）用于输入可见光图像，所述第二输入层（7）用于输入红外图像；第i个所述第一编码块（6）与第i个所述压缩和激励模块（103）的输入端连接，第i个所述压缩和激励模块（103）的输出与第i+1个所述第二编码块（8）的输出相乘后输入第i+2个所述第二编码块（8），i∈[1，N-2]；所述融合单元（2）包括N-3个第一融合模块（201）和一个第二融合模块（202），第j个所述第一编码块（6）的输出端和第j+2个所述第二编码块（8）的输出端均与第j个所述第一融合模块（201）的输入端连接，j∈[1，N-3]，第N-2个所述第一编码块（6）的输出端和第N个所述第二编码块（8）的输出端均与所述第二融合模块（202）的输入端连接；所述第一解码单元（3）包括N个第一解码块（301），所述第二融合模块（202）与前两个第一解码块（301）依次连接，第k个所述第一解码块（301）的输入端与第N-k个所述第一融合模块（201）的输出端以及第k-1个所述第一解码块（301）的输出端连接，k∈[3，N-1]，第N个所述第一解码块（301）的输入端与第N-1个所述第一解码块（301）的输出端连接；所述输出层（4）与最后一个所述第一解码块（301）的输出端连接。

全文数据：

权利要求：

百度查询： 佛山大学 非对称U-Net结构的多模态图像融合模型及构建方法