买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜泰山学院申请的专利一种面向复杂动态环境的图像多模态融合方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119339201B 。

龙图腾网通过国家知识产权局官网在2025-05-06发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411885090.7，技术领域涉及：G06V10/80；该发明授权一种面向复杂动态环境的图像多模态融合方法及系统是由王琳琳;陶体伟;孟静;姜山;陈睿;贠涵;李富锦;赵之光设计研发完成，并于2024-12-20向国家知识产权局提交的专利申请。

本一种面向复杂动态环境的图像多模态融合方法及系统在说明书摘要公布了：本发明提出了一种面向复杂动态环境的图像多模态融合方法及系统，属于多模态图像处理技术领域。方法包括：获取可见光图像和红外图像并进行预处理；将预处理后的图像分别输入到多层编码器中，获取图像的综合特征图；将综合特征图输入到双向适配器中转换为二维特征；通过动态自适应调整实现二维特征的动态对齐，然后将动态对齐调整后的二维特征恢复到原始维度；对恢复到原始维度的可见光图像综合特征图和红外图像综合特征图进行语义对齐；计算语义对齐后的图像梯度信息并确定融合权重，利用融合权重对综合特征图进行融合，得到融合后的图像。增强了对复杂环境中多层次信息的捕捉能力，实现了红外与可见光多模态图像的高效融合，具备良好的鲁棒性。

本发明授权一种面向复杂动态环境的图像多模态融合方法及系统在权利要求书中公布了：1.一种面向复杂动态环境的图像多模态融合方法，其特征在于，包括：获取可见光图像和红外图像，并对所述可见光图像和红外图像进行预处理；将预处理后的可见光图像和红外图像分别输入到多层编码器中，获取包含多尺度信息的可见光图像综合特征图和红外图像综合特征图；所述多层编码器包括依次连接的多个编码器，除了第一个编码器，后面的每个编码器分别设置一个密集连接块，通过密集连接块连接前面的所有编码器，将前面所有的编码器输出进行复用；将可见光图像综合特征图和红外图像综合特征图输入到双向适配器中，分别提取可见光图像综合特征图和红外图像综合特征图的多模态特征，将多模态特征转换为适合线性操作的二维特征，通过动态自适应调整实现二维特征的动态对齐，然后将动态对齐调整后的二维特征恢复到原始维度；对恢复到原始维度的可见光图像综合特征图和红外图像综合特征图进行语义对齐；所述将多模态特征转换为适合线性操作的二维特征，通过动态自适应调整实现二维特征的动态对齐，然后将动态对齐调整后的二维特征恢复到原始维度；对恢复到原始维度的可见光图像综合特征图和红外图像综合特征图进行语义对齐的过程为：对可见光图像综合特征图的多模态特征和红外图像综合特征图的多模态特征进行Reshape操作，展平为二维矩阵：将展平后的二维矩阵映射到较低维度，获取适合线性操作的二维特征：采用Xavier均匀初始化对线性层的权重进行初始化，将偏置项全部初始化为零；引入条件网络对二维特征进行动态自适应调整，具体的：计算二维特征的全局均值，并提取全局信息：基于条件网络对所述全局信息进行进一步处理，生成用于调整特征的条件向量：将所述条件向量与二维特征逐位相乘，得到自适应调整后的特征，确保不同模态特征在共享空间中的动态对齐；通过非线性映射进一步优化调整后的特征表示，并执行Reshape操作将特征恢复到展平操作前的维度，得到变形后的低维特征；将调整和优化后的二维特征通过Reshape操作恢复到原始的四维形式；再次通过Reshape操作进行特征展平，然后进行升维操作，将低维特征恢复到与输入特征相同的维度：最后，通过Reshape操作恢复原始的四维特征；计算语义对齐后的红外图像综合特征图和可见光图像综合特征图的图像梯度信息，基于图像梯度信息确定融合权重，其中，所述基于图像梯度信息确定融合权重的过程为：通过计算语义对齐后的红外图像综合特征图和可见光图像综合特征图的梯度差异，生成动态权重因子，所述权重因子根据不同区域的梯度特征自动调整两种模态的融合比例；具体的，采用Sobel算子计算输入图像的梯度并对输入的图像进行梯度幅值定义；对待融合的图像进行低通滤波：基于低通滤波后的图像，计算红外图像与可见光图像的梯度差异，生成动态权重因子，基于动态权重因子提取梯度变化的区域并计算融合损失，进而确定融合权重；利用融合权重对语义对齐后的红外图像综合特征图和可见光图像综合特征图进行融合，得到融合后的图像。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人泰山学院，其通讯地址为：271000 山东省泰安市岱岳区东岳大街525号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。