买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：湘潭大学

摘要：本发明公开了一种跨模态图像融合的全时复杂场景理解方法，本发明方法将同一场景的可见光和另一模态图像成对输入到训练好的语义分割模型，得到图像中各类前景的分割结果，该分割模型包括：双分支主干特征提取网络Segformer、跨模态交互模块、语义信息增强模块和特征补偿模块。同时，在网络的训练阶段采用多任务学习监督，提高网络的性能。本发明能够有效地利用可见光和多模态图像的互补特征，减少不同模态之间的差异，在保持模型较小参数量的同时，精度高、通用性好。

主权项：1.一种跨模态图像融合的全时复杂场景理解方法，其特征在于，对同一场景成像的RGB图像和另一模态图像成对输入到训练好的双分支语义分割模型，得到RGB图像中每一类目标的分割结果；所述的另一模态图像为热感图像、深度图像、激光雷达图像、超光谱图像中的任意一种图像；所述双分支语义分割模型包括：主干特征提取网络A，采用Segformer网络用于对输入的RGB图像提取不同层级的特征，记为LayerAii＝1,2,3,4，对应所提取的特征有四个层级，记为主干特征提取网络B，采用Segformer网络用于对输入的另一模态图像提取不同层级的特征，记为LayerBii＝1,2,3,4，对应所提取的特征有四个层级，记为所述的Segformer网络是层次化的Transformer编码器，包含了四层特征提取编码器；跨模态交互模块，放置于主干特征提取网络的每一层特征提取编码器之后，记为CIMii＝1,2,3,4，CIMii＝1,2,3,4的输入为和输出为和语义信息增强模块，记为SIEM，其输入为和输出为FSIEM。；对特征FSIEM上采样两倍，记为特征对特征FSIEM上采样四倍，记为特征对特征FSIEM上采样八倍，记为特征特征补偿模块，分别为高级特征补偿模块、中级特征补偿模块、低级特征补偿模块，分别记为AFCM、IFCM、LFCM；AFCM的输入为和输出为FAFCM；IFCM的输入为和FAFCM，输出为FIFCM；LFCM的输入为和FIFCM，输出为FLFCM；多任务学习，网络在训练阶段对语义信息增强模块的输出特征FSIEM进行目标背景监督，准确地定位图像中的显著目标；对低级特征补偿模块输出特征FLFCM进行边缘分割监督和语义分割监督。

全文数据：

权利要求：

百度查询： 湘潭大学 一种跨模态图像融合的全时复杂场景理解方法