买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜中北大学申请的专利一种基于多模态特征融合的RGB-D图像语义分割方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114549439B 。

龙图腾网通过国家知识产权局官网在2025-03-25发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210126753.1，技术领域涉及：G06V20/70；该发明授权一种基于多模态特征融合的RGB-D图像语义分割方法是由杨晓文;靳瑜昕;韩慧妍;张元;庞敏;韩燮设计研发完成，并于2022-02-11向国家知识产权局提交的专利申请。

本一种基于多模态特征融合的RGB-D图像语义分割方法在说明书摘要公布了：本发明属于计算机视觉领域，具体涉及一种基于多模态特征融合的RGB‑D图像语义分割方法。由于RGB和深度特征的内在差异，如何更有效地融合两种特征仍是有待解决的问题。为了解决该问题提出了注意力引导多模态交叉融合分割网络ACFNet，本发明采用编码器－解码器结构，将深度图编码为HHA图像，设计非对称双流特征提取网络，RGB和深度编码器分别以ResNet‑101和ResNet‑50为主干网络，并在RGB编码器中添加全局‑局部特征提取模块GL。为有效融合RGB和深度特征，提出了注意力引导多模态交叉融合模块ACFM，以更好地在多阶段利用融合的增强特征表示。

本发明授权一种基于多模态特征融合的RGB-D图像语义分割方法在权利要求书中公布了：1.一种基于多模态特征融合的RGB-D图像语义分割方法，其特征在于，包括以下步骤：步骤1，数据预处理，将单通道的深度图像转化为三通道的HHA图像；步骤2，将RGB和HHA图像作为输入数据，输入注意力引导多模态交叉融合分割网络模型，所述模型遵循编码器-解码器结构，所述编码器从输入中提取语义特征，所述解码器采用上采样技术恢复输入分辨率，为每个输入像素分配一个语义类别；所述步骤2中编码器对RGB和HHA图像使用非对称双流分支，包括RGB编码器和深度编码器，所述RGB编码器和深度编码器分别以ResNet-101网络和ResNet-50网络作为主干网络，所述ResNet-101网络和ResNet-50网络均包括7×7卷积、最大池化操作和Stage1、Stage2、Stage3和Stage4四个阶段，并且改进组成主干网络的基本块，即在Bottleneck中加入Maxpool并行模块，记为MP_Bottleneck，通过增加网络宽度的方式提高特征提取性能，如式1所示：FE_out＝W3CatW2W1Fin,M_PW1Fin1其中，Fin∈RH×W×C，H、W和C分别表示特征图的高度、宽度和通道数，W1，W2，W3分别表示1×1，3×3，1×1卷积操作，Cat表示拼接操作，M_P表示最大池化操作，FE_out表示ResNet网络每阶段的输出；所述RGB编码器的Stage1、Stage2、Stage3、Stage4四个阶段添加全局特征提取模块，使用全局特征提取模块处理FE_out提取全局特征，并且将最终的全局特征和局部特征通过相加的方式结合起来，组成全局-局部特征提取模块，如式2～4所示：FGL＝FE_out+GCFE_out2GC＝x+Conv1×1ReLuLNConv1×1y3y＝x×SoftMaxConv1×1x4其中，x表示全局特征提取模块模块的输入，GC表示全局特征，FGL表示全局-局部特征，Conv1×1表示1×1卷积操作，LN表示批归一化操作；所述编码器还包括特征融合模块，在7×7卷积和每个阶段之后均进行RGB特征和深度特征的融合，并且将融合后的特征传输到RGB编码器和深度编码器，在编码器的每个阶段分别对RGB特征和深度特征重新加权，并在所述特征融合模块引入注意力机制，在通道和空间维度上进行注意力操作，如式5～8所示：Fa_rgb＝CBAMFrgb_in5Fa_hha＝CBAMFhha_in6CBAM＝ca×σConv7×7CatAvgpoolca,MaxPoolca7ca＝x×σMLPAvgpoolx+MLPMaxpoolx8其中，CBAM表示注意力机制采用CBAM模块，x表示CBAM模块的输入，Frgb_in、Fhha_in分别表示输入特征融合模块的RGB特征和深度特征，Fa_rgb、Fa_hha表示经CBAM注意力机制处理后的特征输出，σ表示Sigmoid激活函数，Conv7×7表示7×7卷积操作，Cat表示拼接操作，Avgpool和Maxpool分别表示平均池化和最大池化操作，MLP表示由两个1×1卷积层组成的多层感知机。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中北大学，其通讯地址为：030051 山西省太原市学院路3号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。