买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜成都理工大学申请的专利RGB-D多模态语义分割方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116597135B 。

龙图腾网通过国家知识产权局官网在2025-05-16发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310283961.7，技术领域涉及：G06V10/26；该发明授权RGB-D多模态语义分割方法是由陈光柱;茹青君;左汀玉设计研发完成，并于2023-03-22向国家知识产权局提交的专利申请。

本RGB-D多模态语义分割方法在说明书摘要公布了：本发明针对RGB‑D语义分割中存在的多尺度问题和实时问题，提出了RGB‑D多模态语义分割方法。通过交换彩色图特征和深度图特征的查询向量，设计了自注意力多模态信息交互模块，实现了跨模态信息交互；并在此基础上设计了多模态通道注意力校正模块和多模态全局特征聚合模块。在主干网络对彩色图和深度图进行下采样后，多模态通道注意力校正模块在通道维度实现特征矫正，然后多模态全局特征聚合模块将矫正后的特征在空间维度实现特征聚合，最后输入特征金字塔解码器模块以进行最终的语义预测。本发明的有益效果是：有效解决不同场景中目标尺度差异大的问题、有效提升RGB‑D语义分割精度、可以同时保证RGB‑D语义分割的准确度和实时性的要求。

本发明授权RGB-D多模态语义分割方法在权利要求书中公布了：1.RGB-D多模态语义分割方法，其特征在于，包括如下步骤：S1.设计自注意力多模态信息交互模块：所述自注意力多模态信息交互模块主要用于在通道维度和空间维度两个维度上实现彩色图和深度图之间的多模态信息交互；S2.建立RGB-D多模态语义分割模型：所述RGB-D多模态语义分割模型包括双流特征提取主干网络、多模态通道注意力校正模块、多模态全局特征聚合模块和特征金字塔解码器模块；所述双流特征提取主干网络用于将彩色图和深度图两种模态分别进行特征提取，生成不同尺寸的特征图，并在每次下采样后将特征传入四个多模态通道注意力校正模块；所述多模态通道注意力校正模块对所述双流特征提取主干网络提取到的彩色特征和深度特征在通道维度进行特征校正，并将校正后的特征传入多模态全局特征聚合模块，首先将彩色特征和深度特征通过不同大小的池化操作进行下采样，将池化结果展平后沿着第二个维度进行拼接，得到多尺度彩色特征和多尺度深度特征，然后通过全连接层将维度映射到更高的维度中，得到向量化的彩色特征和深度特征，将向量化的彩色特征和深度特征分别添加可学习的模态编码后传入Transformer模块中进行全局注意力建模；所述多模态全局特征聚合模块对多模态通道注意力校正模块输出的校正后的彩色特征和深度特征空间维度上进行特征聚合，首先在特征图中嵌入位置信息和模态信息，通过一个卷积核大小为3×3，步长为1×1，填充大小为1×1的深度可分离卷积来引入位置信息，再通过残差连接与输入的特征进行对应相加，除了位置编码之外，还添加了可学习的模态编码，得到带有位置信息和模态信息的彩色特征和深度特征，然后通过所述自注意力多模态信息交互模块进行空间维度的信息交互，并与输入进行残差连接，同时引入空间缩减模块，通过键向量和值向量的共享机制来减小计算量，之后通过层归一化获得空间信息交互后的彩色特征和深度特征，最后通过一个1×1的卷积来将两种模态的特征图融合为一个单一特征图，此外，为了提升模型鲁棒性，将原始的特征图通过一个大小为3×3的深度可分离卷积获取局部特征，并通过残差连接与全局特征进行融合，再通过批归一化层获得最终的输出；S3.进行RGB-D多模态语义分割模型训练：将彩色图、深度图和语义分割真实标签输入所述RGB-D多模态语义分割模型进行训练，得到训练后的RGB-D多模态语义分割模型。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人成都理工大学，其通讯地址为：610000 四川省成都市二仙桥东三路1号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。