龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：湖南大学
摘要：本发明公开了一种基于跨层级引导融合的多模态图像语义分割方法及系统，该方法利用RGB影像信息和深度信息、热成像信息和光谱信息等额外模态图像信息的多模态数据，融合多模态信息并用于图像语义分割任务。该方法先将额外模态图像转换成和RGB图像同样的尺寸大小和视觉范围，再使用基于Transformer基本块的双分支编码器提取RGB模态和额外模态特征，通过跨层级引导融合模块在浅层、中层、高层特征中利用低层级特征引导高层级特征的多模态融合，最后利用解码器对多级融合特征解码，并逐像素点输出图像的类别，解决了在复杂场景下语义分割表现不佳的问题；本发明技术方案可应用于机器人智能分拣、无人机智能巡检等复杂场景。
主权项：1.一种基于跨层级引导融合的多模态图像语义分割方法，其特征在于：包括以下步骤：S1：对获取目标场景的RGB图像以及额外模态图像进行预处理，用以对齐RGB和额外模态图像的空间信息；S2：对预处理后的额外模态图像进行伪彩色编码处理；S3：构建基于Transformer基本块的双分支编码器以及跨层级的融合模块，并利用所述双分支编码器提取RGB模态特征和额外模态特征，以及利用所述融合模块进行特征融合得到每个层级的融合特征；其中，所述双分支编码器包括两个分支编码器，分别对应预处理后的RGB图像和伪彩色编码后的额外模态图像，所述分支编码器和所述融合模块均为多层次结构；将两个分支编码器上同一个层编码层提取的RGB模态特征和额外模态特征通过融合模块进行特征融合，以及前一层级的融合特征输入下一层融合层；S4：构建解码器，所述解码器基于每个层级的融合特征进行多层级融合特征解码得到语义分割结果；其中，将目标场景的RGB图像、外模态图像及其语义分割标记作为样本数据，并根据步骤S1-S2的过程处理所述RGB图像以及额外模态图像；进而训练按照步骤S3-S4搭建的双分支编码器、跨层级的融合模块和解码器得到语义分割网络，用于图像语义分割。
全文数据：
权利要求：
百度查询： 湖南大学 基于跨层级引导融合的多模态图像语义分割方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号