Document
拖动滑块完成拼图
首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

CNN结合Transformer的HSI和LiDAR多模态数据的精细地物分类方法 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:哈尔滨理工大学

摘要:本发明CNN结合Transformer的HSI和LiDAR多模态数据的精细地物分类方法属于图像分类技术领域。首先,输入待分类的高光谱图像HSI和激光雷达LiDAR数据,形成训练集、验证集和测试集;采用主成分分析法降低HSI训练集的光谱维数,然后输入由卷积神经网络CNN和Transformer并联构成的特征提取模块,再通过特征交互模块实现局部特征与全局信息之间的交互;将LiDAR训练集输入卷积神经网络提取特征,并与HSI支路提取的特征实现特征对齐;将HSI和LiDAR双支路的对齐特征进行拼接,输入跨通道重构机制中实现多模态数据特征的高效融合;通过优化总体损失函数更新网络参数,再将双支路交叉融合之后的特征输入softmax分类器进行分类;将测试数据输入到训练好的网络模型,使用softmax分类器进行分类,得到HSI和LiDAR多模态数据的协同分类结果;本发明利用CNN强大的局部特征提取能力与Transformer的全局特征提取能力,通过特征交互模块与跨通道重构机制实现更优异的地物精细分类的效果。

主权项:1.CNN结合Transformer的HSI和LiDAR多模态数据的精细地物分类方法,其特征包括:步骤a、输入待分类的高光谱图像HSI和激光雷达LiDAR数据,形成训练集、验证集和测试集;步骤b、采用主成分分析法PCA降低HSI训练集的光谱维数,然后输入由卷积神经网络CNN、Transformer并联构成的特征提取模块,再通过特征交互模块实现局部特征与全局信息之间的交互;步骤c、将LiDAR训练集输入卷积神经网络提取特征,并与HSI支路提取的特征实现特征对齐;步骤d、将HSI和LiDAR双支路的对齐特征进行拼接,输入跨通道重构机制中实现多模态数据特征的高效融合;步骤e、通过优化总体损失函数更新网络参数,再将双支路交叉融合之后的特征输入softmax分类器进行分类,其中总体损失函数包括交叉熵损失以及重构特征与跨通道特征之间的L2范数正则化损失;步骤f、将测试数据输入到训练后的多模态数据分类网络中,得到HSI和LiDAR数据协同分类的结果。

全文数据:

权利要求:

百度查询: 哈尔滨理工大学 CNN结合Transformer的HSI和LiDAR多模态数据的精细地物分类方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。