买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京邮电大学

摘要：本发明公开了一种小波特征引导头选择Transformer网络的高光谱和LiDAR联合分类方法，在空间和光谱维度上同时抽取HSI和LiDAR数据在频域和空间域内的细节特征和非冗余全局上下文特征，为了更好地获取空间和光谱特征的细节信息，首先引入光谱‑空间频域特征提取模块，继而在传统Transformer编码器模块之后插入了基于头选择池化Transformer的自适应全局‑局部特征提取模块，最后，引入具有局部特征和全局类别标记的多模态特征融合分类模块，以生成最终的可辨别特征。本发明在考虑网络性能的同时，有效地降低了模型的参数量和对冗余信息的处理，缩短了模型的训练和推理的时间，大大地提升了模型性能。

主权项：1.一种小波特征引导头选择Transformer网络的高光谱和LiDAR联合分类方法，其特征在于：包括以下步骤：步骤1输入原始HSI图像，进行边缘像素周围的数据填充操作，再通过patch提取操作，得到HSI图像块数据集；步骤2输入原始LiDAR数据，进行边缘像素周围的数据填充操作，再通过patch提取操作，得到LiDAR图像块数据集；步骤3得到步骤1和步骤2的数据集后，同时在两个数据集上对每个类别随机抽取20个样本作为训练集，剩余的样本作为测试集；步骤4将步骤3获取到的HSI图像块训练集作为输入，依次通过一个光谱-空间特征编码器和一个空间特征编码器，得到HSI数据的光谱-空间特征；步骤5将步骤3获取到的LiDAR立方体训练集作为输入，通过两个空间特征编码器，得到LiDAR数据的高程-空间特征；步骤6对步骤4获取到的HSI数据的光谱-空间特征和步骤5获取到的LiDAR数据的高程-空间特征进行线性加权特征融合，得到多模态局部光谱-空间特征；步骤7对步骤6获取到的多模态局部光谱-空间特征执行标记化策略，得到的特征序列作为输入，依次通过传统Transformer编码器和基于头选择池化Transformer的自适应全局特征提取模块，得到全局-局部光谱序列特征；步骤8将步骤6获取到的多模态局部光谱-空间特征通过基于CNNs的网络进行分类，得到基于卷积的分类概率向量；步骤9将步骤7获取到的全局-局部光谱序列特征输入多层感知机和soft-max层进行分类，得到基于Transformer的分类概率向量；步骤10对步骤8获取到的基于卷积的分类概率向量和步骤9获取到的基于卷积的分类概率向量进行特征融合决策分类，得到像素级的分类结果；步骤11对输入的HSI图像和LiDAR数据，经上述步骤处理，获取训练完成的模型和推理结果图，实现HSI图像和LiDAR数据的联合分类。

全文数据：

权利要求：

百度查询： 南京邮电大学 一种小波特征引导头选择Transformer网络的高光谱和LiDAR联合分类方法