买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明涉及一种多模自监督混合曼巴的高光谱影像分类方法，所述方法包括以下步骤：多模自监督混合曼巴的高光谱影像分类数据集处理、构建结合CNN和Mamba的高光谱影像分类网络、基于自监督的高光谱影像分类网络的无标签预训练、基于CLIP的多模态高光谱影像分类模型的训练、对多模态高光谱影像分类模型进行测试。与现有技术相比，结合CNN和Mamba提取空谱特征，有利于实现精准的高光谱图像分类，并通过自监督学习方法对模型进行预训练，无需标注的数据，让模型能够自行识别不同场景下的高光谱图像，提高了模型的泛化能力，同时，基于CLIP模型能够实现多模态的高光谱图像分类。

主权项：1.一种多模自监督混合曼巴的高光谱影像分类方法，其特征在于，包括以下步骤：11）多模自监督混合曼巴的高光谱影像分类数据集处理：收集高光谱影像，对所有高光谱影像进行裁剪、数据去噪、波段降维和通道归一化的预处理，再按照有无标签进行分类，将有标签的高光谱影像作为训练集，将无标签的高光谱影像按照8：2分为训练集和测试集；此外收集高光谱影像的文本描述数据，文本描述数据包含影像描述、类别标签描述和地理信息描述，并对文本描述数据进行词干提取和分词的预处理，预处理后的文本即为提示文本；12）构建CNN和Mamba结合的高光谱影像分类网络，该网络包含三个组成：用以提取高光谱影像空间特征的CNN空间编码器、用以提取高光谱影像光谱特征的Mamba光谱编码器，以及空谱信息融合模块；通过将高光谱影像输入到该网络中，从而获得高光谱影像的空谱特征；13）基于自监督的CNN和Mamba结合的高光谱影像分类网络预训练：采用对比学习的方法，训练数据为，在一个训练批次里的每张高光谱影像都称为原样本，对原样本通过亮度调整、阴影生成、高斯模糊数据增强手段生成的为正样本，原样本中除正样本之外剩余的样本则为负样本；将所有样本输入到CNN和Mamba结合的高光谱影像分类网络中进行预训练；使得原样本特征表示与正样本特征表示在嵌入空间中的距离为0，而与负样本特征表示距离大于1；14）基于CLIP的多模态高光谱影像分类模型的训练：构建的基于CLIP的多模态高光谱影像分类模型包含图像编码器和文本编码器；图像编码器使用CNN和Mamba结合的高光谱影像分类网络，图像编码器的输入数据为；文本编码器采用CLIP中的文本编码器，输入为提示文本，输出为文本特征，并通过CLIP的预训练权重进行权重初始化；计算图像编码器输出的空谱特征和文本编码器输出的文本特征之间的余弦相似度，使一张高光谱影像的空谱特征与描述该高光谱影像的文本特征的余弦相似度最高；15）对基于CLIP的多模态高光谱影像分类模型进行测试：将和提示文本输入到训练好的基于CLIP的多模态高光谱影像分类模型中进行测试，与高光谱影像余弦相似度最高的提示文本即为高光谱影像的分类结果。

全文数据：

权利要求：

百度查询： 安徽大学 一种多模自监督混合曼巴的高光谱影像分类方法