买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜西安电子科技大学申请的专利基于注意力机制和多模态表征学习的滑坡识别方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114170533B 。

龙图腾网通过国家知识产权局官网在2025-05-02发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111496192.6，技术领域涉及：G06V20/17；该发明授权基于注意力机制和多模态表征学习的滑坡识别方法及系统是由王蓉芳;魏浩江;李卫斌;刘若辰;刘波;尚荣华;郝红侠设计研发完成，并于2021-12-08向国家知识产权局提交的专利申请。

本基于注意力机制和多模态表征学习的滑坡识别方法及系统在说明书摘要公布了：本发明公开了一种基于注意力机制和多模态表征学习的滑坡识别方法及系统，将包含滑坡的正样本和包含非滑坡的负样本划分为训练集、验证集和测试集；对训练集进行数据增强，再将验证集、测试集和数据增强后的训练集的图像大小进行调整，将图像各通道像素值归一化；构建基于注意力机制和多模态表征学习的多路卷积神经网络；使用交叉熵损失函数对基于注意力机制和多模态表征学习的多路卷积神经网络进行训练；使用归一化后的训练集对训练后的注意力机制和多模态表征学习的多路卷积神经网络进行训练，并使用归一化后的验证集进行验证，保存验证集上表现最好的网络模型；使用归一化后的测试集在保存的网络模型上测试得到滑坡识别结果，减小计算资源消耗。

本发明授权基于注意力机制和多模态表征学习的滑坡识别方法及系统在权利要求书中公布了：1.一种基于注意力机制和多模态表征学习的滑坡识别方法，其特征在于，包括以下步骤：S1、将包含滑坡的正样本和包含非滑坡的负样本划分为训练集、验证集和测试集；S2、对步骤S1划分的训练集进行数据增强，再将步骤S1划分的验证集、测试集和步骤S2数据增强后的训练集的图像大小进行调整，将图像各通道像素值归一化；S3、构建基于注意力机制和多模态表征学习的多路卷积神经网络，具体为：S301、构建包括RGB支路、DEM支路和多模态融合支路的多路卷积神经网络，分别对高光谱RGB数据，数字高程DEM数据进行特征提取，得到RGB深层特征图、DEM深层特征图以及RGB深层特征图和DEM深层特征图两种模态数据融合深层特征图，进行分类决策；S302、构建步骤S1多路卷积神经网络的输入模块，RGB支路与DEM支路的输入模块分别由一个卷积层、一个批归一化层以及一个RELU非线性激活层组成；将步骤S2经过数据增强后训练集中的RGB数据与DEM数据输入多路卷积神经网络各支路的输入模块，经过第一个输入卷积层得到64个RGB数据的浅层特征图和64个DEM数据的浅层特征图；S303、构建包含通道注意力模块和空间注意力模块的注意力特征融合模块，将步骤S302得到的64个RGB数据的浅层特征图与64个DEM数据的浅层步特征图输入各自支路的空间注意力模块中，得到RGB空间注意力特征图与DEM空间注意力特征图；并将RGB空间注意力特征图与DEM空间注意力特征图进行数据融合后输入通道注意力模块中，得到融合数据的通道注意力特征图；S304、构建包含3个卷积层、3个批归一化层、2个RELU非线性激活层的残差模块；S305、基于步骤S304的残差模块构建超模块RGB、DEM以及融合数据特征提取支路，将步骤S302得到的64个RGB数据的浅层特征图与64个DEM数据的浅层特征图分别输入到各自超模块特征提取支路中，得到各自的RGB特征图和DEM特征图；将步骤S303得到的融合数据通道注意力特征图输入融合数据的超模块特征提取支路的中，得到融合数据的特征图，每条支路的第一个超模块包含3个残差模块，第一个残差模块的输入卷积核个数为64；步骤S306中的每条支路上，第一个超模块包含4个残差模块，第一个残差模块的输入卷积核个数为128；第二个超模块包含6个残差模块，第一个残差模块的输入卷积核个数为256；第三个超模块包含3个残差模块，第一个残差模块的输入卷积核个数为512；S306、构建深度特征提取模块，对步骤S305中得到的RGB特征图和DEM特征图输入步骤S303中各自支路的空间注意力模块中，得到RGB空间注意力特征图与DEM空间注意力特征图；并将RGB空间注意力特征图、DEM空间注意力特征图以及步骤S305中得到融合数据特征图进行数据融合，输入S303中通道注意力模块中，得到融合数据的通道注意力特征图，将RGB空间注意力特征图、DEM空间注意力特征图以及融合数据的通道注意力特征图输入进各自支路的超模块特征提取层中，得到各自的深层特征图；S307、重复步骤S306中深度特征提取模块，最终得到1024个的RGB深度特征图、1024个的DEM深度特征图和1024个的融合数据深度特征图；S308、构建多模态共享决策模块，对步骤S307得到的RGB深度特征图、1024个DEM深度特征图和1024个融合数据深度特征图进行分类决策，多模态共享决策模块包括四组并行的多层感知机网络和一组融合决策网络，每个多层感知机网络包含两层全连接层和一层softmax层，属于RGB支路、DEM支路和多模态融合支路的全连接模块依次为第一多层感知机网络，第二多层感知机网络和第三多层感知机网络，每层的节点个数分别为1024，512，2，第一多层感知机网络，第二多层感知机网络和第三多层感知机网络的第一层拼接后作为第四多层感知机网络的第一层，第四多层感知机网络每层的节点个数分别为3072,512,2；融合决策网络包括一层全连接层和一层softmax层，每层的节点个数分别为8和2；将四组多层感知机网络的第三层进行拼接，输入到融合决策网络的第一层，得到最终的滑坡识别结果；S4、使用交叉熵损失函数对步骤S3构建的基于注意力机制和多模态表征学习的多路卷积神经网络进行训练；S5、使用步骤S2归一化后的训练集对步骤S4训练后的注意力机制和多模态表征学习的多路卷积神经网络进行训练，并使用步骤S2归一化后的验证集进行验证，保存验证集上表现最好的网络模型；S6、使用步骤S2归一化后的测试集在步骤S5保存的网络模型上测试，得到滑坡识别结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西安电子科技大学，其通讯地址为：710071 陕西省西安市雁塔区太白南路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。