买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：安徽大学

摘要：本发明公开了基于目标分解引导多模态学习的极化SAR图像分类方法，步骤包括：采集相同地物类型的极化SAR图像，极化SAR图像包括：源域极化SAR图像和目标域极化SAR图像；对极化SAR图像进行预处理，得到极化SAR图像的特征矩阵；构建基于多模态的跨域网络模型；利用特征矩阵训练跨域网络模型，得到分类模型；利用分类模型，完成极化SAR图像的分类。本发明充分利用已知的物理模型和领域知识挖掘泛化能力强且具备物理特性的特征表示。即充分利用目标分解特征的可解释强性的特点，因此利用极化目标分解特征的物理信息的文本先验知识，获得具有物理特性的判别性语义特征表示，能够提升深度学习算法的透明度。

主权项：1.基于目标分解引导多模态学习的极化SAR图像分类方法，其特征在于，步骤包括：采集相同地物类型的极化SAR图像，所述极化SAR图像包括：源域极化SAR图像和目标域极化SAR图像；对所述极化SAR图像进行预处理，得到所述极化SAR图像的特征矩阵；构建基于多模态的跨域网络模型；所述基于多模态的跨域网络模型包括：图像数据输入层、图像编码器、文本输入层和文本编码器；构建所述跨域网络模型的方法包括：首先，将图像数据输入层与图像编码器的输入端级联得到图像特征，并将真实标记和预测值构建图像分类交叉熵损失；之后，将文本输入层与文本编码器的输入端级联得到文本特征，将图像特征和文本特征输入到语义空间进行对齐，根据有监督的对比学习来构建图像对文本和文本对图像的对齐损失；最后，将图像对文本和文本对图像的对齐损失和图像分类交叉熵损失相加得到总损失；其中，图像编码器包括顺次级联的第一卷积层、第一ReLU激活层，第二卷积层、第二ReLU激活层，第三卷积层、第一归一化层、第三ReLU激活层、第四卷积层、第二归一化层、第四ReLU激活层、第五卷积层、第三归一化层、第五ReLU激活层、最大池化层、自适应平均池化层、第一全连接层、第二全连接层；构建图像分类交叉熵损失如下：将第二全连接层的输出特征输入到Softmax层中得出预测值，根据预测值和真实标签构建图像分类交叉熵损失函数；文本编码器采用Transformer架构并且文本编码器的基本尺寸为33M参数，三层，512宽，有8个注意头；构建图像对文本和文本对图像的对齐损失的过程如下：将第一全连接层的输出特征和文本特征进行对齐，构建图像对文本和文本对图像的对齐损失；对于给定的图像-文本对，其中图像和文本是一对一的，并且具有相同的类标签；计算了图像对文本和文本对图像的对齐损失Lcoarse： 其中，vi和li为每个批次的第i个视觉特征和语言特征；Pvi和Avi分别是视觉特征的正样本集和负样本集；Pli和Ali分别是语言特征的正样本集和负样本集，且|Pvi|＝|Pli|＝|Pi|；和是语言特征的正样本集之一和负样本集之一，同样，和表示为视觉特征的正样本集之一和负样本集之一；τ为温度参数；利用所述特征矩阵训练所述跨域网络模型，得到分类模型；利用所述分类模型，完成极化SAR图像的分类。

全文数据：

权利要求：

百度查询： 安徽大学 基于目标分解引导多模态学习的极化SAR图像分类方法