买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京邮电大学

摘要：本发明公开了基于多模态多层次特征聚合的小样本图像分类方法及系统，涉及深度学习、计算机视觉技术领域，包括：根据支持集数据的类别标签获取语义信息，将语义信息输入至文本编码器中，得到文本特征，将支持集和查询集的数据输入至预先建立的卷积神经网络模型内，得到图像特征；将文本特征与支持集图像特征进行融合，得到多模态特征，多模态特征的支持集数据和图像特征的查询集数据输入至预先建立的卷积神经网络模型内，得到分类预测结果，利用分类预测结果，采用交叉熵损失函数对模型进行迭代训练，得到训练后的小样本图像分类网络模型；将小样本图像数据集内的测试集数据输入至训练后的小样本图像分类网络模型内，得到小样本图像的分类结果。

主权项：1.基于多模态多层次特征聚合的小样本图像分类方法，其特征在于，方法包括以下步骤：获取小样本图像数据集，对小样本图像数据集进行预处理，得到处理后的小样本图像数据集，其中，所述小样本图像数据集包括训练集和测试集；通过数据加载器，将小样本图像数据集内的训练集数据加载进来，对加载的训练集数据分为支持集和查询集；根据支持集数据的类别标签获取语义信息，将语义信息输入至文本编码器中，输出得到文本特征，将支持集和查询集的数据输入至预先建立的卷积神经网络模型内，输出得到支持集图像特征和查询集图像特征；所述根据支持集数据的类别标签获取语义信息的过程：从Concept-Net中选择12个常见关系作为预检索语义，然后选择所有类别中出现频率最高的前5个项目作为检索关系，表示为，然后，通过检索以给定类c作为头或尾节点建立的关系rj的所有边来构造概念字典D；使用CLIP模型提取概念字典D相应的提示表示：对于一个给定的类c的类别，从概念字典中提取一组键作为上下文提示符，其中，k为与类别文本相关的节点，N为节点数，分别输入文本编码器，提取512维特征向量，将所有特征向量的平均值作为基于知识的提示特征，表示如下： 其中，N为键的个数，对于类c本身文本特征，也得到特征向量Tc，表示如下： 其中KC为类c本身文本特征，最终语义信息，表示如下： 其中是超参数，Tc为类c本身文本特征，为基于知识的提示特征，为字典保存每个类别所对应的文本特征，是类别c的标签，为类特征，作为语义信息；将文本特征与支持集图像特征进行融合，得到多模态特征，将多模态特征与查询集图像特征输入至预先建立的度量分类模型内，输出得到分类预测结果，利用分类预测结果，采用交叉熵损失函数对预先建立的小样本图像分类网络模型进行迭代训练，得到训练后的小样本图像分类网络模型；将小样本图像数据集内的测试集数据输入至训练后的小样本图像分类网络模型内，输出得到小样本图像的分类结果。

全文数据：

权利要求：

百度查询： 南京邮电大学 基于多模态多层次特征聚合的小样本图像分类方法及系统