买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国科学技术大学

摘要：本发明公开了一种小样本图像分类方法、装置、电子设备及存储介质，该小样本图像分类方法包括：获取小样本数据集，小样本数据集包括图像样本以及图像样本对应的文本标签；对图像样本进行特征提取，得到图像特征和图像特征图；根据图像特征和图像特征图，确定图像特征子空间；根据图像特征子空间，确定投影后图像特征；对文本标签进行特征提取，得到文本特征；根据文本特征以及文本特征对应的图像特征图，确定文本特征子空间；根据文本特征子空间，确定投影后文本特征；获取待分类图像；根据投影后图像特征和投影后文本特征，对待分类图像进行分类。通过本发明消除了提取出的图像特征和文本特征之间的模态差异，提升了模型在小样本图像分类准确率。

主权项：1.一种小样本图像分类方法，其特征是，所述图像分类方法包括以下步骤：获取小样本数据集，所述小样本数据集包括图像样本以及所述图像样本对应的文本标签；对所述图像样本进行特征提取，得到图像特征和图像特征图；根据所述图像特征和所述图像特征图，确定图像特征子空间，包括：计算所述图像特征和所述图像特征图的第一相似度；第一相似度表示为：；其中，式中的为少样本训练集中第i类别中的第j个样本，是对应于图像特征的图像特征图，即预训练的CLIP模型的图像编码器提取出的图像特征图，为第一相似度，表示图像特征和图像特征图之间的相似程度；是第个区域的索引；从图像特征图中选取前Q个高相似度得分对应的第一区域特征；第一区域特征表示为：；其含义是，是图像特征图中第个类别中的第个样本的图像特征图中前个高相似度得分对应的区域特征；是前个高相似度得分对应的索引，其中是选取的区域数量，表示从图像特征图中选取索引为的区域特征，即的第列；将第一区域特征和所有的全局图像特征拼接，获得图像特征子空间；图像特征子空间表示为：；将图像特征与图像特征图转置相乘得到第一相似度；根据所述第一相似度，确定图像特征图中的第一区域特征；拼接所述第一区域特征和所述图像特征；根据所述图像特征子空间，确定投影后图像特征；对所述文本标签进行特征提取，得到文本特征；根据所述文本特征以及所述文本特征对应的所述图像特征图，确定文本特征子空间，包括：对所述文本标签进行特征提取，得到文本特征；根据所述文本特征以及所述文本特征对应的所述图像特征图，确定文本特征子空间；所述确定文本特征子空间，包括：分别计算所述文本特征和同类别下图像特征图的第二相似度，根据所述第二相似度，确定同类别下图像特征图的第二区域特征，拼接所述第二区域特征和所述文本特征；还包括：利用预训练的CLIP模型的文本编码器提取小样本数据集中文本标签的文本特征；文本特征表示为：；然后分别计算文本特征和同类别下的图像特征图的第二相似度；第二相似度表示为：；其中，为少样本训练集中第i个类别的文本标签特征，代表了文本特征与同类别下图像特征图之间的相似度得分；从图像特征图中挑选出前个高相似度得分对应的第二区域特征；第二区域特征表示为：； 是前个高相似度得分对应的索引，其中是选取的区域数量，表示从图像特征图中选取索引为的区域特征，即的第列；将挑选出来的第二区域特征和文本特征拼接，得到第i个类别的文本特征子空间：；根据所述文本特征子空间，确定投影后文本特征；获取待分类图像；根据所述投影后图像特征和所述投影后文本特征，对所述待分类图像进行分类，包括：对所述待分类图像进行特征提取，得到待分类图像特征；计算所述待分类图像特征和所述投影后图像特征的相似度；计算所述待分类图像特征和所述投影后文本特征的相似度；将计算出的所述相似度进行线性加权，把相似度最大的类别作为最终的分类结果。

全文数据：

权利要求：

百度查询： 中国科学技术大学 小样本图像分类方法、装置、电子设备及存储介质