买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南开大学;中国科学院自动化研究所

摘要：本发明涉及图像识别技术领域，尤其涉及基于双重空间对比学习的开放世界半监督图像分类方法，包括如下步骤：初始化网络模型；构建特征图及预测图；进行双重空间对比迭代学习训练，计算监督损失、特征空间自监督对比损失、预测空间自监督对比损失、特征空间与预测空间之间的空间引导对比损失及总体损失，根据总体损失对网络模型进行梯度反向传播及网络模型参数更新；重复迭代得到训练好的网络模型；对无标签数据集中的每一个无标签样本进行推理，得出每一个无标签样本预测的标记结果。本发明提供的方法提升了网络模型对于无标签数据的表征能力，从而提升对于无标签数据的标记准确率。

主权项：1.基于双重空间对比学习的开放世界半监督图像分类方法，其特征在于：包括如下步骤：S1：整理待标记图像数据集，将待标记图像数据集中带标签样本划分至带标签数据集，将待标记图像数据集中无标签样本划分至无标签数据集，并初始化网络模型；S2：根据待标记图像数据集中的所有样本在特征空间的关联性构建特征图，根据待标记图像数据集中的所有样本在预测空间的关联性构建预测图；S3：利用步骤S1中的带标签数据集、无标签数据集以及步骤S2中的特征图、预测图对步骤S1中的初始化网络模型进行双重空间对比迭代学习训练，计算监督损失、特征空间自监督对比损失、预测空间自监督对比损失及特征空间与预测空间之间的空间引导对比损失，并对监督损失、特征空间自监督对比损失、预测空间自监督对比损失及特征空间与预测空间之间的空间引导对比损失加权求和得到总体损失，再根据总体损失对网络模型进行梯度反向传播及网络模型参数更新；计算总体损失的方法包括如下步骤：S31：对步骤S1中的带标签数据集、无标签数据集中的样本进行分批次采样，并对采样批次中的图像数据进行增广操作，获取弱增广图像及强增广图像；S32：对于弱增广图像及强增广图像通过深度骨干网络模型与分类器得到弱增广特征向量、强增广特征向量、弱增广预测向量及强增广预测向量，并将弱增广特征向量、强增广特征向量根据采样批次整理为特征集，将弱增广预测向量及强增广预测向量根据采样批次整理为预测集；S33：根据监督目标函数的公式计算监督损失；S34：特征空间自监督对比学习：将特征集内的弱增广特征向量、强增广特征向量映射为弱增广投影向量和强增广投影向量，并将弱增广投影向量和强增广投影向量组成投影向量集，对投影向量集中的投影向量进行对比学习，将强增广投影向量及弱增广投影向量视为同一样本在不同增广下的两种不同表征代入对比损失函数中，得到特征空间自监督对比损失；S35：预测空间自监督对比学习：将预测集内的弱增广预测向量以行向量堆叠的方式组成弱增广预测矩阵，将预测集内的强增广预测向量以行向量堆叠的方式组成强增广预测矩阵，再将弱增广预测矩阵沿列方向拆解为弱增广预测列向量，将强增广预测矩阵沿列方向拆解为强增广预测列向量，并将弱增广预测列向量和强增广预测列向量组成预测列向量集，然后对预测列向量集中的预测列向量进行对比学习，将强增广预测列向量、弱增广预测列向量视为不同增广下的两种不同表征代入对比损失函数中，得到预测列向量的对比损失，再对该批次内所有的弱增广预测向量和强增广预测向量分别取平均之后并求得弱增广预测向量熵及强增广预测向量熵，并将两个熵值相加作为熵损失，最终将预测列向量的对比损失减去熵损失得到预测空间自监督对比损失；S36：空间引导对比学习：通过从预测空间到特征空间的图引导对比学习计算从预测空间到特征空间的总引导对比损失，再通过从特征空间到预测空间的图引导对比学习计算从特征空间到预测空间的引导对比损失；S37：对步骤S33的监督损失、步骤S34的特征空间自监督对比损失、步骤S35的预测空间自监督对比损失、步骤S36的从预测空间到特征空间的总引导对比损失、从特征空间到预测空间的总引导对比损失求和计算总体损失；从预测空间到特征空间的图引导对比学习方法如下：S361：将特征集中与第个样本的弱增广特征向量或强增广特征向量在预测图中产生关联的特征收集至相应的正关联特征集，将特征集中与第个样本的弱增广特征向量或强增广特征向量在预测图中不产生关联的特征收集至相应的负关联特征集，并将相应的正关联特征集及负关联特征集的并集组成相应的正负关联特征集；S362：根据式（1）计算对第个样本的弱增广特征向量从预测空间到特征空间的引导对比损失，根据式（2）计算对第个样本的强增广特征向量从预测空间到特征空间的引导对比损失： （1）； （2）；其中：表示特征集第个样本弱增广之后所对应的特征向量，表示从预测空间到特征空间的引导对比损失，表示总的采样批次值，表示的正关联特征集，表示的正负关联特征集，表示属于的正关联特征集的所有特征向量，表示属于的正负关联特征集的所有特征向量，表示特征集中第个样本的强增广特征向量，表示从预测空间到特征空间的引导对比损失，表示的正关联特征集，表示的正负关联特征集，表示属于的正关联特征集的所有特征向量，表示属于的正负关联特征集的所有特征向量；S363：根据式（3）计算从预测空间到特征空间的总引导对比损失： （3）；从特征空间到预测空间的引导对比学习方法如下：S364：将预测集中与第个样本的弱增广预测向量或强增广预测向量在特征图中产生关联的特征收集至相应的正关联预测集，将预测集与第个样本的弱增广预测向量或强增广预测向量在特征图中不产生关联的特征收集至相应的负关联预测集，并将相应的正关联预测集及负关联预测集的并集组成相应的正负关联预测集；S365：根据式（4）计算对第个样本的弱增广预测向量从特征空间到预测空间的引导对比损失，根据式（5）计算对第个样本的强增广预测向量从特征空间到预测空间的引导对比损失： （4）； （5）；其中：表示预测集中第个样本的弱增广预测向量，表示从特征空间到预测空间的引导对比损失，表示的正关联预测集，表示的正负关联预测集，表示属于的正关联预测集的所有预测向量，表示属于的正负关联预测集的所有预测向量，表示预测集中第个样本的强增广预测向量，表示从特征空间到预测空间的引导对比损失，表示的正关联预测集，表示的正负关联预测集，表示属于的正关联预测集的所有预测向量，表示属于的正负关联预测集的所有预测向量；S366：根据式（6）计算从特征空间到预测空间的总引导对比损失： （6）；S4：重复迭代步骤S2至步骤S3，并判断是否达到设定迭代轮数，若达到设定迭代轮数，则得到训练好的网络模型进行进入下一步骤；S5：利用步骤S4训练好的网络模型对步骤S1无标签数据集中的每一个无标签样本进行推理，得出每一个无标签样本预测的标记结果。

全文数据：

权利要求：

百度查询： 南开大学 中国科学院自动化研究所 基于双重空间对比学习的开放世界半监督图像分类方法