买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国科学院软件研究所

摘要：本发明公开了一种基于孪生网络的自监督学习细粒度图像分类方法。本发明首先利用注意力编码器提取图像的深度卷积特征，获取蕴含语义信息的注意力图并通过双线性池化方式编码图像特征；其次从原始图像上定位出注意力图上高响应值所在的显著区域，对显著区域进行裁切和擦除操作，从而形成不同视角的视图，以自监督的方式学习视角不变性特征；最后联合中心损失函数以及一致性损失函数，显示地约束不同视角特征，保持它们的类内一致性。本发明方法使得网络获得显著的性能增益，可以在细粒度图像分类的基线上显著提升分类准确度。

主权项：1.一种基于孪生网络的自监督学习细粒度图像分类方法，其步骤包括：分类模型训练阶段，基于训练样本图像集采用步骤1～9训练所述分类模型；其中，所述分类模型包括第一注意力编码器、第二注意力编码器、全连接层和分类器；1利用第一注意力编码器提取样本图像I的特征图F；2所述第一注意力编码器根据所述特征图F的高阶统计信息生成增强图像的特征向量fr；3所述第一注意力编码器通过定位样本图像I中包含关键信息的语义部件，获取样本图像I的裁切视角样本Icrop；4所述第一注意力编码器基于语义擦除机制，得到样本图像I的擦除视角样本Ierase；5将裁切视角样本Icrop、擦除视角样本Ierase分别输入第二注意力编码器，得到对应的裁切视角特征向量fc和擦除视角特征向量fe；所述第二注意力编码器为参数共享的孪生网络架构；6将裁切视角样本Icrop、擦除视角样本Ierase作为一个正样本对，利用自监督学习损失函数Lssl约束两个视角特征向量fc和fe的一致性，通过自监督学习的方式训练捕捉到样本图像I的视角不变特征；7采用中心损失函数Lct，减小样本图像I的视角不变特征与样本图像I所属类别的类中心特征C之间的距离；8将特征向量fr、fc和fe输入全连接层，得到将fr、fc和fe统一到同一类别概率；利用一致性损失函数Lcst约束全连接层权重与类别中心特征之间的相似性；9所述全连接层根据样本图像I、fr、fc和fe得到样本图像I的类别概率分布；然后利用分类器中的交叉熵损失函数Lcls计算样本图像I的类别概率分布和对应真实标签的独热编码的差值，通过缩小差值优化所述全连接层的权重；分类模型应用阶段将待分类的目标图像输入到训练后的所述分类模型，得到该目标图像的类别。

全文数据：

权利要求：

百度查询： 中国科学院软件研究所 一种基于孪生网络的自监督学习细粒度图像分类方法