买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：福州大学

摘要：本发明涉及一种基于结构建模局部提议网络的细粒度分类方法。首先获取细粒度分类数据集，输入主干网络，通过多粒度融合学习策略整合多粒度层级信息以增强特征表示，并计算跨层自蒸馏正则化损失。然后利用空间注意力模块增强判别性区域定位能力并以弱监督的形式生成区域提议，利用生成的局部区域提议裁剪原始图像，调整裁剪后的图像到指定大小得到局部区域图像，并将局部区域图像再次输入网络。然后基于空间注意力模块生成区域掩码，利用掩码进行极坐标建模，并计算结构建模损失，最后按照指定训练参数进行迭代训练，根据验证准确率不断保存最优模型，利用最终模型得到细粒度分类结果。

主权项：1.一种基于结构建模局部提议网络的细粒度分类方法，其特征在于，包括如下步骤：步骤S1、获取细粒度分类数据集，输入主干网络，通过多粒度融合学习策略整合多粒度层级信息以增强特征表示，并计算跨层自蒸馏正则化损失；步骤S2、利用空间注意力模块增强判别性区域定位能力并以弱监督的形式生成局部区域提议，利用生成的局部区域提议裁剪原始图像，调整裁剪后的图像到指定大小得到局部区域图像，并将局部区域图像再次输入主干网络；步骤S3、基于空间注意力模块生成区域掩码，利用区域掩码进行极坐标建模，并计算结构建模损失；步骤S4、按照指定训练参数进行迭代训练，通过优化组合损失更新模型参数，根据验证准确率不断保存最优模型，利用最终模型得到的多粒度预测结果的组合，以充分利用多粒度信息的互补性，得到细粒度分类预测结果；步骤S1具体包括如下：步骤S11、采用公开的细粒度分类数据集，进行数据预处理完成标签提取；步骤S12、输入细粒度图像，计算多粒度层次特征表示以及激活图AM；在主干网络中引入显示监督直接训练不同层次特征，其包含s_L个阶段；特征提取器输出的中间特征图表示为其中size_Hs_l，size_Ws_l，size_Cs_l分别表示第s_l阶段输出特征图的高度、宽度以及通道数，其中s_l∈[1，s_L]，使用主干网络最后一个阶段的特征图作为激活图AM；将FMs_l输入主干网络第s_l阶段引入的卷积块BFs_l中得到第s_l阶段产生的特征表示VRs_l，VRs_l＝BFs_lFMs_1，其中BFs_l·包含一个1×1和3×3的卷积层；步骤S13、接着对主干网络第s_l阶段得到的特征表示VRs_l进行池化，使用GKMP池化，学习图像CK个最重要的激活特征，池化的具体计算方式如下： 其中SMc_k表示VRs_l每个特征通道的top-k激活响应，CK表示预先设定的top-k个数，将池化后得到的特征向量表示为vcs_l；为进一步利用特征融合的优势，通过将不同阶段的特征向量vcs_l进行连接得到多粒度融合向量vcconcat＝[vcs_L-2：vcs_L-1：vcs_L]；将{vcs_L-2，vcs_L-1，vcs_L，vcconcat}分别输入分类器中生成预测概率{pys_L-2，pys_L-1，pys_L，pyconcat}，其中分类器由两个全连接层与BatchNorm层、ELU层构成；步骤S14、计算跨层自蒸馏正则化损失Losscl：在不同层级分类器后设置一个softmax层，并将不同层级分类器输出的logit概率logit_Ps_l转换为类上的软概率分布具体计算方式如下： 其中exp·表示以自然常数为底的指数运算，表示s_l阶段第class_i个类别对应的概率，表示s_l阶段第class_i个类别对应的logit概率，表示s_l阶段第class_j个类别对应的logit概率，Th表示知识蒸馏的温度，Th越大则概率分布越软；接着通过对软目标交叉熵的计算，得到跨层自蒸馏正则化损失Losscl，其具体计算方式如下： 其中log·表示对数运算，分别表示参与知识蒸馏各网络阶段输出的第class_j个类别的概率，nc为总的细粒度类别数量；步骤S2具体包括如下：步骤S21、构建空间注意力模块，以步骤S12得到的激活图AM为输入，生成一个空间注意力掩码SFAM，SF·表示空间注意力块，考虑到模型计算量，将激活图AM输入一个带有一个输出通道的3×3大小的转置卷积层来压缩空间信息，为反映其空间重要性，接着利用sigmoid函数将得到的空间注意力掩码SFAM中的每个元素归一化；具体计算方式如下：SFAM＝σAM*convtc其中σ表示sigmoid函数，*表示转置卷积运算，convtc表示转置卷积核，空间注意力掩码SFAM中每个元素在区间0，1之间；步骤S22、使用空间注意力掩码作用于步骤S12得到的激活图AM，增强对空间上下文信息的提取，同时能缓解模型在复杂背景下表现不稳定的现象，具体计算方式如下：AM′＝AM+SFAM*AM其中AM′表示增强后的激活图，*表示矩阵按元素乘法；步骤S23、使用步骤S22中的增强后的激活图AM′生成局部区域提议；生成一系列矩形区域列表{RP1，RP2，...，RPwin_K}，其中win_K为窗口数量，由于高激活响应值的区域往往是关键部位对应的位置，通过池化操作对各个窗口按通道维度计算均值；每个矩形区域置信度SCRPwin_i的具体计算方式如下： 其中r_Hwin_i，r_Wwin_i分别表示窗口win_i的长和宽，AM′p_x，P_y表示增强后的激活图AM′在局部区域提议上的像素点p_x，P_y，win_i∈[1，win_K]；矩形区域列表按照计算的置信度分数从高到低排序，计算公式如下：SCRP1≥SCRP2≥…≥SCRPwin_K采用基于置信度评分的非极大值抑制NMS来有效减少冗余，在此之后，根据置信度评分选取置信度最高的win_M个区域，{RP1，RP2，...，RPwin_M}；步骤S24、利用区域坐标裁剪图像至指定大小得到局部区域图像，并再次输入主干网络中；将裁剪后的局部区域图像调整至224×224的图像大小，输入特征提取器以获得局部特征；为充分利用粒度感知蒸馏模块的优势，以权重共享的方式进行训练，从而更有效地联合学习细粒度图像的全局语义和局部语义，提升网络捕获多粒度判别性定位的能力。

全文数据：

权利要求：

百度查询： 福州大学 一种基于结构建模局部提议网络的细粒度分类方法