买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：武汉工程大学

摘要：本发明提供了一种基于拼图排列学习的渐进式训练细粒度视觉分类方法，通过拼图生成器将图像数据集裁剪成不同粒度大小的图像，使用残差网络ResNet50作为特征提取器，将拼图解算器作用在特征图提取的每一个阶段，在残差网络ResNet50的每个阶段学习不同粒度大小的局部信息并且融合多尺度的特征，同时在每个阶段使用拼图解算模块学习打乱图像的拼图排列矩阵来学习对象的全局信息，通过在每个阶段学习不同粒度大小局部信息的同时学习对象的全局信息来进行细粒度视觉分类，在模型的每个阶段同时利用不同粒度对象的局部细节信息以及整体对象的全局信息之间的互补关系，使得模型最终的分类性能达到目前最先进的水平。

主权项：1.一种基于拼图排列学习的渐进式训练细粒度视觉分类方法，其特征在于：包括以下步骤：S1：采用拼图生成器处理图像数据集中的原始图像，生成不同粒度版本的打乱图像；S2：通过深度卷积神经网络建立细粒度视觉分类网络，采用渐进式策略训练细粒度视觉分类网络；输入打乱图像，通过残差网络ResNet50的最后三层输出三个中间阶段不同粒度大小的特征谱；输入原始图像让细粒度视觉分类网络学习完整的对象信息，串联残差网络ResNet50的最后三层输出的特征谱，得到串联阶段输出的多尺度多粒度的特征谱；具体步骤为：S21：建立深度卷积神经网络，包括卷积层、池化层和分类层；S22：卷积层通过残差网络ResNet50提取打乱图像的图像特征，使用残差网络ResNet50的最后三层F3,F4,F5分别处理n×n大小的图像；对不同粒度版本的图像输出不同中间阶段的特征谱，设n＝25-l+1，l＝{3,4,5}，分别对应输出三个阶段的特征谱F3,F4,F5；卷积层将输出特征谱的通道维度统一到1024维；S23：池化层对每个阶段的特征谱进行全局平均池化后得到一个1024维的特征向量；S24：设m表示数据集的类别数，分类层通过分类器处理1024维的特征向量后得到一个m维的特征向量；分类器包括两个全连接层；S25：使用原始图像作为输入图像，将残差网络ResNet50的最后三层输出的特征谱串联起来得到一个3072维的特征谱；对特征谱进行全局平均池化后经过分类层得到一个m维的特征向量，融合多尺度的特征信息得到对象的局部细节信息；S26：将步骤S25得到的三个阶段、以及步骤S25得到的串联阶段，共四个阶段预测概率的和作为最终的预测概率；S3：通过拼图解算器分别处理三个中间阶段的特征谱，学习打乱图像的排列位置，将打乱图像恢复为原始图像，并通过得到的双随机矩阵做排列损失监督网络，使细粒度视觉分类网络在学习局部信息的同时学习对象的全局信息；具体步骤为：S31：设特征提取器为F·，解算器为S·，则拼图解算器为JI＝SFI；S32：将残差网络ResNet50的三个输出特征谱F3,F4,F5输入拼图解算器进行平均池化、简化为特征向量，通过全连接层得到偏好矩阵偏好矩阵反应了网络将输入图像的排列位置分配给相应位置的偏好程度；S33：将辛克霍恩算子应用于偏好矩阵获得n2×n2大小的双随机矩阵M*＝SinkhornM；S34：通过双随机矩阵M*做排列损失监督网络，使细粒度视觉分类网络在学习局部信息的同时学习对象的全局信息；S4：定义分类损失函数和排列损失函数，并根据分类损失函数和排列损失函数构建损失层；S5：利用训练样本集优化细粒度视觉分类网络；利用测试样本集对细粒度视觉分类网络进行测试。

全文数据：

权利要求：

百度查询： 武汉工程大学 一种基于拼图排列学习的渐进式训练细粒度视觉分类方法