买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：河南垂天科技有限公司

摘要：本发明属于知识蒸馏技术领域，尤其是一种基于ResNet18残差神经网络自蒸馏知识多重利用的训练方法，现提出如下方案，其包括整体框架、注意模块、浅层分类器和多种知识利用模块，所述Conv3×3表示卷积核为3×3的卷积，64、126、256和512分别表示卷积的输出通道数，maxpool表示最大池化层，AvgPool表示平均池化层，FC1、FC2、FC3和FC4表示输出节点数为100的全连接层，Softmax1、Softmax2、Softmax3、Softmax4和表示Softmax函数，Sigmoid表示Sigmoid函数，本发明：以ResNet18为基础，额外引入注意力模块、浅层分类器、全连接层，构成额外分支，搭建自蒸馏框架，将不同层次的模块知识分别引入浅层分类器中，实现对知识的多重利用，提升蒸馏效果，进而提高网络模型的精度。

主权项：1.一种基于ResNet18残差神经网络自蒸馏知识多重利用的训练方法，包括整体框架、注意模块、浅层分类器和多种知识利用模块，其特征在于，所述Conv3×3表示卷积核为3×3的卷积，64、126、256和512分别表示卷积的输出通道数，maxpool表示最大池化层，AvgPool表示平均池化层，FC1、FC2、FC3和FC4表示输出节点数为100的全连接层，Softmax1、Softmax2、Softmax3、Softmax4和表示Softmax函数，Sigmoid表示Sigmoid函数，Attentionmodule1、Attentionmodule2和Attentionmodule3分别表示额外分支1-3中的注意力模块，Label表示真实图像；ResNet18网络由一个3×3的conv卷积层、一个maxpool最大池化层、Basicblock1残差模块、Basicblock2残差模块、Basicblock3残差模块、Basicblock4残差模块、一个平均池化层、一个全连接层FC4以及Softmax4函数构成，其中Basicblock1残差模块、Basicblock2残差模块、Basicblock3残差模块和Basicblock4残差模块均分别由两组3×3的残差模块组成，各残差模块的输出通道数分别为64、128、256和512，在此基础上，对Basicblock1残差模块、Basicblock2残差模块、Basicblock3残差模块和Basicblock4残差模块四个残差模块分别引入额外分支，Basicblock1残差模块额外分支中注意力模块1、浅层分类器1、全连接层FC1和Softmax函数共同构成浅层分类器1，Basicblock2残差模块的额外分支中注意力模块2、浅层分类器2、全连接层FC2和Softmax函数共同构成浅层分类器2，Basicblock3残差模块中注意力模块3、浅层分类器3、全连接层FC3和Softmax函数共同构成浅层分类器3。

全文数据：

权利要求：

百度查询： 河南垂天科技有限公司 一种基于ResNet18残差神经网络自蒸馏知识多重利用的训练方法