买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：河南垂天科技有限公司

摘要：本发明属于神经网络技术领域，尤其是一种基于VGG11BN神经网络蒸馏训练方案，针对现有的现有训练方式下VGG11BN神经网络精度受网络结构限制的问题，现提出如下方案，其采用离线和在线两种知识蒸馏训练的方式，即首先对一个VGG11BN网络进行普通训练，训练完成之后，将其作为教师网络开始指导自蒸馏框架进行蒸馏训练；基于VGG11BN网络搭建蒸馏训练方案，由教师网络和自蒸馏框架两部分组成，以VGG11BN神经网络为基础，额外引入模块结构构建多个分类器搭建自蒸馏框架，然后使用在同一任务下已完成普通训练的VGG11BN网络来指导整个自蒸馏框架的训练，通过蒸馏的方式提升VGG11BN网络精度，进一步提升蒸馏效果，解决现有训练方式下VGG11BN神经网络精度受网络结构限制的问题。

主权项：1.一种基于VGG11BN神经网络蒸馏训练方案，其特征在于，所述该方案采用离线和在线两种知识蒸馏训练的方式，即首先对一个VGG11BN网络进行普通训练，训练完成之后，将其作为教师网络开始指导自蒸馏框架进行蒸馏训练；基于VGG11BN网络搭建蒸馏训练方案，由教师网络和自蒸馏框架两部分组成；教师网络依次由tLayer1、tLayer2、tLayer3、tLayer4、AdaptiveAvgpool、FC-4096、FC-4096、FC5-100、Softmax5组成；在整个蒸馏训练过程中，首先对教师网络进行普通训练，然后在教师网络的指导下对自蒸馏框架进行训练；通过在Layer1模块上依次添加AttentionModule1模块、浅层模块1、FC1-100全连接层、Softmax1函数构建浅层分类器1，在Layer2模块上依次添加AttentionModule2模块、浅层模块2、FC2-100全连接层、Softmax2函数构建浅层分类器2，在Layer3模块上依次添加AttentionModule3模块、浅层模块3、FC3-100全连接层、Softmax3函数构建浅层分类器3，将一个未经过训练的VGG11BN网络作为深层分类器4搭建自蒸馏框架；其中深层分类器4依次由Layer1、Layer2、Layer3、Layer4、AdaptiveAvgpool、FC-4096、FC-4096、FC4-100、Softmax4组成；在浅层模块1和浅层模块2上添加FC-512全连接层，在Layer4模块上添加AdaptiveAvgpool自适应平均池化层。

全文数据：

权利要求：

百度查询： 河南垂天科技有限公司 一种基于VGG11(BN)神经网络蒸馏训练方案