首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

基于特征感知的神经网络迭代剪枝方法、装置和电子设备 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:中国人民解放军国防科技大学

摘要:本申请涉及一种基于特征感知的神经网络迭代剪枝方法、装置和电子设备。所述方法包括:通过计算网络推理产生的特征图之间的相似度以衡量通道的冗余性,进而分离出冗余通道;之后应用贪心迭代的裁剪方案,在超参数约束下迭代裁剪冗余通道,根据裁剪后的微调精度进行剪枝判决,最终实现各层剪枝率的自适应调整。采用本方法可以不影响模型性能的前提下实现模型参数量和计算量方面的有效压缩,降低模型各层剪枝率与剪枝敏感度的偏差,解决了消费电子领域在部署深度学习算法时所面临的硬件平台算力和资源受限问题,从而推动大规模神经网络在硬件资源有限的设备中的部署,并提高网络模型的图像识别准确度。

主权项:1.一种基于特征感知的神经网络迭代剪枝方法,其特征在于,所述方法包括:将待分类图像输入到卷积神经网络模型;所述卷积神经网络模型是进行基于特征感知的神经网络迭代剪枝并重训练后得到的卷积神经网络模型;利用所述卷积神经网络模型对所述待分类图像进行分类识别处理,得到所述待分类图像的图像类别;其中,所述基于特征感知的神经网络迭代剪枝的具体步骤包括:采用待剪枝卷积神经网络模型对从数据集中随机选取的图片进行推理,提取当前剪枝层的输出特征图;根据所述输出特征图对当前剪枝层进行相似性单步剪枝;所述相似性单步剪枝是指通过对所述输出特征图进行相似性衡量和层次化聚类处理,确定冗余特征图,剪裁冗余特征图对应的卷积通道;对剪枝后的卷积神经网络模型进行微调训练;如果微调后的卷积神经网络模型的精度损失满足预设精度损失约束,则接受本次剪枝,在当前剪枝层继续按照预设步长进行层内迭代剪枝;如果所述精度损失不满足预设精度损失约束,则拒绝本次剪枝,将卷积神经网络模型恢复至本层剪枝前的状态,将当前剪枝层更新为下一层,继续进行层间迭代剪枝;直到遍历卷积神经网络模型的所有卷积层为止,如果未达到预设剪枝结束条件,则将当前剪枝层更新为剪枝后神经网络模型的首层,继续进行迭代剪枝;如果达到预设剪枝结束条件,则剪枝结束,得到剪枝优化后的卷积神经网络模型;所述预设剪枝结束条件为:全网络剪枝率达到了预设目标总剪枝率、或外层剪枝循环次数达到了预设最大循环值。

全文数据:

权利要求:

百度查询: 中国人民解放军国防科技大学 基于特征感知的神经网络迭代剪枝方法、装置和电子设备

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

相关技术
相关技术
相关技术
相关技术