买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国科学院计算技术研究所临沂分所(临沂中科人工智能创新研究院);临沂中科人工智能创新研究院有限公司

摘要：本发明实施例提供了一种对预训练的神经网络模型进行剪枝的方法，其中将所述预训练的神经网络模型作为基线模型，包括：S1、选择所述基线模型中需要剪枝的网络层作为目标网络层；S2、获取目标网络层中多个卷积核的各权重参数对应的梯度值；S3、针对所述目标网络层，基于每个卷积核的各权重参数对应的梯度值确定该卷积核中重要的权重参数的数量；S4、针对所述目标网络层，根据其所有的卷积核中重要的权重参数的数量对所述目标网络层进行剪枝；S5、对剪枝后的模型进行重训练，得到压缩后的模型。本发明提高了剪枝的精度、效率。

主权项：1.一种对预训练的神经网络模型进行剪枝的方法，其中将所述预训练的神经网络模型作为基线模型，其中，所述基线模型是用于图像分类、推荐系统、目标检测或者自动驾驶的神经网络模型，其特征在于，包括：S1、选择所述基线模型中需要剪枝的网络层作为目标网络层；S2、获取目标网络层中多个卷积核的各权重参数对应的梯度值；S3、针对所述目标网络层，基于每个卷积核的各权重参数对应的梯度值确定该卷积核中重要的权重参数的数量，其中：所述S3包括：S31、计算每个卷积核的所有权重参数对应的梯度值中绝对值最大的梯度值，根据设置的搜索步数上限和所述绝对值最大的梯度值的绝对值确定该卷积核的多个搜索阈值；S32、每步搜索利用每个卷积核各自对应的多个搜索阈值中的一个搜索阈值搜索权重参数对应的梯度绝对值大于等于该搜索阈值的权重参数的个数，直至相邻两步搜索出的权重参数的个数的绝对差值小于设定停止阈值时停止搜索，其中，当前的搜索步数越接近搜索步数上限其对应的搜索阈值越接近当前目标网络层中绝对值最大的梯度值的绝对值；S33、将权重参数对应的梯度绝对值大于等于停止搜索时对应的搜索阈值的权重参数的个数作为该卷积核中重要的权重参数的数量；或者，所述S3包括：S31’、计算每个卷积核的所有权重参数对应的梯度值中绝对值最大的梯度值，根据设置的搜索步数上限和所述绝对值最大的梯度值的绝对值确定该卷积核的多个搜索阈值；S32’、每步搜索利用每个卷积核各自对应的多个搜索阈值中的一个搜索阈值搜索权重参数对应的梯度绝对值小于该搜索阈值的权重参数的个数，确定每步搜索的剩余参数量，直至相邻两步搜索后的剩余参数量的绝对差值小于设定停止阈值时停止搜索，其中，当前的搜索步数越接近搜索步数上限其对应的搜索阈值越接近当前目标网络层中绝对值最大的梯度值的绝对值；S33’、对每个卷积核，确定对该卷积核停止搜索时所采用的搜索阈值，将梯度值的绝对值小于该搜索阈值的权重参数置零；S34’、计算每个卷积核中非零的权重参数的数量，将其作为该卷积核中重要的权重参数的数量；或者，所述S3包括：S31”、计算每个卷积核的所有权重参数对应的梯度值中绝对值最大的梯度值，根据设置的搜索步数上限和所述绝对值最大的梯度值的绝对值确定该卷积核的多个搜索阈值；S32”、每步搜索利用每个卷积核各自对应的多个搜索阈值中的一个搜索阈值搜索权重参数对应的梯度绝对值小于该搜索阈值的权重参数的个数，确定每步搜索的剩余参数量，直至相邻两步搜索后的剩余参数量的绝对差值小于设定停止阈值时停止搜索，其中，当前的搜索步数越接近搜索步数上限其对应的搜索阈值越接近当前目标网络层中绝对值最大的梯度值的绝对值；S33”、对每个卷积核计算停止搜索时最后一步搜索对应的停止搜索剩余参数量，将所述停止搜索剩余参数量作为该卷积核中重要的权重参数的数量；S4、针对所述目标网络层，根据其所有的卷积核中重要的权重参数的数量对所述目标网络层进行剪枝；S5、对剪枝后的模型进行重训练，得到压缩后的模型。

全文数据：

权利要求：

百度查询： 中国科学院计算技术研究所临沂分所(临沂中科人工智能创新研究院) 临沂中科人工智能创新研究院有限公司 一种对预训练的神经网络模型进行剪枝的方法