买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浪潮电子信息产业股份有限公司

摘要：本发明公开了一种神经网络的剪枝方法、装置、设备及存储介质；本方案对神经网络进行剪枝时，可将待剪枝网络层作为目标网络层进行通道剪枝及卷积核重构，因此，本方案对多分支结构进行压缩时，并不仅仅局限于中间层，还可对输入层、输出层、下采样层等等网络层进行压缩，大大提升了神经网络的压缩比，减少神经网络模型执行任务所需要的计算量，加快神经网络的任务处理速度；并且，本方案为数据无关的异步通道剪枝方法，有利于保持压缩后神经网络的鲁棒性，还能够在神经网络的不同网络层实现不同稀疏粒度的剪枝，提高压缩的灵活性。

主权项：1.一种神经网络的剪枝方法，其特征在于，包括：确定神经网络中待剪枝的目标网络层；其中，所述目标网络层为神经网络中任意待剪枝的网络层，包括输入层、中间层、输出层、下采样层；所述神经网络为应用于图像识别的卷积神经网络；利用所述目标网络层的通道压缩比及每个原输入通道的卷积核权值确定所述目标网络层的通道核集；其中，所述通道核集内记载了保留输入通道；根据所述通道核集对所述目标网络层的原输入通道进行剪枝，并重构所述目标网络层的卷积核；当所述剪枝方法应用于基于ResNet下采样模块时，所述确定神经网络中待剪枝的目标网络层包括：将所述下采样模块中残差支路的中间层及输出层依次作为所述目标网络层，以对中间层及输出层的原输入通道进行剪枝，并重构中间层及输出层的卷积核；相应的，所述剪枝方法还包括：利用所述下采样模块的输入层的通道压缩比，对所述输入层的原输入通道进行随机采样，获得第一输入通道筛选结果；利用所述第一输入通道筛选结果对所述下采样模块的输入层及下采样层的原输入通道进行剪枝，并将所述下采样模块的输入层及下采样层分别作为目标网络层进行卷积核重构；当所述剪枝方法应用于基于ResNet残差模块时，所述ResNet中包括堆叠的N个残差模块，所述确定神经网络中待剪枝的目标网络层包括：将N个残差模块中的每个残差模块的中间层及输出层依次作为所述目标网络层，以对中间层及输出层的原输入通道进行剪枝，并重构中间层及输出层的卷积核；相应的，所述对中间层及输出层的原输入通道进行剪枝，并重构中间层及输出层的卷积核之后，所述剪枝方法还包括：利用残差模块的输入层的通道压缩比，对残差模块的输入层的原输入通道进行随机采样，获得第二输入通道筛选结果；针对所述N个残差模块中的每个残差模块，均利用所述第二输入通道筛选结果对每个残差模块的输入层的原输入通道进行剪枝，并将所述残差模块的输入层作为目标网络层进行卷积核重构；利用所述第二输入通道筛选结果对所述残差模块的输出层的原输出通道进行剪枝，并将所述残差模块的输出层作为目标网络层进行卷积核重构；当所述剪枝方法应用于SqueezeNet的目标Fire模块时，所述确定神经网络中待剪枝的目标网络层包括：将所述目标Fire模块的下一Fire模块的Squeeze层作为所述目标网络层，以利用下一Fire模块的Squeeze层的原输入通道进行剪枝，并重构下一Fire模块的Squeeze层的卷积核；相应的，所述剪枝方法还包括：根据所述下一Fire模块的Squeeze层的通道核集，对所述目标Fire模块的Expand层中不同尺寸的卷积核的原输出通道进行剪枝；利用所述目标Fire模块的Expand层的通道压缩比，对所述目标Fire模块的Expand层的原输入通道进行随机采样，获得第三输入通道筛选结果；利用所述第三输入通道筛选结果对所述目标Fire模块的Expand层中不同尺寸的卷积核的原输入通道进行剪枝，并将所述目标Fire模块的Expand层作为目标网络层，对Expand层中不同尺寸的卷积核进行重构。

全文数据：

权利要求：

百度查询： 浪潮电子信息产业股份有限公司 一种神经网络的剪枝方法、装置、设备及存储介质