买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:华为技术有限公司
摘要:一种神经网络的剪枝方法、数据处理方法及装置,涉及深度学习领域,用以提供一种平衡推理性能和准确率的剪枝方式。本申请提供一种互补稀疏方式,权重张量中每K个M长的剪枝向量拼接为一个数据块或者向量,经过稀疏后,一个剪枝向量中非零元素所在的位置,在该剪枝向量所属的数据块中的其它剪枝向量在该位置为零元素。相比采用单通道或者按块稀疏方式,本申请实施例采用更小的粒度来稀疏,可以提高网络模型的应用的准确度。相比采用任意稀疏方式来说,按照互补的方式来进行稀疏,在推理阶段无需采用稠密计算,减少了模型的计算量。本申请实施例提供的方案能够在准确度和加速上进行平衡。
主权项:1.一种神经网络的剪枝方法,其特征在于,包括:获取待剪枝神经网络的第一权重张量;对所述第一权重张量执行至少一次剪枝处理,得到第二权重张量;其中,所述第二权重张量包括多个数据块,所述每个数据块由K个剪枝向量组成,每个剪枝向量由M个权重组成;K和M均为正整数;第一数据块包括的第一剪枝向量中第一位置对应的权重为非零元素,在第一数据块中除所述第一剪枝向量以外的其它剪枝向量中所述第一位置对应的权重为零元素,所述第一数据块为所述多个数据块中的任一数据块,所述第一剪枝向量为所述第一数据块中的任一剪枝向量。
全文数据:
权利要求:
百度查询: 华为技术有限公司 神经网络的剪枝方法、数据处理方法及装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。