买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京君正集成电路股份有限公司

摘要：本发明提供一种有效地提升4bit模型精度的量化方法，包括：S1.训练浮点模型；S2.准备校正集；S3.进行4bit量化统计minmax并保存；S4.4bit模型训练；S5.分析minmax的分布情况，设置minmax范围较大的值所在的层为8bit；S6，48bit混合模型训练；S7，判断是否收敛？如果是，则直接结束；如果否，则重新进行步骤S5.2。通过本方法能够降低后续量化模型带来的精度损失，试验证明，该方法对那些和默认值相差较大的网络都有切实可行的效果，能极大地提升低bit的量化精度。

主权项：1.一种有效地提升4bit模型精度的量化方法，其特征在于，所述方法包括以下步骤：S1，训练浮点模型：进行浮点模型的训练，得到一个精度能够接受的浮点模型；S2，准备校正集：所述校正集采用的是训练集的一部分，或是测试场景类似的图；S3，进行4bit量化统计minmax并保存：进行统计得到量化需要的minmax，去确定浮点数的动态范围；如果量化过程中的每一个FP32数值都在这个实际的动态范围内，所述动态范围指的是前面计算出来的最小值到最大值的范围，称这种为不饱和状态；反之如果出现FP32数值不在这个实际动态范围之内，称之为饱和状态；S4，4bit模型训练：加载浮点模型进行4bit模型的转换之后进行量化感知训练；训练完毕进行4bit模型的精度测试，如果精度达到要求，直接结束；如果未达到要求，则转至步骤S5；S5，分析minmax的分布情况，设置minmax范围大即在-6,6之外的值，该范围根据实际情况可调，所在的层为8bit，进一步包括：S5.1，分析每层的minmax的分布；S5.2，对于一些范围大的值的层设置为8bit，假设：一个40层的网络的feature的minmax的统计如下：min: -9.5 -2.0 -1.5 -1.0 -0.5 0.0 0.5 1.0 2 11 10 7 4 3 2 1 max: 0.0 0.5 1.0 1.5 2.0 2.5 3.0 9.5 2 3 3 6 4 10 8 2 则从上表中看出,大部分的min都在-2.0-1.0的范围内，只有少数两层在-9.5属于偏外；另外，大部分的max都在0.0-3.0范围内，只有少数两层在9.5属于偏外，此时就设置这几个值偏外的层为8bit，是将weight和feature都设置为8bit以保证精度，之后再根据设置的bit重新计算minmax，因为minmax的计算和当前的bit位有关,所以当某一层的bit位修改之后就需要按照minmax的方法重新计算，即求得浮点范围的最大值Rmax和最小值Rmin，另外量化范围的最大值为Qmax和最小值Qmin，然后通过尺度s＝Rmax-RminQmax-Qmin,z＝Qmax-Rmaxs进行线性映射：q＝rs+z，然后继续走后面的流程；S6，48bit混合模型训练：本身是4bit模型，但上一步会将部分层置为8bit，所以整个网络就有4bit有8bit，是48bit混合模型，进行训练；S7，判断是否收敛？如果是，则直接结束；如果否，则重新进行步骤S5。

全文数据：

权利要求：

百度查询： 北京君正集成电路股份有限公司 一种有效地提升4bit模型精度的量化方法