买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：合肥君正科技有限公司

摘要：本发明提供一种改善MSE在模型后量化效果的方法，包括：S1，卷积神经网络训练：以coco目标检测数据为数据集，yolov5为网络结构，训练全精度的模型，即获得模型推理过程中的相关参数；S2，模型的预处理：对于网络中存在拓扑结构Conv2D‑BN‑LeakyRelu，会预先采用合并BatchNormal操作将BatchNormal合并到卷积中，变成拓扑结构Conv2D‑LeakyRelu；S3，量化公式：对于已经获得Feature数据按照步骤S2中所示的公式进行量化；S4，量化超参的计算：由于网络中某一层的输出是随着网络的输入变化而变化的，所以不能直接使用某个输入下求得的Xmax和Xmin来量化该层；所以采用的方法是：在求解Xmax时固定Xmin，而在求解Xmin时使用的过程步骤中求解的Xmax并固定不动，这样求得的Xmin和Xmax避免了代量化数据中正负半轴异常数据对量化的影响。

主权项：1.一种改善MSE在模型后量化效果的方法，其特征在于，所述方法包括以下步骤：S1，卷积神经网络训练：以coco目标检测数据为数据集，yolov5为网络结构，训练全精度的模型，即获得模型推理过程中的相关参数；S2，模型的预处理：对于网络中存在拓扑结构Conv2D-BN-LeakyRelu，会预先采用合并BatchNormal操作将BatchNormal合并到卷积中，变成拓扑结构Conv2D-LeakyRelu，合并公式如下所示：均值：μ；方差：δ；缩放因子：γ；偏移：β；一个较小数、防止分母为0：ε； BN层和卷积层合并后： Wmerged＝W×αBmerged＝B×α+β-μ×αS3，量化公式：对于已经获得Feature数据按照步骤S2中所示的公式进行量化，得到： 变量说明：Xf为全精度数据，Xint为量化后的数据，Xmax全精度数据的最大值，Xmin全精度数据的最小值，b为量化后的位宽；zero_point代表零点量化的位置，Sx代表量化因子；S4，量化超参的计算：由于网络中某一层的输出是随着网络的输入变化而变化的，所以不能直接使用某个输入下求得的Xmax和Xmin来量化该层；所以采用的方法是：在求解Xmax时固定Xmin，而在求解Xmin时使用的过程步骤中求解的Xmax并固定不动，这样求得的Xmin和Xmax避免了代量化数据中正负半轴异常数据对量化的影响。

全文数据：

权利要求：

百度查询： 合肥君正科技有限公司 一种改善MSE在模型后量化效果的方法