买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：湖南培森电子科技有限公司

摘要：本发明涉及神经网络技术领域，公开了一种求解回归问题的神经网络量化方法。本发明首先获取训练数据集；然后设计一个易于硬件实现的非线性激活函数；再基于该激活函数预训练一个32位浮点型的全连接层神经网络模型；调用预训练模型，将浮点型权重值量化成2的整数次幂的形式，将浮点型偏置值、各层浮点型输入输出以及激活函数的输入输出进行定点量化；最后利用反向传播和梯度下降算法对量化网络模型进行训练。本发明采用移位求和操作代替神经网络中的乘法运算，并采用了一种电路实现简单的激活函数，在保证网络模型拟合精度的同时，大幅减少了模型推理时的运算量，便于网络模型的硬件实现，同时也加快了回归神经网络的计算速度。

主权项：1.一种求解回归问题的神经网络量化方法，其特征在于，包括以下步骤：S1，获取训练数据集，所述训练数据集包括样本数据X和对应的标签Y；所述训练集中的样本数据X包括但不限于由原始数据变化得到的适于网络训练的特征数据集；S2，设计一个易于硬件实现的非线性激活函数A；所述非线性激活函数A的表达式可以但不限于为： A与双曲正切激活函数具有相似的函数图像，在网络模型的硬件实现时，用向右移位的操作代替A中的除法运算；可以是其他的奇函数，且当-2x2时，函数取值范围为-1,1，且表达式中除以的系数应为2的倍数，以便采用移位操作进行硬件实现；S3，基于激活函数A和S1中的训练集，预训练一个32位浮点型的全连接层神经网络模型M1；所述全连接层神经网络模型M1由输入层、隐藏层、输出层组成，隐藏层的计算公式如式2所示，包括一个矩阵乘运算和一个非线性激活函数A，输出层的计算式如式3所示：Xi＝AXi-1Wi+Bi，2Xl＝Xl-1Wl+Bl，3其中，l表示神经网络的层数，Xi表示第i层的输出，Xi-1表示第i层的输入，也是第i-1层的输出，Xi是第i层的权重，Bi是第i层的偏置；所述全连接层神经网络模型M1训练使用的损失函数为均方误差损失函数，其表达式为式4： 其中，N为样本的个数，Yi为训练集中的标签值，为网络模型的预测值；S4，调用S3中的M1模型，将模型的浮点型权重值量化成2的整数次幂的形式，并将模型的浮点型偏置值、各层浮点型输入输出以及激活函数的输入输出进行定点量化，得到量化后的神经网络M2；所述浮点型权重值量化采用的量化公式如式5所示： 其中，w表示量化前的权重值，wq表示量化后的权重值，QK表示量化函数，K表示量化后的wq包含K个2的整数次幂的和，nk为指数，其取值范围为整数，s表示权重w的正负性，其取值范围为{-1,0,1}；当K为1时，量化函数Qw的表达式如式6所示： 在网络模型的硬件实现时，层输入值与权重之间的乘法运算直接用以2为基数的移位求和操作代替，如式7所示： 其中，xq表示量化后的层输入，Px,n表示移位函数，其表达式如式8所示： 所述模型的浮点型偏置值、各层浮点型输入输出以及激活函数的输入输出采用的定点量化公式如式9所示： 其中，a表示待量化的32位浮点数，aq表示量化后的值，round表示四舍五入取整操作，m表示量化后的小数位比特数；S5，将训练集输入至S4中的量化网络模型M2，利用损失函数的反向传播和梯度下降，对模型M2进行训练；所述模型M2的训练阶段，在所有量化操作点均使用Straight-ThroughEstimatorSTE，直接把量化数据的梯度作为对应浮点型数据的梯度，因此，损失函数对权重矩阵的梯度为： 其中，L为损失函数，W为权重矩阵，Wq为量化后的权重矩阵；续训阶段使用的是损失函数也为均方误差损失函数，其表达式如式4；所述模型M2中的量化参数已经处于最优解附近，因此训练M2时采用一个较小的学习率，避免续训时因学习率过大而导致损失函数直接越过全局最优解，同时，模型M2的训练步数也少于模型M1的训练步数；S6，将训练好的网络模型M2部署到半定制或全定制的硬件平台。

全文数据：

权利要求：

百度查询： 湖南培森电子科技有限公司 一种求解回归问题的神经网络量化方法