买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明公开了一种基于异常值大模型训练后权重激活量化方法，包括权重量化过程与推理时激活值量化过程。权重量化中将模型位宽离线转换为低比特表示，而推理时权重激活值量化中则负责初始化量化后的权重模型，并在推理运行期间对线性层的输入进行预缩放，最终执行8位量化操作。本发明结合权重和激活的数学等式变换，提出了一种无损量化与低延迟执行的策略，在离线量化权重过程中考虑了显著权重，从而减少了平滑激活异常值对显著权重的影响，并在模型推理过程中降低了异常值的量化误差。本发明实现了大规模模型推理时的有效量化，显著降低了运行大模型所需的内存，提高了运行速度。

主权项：1.基于异常值的大模型训练后权重激活量化方法，其特征在于，首先进行权重量化，权重量化包括以下步骤：步骤1、激活异常值平滑，过程如下：将校准数据集输入至训练后的大模型进行推理，推理过程中收集大模型中每层的激活异常值即激活最大值，以及大模型中每个线性层的权重最大值；基于每层的激活最大值、每个线性层的权重最大值计算平滑缩放因子，然后根据平滑缩放因子对训练后的大模型中每个线性层的权重进行平滑调整，得到线性层权重平滑调整后的大模型；步骤2、减轻激活平滑对权重量化的影响，过程如下：再次将校准数据集输入至步骤1得到的线性层权重平滑调整后的大模型进行推理，推理过程中收集大模型中每层的激活最大值、激活最小值和激活平均值；基于激活最大值、激活最小值和激活平均值计算得到每层的权重调整缩放因子，然后基于权重调整缩放因子进一步调整步骤1得到的大模型中每层的权重，得到每层权重调整后的大模型；步骤3、遍历步骤2得到的每层权重调整后的大模型的所有命名模块，收集每个模块各层中权重最大一者的权重值作为该模块的权重最大值、权重最小一者的权重值作为该模块的权重最小值，基于每个模块的权重最大值、权重最小值计算得到对应模块的权重量化缩放因子；然后基于每个模块的权重量化缩放因子，对该模块中各层的权重分别进行量化，得到每个模块中各层量化后的权重值，并将量化后的权重值保存为整型8位数据类型的数据；然后，进行激活值量化，激活值量化过程如下：基于所述权重量化缩放因子，对训练后的大模型中每个模块各层量化后的权重值进行反量化，得到每个模块各层整型8位数据类型的权重值；并且，向训练后的大模型输入校准数据集进行推理，得到大模型中各个线性层的输入张量即激活值中最大一者作为激活最大值、第二大者作为激活第二大值；基于激活最大值和激活第二大值，分别计算离群值减轻缩放因子和量化时缩放因子；然后，基于离群值减轻缩放因子和量化时缩放因子对每个线性层的激活值进行量化得到激活量化值，并将激活量化值存储为整型8位数据类型的数据；由此完成激活值的量化。

全文数据：

权利要求：

百度查询： 天津大学合肥创新发展研究院 基于异常值的大模型训练后权重激活量化方法