龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：清华大学
摘要：本发明涉及模型量化技术领域，特别涉及一种大语言模型混合精度量化方法、装置、电子设备及介质，其中，方法包括：获取当前大语言模型的多个层中每一层的权重；基于预设的损失函数，根据每一层的权重对量化误差的敏感性确定分配给每一层的权重的量化位宽；响应于判断出当前层的权重的量化位宽小于预设阈值，将当前层的权重划分为正常数据和离群数据，并基于分配给当前层的量化位宽对权重中的正常数据进行量化，其中离群数据不参与量化。由此，解决了相关技术在低位宽时会改变重要离群数据的数值以及造成硬件资源浪费等问题，通过将离群数据和正常数据分开处理，根据权重的敏感性分配合适的位宽，从而提高了模型的算法精度和硬件资源的利用率。
主权项：1.一种大语言模型混合精度量化方法，其特征在于，包括以下步骤：获取当前大语言模型的多个层中每一层的权重；基于预设的损失函数，根据每一层的权重对量化误差的敏感性确定分配给所述每一层的权重的量化位宽；判断分配给所述大语言模型的每一层的权重的量化位宽是否小于预设阈值；以及响应于判断出当前层的权重的所述量化位宽小于预设阈值，将所述当前层的权重划分为正常数据和离群数据，并基于分配给所述当前层的量化位宽对所述权重中的正常数据进行量化，其中所述离群数据不参与量化；其中，所述基于所述预设的损失函数，根据所述每一层的权重对量化误差的敏感性确定分配给每一层的权重的量化位宽，还包括：获取所述大语言模型的权重内存阈值；以所述大语言模型的每一层的权重内存开销之和不超过所述权重内存阈值为约束确定分配给每一层的权重的量化位宽；通过求解以下整数规划问题来确定分配给每一层的权重的量化位宽： 其中，为目标函数，表示量化每一层后对损失函数的改变量之和；的取值为0或1；为大语言模型中的总层数；为第i个线性层使用b比特量化后对损失函数的改变量，为位宽选择的约束项；为权重内存开销的统计函数，为权重内存阈值。
全文数据：
权利要求：
百度查询： 清华大学 大语言模型混合精度量化方法、装置、电子设备及介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号