龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
申请/专利权人：合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室)
申请日：2024-04-17
公开（公告）日：2024-07-05
公开（公告）号：CN118070847B
主分类号：G06N3/045
分类号：G06N3/045;G06N3/084
优先权：
专利状态码：有效-授权
法律状态：2024.07.05#授权;2024.06.11#实质审查的生效;2024.05.24#公开
摘要：本申请公开了一种模型参数更新方法、装置、设备及可读存储介质，涉及计算机领域，包括：所述模型参数更新方法包括以下步骤：获取模型参数对应的当前梯度向量与历史梯度矩阵，其中，所述历史梯度矩阵中包括至少一历史梯度向量；基于所述历史梯度矩阵调整所述当前梯度向量得到目标梯度向量，其中，所述目标梯度向量与所述历史梯度矩阵中历史梯度向量的内积大于零；基于所述目标梯度向量更新所述模型参数。本申请避免了模型参数迭代更新的过程中出现灾难性遗忘的现象，提高了模型的训练学习效果。
主权项：1.一种用于大语言模型的模型参数更新方法，其特征在于，所述模型参数更新方法包括以下步骤：获取大语言模型的模型参数对应的当前梯度向量与历史梯度矩阵，其中，所述历史梯度矩阵中包括至少一历史梯度向量；将所述历史梯度矩阵与所述当前梯度向量输入至预设的梯度规划算法中，输出得到最优梯度调整向量；基于所述最优梯度调整向量调整所述当前梯度向量得到目标梯度向量，其中，所述目标梯度向量与所述历史梯度矩阵中历史梯度向量的内积大于零；基于所述目标梯度向量更新所述模型参数；其中，所述梯度规划算法包括：其中，为当前梯度向量，为历史梯度矩阵，为梯度调整向量，为最优梯度调整向量，为约束条件。
全文数据：
权利要求：
百度查询： 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 模型参数更新方法、装置、设备及可读存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号