龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：广州市申迪计算机系统有限公司
摘要：本发明公开了一种用于公文写作的大语言模型训练方法、计算机装置和存储介质，包括在预训练模型的权重矩阵并行增加低秩矩阵，使用公文数据集对预训练模型和低秩矩阵执行第一训练过程获得基底模型，使用奖励数据集对基底模型执行基于人类反馈强化学习的第二训练过程获得奖励模型，对奖励模型执行近端策略优化获得大语言模型等步骤。本发明能够训练得到大语言模型，可以向大语言模型输入公文写作指令提示语，大语言模型生成符合人类写作和阅读习惯的公文。通过使用大语言模型生成公文，可以辅助进行公文写作，从而有利于提高公文写作效率，保持公文写作质量稳定。本发明广泛应用于公文写作技术领域。
主权项：1.一种用于公文写作的大语言模型训练方法，其特征在于，所述用于公文写作的大语言模型训练方法包括：获取公文数据集和奖励数据集；所述公文数据集包括多个公文写作指令提示语和公文文本，所述奖励数据集包括多个公文写作指令提示语；获取预训练模型；在所述预训练模型的权重矩阵并行增加低秩矩阵，使用所述公文数据集对所述预训练模型和所述低秩矩阵执行第一训练过程，获得基底模型；在所述第一训练过程中，固定所述权重矩阵的参数，对所述低秩矩阵进行更新，在所述第一训练过程完成后，将所述低秩矩阵的参数合并至所述权重矩阵；使用所述奖励数据集对所述基底模型执行基于人类反馈强化学习的第二训练过程，获得奖励模型；对所述奖励模型执行近端策略优化，获得大语言模型。
全文数据：
权利要求：
百度查询： 广州市申迪计算机系统有限公司 用于公文写作的大语言模型训练方法、计算机装置和存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号