龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：北京大学;北京六元空间信息科技有限责任公司
摘要：本申请公开了一种中文医学大语言模型训练方法及装置，涉及自然语言处理技术领域，所述的方法包括：通过医学文本对预设大语言模型进行预学习训练，使得大语言模型在语义层面上理解专业医学知识。根据开源中文医学考试数据集对预训练后的模型进行监督微调训练，从而降低计算复杂度和内存需求，这使得在保持模型性能的同时，能够在有限的计算资源下进行高效的微调。最后根据构建的知识图谱和强化学习数据集进行知识反馈的强化学习，有助于解决监督微调后由于模型过度拟合而出现的“幻觉”现象，从而将大语言模型的输出与相关的专业医学知识进行充分对齐，提高大语言模型在医学领域回答的准确度。
主权项：1.一种中文医学大语言模型训练方法，其特征在于，所述的方法包括：根据预设医学文本对预设大语言模型进行预学习训练，获得预训练后的模型；根据预设开源中文医学考试数据集对所述预训练后的模型进行监督微调训练，获得监督微调后的模型；根据预设开源的专业医学知识数据集构建知识图谱和强化学习数据集；根据所述知识图谱和所述强化学习数据集对所述监督微调后的模型进行基于知识反馈的强化学习训练，获得中文医学大语言模型；根据所述知识图谱和所述强化学习数据集对所述监督微调后的模型进行基于知识反馈的强化学习训练，获得中文医学大语言模型的步骤，包括：通过预设奖励模型根据所述知识图谱中的三元组和所述强化学习数据集计算奖励信号，所述奖励信号包括、、、，所述奖励信号的计算公式如下： ， ， ， ，其中，表示监督微调后的模型根据所述强化学习数据集生成的回答中包含的三元组，，表示所述知识图谱中与所述强化学习数据集中的问题和选项所对应的三元组；根据所述奖励信号对所述监督微调后的模型进行基于知识反馈的强化学习训练，获得中文医学大语言模型。
全文数据：
权利要求：
百度查询： 北京大学 北京六元空间信息科技有限责任公司 中文医学大语言模型训练方法及装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号