买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:小哆智能科技(北京)有限公司
摘要:本发明提供基于交互学习的垂类政务大模型服务方法及系统,涉及大模型技术领域,包括获取每个垂类领域的政务数据和用户查询日志数据,构建垂类领域的本体知识库,基于所述本体知识库,通过构建多类型节点和多关系边的图数据结构,生成图谱化的垂类知识库;通过掩码语言建模和次级语言建模,得到具备垂类领域知识的垂类语言模型,得到融合了垂类知识库的垂类政务大模型;获取用户输入的自然语言政务查询,通过垂类政务大模型对自然语言政务查询进行理解和语义解析,并结合图谱化的垂类知识库进行知识推理和问题回答生成,得到满足用户查询需求的自然语言回复。
主权项:1.基于交互学习的垂类政务大模型服务方法,其特征在于,包括:获取每个垂类领域的政务数据和用户查询日志数据,对所述政务数据进行清洗、标注和结构化处理,构建垂类领域的本体知识库,基于所述本体知识库,通过构建多类型节点和多关系边的图数据结构,结合多条关系路径和关系路径相似度的注意力节点聚合过程,捕捉多类型节点之间的语义关联,生成图谱化的垂类知识库;利用预训练语言模型对所述政务数据进行学习,通过掩码语言建模和次级语言建模,得到具备垂类领域知识的垂类语言模型;利用所述垂类知识库中的结构化知识对所述垂类语言模型的参数进行微调并将所述垂类知识库中的结构化知识融入所述垂类语言模型,得到融合了垂类知识库的垂类政务大模型;获取用户输入的自然语言政务查询,通过垂类政务大模型对自然语言政务查询进行理解和语义解析,并结合图谱化的垂类知识库进行知识推理和问题回答生成,得到满足用户查询需求的自然语言回复;根据问答对话过程中的用户反馈信息,对垂类政务大模型进行交互学习,通过构建用于模型优化的奖赏函数,利用强化学习算法优化垂类政务大模型的模型参数。
全文数据:
权利要求:
百度查询: 小哆智能科技(北京)有限公司 基于交互学习的垂类政务大模型服务方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。