首页 专利交易 科技果 科技人才 科技服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

一种大模型的对话质量评估方法、装置和设备 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:四川蜀天信息技术有限公司

摘要:本申请公开了一种大模型的对话质量评估方法、装置和设备,针对客观问答数据组从通识领域和专业领域两个角度分别对待评估模型做出第一应答质量评估值,进而提高客观应答评估的准确性;针对主观问答数据组,利用主观问答数据及预构建的应答评判条件构建第一评估指令,并利用预设参考大模型处理第一评估指令,获得待评估模型的第二应答质量评估值。根据第一应答质量评估值和第二应答质量评估值,从主客观方面进行综合评估,使得评估等级结果更加合理、科学,相比现有大模型的质量评估指标单一的缺陷,本申请的评估指标更为全面,且评估方位也更为全面,进而可以提交的应答质量评估等级更准确率。

主权项:1.一种大模型的对话质量评估方法,其特征在于,包括:获取待评估模型的客观问答数据组和主观问答数据组,其中,所述客观问答数据组的各问题具有唯一的正确答案,所述主观问答数据组的各问题具有答案不唯一的开放性答案;基于所述待评估模型和大模型评估套件分别对所述客观问答数据组进行处理,得到所述待评估模型的第一应答质量评估值;基于所述主观问答数据组及预构建的应答评判条件,构建第一评估指令,并利用预设参考大模型处理所述第一评估指令,获得所述待评估模型的第二应答质量评估值;基于所述第一应答质量评估值和所述第二应答质量评估值,确定待评估模型的对话质量评估等级。

全文数据:

权利要求:

百度查询: 四川蜀天信息技术有限公司 一种大模型的对话质量评估方法、装置和设备

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。