买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:北京达佳互联信息技术有限公司
摘要:本公开关于一种奖励模型的样本生成方法、装置、设备及存储介质,涉及人工智能技术领域,包括:获取问题集合中每个问题的第一参考信息,以指示预训练大语言模型和参考大语言模型针对问题输出的回复文本的质量差异;基于每个问题的第一参考信息,从问题集合中确定用于训练奖励模型的样本问题;获取样本问题的第二参考信息,以指示多个版本的预训练大语言模型针对样本问题输出的回复文本的质量差异;基于样本问题的第二参考信息,从样本问题的多个回复文本中确定样本问题的样本回复文本。上述方法从各个环节精细化把控奖励模型的样本质量,滤除了可能会影响奖励模型训练的样本,得到了高质量样本,能够正确指导奖励模型优化。
主权项:1.一种奖励模型的样本生成方法,其特征在于,所述方法包括:获取问题集合中每个问题的第一参考信息,所述第一参考信息指示预训练大语言模型和参考大语言模型针对所述问题输出的回复文本的质量差异;基于每个问题的第一参考信息,从所述问题集合中确定符合第一条件的样本问题,所述第一条件包括所述第一参考信息所指示的质量差异大于第一阈值;获取所述样本问题的第二参考信息和所述样本问题的多个回复文本,所述第二参考信息指示多个版本的所述预训练大语言模型针对所述样本问题输出的回复文本的质量差异,所述样本问题的多个回复文本由多个版本的所述预训练大语言模型分别对所述样本问题进行处理得到;基于所述样本问题的第二参考信息,从所述样本问题的多个回复文本中确定符合第二条件的所述样本问题的样本回复文本,所述第二条件包括所述第二参考信息所指示的质量差异大于第二阈值;将所述样本问题和所述样本问题的样本回复文本作为奖励模型的训练样本,所述奖励模型用于评价所述预训练大语言模型输出的回复文本的质量。
全文数据:
权利要求:
百度查询: 北京达佳互联信息技术有限公司 奖励模型的样本生成方法、装置、设备及存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。