买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:芜湖云从科技有限公司
摘要:本申请涉及人工智能技术领域,具体提供一种大模型生成内容的自动化评测方法、电子设备及存储介质,旨在解决大模型生成内容评测成本较高且效率低下,难以应用在大规模场景的问题。为此目的,本申请根据评测需求信息自动生成多个测试问题,基于多个预设指标从中选取目标测试问题,根据该目标测试问题对应的大模型生成内容得到评测数据,重复上述步骤,根据所有的评测数据以及预设评测指标生成评测结果。本申请无需专业人员参与测评,实现了自动、高效地对大模型生成内容进行评测的目的,不仅适用于大规模评测场景,还实现了提升大模型生产和迭代效率的目的。
主权项:1.一种大模型生成内容的自动化评测方法,其特征在于,所述方法包括:步骤S102、根据预先获取的评测需求信息生成多个测试问题;步骤S104、基于所述评测需求信息以及多个预设指标从所述多个测试问题中选取目标测试问题;步骤S106、对大模型在所述目标测试问题下的生成内容进行评测,得到评测数据;步骤S108、重复步骤S102至步骤S106,直至满足预设结束条件;步骤S110、根据预设评测指标以及多次评测得到的评测数据生成评测结果。
全文数据:
权利要求:
百度查询: 芜湖云从科技有限公司 大模型生成内容的自动化评测方法、电子设备及存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。