买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京中数睿智科技有限公司

摘要：本发明涉及电数字数据处理技术领域，具体涉及一种大模型合成信息质量评价方法。该方法包括获取需求数据和合成信息数据；根据需求数据中关键词的数量和节点层级，确定需求范围系数；针对需求范围系数的变化和搜索次数，确定合成信息数据的需求度；根据上次搜索和本次搜索所生成的合成信息数据的语义相似度，以及上次搜索和本次搜索的需求数据中关键词的节点层级差异，确定本次搜索所生成的合成信息数据的幻觉信息可能性；根据所有次搜索的需求度和本次搜索的幻觉信息可能性，确定本次搜索所生成的合成信息数据的评价指标，根据评价指标确定大模型合成信息的质量评价结果。本申请能够有效提升大模型合成信息的质量评价的精准性。

主权项：1.一种大模型合成信息质量评价方法，其特征在于，所述方法包括：获取用户在不同次搜索的需求数据和大模型平台针对所述需求数据生成的合成信息数据；针对每次搜索的需求数据，根据所述需求数据中关键词的数量和关键词在预设关键词结构树中的节点层级，确定每次搜索的所述需求数据的需求范围系数；针对上次搜索和本次搜索的需求范围系数的变化，以及本次搜索之前的搜索次数，确定本次搜索所生成的合成信息数据的需求度；根据上次搜索和本次搜索所生成的合成信息数据的语义相似度，以及上次搜索和本次搜索的需求数据中关键词的节点层级差异，确定本次搜索所生成的合成信息数据的幻觉信息可能性；根据所有次搜索的需求度和本次搜索的幻觉信息可能性，确定本次搜索所生成的合成信息数据的评价指标，根据所述评价指标确定大模型合成信息的质量评价结果；所述预设关键词结构树中根节点的节点层级为1，其余子节点的节点层级按照对应结构树分支依次递增；所述需求范围系数的获取方法，包括：确定预设第一权值和预设第二权值，其中，所述预设第一权值和所述预设第二权值的和值为1；基于预设第一权值对每次搜索时的节点层级的最大值进行加权，得到第一范围指标；基于预设第二权值对每次搜索时需求数据中关键词的数量进行加权，得到第二范围指标；根据所述第一范围指标和所述第二范围指标确定每次搜索时所述需求数据的需求范围系数，其中，所述第一范围指标和所述第二范围指标均与所述需求范围系数呈负相关关系；所述本次搜索所生成的合成信息数据的需求度的获取方法，包括：根据本次搜索的需求范围系数与上次搜索的需求范围系数的数值，确定本次搜索的需求范围变化指标；根据本次搜索之前的搜索次数与所述需求范围变化指标，确定本次搜索所生成的合成信息数据的需求度，其中，所述搜索次数与所述需求度呈正相关关系，所述需求范围变化指标与所述需求度呈负相关关系；所述本次搜索所生成的合成信息数据的幻觉信息可能性，包括：将上次搜索的需求数据中关键词的节点层级的均值作为第一层级均值；将本次搜索的需求数据中关键词的节点层级的均值作为第二层级均值；根据所述第一层级均值与所述第二层级均值的差异，得到本次搜索的层级变化指标；根据所述层级变化指标和所述语义相似度，确定本次搜索所生成的合成信息数据的幻觉信息可能性，其中，所述层级变化指标与所述幻觉信息可能性呈正相关关系，所述语义相似度与所述幻觉信息可能性呈负相关关系；所述本次搜索所生成的合成信息数据的评价指标的获取方法，包括：计算所有次搜索的需求度的均值，作为大模型匹配指标；根据所述大模型匹配指标和所述幻觉信息可能性，确定所述评价指标；根据所述大模型匹配指标和所述幻觉信息可能性，确定所述评价指标，包括：计算所述大模型匹配指标与所述幻觉信息可能性的比值，并对该比值进行最大最小值归一化处理得到所述评价指标。

全文数据：

权利要求：

百度查询： 北京中数睿智科技有限公司 一种大模型合成信息质量评价方法