龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：上海算法创新研究院
摘要：本发明公开了一种基于引证校正的大语言模型幻觉缓解方案，涉及大语言模型文本生成领域，包括幻觉检测和幻觉校正两个步骤，其中，所述幻觉检测以参考材料为基准，对原始声明是否与参考材料一致进行判断；所述幻觉校正对于与参考材料不一致的原始声明，根据参考材料对原始声明中存在的幻觉进行有效修正，最终输出不存在幻觉的校正声明。本发明设计了一套完备的幻觉校正训练数据构造方案，使待纠正文本的幻觉分布与实际应用场景幻觉分布情况更为一致，提高模型在实际应用场景中纠正事实错误的召回率；提高了模型对幻觉的检测能力；方案实现了模型一步完成幻觉检测和幻觉校正，降低实际应用过程中的资源成本和时延；同时实现对同时存在多个幻觉的模型原始输出的正确检测和校正。
主权项：1.一种大语言模型幻觉校正训练数据构造方法，其特征在于，以文章为数据源，以文章全文作为训练数据构造流程输入；所述训练数据包括原始声明、参考材料和校正声明；其中，方案输入所述原始声明和参考材料，输出所述校正声明；所述原始声明包括原始声明负样本，所述原始声明负样本的构造方式为：通过错误实体注入和矛盾观点改写构造原始声明负样本；将所构造的存在错误实体和矛盾观点的最短文本片段称为幻觉片段，在原始声明负样本的构造过程中对幻觉片段进行提取；通过错误实体注入构造原始声明负样本过程中，采用NER模型对文章全文和用于构造原始声明的段落分别进行命名实体和或日期和或时间和或数字实体抽取；通过实体交换对正确原始声明注入错误实体过程中，通过计算实体间的语义相似度，从全文实体中选取与待替换实体不同但语义最相近的实体进行替换，使训练数据幻觉分布与实际情况更为一致；通过矛盾观点改写构造原始声明负样本过程中，包含观点层级表达的错误，需要对整个句子进行改写以修正错误观点；选取原始声明中包含观点表达的句子，采用大模型输出与其观点矛盾的句子，将改写后的句子替换原句作为原始声明负样本；采用对大语言模型进行SFT的方案训练模型实现端到端的引证校正；所述SFT的方案训练数据为指令、输入、输出三元组的形式，其中所述指令描述需要模型完成的任务，所述输入为任务相关信息，所述输出为模型目标输出。
全文数据：
权利要求：
百度查询： 上海算法创新研究院 一种基于引证校正的大语言模型幻觉缓解方案
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号