恭喜中南大学严慧琴获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜中南大学申请的专利一种基于大语言模型提示工程的咨询问题优化方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119150835B 。
龙图腾网通过国家知识产权局官网在2025-03-14发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411620564.5,技术领域涉及:G06F40/186;该发明授权一种基于大语言模型提示工程的咨询问题优化方法及系统是由严慧琴;吕丰;段思婧;冯贵玉;顾爽;彭晨;乔雪;任岩设计研发完成,并于2024-11-14向国家知识产权局提交的专利申请。
本一种基于大语言模型提示工程的咨询问题优化方法及系统在说明书摘要公布了:本申请公开了一种基于大语言模型提示工程的咨询问题优化方法及系统,所述咨询问题优化方法包括构建用于模型输入重构的提示模板;获取法律咨询问题数据集,对法律咨询问题数据集其中的原始问题使用提示模板进行重构,得到对应的输入数据;对每条输入数据,使用已有的大型模型进行优化问题的生成,并进行专家评判和再优化,得到最终的优化问题数据集;将生成的优化问题数据集作为微调数据,对小型基座模型进行微调,得到问题优化模型;用户进行法律问题咨询时,基于问题优化模型实现对用户问题进行优化,本申请能利用提示工程在数据不足场景下生成数据、构建问题优化模型,提高用户法律咨询问题表达的专业性、准确性。
本发明授权一种基于大语言模型提示工程的咨询问题优化方法及系统在权利要求书中公布了:1.一种基于大语言模型提示工程的咨询问题优化方法,其特征在于,包括:S1:获取法律咨询问题数据集,所述法律咨询问题数据集包含有原始法律咨询提问;S2:构建提示模板;S3:基于所述提示模板对所述原始法律咨询提问进行重构,得到若干条输入数据;S4:采用大语言模型对每条输入数据进行优化以生成优化问题,并对所述优化问题进行专家评判和再优化,组成设定格式的问题对,得到最终的优化问题数据集;S5:将所述优化问题数据集作为微调数据对基座模型进行微调,得到问题优化模型,并基于所述问题优化模型对用户问题进行实时优化;所述S5包括:加载基座模型与对应分词器,并修改对应配置参数;使用优化问题数据集作为微调数据,对第条优化的问题对,使用所述提示模板对原始法律咨询提问进行重构,得到用于微调的输入,其中,表示数据序号,为第1个出现的提示词;为第2个出现的提示词;为特殊标识符;为待预测的掩码键,所述掩码键用于表示需要模型生成答案的位置标记;使用分词器将第个输入处理成分词序列,为第1个输入分词,为第2个输入分词,为第m个输入分词;使用分词器将所述第个优化问题处理成分词序列,为第1个目标分词,为第2个目标分词,为第n个目标分词;将当前输入的分词序列传入参数为的模型,通过前向传播得到预测结果,计算损失函数;构建损失函数,满足如下关系式: ;其中,为在第个时间步预期生成的目标分词,表示在第个时间步之前的所有输入分词序列,是模型参数为时,在第个时间步已有作为条件上下文时,模型预测第个分词时的概率,n表示目标分词的总个数;通过反向传播计算在第e个轮次中模型参数的梯度: ;其中,为求偏导的符号;使用优化器根据更新后的梯度调整模型参数;计算裁剪后的梯度在第个轮次中的一阶矩估计值: ;其中是一阶矩的衰减系数,是第个轮次中的一阶矩估计值;纠正一阶矩估计值的偏差: ;式中,表示的e次方;计算裁剪后的梯度在第个轮次中的二阶矩估计值: ;其中,是二阶矩的衰减系数,是第个轮次中的二阶矩估计值;纠正二阶矩估计值的偏差: ;式中,表示的e次方;对模型参数进行更新: ;其中,是第个轮次中未更新的模型参数,是学习率,是防止除零错误的一个常数,是用于L2正则化的权重衰减项,是更新后的模型参数;通过微调步骤,得到问题优化模型。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中南大学,其通讯地址为:410083 湖南省长沙市岳麓区麓山南路932号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。