买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州昊清科技有限公司;浙江中正智能科技有限公司;信雅达科技股份有限公司

摘要：本发明公开了一种基于检索增强语言模型的法律智能问答方法，通过获取不同类别的法律文本进行数据库构建，得到不同类别的向量数据库；通过获取法律问题文本，并输入基于动态权重调整自注意力的问题分类模型，得到对应的所述类别；通过检索模型，根据法律问题文本的类别，从对应类别的向量数据库中找到匹配的一组法律知识，再基于法律问题文本与法律知识的相关性评价，重排法律知识；整合法律知识和法律问题构建过渡性提示语模板，输入至大语言模型，得到的过渡性回答连同向量数据库、问题类别输入检索模型，得到迭代后的法律知识，整合迭代后的法律知识和法律问题构建最终提示语模板，再次输入至大语言模型，得到最终回答。

主权项：1.一种基于检索增强语言模型的法律智能问答方法，其特征在于包括如下步骤：步骤1：获取不同类别的法律文本进行数据库构建，得到不同类别的向量数据库；步骤2：获取法律问题文本，并输入基于动态权重调整自注意力的问题分类模型，得到对应的所述类别；问题分类模型的训练，包括如下步骤：步骤2.1：收集各类法律问题文本及其对应的类别标签；步骤2.2：构建基于动态权重调整自注意力的问题分类模型，模型通过双向门控循环神经网络建模法律问题文本的全局信息，并通过动态权重调整自注意力层，将进一步提取的深层全局语义特征与卷积神经网络抽取的法律问题文本的局部特征，共同输入特征融合层，融合后的特征通过分类器进行问题类别的预测；步骤2.3：对法律问题文本进行分词，将分词后的文本进行词嵌入操作，得到的词向量矩阵分别输入卷积网络层和双向门控循环神经网络，通过计算预测结果和真实结果之间的差距计算模型损失，得到训练好的问题分类模型；步骤2.3中，将全局语义特征输入到动态权重调整自注意力层进行特征的增强，在自注意力机制的基础上引入位置权重参数Wweight，根据文本向量训练的位置，对计算得到的自注意力权重概率值进行重新分配，降低训练位置靠前的文本向量权重提高训练位置靠后的文本向量权重值，动态权重调整自注意力机制实现公式如下： 其中，weight为参数迭代器，在训练过程中通过参数迭代降低靠前的开头特征的自注意力整体权重，使靠后的特征获取更高的权重，m表示文本词长度；X表示双向门控循环神经网络输出全局语义特征向量，表示函数的调节因子，通常输入向量的维度，对X·XT的内积进行调节，T表示矩阵的转置；步骤3：通过检索模型，根据法律问题文本的类别，从对应类别的向量数据库中找到匹配的一组法律知识，再基于法律问题文本与法律知识的相关性评价，重排法律知识；步骤3中，基于自适应边缘排序损失的排序模型，进行法律问题查询文本和法律知识的相关性分数判定，由此对法律知识重排筛选；排序模型将法律问题查询文本与其对应的正文本或负文本用第二特殊符号拼接，并在拼接的句子开头和结尾添加第一和第二特殊符号，得到的正样本和负样本作为训练数据，其中第一特殊符号位置对应的输出为整句话的语义表征；基于拼接后的句子，经过编码得到语义向量，并由全连接层映射到标量，再通过归一化后，进行法律问题查询文本和法律知识的相关性分数判定，由此重排法律知识；在模型训练过程中，使用自适应边缘排序损失函数Li进行优化： 其中，negi表示与样本i的正例相对应的负例集合，marginj是由召回的法律知识和查询的法律问题间的距离dj确定的超参数，对查询的正样本对和与其对应的负样本对都一一进行比较，然后相加作为当前查询的损失；步骤4：整合法律知识和法律问题构建过渡性提示语模板，输入至大语言模型，得到过渡性回答；步骤5：将过渡性回答、步骤1构建的向量数据库以及步骤2得到的问题类别输入检索模型，得到迭代后的法律知识，整合迭代后的法律知识和法律问题构建最终提示语模板，输入至大语言模型，得到最终回答。

全文数据：

权利要求：

百度查询： 杭州昊清科技有限公司 浙江中正智能科技有限公司 信雅达科技股份有限公司 一种基于检索增强语言模型的法律智能问答方法