买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东海量信息技术研究院

摘要：本发明公开了一种文本的处理方法、产品、设备及介质，涉及大语言模型技术领域。该方法中，为了将新知识融入到模型，该方法中在新知识适配器中利用注入的新知识样本进行训练，且在训练过程中保持大语言模型中的参数不变，即在已有的大语言模型的基础上仅对新知识适配器的参数进行训练。由于新知识适配器的参数是远远小于大语言模型中的参数，因此，能够高效、低算力、低成本地为大语言模型注入新的知识，又能保证大模型原本能力不遗忘，由于模型训练的效率提高，进而提高了使用该模型对文本推理时的效率；其次，使用新知识适配器和大语言模型对文本进行推理，保证了能够对新知识进行推理。

主权项：1.一种文本的处理方法，其特征在于，包括：获取待推理的文本；在检测到所述待推理的文本中包含新知识的情况下，将所述待推理的文本输入至新知识适配器和大语言模型中；其中，所述新知识适配器插入所述大语言模型中的变换器块中，与所述变换器块中的前馈神经网络模块并列放置，且通过门控单元对所述新知识适配器输出的适配特征与所述变换器块中的前馈神经网络模块输出的原始特征进行融合；所述新知识适配器由多个子模块堆叠形成，且每个子模块中包含线性层和激活函数；所述新知识适配器在训练时，利用注入的新知识样本进行训练，且在训练过程中保持所述大语言模型中的参数不变；通过所述新知识适配器和所述大语言模型对所述待推理的文本进行推理预测，以得到所述待推理的文本对应的预测结果；检测所述待推理的文本中是否包含新知识包括：通过新知识识别器检测所述待推理的文本中是否包含新知识；其中，所述新知识识别器由多个变换编码器块堆叠形成；所述通过新知识识别器检测所述待推理的文本中是否包含新知识包括：获取表征所述新知识识别器中所述扩展后的语料的特征集合以及获取表征所述待推理的文本的特征；获取表征所述待推理的文本的特征与所述特征集合中的各特征之间的相似性；若检测到相似性大于或等于预设值的情况下，确定表征所述待推理的文本的特征属于所述特征集合，以及确定通过所述新知识识别器检测到所述待推理的文本中包含新知识；若检测到相似性小于所述预设值的情况下，确定通过所述新知识识别器检测到所述待推理的文本中未包含新知识。

全文数据：

权利要求：

百度查询： 山东海量信息技术研究院 一种文本的处理方法、产品、设备及介质