买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：上海合合信息科技股份有限公司;上海临冠数据科技有限公司;上海生腾数据科技有限公司;上海盈五蓄数据科技有限公司

摘要：本申请公开了一种用于语言模型训练的多领域数据权重调整方法。准备多个领域的文本数据集和训练好的基座语言模型。构建一个与基座语言模型的结构一致，但参数量远低于基座语言模型的代理模型。将各领域文本数据集的权重均初始化为1，然后利用多领域文本数据集训练代理模型。分别采用基座语言模型和训练好的代理模型计算多领域文本数据集中的每个文本数据的损失值。利用两个模型计算出的损失值确定每个领域的文本数据集的权重值。利用权重值对多领域文本数据集进行加权，然后对基座语言模型进行续训练，得到续训练后的基座语言模型。本申请通过调整不同领域的训练数据集的权重，使得基座语言模型可以在所有领域上取得全局最优结果。

主权项：1.一种用于语言模型训练的多领域数据权重调整方法，其特征是，包括如下步骤；步骤S1：准备多个领域的文本数据集作为训练数据集，还准备已在所述多领域文本数据集训练好的基座语言模型；步骤S2：构建一个与基座语言模型的结构一致，但参数量远低于基座语言模型的代理模型；步骤S3：将各领域文本数据集的权重均初始化为1，然后利用全量的多领域文本数据集对代理模型进行训练，得到训练后的代理模型；步骤S4：分别采用基座语言模型和训练好的代理模型计算全量的多领域文本数据集中的每个文本数据的损失值；步骤S5：利用基座语言模型和训练好的代理模型计算出的所有文本数据的损失值，确定每个领域的文本数据集的权重值；步骤S6：利用每个领域的文本数据集的权重值对全量的多领域文本数据集进行加权，然后对基座语言模型进行续训练，得到续训练后的基座语言模型。

全文数据：

权利要求：

百度查询： 上海合合信息科技股份有限公司 上海临冠数据科技有限公司 上海生腾数据科技有限公司 上海盈五蓄数据科技有限公司 一种用于语言模型训练的多领域数据权重调整方法及装置