买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：合肥高维数据技术有限公司

摘要：本发明涉及一种基于增量学习的文本分类模型训练方法及装置，应用于自然语言处理技术领域，其文本分类模型的训练方法包括：构建文本数据训练基座模型；每次增量学习训练时，先对所述语言模型A2进行训练，增加新标签，得到新标签对应语义空间上的特征；再对所述语言模型A1进行训练；当完成对所述语言模型A1和A2的训练后，最后对所述文本自编码器AE进行训练。本发明在文本分类模型的增量学习场景中无需保存初始文本，具备更好的学习能力和抗遗忘能力。

主权项：1.一种基于增量学习的文本分类模型训练方法，其特征在于，包括：S11.构建文本数据训练基座模型，包括：S11a.获取初始训练文本数据D0，对应初始训练标签L0，预设语言模型A1和A2，所述语言模型A1和A2使用相同的初始预训练语言模型；S11b.将所述初始训练文本数据D0输入所述语言模型A1获取所述初始训练文本数据D0的语义特征FD，同时将所述初始训练标签L0输入所述语言模型A2获取所述初始训练标签L0的语义特征FL；S11c.对所述语言模型A1和A2进行微调训练，将所述初始训练文本数据D0的语义特征FD和所述初始训练标签L0的语义特征FL进行相似度计算，训练目标为： 其中，dl为训练文本d对应的标签，sim为相似度计算函数，A1d代表所述初始训练文本数据D0输入所述语言模型A1的输出，A2dl代表所述训练文本d对应的标签通过所述语言模型A2得到的输出，A2l代表所述初始训练标签L0通过所述语言模型A2得到的输出；S11d.遍历所述初始训练文本数据D0和初始训练标签L0中所有数据，按所述S11a-S11c步骤完成对所述语言模型A1和A2的训练后，再对文本自编码器AE进行训练，获得训练好的编码器，包括：S11d1.将所述初始训练文本数据D0中所有数据输入所述语言模型A1的冻结参数层得到所述初始训练文本数据D0中所有数据的中间语义特征F，将所述中间语义特征F输入所述自编码器AE的编码器不断降维得到编码结果，再将所述编码结果输入所述编码器AE的解码器不断升维得到所述初始训练文本数据D0中所有数据的重建中间语义特征F'，所述自编码器AE的训练目标为： 其中，KL代表KL散度，用于衡量所述初始训练文本数据D0中所有数据的中间语义特征F重建的效果；S11d2.为所述初始训练文本数据D0中所有数据的每个类别选择重建中间语义特征F'和中间语义特征F的KL散度最小的k个样本，将所述k个样本通过所述自编码器AE编码的结果保存为文本编码库E；S12.每次增量学习训练时，先对所述语言模型A2进行训练，增加新标签，得到新标签对应语义空间上的特征，包括：S12a.预设已经学习过的数据集D，已经学习的分类标签L，本次增量学习中新增的数据集ΔD，本次增量学习中新增未学习的标签ΔL；S12b.将所述分类标签L、未学习的标签ΔL输入所述语言模型A2进行训练，训练目标为： 其中，α为所述分类标签L相似性的训练权重系数，用以保证所述分类标签L在语义空间上不变化，A2'为所述语言模型A2本次增量学习训练开始时的初始参数，sim为相似度计算函数，A2l代表所述分类标签L通过所述语言模型A2得到的输出，A2l1代表所述未学习的标签ΔL通过所述语言模型A2得到的输出；S13.再对所述语言模型A1进行训练，包括：用所述自编码器AE对所述文本上一次增量学习过程中更新的文本编码库E进行解码得到所述已经学习过的数据集D的重建中间语义特征FD'，将所述新增的数据集ΔD输入所述语言模型A1的冻结参数层，得到所述新增的数据集ΔD的中间语义特征FΔD'，对所述语言模型A1进行训练，训练目标为： 其中，fl为中间语义特征f对应文本的标签，sim为相似度计算函数，A1f代表所述中间语义特征f通过所述语言模型A1的非冻结参数层得到的输出，A2fl代表所述中间语义特征f对应文本的标签通过所述语言模型A2得到的输出，A2l代表所述分类标签L和所述未学习的标签ΔL通过所述语言模型A2得到的输出；S14.当完成对所述语言模型A1和A2的训练后，最后对所述文本自编码器AE进行训练，包括：S14a.将所述已经学习过的数据集D的重建中间语义特征FD'和所述新增的数据集ΔD的中间语义特征FΔD'输入所述自编码器AE的编码器不断降维得到编码结果，再将所述编码结果输入所述编码器AE的解码器不断升维得到所述已经学习过的数据集D再次重建的中间语义特征FD”和所述新增的数据集ΔD的重建的中间语义特征FΔD”，其中所述自编码器AE的训练目标为： 其中，KL代表KL散度，用于衡量已经学习过的数据集D的中间语义特征FD'和所述新增的数据集ΔD的中间语义特征FΔD'重建的效果；S14b.为所述已经学习过的数据集D和所述新增的数据集ΔD选择所述中间语义特征FD'、所述中间语义特征FΔD'和所述中间语义特征FD”、所述中间语义特征FΔD”KL散度最小的k个样本，将所述k个样本通过所述自编码器AE编码的结果保存，再次更新所述文本上一次增量学习过程中更新的文本编码库E，重建所述已经学习过的数据集D和所述新增的数据集ΔD的语义特征，用于后续增量学习过程中文本数据库的更新。

全文数据：

权利要求：

百度查询： 合肥高维数据技术有限公司 基于增量学习的文本分类模型训练方法及装置