买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国科学技术大学

摘要：本发明涉及自然语言处理技术领域，公开了一种基于稀疏混合专家与低秩适应的知识蒸馏优化方法，根据教师模型设计学生模型，并对学生模型进行训练，通过完成训练的学生模型完成开放式问答任务，包括：教师模型和学生模型均采用大语言模型，且教师模型采用的大语言模型的参数规模大于学生模型采用的大语言模型的参数规模；对学生模型进行如下改进：对于学生模型采用的大语言模型的骨干网络中的每个多层感知机，添加多个低秩专家和一个路由，形成低秩混合专家模块；将SRKL散度作为教师模型到学生模型的知识蒸馏损失函数，并结合监督微调损失函数构建总损失。本发明通过稀疏混合专家和低秩适应的结合，学生模型能够在多个任务上实现性能提升。

主权项：1.一种基于稀疏混合专家与低秩适应的知识蒸馏优化方法，其特征在于，根据教师模型设计学生模型，并对学生模型进行训练，将问题输入到通过完成训练的学生模型，输出所述问题对应的答案，根据教师模型设计学生模型并对学生模型进行训练的过程具体包括：教师模型和学生模型均采用大语言模型，且教师模型采用的大语言模型的参数规模大于学生模型采用的大语言模型的参数规模；对学生模型进行如下改进：对于学生模型采用的大语言模型的骨干网络中的每个多层感知机，添加N个低秩专家E和一个路由，形成低秩混合专家模块；将所述多层感知机的权重矩阵替换为低秩矩阵A和低秩矩阵B，形成所述低秩专家；权重矩阵的矩阵形状为，其中为权重矩阵的输入维度，权重矩阵的输出维度；低秩矩阵A和低秩矩阵B的形状分别为、，其中是低秩专家的秩，是一个可控制参数；所述路由是一个可训练权重矩阵；将路由和多层感知机的输入矩阵x相乘，得到中间矩阵，对中间矩阵进行归一化得到概率矩阵；概率矩阵中的每行元素组成一个行向量，概率矩阵的各个行向量表示每个低秩专家对输入矩阵x的权重占比；对权重占比最高的两个低秩专家的输出进行加权求和后，再与多层感知机的输出相加，得到输出矩阵y；输入矩阵x是训练样本经过分词器和嵌入层转化后的向量表示，其中，训练样本是问题和答案组成的文本对，一个包含S个单词的文本对记为；输出矩阵y是学生模型预测的下一个单词的概率分布；从教师模型到学生模型进行知识蒸馏时，采用混合损失函数：，其中表示SRKL散度；是监督微调损失函数，；表示大语言模型在前k-1个词为的条件下输出第k个单词为的概率，表示文本对的第k个单词；表示文本对的前k-1个词，即表示；表示文本对中的单词总数；为控制监督微调损失函数在混合损失函数中的参数。

全文数据：

权利要求：

百度查询： 中国科学技术大学 基于稀疏混合专家与低秩适应的知识蒸馏优化方法