买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜浪潮云信息技术股份公司申请的专利基于知识蒸馏的文本分类方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114818902B 。

龙图腾网通过国家知识产权局官网在2025-06-24发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210421020.0，技术领域涉及：G06F16/353；该发明授权基于知识蒸馏的文本分类方法及系统是由张烈帅;赵振修;魏静如;解一豪设计研发完成，并于2022-04-21向国家知识产权局提交的专利申请。

本基于知识蒸馏的文本分类方法及系统在说明书摘要公布了：本发明公开了基于知识蒸馏的文本分类方法及系统，属于自然语言处理技术领域，本发明要解决的技术问题为如何利用知识蒸馏，并借助复杂模型的精度优势得到精度相当的轻量级模型，采用的技术方案为：该方法具体如下：获取无监督语料并对无监督语料进行数据预处理；基于大规模无监督语料训练得到教师语言模型；使用针对具体分类任务的有监督训练语料对教师语言模型通过fine‑tuning进行分类任务训练，获得训练好的教师语言模型；根据具体分类任务和训练好的教师语言模型构造学生模型；根据教师语言模型的中间层输出和最终输出，构造损失函数，对学生模型进行训练，获取最终的学生模型；使用最终的学生模型进行文本分类的预测：输入新数据进行分类结构的预测。

本发明授权基于知识蒸馏的文本分类方法及系统在权利要求书中公布了：1.一种基于知识蒸馏的文本分类方法，其特征在于，该方法具体如下： 获取无监督语料并对无监督语料进行数据预处理； 基于大规模无监督语料训练得到教师语言模型； 使用针对具体分类任务的有监督训练语料对教师语言模型通过fine-tuning进行分类任务训练，获得训练好的教师语言模型； 根据具体分类任务和训练好的教师语言模型构造学生模型； 根据教师语言模型及学生模型的中间层输出和最终输出，构造损失函数，对学生模型进行训练，获取最终的学生模型； 使用最终的学生模型进行文本分类的预测：输入新数据进行分类结构的预测； 其中，学生模型是基于经过分类任务训练得到的训练好的教师语言模型并选择每隔2层、3层或4层transformer抽取一层transformer的方式构造； 构造损失函数具体如下： 1、针对标签的focalloss，公式如下： Lf＝-1-ptγlogpt； 其中，Lf根据学生模型最终输出构造，pt表示分对的概率，γ用于调制难例，增加错误分类的重要性； 2、针对教师语言模型预测结果的软化softmax损失，以使模型更好的学习到数据的分布情况，公式如下： Ls＝-∑pilogsi； 其中，Ls根据教师语言模型和学生模型的最终输出构造，pi和si分别为学生模型和教师语言模型的软化概率； 其中，软化概率分布定义如下： 其中，z为网络输出；T为调节因子； 3、针对对应学生模型与教师语言模型transformer层之间的MSE损失，公式如下： Lm＝∑MSEtrss,trsT； 其中，Lm根据教师语言模型和学生模型的中间输出即transformer层输出构造，trs为transformer的输出； 4、针对对应学生模型与教师语言模型transformer层之间的COS损失，公式如下： Lc＝∑COStrsS,trsT； 其中，Lc根据教师语言模型和学生模型的中间输出即transformer层输出构造；COS损失定义如下： 即最终损失函数为损失函数加权： L＝f*Lf+s*Ls+m*Lm+c*Lc； 其中，f、s、m、c分别为加权因子。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浪潮云信息技术股份公司，其通讯地址为：250100 山东省济南市高新区浪潮路1036号浪潮科技园S01号楼；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。