买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜中国人民解放军国防科技大学申请的专利基于剪枝网络的渐进式知识蒸馏轻量化方法、装置和设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119538977B 。

龙图腾网通过国家知识产权局官网在2025-04-11发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510104750.1，技术领域涉及：G06N3/042；该发明授权基于剪枝网络的渐进式知识蒸馏轻量化方法、装置和设备是由项凤涛;陈君海;黎拓新;罗翔宇;张晓博;张万鹏;谷学强设计研发完成，并于2025-01-23向国家知识产权局提交的专利申请。

本基于剪枝网络的渐进式知识蒸馏轻量化方法、装置和设备在说明书摘要公布了：本申请涉及一种基于剪枝网络的渐进式知识蒸馏轻量化方法、装置和设备。所述方法包括：获取原始模型、预设剪枝层数量以及目标任务场景下的训练样本；根据预设剪枝比例对原始模型的第一层进行剪枝，将原始模型作为教师模型，将剪枝后的模型作为学生模型，根据训练样本采用蒸馏训练策略对教师模型和学生模型进行训练，确定第一轻量化模型，在剪枝后得到轻量化模型基础上对下一层进行剪枝，重复上述训练步骤，直到剪枝层数满足设定值为止。本方法采用渐进式剪枝的概念，从模型浅层开始逐渐进行剪枝以及基于所提出的中间特征蒸馏损失和输出蒸馏损失进行学习，能够更好地迁移原始模型中的知识，从而最大程度上避免模型轻量化导致推理结果的精度损失。

本发明授权基于剪枝网络的渐进式知识蒸馏轻量化方法、装置和设备在权利要求书中公布了：1.一种基于剪枝网络的渐进式知识蒸馏轻量化方法，其特征在于，所述方法包括：获取原始模型、预设剪枝层数量以及文本分类任务场景中的文本序列；根据预设剪枝比例对所述原始模型的第一层进行剪枝，将所述原始模型作为教师模型，将剪枝后的模型作为学生模型，根据所述文本序列采用蒸馏训练策略对所述教师模型和所述学生模型进行训练，确定第一轻量化模型；以所述第一轻量化模型为基础，对所述第一轻量化模型的第二层进行剪枝，将所述第一轻量化模型作为新的教师模型，将剪枝后的第一轻量化模型作为新的学生模型，根据所述文本序列采用蒸馏训练策略对新的教师模型和新的学生模型进行训练，得到第二轻量化模型，继续对第二轻量化模型的第三层进行剪枝，依此类推，直到剪枝层数满足预设剪枝层数量为止，得到剪枝后的轻量化模型；采用剪枝后的轻量化模型对待测文本序列进行推理，得到文本分类结果；其中，根据预设剪枝比例对所述原始模型的第一层进行剪枝，将所述原始模型作为教师模型，将剪枝后的模型作为学生模型，根据所述文本序列采用蒸馏训练策略对所述教师模型和所述学生模型进行训练，确定第一轻量化模型，包括：根据预设剪枝比例对所述原始模型的第一层进行剪枝，得到剪枝后模型；将所述原始模型作为教师模型，将剪枝后的模型作为学生模型；将所述文本序列分别输入到所述教师模型和所述学生模型中，得到所述教师模型和所述学生模型的第一层输出特征和逻辑输出；将所述学生模型的第一层输出特征经过自适应层进行处理，得到自适应特征；所述自适应层包括点卷积层和批量归一化层；根据所述自适应特征和所述教师模型的第一层输出特征，计算第一中间特征蒸馏损失；其中，所述第一中间特征蒸馏损失的表达式为： ；其中，为第一中间特征蒸馏损失，和分别表示原始模型和轻量模型的特征图，表示经自适应层的映射回归操作，表示L2范式；根据所述学生模型的逻辑输出和对应的真实标签，计算交叉熵损失；分别对所述教师模型和所述学生模型的逻辑输出进行软归一化处理，根据得到的处理结果计算输出蒸馏损失；根据所述第一中间特征蒸馏损失、所述交叉熵损失以及所述输出蒸馏损失，确定训练总损失函数；根据所述训练总损失函数和所述文本序列对学生模型的参数进行优化更新，得到第一轻量化模型。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国人民解放军国防科技大学，其通讯地址为：410073 湖南省长沙市开福区德雅路109号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。