买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜深圳大学申请的专利基于注意力机制的自蒸馏中文分词方法、终端及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114386409B 。

龙图腾网通过国家知识产权局官网在2025-05-23发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210051393.3，技术领域涉及：G06F40/284；该发明授权基于注意力机制的自蒸馏中文分词方法、终端及存储介质是由蔡树彬;何日安;明仲设计研发完成，并于2022-01-17向国家知识产权局提交的专利申请。

本基于注意力机制的自蒸馏中文分词方法、终端及存储介质在说明书摘要公布了：本发明公开了基于注意力机制的自蒸馏中文分词方法、终端及存储介质，其中，方法包括：将预处理后的训练集引入预训练模型；通过迭代训练获得教师模型；通过所述教师模型与学生模型获取注意力权重矩阵；将所述注意力权重矩阵引入知识蒸馏过程，对所述学生模型进行有针对性的学习训练；通过验证集对学习训练所获得的整个模型进行验证，得到蒸馏后的中文分词模型。本发明通过自蒸馏可以达到优化模型自身结构的目标，且进一步利用注意力机制有侧重点地学习被蒸馏的知识，提高了模型识别未登录词的能力，从而较好地解决了现有中文分词模型无法准确处理未登录词的问题。

本发明授权基于注意力机制的自蒸馏中文分词方法、终端及存储介质在权利要求书中公布了：1.一种基于注意力机制的自蒸馏中文分词方法，其特征在于，所述基于注意力机制的自蒸馏中文分词方法包括以下步骤：将预处理后的训练集引入预训练模型；通过迭代训练获得教师模型；通过所述教师模型与学生模型获取注意力权重矩阵，具体包括：计算所述学生模型输出的预测分词结果与真实分词结果之间的第一差异信息；计算所述教师模型输出的预测分词结果与真实分词结果之间的第二差异信息；通过所述第一差异信息和所述第二差异信息获得所述注意力权重矩阵；将所述注意力权重矩阵引入知识蒸馏过程，对所述学生模型进行有针对性的学习训练，具体包括：通过所述注意力权重矩阵计算所述学生模型的整体损失，具体包括：将所述注意力权重矩阵分别与所述学生模型输出的预测分词结果和所述教师模型输出的预测分词结果进行交互，得到交互信息；根据所述交互信息进行知识蒸馏，计算蒸馏损失；通过所述蒸馏损失与常规交叉熵损失计算所述学生模型的整体损失；将所述整体损失反向传播至所述学生模型，以更新所述学生模型中各节点的参数信息；通过验证集对学习训练所获得的整个模型进行验证，得到蒸馏后的中文分词模型。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人深圳大学，其通讯地址为：518060 广东省深圳市南山区南海大道3688号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。