买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜合肥工业大学智能制造技术研究院;合肥协力仪表控制技术股份有限公司申请的专利基于类关系的二维规范化知识蒸馏方法、系统及终端获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119005296B 。

龙图腾网通过国家知识产权局官网在2025-01-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411497722.2，技术领域涉及：G06N3/096；该发明授权基于类关系的二维规范化知识蒸馏方法、系统及终端是由张本宏;宋易荏;张彦辉;张毅东;毕翔设计研发完成，并于2024-10-25向国家知识产权局提交的专利申请。

本基于类关系的二维规范化知识蒸馏方法、系统及终端在说明书摘要公布了：本发明涉及人工智能技术领域，公开了一种基于类关系的二维规范化知识蒸馏方法、系统及终端。该方法将训练集批次内样本分别输入至教师模型和学生模型，获取教师模型和学生模型各自最后隐藏层的输出即教师logits和学生logits；对教师logits和学生logits中的每个logit分别进行类间维度规范化修正和类内维度规范化修正，根据修正结果计算类间规范化损失和类内规范化损失；将学生logits与样本的原始真实标签进行训练，计算分类损失；加权得到总训练损失，基于所述总训练损失进行梯度下降和反向传播，从而优化学生模型参数，随后利用训练集下一批次的样本对学习模型进行持续优化，直至学生模型收敛。本发明可提高logit知识蒸馏的精度和训练效率。

本发明授权基于类关系的二维规范化知识蒸馏方法、系统及终端在权利要求书中公布了：1.基于类关系的二维规范化知识蒸馏方法，其特征在于，包括：将训练集批次内样本即图片分别输入至教师模型和学生模型，获取教师模型和学生模型各自最后隐藏层的输出即教师logits和学生logits；其中，教师logits和学生logits为维度相同的二维矩阵，二维矩阵中的每个元素即logit表示模型对每个类别的置信度得分，且二维矩阵的行数和列数分别对应样本数和类别数；对教师logits和学生logits中的每个logit分别进行类间维度规范化修正和类内维度规范化修正，根据修正结果计算类间规范化损失和类内规范化损失；将学生logits与样本的原始真实标签进行训练，计算分类损失；将所述类间规范化损失、所述类内规范化损失和所述分类损失三者进行加权得到总训练损失，基于所述总训练损失进行梯度下降和反向传播，从而优化学生模型参数，随后利用训练集下一批次的样本对学习模型进行持续优化，直至学生模型收敛；其中，所述对教师logits和学生logits中的每个logit分别进行类间维度规范化修正和类内维度规范化修正包括：对批次内每个样本在每个类别上的logit进行类间规范化修正，计算第一修正结果；对批次内每个样本在每个类别上的logit进行类内规范化修正，计算第二修正结果；所述第一修正结果和所述第二修正结果的计算公式分别为： 式中，zij表示批次内第i个样本在第j个类别上的logit，zij∈RB×K，B为批次内样本个数，K为类别数，R为实数集；zijx表示zij对应的第一修正结果；Mi·表示第i个样本在所有类别上的logit的均值；Vi·表示第i个样本在所有类别上的logit的方差；zijy表示zij对应的第二修正结果；M·j表示所有样本在第j个类别上的logit的均值；V·j表示所有样本在第j个类别上的logit的方差；所述根据修正结果计算类间规范化损失和类内规范化损失包括：对所述第一修正结果和所述第二修正结果同时进行降温及Softmax函数处理，从而分别得到批次内每个样本在每个类别上的第一概率和第二概率；第一概率和第二概率的表达公式分别为： 式中，Pijx为第i个样本在第j个类别上的第一概率；e为自然常数；T为蒸馏温度，T＞1；1≤n≤K；Pijy为第i个样本在第j个类别上的第二概率；基于所述第一概率和所述第二概率，分别计算类间规范化损失Lxnorm和类内规范化损失Lynorm，计算公式分别为： 式中，为教师logits中的第i个样本在第j个类别上的第一概率；为学生logits中的第i个样本在第j个类别上的第一概率；为教师logits中的第i个样本在第j个类别上的第二概率；为学生logits中的第i个样本在第j个类别上的第二概率；log·为对数函数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人合肥工业大学智能制造技术研究院;合肥协力仪表控制技术股份有限公司，其通讯地址为：230000 安徽省合肥市包河区花园大道369号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。