龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
摘要：本发明涉及人工智能技术领域，公开了一种基于类关系的二维规范化知识蒸馏方法、系统及终端。该方法将训练集批次内样本分别输入至教师模型和学生模型，获取教师模型和学生模型各自最后隐藏层的输出即教师logits和学生logits；对教师logits和学生logits中的每个logit分别进行类间维度规范化修正和类内维度规范化修正，根据修正结果计算类间规范化损失和类内规范化损失；将学生logits与样本的原始真实标签进行训练，计算分类损失；加权得到总训练损失，基于所述总训练损失进行梯度下降和反向传播，从而优化学生模型参数，随后利用训练集下一批次的样本对学习模型进行持续优化，直至学生模型收敛。本发明可提高logit知识蒸馏的精度和训练效率。
主权项：1.基于类关系的二维规范化知识蒸馏方法，其特征在于，包括：将训练集批次内样本即图片分别输入至教师模型和学生模型，获取教师模型和学生模型各自最后隐藏层的输出即教师logits和学生logits；其中，教师logits和学生logits为维度相同的二维矩阵，二维矩阵中的每个元素即logit表示模型对每个类别的置信度得分，且二维矩阵的行数和列数分别对应样本数和类别数；对教师logits和学生logits中的每个logit分别进行类间维度规范化修正和类内维度规范化修正，根据修正结果计算类间规范化损失和类内规范化损失；将学生logits与样本的原始真实标签进行训练，计算分类损失；将所述类间规范化损失、所述类内规范化损失和所述分类损失三者进行加权得到总训练损失，基于所述总训练损失进行梯度下降和反向传播，从而优化学生模型参数，随后利用训练集下一批次的样本对学习模型进行持续优化，直至学生模型收敛。
全文数据：
权利要求：
百度查询： 合肥工业大学智能制造技术研究院 合肥协力仪表控制技术股份有限公司 基于类关系的二维规范化知识蒸馏方法、系统及终端
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号