龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
摘要：本申请公开了一种知识蒸馏方法、设备及可读存储介质，涉及模型量化技术领域，方法包括：获取训练数据输入至教师网络模型得到的第一教师预测结果与第二教师预测结果；将训练数据输入至学生网络模型得到第一学生预测结果与第二学生预测结果；基于第一教师预测结果与第一学生预测结果计算第一知识蒸馏损失，基于第二教师预测结果与第二学生预测结果计算第二知识蒸馏损失；基于第一知识蒸馏损失与第二知识蒸馏损失优化学生网络模型，直至满足预设训练结束条件后，获得训练完成的学生网络模型。本申请提高了学生网络模型的学习效果。
主权项：1.一种知识蒸馏方法，其特征在于，所述知识蒸馏方法包括以下步骤：获取训练数据、训练完成的教师网络模型与待训练的学生网络模型；获取所述训练数据输入至所述教师网络模型得到的第一教师预测结果与第二教师预测结果，其中，所述第一教师预测结果为所述教师网络模型中隐藏层的输出，所述第二教师预测结果为所述教师网络模型中输出层的输出；将所述训练数据输入至所述学生网络模型得到第一学生预测结果与第二学生预测结果，其中，所述第一学生预测结果为所述学生网络模型中隐藏层的输出，所述第二学生预测结果为所述学生网络模型中输出层的输出；基于所述第一教师预测结果与所述第一学生预测结果计算第一知识蒸馏损失，基于所述第二教师预测结果与所述第二学生预测结果计算第二知识蒸馏损失；基于所述第一知识蒸馏损失与所述第二知识蒸馏损失优化所述学生网络模型，返回执行所述将所述训练数据输入至所述学生网络模型得到第一学生预测结果与第二学生预测结果的步骤，直至满足预设训练结束条件后，获得训练完成的所述学生网络模型。
全文数据：
权利要求：
百度查询： 歌尔科技有限公司 知识蒸馏方法、设备及可读存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号