龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：西北工业大学
摘要：本申请的实施例涉及深度学习技术领域，特别涉及一种单阶段渐进式知识提炼的师生协同演化方法，包括：将总训练时间划分为K个时间窗口，并将教师模型的各层划分为K个渐进小组，教师模型与教师端知识适配器连接；在当前时间窗口对应的训练中，将标注有真实标签的训练样本分别输入至学生模型和教师模型，得到学生模型输出的学生预测结果、学生模型的最后一层卷积层输出的学生特征和教师端知识适配器输出的融合特征；基于学生预测结果、真实标签、学生特征和融合特征构建知识蒸馏损失以更新学生模型的参数；基于真实标签和融合特征构建渐进式恢复损失以更新教师端知识适配器的参数，最终得到训练完成的学生模型，从而实现高效且稳定的知识迁移。
主权项：1.一种单阶段渐进式知识提炼的师生协同演化方法，其特征在于，包括：将总训练时间划分为K个时间窗口，并将教师模型的各层按照先后顺序划分为K个渐进小组；其中，K为大于1的整数，每个时间窗口均分别对应一个渐进小组，在第i个时间窗口对应的训练中，前i个渐进小组参与训练，i∈[1,K]，教师模型的各层的输出均与预构建的教师端知识适配器连接；在当前时间窗口对应的训练中，将标注有真实标签的训练样本同步输入至学生模型和教师模型，得到学生模型输出的学生预测结果、学生模型的最后一层卷积层输出的学生特征、以及教师端知识适配器输出的融合特征；其中，融合特征融合了教师模型的参与当前时间窗口对应的训练的各层输出的特征；基于学生预测结果、真实标签、学生特征和融合特征构建知识蒸馏损失，并根据构建的知识蒸馏损失更新学生模型的参数；基于真实标签和融合特征构建渐进式恢复损失，并根据构建的渐进式恢复损失更新教师端知识适配器的参数；在完成各时间窗口对应的训练后，发布训练完成的学生模型。
全文数据：
权利要求：
百度查询： 西北工业大学 一种单阶段渐进式知识提炼的师生协同演化方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号