龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：青岛理工大学
摘要：本发明涉及联邦学习领域和知识蒸馏技术领域，公开了一种基于知识蒸馏的个性化联邦学习方法，包括如下步骤：初始化中央服务器的全局模型和本地设备数量；将初始化后的全局模型广播到本地设备；所有本地设备使用本地私有数据进行模型训练；并将本地模型参数上传至中央服务器聚合生成新的全局模型；通过非结构化剪枝技术对聚合生成的新的全局模型进行剪枝，将全局模型变成一个学生友好型的教师模型；将剪枝后得到的教师模型中的最终预测和注意力图知识传递给本地模型，本地模型此时作为学生模型，根据传递的知识进行更新。本发明所公开的方法能够缓解数据异质性情况下产生的客户端漂移问题，提高模型精度表现，并能减少本地设备之间的通信成本。
主权项：1.一种基于知识蒸馏的个性化联邦学习方法，其特征在于，包括如下步骤：S1、初始化中央服务器的全局模型和本地设备数量；S2、将初始化后的全局模型广播到本地设备，并设置本地设备训练轮次、批处理的数量和学习率；S3、所有本地设备使用本地私有数据进行模型训练；S4、在执行完所有本地训练后，每个设备将本地模型参数上传至中央服务器聚合生成新的全局模型；S5、在新的全局模型聚合完成后，通过非结构化剪枝技术，根据设置的剪枝率对聚合生成的新的全局模型进行剪枝，将全局模型变成一个学生友好型的教师模型；S6、将剪枝后得到的教师模型中的最终预测和注意力图知识传递给本地模型，本地模型此时作为学生模型，根据传递的知识进行更新。
全文数据：
权利要求：
百度查询： 青岛理工大学 一种基于知识蒸馏的个性化联邦学习方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号