龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：中国石油大学(华东)
摘要：本发明公开了一种基于模型分割的联邦学习加速方法，属于物联网领域和机器视觉领域，首先，为了提高联邦学习的训练效率，选择高质量的参与者是极其关键的，针对高质量的、资源受限的物联网设备，综合考虑网络带宽变化与全局训练时间这两方面，利用模型分割的理念，设计一种计算任务卸载策略，减少全局训练时间，从而提高训练效率；然后，采用联邦学习范式，保护数据安全，利用分布式用户数据提高推理性能；最后，优化联邦学习的全局模型聚合策略，通过多轮迭代再通信与模型压缩相结合的聚合方式，进一步减少传输内容，降低通信压力，达到联邦学习加速的目的。
主权项：1.一种基于模型分割的联邦学习加速方法，其特征在于，具体包括如下步骤：S1.输入训练数据后，服务器从N个参与者中随机选择K个参与者K≤N进行本地训练，首先进行两轮传统的联邦学习，不执行任何卸载策略；S2.计算前两轮全局损失函数变化量与每个参与者的训练时间，将前两轮全局损失函数变化量从大到小进行排序，选择排名靠前的参与者进行训练；S3.综合考虑训练时间与网络带宽因素，每一轮训练之后动态地对参与者进行分组，将低带宽的参与者分到额外的组，具有相似特征的分为一组，同一组执行相同的卸载策略；S4.综合考虑参与者的训练时间与计算能力，结合步骤S3的分组情况，进行资源是否受限的判断，若资源受限，进入步骤S5最小化全局训练时间；否则，直接进入步骤S7进行多轮迭代上传；S5.根据全局训练时间最小化的目标，以深度神经网络的每一层为计算单元，层与层之间产生分割点；S6.从候选的分割点中选择最佳分割点，动态地将计算任务卸载到可信的边缘服务器中，资源受限的参与者与边缘服务器协同训练，然后由边缘服务器上传参数信息到服务器；S7.进行多轮迭代，从第三轮联邦学习开始，所有参与者本地训练多次迭代之后再上传参数；S8.从第三轮联邦学习开始，采用多次迭代之后再聚合的策略，多次迭代结束之后，计算模型的每一层梯度均值变化量；S9.将变化量从大到小进行排序，变化量越大，敏感度越高，选择敏感度高的层上传，对于敏感度不高的层，将不被上传，从而获得最佳全局模型。
全文数据：
权利要求：
百度查询： 中国石油大学(华东) 一种基于模型分割的联邦学习加速方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号