Document
拖动滑块完成拼图
首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

一种基于彩票理论和差分隐私的分组联邦学习方法 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

摘要:本发明公开了一种基于彩票理论和差分隐私的分组联邦学习方法,属于计算机领域,该方法基于客户端数据分布和算力对客户端分组,降低弱算力客户端的计算开销,既保证联邦学习模型的收敛性又降低了训练时间;并且,将彩票理论剪枝过程分散到联邦学习的每个客户端组中,每个客户端组只执行一个剪枝阶段,有效降低了客户端的计算开销和通信开销;此外,本发明设计了剪枝率动态调整策略,该框架根据剪枝率的动态调整,相应地设计了差分隐私预算分配策略,保证了系统的隐私安全。综上,本发明提供的方法能够在非独立同分布数据和保护客户端隐私的前提下,有效提升联邦学习的模型性能并降低计算和通信开销。

主权项:1.一种基于彩票理论和差分隐私的分组联邦学习方法,其特征在于,包括:S1,服务器将初始全局模型M0下发至所有客户端,各客户端分别对M进行随机剪枝以自适应调整剪枝率,使各客户端的本地训练时间小于时间阈值,并将剪枝率返回至服务器;S2,服务器根据各客户端的剪枝率,在预设约束下,以最小化所有客户端组的类数据不平衡度为目标,对所有客户端进行分组;所述预设约束包括:任一客户端n的剪枝率小于其所在客户端组的剪枝率上限,客户端组的剪枝率上限依次顺序递增,任一客户端n的数据集中的训练样本的数量不小于数量阈值;S3,顺序依次对进行基于彩票理论的迭代剪枝-参数初始化操作;其中,对于第i个客户端组所述基于彩票理论的迭代剪枝-参数初始化操作包括:A1,服务器将当前全局模型Wi下发至中的各客户端进行τ轮次基于差分隐私的联邦学习得到更新后的Wi;A2,服务器根据单次剪枝率pr对更新后的Wi进行非结构化剪枝,若其剪枝率达到的目标剪枝率,则对其进行结构化剪枝及参数初始化得到Wi+1;否则返回A1;S4,服务器将Wk+1发送至所有客户端进行基于差分隐私的全局联邦学习训练,得到最终的全局模型。

全文数据:

权利要求:

百度查询: 华中科技大学 一种基于彩票理论和差分隐私的分组联邦学习方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。