买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明提供了一种基于知识蒸馏的联邦学习方法，包括：采用数据分布统计平均筛选出相关性强的客户端，相关性强的客户端利用本地数据集训练本地模型，将数据分布特征和模型参数上传服务器端，由服务器端聚合并更新全局模型；采用无数据知识蒸馏的方法学习全局模型中的本地数据分布，并训练数据生成器，客户端通过数据生成器生成虚拟数据分布；采用数据分布统计平均筛选出相关性强的客户端，相关性强的客户端利用全局模型参数训练并更新本地模型，其余客户端利用虚拟数据分布增强本地数据分布后使用全局模型参数训练并更新其本地模型，再由服务器端进行聚合，迭代至全局模型收敛。本发明通过知识蒸馏与联邦学习相结合，优化了联邦学习的通信开销，解决了联邦数据异构的问题。

主权项：1.一种基于知识蒸馏的联邦学习方法，其特征在于，包括：步骤1：采用数据分布统计平均的方法从N个客户端{C1,C2,...,CN}中筛选出相关性强的客户端{C1,C2,...,Cm}；步骤2：服务器端将初始化模型ω0下发至所述客户端{C1,C2,...,Cm}；步骤3：所述客户端{C1,C2,...,Cm}将接收到的初始化模型ω0作为本地模型训练的起点，分别利用客户端的本地数据集D1,D2,...Dm训练本地模型；步骤4：在所述客户端{C1,C2,...,Cm}均完成训练本地模型后，将本地数据分布特征和本地模型参数上传到服务器端；步骤5：服务器端聚合所述本地数据分布特征和本地模型参数，更新全局模型；采用无数据知识蒸馏的方法学习全局模型中的本地数据分布，并利用学习到的知识训练数据生成器，所述知识蒸馏生成器用于估算数据分布特征并生成虚拟数据；步骤6：服务器端将全局模型的模型参数及梯度和数据生成器下发至N个客户端{C1,C2,...,CN}，各客户端通过数据生成器生成虚拟数据分布；步骤7：基于虚拟数据分布，采用数据分布统计平均的方法筛选出相关性强的客户端，筛选出的客户端利用服务器端下发的全局模型的模型参数训练并更新本地模型，其余的客户端利用虚拟数据分布增强本地数据分布后使用全局模型参数进行训练并更新其本地模型；步骤8：N个客户端完成本地模型训练后，将本地数据分布特征和本地模型参数上传到服务器端进行聚合，不断迭代直到全局模型收敛。

全文数据：

权利要求：

百度查询： 南京信息工程大学 一种基于知识蒸馏的联邦学习方法