买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京大学

摘要：本发明提供了一种基于训练阶段感知策略的联邦学习训练方法，包括：S1各个客户端将其机器学习模型参数更新值以及损失函数更新值发送给服务器端；S2服务器端按照聚合参数C聚合最先传送到的C部分客户端的更新，并设置计时器衡量客户端性能以及识别离线客户端；S3服务器端根据聚合后的数据进行模型参数更新,根据损失函数更新值感知系统所处的训练阶段，结合训练进程和性能信息调整下一轮计算所需使用的本地计算周期和聚合部分；S4更新本地机器学习模型参数以及本地运行参数，并开始新一轮计算直到收敛。本发明采用可动态调整的参数设置以适配不同的联邦学习场景，充分发挥系统性能解决通信同步瓶颈。

主权项：1.一种基于训练阶段感知策略的联邦学习训练方法，其特征在于，包括如下步骤：S1客户端计算，客户端i按照本地运行参数运行Ei个本地计算周期，随后将其机器学习模型参数更新值以及损失函数更新值发送给服务器端，在首次计算时所有客户端均需要进行以上操作；S2服务器端聚合，服务器端按照聚合参数C聚合即进行聚合的客户端数量为C，对于最先传送到的C部分客户端j，j∈C，服务器聚合其和至服务器端模型参数更新值Δgrad和服务器端损失函数更新值Δloss中，同时服务器端设置计时器衡量各个客户端的性能信息以及识别离线客户端；S3服务器端更新，服务器端采用联邦学习中服务器端模型优化算法根据聚合后的服务器端模型参数更新值Δgrad更新服务器端机器学习模型参数随后根据服务器端损失函数值判断是否收敛，即对于一个设置好的收敛判定值，满足服务器端损失函数值随后根据整体训练进程D判断系统整体位于快速收敛阶段或慢速收敛阶段，并结合参与聚合的C部分客户端j的性能信息tj调整C部分客户端对应的本地运行参数Ej和服务器端使用的聚合参数C；步骤S3包括如下步骤：S31服务器根据S2中的损失函数更新值感知不同客户端和系统整体所处在的训练进程；步骤S31包括如下步骤：S311服务器端根据S21中收到的损失函数更新值感知不同客户端j所处的训练进程值：S312服务器端根据S23中聚合后的服务器端损失函数更新值感知整体训练进程值：D←D-Δloss，同时服务器端也会根据更新后的整体训练阶段判断是否实现收敛，若收敛即D0则跳至S4后结束计算；S32服务器端根据S31中的训练进程判断当前所处训练阶段，随后通过训练阶段效用函数G结合各个参与聚合的客户端j的运行性能和训练进程设置下一轮计算使用的聚合参数C以及本地计算周期Ej；步骤S32包括如下步骤：S321服务器端首先通过整体训练进程值D判断系统整体位于快速收敛阶段或慢速收敛阶段，随后根据所有参与聚合的客户端的训练进程值∑k∈CDk和运行性能∑k∈Ctk调整每一个参与聚合的客户端j本地计算周期:当时为快速收敛阶段，当时为慢速收敛阶段，k为参与聚合的客户端的序号；S322服务器端根据系统整体位于的训练阶段、S321调整后的本地运行参数以及所有参与聚合的客户端所发送的性能参数采用贝叶斯优化算法调整聚合部分参数C：类比S321根据整体训练进程值判断当前训练阶段，若时，设置为优化目标函数采用贝叶斯优化求解出当前最优C；若时，设置为优化目标函数采用贝叶斯优化求解出当前最优聚合参数C；S323服务器端将S321中的客户端应该使用本地训练周期发送给参与聚合的客户端S33服务器端根据联邦学习中服务器端模型优化算法，按照聚合后的客户端数据更新服务器端机器学习模型参数，所述服务器端模型优化算法包括联邦平均法、带动量信息的联邦平均法；S4客户端更新，服务器端向所有参与聚合的客户端发送信息，所有参与聚合的客户端j，j∈C，更新本地机器学习模型参数wj为服务器端机器学习模型参数即箭头表示赋值，以及更新本地运行参数为服务器端调整后的Ej，若在S3中服务器端判断为未收敛则所有参与聚合的客户端均跳转至S1开始新一轮计算即对所有参与聚合的客户端j，j∈C，令i←j采用更新和调整后的wj与Ej运行本地计算，未参与聚合的客户端则保持等待。

全文数据：

权利要求：

百度查询： 南京大学 一种基于训练阶段感知策略的联邦学习训练方法