买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜华东师范大学申请的专利一种基于并行过参数化的高效联邦学习稀疏训练方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114925847B 。

龙图腾网通过国家知识产权局官网在2025-04-08发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210405425.5，技术领域涉及：G06N3/082；该发明授权一种基于并行过参数化的高效联邦学习稀疏训练方法是由郑海坤;卢兴见;刘文炎设计研发完成，并于2022-04-18向国家知识产权局提交的专利申请。

本一种基于并行过参数化的高效联邦学习稀疏训练方法在说明书摘要公布了：本发明公开了一种基于并行过参数化的高效联邦学习稀疏训练方法，旨在同时降低联邦学习的训练和通信开销，该方法属于联邦学习以及模型稀疏训练的交叉领域。具体包括以下步骤：S1、稀疏初始化，服务端将原始密集网络稀疏化；S2、寻找最优稀疏网络结构，通过将客户端分组执行并行参数探索达到并行过参数化，并在此基础上随着训练的推进动态地优化全局稀疏网络结构；S3、稀疏训练，使用步骤S2所寻找到的最优稀疏网络结构，由全部客户端所共享并继续训练至收敛。在联邦学习场景下，当采用VGG11网络在CIFAR10数据集上训练时，本发明仅使用原始模型5%的参数就能在准确率方面与其持平，并降低了71.8%的FLOPs计算开销和91.3%的通信开销。

本发明授权一种基于并行过参数化的高效联邦学习稀疏训练方法在权利要求书中公布了：1.一种基于并行过参数化的高效联邦学习稀疏训练方法，其特征在于，该方法包括如下步骤：S1、稀疏初始化，服务端将原始密集网络稀疏化；S2、寻找最优稀疏网络结构，通过将客户端分组执行并行参数探索达到并行过参数化，并在此基础上随着训练的推进动态地优化全局稀疏网络结构；S3、稀疏训练，使用步骤S2所寻找到的最优稀疏网络结构，由全部客户端所共享并继续训练至收敛；其中：所述步骤S1具体包括：服务端在联邦学习开始前根据模型参数的连接敏感性对原始密集网络进行稀疏化；定义模型的稀疏度S为被裁剪掉的参数数量与总参数量之比，使用二进制掩码M∈{0，1}|θ|来表示原始网络的参数是否被保留下来，即代表了稀疏网络的结构；从一个给定的原始密集网络θ出发，在训练开始之前，服务端使用一个小批次的数据送入原始网络计算一次前向传播，进而计算每个模型参数对损失函数L的连接敏感性分数gθ： 其中⊙为Hadamard内积，保留敏感性分数绝对值|gθ|最高的k个参数组成稀疏度为1+f×S的初始全局稀疏网络结构MG，其中k＝1-S-1-Sf×|θ|，f是被预留用于探索新参数的总参数量与稀疏程度为S的总参数量之比；所述步骤S2的目标是获得最优稀疏网络结构M，具体包括：S2-1、客户端分组：服务端将全部客户端随机分成Z组；S2-2、并行过参数化：每隔ΔT个通信轮次动态演化更新稀疏网络的结构；基于全局稀疏网络结构MG，服务端为每一个组j，在原始密集网络的参数空间内随机探索f比例的新参数以维持总的稀疏度S不变，以此组成新的稀疏网络结构Mj，然后服务端将Mj下发给组j的每个客户端；通过合并各组之间的协同合作所探索覆盖到的参数，使得单次参数探索的参数覆盖率是现存动态稀疏训练方法的Z倍，当探索到的参数覆盖到了原始模型的全部参数时，就能在空间角度上达到另一种过参数化形式一一并行过参数化，并由此获得一个并行过参数化模型θPOP：θPOP＝[θ⊙M1，θ⊙M2，...，θ⊙Mz]2运算符[...]表示先分别独立计算每个部分，然后再把每个部分合并到一起；S2-3、本地训练：在客户端的本地训练中，位于组j中的客户端i应用稀疏网络结构Mj在自己本地的数据集Xi上，以学习率η迭代更新本地模型： 当服务端与客户端之间通信时，只需根据掩码发送保留下来的参数即可，另外掩码的每个比特位代表对应参数是否保留，当原始模型采用32位的浮点数时，掩码只占用了132的额外通信开销；S2-4、模型聚合：并行过参数化导致了模型异构的问题；为了保留不同稀疏网络结构的特有属性，将每个模型划分为两个组成部分：1公共部分参数θPublic，本部分参数对应于全局稀疏结构MG，被所有客户端所共享，因此所有客户端都参与公共部分参数的聚合；2私有部分参数θPrikvate，即新探索的参数，每个组都不相同，因此该部分只有同一组内的客户端参与聚合；假设共有η个客户端参与训练，其中有nj个客户端属于组j，则组j聚合后的新模型为： 其中|Di|表示客户端i的数据量，和分别代表客户端i的公共和私有部分参数；S2-5、参数遴选：每隔ΔT个通信轮次，基于当前的并行过参数化模型θPOP，根据式1计算|gθPOP|，选取top-k个最具潜力的参数去更新全局稀疏网络结构MG，以此作为下一轮参数探索的起始，直到所设定的轮次Tend为止；所述步骤S2中的步骤S2-2和步骤S2-5每隔ΔT个通信轮次执行一次，直到预设的轮次Tend为止，而步骤S2-3和步骤S2-4在每个通信轮次均进行；f的值从α开始并逐渐在预设的Tend轮衰减为0以逐渐确定全局稀疏网络的结构：f＝0意味着最优稀疏网络搜寻的工作结束，这时候最终的MG正是所期望的最优稀疏网络结构M；整个训练的过程中一直采用的是稀疏网络结构以达到同时降低计算和通信开销的目的。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华东师范大学，其通讯地址为：200241 上海市闵行区东川路500号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。