申请/专利权人：东北大学

申请日：2024-01-30

公开（公告）日：2024-07-05

公开（公告）号：CN117689009B

主分类号：G06N3/098

分类号：G06N3/098;G06N3/045;H04L67/01

优先权：

专利状态码：有效-授权

法律状态：2024.07.05#授权;2024.03.29#实质审查的生效;2024.03.12#公开

摘要：本发明属于个性化联邦学习场景下的通信优化技术领域，公开了一种面向正则化个性化联邦训练的通信优化方法。该方法通过理论分析得到基于部分层正则项损失函数的泛化上界，并比较基于部分层正则项损失函数和全部层正则项损失函数的泛化上界，得到筛选上传层的条件，有效解决了个性化联邦训练中的通信代价高、现有通信优化方法没有理论分析的问题。该方法不仅能降低通信代价，而且不会降低模型性能，同时不会增加计算负载，对于真实的个性化联邦环境具有相当的适用价值。

主权项：1.一种面向正则化个性化联邦训练的通信优化方法，其特征在于，包括步骤如下：第一步，服务器下发个性化的服务器模型；步骤1-1、服务器进行用户选择；步骤1-2、服务器为所选用户生成个性化的服务器模型并下发；第二步，用户利用服务器模型的参数构建正则项指导本地深度神经网络模型的更新；所述服务器模型分为全层服务器模型和部分层服务器模型；全层服务器模型为具有全部层参数的服务器模型；部分层服务器模型为通过深度神经网络层选择之后，具有部分层参数的服务器模型；全层服务器模型构建的正则项为全层正则项；部分层服务器模型构建的正则项为部分层正则项；第三步，用户对待上传到服务器上的本地深度神经网络模型进行深度神经网络层选择；步骤3-1、获取深度神经网络层选择过程中的固定参数；根据用户i的数据集，得到该数据集的类别数量ci、所有样本数量mi；根据用户i的本地深度神经网络模型，得到本地深度神经网络模型的层数L、每l层神经网络层参数矩阵的列数nl，l∈[1，L]；步骤3-2、估计深度神经网络层选择过程中需要的参数；包括：用户i使用全层正则项训练得到的本地深度神经网络模型wi中第l层参数F范数的上界用户i的全层正则项中第l层参数F范数的上界用户i使用部分层正则项训练得到的本地深度神经网络模型中第l层参数F范数的上界以及用户i的部分层正则项中第l层参数F范数的上界所述步骤3-2估计深度神经网络层选择过程中需要的参数，具体步骤如下；首先，估计用户i使用全层正则项训练得到的本地深度神经网络模型wi中，第l层参数F范数的上界定义如公式4所示， 其中，为用户i使用全层正则项训练得到的本地深度神经网络模型第l层的参数，||·||表示F范数；当用户第一次被选中参与联邦训练时，使用全层服务器模型，直接使用此时的服务器模型构建全层正则项训练用户模型，根据公式4计算得到当被选中的深度神经网络层数为L时，再次下发的正则项为全层正则项，使用公式5对该上界进行更新， 其中，表示用户i使用第k个通信轮次下发的全层服务器模型构建全层正则项训练得到的本地深度神经网络模型第l层参数F范数的上界值；估计用户i使用全层正则项中第l层参数F范数的上界定义如公式6所示， 其中，si为用户i的全层服务器模型，为用户i全层服务器模型中的第l层；当用户第一次被选中参与联邦训练时，使用的是全层服务器模型，根据公式6计算得到当被选中的深度神经网络层数为L时，使用公式7对该上界进行更新， 表示用户i使用第k个通信轮次下发的全层服务器模型构建的全层正则项中第l层参数F范数的上界值；估计用户i使用部分层正则项训练得到的本地模型中第l层参数F范数的上界定义如公式8所示， 表示用户i使用部分层正则项训练得到的本地深度神经网络模型中第l层的参数；当服务器下发部分层服务器模型时，在利用部分层服务器模型构建部分层正则项完成本地深度神经网络模型训练之后，利用公式9对该上界进行更新， 其中，表示用户i使用第k个通信轮次下发的部分层服务器模型构建部分层正则项训练得到的本地深度神经网络模型第l层参数F范数的上界值；最后，估计用户i使用部分层正则项中第l层参数F范数的上界定义如公式10所示， 其中，为用户i的部分层服务器模型，为用户i部分层服务器模型中的第l层；当服务器下发部分层服务器模型时，在利用部分层服务器模型构建部分层正则项完成本地深度神经网络模型训练之后，利用公式11对该上界进行更新， 其中，表示用户i使用第k个通信轮次下发的部分层服务器模型构建的部分层正则项中第l层参数F范数的上界值；步骤3-3、计算深度神经网络层选择的阈值；根据公式1计算用户i的神经网络层选择的阈值， 步骤3-4、对本地深度神经网络模型逐层判断，直到满足阈值条件；计算神经网络层选择标准中的固定项，根据公式2计算， 设置用户i被选择神经网络层数Ωi＝1，计算神经网络层选择标准中的可变项，即根据公式3计算， 其中，为第Ωi层的输出维度；最后，判断条件A·B≤M是否满足；满足则返回当前上传的层数Ωi；否则Ωj＝Ωi+1，继续执行上述计算，直到满足阈值条件；步骤3-5、上传被选择的深度神经网络层参数；第四步，服务器接收用户深度神经网络层参数并聚合；第五步，重复以上过程，直到本地深度神经网络模型收敛。

全文数据：

权利要求：

百度查询： 东北大学 一种面向正则化个性化联邦训练的通信优化方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD