恭喜西北工业大学郭斌获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜西北工业大学申请的专利一种基于模型拆分的混合联邦学习方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116911408B 。
龙图腾网通过国家知识产权局官网在2025-06-20发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310298785.4,技术领域涉及:G06N20/20;该发明授权一种基于模型拆分的混合联邦学习方法是由郭斌;古航;於志文;孙文;刘佳琪;梁韵基;王柱设计研发完成,并于2023-03-24向国家知识产权局提交的专利申请。
本一种基于模型拆分的混合联邦学习方法在说明书摘要公布了:本发明公开了一种基于模型拆分的混合联邦学习方法,首先提出自适应模型拆分算法,对设备模型进行拆分,以减少模型传输带来的开销。其次基于拆分学习对设备参数进行优化,并提出多粒度模型聚合算法对不同层次的模型进行簇聚合。最后通过实验证明了本方法通过共享少量数据,在不降低全局模型精度的情况下,显著减少了系统中的数据传输量。
本发明授权一种基于模型拆分的混合联邦学习方法在权利要求书中公布了:1.一种基于模型拆分的混合联邦学习方法,其特征在于,包括以下步骤: 步骤1:集中式学习; 混合联邦学习模块用于收集共享数据以及训练辅助模型; 混合联邦学习模块收集共享数据的样本和标签至辅助服务器,采用基于差分自编码器的方法训练标签提取器;标签提取器用于提取标签的分布情况,学习标签在低维空间中的平滑隐藏表达,获取标签的隐变量,避免将共享数据的标签传输给设备时造成的隐私泄露; 标签提取器模块采用无监督学习方法,基于变分自编码器实现生成模型,训练时额外加入噪音以提高编码效率;将标签提取器与共享数据的标签编码发回给设备;设备利用标签提取器获取本地数据的标签编码,并计算本地标签编码与共享数据标签编码的差异性,作为模型拆分的基准; 同时基于共享数据训练辅助模型; 步骤2:模型拆分; 采用自适应模型拆分算法对每个设备模型进行纵向拆分,拆分后得到设备子模型以及设备尾模型;所述自适应模型拆分算法是基于深度学习网络的特征提取,将设备模型拆分为提取通用特征的设备子模型以及提取任务相关特征的设备尾模型; 步骤3:联合训练; 联合训练指对于拆分后的设备子模型,联合辅助服务器上的辅助模型,共同训练全局联邦模型; 采用基于标签共享的拆分学习方法,具体为:首先,对于每个设备,本地样本首先被输入至设备子模型中,逐层进行梯度前向传播;其次,对子模型的最后一层的输出值,传输至辅助服务器中,同时也会传输该样本对应的标签以及子模型分割信息;再次,服务器收到激活值后,在辅助模型的对应层之后继续完成梯度的前向传播,直到辅助模型的最后一层基于损失函数和标签计算误差值;最后,误差将被反向传播,反方向传回设备子模型的每一层,对模型参数进行更新; 步骤4:联邦训练过程; 设计多粒度聚合算法,以完成异构模型参数聚合,获得全局模型; 所述多粒度聚合算法对子模型进行分层参数聚合,对于拆分后层次不同的子模型,基于在辅助服务器上对应更新的尾模型,进行模型拼接,拼接后所有模型的层数相同,再使用联邦平均算法进行模型聚合; 步骤5:全局模型分发; 各设备接收到全局模型后,替换自己的本地模型;重复步骤3和步骤4步直到全局模型精度收敛到目标精度。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人西北工业大学,其通讯地址为:710072 陕西省西安市友谊西路;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。