首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

一种面向电网数据隐私保护的联邦学习测试方法 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:山东智和创信息技术有限公司

摘要:本发明属于联邦学习及众包领域,提出一种面向电网数据隐私保护的联邦学习测试框架,包括步骤如任务生成、招募测试参与者、模型测试与聚合以及测试质量评估,采用留一法生成任务,通过数学方法对招募问题进行定义与约束并采用探索‑利用的方法来对招募问题进行求解。本发明基于联邦学习的方法,引入了一个基于众包的模型测试框架,允许每个参与众包的客户端利用自己本地的数据集测试模型,解决了测试集构建的问题,同时还通过在评估过程中引入基于相关一致性机制的信誉机制来解决确保参与客户端提供真实和高质量的评估,增强整个模型训练过程的可信度与效能,最终促进智能电网的高效、可靠和安全运行。

主权项:1.一种面向电网数据隐私保护的联邦学习测试方法,其特征在于,包括以下步骤:S1、任务生成,采用留一法生成任务,在每轮联邦学习的模型训练结束后,通过每次移除一个客户端的模型,剩余的N-1个客户端的模型按其数据量大小进行汇总,得到N个模型;还有一个全局聚合模型,无需删除任何客户端,将其也作为一个模型进行测试,共有N+1个模型用于测试;S2、招募测试参与者,目标是确定最少的参与者数量,以确保合并后的本地数据集能够充分支持对模型准确率的评估需求,通过数学方法对招募问题进行定义与约束;采用探索-利用的方法来对招募问题进行求解,所述探索与利用方法将整个联邦学习过程分为探索阶段和利用阶段,在探索阶段中,随机招募一批测试参与者,了解不同参与者之间的数据集大小和分布的差异,在获取了数据的期望值和方差信息之后,进入利用阶段,根据探索阶段获得的数据统计信息,确定可以满足模型质量评估准确率要求的最优参与者数量;S3、模型测试与聚合,每位参与者负责根据分配给他们的任务,使用自己的本地数据集来评估所分配模型的性能,并提交其评估结果;引入一个加权机制以确保这些评估结果的公正性与可信度;在所述加权机制中,每位客户端的数据量相对于总数据量的比例被用作加权因子,用以对其提供的结果进行加权处理;S4、测试质量评估,引入相关一致性机制,利用相关性评分来确定每个客户端在模型聚合中的贡献程度,有效地识别出低质量的测试结果,并排除恶意以及不可靠的测试客户端;比较客户端在相同测试任务上的结果相关性来评估其贡献的有效性,在决定客户端在未来任务中被选中的概率的同时,奖励其有效的贡献,进而提高测试结果的可靠性和整体质量;在步骤S2中采用的数学方法包括如下步骤:S2-1、对招募问题进行定义:目标是确定要招募的最小测试客户端数n,使得所有测试客户端所利用的数据总量小于m的概率小于给定阈值θ:其中,K为所选测试客户端的集合,τi表示测试客户端i执行模型测试任务所使用的数据量,表示所有测试客户端所利用的数据总量;S2-2、设所有的随机变量τi服从同一个高斯分布,即τi~Nμ,σ2,其概率密度函数为其中σ是标准差,μ是期望值;S2-3、令表示n个随机变量的和,Tn具有高斯分布的特征,表示为:Tn~Nnμ,nσ2,其中,n是选择的测试客户端的数量,σ和μ分别是概率密度函数为fτ中的标准差和期望值;S2-4、将S2-1中的约束条件表示为:其中,表示随机变量Tn的累积分布函数,下标nμ和nσ2表示随机变量Tn的期望值和方差,省略保持不变的期望值μ和标准差σ,将表示为:Fn·;S2-5、随着n的增加,Fn·的值减小,将S2-4中的约束条件表示为:S2-6、根据探索-利用方法来获得步骤S2-5中期望值μ和方差σ2;所述探索-利用方法包括如下步骤:S2-61、探索阶段:随机选择l个测试客户端,获取其收集的数据量信息,记为W={wi∣i=1,2,…,l},其中,wi表示测试客户端i使用的本地数据集中的样本数量,由测试客户端自己报告;l个测试客户端报告的数据的期望值为方差S2-62、利用阶段:得到期望值μ和方差σ2后,拟合累积分布函数然后使用二分查找来确定n的值;随着n的增加,nμ和nσ2也会增加,通过将n、nμ和nσ2带入步骤S2-5的约束条件确定满足约束的阈值,确定所需的参与者数量;所述相关一致性机制包括如下步骤:S4-1、将一组任务集合T={ti∣i=1,2,…,x}分发给一个测试客户端群体A={ai∣i=1,2,…,k},其中,每个任务代表着待评估的模型参数,每个测试客户端ai接收到完整的任务组,并且每个任务由不同的测试客户端完成;每个测试客户端ai利用其本地数据测试相应的模型参数,并报告模型准确率ηi。S4-2、相关一致性机制是基于Δ矩阵构建的,将定义为测试客户端ai在任务tp上的测试结果,该矩阵描述了和之间的相关性;利用所接收到的准确率来计算相关矩阵Δ,相关矩阵Δ的计算公式为: 其中,表示测试客户端ai在任务tp上的结果和另一个测试客户端aj在同一任务tp上的结果的联合概率;和表示边缘概率;当Δa,b0时,表示两个结果之间存在正相关关系;如果Δa,b=0,则表示a和b是独立的;否则,它们之间存在负相关关系;S4-3、假设矩阵中至少存在一个非零元素,评分函数S·的定义如下: S4-4、采用表示测试客户端ai对任务tp的贡献,将表示为: 其中,表示客户端i对任务p的准确率;S4-5、计算每个客户端对任务的总贡献后,根据贡献值排序,对于贡献值低于中位数的客户端的准确率将不被包括在聚合过程中。

全文数据:

权利要求:

百度查询: 山东智和创信息技术有限公司 一种面向电网数据隐私保护的联邦学习测试方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。