买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：湘江实验室

摘要：本发明提供了一种基于混合精度量化与模拟退火剪枝的联邦学习训练方法，通过中央服务器对原始全局模型进行初始化和量化处理后与训练任务同时下发至多个本地工业设备进行反量化处理并通过本地工业产品图像进行训练，得到本地模型；在每个本地工业设备对本地模型进行混合精度量化和剪枝，得到量化损失函数和剪枝后的损失函数；每个本地工业设备根据量化损失函数和剪枝后的损失函数计算综合损失对本地模型进行迭代更新后上传至中央服务器进行反量化处理并聚合得到是否满足预设训练条件的全局模型；若是，则训练结束；否则，将全局模型作为原始全局模型，并返回执行进行初始化和量化处理；有效提升了联邦学习整体的通信和数据传输效率。

主权项：1.一种基于混合精度量化与模拟退火剪枝的联邦学习训练方法，其特征在于，包括：步骤1，中央服务器对原始全局模型的模型参数进行初始化，得到初始化全局模型，并将所述初始化全局模型进行量化处理后与训练任务同时下发至多个本地工业设备；步骤2，针对每个所述本地工业设备，所述本地工业设备对量化后的初始化全局模型进行反量化处理，并通过所述本地工业设备采集的本地工业产品图像对反量化后的初始化全局模型进行训练，得到本地模型；步骤3，在每个所述本地工业设备中，根据所述本地模型的模型参数的敏感特性选择多尺度位宽，并通过所述多尺度位宽对所述本地模型中不同的网络层进行混合精度量化，得到量化损失函数；所述步骤3包括：在每个所述本地工业设备中，通过对所述本地模型中每一个网络层的权重值标准差与所述本地模型中所有网络层权重标准差所组成数列的四分位点进行比较，自动选择量化位宽；通过所述量化位宽计算量化缩放因子；通过所述本地模型的模型参数、所述量化缩放因子计算零基准值；通过所述量化缩放因子和所述零基准值求解得到量化后的本地模型的模型参数；利用所述量化后的本地模型的模型参数、所述零基准值、所述量化缩放因子对所述量化后的本地模型进行反量化处理后得到量化损失函数；步骤4，在每个所述本地工业设备中，通过增强型模拟退火搜索算法求解所述本地模型的层剪枝率，并利用所述层剪枝率对所述本地模型进行剪枝，得到剪枝后的损失函数；步骤5，每个所述本地工业设备根据所述量化损失函数和所述剪枝后的损失函数计算综合损失，并利用所述综合损失对所述本地模型进行迭代更新，得到本地稀疏模型并上传至所述中央服务器；步骤6，所述中央服务器分别对所有本地稀疏模型进行反量化处理，并将所有经过反量化处理后的本地稀疏模型进行聚合，得到全局模型；步骤7，判断所述全局模型是否满足预设训练条件；若是，则训练结束，得到用于工业产品表面缺陷检测的全局模型；否则，将所述全局模型作为所述步骤1中的原始全局模型，并返回执行步骤1。

全文数据：

权利要求：

百度查询： 湘江实验室 一种基于混合精度量化与模拟退火剪枝的联邦学习训练方法