买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中山大学

摘要：本申请提供的在线文字识别模型训练方法、在线文字识别方法及装置，训练方法包括：服务端在每次迭代训练时，将上一次选代训练后的初始识别模型的第一模型参数发送至各个客户端；各个客户端分别使用本地数据对接收到的第一模型参数进行迭代训练，并得到的第二模型参数上传至服务端。这样不需要将各个客户端的本地数据上传给服务端进行训练，而是将训练后的第二模型参数上传到服务端即可，以避免数据泄漏。接着通过特征分布参数可以量化各个客户端所拥有的数据的质量，进而以特征分布参数为依据确定聚合权重，使得模型更关注质量高的数据，加速模型的收敛过程，也能提高模型的精度。进而在保障用户的隐私安全的前提下提高模型的训练效率和识别精度。

主权项：1.一种在线文字识别模型训练方法，其特征在于，应用于联邦学习系统，所述联邦学习系统包括一个服务端和多个客户端；所述方法包括：所述服务端构建初始识别模型，并对所述初始识别模型进行迭代训练，在每次迭代训练时，将上一次迭代训练后的初始识别模型的第一模型参数发送至各个客户端；各个客户端分别使用本地数据对接收到的第一模型参数进行迭代训练，并将训练后得到的第二模型参数上传至所述服务端；所述服务端接收各个客户端上传的第二模型参数，以确定每个客户端的第二模型参数中的特征分布参数，根据各个特征分布参数确定各个客户端在本次迭代时的聚合权重，并根据各个聚合权重对各个客户端发送的第二模型参数进行聚合后形成本次迭代时的全局模型参数，以及，依据所述全局模型参数对所述初始识别模型的第一模型参数进行更新后，继续对所述初始识别模型进行迭代训练，直到满足预设训练条件时为止，将训练后的初始识别模型作为在线文字识别模型发送至各个客户端；其中，所述特征分布参数用于衡量其对应的本地数据的数据质量；所述根据各个特征分布参数确定各个客户端在本次迭代时的聚合权重的步骤，包括：所述服务端对各个特征分布参数进行平均求和，以确定全局特征分布参数，并根据各个特征分布参数和所述全局特征分布参数，分别确定每个客户端对应的聚合权重；其中，所述特征分布参数为对应的第二模型参数中的各个层归一化层的可学习参数的均值；其中，服务端对各个特征分布参数中的对应参数进行平均求和以形成全局特征分布参数的过程表示为公式（1）和公式（2）： （1） （2）式中，、为全局特征分布参数，、为第个客户端的特征分布参数；表示客户端的数量；按照公式（3）分别确定每个客户端对应的聚合权重： （3）式中，表示第个客户端对应的聚合权重，表示第个客户端对应的聚合权重向量，表示第个客户端对应的聚合权重向量中的第个元素，表示第个客户端对应的聚合权重向量的特征维度，其中，的表达式为公式（4）： （4）根据各个聚合权重对各个客户端发送的第二模型参数进行聚合后形成本次迭代时的全局模型参数的过程的表达为公式（5）： （5）式中，表示全局模型参数，表示第个客户端发送的第二模型参数，表示第个客户端对应的聚合权重；所述构建初始识别模型的步骤，包括：所述服务端获取笔迹点数据集，以及确定预设的目标通用模型，根据所述笔迹点数据集对所述目标通用模型进行迭代训练，以将训练完成时得到的目标通用模型确定为初始识别模型；其中，所述目标通用模型包括升维映射层、序列特征编码模块和预测层；所述升维映射层用于提取所述笔迹点数据集中的笔迹点升维特征；所述序列特征编码模块用于根据所述笔迹点升维特征确定笔迹点编码特征序列；所述预测层用于根据所述笔迹点编码特征序列确定文字识别概率向量，并更新所述目标通用模型的可学习参数；其中，将笔迹点数据集输入至升维映射层，得到笔迹点升维特征，表达式为公式（6）： （6）式中，表示笔迹点数据集中的一条数据记录，表示笔迹点升维特征，是激活函数，和为可学习参数；将笔迹点升维特征输入至序列特征编码模块中，得到笔迹点编码特征序列，其中，序列特征编码模块由z个序列特征编码层堆叠组成，第层序列特征编码层的表达式为公式（7）和公式（8）： （7） （8）式中，表示第层序列特征，，表示层数，当表示第层序列特征，即笔迹点升维特征，是通用的序列编码模型，表示层归一化层，表示第层归一化后的序列特征；确定每个客户端的第二模型参数中的特征分布参数，表达式为公式（9）和公式（10）： （9） （10）式中，和表示第二模型参数中的特征分布参数，和表示第个层归一化层的可学习参数；将笔迹点编码特征序列输入至预测层中，得到文字识别概率向量的过程表达为公式（11）和公式（12）： （11） （12）式中，是文字识别概率向量，是自适应权重，表示自适应权重的转置，、均是可学习参数，是序列特征编码模块输出的笔迹点编码特征序列。

全文数据：

权利要求：

百度查询： 中山大学 在线文字识别模型训练方法、在线文字识别方法及装置