买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明公开一种基于联邦学习的联合抽取模型构建的方法及装置，中央服务器将联合抽取模型发送给客户端，客户端训练联合抽取模型；中央服务器接受客户端对其共享数据集的访问，使各客户端的联合抽取模型生成实体预测标签分布和关系预测标签分布；中央服务器将各客户端的实体预测标签分布加权求和作为中央服务器的联合抽取模型的实体预测标签分布，中央服务器将各客户端的关系预测标签分布加权求和作为中央服务器的联合抽取模型的关系预测标签分布，从而训练中央服务器的联合抽取模型，中央服务器直至中央服务器的联合抽取模型收敛。本发明在保护数据隐私的前提下，间接使用各方的数据协同训练联合抽取模型，且可减少模型更新过程中的通信压力。

主权项：1.一种基于联邦学习的联合抽取模型构建方法，其特征在于，包括：中央服务器将联合抽取模型发送给各客户端，各客户端使用本地数据训练所述联合抽取模型，所述联合抽取模型包括嵌入层、编码层和解码层，嵌入层将输入文本序列转化为词向量序列，所述编码层对所述词向量序列编码，所述解码层将编码层的输出生成实体预测标签分布和关系预测标签分布；中央服务器接受各客户端对其共享数据集的访问，使得各客户端的联合抽取模型生成实体预测标签分布和关系预测标签分布，所述中央服务器接收各客户端所生成的实体预测标签分布和关系预测标签分布；中央服务器将各客户端的实体预测标签分布加权求和作为中央服务器的联合抽取模型的实体预测标签分布，中央服务器将各客户端的关系预测标签分布加权求和作为中央服务器的联合抽取模型的关系预测标签分布，从而训练中央服务器的联合抽取模型，中央服务器将联合抽取模型重复发送给各客户端，并利用各客户端发送的实体预测标签分布和关系预测标签分布重复训练中央服务器的联合抽取模型，直至中央服务器的联合抽取模型收敛，所述嵌入层对于文本中任一个词，都采用包括词嵌入wt、字符嵌入Ct、上下文嵌入gt和预训练词向量pt结合来表示，所述上下文嵌入gt采用依次连接的双向LSTM和self-attention层获得，上下文嵌入gt计算过程如下：Q＝Wq*HK＝Wk*HV＝Wv*H 其中Q，K，V分别由词嵌入经过线性变换得到；d表示词嵌入向量维度；Wq、Wk、Wv属于可训练参数，在模型的训练过程中生成；Attention是self-attention中的attention函数，用来计算输入文本序列中每个词语的全局表示gt，softmax是激活函数，其计算公式为其中ei表示上述式子中的T表示矩阵计算中的转置操作，所述编码层为多层，且每一层都有序列编码器和表格编码器，每一层序列编码器和表格编码器相互传递信息，所述序列编码器采用LSTM编码器，所述表格编码器采用二维LSTM编码器，所述表格编码器中当前时刻的隐状态包括当前时刻的输入、前一时刻该位置的隐状态和当前时刻该位置周围的四个隐状态，其计算公式为：Tl，i，j＝TD-LSTMXl，i，j；Tl-1，i，j；Tl，i-1，j，Tl，i+1，j，Tl，i，j-1，Tl，i，j+1，其中，Tli，j表示表格编码器的隐状态；l表示层数；i和j表示表格的位置，Tl，i-1，j，Tl，i+1，j，Tl，i，j-1，Tl，i，j+1分别表示当前时刻该位置周围的四个隐状态；TD-LSTM表示二维LSTM编码器。

全文数据：

权利要求：

百度查询： 北京爱医声科技有限公司 一种基于联邦学习的联合抽取模型构建的方法及装置