买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：东南大学

摘要：本发明公开了一种动态环境下的知识图谱表示学习方法，对于知识图谱的表示学习任务，本发明设计了一个全新的知识图谱表示学习模型；该模型首先通过设计的一个基于注意力机制的图卷积神经网络将知识图谱中的实体和关系的上下文信息编码为向量表示，接着通过一个门策略将实体或关系的向量表示与其上下文向量结合，得到联合向量表示，最后基于联合向量表示进行训练，得到图谱中实体和关系的高质量向量表示。对于图谱更新后的增量式表示学习任务，基于上述模型设计了一个增量式表示学习算法，将每次图谱更新带来的影响限制在实体或关系各自的上下文范围内，而非整个图谱，以此方式避免重新训练所有数据，达到增量式表示学习的目标。

主权项：1.一种动态环境下的知识图谱表示学习方法，其特征在于，该方法包括如下步骤：步骤1在初始时刻τ，对于知识图谱Gτ使用一个基于上下文信息的表示学习模型进行知识图谱的表示学习训练，得到知识图谱中所有实体和关系的向量表示；步骤2在τ+1时刻，知识图谱发生更新变为Gτ+1，此时基于τ时刻的知识图谱Gτ中实体和关系的向量表示，利用增量式表示学习算法，训练得到知识图谱Gτ+1中实体和关系的新的向量表示；步骤3对于后续τ+2，τ+3...时刻，均基于上一个时刻的知识图谱中实体和关系的向量表示，利用增量式表示学习算法，训练得到此时刻知识图谱中实体和关系的新的向量表示，所述步骤1中的基于上下文信息的表示学习模型的前向传播公式为如下5个公式： 其中，A是知识图谱中给定实体或关系的邻居实体或关系构成的子图对应的邻接矩阵，I是单位矩阵，是的对角度矩阵；H0是随机初始化的节点实体或关系特征矩阵，H0中的每一行记为vi，是节点实体或关系随机初始化的一个向量表示，后续统一称之为实体或关系的上下文角色向量；Hl和Hl-1分别是第l层和第l-1层的节点特征矩阵，Hl基于公式1由Hl-1计算得到；Wl是第l层的权重参数矩阵，ReLU·=max0，·是激活函数；scorevi，ok＝uTReLUvi⊙ok2 其中vi是公式1的输出Hl中的一行，ok是给定节点o实体或关系的向量表示，u是注意力层的参数向量，⊙代表逐元素乘，ReLU·＝max0，·是激活函数，scorevi，ok刻画了vi和ok之间的相关性；αio代表每个节点vi相对于给定对象o实体或关系的权重； 其中sgo是给定对象o实体或关系的上下文子图向量，通过公式4将o的上下文子图中所有节点的向量加权求和得到；o*＝g⊙ok+1-g⊙sgo5其中o是一个实体或关系，ok是它的向量表示，sgo是它的上下文子图向量，⊙代表逐元素乘，将门向量g中的每个元素的取值范围限制在[0，1]，其中是随机初始化的一个参数向量，所有实体共用一个参数g，记为ge，所有关系共用另一个参数g，记为gr，o*代表给定对象o的联合向量表示；所述步骤2中的增量式表示学习算法包含如下步骤：步骤2-1移除所有被删除的对象实体或关系的向量表示；步骤2-2为所有新增对象实体或关系添加随机初始化的向量表示；步骤2-3收集知识图谱中所有包含新增对象实体或关系以及上下文发生改变的对象的三元组；步骤2-4基于公式7中定义的损失函数，使用随机梯度下降法来训练上述步骤2-3中收集得到的三元组，训练过程中更新的参数只包括：新增对象实体或关系的向量、新增对象实体或关系的上下文角色向量以及上下文发生改变的原有对象实体或关系的向量，其余参数保持不变。

全文数据：

权利要求：

百度查询： 东南大学 一种动态环境下的知识图谱表示学习方法