买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜浙江工业大学申请的专利一种句法信息注意力引导的图卷积网络关系抽取方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114692602B 。

龙图腾网通过国家知识产权局官网在2025-04-29发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210290585.X，技术领域涉及：G06F40/211；该发明授权一种句法信息注意力引导的图卷积网络关系抽取方法是由张元鸣;杨伟杰;肖刚;陆佳炜;王琪冰;王自立;林正;王学斌设计研发完成，并于2022-03-23向国家知识产权局提交的专利申请。

本一种句法信息注意力引导的图卷积网络关系抽取方法在说明书摘要公布了：本发明公开了一种句法信息注意力引导的图卷积网络关系抽取方法，包括以下步骤：1基于BERT预训练模型的字向量表示；2基于双向长短期记忆网络来对每个单词进行上下文编码，得到包含上下文信息的每个单词的向量表示；3融合句法依赖类型信息的图卷积网络词节点特征表示；4通过得到的句子向量的特征表示进行关系抽取。本发明在关系抽取模型建模中考虑了依存类型信息，提高了关系抽取模型的性能。

本发明授权一种句法信息注意力引导的图卷积网络关系抽取方法在权利要求书中公布了：1.一种句法信息注意力引导的图卷积网络关系抽取方法，其特征在于，包括以下步骤：1基于BERT预训练模型的字向量表示：BERT通过联合调节所有层中的双向Transformer来预训练深度双向表示，利用BERT的BertModel类构造BERT结构，然后将输入的自然语言文本序列输入到BERT特征表示层中，对文本中的每个单词进行编码得到单词的向量表示：x＝x1，x2，x3…xn12biLSTM上下文编码：首先将输入的单词向量输入到一个双向长短期记忆网络中，生成上下文表示，然后在模型中作为图卷积网络的输入计算如下：it＝σWixxt+Wihht-1+bi2ft＝σWfxxt+Wfhht-1+bf3ot＝σWoxxt+Wohht-1+bo4 其中，W、b分别表示连接两层的权重矩阵和偏置向量，σ是sigmoid激活函数，为点乘运算，xt为输入向量，it，ft和ot分别为t时刻的输入门、遗忘门和输出门，表示t时刻的状态，ht则为t时刻隐藏层的输出；对输入序列分别采用顺序和逆序的方式计算后得到两种不同的隐藏层表示和然后通过向量拼接的方式得到最终的隐藏层表示，也就是图卷积层的输入表示，公式如下： 3融合句法依赖类型信息的图卷积网络词节点特征表示：将依赖关系类别引入到图注意力网络中，利用具有大量有用信息的依赖关系类型，通过注意力机制，根据依赖关系计算不同依赖边的权重，让模型能够区分不同的依赖边的重要性；3.1构建句法依存树：对于输入的句子，通过StanfordParser工具对句子进行句法依存分析，生成句子对应的句法依存树；3.2构建依赖类型矩阵：首先根据构建的句法依存树，采用一个邻接矩阵A＝Aijn*n来表示依存树，其中Aij表示单词xi和单词xj是否存在依赖边，若存在则Aij＝1，若不存在则Aij＝0，然后根据邻接矩阵A，构建依赖类型矩阵T＝ti,jn*n,其中ti,j表示单词xi和单词xj之间的依赖关系类型，将矩阵T中的每个关系类型ti,j映射到对应的向量表示3.3依赖边权重计算：在图卷积网络GCN第l层，单词xi和单词xj之间的依赖边的权重计算如下： 其中，·表示内积运算符，和是单词xi和单词xj的中间向量，它们的计算如下： 其中，表示向量拼接操作；其中和分别表示l-1层单词xi和单词xj的输出表示；3.4图卷积网络节点特征表示：将得到的作为单词xi和单词xj之间的依赖边的权重，通过图卷积操作得到每个单词xi输出表示，计算如下： 其中，在第l层图卷积中，Wl是为权重矩阵，bl是一个偏置向量，σ是一个ReLU激活函数，表示融合了依赖类型信息的单词xj的表示，计算方式如下： 其中，的作用就是将依赖类型向量变成与相同维度的向量；4关系抽取：4.1最大池化层降维：在进行关系抽取前，首先将句子X＝x1，x2，…，xn-1，xn通过BERT进行词嵌入得到每个词的向量表示xi，并将其输入到GCN中，经过L层的图卷积操作之后得到句子X对应的特征向量表示然后将整句句子的表示以及两个实体的表示和送入一个最大池化层进行降维，计算如下： 其中E1，E2分别表示需要抽取关系的两个实体；4.2关系预测：将得到的句子表示hx和两个实体的表示hE1，hE2通过一个可训练得到的矩阵WR进行如下处理；最后，通过一个softmax分类器从关系集合Y中预测句子中实体E1和E2的关系类别，计算如下： 其中bR表示一个偏置向量； 4.3最小化损失函数：利用带L2正则项的负对数似然函数作为损失函数： 其中，L2正则项度量的是各个系数的绝对值大小，将其作为惩罚项加入损失函数，迫使最优解的各系数接近0，m代表样本的个数，t是关系类别的one-hot向量，是softmax的输出类别概率向量，λ是正则化参数，θ是关系抽取模型的训练参数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江工业大学，其通讯地址为：310014 浙江省杭州市拱墅区潮王路18号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。