买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：沈阳航空航天大学

摘要：本发明公开一种基于实体对注意力机制的实体关系联合抽取方法，涉及自然语言处理技术领域；具体为：对数据集进行处理，得到实体及实体间关系；构建基于实体对注意力机制的实体关系联合抽取模型，编码层采用嵌入式表示表征句子中字符级、词级和词性共三种不同粒度的特征，获得句子的初始编码，实体识别层使用Bi‑LSTM神经网络结合CRF层进行实体抽取，关系抽取层将抽取的实体配对，使用基于实体对注意力机制的句子编码模块进行实体间关系抽取；通过训练实体关系联合抽取模型，并对模型进行测试，再依据测试结果更新模型。本发明可从非结构化文本中提取实体关系三元组，实现非结构化文本的知识化，适用于大规模知识图谱的自动构建。

主权项：1.一种基于实体对注意力机制的实体关系联合抽取方法，其特征在于：对数据集分句、去重、分词、构建字典，获得实体以及实体间关系；构建基于实体对注意力机制的实体关系联合抽取模型，所述实体关系联合抽取模型包括：用于获得句子初始编码的编码层、用于从句子中抽取实体的实体识别层、用于抽取实体间关系的关系抽取层；设定实体识别和关系抽取的损失函数，将实体识别的损失函数和关系抽取的损失函数联合，完成对实体关系联合抽取模型的训练和测试，并根据测试结果对实体关系联合抽取模型进行更新；所述构建基于实体对注意力机制的实体关系联合抽取模型，具体包括以下步骤：S2.1：编码层采用嵌入式表示表征句子中各词的字符级、词级和词性共三种不同粒度的特征，通过拼接形成复合特征表示，获得句子的初始编码X；S2.2：实体识别层将句子的初始编码X输入到Bi-LSTM神经网络中，利用Bi-LSTM神经网络实现对句子特征的深度提取，输出各词对应的隐状态h，结合CRF层完成对实体标签序列的预测，通过解析实体标签序列获得从句子中抽取的实体；S2.3：关系抽取层对抽取的实体进行配对，使用基于实体对注意力机制的句子编码模块，分别生成实体对注意力机制下的句子表示S，后融合实体对的信息，得到增强的句子表示S*，输入前馈神经网络，抽取实体间关系；所述S2.1具体包括以下步骤：S2.1.1：采用嵌入式表示将每条句子中的词和词性分别表征成为向量xw和xpos；S2.1.2：对每条句子中的词，使用卷积神经网络获得词所对应的字符级的向量表示xc；S2.1.3：将得到的xw、xpos和xc拼接得到每个词的复合特征表示表示向量拼接，获得句子的初始编码X＝[x1,x2,…,xn]；所述S2.2具体包括以下步骤：S2.2.1：对每条句子，将句子的初始编码X＝[x1,x2,…,xn]输入到Bi-LSTM神经网络中，输出各词对应的隐状态表示向量拼接，完整隐状态序列记为H＝[h1,h2,…,hn]；S2.2.2：将完整的隐状态序列H输入到全连接层，输出一组与实体类别长度相同的向量表示hs；S2.2.3：将S2.2.2输出的向量表示接入CRF层，利用CRF层进行实体标签的结构化预测，得到一组全局最优的标签序列ys；S2.2.4：通过全局最优的标签序列ys解析出句子中存在的实体，完成实体识别；所述S2.3具体包括以下步骤：S2.3.1：将抽取出的实体配对，分别将配对实体对应的隐状态hi进行拼接和填充，得到实体e1和实体e2的初始表示和其中，a、b分别表示构成实体e1和实体e2的单词对应隐状态的开始位置，p、q分别表示构成实体e1和实体e2的单词数，m表示实体填充后的词长度，表示向量拼接；S2.3.2：将e1和e2分别引入全连接层输出配对实体的嵌入式表示和拼接和得到实体对嵌入式表示uep；S2.3.3：将S2.2.1得到的各词对应的隐状态hi与实体对嵌入式表示uep，作为实体对注意力机制计算的依据，根据公式αi＝Attentionhi,uep,i∈[1,n]计算实体对注意力权重α＝[α1,α2,…,αn]；S2.3.4：根据S2.2.1得到的各词对应的隐状态hi和实体对注意力权重αi,i∈[1,n]，按照公式计算得到句子的嵌入式表示S，再将S与实体对嵌入式表示uep融合得到增强的句子嵌入式表示S*；S2.3.5：将得到的增强的句子嵌入式表示S*输入前馈神经网络，实现对配对实体间关系的预测，从而完成关系的抽取；所述实体对注意力机制公式αi＝Attentionhi,uep,i∈[1,n]具体为：计算实体对注意力下句子中第i个词的重要度wi，如式1所示：wi＝VTtanhWhhi+Wuuep1其中，Wh、Wu和V表示权重矩阵参数，VT表示V的转置；通过softmax对句子中各词的重要度w＝[w1,w2,…,wn]进行归一化操作，得到句子对应的实体对注意力权重α＝[α1,α2,…,αn]，其中，第i个词的注意力权重αi计算如式2所示： 所述对实体关系联合抽取模型进行更新，具体包括以下步骤：S3.1：根据S2.2中抽取的实体，结合实体的真实标签，设定实体识别的损失函数为负对数似然函数形式Lner＝-∑s∈SlogPys|hs；θ，其中，hs表示S2.2.2中获得的与实体类别长度相同的向量表示，ys表示S2.2.3中通过CRF层获得的全局最优的标签序列，θ表示CRF层中涉及的参数；S3.2：根据S2.3中抽取的实体间关系yj，结合实体间关系的真实标签，采用负对数似然损失函数计算关系抽取的损失值，记为其中，P表示yj与相等的概率；S3.3：采用联合损失函数的方式计算总损失值L＝Lner+Lrel；S3.4：利用测试集对基于实体对注意力机制的实体关系联合抽取模型进行测试，记录模型的准确率、召回率和F1值，作为检测模型效果的评价指标，并加以保存；S3.5：通过修改超参数对基于实体对注意力机制的实体关系联合抽取模型重复测试，保存测试结果F1值最高的超参数作为模型最终超参数；所述超参数包括学习率、迭代次数；S3.6：对基于实体对注意力机制的实体关系联合抽取模型结果进行分析，通过设定的F1值验证模型的有效性。

全文数据：

权利要求：

百度查询： 沈阳航空航天大学 一种基于实体对注意力机制的实体关系联合抽取方法