买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州电子科技大学

摘要：本发明提出一种基于依存语义注意力机制的词对上下位关系训练方法。该训练方法依次遍历词对语料库中的所有词对，对于每组词对，在文本语料库中找到所有的词对共现句，对这些共现句进行依存句法分析得到最短依存路径；利用BERT模型和依存语义注意力机制生成最短依存路径的路径向量，然后利用打分函数调整这些路径向量，将它们进行平均池化处理并融合词对的词向量得到分类器输入向量，最后将分类器输入向量通入Softmax函数进行训练。本发明能够有效挖掘句子中隐含的上下位关系，进而提高分类器的识别准确率。

主权项：1.一种基于依存语义注意力机制的词对上下位关系训练方法，其特征在于，所述方法包括以下步骤：步骤1：在文本语料库中找到词对共现句并进行依存句法分析；步骤2：使用BERT模型和依存语义注意力机制生成最短依存路径的路径向量；步骤3：利用打分函数调整路径向量并得到分类器输入向量；步骤4：训练上下位关系分类器；所述步骤2具体如下：对词对的第一个最短依存路径，为其中的每个词的融合向量都分配同样的初始权重，即第一个最短依存路径的权重向量的每一维都为1；随后将点乘第一个最短依存路径中所有词的融合向量作为BERT模型的输入，得到第一个最短依存路径的路径向量从第二个最短依存路径开始，使用依存语义注意力机制调整输入BERT模型的各个词的融合向量的权重，具体如下：将第i-1个最短依存路径的输出路径向量用表示，对于词对X，Y，使用以下公式来分别得到X的词向量和的相似度以及Y的词向量和的相似度： 其中表示X或Y的词向量；计算第i-1个最短依存路径中词对间关系词的词向量和的平均相似度，计算公式如下： 其中表示词对间关系词的词向量，ki-1为第i-1个最短依存路径中词对间关系词的个数；在计算得到第i-1个最短依存路径中每个词的词向量和的相似度后，使用Softmax函数将其归一化得到第i个最短依存路径的权重向量： 其中表示第i个最短依存路径的权重向量，出现的次数为ki，即第i个最短依存路径中词对间关系词的个数；dim函数用于维度计算，通过维度扩充操作将的每一维都扩充成与词的融合向量相同的维度；将点乘第i个最短依存路径中所有词的融合向量，作为BERT模型的输入，同时在第i个最短依存路径的开头加入[CLS]符号，结尾加入[SEP]符号，将[CLS]符号对应位置的输出作为第i个最短依存路径的路径向量 其中F表示BERT模型内部的变换函数，与分别表示X和Y的融合向量，表示第ki个词对间关系词的融合向量；所述步骤3具体如下：利用打分函数S对每个路径向量进行调整： 其中route为一类最短依存路径集合，这些最短依存路径包含相同的词对间关系词；p为route中的某一个最短依存路径，m为route集合中包含的最短依存路径个数，loc函数用于记录最短依存路径p出现的位置，sigmoid函数用于将值映射到0，1区间内；将每个路径向量结合打分函数进行平均池化处理： 其中pathsx，y表示词对X，Y共现的所有最短依存路径集合，为经过平均池化处理后的路径向量，为第i个最短依存路径的路径向量，n为词对X，Y共现句的数量；将和X，Y各自的词向量拼接得到分类器输入向量即： 其中和分别表示X和Y的词向量。

全文数据：

权利要求：

百度查询： 杭州电子科技大学 一种基于依存语义注意力机制的词对上下位关系训练方法