买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京航空航天大学

摘要：本发明公开了一种动态融合词典信息的中文命名实体识别方法，包括：接收待识别句子，为句子中的每个字从词典中匹配相关的词汇；利用self‑attention作为字词信息融合器来动态的学习字与对应的词之间的相关性权重，以融合字词信息；采用改进的Transformer层，在建模上下文的语义信息的同时，通过优化初始位置编码的方式融入位置信息；将学习得到的上下文表示输入到条件随机场进行预测。本发明提出了一种在中文命名实体识别上效果好，推理速度快，具备灵活迁移融合字典信息结构的神经网络方法。

主权项：1.一种动态融合词典信息的中文命名实体识别方法，其特征在于，所述识别方法包括以下步骤：S1，接收待识别句子，为句子中的每个字从词典中匹配相关的词汇；S2，利用self-attention作为字词信息融合器来动态的学习字与对应的词之间的相关性权重，以融合字词信息；融合过程包括：对每个单词集合的嵌入表示进行线性变换和tanh激活函数，利用self-attention计算字符嵌入表示与每个单词集中各单词的嵌入表示注意力得分，在四个单词集注意力得分上进行归一化得到四个集合的字词权重；分别在四个集合上，利用权重对每个集合中的词汇嵌入进行加权求和；在字词嵌入表示最后维度进行拼接得到字词融合信息表示；S3，采用改进的Transformer层，在建模上下文的语义信息的同时，通过优化初始位置编码的方式融入位置信息；S4，将步骤S3中学习得到的上下文表示输入到条件随机场进行预测；步骤S3中，采用改进的Transformer层建模上下文的语义信息的过程包括以下步骤：S31，对于位置方向缺失的问题，采用以下相对位置编码的方法，定义如下： 其中，i,j分别表示当前的token和上下文token的绝对位置；Ri-j＝R-i-j；Ri-j2i、Ri-j2i+1分别表示句子中第i个字相对第j个字相对位置的向量表示的偶数和奇数维度；d表示位置编码的维度大小；S32，采用两组矩阵参数将词嵌入和位置嵌入投影到独立的空间，改进的注意力计算方法如下：Qw,Kw,Vw＝IWqw,IWkw,IWvwQp,Kp＝RWqp,RWkpMidi,j＝QiwKjwT+Qi-jpKwT+QiwKi-jpT+uKi-jpTAttentioni,j＝softmaxMidi,jVw式中，Wqw,Wkw,Wvw表示对词嵌入进行投影的参数矩阵，Wqp,Wkp表示对位置嵌入进行投影的另外一套参数矩阵；I表示句子的输入向量；R表示上述的相对位置编码；Qw、Kw、Vw分别表示对输入进行投影后的查询、键、值向量；Qp、Kp分别表示对相对位置编码投影后的查询、键向量；Midi,j、Attentioni,j分别表示第i个字与第j个字的注意力得分和进行归一化后的注意力权重；S33，采用un-scaled注意力计算以强化在命名实体识别中注意力得分的分布。

全文数据：

权利要求：

百度查询： 南京航空航天大学 一种动态融合词典信息的中文命名实体识别方法和装置