买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西南交通大学

摘要：本发明公开了一种对抗式阅读理解嵌套命名实体识别方法，具体为：利用BERT模型对输入文本信息和标签注释进行初始嵌入，通过Star‑Transformer对文本信息执行编码操作；标签注释信息同时利用注意力机制、平均池化和余弦相似度三种方式综合分析；模型在文本信息与标签注释信息融合之后采用FGM算法计算噪声干扰并加入；计算文本中每个token作为各类实体起始或结束位置的概率，并最终输出预测的实体范围及其对应的类别；利用损失函数，衡量模型输出与真实标签之间的差异，并最小这种差异化来训练模型。本发明能够有效学习领域相关知识，提高了模型在面对含有噪声数据时的稳定性和泛化性；能够更加全面挖掘和利用标签注释中的语义信息。

主权项：1.一种对抗式阅读理解嵌套命名实体识别方法，其特征在于，包括以下步骤：步骤1：利用经过复杂机电装备领域字典微调的BERT模型对输入文本信息和标签注释进行初始嵌入，接着通过Star-Transformer对文本信息执行进一步的编码操作，以捕捉更深层次的语义特征；步骤1.1：实现对文本信息和标签注释信息的初始嵌入；给定输入文本信息为X和标签注释Y，利用经过复杂机电装备领域字典微调的BERT进行初始嵌入，得到如下表示结果：EX＝bertX1EY＝bertY2其中，EX∈Rn×d和EY∈RC×m×d，n表示文本信息X的长度，m表示标签注释Y的长度，|CI表示类别集C的大小，d表示BERT编码器的向量维度；步骤1.2：实现对文本内部信息深入的挖掘，从而获得更加丰富的文本信息；在文本信息初始嵌入之后，引入Star-Transformer编码器对长度为n的文本信息进行编码；令EX＝[e1，e2，...，en]，其中ei∈R1×d表示第i个token的嵌入表示，并同时设st∈R1×d表示中继节点在步骤t的状态，Ht∈Rn×d表示所有n个卫星节点在步骤t的状态，并用H0＝EX和s0＝averageEX来初始化状态，average表示求平均值操作；步骤2：标签注释信息同时利用注意力机制、平均池化和余弦相似度三种方式综合分析，从而充分挖掘标签注释中的语义信息；模型在文本信息与标签注释信息融合之后采用FGM算法计算噪声干扰并加入，以获得包含微小扰动的文本特征表示；步骤2.1：将文本信息嵌入表示和标签注释嵌入表示映射到相同的特征空间；首先将HX和EY分别输入到全连接层中，其目的是为了将文本信息嵌入表示和标签注释嵌入表示映射到相同的特征空间，通过如下公式计算：hX_fc＝WX·HX3hY_fc＝WY·EY4其中，WX∈Rd×d和WY∈Rd×d为全连接层可学习参数；步骤2.2：利用注意力机制将标签注释信息聚合到文本信息；对于任何1≤i≤n，令xi为文本信息X的第i个token；为的第i行；对于任何1≤j≤m且类别c∈C，令为类别c的标签注释Y的第j个token，故利用注意力机制计算得到标签注释的嵌入表示hY_att，其计算公式如下所示： 其中，对于所有类别都重复公式5和6的计算过程，即可获得标签注释的嵌入表示hY_att；步骤2.3：利用平均池化方式将标签注释信息聚合到文本信息；利用平均池化方式计算得到标签注释的嵌入表示hY_ave，其计算公式如下所示： 其中，对于所有类别都重复公式7的计算过程，即可获得标签注释的嵌入表示hY_ave；步骤2.4：用余弦相似度计算将标签注释信息聚合到文本信息；通过计算文本特征hX_fc与标签注释hY_fc之间的余弦相似度，并将计算得到的余弦相似度得分与标签注释向量相乘，以获得加权的标签特征表示hY_cos，其计算公式如下所示： 其中，是hY_fc对应的类别c的嵌入表示，对于所有类别都重复公式8和9的计算过程，即可获得标签注释的嵌入表示hY_cos；步骤2.5：将步骤2.2～步骤2.4学习到的信息，通过可学习的权重参数将信息融合到文本特征中；通过注意力机制，平均池化以及余弦相似度分别得到不同的标签注释信息后采用，如下计算公式将标签注释信息融合到文本信息中：hfused＝hX_fc+α·hY_att+β·hY_ave+λ·hY_cos10其中α，β，λ均为可学习的参数；步骤2.6：添加噪声干扰；文本信息融合标签注释信息后，使用FGM算法来生成对抗性扰动，并将扰动添加到融合文本信息hfused中，其计算公式如下所示： hadv＝radv+hfused12其中，radv为当前输入扰动；ε是一个可设置的超参数，决定了对抗性扰动的幅度；为对x求取梯度，x表示模型输入；Lθ，x，y为样本对应的损失，y为对应标签，θ为当前模型的所有参数；步骤3：计算文本中每个token作为各类实体起始或结束位置的概率，并最终输出预测的实体范围及其对应的类别；根据模型输出的标签序列，确定每个实体的起始和结束位置，从而得到实体的跨度信息；使用开始结束标记模式来注释要提取的目标范围；具体的，对于每个tokenxi都采用如下计算公式计算开始位置的概率： 其中，表示以xi为开始位置类别c的跨度的概率；Ms∈R|C|×d和bs∈Rd均为可学习参数；表示逐原始乘法；fo·是对输入均值的行求和的函数；同理，使用表示以xi为结束位置的概率，计算过程类似；由于嵌套命名实体识别中，同一类别中的跨度可以嵌套或重叠，导致启发式匹配原则不再起作用，因此采用BERT-MRC模型中的解决方法；通过采用二元分类器来预测一对候选开始结束位置作为跨度；具体的，对于任意类别c，定义以下二元分类器： 其中，1≤i，j≤n；M∈R1×2d是可学习的参数；当即将xi，xj范围预测为类别C；步骤4：利用损失函数，衡量模型输出与真实标签之间的差异，并最小这种差异化来训练模型。

全文数据：

权利要求：

百度查询： 西南交通大学 一种对抗式阅读理解嵌套命名实体识别方法