买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华泰证券股份有限公司;华东师范大学

摘要：本发明公开了自然语言处理技术领域的基于对比学习和数据增强的零样本事件抽取系统及方法，包括：获取数据集后，划分为已知事件和未知事件；重写未知事件的事件描述文本；将已知事件、未知事件和经过事件描述重写的未知事件组成正负样本对；将正负样本对输入事件编码器，生成对应的特征向量；基于特征向量计算对比损失函数值后，通过梯度回传更新事件编码器中的模型参数；基于更新后事件编码器输出的特征向量输入进行分类与聚类。本发明通过对比同类与异类样本的方式，充分利用已知事件的标注数据与未知事件的无标注样本，实现对未知事件类型的自动发现并归类。

主权项：1.基于对比学习和数据增强的零样本事件抽取方法，其特征是，包括：获取数据集后，划分为已知事件和未知事件；重写未知事件的事件描述文本；将已知事件、未知事件和经过事件描述重写的未知事件组成正负样本对；将正负样本对输入事件编码器，生成对应的特征向量，包括：通过单词编码映射为低维度的单词编码向量E＝[e0，e1，...，eL]；将单词编码向量E输入预训练的BERT编码器，得到包含文本信息的上下文向量C＝BERTE＝[c0，c1，...，cL]，使用BERT模型中的分类标记CLS对应的输出向量c0作为整个事件描述文本的输出向量；对输出向量c0经过一个全连接层和一个激活函数进行降维，使其成为事件编码器的输出隐向量h＝σWhc0+bh，其中wh和bh是全连接层参数，σ是非线性激活函数sigmoid；基于特征向量计算对比损失函数值后，通过梯度回传更新事件编码器中的模型参数，所述对比损失函数为： 其中，N为样本数，y为类别标记，d为x1和x2的隐向量h1和h2的欧氏距离，margin表示不同类样本之间被拉开距离的超参数；基于更新后事件编码器输出的特征向量进行分类与聚类，包括：将输出的特征向量输入分类器以判别已知事件的类型，以及将输出的特征向量输入聚类器完成对未知事件的聚类任务，特征向量输入分类器后通过K近邻算法实现对已知事件的分类，特征向量输入聚类器后通过K均值算法对未知事件完成聚类。

全文数据：

权利要求：

百度查询： 华泰证券股份有限公司 华东师范大学 基于对比学习和数据增强的零样本事件抽取系统及方法