首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

基于表示学习命名实体识别方法、系统、设备和存储介质 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:西安交通大学

摘要:基于表示学习命名实体识别方法、系统、设备和存储介质,根据句子级别的注意力机制,得到基于字符信息的词向量;将基于字符信息的词向量与词所在句子的特征向量拼接起来,并作为输入送入Bi‑LSTM模型中进行训练,得到训练后的模型;采用训练后的模型进行申请文档的命名实体识别。本发明中采用训练后的模型进行申请文档的命名实体识别,得到了词向量在隐空间更合理地表示。整个命名实体识别模型训练好后是一个端到端的模型,不需要人工参与,并且训练速度相比自回归类模型快,参数量相比端到端的自回归模型少。

主权项:1.一种基于表示学习命名实体识别方法,其特征在于,包括以下步骤:根据句子级别的注意力机制,得到基于字符信息的词向量;将基于字符信息的词向量与词所在句子的特征向量拼接起来,并作为输入送入Bi-LSTM模型中进行训练,得到训练后的模型;采用训练后的模型进行申请文档的命名实体识别;根据句子级别的注意力机制,得到基于字符信息的词向量的具体过程为:根据词语的词频-逆文档频率值得到申请文档分词后的词语权重,然后根据词语权重使用预训练模型RoBERTa加载申请文档分词后词语的向量;根据句子级别的注意力机制,得到基于字符信息的词向量的具体过程为:采用cw2vec笔画模型将汉字拆分为一个个笔画,根据当前词语c与上下文词w的相似度假定已知中心词出现上下文词的概率,并根据中心词出现上下文词的概率通过负采样操作,得到对数目标函数L,如式3所示; 其中,V为语料库中的所有词语表,Tw为当前中心词w所在窗口的所有上下文词,σ为sigmoid函数,α为负采样操作得到的负样本个数,Ε为求期望,t为负采样操作得到样本;通过梯度下降算法优化对数目标函数L,并更新上下文词向量,得到基于字符信息的词向量;词所在句子的特征向量通过以下过程得到:将每一个词在文档级别的权重与词经预训练模型RoBERTa输出的词向量加权相乘后相加,得到词所在句子对应的特征向量。

全文数据:

权利要求:

百度查询: 西安交通大学 基于表示学习命名实体识别方法、系统、设备和存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。