恭喜杭州电子科技大学张旻获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜杭州电子科技大学申请的专利一种融合依存句法和指针生成网络的三元组抽取方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN114239548B 。
龙图腾网通过国家知识产权局官网在2025-05-02发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202111543918.7,技术领域涉及:G06F40/211;该发明授权一种融合依存句法和指针生成网络的三元组抽取方法是由张旻;杨启胜;汤景凡;姜明设计研发完成,并于2021-12-16向国家知识产权局提交的专利申请。
本一种融合依存句法和指针生成网络的三元组抽取方法在说明书摘要公布了:本发明公开了一种融合依存句法和指针生成网路的三元组抽取方法。首先本发明使用百度NLP工具解析句子,并利用句子解析后得到的词性结果将一些专用名词进行了泛化处理。另外,为了充分利用句子的依存结构信息,本发明引用了KVMN模型充分学习词与词之间的依赖弧以及他们的依赖关系类别的信息,在这之后使用Bi‑LSTM学习上下文内容,并使用注意机制计算注意力分布及句子表示向量。最后本发明通过建立一个扩展词汇表表示原词汇表和源文档中出现的所有词汇总集,计算每个词的概率,进行词生成。实验结果表明,本发明能很好解决词汇表不足的问题,并且着重强调了依存结构的信息,有较强的适用能力,有效提升三元组抽取方法的准确性。
本发明授权一种融合依存句法和指针生成网络的三元组抽取方法在权利要求书中公布了:1.一种融合依存句法和指针生成网络的三元组抽取方法,其特征在于包括如下步骤:步骤1使用DDParser工具对输入句子进行解析,得到分词结果、词性和句法依存树信息;步骤2根据词性和分词结果,对分词中专有词进行泛化处理,使用预训练模型Bert做词嵌入,即泛化后的分词作为预训练模型Bert的输入,输出隐藏向量Ⅰ;步骤3将步骤1中获取的句法依存树和步骤2中获取的隐藏向量Ⅰ,输入到KVMN中学习得到含有依存结构信息的隐藏向量Ⅱ,将隐藏向量Ⅱ和隐藏向量Ⅰ进行拼接,拼接后输入到双向LSTM中捕获上下文信息,得到隐藏向量Ⅲ;步骤4将隐藏向量Ⅲ输入到注意力机制中,计算注意力分布以及句子表示向量;步骤5运用句子表示向量、解码器当前状态以及上一个生成词汇,计算从词汇表生成单词或从输入序列中选择一个单词的概率p;步骤6运用句子表示向量、解码器当前状态计算词汇表中所有词汇的概率分布,使用一个扩展词汇表表示词汇表和源文档中出现的所有词汇的总集,利用词汇表中所有词汇的概率分布、步骤5中的概率p和步骤4中的注意力分布计算扩展词汇表中所有词汇的概率分布,取最高概率的词作为下一个生成词,判断该生成词是否为终止符,若不是终止符,则重复步骤4至步骤6直至生成终止;所述步骤4具体实现过程如下:4-1计算注意力分布:将注意力分布看作为源词序列X上的概率分布,告知解码器在何处产生下一个词,过程表示为如下公式: at=softmaxet10其中vT、Wh、Ws和b都是可学习参数,st是当前解码器的状态,at表示注意力分布,et表示序列X与编码器状态st的对齐分数的集合,表示在序列X中第i个词与编码器状态st的对齐分数;4-2将注意力分布用于生成编码器隐藏状态的加权和,生成句子表示向量具体过程如下式: 其中,表示注意力权重;所述步骤5具体实现过程如下:计算生成概率,通过生成概率来选择从词汇表中采样生成单词的生成概率p或是在注意力分布中采用从输入序列中复制一个单词的概率1-p,将这一过程记为下式: 其中和bpt都是可学习参数,σ是sigmoid函数,st是解码器当前状态,xt是解码器输入;所述步骤6具体实现过程如下:6-1将句子表示向量看作是从源分词序列X中读取的内容地固定大小表示,通过将句子表示向量与解码器状态st连接起来,再送入两个线形层来生成词汇分布,这一过程如下式: 式中V',V,b1,b2都是可学习参数,最终生成的Pvoc是词汇表中所有单词的概率分布;6-2使用一个扩展词汇表表示词汇表和源文本所有词的并集,最终在扩展词汇表上得到以下概率分布Pw: 取最高概率的词作为当前生成词汇,判断生成词汇是否为终止符“end”,如果不是,则重复步骤4至步骤6直至终止;在训练过程中,每一步的损失函数使用目标词的负对数似然来计算: 整个文本序列的损失函数为: 其中,losst表示第t步的损失值,T表示从开始到最后生成终止符的步骤数量。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人杭州电子科技大学,其通讯地址为:310018 浙江省杭州市下沙高教园区2号大街;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。