Document
拖动滑块完成拼图
首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

一种基于关键句组、新闻原文的新闻评论过滤方法及系统 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

摘要:本发明公开了一种基于关键句组、新闻原文的新闻评论过滤方法及系统,包括:获取新闻原文对应的一个关键句组,并根据GPT-2模型,计算得到所述关键句组对应的多个第一新闻评论;根据RoBERTa模型,对所述关键句组以及对应的所述第一新闻评论进行情感分析,得到所述关键句组对应的第二新闻评论;对所述关键句组以及对应的所述第二新闻评论进行语义匹配,得到所述关键句组对应的第三新闻评论,完成对所述关键句组的新闻评论过滤。本发明对新闻原文对应的关键句组进行依次选取并生成多个新闻评论,丰富了新闻评论的多样性,并且对生成的新闻评论进行情感分析和语义匹配,以过滤与新闻原文情感和语义不匹配的新闻评论。

主权项:1.一种基于关键句组的新闻评论过滤方法,其特征在于,包括:获取新闻原文对应的一个关键句组,并根据GPT-2模型,计算得到所述关键句组对应的多个第一新闻评论;其中,一个所述关键句组对应多个所述第一新闻评论;根据RoBERTa模型,对所述关键句组以及对应的所述第一新闻评论进行情感分析,得到所述关键句组对应的第二新闻评论;对所述关键句组以及对应的所述第二新闻评论进行语义匹配,得到所述关键句组对应的第三新闻评论,完成对所述关键句组的新闻评论过滤;其中,所述获取新闻原文对应的一个关键句组,具体为:对所述新闻原文进行预处理,得到向量化的文本;通过TextRank算法,将所述文本划分为多个句子,并分别计算得到多个句子的重要度;其中,一个所述句子对应一个所述重要度;将所述重要度按从大到小的顺序排序,获取排序前M个重要度,并按照所述新闻原文的顺序,将所述前M个重要度对应的M个所述句子拼接起来;通过滑动窗口算法,依次对拼接后的M个所述句子进行选取,得到所述新闻原文对应的多个关键句组;根据选取顺序,从所述多个关键句组中,依次提取一个关键句组;其中,所述通过TextRank算法,将所述文本划分为多个句子,并分别计算得到多个句子的重要度,具体为:把向量化的文本按照文本中的完整句子进行划分,得到对应的句子集;其中,句子集包含n个句子,;对n个句子进行分词、去除停用词,每个句子对应m个候选关键词;其中,,,表示第个句子,表示第个句子;按照以下公式,计算相邻句子之间的相似度: 其中,默认所有的句子都相邻,表示候选关键词,表示句子的词的总数量,表示句子的词的总数量;构建图,得到一个无向有权图;其中,为句子集,为句子相似度;按照以下公式,迭代传播权重计算n个句子的重要值: 其中,表示句子和句子之间的相似度,表示句子和句子之间的相似度,表示节点(即句子),表示节点(即句子),表示节点(即句子),表示阻尼系数,取值范围为,表示指向的集合,表示指出的集合;其中,所述根据GPT-2模型,计算得到所述关键句组对应的多个第一新闻评论,具体为:根据所述关键句组,计算得到对应的词嵌入矩阵和位置矩阵;根据所述词嵌入矩阵和所述位置矩阵,结合所述GPT-2模型的层归一化处理和解码器模块,计算得到所述关键句组对应的多个第一新闻评论;其中,所述根据RoBERTa模型,对所述关键句组以及对应的所述第一新闻评论进行情感分析,得到所述关键句组对应的第二新闻评论,具体为:根据RoBERTa模型,分别计算所述关键句组的第一情感分数,以及每一个所述第一新闻评论的第二情感分数;将所述第二情感分数与所述第一情感分数相同的所有所述第一新闻评论,作为所述关键句组对应的第二新闻评论;其中,所述根据RoBERTa模型,分别计算所述关键句组的第一情感分数,以及每一个所述第一新闻评论的第二情感分数,具体为:将GPT-2模型输出的多个第一新闻评论分别与对应的关键句组作为RoBERTa模型的输入,经过BPE处理方式得到词序列,然后得到词向量矩阵TE、句向量矩阵SE和位置向量矩阵PE;按照以下公式,将三个向量矩阵进行叠加,得到最终的词嵌入矩阵: 其中,,,表示隐藏层的维度;按照以下公式,经过多层双向Transformer编码器后,分别得到关键句组的第一情感分数和对应的每一个第一新闻评论的第二情感分数: 其中,表示RoBERTa模型最后一层隐藏层的输出向量;其中,所述对所述关键句组以及对应的所述第二新闻评论进行语义匹配,得到所述关键句组对应的第三新闻评论,具体为:根据Sentence-BERT模型,获取所述关键句组的第一特征向量和对应的所述第二新闻评论的第二特征向量;根据所述第一特征向量和所述第二特征向量,计算得到对应的余弦相似度,并将余弦相似度大于预设阈值的所有所述第二新闻评论,作为所述关键句组对应的第三新闻评论。

全文数据:

权利要求:

百度查询: 广州城市职业学院 一种基于关键句组、新闻原文的新闻评论过滤方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。