买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：武汉众智数字技术有限公司

摘要：一种文本摘要生成的方法和系统，将待生成摘要的文本组成集合，并对文本进行预处理；对预处理后的文本按预设第一规则进行聚类，得到不同类别文本的集合；通过对不同类别的文本集合采用文本摘要生成模型进行摘要生成；对生成的文本摘要进行合并输出。本发明由于引入了领域数据并对多话题或事实文本进行了聚类，可以克服领域专有名称溢出和文本生成模型对多话题或事实描述文本生成摘要效果不理想的问题。

主权项：1.一种文本摘要生成的方法，其特征在于，包括：S100.将待生成摘要的文本组成集合，并对文本进行预处理；S200.对预处理后的文本按预设第一规则进行聚类，得到不同类别文本的集合；S200中，对预处理后的文本按预设第一规则进行聚类，包括：首先对待聚类的文本进行分词操作，然后根据待聚类的文本及每个字符片段在各待聚类文本中出现的次数构建待聚类文本的特征矩阵，对待聚类的文本特征矩阵进行特征提取的操作，得到原始特征矩阵；将特征矩阵输入到K-Means聚类模型中，进行迭代计算，收敛后得到一个聚类结果矩阵；S300.通过对不同类别的文本集合，采用文本摘要生成模型进行摘要生成；S400.对生成的文本摘要进行合并输出；S300中，通过预训练领域语言模型和文本摘要生成模型，按类别对文本进行摘要生成；预训练领域语言模型工作流程为：采用通用的语言模型BERT在领域数据上训练掩码语言模型，掩码语言模型训练过程就是将文本输入到BERT模型的编码器之前，随机的将文本中的词语按一定的比例替换成掩码标识[Mask]，然后进行BERT编码，最终来预测被替换成掩码标识的词，然后计算预测词和标记词的交叉熵损失，循环往复直到模型收敛，就得到了第一预训练领域语言模型；在第一预训练语言模型的基础上针对上游任务在领域标注的训练数据上进行微调得到第二预训练领域语言模型；文本摘要生成模型由编码组件和解码组件组成，编码组件和解码组件又拆分成多个编码器和解码器；其中，编码组件为预训练领域语言模型，解码组件的参数由训练文本摘要生成任务得到；编码器和解码器生成摘要文本的工作流程为：对待生成摘要的文本进行切分、转换得到输入文本的向量表示；将输入文本的向量表示输入到文本摘要模型的编码组件进行编码，得到待生成摘要文本的语义表示；待生成摘要文本的语义表示输入到解码组件中进行解码得到生成的摘要文本；将输入文本的向量表示输入到文本摘要模型的编码组件进行编码，具体包括：将输入文本的向量表示通过编码器中的多头注意力层、求和与归一化层、全连接层和求和与归一化层进行编码计算得到第一文本编码表示。

全文数据：

权利要求：

百度查询： 武汉众智数字技术有限公司 一种文本摘要生成的方法及系统