买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：电子科技大学

摘要：本发明聚焦于法律领域内的案例叙述，关注以句号作为自然分割单位的独立语句单元，通过一系列句法分析手段，将实例句，归置到中文学界认可的一级或次级句型类别中，如主谓句结构或是非主谓句结构等。本发明提出了Wordvectorfusion‑Bert‑GATWBGAT模型，克服语义嵌入表示技术还无法满足长程相关、一词多义等现实需求以及模型token单元的数量限制。本发明所提出的算法模型通过运用图网络模型框架，通过构建图网络来捕捉并传递单词间的内在信息，从而习得更能体现整个句子语义情境下的单词新表征。本发明所提出的算法模型通过运用图网络模型框架，通过构建图网络来捕捉并传递单词间的内在信息，从而习得更能体现整个句子语义情境下的单词新表征。并针对法律文本进行分析，将文本按照逗号拆分成单句，然后构建词共现、依法句存、篇章‑主题三种图，通过一种融合函数，将三种图进行自适应融合，融合成一个词向量，然后引入GAT进行分类。

主权项：1.一种基于图注意力网络的中文短文本分类方法，其特征在于包含以下步骤：步骤一：构建句存依法图，通过句存依法能够精确的揭示文本中单词之间的句法关系以及整个文本的句法结构，因此本文利用依存句法解释器，来抽取法律文本的句法关系。采用了双仿射注意力模型BiaffineAttention用以得到句子中的句法依存关系结构。这一算法基于图论的依存句法分析原理，按照从左至右的顺序逐步解析句子，对句子中每一个词汇单元而言，其核心任务是确定该词与其对应的中心词headword之间的连接关系，具体表现为寻找从当前词指向其head词的依存弧，并同时识别出这条弧所代表的依存关系类型。步骤二：构建文本共现图文本中除了字、词、句所自带的特征信息以外，每篇文本都可能存在一个或多个潜在的主题，因此本章节使用主题模型NVDM-GSMGaussian-Softmax来挖掘潜在主题K，从而丰富短文本的语义，每个话题表示词汇，由单词的概率分布表示。NVDM-GSM模型采用了文档的词袋表示Bag-of-Words,BOW作为输入特征，鉴于主题分布应当遵循概率分布的归一化特性，模型在从隐空间采样得到代表主题的高斯随机变量之后，还需对其进行规范化处理，以确保生成的主题分布能够满足概率分布的要求。为此，NVDM-GSM采用了Softmax函数层这一策略，通过对采样得到的高斯变量施加Softmax运算，从而实现所抽取主题向量的有效归一化，并将其转化为可用于后续分析的概率主题分布。步骤三：文本图嵌入表示，通过滑动窗口、DDparser和神经主题模型，我们构建了三种文本图，分别是文本共现图、句法依存图和词-主题-文本图。将所构建的三个文本图，分别通过图注意力网络学习其拓扑结构，并将文本图的单词节点进行向量化表示。步骤四：图池化操作，经过图注意力层的运算，成功地为文本中每个词语节点生成了嵌入表示。为了进一步从整体上捕获文本的语义信息并将之转化为适用于文档级别分类的单一向量，需要将这些词语节点的嵌入向量进行聚合集成，此过程中涉及到了软注意力机制以及可能的混合池化技术。在软注意力机制环节，采用双层多层感知机MLP进行处理步骤：首先，运用其中一个MLP对文本词语嵌入向量执行非线性变换，以提取更高级别的特征；随后，利用另一个MLP来计算文本内各个词语向量对应的注意力权重系数，这些系数直接反映了在文档语境下各个词语的重要性等级。步骤五：特征自适应融合，利用图注意力网络对文本图的文本特征进行了向量化表示。然而，如何有效地整合这三类特征向量，并确保重要性更高的特征在融合过程中得到更大权重，成为了一个核心问题。为解决此问题，提出了一种特征自适应特征融合算法。该算法促使模型能够将两两文本图特征进行融合，并根据不同的数据集特性动态学习各类特征的重要性权重。步骤六：Softmax分类，本发明文本分类层中采用Softmax函数将融合后得到的文本特征向量h转换为概率，从而完成对中文句型的分类预测。

全文数据：

权利要求：

百度查询： 电子科技大学 一种基于图注意力网络的中文短文本分类方法