买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：内蒙古工业大学

摘要：本发明公开了一种基于依存句法信息和Transformer模型的蒙汉神经机器翻译方法，包括：依据蒙汉平行语料库抽取出汉语依存句法信息，并将依存句法信息转换成邻接矩阵；在Transformer模型的输出端额外增加一路，则Transformer模型的一路用于预测汉语目标语句，另一路学习汉语依存句法知识；在编码器端显式地加入用于学习蒙古语句法信息的模块，利用汉语句法知识强化蒙古语语法的学习，原始Transformer模型默认隐式地学习了源语言、目标语言的句法信息，本发明显式地利用目标语言端的句法信息指导模型对源语言的句法信息进行学习。

主权项：1.一种基于依存句法信息和Transformer模型的蒙汉神经机器翻译方法，其特征在于，其特征在于：首先，使用StanfordCoreNLP对蒙汉平行语料中的汉语语料进行依存句法分析，并将得到的汉语依存句法树用邻接矩阵存储；其次，改进Transformer模型：一是使Transformer模型由单输出变成双输出，一路用于预测汉语目标语句，一路用于学习汉语句法知识，二是在Transformer模型的编码器上加入用于学习蒙古语语法的矩阵；然后，对模型进行训练，既融合了汉语依存句法知识，又用汉语依存句法知识使模型学习蒙古语的语法，以此来提高蒙汉机器翻译的质量，改进Transformer模型，增加一路输出和在编码器上加入用于学习蒙古语语法的矩阵的流程为：步骤1：将Transformer模型修改为双输出，在最后一个解码器后新增一个单向LSTM循环单元；步骤2：将单向LSTM循环单元的输出矩阵与汉语依存句法邻接矩阵按元素相减得到损失值L2，L2与Transformer模型原始输出的交叉熵损失值L1相加为模型的总损失值；步骤3：在Transformer模型的编码器中设置用于学习蒙古语语法的矩阵；所述步骤1中，LSTM循环单元：新增的循环层：Transformer模型解码器的输出矩阵尺寸为[batch_size×seq_len×d_model]，其中batch_size为每批训练样本的数目，seq_len为训练句子长度，d_model为词向量嵌入维度，在解码器的输出后新增单向LSTM循环单元，单向LSTM单元的超参数设置有：input_size为输入特征的维度即词向量的维度数值等于d_model，hidden_size为隐藏层神经元个数，数值等于seq_len，num_layers定义网络的层数，nonlinearity定义激活函数，bias定义是否使用偏置，batch_first定义是否将batch_first参数作为输出矩阵的第一个维度，dropout定义随机失效某些神经元的几率，birdirectional定义是否使用双向的LSTM，LSTM的输入为解码器的输出，输出矩阵的尺寸为[batch_size×seq_len×seq_len]；所述步骤2中，将单向LSTM循环单元的输出矩阵与对应的汉语依存句法邻接矩阵按元素相减得到损失值L2与另一路损失之和作为改进的Transformer模型的总损失；所述步骤3中的编码器添加了用于学习蒙古语语法的矩阵：Transformer编码器中用到了自注意力机制，自注意力公式为： 其中Q、K、V均是矩阵且各维度相同，在翻译中，类比为现有一个需要被表达的目标语言Q的分布，K表示源语言句法结构，V是源语言的分布，先使用Q与K的点积计算出相关度，然后再用计算出的相关度与V相乘得到源语言与目标语言之间的对应关系，为了加强模型对源语法信息的学习，将原式改为： M矩阵用于蒙古语语法的学习，在经过汉语依存句法信息的指导后，蒙古语句法信息矩阵会在蒙古语分词之间形成不同的权值，会加强分词之间的联系。

全文数据：

权利要求：

百度查询： 内蒙古工业大学 一种基于依存句法信息和Transformer模型的蒙汉神经机器翻译方法