买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜昆明理工大学申请的专利基于双向依存自注意力机制的低资源神经机器翻译方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN113901845B 。

龙图腾网通过国家知识产权局官网在2025-04-08发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111078629.4，技术领域涉及：G06F40/58；该发明授权基于双向依存自注意力机制的低资源神经机器翻译方法是由赖华;李治瑾;文永华;高盛祥;余正涛设计研发完成，并于2021-09-15向国家知识产权局提交的专利申请。

本基于双向依存自注意力机制的低资源神经机器翻译方法在说明书摘要公布了：本发明涉及基于双向依存自注意力机制的低资源神经机器翻译方法，属于自然语言处理技术领域。本发明首先从互联网上获取平行语料，并对获取的数据进行清洗，之后对源语言进行分词及依存解析，再将处理好的平行数据和依存标记数据作为输入，输入到具有双向依存自注意力机制的Transformer模型中，最终得到翻译结果。本发明提出的基于双向依存自注意力机制的低资源神经机器翻译方法，在汉语‑泰语、汉语‑英语和英语‑德语上的双向翻译上取得了很好的效果。

本发明授权基于双向依存自注意力机制的低资源神经机器翻译方法在权利要求书中公布了：1.基于双向依存自注意力机制的低资源机器翻译方法，其特征在于，所述方法的具体步骤如下：Step1、爬取互译的平行语料，通过人工筛选并对齐得到平行句对；Step2、对处理好的平行语料进行分词、依存解析和BPE，其中对双语数据进行分词和BPE，但只对源语言端进行依存解析，解析后得到源语言的依存标记；Step3、在Step2的基础上，将双向依存信息融合到Transformer模型中，得到具有双向依存自注意力机制的Transformer模型，再对处理好的平行语料进行训练，得到训练好的具有双向依存自注意力机制的Transformer模型；Step4、在Step3的基础上，利用训练好的具有双向依存自注意力机制的Transformer模型在测试集上进行翻译，得到翻译结果后利用BLUE值作为评价指标对翻译质量进行评估；所述Step2中对处理好的平行语料进行分词和依存解析，利用外部依存解析工具解析后得到源语言句子中子词到父词位置信息，构建父词位置向量，再利用父词位置信息即可得到父词到子词方向遍历的全部子词依存信息且无需利用外部依存解析工具，从而构建子词权重矩阵，得到双向依存信息；所述Step3将子词到父词方向和父词到子词方向的双向依存信息融合到Transformer多头注意力机制中，对多头注意力机制进行更改，通过融合父词位置向量和子词权重矩阵，构建双向依存自注意力机制，利用双向依存信息为模型提供更全面的结构信息；所述Step3中，双向依存自注意力机制的Transformer模型的构建方法如下：基于Transformer框架，利用双向依存自注意力机制对Transformer编码器的多头注意力机制进行改进；双向依存自注意力机制的输入由源语言句子的嵌入矩阵源语言父词位置向量P∈RL和源语言子词权重矩阵C∈RL×L构成，输出为双向依存自注意力机制的最终表示MH；Step3由双向依存信息、双向依存自注意力机制、多头注意力机制和双向依存忽略构成；双向依存信息：对于源语言中的父词信息，利用外部解析工具得到父词位置序列，对于子词，仅使用父词位置向量即可构建子词权重矩阵；对于根词，将其父词和子词定义为根词本身；首先利用外部依存解析工具得到依存解析中的父词位置标记序列，从而得到句子序列中的父词位置向量P∈RL；之后根据父词位置向量P∈RL得到源语言句子中的子词权重矩阵C∈RL×L；等式1给出了子词权重矩阵C的定义，假设xi是可能的父词，则当xj是xi的子词时，元素Cij为1，否则为0；对于每个句子，使句子中的每个词与其本身对应；每个句子中的父词可能存在多个子词，将这些子词进行权重平均；对于根词，将其子词作为它本身并记录权重；通过这种方式，每个单词都会被告知其修饰语； 其中，ni是xi的子词个数；双向依存自注意力机制：对于长度为L的源语言句子序列，双向依存自注意力机制中每个头的输入分别是嵌入矩阵源语言句子的父词位置向量P∈RL和源语言句子的子词权重矩阵C∈RL×L；在每一个注意力机制的头H中，为每个标记进行计算，得到三个向量分别是查询，键和值，从而得到三个矩阵Kh∈RL×d，Qh∈RL×d和Vh∈RL×d，其中d＝dmodelH；之后计算每个查询、键和值，给出在给定位置编码时，要在输入的其他位置上设定的焦点分数，再将分数除以缓解点积大时出现的梯度消失的问题： 根据每个标记与位置t的依存父词位置pt之间的距离，得到在位置t处的标记得分st： 其中，是父词融合矩阵Nh∈RL×L的第t行，代表与第t个父词接近度的归一化分数；是父词高斯矩阵Dp∈RL×L的第t,j个位置，其中dt包含每个标记j与依存知识中每个父词位置间的距离关系，此距离计算定义为以pt为中心且方差为σ2的，Npt,σ2的正态分布的概率密度的值： 根据分数矩阵Sh∈RL×L和父词距离矩阵Dp∈RL×L得到父词融合矩阵Nh∈RL×L:Nh＝ShDp6之后利用解析完成的父词信息，构建子词权重矩阵C∈RL×L，此权重矩阵根据输入序列中每个词拥有子词的数量构建，式1给出了子词权重矩阵C的定义；子词权重矩阵C∈RL×L中存在过多的零元素，对于这些零元素利用加入高斯噪声的方式处理，为子词权重矩阵C∈RL×L中的元素添加高斯噪声，此高斯噪声是以ct为中心且方差为σ2的，Nct，σ2的正态分布的概率密度的公式，i，j表示子词权重矩阵中的每个元素，利用这种方式得到子词高斯权重矩阵Cg∈RL×L： 得到子词高斯权重矩阵Cg∈RL×L后，利用softmax函数对矩阵进行归一化处理，得到子词依存矩阵Cs∈RL×L：Cs＝softmaxCg8根据父词融合矩阵Nh∈RL×L和子词依存矩阵Cs∈RL×L，得到子词融合矩阵Zh∈RL×L：Zh＝NhCs9最后，应用softmax函数为句子中的每个标记生成权重分配，再将得到的子词融合矩阵Zh∈RL×L与值矩阵Vh∈RL×d相乘，从而获得双向依存自注意力机制头H的最终表示MH；在计算损失L时，使用交叉熵损失函数，如式10；L＝-[lilogpi+1-lilog1-pi]10其中li表示第i个父词的标记，正类为1，负类为0，pi表示第i个样本为正的概率。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人昆明理工大学，其通讯地址为：650093 云南省昆明市五华区学府路253号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。