买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：平安科技(深圳)有限公司

摘要：本申请揭示了一种语义理解模型训练方法、装置、计算机设备和存储介质，其中方法包括从训练集中获取训练文本对应的总词序列；从总词序列中随机选取预设个数的连续词向量用掩码序列替代，得到输入词序列，并将预设个数的连续词向量作为测试输出词序列；将输入词序列输入至编码器‑注意力‑解码器模型中进行训练，得到预测输出词序列；根据预测输出词序列与测试输出词序列之间的差异，对编码器‑注意力‑解码器模型的模型参数进行调整以减小差异；返回将输入词序列输入至编码器‑注意力‑解码器模型中进行训练，得到预测输出词序列的步骤继续训练，直至满足预设训练停止条件则停止，得到语义理解模型。本申请提高了计算机对自然语言的理解准确度。

主权项：1.一种语义理解模型训练方法，其特征在于，包括：从训练集中，获取训练文本对应的总词序列，其中，所述总词序列内包括依序排列的多个词向量；从所述总词序列中，随机选取预设个数的连续词向量用掩码序列替代，得到输入词序列，并将所述预设个数的连续词向量作为测试输出词序列；将所述输入词序列输入至预设的编码器-注意力-解码器模型中进行训练，得到预测输出词序列，其中，所述预测输出词序列为所述编码器-注意力-解码器模型对所述输入词序列中的所述掩码序列的预测结果；根据所述预测输出词序列与所述测试输出词序列之间的差异，采用预设优化器对所述编码器-注意力-解码器模型的模型参数进行调整，以减小所述差异；返回所述将所述输入词序列输入至编码器-注意力-解码器模型中进行训练，得到预测输出词序列的步骤继续训练，直至满足预设训练停止条件，则停止训练，得到所述语义理解模型；所述掩码序列内包括至少一个掩码向量，所述编码器-注意力-解码器模型包括编码器和解码器；所述将所述输入词序列输入至预设的编码器-注意力-解码器模型中进行训练，得到预测输出词序列的步骤，包括：将所述输入词序列输入至所述编码器中，对所述输入词序列进行语义编码，得到中间语义向量序列；其中，所述中间语义向量序列包括各个所述掩码向量所对应的中间语义向量；通过所述解码器，根据所述中间语义向量序列，以及所述输入词序列，生成所述预测输出词序列；其中，所述预测输出词序列包括各个所述掩码向量所对应的预测输出词；所述编码器包括多层神经网络，所述多层神经网络包括输入层、中间隐藏层和输出层，所述中间隐藏层的数量包括多层，所述将所述输入词序列输入至所述编码器中，对所述输入词序列进行语义编码，得到中间语义向量序列的步骤，包括：将所述输入词序列通过所述编码器的输入层，输入至所述编码器的第一层中间隐藏层；在所述编码器的各层中间隐藏层中，根据注意力机制，逐层对上一层神经网络所输入的输入词序列进行语义编码，分别得到各层中间隐藏层所输出的隐藏层语义向量，直至得到最后一层中间隐藏层所输出的隐藏层语义向量；将最后一层所述中间隐藏层所输出的隐藏层语义向量作为所述中间语义向量序列，通过所述编码器的输出层输出至所述解码器。

全文数据：

权利要求：

百度查询： 平安科技(深圳)有限公司 语义理解模型训练方法、装置、计算机设备和存储介质