申请/专利权人：长沙市智为信息技术有限公司

申请日：2024-03-12

公开（公告）日：2024-07-02

公开（公告）号：CN117875313B

主分类号：G06F40/253

分类号：G06F40/253;G06F18/2415;G06N3/0455;G06N3/09

优先权：

专利状态码：有效-授权

法律状态：2024.07.02#授权;2024.04.30#实质审查的生效;2024.04.12#公开

摘要：本申请涉及一种中文语法纠错方法及系统，方法包括：获取包含语法错误的原文本；将原文本输入至预训练后的Bert模型，输出语义表征向量；将语义表征向量分别经过两个不同的具有归一化的两层前馈神经网络，分别得到复制概率和错误类型概率，并返回错误类型概率的最大值的索引值，基于最大值的索引值确定复制分发向量；基于语义表征向量计算得到编辑标签概率；将编辑标签概率、复制分发向量以及复制概率进行融合，得到最终的编辑标签概率，基于最终的编辑标签概率确定最终的编辑标签；基于最终的编辑标签对原文本进行修改；直至原文本无错误，得到正确文本。

主权项：1.一种中文语法纠错方法，其特征在于，包括：S1：获取包含语法错误的原文本；S2：将所述原文本输入至预训练后的Bert模型，输出语义表征向量；Bert模型的预训练过程包括：S2.1：获取无错误的文本，对所述无错误的文本进行替换操作和插入操作得到损失文本；所述损失文本包括缺失错误的文本以及冗余错误的文本；S2.2：将所述损失文本输入至Bert模型，输出语义特征表示；S2.3：将所述语义特征表示经过Softmax全连接层，得到预测概率，计算公式为： ；其中，表示预测概率；Softmax·表示Softmax全连接层；表示语义特征表示；表示Softmax全连接层的权重；表示Softmax全连接层的偏置；S2.4：返回预测概率的最大值的索引，得到预测字符结果，计算公式为： ；其中，表示预测字符结果；Argmax·表示Argmax函数；S2.5：基于无错误的文本中的真实字符与所述预测字符结果计算预训练损失函数，计算公式为： ；其中，表示预训练损失函数；i为序数；表示替换位置标记集合；表示缺失错误的文本；表示插入位置标记集合；表示冗余错误的文本；表示第i个预测字符结果；表示无错误的文本中的第i个真实字符；表示损失文本中第i个字符的语义特征表示；表示删除标志；p·表示已知的条件下，是真实字符或删除标志的概率；在替换错误下，是真实字符，在冗余错误下，是删除标志；S2.6：根据所述预训练损失函数训练所述Bert模型，直至收敛或达到最大次数，得到所述预训练后的Bert模型；S3：将所述语义表征向量分别经过两个不同的具有归一化的两层前馈神经网络，分别得到复制概率和错误类型概率，并返回错误类型概率的最大值的索引值，基于所述最大值的索引值确定复制分发向量；所述返回错误类型概率的最大值的索引值，基于所述最大值的索引值确定复制分发向量包括：通过Argmax函数返回错误类型概率的最大值的索引值，计算公式为： ；其中，type表示错误类型概率的最大值的索引值，，0表示无错误，1表示冗余错误，2表示替换错误，3表示缺失错误；Argmax·表示Argmax函数；表示错误类型概率；以所述错误类型概率的最大值的索引值确定复制分发向量中的值，复制分发向量的表达式为： ；其中，CopyDistribute表示复制分发向量；k表示无错误的元素；d表示存在冗余错误的元素；r1表示第1个存在替换错误的元素；r2表示第2个存在替换错误的元素；表示第个存在替换错误的元素；a1表示第1个存在缺失错误的元素；a2表示第2个存在缺失错误的元素；表示第个存在缺失错误的元素；表示编辑标签的数量；在所述复制分发向量中，当type=0时，k=1，其余元素均为0；当type=1时，d=1，其余元素均为0；当type=2时，均为1，其余元素均为0；当type=3时，均为1，其余元素均为0；基于所述语义表征向量计算得到编辑标签概率；S4：将所述编辑标签概率、所述复制分发向量以及所述复制概率进行融合，得到最终的编辑标签概率，基于所述最终的编辑标签概率确定最终的编辑标签；S5：基于所述最终的编辑标签对所述原文本进行修改；S6：重复S2-S5，直至所述原文本无错误，得到正确文本。

全文数据：

权利要求：

百度查询： 长沙市智为信息技术有限公司 一种中文语法纠错方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD