买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:华南师范大学
摘要:本发明涉及一种基于回复感知反馈机制的语言处理方法和系统。本发明所述的基于回复感知反馈机制的语言处理方法包括如下步骤:根据对背景知识和对话上下文,获得背景知识表征、对话上下文表征和上下文感知的背景知识表征;根据上下文感知的背景知识表征,选择出一段背景知识;根据选择出的背景知识段,逐个生成回复词,并在生成每一个回复词后,利用感知反馈机制,对所述背景知识段进行修正,以生成下一个回复词。本发明所述的基于回复感知反馈机制的语言处理方法和系统具有动态修正背景知识,回复准确度高的优点。
主权项:1.一种基于回复感知反馈机制的语言处理方法,其特征在于,包括如下步骤:S10:根据背景知识K和对话上下文X,获得背景知识表征HK、对话上下文表征HX和上下文感知的背景知识表征WX→K;S20:根据上下文感知的背景知识表征WX→K,选择一段背景知识段hX→K;S30:根据背景知识段hX→K,逐个生成回复词,并在生成每一个回复词后,利用感知反馈机制,对所述背景知识段hX→K进行修正,以生成下一个回复词;所述步骤S30包括如下步骤:S31:生成第一个回复词;其中,所述步骤S31,首先通过如下公式,根据计算第一个解码状态 其中,为初始解码状态;Ws和b为可训练参数;为对话上下文表征HX的最后一个元素;回复初始端r0为[BOS],表示回复生成的开始,er0为r0的词向量;接着,根据第一个解码状态通过如下公式,训练第一个解码引导向量 接着,根据第一个解码引导向量通过以下公式,计算背景知识注意力从而获得引导感知的背景知识表示 其中,属于所述背景知识表征HK,接着,根据第一个解码引导向量通过以下公式,计算对话上下文注意力从而获得引导感知的对话上下表示 其中,属于所述对话上下文表征HX,接着,根据引导感知的背景知识表示和引导感知的对话上下表示通过如下公式,获得原有词汇的特征向量 接着,基于上述原有词汇特征向量通过如下公式,计算第一个回复词r1从原有词汇中生成的概率PVr1: 其中,Wvocab代表的是原有词汇;接着,根据第一个解码引导向量通过如下公式,计算所述第一个回复词r1从背景知识K中选择的概率PKr1: 接着,根据第一个回复词r1从原有词汇中生成的概率PVr1和从背景知识K中选择的概率PKr1,通过如下公式,得到最终的词表概率分布Pr1:Pr1=pgenPVr1+1-pgenPKr1, 其中,Wgen和n均为可训练的参数,σ为Softmax激活函数;pgen是介于PVr1和PKr1之间的可训练门控;根据算得的最终词表概率分布Pr1,选择一个词汇生成所述第一个回复词r1;S32:检查本轮对话回复内容是否生成完毕;若本轮对话回复内容生成完毕,输出本轮对话回复内容,否则,执行步骤S33;S33:计算已生成的回复词与背景知识段的相关度,获得感知结果;S34:根据步骤S33获得的感知结果,对背景知识段hX→K进行修正;S35:根据步骤S34修正后的背景知识段hX→K生成第下一个回复词,然后返回步骤S32;所述步骤S33和步骤S34的计算方式如下:在所述步骤S33中,首先获取已生成的t-1t≥2个回复词的集合F={r1,…,rt-1},通过如下公式,计算表征序列 其中,Wf和b为可训练函数,ert-1为rt-1的词向量,为表征序列HF的初始元素;接着,根据所述表征序列HF的最后一个元素通过如下公式,计算一个反馈特征矩阵G: 其中,WX→KT为所述上下文感知的背景知识表征WX→K的转置,接着,根据所述反馈特征矩阵G,通过如下公式,计算出一个回复感知反馈权重向量Z:A=SelfAttnWX→K=softmaxWX→KTWX→K;Z=G⊙AWX→KT;接着,在所述步骤S34中,基于所述回复感知反馈权重向量Z,通过以下公式,获得背景知识校正段 其中,Wg1、Wg2和b均为可训练的参数;Wg1和Wg2分别为所述回复感知反馈权重向量Z和所述背景知识段hX→K的软开关;接着,将背景知识校正段作为现阶段背景知识段hX→K,以修正现阶段背景知识段hX→K: 所述步骤S35中,生成第t个回复词rt的过程如下:根据上一个回复词rt-1,通过如下公式,获得第t个解码状态 其中,ert-1是rt-1的词向量表示,为第t-1个解码状态;接下来,根据第t个解码状态通过如下公式,训练第t个解码引导向量 接着,根据第t个解码引导向量通过以下公式,计算一个引导感知的背景知识表示 其中,属于所述背景知识表征HK,接着,根据第t个解码引导向量通过以下公式,计算一个引导感知的对话上下文表示 其中,属于所述对话上下文表征HX,接着,根据引导感知的背景知识表示和引导感知的对话上下文表示通过如下公式,计算原有词汇特征向量 接着,根据原有词汇特征向量通过如下公式,计算回复词汇rt从原有词汇中生成的概率PVrt: 接着,根据第t个解码引导向量计算所述回复词汇rt从背景知识K中选择的概率PKrt: 接着,根据回复词汇rt从原有词汇中生成的概率PVrt和从背景知识K中选择的概率PKrt,通过如下公式,得到最终的词表概率分布Prt:Prt=pgenPVrt+1-pgenPKrt, 根据所述最终词表概率分布Prt,选择一个词汇生成所述回复词rt。
全文数据:
权利要求:
百度查询: 华南师范大学 一种基于回复感知反馈机制的语言处理方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。