买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京理工大学

摘要：本发明涉及针对请求和情感标签生成的带有指定情感的机器回复方法，属于自然语言处理技术领域。本发明利用深度学习框架，引入预训练情感打分机制，能够控制回复生成过程中的情感表达，考虑到了词汇以及词与词之间相互作用；引入细粒度情感词典，综合考虑了情感词汇在不同情感类别中出现的概率，同时在训练过程中微调，能够丰富输出回复的情感表达；利用条件变分自编码器对参考回复建模，使得解码器能够学习到输入和输出的对应关系，优化回复与输入请求之间的语义关联。本发明在多个情感对话生成数据集上均取得了良好的性能提升，同时本发明提出的预训练情感打分器具有很强的灵活性和适配性。

主权项：1.针对请求和情感标签生成的带有指定情感的机器回复方法，其特征在于，包括以下步骤：步骤1：利用带情感标签的对话数据集，提取其中带有情感的句子，得到用于预训练模型的语料集，同时搜集全部语句作为正式训练语料集；计算词汇的词频-逆文本频率，用于获取主题词典，同时，获取外部情感词典；利用整体语料集，训练获取词的向量表示；步骤2：构建预训练网络模型，用于情感打分；预训练网络模型由长短期记忆LSTM和全连接层构成，其输出为情感分类情况，其中，情感得分score由余弦相似度计算，如式1所示： 其中，pclassify表示情感分类结果，lone-hot表示情感标签的独热向量；||·||表示向量·的2范数；预训练损失函数如下式所示：L'＝L'1+L'22L'1＝1-score3L'2＝-∑jyjlogpj4其中，L'表示预训练损失函数，L'1表示情感得分损失，L'2表示情感分类损失；pj表示数据被分到第j类的概率；yj表示实际分类结果，当数据属于j类时为1，其余情况为0；预训练网络模型，包括第一编码器、第二编码器、第三编码器、解码器、条件变分自编码器、输出映射模块和预训练情感打分器；其中，三个编码器以及解码器，均由门控循环单元GRU构成，用于进行输入输出映射；条件变分自编码器用于将参考回复映射到隐变量空间，条件变分自编码器中包括有第一编码器；输出映射模块用于将解码器的输出映射到词典中的词汇上；预训练情感打分器用于打分控制解码器中情感因子的输入，预训练情感打分器包括有第三编码器；步骤3：构建用于正式训练的损失函数；正式训练损失函数包含以下三个部分：一是条件变分自编码器分布之间的KL散度表示如下： 其中，KL表示KL散度计算，Pr表示条件变分自编码器中的识别网络输出的分布，z表示隐变量，X表示输入请求，表示参考回复，Pp表示条件变分自编码器中的先验网络输出的分布；二是对隐变量的情感分类损失表示如下： 其中，表示在分布下的交叉熵；Plabel|z表示对隐变量z的分类结果为label的概率，label表示目标情感类别；三是输出回复序列与参考回复序列之间的交叉熵损失表示如下： 其中，Py_t|y_{t},z,X,label表示在给定隐变量z，输入请求X和目标情感类别标签label时，每一个时间步的生成词概率，Y表示目标输出，z表示隐变量，t表示时间步，yt表示第t个时间步的输出，y表示时间步的输出；则用于正式训练的损失函数表示如下： 其中，α为超参数，用于控制KL损失所占的权重，在训练过程中由0增至1；步骤4：利用步骤1获取的训练数据和步骤2构建的预训练网络模型，训练得到预训练情感打分网络参数Parameterpre-train；步骤5：利用步骤1得到的训练数据、步骤3的损失函数，以及步骤4得到的预训练情感打分网络参数，训练步骤2构建的预训练网络模型；Step1：用步骤1的词向量和步骤4得到的网络参数Parameterpre-train，初始化预训练网络模型；Step2：每一个批次包含步骤1得到的训练数据中的输入请求、参考回复和参考回复的情感标签，句子序列被映射到向量空间，分别送入编码器和变分自编码器，得到中间表示h和隐变量z；Step3：用step2得到的输入中间表示，以及情感嵌入和情感得分，整合后送入解码器中，表示如下： 其中，st表示第t个时间步的状态输出，st-1表示第t-1个时间步的状态输出；表示注意力机制的权重；hi表示编码器第i个时间步的输出；Ct-1表示第t-1个时间步的输入，表示参考回复第t-1个时间步的词，emby表示词y对应的词向量，Extrainfo表示由隐变量z和情感嵌入拼接成的向量，socret-1表示第t-1步情感打分器的输出得分；Step4：将step3的输出进行输出映射，得到输出词；Step5：将输出的词汇送入预训练情感打分器中，得到当前情感得分，并重复step3-5，直到输出为句子结束标志eos；Step6：计算损失函数并利用反向传播计算梯度，利用动量优化算法MomentumOptimizer进行优化，更新模型参数值；Step7：重复step2-6，直至损失函数趋于稳定；实际运行情感对话生成应用，在没有参考回复的条件下，利用条件变分自编码器中的判别网络，生成隐变量的分布。

全文数据：

权利要求：

百度查询： 北京理工大学 针对请求和情感标签生成的带有指定情感的机器回复方法