买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东大学

摘要：本发明属于自然语言处理的技术领域，具体涉及一种基于扩散模型的多样性可控文本生成方法和装置。所述方法包括：构建包括自然语言提示编码器、文本重构自编码器、控制信息聚类模型和隐空间扩散模型的多样性文本生成模型；在训练阶段，给定参考文本及包含任务需求和控制需求的自然语言提示，并将其输入多样性文本生成模型以进行模型训练；在应用阶段，给定自然语言提示，并将其输入训练好的多样性文本生成模型中，以逐步迭代生成符合相应控制的多样性文本。本发明将自然语言提示编码在隐空间中聚类，将自然语言控制转化成潜在的指令控制类别，根据提示控制类别分布采样控制信息，引导文本生成过程，实现对生成文本的控制。

主权项：1.一种基于扩散模型的多样性可控文本生成方法，其特征在于，所述方法包括：S1、构建基于自然语言控制的多样性文本生成模型，所述多样性文本生成模型包括自然语言提示编码器、文本重构自编码器、控制信息聚类模型和隐空间扩散模型；S2、在训练阶段，给定参考文本以及包含任务需求和控制需求的自然语言提示，并将所述参考文本和自然语言提示输入多样性文本生成模型，以训练所述多样性文本生成模型；S3、在应用阶段，给定自然语言提示，并将所述自然语言提示输入训练好的所述多样性文本生成模型中，以逐步迭代生成符合相应控制的多样性文本；其中，所述步骤S2中，训练所述多样性文本生成模型，具体包括：S21、使用所述参考文本训练所述文本重构自编码器，以使用训练后的所述文本重构自编码器对所述参考文本进行编码，并将得到的原始文本编码映射到连续的隐空间中；S22、依据所述任务需求和自然语言提示的语义信息选取正负样本作为锚定样本，采用对比学习的方式训练所述自然语言提示编码器，以使用训练后的所述自然语言提示编码器对所述自然语言提示进行编码，得到控制变量；其中，所述自然语言提示在隐空间中被分为个具有相似控制的控制信息类别；S23、将所述控制变量输入所述控制信息聚类模型，并使用EM算法获取所述控制变量对应的自然语言提示的控制信息类别，以从所述控制信息类别的分布中采样出相应的控制信息；S24、将所述文本重构自编码器输出的原始文本编码作为所述隐空间扩散模型的起始时刻隐藏状态，构造前向扩散过程和后向逆扩散过程，并在所述前向扩散过程中逐步向所述原始文本编码增加标准高斯噪声，得到时刻的文本编码；在所述后向逆扩散过程中利用所述控制变量、控制信息以及时刻的文本编码训练去噪网络，以使用训练好的去噪网络逐步迭代生成符合相应控制的多样性文本。

全文数据：

权利要求：

百度查询： 山东大学 基于扩散模型的多样性可控文本生成方法和装置