申请/专利权人：阿里巴巴达摩院(杭州)科技有限公司

申请日：2021-09-15

公开（公告）日：2024-07-05

公开（公告）号：CN113743128B

主分类号：G06F40/35

分类号：G06F40/35;G06N3/0499;G06N3/0895

优先权：

专利状态码：有效-授权

法律状态：2024.07.05#授权;2021.12.21#实质审查的生效;2021.12.03#公开

摘要：本申请公开了一种获取对话语义表示的方法和语义表示模型训练方法及装置，通过引入角色级响应选择自监督任务，实现了多角色对话在无标注的情况下的自监督训练和优化，摆脱了对话表示学习对于标签的依赖；通过引入角色级自注意力机制，实现了语义表示模型自动学习，对多角色对话表示具有更加重要意义的发言，使得对话语义表示具备了更加良好的效果。本申请实施例中，将利用数据中的固有特征实现的自监督学习应用于多角色对话的实现中，摆脱了对监督学习中的标签的依赖的，不仅降低了实现成本，而且也提升了实现多角色对话的效果，简单、有效地实现了多角色对话。

主权项：1.一种获取对话语义表示的方法，所述方法通过训练完成的语义表示模型实现，包括：获得至少两个角色之间的对话文本，所述对话文本包括多个对话语句；获得每个角色的对话语句的句向量组，并根据所述句向量组获得每个角色的语义表示；根据不同角色的语义表示，得到所述对话语义表示；所述语义表示模型通过如下方法训练得到：待训练的至少两个角色之间的样本对话文本进行嵌入操作，获得每个角色的样本对话文本的嵌入表示向量样本，其中，所述样本对话文本包括正样本和负样本；其中，所述正样本为所述样本对话文本本身，所述负样本为通过以下方式构建的样本：对于该待训练的对话的正样本，随机选择一个角色，随机抽取选择出的角色的另一个对话的对话文本与该正样本的另一个角色的对话文本组成新对话的样本对话文本；将新对话的样本对话文本作为负样本；对同一个角色嵌入表示向量样本进行编码，得到每个角色对应的句向量样本；通过自注意力机制对每个角色对应的句向量样本进行聚合，获得每个角色对应的语义表示样本；将不同角色对应的语义表示样本进行拼接，得到匹配特征；根据所述匹配特征对所述语义表示模型的网络参数进行调整；其中，所述通过自注意力机制对每个角色对应的句向量样本进行聚合，获得每个角色对应的语义表示样本包括：为所述待训练的某个角色的一组文本中的每个句子分配一个权重；计算每个句子的句向量样本与其对应的权重的乘积后聚合，得到一个对话的某个角色对应的分布式高维向量，作为所述语义表示样本；其中，所述根据所述匹配特征对所述语义表示模型的网络参数进行调整包括：将所述正样本对应的匹配特征的预测值预测为1，以及将所述负样本对应的匹配特征的预测值预测为0；基于预测值与真实值的损失更新所述语义表示模型的网络参数。

全文数据：

权利要求：

百度查询： 阿里巴巴达摩院(杭州)科技有限公司 获取对话语义表示的方法和语义表示模型训练方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD