买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜华润数字科技有限公司申请的专利基于UniLM与对比学习的相似句生成模型训练方法及相关设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN113987154B 。

龙图腾网通过国家知识产权局官网在2025-04-29发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111327839.2，技术领域涉及：G06F16/3329；该发明授权基于UniLM与对比学习的相似句生成模型训练方法及相关设备是由黄勇其;王伟;于翠翠;张黔设计研发完成，并于2021-11-10向国家知识产权局提交的专利申请。

本基于UniLM与对比学习的相似句生成模型训练方法及相关设备在说明书摘要公布了：本申请实施例属于人工智能领域，涉及一种基于UniLM与对比学习的相似句生成模型训练方法，包括将样本句子输入到相似句生成模型中，其中，句子编码层用于对样本句子进行编码处理得到稠密向量，所述多头自注意力结构用于提取所述稠密向量中的关键信息，将所述关键信息与所述稠密向量组成正样本以计算对比损失函数；将所述稠密向量输入到UniLM模型中，得到输出句子，计算所述样本句子与所述输出句子之间的文本对齐损失函数；将所述对比损失函数和所述文本对齐损失函数相加后，得到总损失函数，并基于梯度下降法计算所述总损失函数的最终值，得到训练后的相似句生成模型。采用本方法提高了训练出的模型的准确率。

本发明授权基于UniLM与对比学习的相似句生成模型训练方法及相关设备在权利要求书中公布了：1.一种基于UniLM与对比学习的相似句生成模型训练方法，其特征在于，所述方法包括：将样本句子输入到相似句生成模型中，其中，所述相似句生成模型包括句子编码层、包括一个掩码矩阵的多头自注意力结构，所述句子编码层用于对样本句子进行编码处理得到稠密向量，所述多头自注意力结构用于提取所述稠密向量中的关键信息，将所述关键信息与所述稠密向量组成正样本以计算对比损失函数；将所述稠密向量输入到UniLM模型中，得到输出句子，计算所述样本句子与所述输出句子之间的文本对齐损失函数；将所述对比损失函数和所述文本对齐损失函数相加后，得到总损失函数，并基于梯度下降法计算所述总损失函数的最终值，得到训练后的相似句生成模型；其中，设计关键信息抽取器，并设计如下（2）（3）（4）公式： （2）； （3）； （4）；其中，式子（2）计算Q向量的第i个分量与所有K分向量的相似值，是向量的维度，lk是输入句子长度，式子（3）表示对所有Q分量进行式子（2）的计算，并按所得值从大到小进行排序，并选取前m个分量，这里的m可自定义，表示保留m个重要的向量，式子（4）指通过（2）和（3）两种方式选取重要的句子向量，与掩码M相加后，乘以V，得到新的值，即得到新的句子编码；每一层多头自注意力结构都对应一个关键信息抽取器。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华润数字科技有限公司，其通讯地址为：518000 广东省深圳市福田区梅林街道梅都社区中康路136号深圳新一代产业园2栋801；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。