买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜阿里巴巴(中国)有限公司申请的专利预训练语言模型的训练方法、语言模型的训练方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114757171B 。

龙图腾网通过国家知识产权局官网在2025-03-11发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210516988.1，技术领域涉及：G06F40/274；该发明授权预训练语言模型的训练方法、语言模型的训练方法及装置是由陈谦设计研发完成，并于2022-05-12向国家知识产权局提交的专利申请。

本预训练语言模型的训练方法、语言模型的训练方法及装置在说明书摘要公布了：本公开提供一种预训练语言模型的训练方法、语言模型的训练方法及装置，包括：获取样本文本，根据样本文本执行预训练任务中的至少两种，得到预训练语言模型，其中，预训练任务包括：前向因果语言建模任务、反向因果语言建模任务以及掩码语言建模任务，前向因果语言建模任务为由样本文本中在前的词预测样本文本中在后的词的建模任务，反向因果语言建模任务为由样本文本中在后的词预测样本文本中在前的词的建模任务，掩码语言建模任务为由样本文本中非掩码位置的词预测样本文本中掩码位置的词的建模任务，可以实现从多个维度进行预训练，从而实现训练的多样性和灵活性，且可以使得从多个维度训练得到的预训练语言模型具有较高的准确性和可靠性。

本发明授权预训练语言模型的训练方法、语言模型的训练方法及装置在权利要求书中公布了：1.一种预训练语言模型的训练方法，包括：获取样本文本；根据所述样本文本执行预训练任务中的至少两种，得到预训练语言模型，其中，所述预训练任务包括：前向因果语言建模任务、反向因果语言建模任务以及掩码语言建模任务，所述预训练语言模型是根据前向预训练损失函数、反向预训练损失函数以及预训练损失函数中的至少两种的损失值进行反向调参处理得到；其中，所述前向因果语言建模任务为由所述样本文本中在前的词预测所述样本文本中在后的词的建模任务；所述反向因果语言建模任务为由所述样本文本中在后的词预测所述样本文本中在前的词的建模任务；所述掩码语言建模任务为由所述样本文本中非掩码位置的词预测所述样本文本中掩码位置的词的建模任务；其中，所述至少两种预训练任务的训练模式包括：交替训练模式、并行训练模式以及串行训练模式。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人阿里巴巴(中国)有限公司，其通讯地址为：311121 浙江省杭州市余杭区五常街道文一西路969号3幢5层554室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。