买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜北京百度网讯科技有限公司申请的专利预训练语言模型的训练方法、语言处理方法和装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115904338B 。

龙图腾网通过国家知识产权局官网在2025-03-11发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211408010.X，技术领域涉及：G06F8/30；该发明授权预训练语言模型的训练方法、语言处理方法和装置是由柴业坤;王硕寰;孙宇设计研发完成，并于2022-11-10向国家知识产权局提交的专利申请。

本预训练语言模型的训练方法、语言处理方法和装置在说明书摘要公布了：本公开提供了预训练语言模型的训练方法、语言处理方法和装置，涉及人工智能技术领域。实现方案为：获取预训练数据集；其中，预训练数据集包括：至少一种语言的单语言数据和至少一组两种语言的平行语言数据，平行语言数据包括第一语言数据和第二语言数据，第一语言数据与第二语言数据存在对应关系，语言包括自然语言和编程语言，根据单语言数据，对预训练语言模型进行训练，以及根据第一语言数据和第二语言数据，对预训练语言模型进行训练，生成训练好的预训练语言模型。由此，所生成的训练好的预训练语言模型能够处理跨自然语言和或编程语言的理解与生成任务，并且还能够处理自然语言和或编程语言的理解与生成任务。

本发明授权预训练语言模型的训练方法、语言处理方法和装置在权利要求书中公布了：1.一种预训练语言模型的训练方法，包括：获取预训练数据集；其中，所述预训练数据集包括：至少一种语言的单语言数据和至少一组两种语言的平行语言数据，所述平行语言数据包括第一语言数据和第二语言数据，所述第一语言数据与所述第二语言数据存在对应关系，所述语言包括自然语言和编程语言，其中，所述至少一组两种语言的平行语言数据包括至少一组一种指定自然语言和一种其他自然语言的平行语言数据，和或一组一种指定自然语言和一种编程语言的平行语言数据，其中，自然语言与编程语言的对应关系是注释与代码的关系；所述至少一种语言的单语言数据包括至少一种自然语言的单语言数据和或一种编程语言的单语言数据；根据所述单语言数据，对预训练语言模型进行训练，以及根据所述第一语言数据和所述第二语言数据，对预训练语言模型进行训练，生成训练好的预训练语言模型；其中，所述根据所述第一语言数据和所述第二语言数据，对预训练语言模型进行训练，包括：根据所述第一语言数据和所述第二语言数据，确定双语训练指令；其中，所述双语训练指令用于指示将所述第一语言数据转换为所述第二语言数据和或将所述第二语言数据转换为所述第一语言数据；将所述第一语言数据和所述双语训练指令输入至所述预训练语言模型，生成预测第二语言数据，并根据所述第二语言数据和所述预测第二语言数据，对所述预训练语言模型进行参数更新；将所述第二语言数据和所述双语训练指令输入至所述预训练语言模型，生成预测第一语言数据，并根据所述第一语言数据和所述预测第一语言数据，对所述预训练语言模型进行参数更新；其中，所述根据所述单语言数据，对预训练语言模型进行训练，包括：响应于根据所述单语言数据，生成多种类型的模型输入数据，根据所述模型输入数据的类型，确定所述模型输入数据对应的单语训练指令；将所述模型输入数据和所述模型输入数据对应的单语训练指令，输入至所述预训练语言模型，生成预测单语言数据；根据所述单语言数据和所述预测单语言数据，对所述预训练语言模型进行参数更新。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京百度网讯科技有限公司，其通讯地址为：100085 北京市海淀区上地十街10号百度大厦二层；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。