买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜阿里巴巴(中国)有限公司申请的专利建立预训练语言模型的方法、语义解析方法和装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114547329B 。

龙图腾网通过国家知识产权局官网在2025-03-25发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210090493.7，技术领域涉及：G06F16/36；该发明授权建立预训练语言模型的方法、语义解析方法和装置是由耿瑞莹;黎槟华;石翔;惠彬原;孙健;李永彬设计研发完成，并于2022-01-25向国家知识产权局提交的专利申请。

本建立预训练语言模型的方法、语义解析方法和装置在说明书摘要公布了：本申请实施例公开了一种建立预训练语言模型的方法、语义解析方法和装置。技术方案包括：获取第一训练数据，第一训练数据包括多于一组的多轮对话样本对和关联表格的模式信息，多轮对话样本对包括一个对话中的多个由自然语言文本及其对应的结构化查询语言SQL语句构成的样本对；利用第一训练数据训练得到包括嵌入Embedding层和转换Transformer网络的预训练语言模型；在训练过程中，将自然语言文本、该自然语言文本的上下文以及模式信息构成的输入序列输入预训练语言模型，执行会话语义解析任务、对话编辑策略预测任务、掩码预测任务和列标签预测任务中的至少一种。本申请适用于需要对结构化表格数据进行建模的场景。

本发明授权建立预训练语言模型的方法、语义解析方法和装置在权利要求书中公布了：1.建立预训练语言模型的方法，所述方法包括：获取第一训练数据，所述第一训练数据包括多于一组的多轮对话样本对和关联表格的模式信息，所述多轮对话样本对包括一个对话中的多个由自然语言文本及其对应的结构化查询语言SQL语句构成的样本对；利用所述第一训练数据训练得到包括嵌入层和Transformer网络的预训练语言模型，所述Transformer网络为结合注意力机制和前馈神经网络的编码网络，所述预训练语言模型用以提取所输入自然语言文本的向量表示；在训练过程中，将自然语言文本、该自然语言文本的上下文以及所述模式信息构成的输入序列作为所述预训练语言模型的输入，执行会话语义解析任务、对话编辑策略预测任务、掩码预测任务和列标签预测任务中的至少一种；所述会话语义解析任务用以预测所输入自然语言文本及其上下文与所述模式信息的语义关系，其中，所述自然语言文本的上下文包括：在一个对话中该自然语言文本的历史自然语言文本，或者，历史SQL语句，或者，历史SQL语句对应的语义图；所述对话编辑策略预测任务用以预测所输入自然语言文本相比较其上下文所采用的编辑策略；所述掩码预测任务用以预测所述输入序列中被掩码的字符内容；所述列标签预测任务用以预测所输入自然语言文本对应的SQL语句覆盖的关联表格的列名称。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人阿里巴巴(中国)有限公司，其通讯地址为：310000 浙江省杭州市滨江区长河街道网商路699号4号楼5楼508室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。