恭喜平安科技(深圳)有限公司李志韬获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜平安科技(深圳)有限公司申请的专利文本模型的训练方法、识别方法、装置、设备及存储介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN112734050B 。
龙图腾网通过国家知识产权局官网在2025-05-23发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202011446681.6,技术领域涉及:G06N20/20;该发明授权文本模型的训练方法、识别方法、装置、设备及存储介质是由李志韬;王健宗;程宁设计研发完成,并于2020-12-11向国家知识产权局提交的专利申请。
本文本模型的训练方法、识别方法、装置、设备及存储介质在说明书摘要公布了:本发明涉及人工智能技术领域,公开了一种基于联邦学习的文本模型的训练方法、文本模型的识别方法、装置、计算机设备及计算机可读存储介质,该方法包括:通过获取待训练集数据,基于所述待训练集数据训练预置语言模型,得到所述预置语言模型的模型参数信息;将所述模型参数信息加密并上传至预置聚合联邦模型,以获取所述预置聚合联邦模型对所述模型参数信息进行联邦学习后返回的聚合模型参数信息;基于所述聚合模型参数信息更新所述预置语言模型,得到对应的文本模型,实现保护数据隐私的基础上联合训练多个模型,并提高预测违规文本的准确率以及减少模型的训练时间。
本发明授权文本模型的训练方法、识别方法、装置、设备及存储介质在权利要求书中公布了:1.一种基于联邦学习的文本模型的训练方法,其特征在于,包括:获取待训练集数据,基于所述待训练集数据训练预置语言模型,得到所述预置语言模型的模型参数信息;将所述模型参数信息加密并上传至预置聚合联邦模型,以获取所述预置聚合联邦模型对所述模型参数信息进行联邦学习后返回的聚合模型参数信息;基于所述聚合模型参数信息更新所述预置语言模型,得到对应的文本模型;其中,所述预置语言模型包括预置预训练语言模型和预置双重传播模型,所述聚合模型参数信息包括第一聚合模型参数信息和第二聚合模型参数信息;所述基于所述聚合模型参数信息更新所述预置语言模型,得到对应的文本模型,包括:基于所述第一聚合模型参数信息更新所述预置预训练语言模型的第一模型参数信息,以及基于所述第二聚合模型参数信息更新所述预置双重传播模型的第二模型参数信息;确定更新后的所述预置预训练语言模型和或更新后的所述预置双重传播模型是否处于收敛状态;若确定所述预置预训练语言模型和或预置双重传播模型处于收敛状态,则将所述预置预训练语言模型作为文本编码模型和或将所述预置双重传播模型作为文本识别模型,其中,所述文本编码模型用于确定待预测文本的第二文本语义向量信息,所述文本识别模型用于根据所述第二文本语义向量信息确定所述待预测文本的标签信息;若所述预置预训练语言模型和或所述预置双重传播模型未处于收敛状态,则根据预置待训练样本数据训练所述预置预训练语言模型和或所述预置双重传播模型,得到训练后所述预置预训练语言模型的第三模型参数信息和或所述预置双重传播模型的第四模型参数信息,并将所述第三模型参数信息和或所述第四模型参数信息上传至所述预置聚合联邦模型进行联邦学习。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人平安科技(深圳)有限公司,其通讯地址为:518000 广东省深圳市福田区福田街道福安社区益田路5033号平安金融中心23楼;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。