买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:国网湖北省电力有限公司江陵县供电公司;国网湖北省电力有限公司荆州供电公司;国家电网有限公司
摘要:本发明特别涉及一种基于知识蒸馏的多任务电力数据实体识别方法及装置,通过知识蒸馏结合多任务学习,提高小模型的准确性、迁移能力和泛化能力,有效降低对计算资源和内存的要求,适配小型设备和系统工作需求,极大增强电力系统专有名词中的同义词、多义词以及不规范用语的泛化能力,管理准确高效,界面展示多个可选的实体识别模型指标,从预设的多个待选择模型中获取用户从返回的多个第二待选模型中选择的模型作为最终模型;对多种实体分别训练教师模型,捕获不同实体的语义信息,通过知识蒸馏技术使学生模型充分学习各个实体的语义信息以及不同实体类型间的差异性和关联性,得到待训练模型;显著提高了电力领域实体识别的效率和适用性。
主权项:1.一种基于知识蒸馏的多任务电力数据实体识别方法,包括:获取用户所需的多个模型指标需求和系统配置;其特征在于,它是通过如下方法实现的:根据所述多个模型指标需求和系统配置,从多个待选择模型中确定目标实体识别模型;其中,所述待选择模型通过下述方式获取:获取电力用户数据集;所述电力用户数据集包括问题描述数据集、电力政策数据集、电力设备数据集;根据所述问题描述数据集、电力政策数据集、电力设备数据集分别训练一个RoBERTa-large模型,得到多个预训练教师模型;构建多个结构不同的初始学生模型;针对每一初始学生模型,基于所述电力用户数据集和所述多个预训练教师模型,使用知识蒸馏算法,训练得到一个待选择模型。
全文数据:
权利要求:
百度查询: 国网湖北省电力有限公司江陵县供电公司 国网湖北省电力有限公司荆州供电公司 国家电网有限公司 一种基于知识蒸馏的多任务电力数据实体识别方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。