首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

基于知识蒸馏和偏好优化的电力事故事件抽取方法 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:电子科技大学(深圳)高等研究院;电子科技大学

摘要:本发明公开一种基于知识蒸馏和偏好优化的电力事故事件抽取方法,涉及自然语言处理技术领域,解决了现有抽取方法处理电力行业的专业文本时,领域适应性差、抽取效果不理想的技术问题。该方法包括:收集电力事故事件的原始数据并进行预处理,得到电力事故事件训练数据;基于知识蒸馏方法,教师模型同步进行知识的融入并对mistral‑instruct学生模型进行监督微调训练,得到微调学生模型;基于微调学生模型进行测试电力事故事件的提取,得到学生模型预测;构建偏好数据集;使用直接偏好优化算法DPO对偏好数据集进行偏好优化,得到电力事故事件抽取模型。本发明处理电力行业专业文本时,领域适应性强、抽取效果好的优势,提高了电力事故事件的处理效率。

主权项:1.一种基于知识蒸馏和偏好优化的电力事故事件抽取方法,其特征在于,包括以下步骤:S100:收集电力事故事件的原始数据并进行预处理,得到电力事故事件的事件数据集,并对事件数据集进行训练处理,得到电力事故事件训练数据;S200:基于知识蒸馏方法,mistral-instruct学生模型从电力事故事件训练数据中学习电力事故的专业知识并获得事件抽取能力,教师模型同步进行知识的融入并对mistral-instruct学生模型进行监督微调训练,得到微调学生模型;S300:基于微调学生模型进行测试电力事故事件的提取,得到学生模型预测;S400:通过微调学生模型在验证集上对学生模型预测进行验证,并构建偏好数据集;S500:使用直接偏好优化算法DPO对偏好数据集进行偏好优化,基于微调学生模型得到电力事故事件抽取模型,通过电力事故事件抽取模型进行电力事故事件抽取。

全文数据:

权利要求:

百度查询: 电子科技大学(深圳)高等研究院 电子科技大学 基于知识蒸馏和偏好优化的电力事故事件抽取方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。