买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
摘要:本发明公开了一种基于蒸馏提升BERT的财经新闻情感分析方法和装置,方法包括以下步骤:利用大语言模型构建情感感知摘要数据集;对BERT模型进行领域自适应预训练;构建包括预训练后的BERT模型、双向GRU网络和基于注意力机制的指针网络的情绪语句摘要任务模型,对情感语句摘要任务模型进行微调;利用大语言模型对预训练后的BERT模型进行知识蒸馏;利用微调后的情感语句摘要任务模型和知识蒸馏后的BERT模型进行情感类别分析。本发明能够将大语言模型的情感分析能力迁移到训练硬件需求更小、更易部署、计算效率更高的BERT模型上,提高财经新闻情感分析的效率和准确性,为用户提供更有价值的情感分析结果。
主权项:1.一种基于蒸馏提升BERT的财经新闻情感分析方法,其特征在于,包括以下步骤:利用大语言模型对财经新闻语料进行摘要得到情感感知摘要数据集;利用财经新闻语料对BERT模型进行领域自适应预训练;构建包括预训练后的BERT模型、双向GRU网络和基于注意力机制的指针网络的情绪语句摘要任务模型,输入财经新闻语料并基于情感感知摘要数据集对情感语句摘要任务模型进行微调并输出摘要后的情绪语句;基于大语言模型对情感感知摘要数据集中的情感句子的情感类别分析结果和基于预训练后的BERT模型对情感语句摘要任务模型输出的情绪语句的情感类别分析结果,利用大语言模型对预训练后的BERT模型进行知识蒸馏,将大语言模型的情感分析能力迁移到预训练后的BERT模型;利用微调后的情感语句摘要任务模型对新的财经新闻语料进行摘要,并利用知识蒸馏后的BERT模型对摘要得到的情绪语句进行情感类别分析。
全文数据:
权利要求:
百度查询: 之江实验室 基于蒸馏提升BERT的财经新闻情感分析方法和装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。