龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：昆明理工大学
摘要：本发明涉及多模态情感分析技术，具体为一种基于Transformer特征学习的自监督多模态情感分析方法。本发明首先对文本进行原始特征提取以及高级特征提取，然后通过注意力机制去除冗余信息，仅保留关键特征。接着，三个模态的关键特征输入到双流交叉注意门控交互模块，提取互补特征并过滤不相关特征。最后，将各模态特征拼接融合，并输入多层感知机，指导单峰标签生成模块，联合指导多模态和单模态任务，平衡独立和互补知识，从而提高情感预测的准确性和泛化能力。
主权项：1.一种基于Transformer特征学习的自监督多模态情感分析方法，其特征在于，包括如下步骤：步骤1、原始特征提取根据多模态数据集的特点，分别将文本模态的文本集、视频模态的视频集以及音频模态的语音集输入到相应的原始特征提取器中以提取各模态的原始特征；步骤2、高级特征提取对步骤1提取的不同模态的原始特征输入到相应的高级特征提取器中以深度挖掘更深层次的高级特征；步骤3、冗余特征去除对步骤2提取的音频及视觉模态的高级特征去除冗余和干扰信息，且为后续跨模态注意力机制提供维度一致的特征；步骤4、模态间特征交换将步骤3提取的关键音频及视觉模态的特征及步骤2提取的高级文本特征输入到双流交叉注意门控交互模块，从而防止模态间的不一致；步骤5、特征融合将步骤4经过模态间交互的各模态特征进行融合得出文本、音频、视频多模态融合的特征；步骤6、得到多模态情感预测结果将步骤5经过特征融合的多模态特征经过多模态多层感知机，最后一层输出即为多模态情感预测结果；步骤7、得到单模态情感预测结果构建三个单模态任务来学习每个模态的特定特征，将步骤4经过模态间交互的各模态特征经过各模态多层感知机，最后一层输出即为单一模态的情感预测结果；步骤8、单峰标签生成将步骤6经过单模态标签生成模块来联合指导多模态任务和单模态任务，以平衡模态之间的独立知识和互补知识；步骤9、多模态和单模态任务两部分损失函数联合优化多模态和单模态任务联合训练得到最优多模态情感分析模型，对多模态数据进行情感预测。
全文数据：
权利要求：
百度查询： 昆明理工大学 一种基于Transformer特征学习的自监督多模态情感分析方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号