龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：浙江师范大学
摘要：本发明公开了一种基于双阶段异质超图的多模态情感分析方法及系统，属于多模态情感分析预测领域。本发明方法的具体过程为：获取一段有声视频片段中各个模态的原始数据，将各个模态的原始数据输入到经过训练的多模态情感分析模型中，输出有声视频片段中所反应的情感极性的概率；其中，各个模态的原始数据为音频片段、视频片段以及对话文本。本发明利用超边来建模模态内以及模态间的交互，有效突破了先前方法的成对交互的限制，此外超边还作为局部交互的信息并得到利用。
主权项：1.一种基于双阶段异质超图的多模态情感分析方法，其特征在于，包括以下步骤：S1.从一段有声视频片段中提取各个模态的原始数据，其中原始数据的模块包含音频片段、视频片段以及对话文本；S2.将各个模态的原始数据输入到经过训练的多模态情感分析模型中，通过模态特定的嵌入方法对各个模态的原始数据进行处理，每个模态的原始数据对应得到一个带有情感信息的低级特征，各个模态的低级特征维度大小统一；S3.利用每个模态的低级特征各自构建对应模态的同质超边与异质超边，由所有模态的节点、同质超边与异质超边构建异质超图，其中，同质超边用于建模模态内的交互，异质超边用于模态间的交互；S4.生成异质超图中每个同质超边的初始超边特征与每个异质超边的初始超边特征后，将异质超图输入到异质超图网络中，由第一节点聚合模块输出所有同质超边的第一聚合表征，将第一聚合表征输入第一超边扩散模块得到所有节点的第一扩散表征，将第一扩散表征输入第二节点聚合模块得到所有异质超边的第二聚合表征，将第二聚合表征输入第二超边扩散模块得到所有节点的第二扩散表征；其中，第一节点聚合模块和第一超边扩散模块用于实现基于同质超边的模态内交互建模，第二节点聚合模块和第二超边扩散模块用于实现基于异质超边的模态间交互建模；S5.将所述第二聚合表征以及所述第二扩散表征在特征维度上求平均，得到图级表征；S6.将图级表征输入到预测头中，输出有声视频片段中所反映的情感极性的概率。
全文数据：
权利要求：
百度查询： 浙江师范大学 一种基于双阶段异质超图的多模态情感分析方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号