龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：广东工业大学
摘要：本发明公开了一种基于文本指导的层级跨模态情感分析方法及相关装置。方法包括：通过单模态编码器编码处理各模态，构建掩码矩阵以反馈调整各模态的二级特征的权重值；对文本模态的特征进行多次自注意力运算，得到文本模态的不同层级特征向量并以其提供查询向量，结合非文本模态的特征向量执行多次超模态注意力任务，输出并跨模态融合各模态的目标特征向量，生成情感分析结果。在本发明中，通过掩码矩阵捕捉各模态间的差异和一致性，调整各模态的特征贡献，避免信息丢失；对文本模态的特征进行多次自注意力处理，分别将每次处理后的文本模态与非文本模态进行超模态注意力任务，促进多模态信息交互且减少模态间的噪声干扰，提高情感分析的可靠性。
主权项：1.一种基于文本指导的层级跨模态情感分析方法，其特征在于，所述方法包括：获取多模态数据，分别对各模态数据进行预处理，得到各模态的初始特征，并将所有模态的初始特征投影至同一维度上；多模态包括文本模态、视频模态和音频模态；将各模态的初始特征分别输入至对应的单模态编码器中进行编码处理，得到各模态的二级特征，并基于各模态的二级特征构建掩码矩阵，通过所述掩码矩阵反馈调整各模态的二级特征的权重值，输出各模态的三级特征；将各模态的三级特征依次输入至对应的Transformer模型中进行自注意力运算，并映射到同一低维空间中，得到各模态的初始层级特征向量；对文本模态的初始层级特征向量进行多次自注意力运算，得到文本模态的不同层级特征向量，以文本模态的不同层级特征向量提供查询向量并结合非文本模态的初始层级特征向量执行多次超模态注意力任务，输出各模态的目标特征向量；将所有模态的目标特征向量进行跨模态融合，生成情感分析结果。
全文数据：
权利要求：
百度查询： 广东工业大学 基于文本指导的层级跨模态情感分析方法及相关装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号