龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：重庆邮电大学
摘要：本发明涉及一种跨模态多层融合的情感识别方法和系统，该方法包括：对所述待检测的文本样本和图像样本进行预处理，得到文本数据和图像数据；使用生成式编码模型对所述图像样本进行处理，生成图像描述文本，将其作为第三模态；对所述文本数据、图像描述文本以及图像数据进行特征提取得到单模态特征；使用多层Transformer编码器对上述单模态特征两两交叉融合以实现模态间的对齐与交互，并使用Mamba状态空间模型对上述融合特征进行状态选择和更新，以降低维度和复杂性并得到最终用于情感分类的融合特征R；使用分类器对所述融合特征R进行分类，得到情感识别结果。本发明方可以有效提高多模态情感识别结果的准确性和推理速度。
主权项：1.一种跨模态多层融合的情感识别方法，其特征在于，包括：获取待检测的文本样本和图像样本，将其输入跨模态多层融合网络，跨模态多层融合网络输出情感分类结果，其具体过程包括：对待检测的文本样本和图像样本进行预处理得到文本数据和图像数据；根据图像样本数据生成图像描述文本数据，从图像描述文本数据中提取特征，得到图像描述语义特征C；对图像数据进行特征提取，得到图像隐藏特征I；将从文本数据中提取的特征与图像描述语义特征C进行早期融合，得到文本语义特征T’，通过均值计算得到文本指导特征T；使用多层Transformer编码器对所述文本指导特征T、图像描述语义特征C和图像隐藏特征I进行特征融合，并使用Mamba模型进行状态选择和更新得到融合特征F’；将融合特征F’和文本语义特征T’进行级联合并后得到统一特征序列F，将统一特征序列F输入简单注意力层和池化层处理，得到多模态融合特征R；将多模态融合特征R输入分类器，得到情感分类结果。
全文数据：
权利要求：
百度查询： 重庆邮电大学 一种跨模态多层融合的情感识别方法和系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号