龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
摘要：本申请涉及一种面向多模态情感分析的多粒度跨模态对比学习方法及装置，其中，方法包括：对文本模态、视觉模态和音频模态分别进行编码，得到编码后的文本模态、编码后的视觉模态和编码后的音频模态；构建样本内正负对和样本间正负对，根据样本内正负对进行样本内对比学习，并根据样本间正负对进行样本间对比学习；根据总体对比损失函数、多模态预测损失函数和单模态预测损失函数优化多粒度跨模态对比学习模型，以利用优化后的多粒度跨模态对比学习模型得到目标多模态的情感分析结果。由此，解决了相关技术将各个模态视为平等的，忽略了模态间的差异性，导致在融合过程中各模态未能充分交互，易造成重要信息丢失，影响最终结果的准确性等问题。
主权项：1.一种面向多模态情感分析的多粒度跨模态对比学习方法，其特征在于，包括以下步骤：获取话语序列中的文本模态、视觉模态和音频模态；对所述文本模态、所述视觉模态和所述音频模态分别进行编码，得到编码后的文本模态、编码后的视觉模态和编码后的音频模态；将所述编码后的文本模态、所述编码后的视觉模态和所述编码后的音频模态分解为满足预设投影条件的相似特征和不相似特征，得到模态分解结果；构建多模态对比学习框架，并在所述多模态对比学习框架内定义样本的正对集合和负对集合；基于所述正对集合和所述负对集合，对满足第一预设相似度条件的正对和满足第二预设相似条件的负对进行训练，得到训练结果；基于所述训练结果，构建样本内正负对和样本间正负对，根据所述样本内正负对进行样本内对比学习，并根据所述样本间正负对进行样本间对比学习；根据半对比学习、所述样本内对比学习和所述样本间对比学习分别得到半对比损失函数、样本内对比损失函数和样本间对比损失函数，并根据所述半对比损失函数、所述样本内对比损失函数、所述样本间对比损失函数和所述模态分解结果得到总体对比损失函数；根据所述总体对比损失函数、多模态预测损失函数和单模态预测损失函数优化多粒度跨模态对比学习模型，得到优化后的多粒度跨模态对比学习模型，以利用所述优化后的多粒度跨模态对比学习模型得到目标多模态的情感分析结果。
全文数据：
权利要求：
百度查询： 武汉大学 面向多模态情感分析的多粒度跨模态对比学习方法及装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号