龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：中国科学技术大学
摘要：本发明公开了一种多模态情感分析模型构建方法、分析模型及分析方法，构建方法包括：获取预训练语言子模型、训练集；对训练集中的样本特征提取，在预训练语言子模型中构建多模态专家，将多模态特征引入预训练语言子模型，得到多模态专家的输出；将混合输出加至预训练语言子模型的Transformer层的输出；采用预设置的MLP分类器预测情感，得到目标模型；将训练后的目标模型作为情感分析模型。通过向预训练语言子模型中插入多模态专家，解决了多模态情感分析使用预训练语言子模型带来的参数量过大的问题；通过多模态路由分析不同模态在不同时间的特征，并将token分配给恰当的专家处理，增加了对多模态特征有效性的判断，提升了分类准确度。
主权项：1.一种多模态情感分析模型构建方法，其特征在于，所述构建方法包括：获取预训练语言子模型、训练集，所述训练集包括多个具有标签的训练样本，训练集中的训练样本包括视频数据、音频数据和文本数据；对所述训练集中的样本特征提取，得到多模态特征并对多模态特征对齐处理；在预训练语言子模型中构建多模态专家，将所述多模态特征引入所述预训练语言子模型，得到多模态专家的输出；在预训练语言子模型中构建多模态专家，将所述多模态特征引入所述预训练语言子模型，得到多模态专家的输出包括：将多模态专家在第i个词语处输入记为三元组，通过计算获得多模态专家的输入；通过多模态专家捕捉融合过程的表征；通过上投影矩阵将融合表示映射至预训练语言子模型的嵌入维度，得到多模态专家的输出；计算多模态专家的门控值，通过离散路由集成所述多模态专家的输出，将所述多模态专家的输出和所述门控值的加权和作为混合专家网络的输出，将混合输出加至预训练语言子模型的Transformer层的输出；将预训练语言子模型的Transformer最后一层视为最终的多模态表征，将多模态表征输入至预设置的分类器，采用预设置的MLP分类器预测情感，得到目标模型；所述训练样本输入目标模型进行分类训练，将训练后的目标模型作为情感分析模型。
全文数据：
权利要求：
百度查询： 中国科学技术大学 一种多模态情感分析模型构建方法、分析模型及分析方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号