买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：一种融合跨模态数据的师生情感分析方法，由划分数据集、提取多模态特征、转换跨模态特征、构建情感分类网络、训练情感分类网络、验证情感分类网络、测试情感分类网络步骤组成。本发明的多模态特征交互融合网络的第一交互融合模块将言语特征与视、听特征交互融合形成补充视、听信息后的言语文本融合特征和多模态特征；第二交互融合模块挖掘多模态特征与言语文本特征、视听嵌入特征的内在关联关系，获得高级潜在多模态特征和多模态情感表征，多模态情感表征输入情感分类器进行分类。本发明具有跨模态数据信息互补、情感分类结果准确等优点，适用于教育教学场景中的师生情感分类。

主权项：1.一种融合跨模态数据的师生情感分析方法，其特征在于由下述步骤组成：1划分数据集将公开的基准数据集CMU-MOSEI按7:1:2划分训练集、验证集、测试集，剔除闭眼帧数据；2提取多模态特征针对视觉模态数据，使用Facet工具从视频中按下式提取人的面部特征sv： 其中，n表示序列长度，面部特征sv包括面部标志、面部表情、面部动作单元；针对听觉模态数据，使用COVAREP软件按下式提取音频特征sa： 音频特征sa包括梅尔频率倒谱系数、音高、声音非声音段落分割特征、声门参数、峰值斜率参数和最大值分散商；针对文本模态数据，使用SentiwordNet工具获取词级情感极性序列Is： 使用斯坦福词性标注工具获取词性序列Ipos： 使用SentiLARE预训练模型的词法分析获取其令牌索引序列It： 3转换跨模态特征使用聚类方法对测试集中视觉原始特征帧聚类按下式将视觉元素特征转化为视觉特征Sv,听觉原始特征帧聚类转化为听觉特征Sa： 其中，len表示帧长总数,表示听觉模态的第i帧，表示视觉模态的第i帧，听觉表示取第j个聚类簇，表示取第j个视觉聚类簇，K表示聚类簇总数,a表示听觉模态，v表示视觉模态；将词级情感极性序列Is、词性序列Ipos、令牌索引序列It作为嵌入输入，使用Bert模型的嵌入层生成言语文本特征Sl如下：Sl＝B1It+B2Ipos+B2Is其中，B1表示Bert模型的嵌入层，B2表示普通嵌入层；4构建情感分类网络情感分类网络由多模态特征交互融合网络与情感分类器串联构成；5训练情感分类网络1构建损失函数按下式构建损失函数 其中，δ表示参数，取值最小为1.0的实数，y表示真实值，表示预测值；2训练情感分类网络将训练集输入到情感分类网络进行训练，所输入的视频特征维度为35、音频特征维度为74、文本特征维度为768，数据训练批量为64，数据验证和测试批量为128，权重参数β、γ取值范围为[0.1,0.9]，且β+γ＝1，增强嵌入门和增强门中全连接密集层的个数为1，使用Adam作为网络模型的优化器，学习率为4e-5，反复循环前向传播和反向传播，并更新网络的权重和偏置，训练至损失函数收敛；6验证情感分类网络将验证集输入到训练好的情感分类网络中，验证网络的效果。7测试情感分类网络将测试集输入训练好的情感分类网络中，进行情感分类检测，输出师生情感分析结果。

全文数据：

权利要求：

百度查询： 陕西师范大学 融合跨模态数据的师生情感分析方法