买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江师范大学;科大讯飞股份有限公司

摘要：本申请公开了一种跨模态情绪因果追踪方法，涉及情绪识别领域。该方法采用基于编码语义学习的前门调整方法对情感提取模型进行训练，同时使用自适应梯度调整方法调整情感提取模型中多模态编码器的梯度；结合知识蒸馏和噪声门控机制，训练稀疏混合专家模型，获得多模态混合专家模型；训练教学场景因果情绪追踪模型，获得训练好的教学场景因果情绪追踪模型；按照教学活动的时间顺序采集实际课堂中不同教学场景的多模态情绪时序数据，并将多模态情绪时序数据依次通过训练好的情感提取模型、多模态混合专家模型和训练好的教学场景因果情绪追踪模型，获得教学活动与学生情绪的因果映射追踪。本申请能够实现教学活动与学生多模态情绪因果关系地准确追踪。

主权项：1.一种跨模态情绪因果追踪方法，其特征在于，包括：构建情感提取模型；所述情感提取模型包括多模态编码器和多个因果表征模型；一个模态编码器与一个因果表征模型连接，所述因果表征模型用于根据模态编码器输出的模态编码信息，获得每个模态中表征教学场景与学生情绪因果关系的特征向量；获取不同教学场景下学生产生的多模态信息样本；利用多模态信息样本，采用基于编码语义学习的前门调整方法对所述情感提取模型进行训练，同时使用自适应梯度调整方法调整所述情感提取模型中多模态编码器的梯度，获得训练好的情感提取模型；将所述多模态信息样本输入训练好的情感提取模型，输出每个模态表征教学场景与学生情绪因果关系的特征向量；建立噪声门控机制；利用每个模态表征教学场景与学生情绪因果关系的特征向量，结合知识蒸馏和噪声门控机制，训练稀疏混合专家模型，获得多模态混合专家模型；将每个模态表征教学场景与学生情绪因果关系的特征向量输入所述多模态混合专家模型，输出每种教学场景下学生的情感表征向量；利用多种教学场景下学生的情感表征向量，训练教学场景因果情绪追踪模型，获得训练好的教学场景因果情绪追踪模型；按照教学活动的时间顺序采集实际课堂中不同教学场景的多模态情绪时序数据，并将所述多模态情绪时序数据依次通过训练好的情感提取模型、多模态混合专家模型和训练好的教学场景因果情绪追踪模型，获得教学活动与学生情绪的因果映射追踪。

全文数据：

权利要求：

百度查询： 浙江师范大学 科大讯飞股份有限公司 一种跨模态情绪因果追踪方法