买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江大学

摘要：本发明公开了一种基于多模态对齐的学习过程专注程度判断的方法及系统，属于多模态模式识别领域。本方法包括以下步骤：获取多模态数据：获取学生在教育行为中的原始多模态数据，并对原始多模态数据进行预处理；特征提取：构建每种模态数据对应的多模态数据表征编码模型，用于对应提取表征；模型训练：表征融合后，由融合后的多模态表征以及学生的专注程度标签训练专注程度判断模型；专注程度预测：将融合后的待检测多模态表征输入到训练好的专注程度判断模型中，输出预测的学生的专注程度。本发明充分利用多模态数据的丰富信息和学习者的多样特征，提高了表征学习的准确性和可解释性，能够更好地预测学习者在学习过程中的专注程度。

主权项：1.一种基于多模态对齐的学习过程专注程度判断的方法，其特征在于，包括以下步骤：S1：获取学生在教育行为中的原始多模态数据以及对应学生的专注程度，并对原始多模态数据进行预处理，得到预处理后的多模态数据，预处理后的多模态数据包含预处理后的脑成像数据、语音数据以及眼动数据；S2：根据提取多模态表征的需要分别构建特定于教育系统领域的第一多模态数据表征编码模型、第二多模态数据表征编码模型以及第三多模态数据表征编码模型，用于对应提取预处理后的多模态数据中的脑成像数据表征、音频数据表征以及眼动数据表征；S3：将脑成像数据表征、音频数据表征以及眼动数据表征进行融合，得到融合后的多模态表征，由融合后的多模态表征以及学生的专注程度标签构建训练数据集，在所述训练数据集上训练专注程度判断模型，直至总损失收敛，得到训练好的专注程度判断模型，用于判断每个学习者在学习过程的专注程度；所述专注程度判断模型由一个双向长短期记忆网络和一个全连接层依次级联而成，其中，所述双向长短期记忆网络用于提取时序特征，所述全连接层用于将所述双向长短期记忆网络提取到的时序特征映射为专注程度标签；S4：在教育行为中获取待检测的原始多模态数据，对待检测的原始多模态数据进行预处理，得到预处理后的待检测多模态数据；由第一多模态数据表征编码模型、第二多模态数据表征编码模型以及第三多模态数据表征编码模型对应提取预处理后的待检测多模态数据中各个模态数据表征，得到待检测的脑成像数据表征、音频数据表征以及眼动数据表征；将待检测的脑成像数据表征、音频数据表征以及眼动数据表征进行融合，得到融合后的待检测多模态表征；将融合后的待检测多模态表征输入到训练好的专注程度判断模型中，输出预测的学生的专注程度。

全文数据：

权利要求：

百度查询： 浙江大学 基于多模态对齐的学习过程专注程度判断的方法及系统