买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明提供一种课堂行为分析方法、系统、计算机及存储介质，该方法包括以下步骤：基于收音麦克风实时提取教师的语音数据，以得到教师指令；基于监控设备获取学生的图像数据，对图像数据进行关节点检测，得到学生的行为特征；基于教师指令与行为特征进行一致性匹配，以判断行为特征是否异常行为特征；若行为特征为异常行为特征，基于编号对学生进行提醒。通过基于教师的收音麦克风实时提取教师的语音数据，以分析得到教师指令，然后根据监控图像分析学生的行为，通过将其进行一致性匹配，来判断学生的行为是否异常，结合了教师指令对学生的行为进行评价，提高了分析效果，以及学生专注度的评价质量。

主权项：1.一种课堂行为分析方法，其特征在于，包括以下步骤：基于收音麦克风实时提取教师的语音数据，对所述语音数据进行文本特征提取，以得到教师指令；基于监控设备获取学生的图像数据，基于所述图像数据中的坐标位置对所述学生进行编号；基于OpenPose算法对所述图像数据进行关节点检测，以得到与关节点对应的姿态骨架模型，对所述姿态骨架模型进行分析匹配，得到所述学生的行为特征；基于所述教师指令与所述行为特征进行一致性匹配，以判断所述行为特征是否异常行为特征；若所述行为特征为异常行为特征，基于所述编号对所述学生进行提醒；其中，得到所述学生的行为特征的步骤具体包括：通过知识蒸馏算法分别在云端和边缘设备构建教师模型及学生模型，并通过所述教师模型及所述学生模型，基于OpenPose算法对所述图像数据进行关节点检测；根据所述教师模型得到的关节点置信度预测信息，基于软标签的形式传递至学生模型进行指导，以基于所述学生模型得到所述学生的行为特征；其中，通过所述教师模型及所述学生模型，基于OpenPose算法对所述图像数据进行关节点检测的步骤具体包括：对所述教师模型及学生模型的特征相似性进行实时检测，得到所述教师模型与所述学生模型的匹配度；根据所述软标签及所述学生模型的关节点置信度图的差异度，构建损失函数，以基于所述损失函数对所述教师模型及学生模型进行平衡；其中，得到所述教师模型与所述学生模型的匹配度的步骤具体包括：基于以下计算式计算得到所述教师模型与所述学生模型的匹配度： ； ；式中，为所述匹配度，表示第i个像素与第j个像素之间的相似度，和分别表示所述教师模型和所述学生模型的第i个像素与第j个像素之间的相似度，表示第i个像素的特征向量，表示第j个像素的特征向量，W和H分别表示特征图的宽度和高度，R为实数。

全文数据：

权利要求：

百度查询： 紫光摩度教育科技有限公司 一种课堂行为分析方法、系统、计算机及存储介质