买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州熠品智能科技有限公司

摘要：本发明提供一种基于课堂视频的AI多维教学行为分析方法及系统，涉及图像处理技术领域，包括：获取课堂教学视频，提取视频帧和音频帧进行自适应分段，进行图像超分辨率重建，自适应降噪得到标准课堂教学视频；添加至目标检测模型和单目标跟踪模型中进行目标识别，得到目标边界框，进行跟踪，得到时空行为轨迹，提取三维关键点坐标，得到姿态特征信息，对音轨进行说话人分离，进行学习得到语音特征向量，建模视线运动，得到注视点分布信息；基于异构图神经网络构建教学行为分析图，进行时序迭代更新，确定内在关联，生成时序语义表征，构建多层条件生成式对抗网络并生成最优教学模式，进行对比，微观解构，得到教学行为分析报告。

主权项：1.基于课堂视频的AI多维教学行为分析方法，其特征在于，包括：获取课堂教学视频，提取所述课堂教学视频的视频帧和音频帧，对所述音频帧和所述视频帧分别进行自适应分段，分为多个视频片段和多个音频片段，对所述视频片段进行基于深度卷积神经网络的图像超分辨率重建，对所述音频片段进行自适应降噪并结合谱减法的自适应增强算法进行增强，组合重建后的视频片段和增强后的音频片段得到标准课堂教学视频；将所述标准课堂教学视频分别添加至预先设置的目标检测模型和单目标跟踪模型中，所述目标检测模型通过注意力机制和特征金字塔结构进行目标识别，得到目标边界框，所述单目标跟踪模型通过获取每一帧中目标教师位置进行跟踪，得到时空行为轨迹，在所述目标边界框中通过姿态估计网络提取目标教师的三维关键点坐标，构建三维骨架模型并得到姿态特征信息，对所述标准课堂教学视频的音轨通过深度嵌入式聚类算法进行说话人分离，生成分离语音片段并通过门控循环单元网络进行学习，得到语音特征向量，通过三维卷积神经网络建模所述标准课堂教学中目标教师的视线运动，得到注视点分布信息；基于异构图神经网络，以所述时空行为轨迹、所述姿态特征信息、所述语音特征向量和所述注视点分布信息作为节点，不同节点之间的相关性作为边构建教学行为分析图，在每个时间步，通过门控循环单元对节点进行时序迭代更新，通过设置在异构图神经网络中最后一层的自注意力池化机制确定每个节点的注意力权重和节点间的内在关联，生成时序语义表征，基于所述时序语义表征构建多层条件生成式对抗网络并以教学行为的标准规范作为条件生成最优教学模式，将所述最优教学模式添加至所述教学行为分析图中与当前教学行为进行对比，结合图谱推理算法进行微观解构，得到教学行为分析报告；基于异构图神经网络，以所述时空行为轨迹、所述姿态特征信息、所述语音特征向量和所述注视点分布信息作为节点，不同节点之间的相关性作为边构建教学行为分析图，在每个时间步，通过门控循环单元对节点进行时序迭代更新，通过设置在异构图神经网络中最后一层的自注意力池化机制确定每个节点的注意力权重和节点间的内在关联，生成时序语义表征，基于所述时序语义表征构建多层条件生成式对抗网络并以教学行为的标准规范作为条件生成最优教学模式，将所述最优教学模式添加至所述教学行为分析图中与当前教学行为进行对比，结合图谱推理算法进行微观解构，得到教学行为分析报告包括：基于异构图神经网络，以所述时空行为轨迹、所述姿态特征信息、所述语音特征向量和所述注视点分布信息作为节点，将每个时间步中的节点组合得到节点子图，以同一时间步中不同节点之间的相关性作为无向边，以不同时间步的节点子图间相同类型的节点之间的变化作为有向边，构建所述教学行为分析图；在每个时间步中，通过门控循环单元对节点进行时序迭代更新，更新每个节点的隐状态并确定节点变化规律，基于所述节点变化规律，通过设置在异构图神经网络中最后一层的自注意力池化机制确定每个节点的注意力权重，基于所述注意力权重对每个节点的隐状态进行加权求和，得到每个节点子图对应的子图表征，根据时间顺序进行拼接得到所述时序语义表征；基于所述时序语义表征构建多层条件生成式对抗网络并初始化生成器和判别器，以随机噪声和教学行为的标准规范作为所述生成器的输入并生成训练教学模式，将所述训练教学模式作为输入添加至所述判别器中并生成判别结果，重复训练直至达到预设的最大迭代次数，得到训练完成的多层条件生成式对抗网络，从当前随机噪声分布中进行噪声采样并添加至所述生成器中，生成最优教学行为并添加至所述教学行为分析图中并作为新的节点，通过前向传播得到所述最优教学模式，将所述最优教学模式与当前教学行为进行对比，通过图谱推理算法进行节点之间的关系路径，基于所述关系路径得到所述教学行为分析报告。

全文数据：

权利要求：

百度查询： 杭州熠品智能科技有限公司 基于课堂视频的AI多维教学行为分析方法及系统