买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华中师范大学

摘要：本发明公开了一种基于教师非言语行为的教学过程评价方法，包括以下步骤：1非言语行为数据采集，获取教学课堂中教师的非言语行为数据；2采用行为特征矩阵对教师教学非言语行为进行全方位表征量化；3行为特征分类器训练：使用情绪标签训练分类器，得到相应教师类人格型特征表征、课堂非言语行为特征表征；4根据某一特定教师非言语行为采集数据，进行特征表征和特征分解，得到教师本身的特征表征和课堂行为特征表征，并将两者的特征向量相乘，得到教师的教学评价表示。本发明通过情绪、身势、生理信号三种模态数据，建立全面、精准的教师课堂非言语行为的刻画，建立了基于教师非言语行为的教学过程的定量评价框架。

主权项：1.一种基于教师非言语行为的教学过程评价方法，其特征在于，包括以下步骤：1）非言语行为数据采集，获取教学课堂中教师的非言语行为数据，包括：情绪、身势和生理信号三种模态数据；所述情绪模态数据为教师的面部表情图像和该面部表情下对应的手势动作图片；所述身势模态数据为教师的头部转向姿态图片；所述生理信号为教师的脑电数据；2）采用行为特征矩阵对教师教学非言语行为进行全方位表征量化；2.1）数据预处理；包括噪声数据、冗余数据和缺失值的处理；2.2）对教师教学非言语行为进行表征量化；2.2.1）教师面部表情和手势动作的特征表示，将情绪模态数据输入LeNet-5神经网络对面部表情图像和手势动作进行特征提取，最后一层输出的特征作为情绪特征向量；2.2.2）提取教师头部转向姿态图像，将教师的头部转向姿态图片作为输入，并利用EfficientNet网络进行特征的提取；2.2.3）将采集的多通道的脑电信号分成多个段，从每段信号中采用用于表情标签构造的Student-t分布函数提取时域、频域和非线性动力学特征，并构造成特征序列；2.3）根据表征完成后的特征向量形成每位教师实时精准的行为特征矩阵；行为表征矩阵Hij，i表示教师的编号，j表示三种模态数据的特征表征；将步骤2.2）中的通过对教师的非言语行为进行表征量化后，得到教师的行为表现向量，包括：面部情绪E=e1,e2,…,et、身势B=b1,b2,…,bt以及生理P=p1,p2,…,pt，首先通过多通道注意力机制，针对不同行为向量，学习行为权重WE、WB和WP，并与之向量相乘后输入到帧注意力模型，学习不同行为向量中的帧序列权重；为不同时间序列下的行为状态进行权重分配后，输入到LSTM模型中进行学习，对LSTM模型的输出使用Hadamard乘积进行特征压缩编码，得到最终的行为特征矩阵Hij=（Eij,Bij,Pij）；3）行为特征分类器训练：使用情绪标签训练分类器，得到教师类人格型特征表征、课堂非言语行为特征；3.1）从情绪指标、身势指标和生理指标构建基于时间递归的神经网络，进行行为表征矩阵特征分解，得到教师类人格型特征表征和课堂非言语行为特征表征；使用非负矩阵分解将教师行为特征矩阵分解为教师类人格型特征表征和课堂非言语行为特征；以为目标函数，计算确定教师类人格型特征向量和课堂非言语行为特征向量，其中，上标表示转置；其中，N为教师的总数，M为矩阵分解得到的课堂行为隐特征数量，ai为学习得到的自注意力权重；3.2）将教师行为特征矩阵Hij与情绪标签构造成高斯分布的形式，最后使用特征序列与相应的情绪标签来训练基于时间递归的神经网络分类器；4）根据某一特定教师非言语行为采集数据，进行特征表征和特征分解，得到教师本身的特征表征和课堂行为特征表征，并将两者的特征向量相乘，得到教师的教学评价表示。

全文数据：

权利要求：

百度查询： 华中师范大学 一种基于教师非言语行为的教学过程评价方法