首页 专利交易 科技果 科技人才 科技服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

一种基于双向LSTM和时空双流网络的课堂行为识别方法 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:武汉纺织大学

摘要:本发明公开了一种基于双向LSTM和时空双流网络的课堂行为识别方法,所述方法包括以下步骤:S1:设计适用于课堂行为识别的学生课堂行为识别模型;S2:训练设计好的学生课堂行为识别模型,得到训练好的学生课堂行为识别模型;S3:使用训练好的学生课堂行为识别模型来识别课堂行为识别视频,并输出对于整段视频的预测结果。本发明通过设计双流卷积神经网络与双向LSTM模块进行结合并通过注意力模块动态分配权重,可以有效的提取视频序列中的时间和空间信息,并对这些信息进行时序建模,可以识别出更加复杂且持续时间较长的动作,进而实现对课堂行为的精确识别。

主权项:1.一种基于双向LSTM和时空双流网络的课堂行为识别方法,其特征在于,所述方法包括以下步骤:S1:设计适用于课堂行为识别的学生课堂行为识别模型;所述学生课堂行为识别模型包括视频预处理模块、时空特征提取模块、LSTM模块、注意力模块和课堂行为预测模块;具体步骤包括:S11:首先将输入的课堂行为视频送入视频预处理模块中提取多个RGB图像帧图以及连续光流帧图;S12:将获取到的所述RGB图像帧图和连续光流帧图送入时空特征提取模块中提取特征,将提取到的特征进行特征融合,得到融合后的特征;S13:将得到的所述融合后的特征送入LSTM模块进行时序信息建模;S14:将经过LSTM模块处理后的特征送入注意力模块,得到输出状态向量;S15:将得到的所述输出状态向量输入课堂行为预测模块得到最终的行为识别预测结果;S2:训练设计好的学生课堂行为识别模型,得到训练好的学生课堂行为识别模型;S3:使用训练好的学生课堂行为识别模型来识别课堂行为识别视频,并输出对于整段视频的预测结果。

全文数据:

权利要求:

百度查询: 武汉纺织大学 一种基于双向LSTM和时空双流网络的课堂行为识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。