买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北方工业大学

摘要：本发明公开一种基于竞合网络的双流卷积网络的人体动作识别系统及方法，所述系统包括视频输入部分、特征提取部分和结果融合部分，其中特征提取部分还包括竞合网络。所述方法为：将视频输入双流架构的网络，其中时间流部分通过竞合网络对视频帧进行动静像素分割，输出剔除静态区域的光流图像，并输入到中等规模卷积网络，对光流图像进行特征提取；空间流部分将多帧视频图像输入卷积3D网络，对每一帧视频图像进行特征提取；分别在所述中等规模卷积网络和卷积3D网络的softmax层对提取的特征进行特征分类，然后采用多类支持向量机将分类结果进行分数融合，得到人体动作的正确识别，由此减少由环境等外部差异带来的误差，提升动作识别准确度。

主权项：1.一种基于竞合网络的双流卷积网络的人体动作识别系统，其包括：视频输入部分，包括待识别视频的视频多帧图像序列以及视频单帧+视频多帧图像序列；特征提取部分，连接所述视频输入部分，其包括空间流卷积网络与时间流卷积网络，分别对所述视频多帧图像序列与所述视频单帧+视频多帧图像序列中实现动静态像素分割的帧与帧之间的密集光流进行特征提取和分类；结果融合部分，连接所述特征提取部分，其包括融合网络，将所述时间流卷积网络和所述空间流卷积网络输出的分类结果进行结果融合；其特征在于，还包括：竞合网络，包括在所述特征提取部分中，并连接所述时间流卷积网络，其包含的四个网络分别对所述视频单帧+视频多帧图像序列进行训练并实现动静像素分割，输出只包含运动像素的光流图像序列，所述竞合网络包括静态区域网络、动态区域网络和运动分割网络，所述静态区域网络包括深度估计网络和相机运动网络，所述动态区域网络为光流网络；所述融合网络为多类支持向量机；其中，基于竞合网络的双流卷积网络的人体动作识别系统进行人体动作识别的方法，包括以下步骤：S1.将视频输入所述基于竞合网络的双流卷积网络和所述竞合网络；S2.所述竞合网络对所述视频的帧进行动静像素分割，输出剔除静态区域像素、只包含运动像素的光流图像序列；S3.将S2输出的光流图像序列输入所述时间流卷积网络，并对光流图像进行特征提取；S4.将S1的视频输入卷积3D网络，并对视频中的每一帧图像进行特征提取；S5.分别在S3所述时间流卷积网络和S4所述卷积3D网络的softmax层对提取的特征进行特征分类；S6.使用多类支持向量机将特征分类的结果进行分数融合，从而得到人体动作的正确识别；S7.输出最终的识别结果；其中，S2中所述竞合网络对视频帧进行动静像素分割的具体步骤为：S21.静态区域网络通过所述深度估计网络和所述相机运动网络估算静态区域光流，从而预测静态区域像素；S22.动态区域网络通过视频多帧图像估算光流，从而预测动态区域像素；S23.S21预测的静态区域像素和S22预测的动态区域像素竞争训练视频帧图像中的像素；S24.运动分割网络协调所述静态区域网络与所述动态区域网络的竞争关系，并从所述动态区域网络中移除静态区域像素，从而在整个视频多帧图像上产生合成光流；S25.使用合成光流的损失共同训练所述静态区域网络、所述动态区域网络与所述运动分割网络；S26.所述静态区域网络、所述动态区域网络与所述运动分割网络在训练周期交替的进行动静态区域的划分，从而输出剔除静态区域像素、只包含运动像素的光流图像。

全文数据：

权利要求：

百度查询： 北方工业大学 基于竞合网络的双流卷积网络的人体动作识别系统及方法