买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明公开了一种基于双流信息融合的人体动作识别方法和识别系统，属于计算机视觉领域，所述方法包括：获取目标视频并通过随机采样提取RGB视频帧序列；以ResNet‑50作为主干网络，构建包含时间分支网络与空间分支网络的混合结构神经网络；所述混合结构神经网络中，通过通道级运动模块提取RGB视频帧的运动特征作为所述时间分支网络的输入；所述时间分支网络与所述空间分支网络通过乘性交互进行时空特征信息融合；将RGB视频帧序列输入预训练的混合结构神经网络中，进行动作识别。本发明通过轻量级通道级运动模块在捕捉具有明显边缘的运动特征的同时减少计算量，提升了识别速度，通过乘性交互实现双流信息融合，提高了动作识别的准确性。

主权项：1.一种基于双流信息融合的人体动作识别方法，其特征在于，所述方法包括：获取目标视频并通过随机采样提取RGB视频帧序列；以ResNet-50作为主干网络，构建包含时间分支网络与空间分支网络的混合结构神经网络；所述混合结构神经网络中，通过通道级运动模块提取RGB视频帧的运动特征作为所述时间分支网络的输入；所述时间分支网络与所述空间分支网络通过乘性交互进行时空特征信息融合；将RGB视频帧序列输入预训练的混合结构神经网络中，进行动作识别；所述混合结构神经网络包括输入层、第一卷积层、通道级运动模块、时间分支网络、空间分支网络、乘性交互模块和输出层；所述输入层、第一卷积层、通道级运动模块、时间分支网络和输出层依次连接；所述空间分支网络分别与第一卷积层和输出层连接；所述乘性交互模块分别与时间分支网络、空间分支网络连接；所述输入层用于输入RGB视频帧序列；所述第一卷积层用于对输入的RGB视频帧序列进行卷积操作，提取3D时空特征；所述通道级运动模块用于从所述第一卷积层输出的3D时空特征中提取相邻RGB视频帧的运动特征；所述时间分支网络用于通过残差单元从所述通道级运动模块输出的相邻RGB视频帧的运动特征中提取时间流特征；所述空间分支网络用于通过残差单元从所述第一卷积层输出的3D时空特征中提取空间流特征；所述乘性交互模块用于将所述时间分支网络的时间流特征通过乘性连接操作融入所述空间分支网络的空间流特征；所述输出层用于融合时间流特征和空间流特征并输出动作分类结果；所述通道级运动模块包括第一2D卷积单元、第二2D卷积单元、第三2D卷积单元、第四2D卷积单元、第一帧差操作单元、第二帧差操作单元和特征拼接单元；所述第一2D卷积单元、第二2D卷积单元、第一帧差操作单元、特征拼接单元和第四2D卷积单元依次连接；所述第一2D卷积单元的输出端分别与所述第一帧差操作单元、第二帧差操作单元的输入端连接；所述第一2D卷积单元、第三2D卷积单元、第二帧差操作单元和特征拼接单元依次连接；所述第一2D卷积单元用于对输入的各个视频帧进行通道上降维，得到各个视频帧的第一特征图；所述第二2D卷积单元用于对当前帧的第一特征图进行特征提取，得到当前帧的第二特征图；所述第三2D卷积单元用于对后一帧的第一特征图进行特征提取，得到后一帧的第三特征图；所述第一帧差操作单元用于将前一帧的第一特征图与当前帧的第二特征图进行帧差操作，得到第一运动特征；所述第二帧差操作单元用于将当前帧的第一特征图与后一帧的第三特征图进行帧差操作，得到第二运动特征；所述特征拼接单元用于将第一运动特征和第二运动特征拼接后得到第三运动特征；所述第四2D卷积单元用于对所述特征拼接单元输出的第三运动特征进行升维，得到时间流特征。

全文数据：

权利要求：

百度查询： 中南民族大学 基于双流信息融合的人体动作识别方法和识别系统