买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京邮电大学

摘要：基于关键帧与注意力机制的人体行为识别方法，其步骤为：将动作视频等时划分为多个片段；从每个片段中提取关键帧和堆叠光流；使用加入坐标注意力CoordinateAttention的双流卷积神经网络提取时空特征；通过Softmax函数计算出每个片段对应的时空预测分数，并融合所有片段的时空预测分数，得到整个视频的空间共识和时间共识；最后将这两种共识进行加权融合，得到最终的行为识别结果。基于UCF101和HMDB51数据集进行了实验，验证了方法的有效性。与目前主流的行为识别方法相比，本发明方法在识别准确率上取得了较好的效果。

主权项：1.基于关键帧与注意力机制的人体行为识别方法，其特征在于：包括以下步骤：步骤1，对动作视频进行等时划分，分为K个片段；步骤2，从每个片段中提取关键帧和堆叠光流分别作为空间流卷积神经网络和时间流卷积神经网络的输入；步骤3，使用加入坐标注意力CoordinateAttention的双流卷积神经网络从每个片段中的关键帧和堆叠光流中提取时空特征；步骤3中，双流卷积神经网络的两个流使用相同的网络架构，使BN-Inception网络，由9个Inception模块组成，每个Inception模块包含两种不同大小的卷积，即1×1，3×3卷积，还包括一个3×3的最大池化层；卷积层和池化层得到的特征拼接在一起作为最终的输出，也是下一个模块的输入；在每个Inception模块后连接一个CoordinateAttention以对提取的特征进行加权，使网络能够关注到重要通道以及重要位置的信息；步骤3中，CoordinateAttention计算权重对特征加权具体过程为：对于输入特征向量X∈RC×H×W，C为通道数，H和W分别为特征图的高和宽，先使用尺寸H,1和1,W的平均池化核沿着水平坐标方向和竖直坐标方向对每个通道进行特征聚合，拼接生成的两个特征图，使用一个共享的1×1卷积进行变换F1，经过非线性激活函数作用后，生成f∈RCr×H+W，r是缩减率，接着沿空间维度对f切分为两个单独的张量fh∈RCr×H和fw∈RCr×W，利用另外2个1×1卷积变换Fh和Fw分别将fh和fw变换为与输入X具有相同通道数的张量，对输出gh和gw进行扩展，分别作为注意力权重，最后与输入特征相乘；步骤4，通过Softmax函数计算每个片段对应的时空预测分数，并融合所有片段的时空预测分数，得到整个视频中行为类别的空间共识和时间共识；步骤5，将空间共识分数和时间共识分数进行加权融合，得到最终的行为识别结果。

全文数据：

权利要求：

百度查询： 南京邮电大学 基于关键帧与注意力机制的人体行为识别方法