买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国传媒大学

摘要：基于注意力机制的双模态任务学习的暴力视频识别方法，属于自然交互及图像智能识别技术领域。以分析暴力场景视频的特点为出发点，提取适合暴力场景描述的、具有时空相关性的视频特征；而后以捕捉全局特征信息为原则，为暴力视频特征建立注意力机制模块；最后融合带有全局注意力关系的时空特征从而实现多模态信息互补为出发点，研究基于暴力视频特征的注意力机制和暴力视频分类的多任务学习的暴力视频识别步骤，构成了一个完整的暴力视频识别的检测框架。本发明暴力视频识别方法，实现了对暴力视频的智能化、有效性检测。

主权项：1.基于注意力机制的双模态任务学习的暴力视频识别方法，其特征在于,含有以下步骤：首先以分析暴力场景视频的特点为出发点，提取适合暴力场景描述的、具有时空相关性的视频特征；而后以捕捉全局特征信息为原则，为暴力视频特征建立注意力机制模块；最后融合带有全局注意力关系的时空特征从而实现多模态信息互补为出发点，研究基于暴力视频特征的注意力机制和暴力视频分类的多任务学习的暴力视频识别步骤，构成了一个完整的暴力视频识别的检测框架；在深度神经网络中添加注意力机制模块，用来捕捉特征之间的相互依赖关系，从而提高有用的特征的表观性；利用带有注意力机制模块的深度神经网络分别提取暴力视频在单帧图像、运动光流上的特征；采用后融合的平均融合策略实现对暴力血腥视频的最终分类决策；采用的基础神经卷积网络是TSN网络，该网络是由空间流卷积神经网络和时间流卷积神经网络组成的，分别在两个模态的网络中添加注意力机制模块进行全局特征关系的捕捉，获得注意力关系权重，其中注意力机制模块是GCNet模块，在空间流卷积神经网络的conv_bn_3c和conv_bn_4e以及conv_bn_5b层中添加注意力机制模块，在时间流卷积神经网络的conv_bn_3c和conv_bn_4e以及conv_bn_5b层中添加注意力机制模块；对正负样本组成的暴力视频样本库进行分帧处理，保存视频的单帧图像数据，然后将单帧数据送入带有注意力机制的深度神经网络中进行分类训练，得到基于空间流的带有注意力关系的特征提取模型；对正负样本组成的暴力视频样本库做光流提取处理，保存视频的光流数据，然后将光流数据送入带有注意力机制模块的深度神经网络进行分类训练，得到基于运动光流的特征提取模型；经过模型后给出每个模态下的暴力决策得分结果，最后将两个模态下的决策得分进行后融合给出最终的视频决策结果，其中后融合主要是通过平均融合的方法来实现的,还包括以下步骤：步骤1：在空间流深度神经网络中添加注意力机制模块捕捉静态帧图片的暴力特征之间的相互依赖关系，形成注意力机制权重；步骤2：在时间流深度神经网络中添加注意力机制模块捕捉光流时序图的暴力特征之间的相互依赖关系，形成注意力机制权重；步骤3：提取暴力视频在单帧图像上的特征信息，建立基于单帧图像的暴力视频识别模型；步骤4：提取暴力视频在运动光流上的特征信息，建立基于运动光流的暴力视频识别模型；步骤5：时空特征融合；利用平均融合方法，将基于单帧图像的暴力视频识别模型下的得分策略与基于运动光流的暴力视频识别模型的得分策略进行融合给出最终的暴力分类得分；在空间流深度神经网络中添加注意力机制模块步骤如下：步骤11：构建基于空间流的暴力注意力关系捕捉的深度神经网络；利用TSN网络作为基础网络，将注意力机制模块GCNet嵌入网络的conv_bn_3c和conv_bn_4e以及conv_bn_5b中，完成基于空间流的暴力注意力关系捕捉的深度神经网络；步骤12:学习注意力关系权重；利用暴力视频样本数据集在步骤11的基于空间流的暴力注意力关系捕捉的深度神经网络下进行模型训练学习，得到基于空间流的暴力注意力关系权重；步骤13：注意力特征形成；利用原特征与步骤12学习到的基于空间流的暴力注意力关系权重进行特征元素相加融合，得到带有注意力相互依赖关系的空间流上的特征；在时间流深度神经网络中添加注意力机制模块步骤如下：步骤21：构建基于时间流的暴力注意力关系捕捉的深度神经网络；利用TSN网络作为基础网络，将注意力机制模块GCNet嵌入网络的conv_bn_3c和conv_bn_4e以及conv_bn_5b中，完成基于时间流的暴力注意力关系捕捉的深度神经网络；步骤22:学习注意力关系权重；利用暴力视频样本数据集在步骤21的基于时间流的暴力注意力关系捕捉的深度神经网络下进行模型训练学习，得到基于时间流的暴力注意力关系权重；步骤23：注意力特征形成；利用原特征与步骤22学习到的基于时间流的暴力注意力关系权重进行特征元素相加融合，得到带有注意力相互依赖关系的时间流上的特征；提取暴力视频在单帧图像上的特征信息步骤如下：步骤31：构建基于带有注意力关系的单帧图像分类的深度神经网络；利用TSN网络与注意力机制模块GCNet相互结合，完成基于带有注意力关系的单帧图像分类的深度神经网络；步骤32：利用暴力视频样本数据集在步骤31的基于带有注意力关系的单帧图像分类的深度神经网络模型做训练，得到基于单帧图像分类的深度神经网络模型；步骤33：利用步骤32得到的基于单帧图像分类的深度神经网络模型，对暴力视频样本数据进行预测得分的输出；提取暴力视频在运动光流上的特征信息步骤如下：步骤41：构建基于带有注意力关系的运动光流分类的深度神经网络；利用TSN网络与注意力机制模块GCNet相互结合，完成基于带有注意力关系的运动光流分类的深度神经网络；步骤42：利用暴力视频样本数据集在步骤41的基于带有注意力关系的运动光流分类的深度神经网络模型做训练，得到基于运动光流分类的深度神经网络模型；步骤43：利用步骤42得到的基于运动光流分类的深度神经网络模型，对暴力视频样本数据对暴力视频样本数据进行预测得分的输出；时空特征融合包括步骤如下：步骤51：获取两个模态网络下的暴力预测得分；首先分别得到空间流网络下的单帧图像预测得分和时间流网络下的运动光流预测得分；步骤52：构建时空特征的后融合；在步骤51之后，将两个模态下的暴力预测得分进行平均融合，给出最终的暴力预测得分。

全文数据：

权利要求：

百度查询： 中国传媒大学 基于注意力机制的双模态任务学习的暴力视频识别方法