买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东大学

摘要：本发明涉及视频异常检测技术领域，具体公开了一种基于特征增强和融合的弱监督视频异常检测方法及系统，方法包括：将输入视频切分成若干视频片段，通过视觉特征编码器对每个视频片段进行特征提取，获得视频片段的泛化视觉特征表示，通过文本特征编码器得到标签的文本类嵌入；通过时序特征增强网络对视觉特征表示从局部和全局学习时序依赖关系，得到时序增强的视觉特征表示；将时序增强的视觉特征表示与文本类嵌入进行特征融合，得到视觉语言对齐图；将视觉语言对齐图输入至训练好的视频异常分类器，得到视频异常检测结果。

主权项：1.一种基于特征增强和融合的弱监督视频异常检测方法，其特征在于，包括：将输入视频切分成若干视频片段，通过视觉特征编码器对每个视频片段进行特征提取，获得视频片段的泛化视觉特征表示，通过文本特征编码器得到标签的文本类嵌入；通过时序特征增强网络对视觉特征表示从局部和全局学习时序依赖关系，得到时序增强的视觉特征表示；将时序增强的视觉特征表示与文本类嵌入进行特征融合，得到视觉语言对齐图；将视觉语言对齐图输入至训练好的视频异常分类器，得到视频异常检测结果；通过时序特征增强网络对视觉特征表示从局部和全局学习时序依赖关系，具体为：将视觉特征表示在时间维度上分割为等长且重叠的窗口，在每个窗口内进行局部自注意力计算，得到局部时间特征表达；利用图卷积网络从特征相似性和相对距离的角度对全局时间依赖进行建模学习，得到时序增强的视觉特征表示；其中，计算两个视频片段视觉特征表示之间的相似度，生成图卷积网络的视频特征相似矩阵；计算两视频帧之间的距离，生成图卷积网络的视频帧位置距离矩阵；特征相似性分支通过计算两个视频片段特征X之间的相似度生成GCN视频特征相似矩阵，相应公式表示如下： ；其中，和是索引为i和j的视频片段的特征；位置距离分支通过两帧之间的距离捕获远程依赖性，生成GCN视频帧位置距离矩阵，相应公式表示如下： ；其中，i和j是两个视频帧的位置索引，第i帧和第j帧之间的邻近关系仅由它们的相对时间位置决定；所述视频异常分类器的损失函数具体为：分类损失、对比损失、时间平滑损失以及稀疏损失的加权和；将时序增强的视觉特征表示与文本类嵌入进行特征融合，得到视觉语言对齐图，具体为：将时序增强的视觉特征表示输入到全连接神经网络中获取视觉特征的异常分数，基于异常分数和时序增强的视觉特征表示得到视觉提示，所述视觉提示与文本类嵌入相加后输入至前馈神经网络，得到视觉语言对齐图。

全文数据：

权利要求：

百度查询： 山东大学 基于特征增强和融合的弱监督视频异常检测方法及系统