买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：安徽友荣胜通信科技有限公司

摘要：本发明公开了一种个体时空关系推理的群体暴力行为检测方法，包括：群体暴力行为的人体检测；群体暴力行为的空间关系表达；群体暴力行为的多尺度组合关系表达；群体暴力行为的时空关系推理表达；群体暴力行为检测模型训练；群体暴力行为检测。本发明重点实现了群体暴力行为的空间关系表达、多尺度组合关系表达、时空关系推理表达三个关键任务。针对群体人物之间的关系建模，在考虑人物个体特征相似度的基础上，考虑人物的距离接近程度，提供不同行为作用范围的行人空间关系，同时，引入多尺度组合操作，实现密集的空间关系建模。在空间关系基础上，融合时间隐状态特征，实现时空关系建模，有效表达群体暴力行为。

主权项：1.一种个体时空关系推理的群体暴力行为检测方法，其特征在于：具体包括以下步骤：步骤1、对群体暴力行为的视频训练集进行群体暴力行为的人体检测；步骤2、根据群体暴力行为的人体检测结果进行群体暴力行为的空间关系表达；步骤3、根据群体暴力行为的空间关系进行群体暴力行为的多尺度组合关系表达；步骤4、根据步骤1的群体暴力行为的人体检测结果和步骤3的群体暴力行为的多尺度组合关系进行群体暴力行为的时空关系推理表达；步骤5、根据群体暴力行为的时空关系得到群体暴力行为特征，并进行群体暴力行为检测模型训练，得到群体暴力行为检测模型；步骤6、根据群体暴力行为检测模型进行群体暴力行为检测，得到群体暴力行为的检测结果；所述步骤1的具体内容如下：1-1对群体暴力行为的视频训练集采样，获得视频帧图像集合；1-2对每帧视频，使用RCNN模型，获得行人检测窗口，并计算窗口的中心点作为行人检测位置；1-3输入行为检测窗口，根据行人检测窗口在视频帧上进行裁剪，获得当前帧的行人图像块集合；1-4输入行人图像块，使用预训练的inception-v3网络，提取行人的个体特征；1-5输入视频帧中的个体特征，利用最大池化操作，提取视频帧的场景特征；所述的步骤2的具体内容如下：2-1输入步骤1-4提取的行人个体特征，采用向量内积形式，计算每两个个体特征之间的相似度： 其中xt是步骤1-4提取的个体特征，t代表第t帧，变量i和j是指行人个体的编号，dk为归一化因子，k代表第k个尺度；2-2输入个体i和个体j的检测位置，计算两个个体之间的距离；2-3对个体i和个体j，设置距离接近函数，用于判断两个个体之间是否接近，距离接近程度为： 其中disti,j为两个个体之间的距离，变量i和j是指行人个体的编号，width是图像分辨率的宽度，λk是多尺度的接近阈值，k代表第k个尺度，模型中k＝1,2,3,4，对应的距离接近程度rk有4个；2-4输入步骤2-1计算的个体特征相似度si,j，输入步骤2-3计算的距离接近函数rki,j，对相似度矩阵处理，获得多个尺度的相似度矩阵At,k＝{At,ki,j}： 其中，At,ki,j是矩阵At,k的元素，变量i和j是指行人个体的编号,si,j是步骤2-1计算的个体特征相似度，rki,j是步骤2-3计算的距离接近函数，最终得到4个对应的相似度矩阵At,kk＝1,2,3,4；2-5输入单尺度相似度矩阵At,k，个体特征xt，使用图卷积操作，获得图卷积推理后的个体特征: 其中，Relu是Relu激活函数，Wk是图卷积参数，每个尺度的相似度矩阵经过图卷积推理后获得对应尺度个体特征尺度1、尺度2、尺度3、尺度4图卷积推理后的个体特征，分别记录为所述的步骤3的具体内容如下：3-1输入4个尺度的图卷积推理后的个体特征其特征的距离接近程度为rkk＝1,2,3,4；3-2将尺度1的图卷积推理特征和尺度2的图卷积推理特征串联后，得到前2个尺度的组合后的特征；3-3将尺度1和尺度2组合后的特征，进行全连接变换，得到前2个尺度组合后的变换特征3-4将前2个尺度组合后的变换特征与尺度3的图卷积推理特征进行串联，得到前3个尺度组合后的特征；3-5将前3个尺度组合后的特征，进行全连接变换，得到前3个尺度组合后的变换特征3-6将前3个尺度组合后的变换特征与尺度4的图卷积推理特征进行串联，得到前4个尺度组合后的特征；3-7将前4个尺度组合后的特征，进行全连接变换，得到前4个尺度组合后的变换特征3-8将尺度1的图卷积推理特征前2个尺度组合后的变换特征前3个尺度组合后的变换特征前4个尺度组合后的变换特征这4个特征进行串联，得到第t帧的个体关系表达特征3-9输入第t帧的个体关系表达特征使用最大池化操作，得到第t帧的场景关系表达特征所述的步骤4的具体内容如下：4-1输入第一帧视频，根据步骤1-4获得第一帧的个体特征x1和场景特征s1；4-2根据步骤3-8，获得第1帧的个体关系表达特征4-3根据步骤3-9，获得第1帧的场景关系表达特征，记作4-4采用随机初始化方式，得到LSTM的初始记忆状态特征c0；4-5采用随机初始化方式，得到LSTM的初始隐藏状态特征h0；4-6获取第一帧的时空融合特征：4-6-1将个体关系表达特征进行1层全连接变换，获得变换后的个体特征4-6-2将场景关系表达特征进行1层全连接变换，获得变换后的场景特征4-6-3将时间隐藏状态特征h0，进行1层全连接变换，获得变换后的时间隐藏状态特征h0'；4-6-4将变换后的场景特征和变换后的时间隐藏状态特征h0'求和，同时加到变换后的个体特征上，获得第1帧的时空融合个体特征 其中，Broadcast为广播操作，广播操作使用复制的方式将特征进行维度扩展；4-6-5输入第1帧的时空融合个体特征执行步骤2得到第一帧的多尺度个体特征；4-6-6对第一帧的多尺度个体特征，执行步骤3，得到第一帧的时空融合场景特征4-7输入第一帧时空融合场景特征初始的时间隐藏状态特征h0，初始的记忆状态特征c0，使用LSTM公式，计算第一帧LSTM推理后的时间记忆状态特征c1和时间隐藏状态特征h1： 其中σ是Sigmoid函数，i1是第一帧的输入门，Wi和bi是输入门的权重和偏置；f1是第一帧的遗忘门，Wf和bf是忘记门的权重和偏置；是第一帧的记忆门，Wc和bc是记忆门的权重和偏置；o1是输出门，Wo和bo是输出门的权重和偏置；4-8输入第2帧的个体特征x2，场景特征s2，和第1帧LSTM推理后的时间隐藏状态特征h1,执行步骤4-6,获得第2帧的时空融合场景特征4-9输入第2帧时空融合场景特征第1帧的时间隐藏状态特征h1，第1帧的记忆状态特征c1，使用步骤4-7的LSTM公式，计算第2帧LSTM推理后的时间隐藏状态特征h2，和时间记忆状态特征c2；4-10输入后续帧的个体特征，场景特征，隐藏状态特征，重复执行步骤4-8和步骤4-9，获得第n帧的时间隐藏状态特征hn，其中n为最后一帧的编号；所述的步骤5的具体内容如下：5-1将群体暴力行为的视频所有帧的场景特征，和步骤4获得的视频所有帧的时间隐藏状态特征求和，获得该视频的群体暴力行为特征；5-2将群体暴力行为的视频的群体暴力行为特征，进行全连接变换，识别出群体暴力行为类别： 其中，st是第t帧场景特征，ht是第t帧时间隐藏状态特征，Wg是群体识别的全连接变换的参数；5-3对群体暴力行为的视频训练集视频帧进行预测，获得预测出的群体类别，并使用训练集的真实标记的群体类别，设计损失函数，损失函数采用交叉熵形式： 其中，yG是预测出的群体暴力行为类别，是真实标记的群体暴力行为类别；5-4使用5-3的损失函数，训练时空关系推理表达模型，获得模型参数,该模型参数包括步骤2,3,4,5中的模型参数；所述的步骤6的具体内容如下：6-1对测试视频采样，获得行为视频帧图像集合；6-2输入视频帧，采用步骤1，获得每帧的个体特征和场景特征；6-3输入个体特征和场景特征，在步骤2的计算过程中，使用步骤5训练获得的模型参数，获得图卷积推理后的个体特征；6-4输入图卷积推理后的个体特征，在步骤3的计算过程中，使用步骤5训练获得的模型参数，获得个体关系表达特征和场景关系表达特征；6-5输入个体关系表达特征和场景关系表达特征，在步骤4的计算过程中，使用步骤5训练获得的模型参数，获得时间隐藏状态特征；6-6输入时间隐藏状态特征，使用步骤5训练获得的模型参数，获得群体暴力行为检测结果。

全文数据：

权利要求：

百度查询： 安徽友荣胜通信科技有限公司 个体时空关系推理的群体暴力行为检测方法