买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华东交通大学

摘要：本发明提出一种危险行为识别方法、系统、存储介质及计算机设备，该方法包括：视频信息进行视频特征提取和音频特征提取；对每个样本中的视频特征和音频特征均依次进行编码和投影，得到投影视频特征和投影音频特征，并根据投影视频特征和投影音频特征计算得到关于视频模态和音频模态的总损失值，并根据总损失值进行迭代训练；根据对比学习模型得到关于投影视频特征和投影音频特征的融合特征，并将至少一段视频信息对应的融合特征输入到N个基分类器中进行训练，得到多分类器加权投票模型，行为类型结果包括有危险和无危险。本发明能够更全面、准确的信息去描述行为，并提高危险预测的准确性，进而实现对群体危险行为的识别预测。

主权项：1.一种危险行为识别方法，其特征在于，所述方法包括：获取至少包含一段视频信息的历史监控视频，并对至少一段的所述视频信息进行视频特征提取和音频特征提取，得到视频特征和音频特征；所述获取至少包含一段视频信息的历史监控视频，并对至少一段的所述视频信息进行视频特征提取和音频特征提取，得到视频特征和音频特征的步骤包括：首先需要读取历史监控视频并进行视频预处理，包括裁剪、缩放、去除背景操作，而后将经过预处理的有群体行为的历史监控视频分割成为至少一段视频信息，再利用Openpose进行人体目标锁定以及骨架关节点提取，然后再将带有骨骼点序列信息的视频帧输入到时空图卷积网络ST-GCN中进行动作行为特征提取，ST-GCN网络使用一个邻接矩阵A表示单帧中的骨架内部关节点连接关系，使用一个单位矩阵I表示单帧中关节点的自连接关系，则网络输出为： 其中，为输入的视频信息，其维度为（c，V，T），c表示通道数，V为节点数，T为帧数，表示节点i和节点j之间是否有边相连，如果有则为1，没有为0，表示对角矩阵，表示对称归一化，表示对角矩阵中的第i个特征值，W表示权重矩阵，I表示单位矩阵，表示单位矩阵中第i行第j列的数值，表示输出的视频特征；对每个样本中的视频特征和音频特征均依次进行编码和投影，得到投影视频特征和投影音频特征，并根据所述投影视频特征和所述投影音频特征计算得到关于视频模态和音频模态的总损失值，并根据所述总损失值进行迭代训练，得到对比学习模型；所述对每个样本中的视频特征和音频特征均依次进行编码和投影，得到投影视频特征和投影音频特征，并根据所述投影视频特征和所述投影音频特征计算得到关于视频模态和音频模态的总损失值，并根据所述总损失值进行迭代训练，得到对比学习模型的步骤包括：根据以下公式对视频特征和音频特征进行编码和投影： 其中，和均表示编码操作，和均表示投影操作；将视为锚点样本并枚举其他样本的表示而获得的损失为： 其中，表示第j个样本从视频模态到音频模态的投影的对比损失，是温度参数，N表示除锚点样本外的其他样本数量，表示样本间的相似度；根据以下公式计算得到总损失： 其中，表示第j个样本从音频模态到视频模态的投影的对比损失；根据所述对比学习模型得到关于投影视频特征和投影音频特征的融合特征F，并将至少一段视频信息对应的融合特征F输入到N个基分类器中进行训练，得到用于输出概率最大的行为类型结果的多分类器加权投票模型，所述行为类型结果包括有危险和无危险。

全文数据：

权利要求：

百度查询： 华东交通大学 危险行为识别方法、系统、存储介质及计算机设备