买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：重庆理工大学

摘要：本发明公开了一种基于时空图网络的联合多目标检测与跟踪方法，该方法将目标外观特征提取任务和目标关联任务集成到一个网络里，并基于行人目标构建对象图，将目标作为对象图中的节点，目标之间的关联关系表示为对象图中的边。通过设计时空图网络模块，在时间域上，利用图神经网络交互连续帧之间的图拓扑结构信息，在空间域上，将边缘信息聚合到节点上。使行人目标特征不仅包括外观信息，还有与其他目标之间的空间信息，增强了目标特征的区分度。通过实验证明方法大大提高了行人多目标跟踪的精度。

主权项：1.一种基于时空图网络的联合多目标检测与跟踪方法，其特征在于，包括如下步骤：S1：构建训练集和联合多目标检测与跟踪模型STGTracker，所述训练集包括若干段现有标记的视频，STGTracker包括一个双流DLA网络和时空图网络模块，所述时空图网络模块包括多层感知器MLP和FC-NN；S2：构建对象图，将一段视频中连续帧的图像分别馈送到双流DLA网络，双流DLA网络检测两帧图像中的目标，并提取目标在两帧图像中的目标特征fnode1和fnode2，以及提取目标的位置信息；双流DLA网络提取两帧图像中各个目标之间的位置关系，将两帧图像中各个目标间位置关系作为边缘特征fedge1和fedge2；将双流DLA网络检测的两帧图像中的目标作为对象图的节点，然后目标与目标之间的位置关系作为对象图的边；其中将当前帧图像对应的对象图作为目标图GD，将当前帧的前一帧图像对应的对象图作为轨迹图GT；S3：训练STGTracker，将GD和GT输入时空图网络模块；S3-1：目标特征fnode1和fnode2初始化：使用检测到的目标的ID作为节点信息，所述节点信息包括节点对应的目标特征，边缘特征和位置信息；边缘特征fedge1和fedge2初始化：将同一帧内目标与目标之间的位置关系描述为边缘特征，缘特征初始化后表示为ei,j；其中i和j分别是开始和结束节点索引，将高维边缘特征初始化为： 其中[·]是concat运算符，x和y是中心坐标；S3-2：边缘特征和目标特征更新：边缘特征更新：通过聚合每条边的关联信息来更新图神经网络中的边缘特征，边的关联信息是边与边的特征相似性，边缘特征更新模块由一个编码器模块ρe和一个更新函数组成；节点特征更新：对于每个节点用于收集节点与节点连接的边的边缘特征；最后合并两帧之间的所有节点可能的表示级联，馈送到一个FCNN，FCNN输出亲和度得分矩阵Ai,j，完成连续帧的图像中的目标匹配；S3-3：设STGTracker的总损失为Ltotal，根据Ltotal反向更新STGTracker的参数，利用Sinkhorn方法进行行归一化和列归一化，重复迭代直到Ai,j收敛，则得到训练好的STGTracker；S4：将一段视频的输入训练好的STGTracker，STGTracker输出该段视频中每一帧图像对应的检测后的结果图，每张结果图均标注有每个目标的跟踪标记框。

全文数据：

权利要求：

百度查询： 重庆理工大学 一种基于时空图网络的联合多目标检测与跟踪方法