买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：湖南大学

摘要：本发明公开了一种基于联合检测和关联的在线多目标跟踪方法，设计了一个端到端架构来联合处理对象检测和在线MOT任务；将目标检测和关联结合到一个单一的神经网络中，为了解决目标检测子模块的输出与关联子模块的输入之间的边界框不一致问题，提出了联合子模块和合适的训练数据生成方法，直接利用目标表示将不同帧中的对象关联起来，同时设计了一个两阶段的训练方法来训练检测子模块和关联子模块，并完全以端到端模式执行在线MOT过程。本发明结构简单高效。

主权项：1.一种基于联合检测和关联的在线多目标跟踪方法，其特征在于包括如下步骤：S1.建立目标检测子模块，通过定位头和表征头获取总检测损失；包括将单个视频帧F作为输入，表示三维矩阵；W为宽度；H为宽度；3表示通道数；获得每个视频帧的对象边界框和相应的数学表示；设置主干网络，并在主干网络中添加预测头和表征头；定位头用于定位目标边界框，表征头用于计算对象表示；主干网络采用ResNet-34；利用DLA的一种变体方法作为目标检测子模块的主干；定位头包括，定位头的输入为主干网络的输出表示；每个定位头具有3×3内核大小和256输出通道，然后1×1卷积以产生定位输出，具体为生成热力图头和尺寸头：使用热力图头预测对象中心，热力图头具体为，对于第i帧视频帧中的真实边界框表示第i帧左上角横坐标值；表示第i帧左上角纵坐标值；表示第i帧右下角横坐标值；表示第i帧右下角纵坐标值；获得第i帧中心位置pi的目标，求第i帧图上的位置qi，其中G表示第一下采样因子；当前点位置处的热力图头响应rq定义为其中，表示三维矩阵；qk表示第k个点的位置；σ为高斯核；根据焦点损失形成热力图头损失函数Lh作为训练目标： 其中，N表示当前视频帧中的目标数量；表示当前点位置q处的预测热图响应，当前点位置q处的预测热图响应的类号Ch＝1；α表示焦点损失第一超参数；β表示焦点损失第二超参数；log·表示取对数，用于简便计算；尺寸头具体为，尺寸头用于预测对象围绕其中心位置的宽度和高度；尺寸头的输出定义为其中尺寸头的输出的类号Cz＝2；表示三维矩阵；G表示第一下采样因子；W为宽度；H为宽度；虽然定位精度与对象表示没有直接关系，但会影响检测子任务的性能；对于视频帧中的一个真实框bi，根据得到第i帧框的大小zi，并且第i帧预测的边界框大小定义为表示第i帧左上角横坐标值；表示第i帧左上角纵坐标值；表示第i帧右下角横坐标值；表示第i帧右下角纵坐标值；将偏移头的输出表示为其中偏移头输出的类号Cd＝2；第i帧图上的真实位移di表示为pi表示第i帧中心位置；将第i帧中心位置位移表示为因此尺寸头和偏移头的类似损失Ls为： 其中，N表示当前视频帧中的目标数量；zi表示第i帧框的大小；表示第i帧预测的边界框大小；di表示图上的真实位移；表示中心位置位移；||·||1表示L1范数；因此，定位头损失Lp为前两个损失的组合：Lp＝Lh+Ls其中，Lh表示热力图头损失函数；Ls表示尺寸头和偏移头的类似损失；表征头包括，生成的表示图为其中表示三维矩阵；S表示第二下采样因子；W为宽度；H为宽度；生成的表示图的输出通道Ce＝128；通过表征头学习的中心位置p的目标表征表示元素个数为C的一维向量；对于第i帧视频帧中的真实边界框bi，获得第i帧热图上的目标中心位置在第i帧某个位置学习一个身份表示并输出到一维分类概率向量vk，并将第i帧地面实况分类标签表示为uij；因此，身份分类损失Lc被构造为： 其中，N表示帧的总数；J表示数据集中所有身份的总数；vj表示身份的预测值；j表示数据集中身份的计数变量；log.表示取对数，用于简便计算；总检测损失为Ld＝Lp+Lc，Lc为身份分类损失；Lp为定位头损失；S2.进入连接子模块，将当前帧中的对象表示和历史坐标系中的对象表示进行合并；S3.对历史帧和当前视频帧在视频序列中不连续的数据进行数据增强处理；S4.进入关联子模块，将扩展的混淆矩阵转换为关联矩阵；包括进入关联子模块，将扩展的混淆矩阵Mt,tn转换为关联矩阵，通过利用所提出的关联子模块获得帧间关联，并利用每帧的最大目标数Nm预测历史帧Ft-n和当前视频帧Ft之间的对象关联矩阵Ma；沿水平和垂直方向，向历史帧Ft-n和当前视频帧Ft之间的对象关联矩阵Ma中插入零向量用于进行泛化；S5.定义方向性损失、非极大值损失和平衡损失，计算总关联损失；包括利用历史帧Ft-n和当前视频帧Ft之间的相似性关联编码；在历史帧Ft-n和当前视频帧Ft之间的对象关联矩阵Ma后附加一列，构建第一扩展矩阵M1，Nm表示每帧的最大目标数；表示三维矩阵；Nm表示每帧的最大目标数；表示二维矩阵；最后附加的垂直向量表示从历史帧Ft-n中消失的当前跟踪对象；最后一行中附加的水平向量表示在当前帧Ft中进入视野的新兴目标；第一扩展矩阵M1的第m行将历史帧Ft-n中的第m个对象与当前帧Ft的第Nm+1个对象关联起来；Nm+1表示最大目标数+1；通过执行softmax函数对第一扩展矩阵M1的水平方向上的扩展概率向量进行归一化；输出关联矩阵A1的水平向量表示当前视频帧Ft中所有目标与所有目标之间的关联概率在当前视频帧Ft中，A1表示第一关联矩阵预测值；将总关联损失Ls定义为方向性损失Ld、非极大值损失Lm和平衡损失Lb的总和，Ls＝Ld+Lm+Lb，方向性损失Ld为： 其中，B1表示Bt-n,t删除最后一个水平向量；B2表示Bt-n,t删除最后一个垂直向量；Bt-n,t表示历史帧与当前帧的关联矩阵真实值；⊙表示Hadamard乘积；log.表示取对数，用于简便计算；Nm表示每帧的最大目标数；A2表示第二关联矩阵预测值；非极大值损失Lm为： 其中，Nm表示每帧的最大目标数；B3表示Bt-n,t删除最后一个垂直向量和最后一个水平向量；log·表示取对数，用于简便计算；Am表示第三关联矩阵预测值；Am＝maxAc,Ar，max·表示取最大值；Ac表示A1删除最后一个垂直向量和最后一个水平向量被裁剪到Nm×Nm的纬度获得的矩阵；Ar表示A2删除最后一个垂直向量和最后一个水平向量被裁剪到Nm×Nm的纬度获得的矩阵；平衡损失Lb为， 其中，Ac表示去除最后列的关联矩阵预测值；Ar表示去除最后行的关联矩阵预测值；S6.得到当前帧目标和具有相应对象表示的历史帧中的目标之间的关联矩阵后，将当前图像对象与历史图像对象联系起来更新轨迹记录器，实现在线跟踪。

全文数据：

权利要求：

百度查询： 湖南大学 一种基于联合检测和关联的在线多目标跟踪方法