买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：大连理工大学;大连维视科技有限公司

摘要：本发明属于机器学习、目标检测、目标跟踪领域，提供了一种基于yolov5的Deepsort无人机视角行人多目标跟踪方法。本发明的目标检测器使用轻量化yolov5检测器，对参数进行int8量化后，在保持较高精度的同时，降低模型的内存大小，提升检测速度。对检测网络部署在AI边缘设备的可行性大大提升。本发明采用DeepSort多目标跟踪跟踪算法，利用卡尔曼滤波、匈牙利算法来解决当前帧检测框与轨迹的关联问题，提高了数据关联的准确性，有效的降低了同类干扰物在跟踪过程中的影响。

主权项：1.一种基于yolov5的Deepsort无人机视角行人多目标跟踪方法，其特征在于，步骤如下：步骤1：借助无人机上的摄像机获得检测区域的连续视频帧；步骤2：输入连续视频流，通过轻量化的yolov5目标检测算法获取当前帧的行人目标检测框；yolov5目标检测算法主要由特征提取网络和预测网络构成；特征提取网络使用步长为2的卷积模块得到2倍下采样特征，连续使用步长为2的卷积模块和残差模块得到4倍下采样特征、8倍下采样特征、16倍下采样特征，最后使用步长为2的卷积模块、残差模块、池化模块得到32倍下采样特征；使用8倍、16倍、32倍下采样特征构建特征金字塔；预测网络对32倍下采样特征进行上采样得到16倍下采样特征，与特征金字塔的16倍下采样特征进行拼接，经过残差模块、卷积模块、上采样后，得到8倍下采样特征，与特征金字塔的8倍下采样进行拼接，再经过残差模块、卷积层、检测头部得到8倍下采样的置信分数与回归系数；将8倍下采样拼接后的残差模块的输出经过步长为2的卷积模块与16倍下采样的特征进行拼接，再经过残差模块、卷积层、检测头部得到16倍下采样的置信分数与回归系数；将16倍下采样拼接后的残差模块的输出经过步长为2的卷积模块与32倍下采样特征进行拼接，再次经过残差模块、卷积层、检测头部得到32倍下采样的置信分数与回归系数；轻量化的yolov5目标检测算法处理视频帧获取行人目标检测框包括以下步骤：2.1前处理：将输入图像进行补边、裁剪、缩放，使图像尺寸与网络输入尺寸相同；2.2特征提取网络、预测前向推理得到先验锚点的置信分数与回归系数，将回归系数进行解码，得到行人目标检测框；2.3后处理：在步骤2.2中得到的所有行人目标检测框中，删除置信分数低于0.3的检测框，并采用非最大值抑制方法删除冗余的检测框，筛选后的检测框即为最终的目标检测框；步骤3：对步骤2中得到的最终目标检测框使用特征提取网络进行特征提取，得到每个行人检测框的256维特征向量；步骤4：基于视频当前帧的目标检测框采用Deepsort多目标跟踪算法，具体为：4.1第一帧检测到的行人检测框并创建其对应的轨迹，并将轨迹状态设置为未确认态轨迹，匹配次数为1，将卡尔曼滤波的运动变量初始化，用一个8维空间表示轨迹在某时刻的状态：u,v,γ,h,x,y,a,b其中，u,v是boundingbox的中心坐标，r是长宽比，h表示高度；其余四个变量表示对应的在图像坐标系中的速度信息；4.2使用卡尔曼滤波算法，对上一帧中的轨迹在当前帧的位置进行预测，得到当前帧的轨迹；其中，匹配次数达到3次以上的轨迹为确认态轨迹，小于3次的轨迹为未确认态轨迹；4.3将当前帧目标检测的检测框和步骤4.2中确认态轨迹使用匈牙利算法进行级联匹配；匹配到的轨迹，根据当前帧的检测框对轨迹状态进行更新，匹配次数加1；未匹配的检测框则与步骤4.2未确认态轨迹、级联匹配中的未匹配轨迹进行IOU匹配，未匹配的检测框创建相应的新轨迹，初始化相应状态并设置为未确认态；未匹配的轨迹根据其年龄更新内部状态；匹配到的轨迹根据检测框更新其的状态；Deepsort使用检测框与跟踪器轨迹之间的马氏距离来描述运动关联程度； 其中，dj表示第j个检测框的位置，yi表示轨迹对目标的第i个预测位置，Si表示检测位置与轨迹位置之间的协方差矩阵；并对马氏距离进行阈值化处理： 目标外观关联方式为计算第i个轨迹的最近100个成功关联的特征集与当前帧第j个检测结果的特征向量间的最小余弦距离； 其中，rj表示第j个检测框提取出的特征向量，表示第i个轨迹的最近100个成功关联的特征集中的第k个；并通过以从逆χ2分布计算得来的95％置信区间对最小余弦距离进行阈值化处理； 使用两种度量方式的线性加权作为最终的度量：ci,j＝λd1i,j+1-λd2i,j4.4根据视频总帧数N，重复上述步骤4.2-4.3，直到获得第N帧下的行人目标轨迹；步骤5：根据多目标跟踪算法得到的多个行人轨迹的位置信息，指定相应的飞行策略，将坐标信息传送给无人机的飞行控制端，控制无人机对目标进行飞行跟踪。

全文数据：

权利要求：

百度查询： 大连理工大学 大连维视科技有限公司 一种基于yolov5的Deepsort无人机视角行人多目标跟踪方法