买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：武汉大学

摘要：本发明涉及一种融合单目相机和激光雷达的三维目标检测方法，包括目标检测、目标跟踪和轨迹预测三个阶段。在目标检测阶段，充分结合相机和激光雷达的优势，提高了三维动态目标检测的精度；在目标跟踪阶段，提出了一种基于四元状态机的跟踪器管理模型，有效提高了跟踪算法的鲁棒性；在轨迹预测阶段，创新地提出了一种基于车道线约束的轨迹预测模型，在道路坐标系中对车辆运动进行建模，可以更好地预测车辆的运动。

主权项：1.一种融合单目相机和激光雷达的三维目标检测方法，其特征在于，包括目标检测、目标跟踪和轨迹预测三个阶段；所述目标检测阶段包括以下步骤：步骤1.1，激光雷达与相机配准；步骤1.2，点云预处理；步骤1.3，生成融合图像的三维锥形感兴趣区域；使用基于卷积神经网络的目标检测算法YOLOv4在图像上检测出目标的二维外包矩形，然后利用每个二维外包矩形左上角和右下角两个角点的坐标计算出对应的三维锥形感兴趣区域，完成目标的粗略提取，每个三维锥形区域中有且仅有一个目标；步骤1.4，点云聚类与三维外包矩形拟合；步骤1.4.1，得到三维锥形感兴趣区域后，使用欧式聚类方法在每个三维锥形区域中对点云进行聚类，得到目标点云簇；使用欧式聚类方法在每个三维锥形区域中对点云进行聚类得到若干个点云簇，对每个点云簇将其点云投影到图像上，计算点云簇中每个点离二维外包矩形中心的距离，选择最小距离最小的点云簇作为目标点云簇；步骤1.4.2，对目标点云簇进行三维外包矩形拟合，得到检测目标；在竖直方向，直接使用目标点云簇C0中z方向的最大最小值zmin,zmax作为目标在竖直方向的边界；在水平方向，将二维外包矩形看作是边缘拟合问题，描述为如下优化问题： 式中，xi,yi为点云坐标，θ、a1、a2为两条相互垂直的直线的参数，θ为直线-xisinθ+yicosθ＝a2与x轴正方向的夹角，a1、a2为原点到两直线的距离；使用搜索式算法L-Shape求解这一优化问题，得到优化的二维外包矩形，至此完成目标检测工作；所述目标跟踪阶段包括以下步骤：步骤2.1，基于DeepSORT算法对步骤1.4.2检测到的目标进行帧间匹配；步骤2.2，当出现帧与帧目标匹配失败的情况时，利用有限状态机跟踪管理机制决定是否对目标进行继续跟踪；所述轨迹预测阶段包括以下步骤：步骤3，利用车道线对车辆的运动进行约束，根据步骤2跟踪阶段得到的目标历史轨迹，使用扩展卡尔曼滤波进行轨迹预测。

全文数据：

权利要求：

百度查询： 武汉大学 一种融合单目相机和激光雷达的三维目标检测方法