买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：江苏智能无人装备产业创新中心有限公司

摘要：本发明公开了一种越野环境感知与跟踪引导车辆的方法、系统及介质，涉及跟车控制技术领域，运用于无GPS等定位信号的越野环境下，对前方的引导车辆进行精确感知，并在此基础上，以前方的引导车辆为运动跟随目标，实现自主跟车；所述方法包括以下步骤：设置安装于自主跟随车的感知传感器，所述感知传感器包括摄像头、4D毫米波雷达和FMCW激光雷达；获取所述感知传感器的检测信息；根据所述检测信息执行针对引导车辆的初始识别流程、持续跟踪流程或目标找回流程；本发明基于摄像头、4D毫米波雷达和FMCW激光雷达结合的方式进行引导车辆跟踪，可以在无GPS、车速较高、近距离、扬尘等高难度工况或恶劣环境下进行有效的跟车，弥补了现有技术的不足。

主权项：1.一种越野环境感知与跟踪引导车辆的方法，其特征在于，包括以下步骤：设置安装于自主跟随车的传感器，所述传感器包括摄像头、4D毫米波雷达和FMCW激光雷达；获取所述传感器的检测信息；根据所述检测信息执行针对引导车辆的初始识别流程、持续跟踪流程或目标找回流程；所述初始识别流程包括：引导车辆进入初始检测范围内，人工输入引导车辆特征信息，自主跟随车的感知流程即进入初始识别状态，识别成功则进入持续跟踪状态并将引导车辆定义为跟踪目标，识别失败则重新调整引导车辆位置或者重新输入引导车辆特征信息；所述持续跟踪流程包括：在持续跟踪状态中若目标未丢失，则保持持续跟踪状态，若目标丢失则进入目标找回状态；所述目标找回流程包括：目标找回成功则保持持续跟踪状态，若目标找回失败则停车，回到所述初始识别流程；获取所述传感器的检测信息，进一步包括：所述摄像头用于获取图像信息并传给计算机，计算机通过深度学习目标检测算法并使用预训练数据集实现目标检测功能，识别所述引导车辆的特征，生成并保存特征数据；所述4D毫米波雷达用于获取4D毫米波点云数据，以及获得跟踪目标的距离信息、方位信息、速度信息、宽度信息和高度信息；所述4D毫米波雷达通过毫米波穿透非金属物质，从而协助锁定引导车辆，所述非金属物质包括扬尘、雨、雪、雾；所述FMCW激光雷达用于获取FMCW激光雷达点云数据，所述FMCW激光雷达点云数据中包含每一个点的距离信息、方位信息、速度信息、宽度信息和高度信息，通过反馈点云的速度信息，区分出引导车辆和非引导车辆，从而协助锁定引导车辆；根据所述检测信息执行初始识别流程，进一步包括：将所述FMCW激光雷达点云数据和所述4D毫米波点云数据投影到所述图像信息中，进行图像和点云信息的初始融合，得到点云融合数据；在所述点云融合数据中，FMCW激光雷达点云与4D毫米波点云结合，去除扬尘、雨、雪、雾的影响，从而锁定引导车辆，得到目标检测结果；将人工输入的引导车辆特征信息与所述目标检测结果进行匹配，若成功匹配，则获取所述引导车辆的位置信息、结构信息、速度信息、方向信息；若匹配失败则重新调整引导车辆进入初始检测范围内或重新输入引导车辆特征信息；所述初始识别进一步包括：首先进行4D毫米波雷达点云和FMCW激光雷达点云的融合，去除掉扬尘以后，再将点云朝图像投影，进一步确定目标；具体包括以下步骤：S1、建立车辆坐标系，将FMCW激光雷达和4D毫米波雷达的坐标系进行统一；原点位于自主跟随车的车头中部，往右为x轴正方向，往前为y轴正方向，往上为z轴正方向，符合右手定则；S2、每次检测时，首先获得上一刻的引导车辆感知结果点云Pk-1，以及本时刻4D毫米波雷达的完整点云P’kr、本时刻FMCW激光雷达的完整点云P’kl；FMCW激光雷达点云和4D毫米波雷达可以感知获得每个点的径向速度vr；针对Pk-1获取上一刻引导车辆的所处位置，即pk-1.x，pk-1.y,pk-1.z，在P’kr和P’kl中进行点云聚类，挑选出该位置附近的点云簇，包括本时刻4D毫米波雷达的点云簇Pkr、本时刻FMCW激光雷达的点云簇Pkl;随后做以下筛选：S21、利用Pkr进行点云分割和筛选，即遍历PklselectpiinPklwhichsatisfymaxdistancepi,pointsinPkrthreshold_1returnpi经此筛选，可以借助4D毫米波的点云和穿透作用，去除部分灰尘噪点；将筛选出的pi点重新组合成Pkl；S22、利用上一刻的点云的每一个点pk-1，求取引导车辆的径向速度v，即v=averagepk-1.vr针对Pkl进行点云分割和筛选，即遍历PklselectpiinPklwhichsatisfydistancepi.vr,vthreshold_2returnpi经此筛选，可以借助FMCW激光雷达的点的速度信息，进一步去除部分灰尘噪点，将筛选出的pi点重新组合成Pkl；S23、利用Pkr对点云进行补充，即遍历PkrselectpiinPkrwhichsatisfymaxdistancepi,pointsinPklthreshold_3returnpi经此筛选，将激光雷达未曾检测到的点进行补充，这是因为灰尘会遮挡部分激光发射至引导车辆上，这些部分不会有激光点云，但是会有毫米波点云；将筛选出的pi点，补充上Pkl的点，即得到本时刻引导车辆的点云Pk；S3、在初始找车或者需要校验或者需要做跟丢找回的时候，才会利用摄像头信号进行点云的进一步匹配；在本申请其他工况下，仅用4D毫米波雷达、FMCW雷达的融合数据，即可以准确地获得引导车的轮廓；此时有：S31、使用内参矩阵和外参矩阵将3D点云数据转换到摄像头坐标系下的2D图像坐标；这个过程包括将点云的从点云坐标系数据变换到摄像头坐标系，并使用相机内参将3D坐标投影到2D图像平面，通过投影矩阵即可实现；S32、针对图像进行深度学习检测，确定点云投影区域内是否存在车辆，且判断车辆特征是否与引导车辆特征一致；根据所述检测信息执行持续跟踪流程，进一步包括：获取引导车辆上一时刻的方向信息、速度信息、位置信息，根据引导车辆上一时刻的方向信息、速度信息、位置信息确定感兴趣区域；获取引导车辆当前位置信息、4D毫米波点云数据、FMCW激光雷达点云数据并与所述感兴趣区域进行匹配，匹配成功则根据引导车辆当前点云融合数据规划行驶路线，进行持续跟车，若不匹配则进入目标找回状态；根据所述检测信息执行目标找回流程，进一步包括：获取引导车辆在丢失前一时刻的位置信息、方向信息、速度信息并预估引导车辆下一时刻位置，根据预估的引导车辆下一时刻位置筛选点云融合数据；将筛选后的点云融合数据与所述特征数据匹配，若匹配则进入持续跟车状态，若不匹配则停车，进入初始识别状态。

全文数据：

权利要求：

百度查询： 江苏智能无人装备产业创新中心有限公司 一种越野环境感知与跟踪引导车辆的方法、系统及介质