买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京信息工程大学

摘要：本发明公开了一种基于双目相机的四旋翼无人机视觉目标识别与定位方法，通过在四旋翼无人机的前后位置各配置一对双目相机，实时捕捉环境图像，并对捕捉到的图像信息进行实时高动态范围HDR图像处理；通过入深度学习目标识别模型，对图像中的目标进行实时识别和分类，进行飞机自身定位姿态估计与计算，并通过三维重建，基于点云模型构建三维地图，得到四旋翼无人机自身的坐标以及建图，通过融合相机视觉和IMU传感器数据，实现精准的导航和定位，规划四旋翼无人机的飞行路径。本发明方法可以提高四旋翼无人机在复杂环境中的目标识别与定位准确性，增强其自主导航和避障能力，同时优化路径规划以提升能效和任务执行效率。

主权项：1.一种基于双目相机的四旋翼无人机视觉目标识别与定位方法，其特征在于，包括如下步骤：S1、两对双目相机及参数的配置：在四旋翼无人机的前后各配置一对RGBD双目相机，对前后双目相机进行参数配置、同步和校准，减少结构光的干扰，具体为：位于无人机的前后的双目相机分别为A和B，在同一时间t分别捕捉带有结构光模式的环境图像，获取结构光照明产生的A和B相互干扰情况下的坐标（x，y）处的深度信息，表示为和；最小化双目相机A和B在结构光环境下受干扰的深度测量值与理想无干扰深度值之间的差异，通过如下误差函数，最小化和与真实深度和之间的差异，并综合额外误差项f： ;其中，和分别为A和B结构光照明无干扰情况下的坐标（x，y）处的深度信息，；w1和w2为权重系数，用于表示当前无人机飞行状态下，相机A和B对深度估计准确性的重要程度或预期噪声水平；基于前后双目相机两个视角获得的图像信息，估计深度值的一致性，深度估计差异越小，深度信息更可靠： ;其中，V表示深度估计的一致性度量，最小化V以提高深度估计的鲁棒性；S2、进行环境感知与数据获取：两对双目相机分别从前后两个方向实时捕捉环境图像，通过HDR图像处理模块，对双目相机捕捉到的图像信息进行实时高动态范围HDR图像处理；基于双目相机捕获的图像信息，根据环境变化自动调整双目相机参数，在低光环境下增加降噪处理，在高光环境下应用HDR图像合成处理，平衡处理速度与图像质量，调整曝光时间和增益，保证图像质量，步骤S2中高动态范围图像处理，包括如下子步骤：S2.1、对双目相机捕获的图像信息进行预处理，包括：对图像信息的去噪声、亮度调整、对比度增强，提高图像质量和深度信息的准确性；S2.2、对双目相机捕获的图像信息进行HDR图像合成处理，以适应复杂的光照条件，基于不同曝光时间下捕获的图像Ii，通过以下公式合成HDR图像IHDR： ;其中，n是参与合成的图像数量，是曝光时间为i时的图像映射函数，是权重函数，用于衡量图像Ii在每个像素上的贡献度；S3、目标识别：将HDR处理后的图像数据输入深度学习目标识别模型，根据需求，训练模型，对图像中特定的目标物体进行实时识别和分类；所述深度学习目标识别模型，基于YOLO深度学习算法训练捕捉到的图像信息数据集，通过GPU加速，对图像中的目标进行实时识别和分类，根据训练的模型不同，分类的类别不同；S4、飞机自身定位姿态估计与计算：从双目相机捕捉到的图像信息中提取特征点，结合IMU数据估计飞机的姿态和速度变化，将视觉和惯性数据进行融合，估计四旋翼无人机的位置和姿态；S5、进行深度信息获取与三维定位：进行双目立体视觉深度估计，结合立体匹配算法及坐标转换算法，从双目相机获取的图像中计算目标物体的深度信息，基于点云模型构建三维地图；所述双目立体视觉深度估计，包括如下子步骤：S5.1、基于双目相机捕捉到的图像，利用立体匹配算法计算目标的深度信息，深度通过如下相机模型公式计算： ；其中，是双目相机的焦距，是双目相机的基线距离，d是同一场景点在两个相机图像上的视差；S5.2、通过使用相机捕获的图像数据和IMU提供姿态信息，创建初始的三维地图，表示为是一个稀疏的点云或特征点云；S5.3、根据深度信息生成三维点云，将前后相机生成的点云数据通过深度图融合成一个统一的点云模型，进一步结合机载IMU数据进行精准三维定位；深度图融合公式如下： ;其中，wf和wb是根据图像质量动态调整的权重系数，用于平衡前后视角深度信息的贡献；Df和Db分别表示前视和后视深度图中的深度值；S5.4、对融合后的点云模型进行优化，提高三维地图精度，得到基于优化后的点云模型构建三维地图；S6、特征匹配和地图更新：双目相机持续地捕获图像，并从图像中提取特征点，利用特征点与构建的三维地图进行匹配，采用视觉里程计的方法，通过连续帧之间的特征点匹配估计相机在世界坐标系下的位置和姿态，得到四旋翼无人机自身在世界坐标系下的坐标；S7、进行目标定位及路径规划：将定位得到的四旋翼无人机自身坐标、视觉识别到的目标物体的深度融合为路径规划的前置条件，规划四旋翼无人机的飞行路径。

全文数据：

权利要求：

百度查询： 南京信息工程大学 基于双目相机的四旋翼无人机视觉目标识别与定位方法