买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：深圳市浩瀚卓越科技有限公司

摘要：本发明涉及目标追踪技术领域，公开了一种基于云台的视觉追踪校正方法、装置、设备及存储介质。该方法包括：获取目标区域图像和目标点云数据，并分别对获取数据进行多重数据增强；提取目标区域图像中的边界和类别，并确定目标图像特征，以及对云台图像居中，得到初始视觉追踪结果；分离出目标点云数据中的非地面点云数据，并对非地面点云数据进行目标聚类；提取聚类结果的目标点云特征，并计算出获取数据的特征融合度；对获取数据进行特征融合，并生成下一时刻的预测目标状态；生成下一时刻云台的动态追踪校正参数，并对初始视觉追踪结果进行追踪校正，得到校正结果。本申请实现了云台的动态调整与视觉追踪，提高了对相关目标校正的准确率。

主权项：1.一种基于云台的视觉追踪校正方法，应用于视觉追踪校正系统，其特征在于，所述视觉追踪校正系统包括激光雷达模块、感知融合模块和追踪校正模块，所述基于云台的视觉追踪校正方法包括：获取所述云台的目标区域图像和所述激光雷达模块采集的目标点云数据，并分别对所述目标区域图像和所述目标点云数据进行多重数据增强，得到增强后的目标区域图像和增强后的目标点云数据；提取所述增强后的目标区域图像中的目标图像边界和目标图像类别，并基于所述目标图像边界和所述目标图像类别，确定所述目标区域图像中的目标图像特征，以及基于所述目标图像特征，通过所述追踪校正模块进行图像居中，得到初始视觉追踪结果；所述提取所述增强后的目标区域图像中的目标图像边界和目标图像类别，并基于所述目标图像边界和所述目标图像类别，确定所述目标区域图像中的目标图像特征，以及基于所述目标图像特征，通过所述追踪校正模块进行图像居中，得到初始视觉追踪结果，包括：提取所述增强后的目标区域图像中的原始特征图，并计算出所述原始特征图各个位置的全局平均池化特征；利用所述全局平均池化特征融合所述原始特征图，得到融合后的原始特征图，并预测所述融合后的原始特征图中的预测边界框，以及匹配所述预测边界框对应真实边界框的多种图像边框参量；计算出所述图像边框参量对应的边框综合损失值，并基于所述边框综合损失值，更新所述图像边框参量直至满足预设的边框损失阈值，生成所述增强后的目标区域图像中的目标图像边界；计算出所述目标图像边界内各个图像目标的类别概率，以及基于所述类别概率，确定所述增强后的目标区域图像中的目标图像类别，并基于所述目标图像边界和所述目标图像类别，提取所述目标区域图像中各个图像目标在二维空间上的目标图像特征；基于所述目标图像特征，从各所述图像目标中确定对满足预设相对运动目标的拍摄目标，并通过所述追踪校正模块对所述拍摄目标进行图像居中，得到初始视觉追踪结果；基于所述增强后的目标点云数据对应的点云坡度，分离出所述增强后的目标点云数据中的非地面点云数据，并基于所述非地面点云数据对应的分段聚类半径，对所述非地面点云数据进行目标聚类，得到聚类后的非地面点云数据；所述基于所述增强后的目标点云数据对应的点云坡度，分离出所述增强后的目标点云数据中的非地面点云数据，并基于所述非地面点云数据对应的分段聚类半径，对所述非地面点云数据进行目标聚类，得到聚类后的非地面点云数据，包括：划分所述增强后的目标点云数据的多个点云局部领域，并计算出各所述点云局部领域对应的局部平面法线；计算出各所述点云局部领域对应的点坐标与所述局部平面法线的夹角，得到点云坡度，并判断所述点云坡度是否小于预设的坡度阈值；若所述点云坡度不小于预设的坡度阈值，则分割出所述点云局部领域对应的目标点云数据中作为非地面点云数据，以及移出所述增强后的目标点云数据中的地面点云数据，并计算出各所述非地面点云数对应点云局部领域的聚类半径；基于所述聚类半径，对所述非地面点云数据进行初始目标聚类，以及在初始目标聚类中，基于预设的分段阈值，调整所述聚类半径，得到分段聚类半径，并基于所述分段聚类半径，对初始目标聚类的结果进行二次聚类合并，直至所述分段聚类半径大于预设的半径阈值，得到聚类后的非地面点云数据；提取所述聚类后的非地面点云数据的目标点云特征，并计算出所述目标图像特征和所述目标点云特征的特征融合度；所述提取所述聚类后的非地面点云数据的目标点云特征，并计算出所述目标图像特征和所述目标点云特征的特征融合度，包括：提取所述聚类后的非地面点云数据中的多种点云边框结构信息，并基于所述点云边框结构信息，确定所述聚类后的非地面点云数据在三维空间上的目标点云特征；对所述目标图像特征和所述目标点云特征进行时空坐标的同步匹配，并计算出匹配后的目标点云特征中三维点在匹配后的目标图像特征中二维图像的三维边界框投影；计算出所述三维边界框投影的二维投影边界框与所述目标图像特征中对应目标图像边界和目标图像类别之间的边界交集区域和边界并集区域，并比较所述边界交集区域和所述边界并集区域之间的重合度，得到特征融合度；基于所述特征融合度，通过所述感知融合模块对所述目标图像特征和所述目标点云特征进行特征融合，得到目标融合特征，并基于所述目标融合特征，通过所述追踪校正模块生成下一时刻的预测目标状态；基于所述预测目标状态，生成下一时刻所述云台的动态追踪校正参数，并基于所述动态追踪校正参数，对所述初始视觉追踪结果中的拍摄目标进行视觉追踪校正，得到云台的视觉追踪校正结果；所述基于所述预测目标状态，生成下一时刻所述云台的动态追踪校正参数，包括：提取所述预测目标状态的预测目标特征，并对比所述预测目标特征和所述目标融合特征之间的特征相似度；获取所述云台的当前位置参数和上一时刻的历史位置参数，以及判断所述特征相似度是否大于预设相似度阈值，若所述特征相似度大于预设相似度阈值，基于所述当前位置参数和所述历史位置参数之间的位置差生成下一时刻所述云台的动态追踪校正参数；若所述特征相似度不大于预设相似度阈值，则计算出所述预测目标状态和所述目标融合特征对应的当前目标状态之间的状态差异值，并基于所述状态差异值生成下一时刻所述云台的动态追踪校正参数。

全文数据：

权利要求：

百度查询： 深圳市浩瀚卓越科技有限公司 基于云台的视觉追踪校正方法、装置、设备及存储介质