买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：武汉大学

摘要：本发明涉及一种视觉、惯性与激光协同的兴趣目标定位成像方法与装置，通过数据耦合与增强模块，结合视觉传感器暗光增强模块和数据耦合网络，以适应不同光照条件并增强数据质量。利用自动识别和相对定位的神经网络，通过提出的目标检测神经网络和投影方法精确定位目标。本发明结合激光雷达点云数据和多角度图像，通过体素图表示、协方差估计及光度梯度优化，实现兴趣目标的高精度多维成像。该发明应用于无人驾驶汽车、机器人导航和高精度地图绘制等领域，通过高效的数据融合和处理，显著提高目标定位与成像的效率和准确性。

主权项：1.一种视觉、惯性与激光协同的兴趣目标定位成像方法，其特征在于，包括以下步骤：步骤1，获取定位目标相关的可见光影像数据、激光雷达数据、UWB距离数据和系统IMU方向信息；步骤2，构建包括暗光增强模块和数据耦合模块的耦合-增强网络模型，所述暗光增强模块将可见光影像数据进行增强；所述数据耦合模块包括针对增强后可见光影像数据的视觉分支和针对稀疏深度图的激光分支，该数据耦合模块从两分支预测的深度图与学习到的置信权重自适应地融合，输出为稠密深度图；所述暗光增强模块的计算如下： 其中M和A表示局部分量；γ是矫正参数；是联合颜色变换矩阵；max取最大值；是给定光照条件下的输入图像，是转换为适当的均匀光下的目标输出图像；暗光增强模块包括局部分量和全局分量；局部分量通过两个卷积层对标准红绿蓝色彩空间数据扩展通道维度，并将扩展通道维度后的数据传递给由逐像素增强模块堆叠的两个独立分支，两逐像素增强模块模块结构相同：先利用深度卷积对位置信息进行编码，再使用点卷积-深度卷积-点卷积结构增强局部细节，最后采用两个卷积分别增强token表示，堆叠的逐像素增强模块通过跳跃连接逐元素加法将输出特征与输入特征连接，利用卷积减少通道维度，再通过函数来生成局部分量M和A，函数采用ReLU或Tanh函数；全局分量首先堆叠两个卷积作为轻量级编码器，生成的特征被传递到Transformer多头注意力模块，再输入具有两个线性层的前馈网络之后，添加俩额外的初始化学习参数层来输出颜色矩阵和矫正参数γ；所述数据耦合模块的两分支主干均为具有对称跳跃连接的编码器-解码器网络，所述编码器包含一个卷积层和十个残差块，所述解码器包括若干反卷积层和一个卷积层，卷积层后均设置BN层和ReLU激活层；视觉分支的解码器功能与激光分支中相应编码器功能相关联，采用CSPN++细化主干预测的深度图，得到稠密的深度图；步骤3，通过目标检测方法从增强的可见光影像数据中检测到兴趣目标边界框；根据兴趣目标边界框，获取兴趣目标相对位置，该位置为相对系统初始位置，具体计算如下： 其中，为兴趣目标位置结合UWB测距计算得到的兴趣目标距离系统的相对距离，所述兴趣目标位置为目标边界框中心位置，、分别为系统获取的IMU方向测量，为激光雷达与UWB距离结合测得的目标与系统位置连线的方向向量；步骤4，利用稠密深度图获得高斯参数化点云地图，并结合增强后的可见光影像数据和兴趣目标相对位置，优化球面谐波系数和高斯参数化点云地图，获得视觉优化后的点云地图，采用自适应控制法，获得结构优化的点云地图；联合视觉和结构优化的点云地图，利用高斯模型合成获得兴趣目标的多维成像。

全文数据：

权利要求：

百度查询： 武汉大学 视觉、惯性与激光协同的兴趣目标定位成像方法与装置