买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京信息工程大学

摘要：本发明公开了一种基于深度估计改进的无人车姿态校正方法，包括以下步骤：分别采集点云和图像，利用DepthAngthing算法获得深度图像；将点云、图像和深度图像输入姿态校正网络，得到点云‑图像集合；利用EPnP算法对点云‑图像集合进行求解，得到初次姿态矩阵；从混合图像的局部特征中提取深度特征，利用深度特征对初次姿态矩阵进行优化，得到最终的相机姿态矩阵。本发明通过提取深度图、点云和图像特征，计算出重叠区域，并进行初步姿态估计，通过深度图完成二次配准，利用每个像素的深度值信息和投影在图像上的点云的距离信息建立多项式模型，并在小范围内寻找最佳的位置，从而带动所有点的移动以及相机姿态的调整。

主权项：1.一种基于深度估计改进的无人车姿态校正方法，其特征在于，所述无人车上设置有激光雷达和摄像头，包括以下步骤：步骤一、利用激光雷达和摄像头分别采集三维点云和二维图像，利用DepthAngthing算法从所述二维图像中获得深度估计图像；步骤二、将三维点云、二维图像和深度估计图像输入姿态校正网络，所述姿态矫正网络包括依次连接的特征嵌入模块、重叠区域检测模块和姿态估算模块；所述特征嵌入模块包括第一ResNet网络、第一最大池化层、第一SO-Net网络和第二最大池化层，所述第一最大池化层设置在所述第一ResNet网络后，所述第二最大池化层设置在所述第一SO-Net网络后；所述二维图像和深度估计图像连接后得到混合图像并输入所述第一ResNet网络，所述第一ResNet网络用于提取混合图像的局部图像特征，所述第一最大池化层用于获得混合图像的全局图像特征；所述三维点云输入所述第一SO-Net网络，所述第一SO-Net网络用于提取三维点云的局部点云特征，所述第二最大池化层用于获得三维点云的全局点云特征；所述重叠区域检测模块包括点云操作模块、图像操作模块和重叠检测模块，所述点云操作模块包括图像到点云注意融合模块I2PAF和点云解码器；所述图像操作模块包括点云到图像注意融合模块P2IAF和图像解码器；混合图像的全局图像特征和三维点云的局部点云特征连接后通过所述图像到点云注意融合模块I2PAF得到图像权重特征；三维点云的全局点云特征和混合图像的图像特征连接后通过所述点云到图像注意融合模块P2IAF得到点云权重特征；所述点云权重特征和混合图像的局部图像特征连接后通过所述图像解码器得到图像分数；所述图像权重特征与三维点云的局部点云特征连接后通过所述点云解码器得到点云分数；所述重叠检测模块寻找点云分数和图像分数最相近的值，并将与之对应的三维点云和二维图像生成点云-图像集合；步骤三、利用EPnP算法对步骤二得到的点云-图像集合进行求解，得到初次姿态矩阵；步骤四、从步骤二的混合图像的局部图像特征中提取深度特征，将对应的三维点云、二维图像和深度特征组合成新的集合，利用集合得到变换矩阵，利用变换矩阵对步骤三得到的初次姿态矩阵进行优化，得到最终的相机姿态矩阵。

全文数据：

权利要求：

百度查询： 南京信息工程大学 一种基于深度估计改进的无人车姿态校正方法