买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州像素元科技有限公司

摘要：本申请提出了一种基于LiDAR点云和RGB图像的3D目标检测模型的构建方法及装置，包括以下步骤：获取训练数据并构建3D目标检测架构；将训练数据输入到特征提取网络进行特征提取得到RGB图像特征与点云体素特征，将RGB图像特征与点云体素特征输入到模态交互网络中得到几何互补图像特征与语义互补体素特征；将点云体素特征、几何互补图像特征以及语义互补体素特征转换到鸟瞰图视角空间后通过特征融合网络进行全局特征和局部特征的聚合得到局部鸟瞰特征和全局鸟瞰特征，将局部鸟瞰特征和全局鸟瞰特征拼接后输入到分类头中输出目标检测结果。本方案通过不同模态的互补特性来根据点云数据与RGB图像数据进行高精度目标检测。

主权项：1.一种基于LiDAR点云和RGB图像的3D目标检测模型的构建方法，其特征在于，包括以下步骤：获取一一对应的多视角RGB图像数据与LiDAR点云数据作为训练样本，构建3D目标检测架构，所述3D目标检测构架包括特征提取网络、模态交互网络、特征融合网络以及分类头组成；将训练样本中一组对应的多视角RGB图像数据与LiDAR点云数据输入到特征提取网络中进行特征提取得到RGB图像特征与点云体素特征；所述模态交互网络包括第一交互单元与第二交互单元，在所述第一交互单元中将点云体素特征投影到RGB图像特征中并通过双轴编码器进行特征交互得到几何互补图像特征，其中，所述第一交互单元包括稠密运算层、双轴编码器层以及拼接层，在所述稠密运算层中将所述点云体素特征投影到RGB图像特征上并进行稠密化运算得到稠密深度特征，在所述双轴编码器中对稠密深度特征进行X轴和Y轴两个方向的细化得到双轴编码特征，将所述双轴编码特征与所述稠密深度特征进行特征相乘得到几何互补特征，在所述拼接层中将几何互补特征与RGB图像特征进行拼接得到几何互补图像特征，在所述第二交互单元中通过可变形交叉注意力机制将RGB图像特征的像素与点云体素特征的聚类中心进行对应得到语义互补体素特征；分别将点云体素特征、几何互补图像特征以及语义互补体素特征转换到鸟瞰图视角空间得到点云鸟瞰特征、几何互补鸟瞰特征以及语义互补鸟瞰特征后输入到特征融合网络中，所述特征融合网络包括局部特征融合单元和全局特征融合单元，在所述全局特征融合单元中将点云鸟瞰特征、几何互补鸟瞰特征以及语义互补鸟瞰特征进行拼接后进行可变形自注意力的计算得到全局鸟瞰特征，在所述局部特征融合单元中使用可变形交叉注意力机制对点云鸟瞰特征、几何互补鸟瞰特征以及语义互补鸟瞰特征中的局部信息进行聚合得到局部鸟瞰特征；将所述全局鸟瞰特征与所述局部鸟瞰特征进行拼接后输入到分类头中得到目标检测结果，基于所述目标检测结果构建损失函数，当损失函数满足设定条件后保存3D目标检测架构的当前参数得到3D目标检测模型。

全文数据：

权利要求：

百度查询： 杭州像素元科技有限公司 基于LiDAR点云和RGB图像的3D目标检测模型的构建方法及装置