恭喜同济大学田炜获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜同济大学申请的专利一种基于多传感器融合的无锚框3D目标检测方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN114118247B 。
龙图腾网通过国家知识产权局官网在2025-05-02发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202111384455.4,技术领域涉及:G06V10/25;该发明授权一种基于多传感器融合的无锚框3D目标检测方法是由田炜;殷凌眉;邓振文;黄禹尧;谭大艺;韩帅;余卓平设计研发完成,并于2021-11-18向国家知识产权局提交的专利申请。
本一种基于多传感器融合的无锚框3D目标检测方法在说明书摘要公布了:本发明涉及一种基于多传感器融合的无锚框3D目标检测方法,包括:获取彩色RGB图像和激光点云;对彩色RGB图像进行语义分割,得到各像素的类别信息;利用类别信息对激光点云的特征进行增强,得到增强激光点云;对增强激光点云分别进行点云几何特征编码、点云可见性特征编码,得到几何特征和可见性特征;将几何特征与可见性特征进行堆叠,得到堆叠特征;将堆叠特征输入多层特征提取网络,提取不同层级的特征信息,再将各层级的特征信息进行堆叠,得到融合特征;将融合特征输出给无锚框目标检测器,以得到3D目标检测结果。与现有技术相比,本发明通过多模态数据的融合,利用传感器之间的优势互补来增强3D目标检测性能,从而实现准确快速检测的目的。
本发明授权一种基于多传感器融合的无锚框3D目标检测方法在权利要求书中公布了:1.一种基于多传感器融合的无锚框3D目标检测方法,其特征在于,包括以下步骤:S1、获取彩色RGB图像和激光点云;S2、对彩色RGB图像进行语义分割,得到各像素的类别信息;S3、利用各像素的类别信息,对激光点云的特征进行增强,得到增强激光点云;S4、根据增强激光点云,分别进行点云几何特征编码、点云可见性特征编码,以分别得到几何特征和可见性特征;S5、将几何特征与可见性特征进行堆叠,得到堆叠特征;S6、将堆叠特征输入多层特征提取网络,提取不同层级的特征信息,再将各层级的特征信息进行堆叠,得到融合特征;S7、将融合特征输出给无锚框目标检测器,得到3D目标检测结果;步骤S3的具体过程为:通过从激光雷达坐标系到相机坐标系、再从相机坐标系到图像坐标系的投影变换,以将空间点云与相应彩色RGB图像的像素位置关联起来,将彩色RGB图像像素表征的语义信息补充给每一个从激光雷达坐标系投影到图像坐标系的点云,等同于为原始输入的激光点云添加新的数据维度、对激光点云赋予类别属性,从而实现点云语义的增强;步骤S4中进行点云几何特征编码的具体过程为:首先在自车感知范围内的水平面设定立体网格,所述立体网格沿X和Y轴数量分别为W和H,Z轴数量为1,从而形成体柱,并将激光点云映射至对应的体柱;体柱中每个激光点包含的特征包括x,y,z,i,t,c,ox,oy,dx,dy,dz,其中,x,y,z,i,t为激光点原始特征,分别对应为空间直角坐标系坐标值、反射率、时间戳,c为图像语义分割赋予的类别特征,ox,oy为激光点与体柱中心轴x,y的偏差,dx,dy,dz为激光点与所有激光点位置均值的偏差;将体柱内所有增强的激光点分别通过多层感知机进行特征编码,以生成固定特征数量D的点云几何特征,并在数量方向进行最大池化操作,从而编码生成几何特征尺寸为W,H,D;步骤S4中进行点云可见性特征编码的具体过程为:首先在自车感知范围内的水平面设定立体网格,所述立体网格沿X和Y轴数量分别为W和H,Z轴数量为O,从而形成体素;激光点云中的每个激光点与激光雷达中心形成线段,所述线段经过的体素均标记状态为自由,激光点所在的体素标记状态为占用,其余体素标记状态为未知;所有体素沿Z轴方向形成特征向量,并通过卷积层转换成长度为K的可见性特征,从而编码生成可见性特征尺寸为W,H,K;步骤S5具体是将几何特征与可见性特征沿深度方向进行堆叠:将几何特征和可见性特征分别对应到由立体网格的鸟瞰图生成的格栅图中,并沿深度方向进行堆叠,从而得到尺寸为B,D+K,H,W的堆叠特征,其中B、D+K、H、W分别对应为批次、深度、高度和宽度;步骤S6中多层特征提取网络具体是通过不同步长卷积层,提取三个不同尺度的特征图,每个尺度的特征图再分别经过对应步长的反卷积层,将尺寸扩大至相同尺寸,最后沿深度方向堆叠,得到融合特征;步骤S7中无锚框目标检测器包括五个检测头,具体为关键点热图检测头、局部偏移检测头、z轴定位检测头、3D目标尺寸检测头和方向检测头。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人同济大学,其通讯地址为:200092 上海市杨浦区四平路1239号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。