恭喜山东科技大学董海荣获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜山东科技大学申请的专利一种基于多视角和多尺度特征融合的车辆环境感知方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119068445B 。
龙图腾网通过国家知识产权局官网在2025-03-14发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411569872.X,技术领域涉及:G06V20/56;该发明授权一种基于多视角和多尺度特征融合的车辆环境感知方法是由董海荣;孔栋;李中正;张立业;张硕;孙晓宇设计研发完成,并于2024-11-06向国家知识产权局提交的专利申请。
本一种基于多视角和多尺度特征融合的车辆环境感知方法在说明书摘要公布了:本发明属于车辆环境感知技术领域,具体公开了一种基于多视角和多尺度特征融合的车辆环境感知方法,该方法针对基于投影的点云分割方法在投影过程中信息丢失问题,搭建了基于多视角和多尺度特征融合的车辆环境感知网络,在网络的输入方面,本发明通过多层距离视图表示和鸟瞰图特征双重编码,设计了多级多投影融合的深度学习网络,有效提高了垂直信息较突出且距离较远的点云中目标的信息提取精度,降低了分离投影的信息丢失。在网络结构方面,本发明提出了多视角融合模块,其通过将MFB和MMViT相结合,计算BEV特征和RV特征之间的高阶相关性,深度融合了多视图特征。本发明有利于避免投影过程中产生的损失,提升了车辆环境感知能力。
本发明授权一种基于多视角和多尺度特征融合的车辆环境感知方法在权利要求书中公布了:1.一种基于多视角和多尺度特征融合的车辆环境感知方法,其特征在于,包括如下步骤:步骤1.将采集的原始点云数据,经鸟瞰图特征双重编码后,分别输出鸟瞰图像、熵值图像和得分图像;同时,将采集的原始点云数据经多层距离视图表示,得到整体RV图像和多幅不同距离的RV子图像,并动态调整各幅不同视图的重要性;步骤2.搭建基于多视角和多尺度特征融合的车辆环境感知网络,其包括距离视图编码网络、鸟瞰图编码网络、多视角融合模块MVFM以及检测头;将鸟瞰图像、熵值图像和得分图像拼接作为鸟瞰图编码网络中编码器的输入;将提取到的整体RV图像的特征和其他各幅RV子图像提取到的特征进行交互连接,最后经过线性层输出作为距离视图编码网络中编码器的输入;距离视图编码网络、鸟瞰图编码网络分别用于提取RV特征和BEV特征,二者网络结构相同,且均使用ResNet101结构,其包括编码器与解码器;编码器包括四个阶段的编码模块,且分别定义为第一、第二、第三、第四阶段编码模块;解码器包括四个上采样模块,且分别定义为第一、第二、第三、第四上采样模块;在第一、第四阶段编码模块以及第二上采样模块的位置均插入一个MVFM,分别用于将距离视图编码网络、鸟瞰图编码网对应阶段络输出的RV特征与BEV特征作为MVFM的输入;在MVFM中进行多视角特征深度融合;经过每个MVFM深度融合并分割后的RV特征和BEV特征对应返回距离视图编码网络和鸟瞰图编码网络,并作为相应网络下一阶段的特征输入;鸟瞰图编码网络中解码器的输出和距离视图编码网络中解码器的输出分别经网格转点云后进行拼接,拼接后的特征输入检测头,经检测后输出分割点云结果;所述多视角融合模块包括多模态分解双线性池化模块与模型框架MMViT;首先将距离视图编码网络输入的RV特征与鸟瞰图编码网络输入的BEV特征进行补丁嵌入编码与展平操作,然后分别划分为查询、键和值;使用多模态分解双线性池化模块计算不同特征图之间的查询与键、值之间的高阶特征交互,多模态分解双线性池化模块首先通过因式分解将双线性池化矩阵分解为两个低维度的矩阵,对低维特征进行一维非重叠窗口大小为K的求和池化操作,生成高阶特征;完成多模态分解双线性池化后,将生成的高阶特征与多模态分解双线性池化的输入特征图进行拼接形成新的键和值,随后利用新的键和值输入到MMViT中以充分融合高阶特征;最后将融合结果通过分割操作分为两个视角,经残差连接得到完整丰富的最终特征表示;步骤3.利用步骤1得到的图像数据训练步骤2中搭建的车辆环境感知网络;对于输入的当前车辆的点云数据,利用训练好的车辆环境感知网络,获取车辆环境感知结果。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人山东科技大学,其通讯地址为:266590 山东省青岛市黄岛区前湾港路579号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。