买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：扬州万方科技股份有限公司

摘要：本发明属于3D多目标跟踪技术领域，提供了一种考虑远帧依赖关系的多模态多目标3D跟踪方法及装置。本跟踪方法包括以下步骤：获取多帧场景的RGB和3D点云信息；填充滑动窗口；将3D坐标对齐到可学习参数的3D坐标系；划分3D栅格，提取逐框3D特征；提取2D逐像素深层次特征并映射，提取逐框3D映射特征；查询向量表生成初始3D检测框表示；通过Transformer解码器同时预测多帧多目标检测框；进行各帧3D检测框的ID匹配；采用卡尔曼滤波器进行3D检测框的更新。本跟踪方法考虑了滑动窗口内多帧间的长距离上下文依赖关系，使用Transformer自动学习不同帧不同点间的特征权重，有效应对了跨多帧跟踪时的目标遮挡问题和目标丢失问题。

主权项：1.一种考虑远帧依赖关系的多模态多目标3D跟踪方法，其特征在于，包括以下步骤：S1：获取多帧场景的RGB信息和3D点云信息；S2：在3D滑动窗口内填充跟踪场景到固定窗口大小；S3：将所述滑动窗口内的各帧3D坐标对齐到可学习参数的3D坐标系；S4：划分3D栅格，按照所述3D栅格提取逐框3D特征；S5：提取2DRGB逐像素深层次特征并映射到可学习参数的3D坐标系下，按照所述3D栅格提取逐框3D映射特征；S6：查询可学习参数的向量表生成初始3D检测框表示；S7：通过Transformer解码器同时预测多帧多目标检测框位置、大小、角度、类别概率；S8：采用匈牙利算法进行各帧所述3D检测框的ID匹配；S9：采用卡尔曼滤波器进行所述3D检测框的更新；其中，所述步骤S3具体为：S3.1：生成可学习参数的3D坐标系变换矩阵矩阵初始化权重为单位矩阵；S3.2：将窗口内的每一帧场景变换到可学习参数的3D坐标系下： 其中，代表第i帧在世界坐标系下的点集，k代表第i帧中点的总数；在所述步骤S4中，划分3D栅格前还包括对滑动窗口内的各帧3D坐标进行帧间位置编码和帧内位置编码，具体为：第i帧的帧间位置编码是一个维度为8的可学习参数，的初始化权重采样于标准高斯分布：ωj～N0,1,j＝1,2,...,8；第i帧的帧内位置编码是一个维度为128的特征表示，第i帧的帧内位置编码由PointNet++的分割任务主网络提取得到， 其中，代表第i帧在可学习参数的3D坐标系下的点集表示，代表第i帧的帧内位置编码，PNseg代表PointNet++的分割任务主网络；最终3D特征表示PEi∈Rk×136是帧间位置编码和帧内位置编码的拼接： 其中，rep函数代表将帧间位置编码重复k次，con函数代表将重复k次的帧间位置编码和帧内位置编码在第二个维度进行特征拼接。

全文数据：

权利要求：

百度查询： 扬州万方科技股份有限公司 一种考虑远帧依赖关系的多模态多目标3D跟踪方法及装置