买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：厦门大学

摘要：本发明提供一种基于采样自适应的连续NeRF的多视角3D目标检测方法，包括：将多视角姿势图像输入到2D主干网络得到2d特征；均匀采样整个场景中的空间坐标，得到原始的采样点；将该采样点投射到2d特征中得到多视角的特征体积，再通过多头权重融合方式得到空间特征；首次多头权重融合时，由空间特征直接处理得到场景特征，将场景特征输入到检测头预测偏移量，更新采样点和多视角的特征体积，再进行多头权重融合得到新的空间特征，与上一次的场景特征拼接后处理得到新的场景特征，将该场景特征输入到检测头再预测偏移量，更新采样点和多视角的特征体积，再次多头权重融合得到新的空间特征，再得到新的场景特征，输入到检测头中得到最终的3D边界框数据。

主权项：1.一种基于采样自适应的连续NeRF的多视角3D目标检测方法，其特征在于：所述方法包括：步骤S1、将多视角姿势图像输入到2D主干网络得到2d特征；步骤S2、均匀采样整个场景中的空间坐标，得到原始的采样点；步骤S3、将所述采样点投射到2d特征中得到多视角的特征体，通过多头权重融合方式将多视角的特征体积进行融合，得到空间特征；步骤S4、判断是否为首次多头权重融合处理，若是，则将空间特征直接经过3DU-Net处理得到场景特征，将场景特征输入到检测头预测一偏移量，用所述偏移量更新采样点，用更新后的采样点重新执行步骤S3；否则，进入步骤S5；步骤S5、判断是否为第二次多头权重融合处理，若是，则将本次融合得到的空间特征与上一次的场景特征进行拼接后，经浅层融合卷积层和3DU-Net得到本次的场景特征，将本次的场景特征输入到检测头预测一偏移量，用所述偏移量更新采样点，用更新后的采样点重新执行步骤S3；否则，执行步骤S6；步骤S6、将第三次多头权重融合处理得到的空间特征与上一次的场景特征拼接后，经浅层融合卷积层和3DU-Net得到本次的场景特征，将本次的场景特征输入到检测头中得到最后输出的3D边界框数据；所述步骤S3具体包括：步骤S31、使用双线性插值在二维空间中对特征进行采样得到多视角的特征体积Vm，其中、是从采样点投影到2d特征上的像素坐标，对于位于特征平面之外或之后的任何无效采样点，将其设置为0；步骤S32、获得每个采样点到相机位置的距离Z，通过正弦编码器将距离编码为；步骤S33、将同一个点的多视角的特征体积拼接上这个采样点的，得到每个视角的特征，将每个视角的特征都经过线性层MLP，得到每一个视角的多头权重和多头特征，多头权重W经过softmax函数后与多头特征Vm’相乘，得到最后融合过的多视角特征，然后将这些多视角特征直接相加得到空间特征中的一个点的特征，全部计算完成后输出空间特征Vo，用如下公式表示： 其中，N为输入的全部视角数量。

全文数据：

权利要求：

百度查询： 厦门大学 一种基于采样自适应的连续NeRF的多视角3D目标检测方法