买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京星尘纪元智能科技有限公司

摘要：本发明公开了数据闭环中基于自动驾驶世界模型的数据价值挖掘方法。本发明中，使用自动驾驶世界模型的图像生成模块作为生成器，模型能力远大于传统的生成模型；在生成过程中引入其它模态信息并进行空间对齐，保证了生成的质量和可控性，更加确保了最终的打分只受数据本身影响而不受模型能力的影响；使用语义分割对图像进行分析的时候参考了3D占据网络的结果，为每个像素点赋予更可信的类别以及对应的3D坐标，丰富了图像理解的维度，增加了结果的可信性；在最终打分的过程中，以像素点对应物体与原点的距离为误差添加权重，增加了打分的客观性，使打分有选择的更倾向于近处物体，排除了远处物体带来的误差。

主权项：1.数据闭环中基于自动驾驶世界模型的数据价值挖掘方法，其特征在于：所述方法包括以下步骤：S1:对输入的历史图像进行目标检测，这个模块将输出图像范围内物体的3D框；S2:在世界模型生成图像时，编码的3D框信息可以提供当前帧下物体几个位置以及类别信息；S3:对输入的历史图像进行矢量化建图可以生成路面的道路信息，它将图像包含的道路信息编码为3D空间下的一个二个坐标，这部分信息同样也会经过一个编码器被编码至世界模型的输入向量空间；S4:对输入图像同样需要将其编码至世界模型输入的向量空间，因此，需要一个合适的编码器；VQ-VAE是目前图像生成领域的先进架构，它是自编码器的变体,它将图像编码为离散的向量集合，然后通过一个神经网络生成图像；S5:将文本信息作为额外的模态输入输入至世界模型当中，文本作为极度精炼的信息可以在少量输入的情况下提供大量背景知识，之后对文本信息做嵌入将文字提示与图像对齐；S6:在离线的场景下，系统除了拥有世界模型生成的图像，还可以获取当前时刻的真实图像，将二者相减即可获得t时刻下像素级别的预测误差et＝Xt-X_hattet将作为打分系统的输入之一在后文被使用；S7:通过对t时刻的图像做2D语义分割获取像素分类信息；S8:进行3D占用预测，通过图像输入，预测当前状态下的体素表达和每个体素的类别；S9:系统同时获得了2D像素的类别以及3D体素的类别，将两个结果进行融合，通过传感器之间的外参以及相机内参，通过光线追踪算法获取像素以及体素之间的对应关系，当像素及对应体素类别不同时，选择置信度更高的类别，并将体素坐标赋值给与其对应的像素点上，从而实现了2D和3D信息的融合；S10:将与驾驶无关的像素类别如图中的sky，ground等所对应的生成误差设为0，确保最终升成的数据价值仅与会影响到驾驶的物体有关，其次，通过3D坐标计算有关类别所对应的像素距离原点的欧式距离D，将欧式距离通过min-max归一化方法将其归一化至0-1的范围内作为距离权重；对于每一个像素的距离d，其对应的权重为 再将权重赋给生成图像的误差et，并最终计算t时刻的数据价值δ S11:对于离线场景的连续帧数据，当计算获得每一个时刻的δ之后，就可以通过min-max归一化的方法，将所有时刻的数据价值归一化到0-1的区间之内，并根据人为设定的阈值，挑选最有价值的数据，并对数据进行记录保存，即可结束整个数据闭环中基于自动驾驶世界模型的数据价值挖掘流程。

全文数据：

权利要求：

百度查询： 北京星尘纪元智能科技有限公司 数据闭环中基于自动驾驶世界模型的数据价值挖掘方法