买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：重庆邮电大学

摘要：本发明请求保护一种实现场景结构预测、目标检测和车道级定位的方法，涉及自动驾驶、深度学习、计算机视觉等领域。首先本发明构建了一种车道级定位、场景结构预测和目标检测的神经网络，通过场景结构预测值和目标检测预测值与其真实值间的损失构建损失函数数学模型；通过图像和地图制作数据集并对网络进行训练；将网络部署于汽车上输出检测结果；最后将输出的场景结构通过匹配方法与地图进行检索匹配，矫正汽车的定位误差，实现车道级定位。该网络可以通过图像和地图制作数据集并对网络进行闭环训练且仅需要图像信息和地图信息就能完成场景结构预测、目标检测功能和车道级定位。场景结构预测结果里包含的道路结构可用于自动驾驶中。

主权项：1.一种实现场景结构预测、目标检测和车道级定位的方法，其特征在于，包括以下步骤：构建车道级定位、场景结构预测和目标检测的多任务神经网络，该多任务神经网络由编码器、解码器、全局特征提取模块、局部特征提取模块、匹配模块、目标检测预测模块、场景结构预测模块组成；通过场景结构预测值和目标检测预测值分别与真实值间的损失构建损失多任务神经网络函数数学模型；通过汽车拍摄图像和车辆车道地图制作准备数据集，使用数据集对多任务神经网络函数数学模型进行训练；将多任务神经网络部署于汽车上输出目标检测结果、场景结构预测结果；将输出的场景结构通过匹配方法与地图进行检索匹配，矫正汽车的地图定位误差，实现车道级定位；所述构建车道级定位、场景结构预测和目标检测的多任务神经网络，具体包括以下步骤：构建基于条件化变量共享上下文参数C的多任务神经网络，网络中多个任务分支共享一个编码器编码结果，该变量C仅使用图像信息I推导；图像信息表示网络输入图像的特征；上下文参数C为编码器通过编码后的特征层，其中应包括车辆与道路的空间位置信息关系以及特征信息；构建解码器，分为场景解码器和目标解码器，对共享上下文参数进行解码以生成场景的布局；该解码器由一系列的反卷积和上采样层组成，这些层将共享上下文参数映射到场景生成场景结构和目标布局；构建参数化的鉴别器，通过将预测结果数据分布正则化，使其与合理场景几何图形的真实分布相似，从而正则化预测场景结构和目标布局；构建全局特征提取和局部特征提取解码模块，用于对最后一层场景结构层进行局部特征解码，对地图真值进行全局特征解码；所述构建参数化的鉴别器，将预测结果数据分布正则化，具体包括：构建参数化的目标检测网络模块、场景结构预测网络模块，将预测结果数据分布正则化，使解码后的图片符合当前真实分布；所述构建全局特征提取和局部特征提取解码模块，具体包括：全局特征提取通过全卷积神经网络的卷积层以及池化层进行全局特征的提取，局部特征提取通过全卷积神经网络的卷积层以及注意力机制进行局部特征的提取；注意力机制为一个增强对图像局部特征注意力的模块，其核心思想是在输入序列上引入注意权重，以优先考虑存在相关信息的位置集，可更加有效提取图像中局部特征；所述通过场景结构预测值和目标检测预测值分别与真实值间的损失构建损失多任务神经网络函数数学模型，具体包括以下步骤：使用地图提取各种场景图片为预置数据分布图用于匹配，然后依据经纬度提取汽车拍摄图像位置的地图；根据场景结构预测和目标检测多任务神经网络的结构，将训练集标签分为两类：用于匹配的预置数据分布标签和用于训练多任务神经网络的地面场景真实值和目标检测场景结构图标签；确定场景结构预测与目标检测任务中上下文编码器、场景解码器和目标场景解码器的参数φ、ν、ψ，通过使用小批量随机梯度下降法最小化目标函数；使用L2误差项对场景结构和目标布局与真实值差值参数进行惩罚，使其与相应的地面真值布局接近，训练多任务神经网络；利用提出的损失函数数学模型来进行参数优化，使网络参数达到最优；将图像尺寸使用最近邻插值法放大或缩小为网络输入尺寸；将放大或缩小的图片进行归一化处理的视频帧送入神经网络中，经过网络的前向推理，得到场景结构和目标检测的结果输出；所述使用L2误差项对场景结构和目标布局与真实值差值参数进行惩罚，使其与相应的地面真值布局接近，训练多任务神经网络，具体包括：公式如1所示： 其中Φ为上下文编码器的权重参数；ψ为车辆布局解码器参数；为场景结构解码器参数；θ为共享上下文中的参数；其中θS表示场景在共享上下文中的参数；其中θD表示车辆在共享上下文中的参数；特征提取模块中，将会训练一个目标分类器，使用交叉熵损失作为损失函数，用于将各个目标的局部特征描述符相关系数表示出来；目标训练函数特征的表达式由一个加权的公式表示，公式如5所示，其中，y为网络的输出特征向量；W为注意力机制中的加权权重；α*为特征的一个分数函数；θ表示为函数α*的参数；用fn，n＝1，...，N表示要与注意力模型共同学习的n维特征；其中Lsup是一个L2监督误差项，用于惩罚预测场景和目标布局与其对应的地面真值的损失值，Ladv，Ldiscr是网络中解码器层和鉴别器的损失值；Lsup，Ladv，Ldiscr，Lspc计算公式如2，3，4所示： y＝W∑nαfn；θ·fn5 式中N表示网络训练时图片的数量；式中Sφ,ν表示网络预测的场景结构；式中表示图像中的信息；式中表示场景的布局真实值，式中i表示样本的个数；式中Dφ,ψ表示网络预测的车辆布局；式中表示车辆的布局真实值，式中S表示对于场景结构预测的概率0≤S≤1；式中D表示对于车辆预测的概率0≤D≤1；其中为分布函数的期望值；其中代表的是网络生成样本的分布；其中代表的是真实样本的分布；对抗性损失Ladv和Ldiscr使得场景目标场景解码器的布局估计分布Pfake与真实场景解码器Ptrue接近；所述将多任务神经网络部署于汽车上输出目标检测结果、场景结构预测结果，具体包括以下子步骤：在后处理程序中，将目标预测结果和场景结构预测结果的输出结果进行处理，使用图像处理软件将目标预测结果和场景结构预测结果的输出结果绘制在同一张图片上，用来输出对被目标遮挡部分的场景结构的预测图像以及目标的布局图像，场景结构输出的道路结构可用于自动驾驶功能；在部署时，采用深度学习框架和图像处理软件作为主要框架进行嵌入式开发板部署，并不断对摄像头输入图像进行预测得到实时结果；所述对场景结构层进行特征提取与全局地图的特征提取，具体包括以下子步骤：将场景结构和地图送入特征提取网络部分；将地图进行全局特征与描述子的提取，将网络中的场景结构特征层进行局部特征与描述子的提取；在连续的场景中，全局地图可时间间隔大一些提取一次全局特征，局部特征为每帧进行检索匹配；所述将输出的场景结构通过匹配方法与地图进行检索匹配，矫正汽车的地图定位误差，实现车道级定位，包括以下步骤：将局部特征与当前位置地图全局特征进行检索匹配；通过检索得到的地图图像与多任务神经网络的输出场景结构图矫正车辆定位偏移，得到车道级精确定位的实时场景重建图。

全文数据：

权利要求：

百度查询： 重庆邮电大学 一种实现场景结构预测、目标检测和车道级定位的方法