买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：同济大学

摘要：本发明涉及一种基于单目图像的语义拓扑联合建图方法，包括：车辆同步采集相机RGB图像数据、GPS和IMU定位数据等；将采集图像输入至语义分割网络，得到图像路面类型标识的语义分割图；将各图像中被提取的路面标识像素点投影至地图全局坐标下，并将其融入地图数据管理系统；将地图数据管理系统生成的全局语义地图分解成多个ROI，通过本发明设计的网络结构在语义地图上进行车道拓扑状态的最优解搜索，最后将所有建立拓扑状态的ROI结合成完整的拓扑地图。与现有技术相比，本发明以车载视觉和定位系统为传感器配置方案，可以构建出相对精度达99％的语义地图，并且设计了支持低成本传感器的众包融合策略，能够可靠保证拓扑地图的位置精度和拓扑关系正确率。

主权项：1.一种基于单目图像的语义拓扑联合建图方法，其特征在于，包括以下步骤：S1、车辆沿路径行驶，同步采集车辆前方RGB图像数据、车辆位姿信息、车辆定位数据以及定位数据对应的时间戳信息；S2、将车辆前方RGB图像数据输入语义分割网络，输出得到包含图像路面类别标识的语义分割图；S3、构建全局语义地图：将语义分割图中各路面类别标识像素点投影至车体坐标系；再将车体坐标系中各路面类别标识像素点投影至地图全局坐标系，并将地图全局坐标系中各路面类别标识像素点融入地图数据管理系统；直至每张RGB图像数据对应语义分割图中各路面类别标识像素点均已融入地图数据管理系统；由地图数据管理系统生成全局语义地图；S4、构建拓扑地图：将全局语义地图分解成多个ROI，并对全局语义地图进行车道拓扑状态的最优解搜索，最后将所有建立拓扑状态的ROI结合构成完整的拓扑地图；步骤S3具体包括以下步骤：S31、图像坐标系到车体坐标系的投影：根据单目相机内参以及相机坐标系相对于车体坐标系的外参，将语义分割图中各路面类别标识像素点投影至车体坐标系；S32、车体坐标系到地图全局坐标系的投影：结合车辆位姿和定位数据，通过记录的时间戳，将RGB图像和定位信息进行同步，进行位姿的四元数插值计算，得到每一张RGB图像所对应的同一时刻的车辆位姿，根据每张RGB图像所对应的位姿，将车体坐标系下的语义特征点投影至地图全局坐标系下；S33、建立地图数据管理单元Nest和Bin，以构成地图数据管理系统，所述Nest是以10m*10m*10m为大小的物理世界中的立方体，所述Bin是以5cm*5cm*5cm为大小的物理世界中立方体，具体的：Nest＝{IDx，IDy，IDz，{Bins}}Bin＝{IDx，IDy，IDz，labelB，votebox}其中，ID为其立方体中心点在世界坐标系中的坐标除以相应的分辨率，Bin中类别标签labelB表示这个单元属于哪一种语义类别，投票箱votebox记录了这个Bin被分类为每一种类别的频数，将投票箱内的各个类别被观测到的频次用直方图的形式表示，频次记录最高的类别即作为这个Bin的类别标签；结合数据管理融合算法和动态投票箱内融合算法，将地图全局坐标系中的坐标点融入地图数据管理系统；步骤S33中数据管理融合算法的具体过程为：输入：RGB图像经过语义分割和坐标变换后，投影到地图全局坐标系中，得到点集{RealPointi}，每个RealPoint∈{RealPointi}都可以根据其坐标以及Nest和Bin的分辨率，以分别计算各RealPoint所属的Nest以及Bin，其中，RealPoint＝{x，y，z，label}，RealPoint为地图全局坐标系中的一个路面语义特征点，x，y，z为路面语义特征点在地图全局坐标系中的坐标数据，label为路面语义特征点对应的语义类别标签；如果所归属的Nest当前不存在，则新建一个Nest以及相应的Bin；否则将当前RealPoint投放到所属的Nest中进行融合，如果当前RealPoint所属的Bin不存在，则新建相应的Bin，并初始化Bin的labelB为RealPoint的label，votebox中对应label的频次为1，其它为0；否则将当前RealPoint投放进所属的Bin中进行融合投票，更新数据；输出：处理完点集{RealPoint_i}后保存地图数据；步骤S33中动态投票箱内融合算法的具体过程为：前提：当前Bin已存在，类别标签labelb＝i，投票箱votebox＝{Cj}，j为类别编号，类别总数为num_class，即0≤j＜num_class，且当前类别的被观测频次ci＝max{Cj}；输入：一个新的RealPoint语义分割类别为t，坐标属于当前Bin，需要融合：在当前Bin的投票箱中更新类别t被观测到频次ct＝ct+1；如果ct＞250，则对投票箱内的所有频次数据进行同程度的削减：cj＝max0，cj-50保证频次不会出现负数，0≤j＜num_class；如果在当前Bin的投票箱中，类别t被观测频次大于当前Bin的标签类i被观测到的频次ct＞Ci，则更新当前Bin的类别标签为t；否则无需更新类别，仅需更新投票箱数据，融合结束；输出：融合更新后的Bin；步骤S4中对全局语义地图进行车道拓扑状态的最优解搜索具体包括以下步骤：S41、将拓扑图层的构建建模为一个提取有向无环图的最大似然问题，其中，有向无环图中的节点编码了车道线的位置和方向属性，连接节点的边则表示拓扑连接关系；S42、构建贪心算法提取拓扑关系；S43、考虑到车道线具有狭长、连续性强的特性，采用卷积神经网络进行全局多尺度特征的提取、采用循环神经网络进行拓扑节点的提取生成，以构建得到拓扑图层；步骤S41中构建的最大似然问题具体为：输入的语义图层定义为期望的网络输出是将车道线结构化表示的有向无环图G，其中G＝V，E，V表示图中节点的集合，E表示图中边的集合，每个节点vi＝xi，θi，si编码了节点所处局部的几何和拓扑属性，xi表示了该节点所处的位置，θi表示了节点所指方向，si表示了节点的拓扑状态，并定义四种拓扑状态：1正常状态：该节点只有一个父节点和一个子节点；2分叉状态：该节点有一个父节点和两个子节点，车道线在这个节点处分叉出两根独立的车道线；3合并状态：该节点有两个父节点和一个子节点，两根车道线在这个节点处合并为一根车道线；4结束状态：该节点为当前车道线的终点，对应了路口遇到停止线的状态；此外，定义vCi为节点vi的子节点，vPi为节点vi的父节点，当vi节点为分叉点的时候，子节点vCi的数量有2个，当vi节点为合并点的时候，父节点vPi的数量有2个，当vi节点为结束点的时候，子节点vCi的数量有0个；给定输入语义地图后，目标是在所有可能的有向无环图G的解空间中找到概率最大的一个，也就构建成了最大似然问题： 由于G是由若干节点和边组成的有向无环图，因此可以联合概率分布的方式表示如下： 其中，每一项条件概率又可以被拆解成节点的三个组成元素，即位置、方向、拓扑状态的条件概率连乘： 上述最大似然问题被建模成深度神经网络的形式进行最优解的搜索。

全文数据：

权利要求：

百度查询： 同济大学 一种基于单目图像的语义拓扑联合建图方法