买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室)

摘要：本公开属于视觉定位和建图技术领域，具体涉及一种面向时序性稀疏重建的动态视觉SLAM方法及装置。其中所述方法包括：获取动态场景连续的双目图像序列，获取每帧左视图像的运动实例和建图参数，并组装成一帧建图数据；在相邻帧中，基于所述建图参数确定结构特征的对应关系，确定所述结构特征中的关键点，基于所述运动实例和所述关键点关联相邻帧中的运动物体，利用所述运动实例和所述关键点分别确定相机和运动物体的位姿；在子帧序列中，基于各个所述帧的光流估计结果以及结构特征提取预设数目的关键帧，基于所述关键帧生成局部地图，融合各个局部地图生成全局地图，基于预设误差因子集合对所述局部地图和所述全局地图进行联合优化。

主权项：1.一种面向时序性稀疏重建的动态视觉SLAM方法，其特征在于，包括：获取动态场景连续的双目图像序列，获取每帧左视图像的建图参数并基于运动实例分割获取所述图像的运动实例，将对应时刻的所述建图参数和所述运动实例组装成一帧建图数据，所述建图参数至少包括所述左视图像的深度图、光流估计结果、结构特征，所述结构特征包括点特征和边缘特征；在由连续多帧所述建图数据组成的帧序列中的相邻帧中，基于所述建图参数确定所述结构特征的对应关系，确定所述结构特征中的关键点，基于所述运动实例和所述关键点关联相邻帧中的运动物体，利用所述运动实例和所述关键点分别确定相机和运动物体的位姿；在所述帧序列包含预设帧数的子帧序列中，基于各个所述帧的光流估计结果以及结构特征提取预设数目的关键帧，基于所述关键帧中相机和运动物体的位姿、静态背景和各个运动物体的关键点生成对应于所述子帧序列的局部地图，融合各个所述局部地图生成对应于所述帧序列的全局地图；其中，所述获取每帧左视图像的建图参数包括：以目标时刻的双目图像作为输入，采用半全局匹配算法的CUDA应用版本进行双目深度估计，获得目标时刻左视图像的深度图；以左视相邻两帧图像作为输入，基于光流估计网络获得目标时刻左视图像的光流估计结果，其中，所述光流估计网络采用liteflownet2方法；以目标时刻左视图像作为输入，采用FAST特征提取器检测所述图像稀疏的角点特征集以输出所述图像的点特征；以目标时刻左视图像作为输入采用Canny边缘检测器检测并输出所述图像的边缘特征；所述基于运动实例分割获取所述图像的运动实例包括：获取运动物体目标时刻的第一左视图像以及相邻时刻的第二左视图像，基于图像特征提取神经网络分别提取所述第一左视图像和所述第二左视图像多级尺度的第一特征图，其中，低分辨率的第一特征图是由相邻尺度的高分辨率的第一特征图以2做步长降采样得到；基于特征金字塔模型将图像每个当前尺度的第一特征图与相邻尺度的第一特征图融合，获得所述图像当前尺度的第二特征图，所述图像所有尺度的第二特征图组成所述图像的第二特征图；基于所述图像的第二特征图生成所述第一左视图像引入时序信息后的第三特征图，对所述第一左视图像的第三特征图基于目标检测与实例分割算法进行运动实例分割，得到的运动物体实例分割结果即是所述第一左视图像的运动实例。

全文数据：

权利要求：

百度查询： 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种面向时序性稀疏重建的动态视觉SLAM方法及装置