买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：福州大学

摘要：本发明涉及一种提高单目视觉初始化稳定性的方法。首先在每帧帧图像间利用Harris特征点检测方法以及LSD提取点特征和线特征，在每两帧图像间进行特征的跟踪，获取每两帧图像间对应的特征对。再利用特征点对解算本质矩阵，然后通过最大化线特征的投影重叠长度优化本质矩阵，之后分解本质矩阵解算位姿，获得稳定的初始化结果。本发明能有效提高单目视觉SLAM初始化的鲁棒性以及定位精度。

主权项：1.一种提高单目视觉初始化稳定性的方法，其特征在于，包括：1提取两帧图像之间的点特征和线特征，之后分别通过追踪获得对应特征点对以及匹配获得对应的线特征对；2在两帧图像之间，通过跟踪特征点对之后，得到两帧图像的特征点位置关系，通过对极几何关系计算两图像间的相对位姿；3对于每两图像帧，在获得匹配的线特征对之后，通过最大化线特征的投影重叠约束两帧之间的相对位姿，从而在图像模糊或场景中点特征较少的情况下获取较好的位姿估计结果，完成单目视觉SLAM的初始化过程；所述步骤2中计算两帧图像间的相对位姿的具体方式如下：通过光流法跟踪到图像间对应的特征点对，接着利用对极几何原理计算出本质矩阵，然后从本质矩阵中恢复出两帧图像间的旋转矩阵R和平移矩阵t；所述利用对极几何原理计算本质矩阵，并从中恢复两帧图像间的相对位姿，具体为：求取两帧图像之间的运动，设两帧间的旋转矩阵为R和平移矩阵为t，考虑两帧图像间有对应的特征点对p1和p2，由于特征点对p1和p2是通过光流法跟踪得到的，如果跟踪正确的话，说明它们确实是同一个空间点P在两个成像平面的投影；根据针孔相机模型可知p1和p2与空间点P的关系如下：s1p1＝KPs2p2＝KRP+t这里K为相机的内参矩阵，s1和s2分别为空间点P相对两帧图像的深度；将上述两式联合求解可得：p2TK-Tt^RK-1p1＝0其中本质矩阵E＝t^R，t^表示取t的反对称矩阵；通过一对对应的特征点对构建一个关于本质矩阵的线性方程；考虑本质矩阵的尺度等价性，使用8对点来估计本质矩阵，考虑一对匹配点，它们的归一化坐标为p1＝[u1,v1,1]T,p2＝[u2,v2,1]T；根据对极约束有： 把本质矩阵E展开，写成向量的形式：e＝[e1,e2,e3,e4,e5,e6,e7,e8,e9]T那么，对极约束写成与e有关的线性形式：[u2u1,u2v1,u2,v2u1,v2v1,v2,u1,v1,1]·e＝0同理，对于其他点对也有相同的表示；把所有点都放到一个方程中，变成线性方程组，其中ui,vi表示第i个特征点，以此类推： 其中ei为本质矩阵E中的元素；所述步骤3具体为：给定一对匹配的线特征对l和l'，根据对极几何原理，在两帧图像间，上一帧图像检测的线特征两端点为下一帧图像中的两条极线，具体表示如下：l’s＝Es1l’e＝Ee1其中l’s和l’e分别为下一帧图像的两条极线，s1和e1为上一帧图像中的线段的两端点；两条极线与下一帧图像中检测出的线段的两端点s2，e2分别相交，记为s’1和e’1，由下式表示：s’1＝l'×l’se’1＝l'×l’e则线段s’1e’1为上一帧图像中的线段l在下一帧图像中的投影；假设两帧图像间的对极几何关系，即本质矩阵E或者运动R,t是正确的，R为旋转矩阵和t为平移矩阵，两帧图像中对应的线特征对的端点在空间中对应于同一点，等同于线段s’1e’1与l'重叠，为了使两线段重叠，必须满足以下两个约束：1e’1和e2相对于s2要在同一侧，描述如下：e’1-s2·e2-s2＞02s’1和s2相对于e2要在同一侧，描述如下：e2-s’1·e2-s2＞0为了确保线段方向一致，必须施加另一个约束：3线段s’1e'2和s2e2方向必须相同：e2-s2·e’1-s’1＞0约束3使用线段的方向信息；消除约束3，所提出的将适用于未定向的线段；因此，线段对应的运动和结构问题能够通过非线性方法解决，从而使对应线段满足上述约束1-3；两条对应的线段定义一个重叠测量量，将其称为重叠长度；如果两线段重叠，重叠长度的值为正数，反之为负数；在满足上述的约束1-3的条件下，在第二帧图像中只有四种重叠情况，当两帧之间的运动参数R,t准确时，两帧之间的视角变化不大即符合初始化时的情形下，s’1和s2应该重叠，e’1和e2也应该重叠，也就是重叠长度应尽可能大，重叠长度L'定义如下：L'＝min||e2-s2||,||e’1-s2||,||e2-s’1||,||e’1-s’1||若两者不重叠，重叠长度为：L'下限值＝-min||e2-s’1||,||e’1-s2||L'上限值＝-max||s2-s’1||,||e2-e’1||根据图像的对称性，将第二帧中检测的线段的端点投影到第一帧中，得到L；另外由于长线段和短线段的重叠长度所占比应该一样，因此对L和L'进行归一化，分别除以l和l'，即算出优化重叠长度和检测线段长度的比值；对于用两帧之间的匹配上的线特征优化运动位姿的问题描述如下：给定n对匹配上的线特征对li和l’i，i＝1,2,3,…n，通过最小化F来优化相机的运动参数R,t；

全文数据：

权利要求：

百度查询： 福州大学 一种提高单目视觉初始化稳定性的方法