买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：哈尔滨工程大学

摘要：本发明属于机器人导航技术领域，具体涉及一种基于双目视觉的物体表达方法。本发明通过机器人搭载的双目相机获取关于场景的当前帧图像；从当前帧左右图像中检测场景里的物体；对得到的左右图像中的物体进行匹配，完成相同物体的配对；利用卡尔曼滤波与匈牙利匹配对双目帧间的物体进行跟踪，一旦检测到相同物体，利用两帧中的四张图像完成对物体的语义信息提取，包括物体的大小，位置和姿态。本发明提出了一种可靠性好、适用性广的物体表达方法，保证场景中任意形状的物体都能提取出有价值的语义信息，从而促进视觉同步定位与建图的精度和语义性。

主权项：1.一种基于双目视觉的物体表达方法，其特征在于，包括以下步骤：步骤1：利用机器人搭载的双目相机，采集场景中的当前帧图像对；步骤2：物体单帧识别与匹配：对左右图像分别进行物体识别，将得到的物体矩形框利用像素重叠度判别是否为同一物体，完成匹配并进入步骤3；步骤3：物体帧间跟踪：通过步骤2得到物体集合后，对每个物体判断是否在历史帧中出现，对已出现的物体进行归类，对未出现的物体进行跟踪初始化，对跟踪失败的物体进行剔除，进入步骤4；步骤4：物体语义信息提取：将步骤3已跟踪超过两帧的物体进行语义信息的提取，进入步骤5；步骤4.1：物体条件判别：从当前关键帧的跟踪物体Xi中筛选出跟踪次数大于2且没有提取语义信息的物体，组成集合Oi＝{o1,o2,...,ol}，进入步骤4.2；步骤4.2：物体语义信息恢复：对集合Oi中的任一物体oi，从历史跟踪过程中得到双目两帧上的检测矩形框，即4个矩形框，根据矩形顶点坐标转换成16条直线集合每条直线用三个参数表示，即l＝a,b,c,1；空间平面与相机平面相交是一条直线：π＝PTL其中，π＝π1,π2,π3,π4表示空间中的某一平面，由四个参数表示；P＝K[R|t]表示相机投影矩阵，由相机内参K，相机旋转矩阵R和位移向量t组成；已知空间中椭球可以由一个4×4的对称阵Q表示，则面坐标形式的空间椭球方程为：πTQ*π＝0其中，Q*是Q的伴随矩阵，也是一个对称阵，共有十个自由度，即： 则面坐标形式的空间椭球方程改写为： 将上式简写成aq＝0，这样16个与物体最小包络椭球相切的平面集合可组成方程组：aiq＝0,i＝1,2,...,16利用奇异值分解可以求得一个最小二乘解：Aq＝UDVT其中，A是由ai组成的16×10的系数矩阵；U，D和V分别是奇异值奇异值分解得到的矩阵；取V的最后一列，即最小二乘解q，这样就得到最小包络椭球的伴随阵Q*；将矩阵Q*对应的伴随阵Q进一步分解： 其中，s1，s2和s3为椭球的三个半轴长，即大小；Q是点坐标形式的二次曲面矩阵，即Q33为矩阵Q左上角3×3的矩阵；λ1，λ2和λ3为Q33的特征值；椭球的旋转角θ＝θ1,θ2,θ3则是Q33的特征向量；椭球的位移对应矩阵的最后一列的归一化坐标：t＝q4,q7,q9q10＝t1,t2,t3；步骤4.3：从双目相机的两帧中，恢复出物体的语义表达步骤5：输出场景物体的语义信息，结束。

全文数据：

权利要求：

百度查询： 哈尔滨工程大学 一种基于双目视觉的物体表达方法