买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：安徽元古纪智能科技有限公司

摘要：一种基于单目相机视觉标靶定位的机械臂引导方法，属于计算机视觉与机器人领域，解决如何满足复杂环境光线下机械臂对视觉引导作业的灵活性、可靠性以及精度的要求的问题；灵活使用不同尺寸、不同编码、不同结构的标签码定制视觉标靶，定制完成后对标靶进行标定，在提高视觉标靶灵活性的同时保证精度；使用多级曝光图像进行视觉标靶检测与位姿求解，通过多级曝光采集图像，并提供一种视觉标靶的检测与位姿解算方法，在保证检测与定位精度的同时，提高视觉标靶的环境鲁棒性以及精度；定位完成后对视觉定位结果进行评估，有利于不同场景下的可靠性需求；具备成本低廉、算法计算复杂度低、精度高、鲁棒性强的特点，可灵活部署至各种机械臂作业场景。

主权项：1.一种基于单目相机视觉标靶定位的机械臂引导方法，其特征在于，包括以下步骤：1系统部署与标定，包括：S1、部署机械臂手眼系统，选取不同尺寸、不同编码、不同结构的标签码制作视觉标靶，设定系统参数；机械臂手眼系统的硬件结构包括：机械臂、单目相机、视觉标靶、标定板，安装单目相机于机械臂中，使得单目相机与机械臂本体某一部分保持相对不变关系；将视觉标靶与标定板固定于同一平面内，根据机械臂手眼系统的布置方法安装标定板；保持标定板与机械臂本体某一部分保持相对不变关系；视觉标靶用于机械臂的视觉引导，视觉标靶由多个处于同一平面且ID或编码互不相同的标签码组成；设定系统参数包括：设定区域面积阈值Sdis，一阶微分矩阵阈值Jlim，误差范围阈值Elim，误差差异系数阈值Eratio，标靶偏移Toffset；S2、建立整套系统坐标系，具体方法如下：设相机坐标系为{cam}，机械臂末端法兰盘坐标系为{end}，机械臂基座坐标系为{base}，视觉标靶坐标系为{obj}，标靶偏移坐标系为{offset}，标定板坐标系为{board}；选定机械臂基座制定{base}坐标系，机械臂第一关节轴的轴心向上方向为z轴，第一关节前向x轴，根据笛卡尔坐标系的性质即可确定y轴；对于视觉标靶坐标系为{obj}的规则参照视觉标靶制作；标靶偏移坐标系{offset}根据系统参数标靶偏移Toffset而定；对于标定板坐标系{board}，选取标定板左上角为坐标原点，横向方向为x轴，纵向方向为y轴；相机坐标系{cam}的建立选用计算机视觉内常见的针孔相机模型建立；S3、标定相机参数，标定标靶角点坐标，具体方法如下：使用机械臂示教器操作机械臂，选取多个位置角度对标定板与视觉标靶进行拍照保存，每次拍照时通过机械臂示教器读取法兰盘坐标系在机械臂基座坐标系下的位姿关系并记录；以拍摄有标定板的图像数据为基础；使用张正友相机参数标定法求解相机内参以及每个拍照位姿下相机坐标系与棋盘格标定板坐标系之间的关系，相关表达式为： 其中，Kcam表示相机内参，zc表示像素深度，表示标定板坐标系{board}在相机坐标系{cam}下的关系；通过标定得到集合以及相机内参Kcam；[u,v]T表示图像坐标系下的像素坐标，[X,Y,0]T表示标定板平面各点在标定板坐标系下的坐标；求解视觉标靶中各标签码角点在标定板坐标系下的坐标：标签码角点[u,v]T在像素坐标系下的坐标与该角点对应在标定板坐标系下的坐标有以下等式所表示的约束关系为： Kcam与相乘得到3乘以3大小的矩阵，m00，m11…m22分别表示矩阵M的元素，m00表示矩阵M中第一行第一列的元素，[u,v]T表示图像坐标系下的像素坐标；根据上式计算标靶中各标签码角点在标定板坐标系下的坐标；将相机标定得到的以及Kcam与每幅图像中标签码角点的像素坐标[u,v]T相结合，使用拍照时得到的所有图像的数据，构造关于标靶中标签码各角点在标定板坐标系下坐标{Pboard}的方程： 求解上式方程得到标靶中标签码各角点在标定板坐标系下坐标{Pboard}，选取标靶中一个标签码的几何中心建立目标定位标靶整体的参考坐标系{obj}，测量该标签码定位点之间的边长s，根据边长s计算该标签码四个角点在坐标系{obj}下的坐标Ptag＝{p0tag,p1tag,p2tag,p3tag}；其中，p0tag,p1tag,p2tag,p3tag表示标签码4个角点在坐标系{obj}下的坐标；Ptag表示p0tag,p1tag,p2tag,p3tag每个标签码4个角点坐标所组成的集合；联合已知的标签码角点在坐标系{obj}下的坐标Ptag与角点在标定板坐标系下的坐标Pboard求解变换关系如下： 根据变换关系计算得到标靶中各标签码四个定位角点在标靶坐标系{obj}下的坐标：{Pobj}＝{P0tag0,P1tag0,P2tag0,P3tag0,P0tag1,P1tag1,P2tag1,P3tag1,…}；其中，表示大小为3乘以3的矩阵，将该矩阵展开表示为其中cosθ与sinθ表示三角函数，与表示坐标系{board}与坐标系{obj}之间的平移关系；表示对矩阵求逆；标定手眼关系：以集合与集合中的数据为基础，使用Tsai-Lenz算法计算相机坐标系与机械臂坐标系之间的关系；2使用多级曝光图像进行视觉标靶检测与位姿解算，包括：S4、多级曝光采集多幅图像，具体方法如下：设定相机曝光时间参数，设定最大曝光时间为Eposmax，最小曝光时间为Eposmin，曝光级数为n；计算每个曝光等级下的曝光时间{Epos}n： 其中，{Epos}n表示一个集合，该集合中每个元素通过上式等号右边求解得到，表示集合中第一个元素，以此类推；控制单目相机在同一位置以不同曝光时间{Eposn}对视觉标靶进行拍照，获取不同曝光等级下的n幅图像的集合{Img}n＝{Img1,Img2,…,Imgn}；S5、检测标签码，筛选出标签码数量最多区域最大的多幅图像，具体方法如下：分别对图像集合{Img}n中的每幅图像进行标签码检测，得到标签码检测结果的集合其中，每个元素包含检测到的每个标签码的ID以及四个定位点在图像中的像素点统计每幅图像中所检测到的标签码的个数；计算单幅图像中检测到标签码数量最多的i幅图像中包含的标签码信息集合{Tags}i，即：{Tags}i＝Max{Tags}n计算{Tags}i中每幅图像中标签码区域的面积；以{Tags}i中所有被检测到的标签码角点为基础，分别对每幅图像中的标签码信息进行德洛内三角剖分Delaunaytriangulation；对于{Tags}i，每幅图像得到所对应的德洛内三角形集合{triangle}n；使用海伦公式分别计算{Tags}i中每幅图像所包含的三角形集合{triangle}n的总面积 其中，la,lb,lc表示三角形三个边的边长； 表示求解三角形集合{triangle}n的总面积；计算标签码信息集合{Tags}i中德洛内三角区域面积与最大德洛内三角区域面积之间的比例大于Sdis的j幅图像中标签码信息的集合{Tags}j，即：{Tags}j＝{Tagsk}k＝i1,i2,…ijs.t.S{triangle}n|TagsimaxSiSdis其中，标签码信息集合{Tags}j中包含筛选过后的j幅图像中每幅图像中所检测到的标签码的ID以及每个标签码对应的四个定位角点像素坐标；S6、求解潜在标靶位姿，具体方法如下：结合标签码信息集合{Tags}j以及视觉标靶坐标系{obj}下各标签码定位角点对应的坐标Pobj求解相机坐标系{cam}与视觉标靶坐标系{obj}之间的关系；联合{Tags}j中每幅图像所检测到的图像标签码角点信息以及视觉标靶坐标系{obj}下对应标签码的坐标Pobj，结合相机参数矩阵Kcam对标签角点进行标准化后，使用直接线性变换法求解得到计算视觉标靶平面每幅图像下与相机坐标系平面之间的单应性矩阵H： 结合单应性矩阵H计算归一化中心处的一阶微分矩阵J； 上式中单应性矩阵H为3乘以3大小的矩阵，表示该矩阵中各元素；矩阵J是大小为2乘以2的矩阵，该矩阵中各元素由上式计算得到；联合H以及J中的数据，使用IPPE算法求解得到j幅图像下的相机坐标系{cam}与标靶坐标系{obj}之间的齐次变换关系： 其中，表示多幅图像中，每幅图像计算得到的与,两个变换关系；对于j幅图像，则有集合IPPEH,J表示使用IPPE算法基于单应性矩阵H以及一阶微分矩阵J进行计算；IPPE算法为计算机视觉中的一个算法；S7、计算重投影误差，计算一阶微分矩阵行列式的值，具体方法如下：分别计算{Tags}j中每幅图像基于姿态Ta以及姿态Tb下标签码定位角点的重投影误差{Ereproja,Ereprojb}j；Ereproj＝EreprojectionT,Pobj,PImg其中，EreprojectionT,Pobj,PImg表示通过每幅图像计算得到的变换关系T以及图像中点的像素坐标PImg和对应目标靶坐标系下点的坐标Pobj计算重投影误差，Ereproj表示计算得到的重投影误差，重投影误差为计算机视觉中常见的误差计算方法；计算中重投影误差最小的一幅图像中的位姿变换关系，即： 根据一阶微分矩阵J计算所对应的一阶微分矩阵行列式的值detJfin；Min表示对括号内的元素求最小；3定位结果评估与坐标变换，包括：S8、计算视觉标靶位姿，具体方法如下：判断变换关系与是否等价，若等价则得到姿态关系且 若不等价则分别计算与所对应的重投影误差与以及Ereproj|fin； 如上式所示，取与之间重投影误差较小的姿态为姿态关系S9、评估标靶位姿解算结果是否可靠，如果是，坐标变换后发送至机械臂控制器；如果否，丢弃本次位姿解算结果，具体方法如下：计算与之间的差异系数： 判断detJfin与Jlim之间的关系，若detJfin小于Jlim则认为不可靠，根据具体使用情况放弃本次求解得到的判断Ereproj|fin与Elim之间的关系，若Ereproj|fin大于Elim则认为不可靠，根据具体使用情况放弃本次求解得到的判断Eres与误差差异系数阈值Eratio之间的关系，若Eres小于Eratio则认为不可靠，根据具体使用情况放弃本次求解得到的通过机械臂控制器获取机械臂法兰盘在机械臂基座坐标系下的位姿关系计算目标位姿与机械臂基座坐标系之间的关系最终将得到的信息发送至机械臂控制器，机械臂控制器运动规划后执行视觉引导动作。

全文数据：

权利要求：

百度查询： 安徽元古纪智能科技有限公司 一种基于单目相机视觉标靶定位的机械臂引导方法