买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：齐鲁工业大学

摘要：本发明公开了一种基于多传感器机械臂避障方法和机械臂，其中，所述方法包括：基于一个或多个激光传感器和视觉传感器获取目标物周围环境信息；判断机械臂末端与目标物之间是否有障碍物；若有障碍物，基于图像信息对障碍物位置进行初步定位；通过一个或多个激光传感器采集所述机械臂末端与障碍物的实际距离信息；根据初步定位结果和激光传感器采集的实际距离信息，构建栅格地图；基于栅格地图，采用人工势场和快速扩展随机树相结合的方法进行路径规划，控制机械臂向目标物靠近。本发明结合视觉传感器和激光传感器对环境中的障碍物进行检测，避障精度更高。

主权项：1.一种基于多传感器机械臂避障方法，其特征在于，所述方法包括：基于一个或多个激光传感器和视觉传感器获取目标物周围环境信息；判断机械臂末端与目标物之间是否有障碍物；若有障碍物，基于图像信息对障碍物位置进行初步定位；通过一个或多个激光传感器采集所述机械臂末端与障碍物的实际距离信息；根据初步定位结果和激光传感器采集的实际距离信息，构建栅格地图；基于栅格地图，采用人工势场和快速扩展随机树相结合的方法进行路径规划，控制机械臂向目标物靠近；所述基于图像信息对障碍物位置进行初步定位包括：根据所述图像信息对障碍物轮廓进行识别；通过深度恢复的方法获取图像中障碍物的距离信息；所述构建栅格地图包括：基于一个或多个激光传感器获取的与障碍物的实际距离信息，对基于深度恢复获取的距离信息进行修正，得到修正后的距离信息；根据修正后的距离信息构建栅格地图，并且在栅格地图中标注目标物位置；所述一个或多个激光传感器和视觉传感器对准方向始终一致；基于图像信息对障碍物位置进行初步定位后，控制视觉传感器旋转，激光传感器跟随视觉传感器传动，使得障碍物位于视野中心，再通过一个或多个激光传感器采集与障碍物的实际距离信息。

全文数据：一种基于多传感器的机械臂避障方法和机械臂技术领域本发明属于机械臂运动规划技术领域，尤其涉及一种基于多传感器的机械臂避障方法和机械臂。背景技术机械臂是在机器人领域中应用最广泛的一种自动化装置,传统的生产过程中都是有人工来完成工件的抓取、搬运、安装，生产效率低，工作危险性大，劳动力费用高，工作强度高，作业人员更换率较高。为了解决以上问题，现有技术中采用机械臂来完成以上操作。机械臂的运动规划是指在有障碍的环境下，机械臂按照给定的某一种方法找到从初始状态到末状态的无碰撞的运动轨迹。因此，机械臂在运动过程中可能会出现碰到障碍物的情况。目前，对于机械臂运动避障的方法主要依赖于视觉传感器，通过摄像头采集图像，并对图像分析以对障碍物进行识别,并根据识别结果对机械臂的运动路径进行规划。但是，发明人发现，由于摄像头视角的限制，在进行障碍物识别的时候可能出现视觉盲区或者机械臂在运动过程中对障碍物有遮挡的情况，这时候就无法识别到障碍物，导致机械臂碰撞障碍物的风险大大增加。发明内容为克服上述现有技术的不足，本发明提供了一种基于多传感器的机械臂无碰撞抓取载玻片的方法，结合视觉传感器和激光传感器对环境中的障碍物进行检测，使用栅格地图进行融合完成机械臂的运动规划，针对人工势场法的不足，结合RRT算法进行改进。为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：一种基于多传感器机械臂避障方法，所述方法包括：基于一个或多个激光传感器和视觉传感器获取目标物周围环境信息；判断机械臂末端与目标物之间是否有障碍物；若有障碍物，基于图像信息对障碍物位置进行初步定位；通过一个或多个激光传感器采集所述机械臂末端与障碍物的实际距离信息；根据初步定位结果和激光传感器采集的实际距离信息，构建栅格地图；基于栅格地图，采用人工势场和快速扩展随机树相结合的方法进行路径规划，控制机械臂向目标物靠近。进一步地，基于图像信息对障碍物位置进行初步定位包括：根据所述图像信息对障碍物轮廓进行识别；通过深度恢复的方法获取图像中障碍物的距离信息。进一步地，构建栅格地图包括：基于一个或多个激光传感器获取的与障碍物的实际距离信息，对基于深度恢复获取的距离信息进行修正，得到修正后的距离信息；根据修正后的距离信息构建栅格地图，并且在栅格地图中标注目标物位置。进一步地，所述一个或多个激光传感器和视觉传感器对准方向始终一致；基于图像信息对障碍物位置进行初步定位后，控制视觉传感器旋转，使得障碍物位于视野中心，再通过一个或多个激光传感器采集与障碍物的实际距离信息。进一步地，所述人工势场和快速扩展随机树相结合的方法包括：基于栅格地图，采用人工势场法进行路径规划；规划过程中，若陷入局部极小值点，则采用快速扩展随机树法跳出局部极小值点。进一步地，判定是否陷入局部极小值点的方法为：根据所述路径靠近载玻片过程中，实时记录机械臂末端在栅格地图中的所在位置，并投影到xoy平面上；对机械臂末端投影到xoy平面上每个栅格的次数进行计数，若一定时间内某个栅格内的投影次数大于一定阈值，则认为陷入局部极小值点。进一步地，所述快速扩展随机树法包括：以局部极小点为初始根节点,随机生成搜索树；在工作空间内随机采样生成虚拟目标点；搜索树以局部极小点到虚拟目标点的指向方向进行生长,若在生长过程中遇到障碍物，则停止生长，重新选择随机采样点向虚拟目标点生长，当生长到虚拟目标点时，此时跳出了局部极小点，选取局部极小点到虚拟目标点之间的最优路径。根据本发明的第二目的，本发明的一个或多个实施例提供了一种机械臂，其末端设有一个激光传感器或多个对准方向一致的激光传感器和视觉传感器，均与控制器连接，所述控制器连接中央处理器，所述中央处理器被配置为：基于一个或多个激光传感器和视觉传感器获取目标物周围环境信息；判断机械臂末端与目标物之间是否有障碍物；若有障碍物，基于图像信息对障碍物位置进行初步定位；通过一个或多个激光传感器采集所述机械臂末端与障碍物的实际距离信息；根据初步定位结果和激光传感器采集的实际距离信息，构建栅格地图；基于栅格地图，采用人工势场和快速扩展随机树相结合的方法进行路径规划，向控制器发送控制指令，引导机械臂向目标物靠近。进一步地，基于图像信息对障碍物位置进行初步定位包括：根据所述图像信息对障碍物轮廓进行识别；通过深度恢复的方法获取图像中障碍物的距离信息。进一步地，构建栅格地图包括：基于一个或多个激光传感器获取的与障碍物的实际距离信息，对基于深度恢复获取的距离信息进行修正，得到修正后的距离信息；根据修正后的距离信息构建栅格地图，并且在栅格地图中标注目标物位置。进一步地，基于图像信息对障碍物位置进行初步定位后，判断使得障碍物位于视野中心时所需运动参数，发送至控制器，控制视觉传感器旋转，再通过一个或多个激光传感器采集与障碍物的实际距离信息。以上一个或多个技术方案存在以下有益效果：本发明提出了一种基于多传感器的机械臂避障方法，通过设置多个激光传感器以及视觉传感器，相对于传统的仅根据图像数据进行避障的方法，障碍物分析准确性更高，避障的精确度更高。本发明通过将一个或多个激光传感器和视觉传感器临近设置且朝向一致，在基于图像数据获得障碍物大致位置后，调整多个激光传感器和视觉传感器的朝向，使得障碍物位于视觉传感器视野中心，保证了后续通过激光传感器能够准确采集到与障碍物的距离，而非其他；并且，多个激光传感器能够提供多个实际采样点，有助于提高障碍物与机械臂末端距离计算的精度，得到更接近实际的栅格地图。本发明采用人工势场和快速扩展随机树相结合的方法进行路径规划，能够有效的避免局部极小值问题。附图说明构成本发明的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。图1为本发明一个或多个实施例中机械臂的工作流程图；图2为本发明一个或多个实施例中改进人工势场法的RRT算法的流程图。图3为本发明一个或多个实施例中机械臂的外观示意图；图4为本发明一个或多个实施例中机械臂夹持机构的外观示意图。具体实施方式应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和或“包括”时，其指明存在特征、步骤、操作、器件、组件和或它们的组合。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。实施例一本实施例公开了一种基于多传感器的用于抓取载玻片的机械臂，所述机械臂的末端安装了一个或多个激光传感器和一个视觉传感器，所述一个或多个激光传感器和视觉传感器均将采集的信号发送至中央处理器，所述中央处理器基于上述信号对机械臂路径进行分析，生成控制信号发送至控制器，从而控制机械臂按照规划路径运动。若激光传感器仅有一个，则设于视觉传感器的正上方或正下方，且尽可能靠近该视觉传感器；若激光传感器有多个，则多个激光传感器紧密相邻设置，且位于视觉传感器的正上方或正下方，尽可能靠近该视觉传感器，保证了激光传感器所测得的与前方障碍物距离，近似等于视觉传感器所获取的图像中与前方障碍物的距离，所见即所得。所述中央处理器被配置为：每一次进行载玻片的抓取过程，如图1所示，均包括以下步骤：步骤1：接收机械臂移动控制指令，将机械臂移动至载玻片附近区域。所述指令可以是人工输入的，目的在于执行载玻片抓取之前将机械臂移动到载玻片附近区域。步骤2：接收一个或多个激光传感器和视觉传感器发送的信号，判断机械臂末端与载玻片之间是否有障碍物。具体包括：步骤2.1：基于视觉传感器获取的图像信号，初步检测载玻片位置；步骤2.2：以所述载玻片位置为目标，接收一个或多个激光传感器采集的信号，判断机械臂末端与载玻片之间是否有障碍物，若无障碍物，直接执行载玻片抓取；若有障碍物，转至步骤3；通过视觉传感器和激光传感器对目标物体进行识别与定位，判断载玻片前方是否有障碍物遮挡，其中激光传感器的激光标线出现中断时，则判定前方有障碍物。步骤3：获取障碍物的形态信息和距离信息，构建栅格地图。具体包括：步骤3.1：基于视觉传感器获取的图像信息，识别障碍物位置；步骤3.2：控制视觉传感器旋转，使得障碍物位于视野中心，再次获取图像数据，基于该图像数据识别障碍物的形态信息和距离信息；一个或多个实施例中，所述视觉传感器为双目摄像头，能够同时获取两个视角的图像数据，基于两个视角的图像数据构建深度图，从而获取障碍物形状和距离信息；此时基于图像数据获取的距离信息是在图像坐标系下估计的距离信息，下一步通过激光传感器测得的实际距离进行修正。步骤3.3：通过一个或多个激光传感器测量机械臂末端与障碍物的距离信息，修正距离信息；由于激光传感器设于视觉传感器的正上方或正下方，二者对准的目标非常接近，可以近似看做对准相同目标，当视觉传感器捕捉到障碍物时，调整视野使障碍物位于视野中心，由于激光传感器跟随视觉传感器传动，此时发射激光，激光能准确的发射到障碍物上，从而获取障碍物距离机械手末端的实际距离，将多个传感器获取的到障碍物的距离信息作为样点，对基于图像数据获取的距离信息进行修正。步骤3.4：根据障碍物形状和距离信息构建栅格地图，并标记起始点和目标点。所述栅格地图采用二值法描述周围环境，每个栅格只有空闲和占据两种状态，有障碍物时，对应的栅格置1，由于激光本身特性，所建立的栅格是扇形的，不利于整个工作环境进行栅格化，因此近似优化，将每个栅格转化为矩形，最终障碍物在栅格中表示出来。步骤4：基于栅格地图建立人工势场，采用人工势场法进行路径规划，靠近载玻片。具体包括：步骤4.1：基于栅格地图建立人工势场进行路径规划；步骤4.2：根据所述路径靠近载玻片，其中，当陷入局部极小值点时，采用快速扩展随机树算法构造虚拟目标点，并获取当前位置到虚拟目标点的路径，跳出局部极小值点。根据人工势场法规划机械臂末端的避障轨迹，障碍物对机械臂施加排斥力，而目标物体载玻片对机械臂施加吸引力，机械臂末端沿着引力与斥力相互作用产生的合力的方向运动，向目标物体靠近；由于人工势场法易陷入局部极小值点，所以得判定在运动的过程中是否陷入了局部极小值点，机械臂在工作空间内停止运动或者在某一个地方循环运动，则判定陷入局部极小值点，如果没有陷入局部极小值点，则按当前路径运动并抓取载玻片，如果陷入局部极小值点，用RRT算法构造虚拟目标点，采用RRT算法规划局部极小值点到虚拟目标点的路径，到达虚拟目标点后，机械臂跳出了局部极小值，再使用人工势场法规划到真正目标物载玻片的路径，最后执行抓取载玻片的动作。本实施例中，判定是否陷入局部极小值点的方法为：检测在一段时间里机械手所经过的路径在栅格地图上的二维投影，检测机械臂末端所经过的每个栅格的次数，来判定人工势场法在进行路径规划时陷入了局部极小值点，具体地：根据所述路径靠近载玻片过程中，实时记录机械臂末端在栅格地图中的所在位置，并投影到xoy平面上；对机械臂末端投影到xoy平面上每个栅格的次数进行计数，若一定时间内某个栅格内的投影次数大于一定阈值，则认为机械手在工作空间内停止运动或者在某一个地方循环运动，判定人工势场法在进行路径规划时陷入了局部极小值点。如图2所示，采用RRT算法改进人工势场法陷入局部极小值的不足，机械臂当前位置为局部极小点,以局部极小点为初始根节点，作为根节点,随机生成搜索树,在工作空间内随机采样生成虚拟目标点。搜索树以局部极小点到虚拟目标点的指向方向进行生长，若在生长过程中遇到障碍物,则停止生长,重新选择随机采样点向虚拟目标点生长,当生长到虚拟目标点时,此时跳出了局部极小点，选取局部极小点到虚拟目标点之间的最优路径。实施例二本实施例的目的是提供一种基于多传感器的用于抓取载玻片的机械臂避障方法，采用如实施例一所述的机械臂。本实施例采用三段式机械臂，如图3所示，包括底座1，底座1上设有支撑轴2，与底座1转动连接，支撑轴2的上部与第一手臂3的一端固定连接，第一手臂3的另一端与第一连接部4转动连接，第一连接部4与第二手臂5的一端固定连接，具体地，所述第二手臂5为伸缩式液压缸，缸体一端与第一连接部4固定连接，活塞杆一端通过第二连接部6与第三手臂7连接，第三手臂7的另一端的端面上设有一个或多个激光传感器11和视觉传感器12，并且，视觉传感器设于激光传感器的下方，所述第三手臂7下方竖直方向上连接伸缩式液压缸8，缸体一端与第三手臂7的下端面连接，活塞杆一端通过第三连接部9与夹持机构10连接，所述夹持机构10用于夹持载玻片。进一步地，采用电机驱动的方式实现转动连接，具体地，底座1内部设有腔体，腔体内设置第一驱动电机，电机轴伸出底座1的上表面，伸入支撑轴2内，使得第一驱动电机工作时，电机轴带动支撑轴2旋转。同样的，第一手臂3与第一连接部连接的一端内部设有腔体，腔体内设置第二驱动电机，电机轴伸出第一手臂3的上表面深入到第一连接部4内，第二驱动电机工作时，电机轴带动第一连接部转动。具体地，如图4所示，所述夹持机构包括伸缩式液压缸14、连接件15和两个相对设置的夹持板16；所述伸缩式液压缸14的缸体一端与第三连接部9的下端面固定连接；第三连接部9相对的两个侧面均与一个夹持板16活动连接，每个所述夹持板16均包括呈一定夹角的夹持板上部和夹持板下部，两个相对设置的夹持板呈内扣状。伸缩式液压缸14的活塞杆一端与两个连接杆15活动连接，两个连接杆15的另一端分别与两个夹持板16的上部活动连接。液压缸的活塞杆伸缩时，通过两个连接杆带动两个夹持板活动，具体地，当活塞杆伸出时，带动两个夹持板下部相对运动，用以夹起载玻片，当活塞杆收缩时，带动两个夹持板下部反向运动，松开载玻片。进一步地，所述两个夹持板下部相对的一侧设有凹槽，所述凹槽的大小与载玻片的厚度相适应，并且，凹槽上设有柔性垫片，使得两个夹持板在夹起载玻片时不至于夹紧力过大而损伤载玻片。本领域技术人员可以理解，所述柔性垫片可以采用橡胶、海绵等材质。本领域技术人员可以理解，激光传感器11和视觉传感器12的位置可以互换，视觉传感器12也可以位于激光传感器11的下方。本领域技术人员可以理解，其中液压缸的缸体一侧或者活塞缸一侧与其他结构的连接，可以采用任意现有方式进行固定连接，例如螺纹连接等。所述机械臂还连接计算装置13，所述计算装置与第一电机、第二电机、上述三个伸缩式液压缸，以及激光传感器11和视觉传感器12连接。以控制支撑轴相对于底座、第二手臂相对于第一手臂的旋转，液压缸的伸缩，以及接收激光传感器和视觉传感器的数据信号。所述计算装置中包括存储器、中央处理器及存储在存储器上并可在处理器上运行的计算机程序，所述中央处理器执行所述程序时实现实施例一中的避障方法。以上一个或多个实施例具有以下技术效果：提出了一种基于多传感器的机械臂避障方法，通过设置一个或多个激光传感器以及视觉传感器，相对于传统的仅根据图像数据进行避障的方法，障碍物分析准确性更高，避障的精确度更高。通过将一个或多个激光传感器和视觉传感器临近设置且朝向一致，在基于图像数据获得障碍物大致位置后，调整一个或多个激光传感器和视觉传感器的朝向，使得障碍物位于视觉传感器视野中心，保证了后续通过激光传感器能够准确采集到与障碍物的距离，而非其他；并且，一个或多个激光传感器能够提供多个实际采样点，有助于提高障碍物与机械臂末端距离计算的精度，得到更接近实际的栅格地图。采用人工势场和快速扩展随机树相结合的方法进行路径规划，能够有效的避免局部极小值问题。本领域技术人员应该明白，上述本申请的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本申请不限制于任何特定的硬件和软件的结合。以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。上述虽然结合附图对本申请的具体实施方式进行了描述，但并非对本申请保护范围的限制，所属领域技术人员应该明白，在本申请的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本申请的保护范围以内。

权利要求：1.一种基于多传感器机械臂避障方法，其特征在于，所述方法包括：基于一个或多个激光传感器和视觉传感器获取目标物周围环境信息；判断机械臂末端与目标物之间是否有障碍物；若有障碍物，基于图像信息对障碍物位置进行初步定位；通过一个或多个激光传感器采集所述机械臂末端与障碍物的实际距离信息；根据初步定位结果和激光传感器采集的实际距离信息，构建栅格地图；基于栅格地图，采用人工势场和快速扩展随机树相结合的方法进行路径规划，控制机械臂向目标物靠近。2.如权利要求1所述的一种基于多传感器机械臂避障方法，其特征在于，基于图像信息对障碍物位置进行初步定位包括：根据所述图像信息对障碍物轮廓进行识别；通过深度恢复的方法获取图像中障碍物的距离信息。3.如权利要求2所述的一种基于多传感器机械臂避障方法，其特征在于，构建栅格地图包括：基于一个或多个激光传感器获取的与障碍物的实际距离信息，对基于深度恢复获取的距离信息进行修正，得到修正后的距离信息；根据修正后的距离信息构建栅格地图，并且在栅格地图中标注目标物位置。4.如权利要求3所述的一种基于多传感器机械臂避障方法，其特征在于，所述一个或多个激光传感器和视觉传感器对准方向始终一致；基于图像信息对障碍物位置进行初步定位后，控制视觉传感器旋转，使得障碍物位于视野中心，再通过一个或多个激光传感器采集与障碍物的实际距离信息。5.如权利要求1所述的一种基于多传感器机械臂避障方法，其特征在于，所述人工势场和快速扩展随机树相结合的方法包括：基于栅格地图，采用人工势场法进行路径规划；规划过程中，若陷入局部极小值点，则采用快速扩展随机树法跳出局部极小值点。6.如权利要求5所述的一种基于多传感器机械臂避障方法，其特征在于，判定是否陷入局部极小值点的方法为：根据所述路径靠近载玻片过程中，实时记录机械臂末端在栅格地图中的所在位置，并投影到xoy平面上；对机械臂末端投影到xoy平面上每个栅格的次数进行计数，若一定时间内某个栅格内的投影次数大于一定阈值，则认为陷入局部极小值点。7.如权利要求1所述的一种基于多传感器机械臂避障方法，其特征在于，所述快速扩展随机树法包括：以局部极小点为初始根节点,随机生成搜索树；在工作空间内随机采样生成虚拟目标点；搜索树以局部极小点到虚拟目标点的指向方向进行生长,若在生长过程中遇到障碍物,则停止生长,重新选择随机采样点向虚拟目标点生长,当生长到虚拟目标点时,此时跳出了局部极小点，选取局部极小点到虚拟目标点之间的最优路径。8.一种机械臂，其特征在于，其末端设有一个激光传感器或多个对准方向一致的激光传感器和视觉传感器，均与控制器连接，所述控制器连接中央处理器，所述中央处理器被配置为：基于一个或多个激光传感器和视觉传感器获取目标物周围环境信息；判断机械臂末端与目标物之间是否有障碍物；若有障碍物，基于图像信息对障碍物位置进行初步定位；通过一个或多个激光传感器采集所述机械臂末端与障碍物的实际距离信息；根据初步定位结果和激光传感器采集的实际距离信息，构建栅格地图；基于栅格地图，采用人工势场和快速扩展随机树相结合的方法进行路径规划，向控制器发送控制指令，引导机械臂向目标物靠近。9.如权利要求8所述的一种基于多传感器机械臂避障方法，其特征在于，基于图像信息对障碍物位置进行初步定位包括：根据所述图像信息对障碍物轮廓进行识别；通过深度恢复的方法获取图像中障碍物的距离信息。10.如权利要求9所述的一种基于多传感器机械臂避障方法，其特征在于，构建栅格地图包括：基于一个或多个激光传感器获取的与障碍物的实际距离信息，对基于深度恢复获取的距离信息进行修正，得到修正后的距离信息；根据修正后的距离信息构建栅格地图，并且在栅格地图中标注目标物位置；或基于图像信息对障碍物位置进行初步定位后，判断使得障碍物位于视野中心时所需运动参数，发送至控制器，控制视觉传感器旋转，再通过一个或多个激光传感器采集与障碍物的实际距离信息。

百度查询： 齐鲁工业大学 一种基于多传感器的机械臂避障方法和机械臂