一种基于多自由度机械臂视觉抓取方法

技术领域

本发明涉及融合物体识别数据对机械臂进行运动控制技术领域，特别地是一种基于多自由度机械臂视觉抓取方法。

背景技术

在机器人的抓取过程中，经常需要对抓取位姿进行多次调整，尤其是在环境比较复杂的施工现场，如工业现场的工件上下料，当装配工艺不同时需要不同类的工件，由于工业设备装配精度要求高，要求机械臂对工件抓取精度要比较高才能满足需求。

目前工业上下料大都采用了机械臂加视觉分拣技术完成，在机械臂视觉抓取部分，采用的一般方法是：当需要对某一类工件进行上下料时，先对工件的位姿进行识别，通过获取到的位姿进行机械臂运动学的求解，控制机械臂完成物料的上下料。目前这种方法在机械臂的抓取过程中，完全依赖工件位姿的识别对机械臂进行运动规划，非常简单方便，但由于相机视野的限制，使得视觉识别具有独占性和偶然性，从而影响到其他工序的实时性。对于一些环境较为复杂、较多工件数的识别任务而言，这种处理方法使得上下料稳定性不够，完成的效率不高，当大量识别不成功时，将导致程序一直在等待，严重的将导致任务发生故障，需要人工干预恢复，产生生产安全隐患。因此，无论从系统的稳定运行，还是从生产安全防范来说，都迫切需要一种技术方法来避免上述问题。

中国专利(CN109454638A)公开了一种基于视觉引导的机器人抓取系统，包括通过在三个阶段上识别来完成抓取，第一阶段通过手眼标定确定相机相对于机械臂坐标变换，第二阶段根据模板匹配来完成目标工件的坐标换算，第三阶段根据对目标工件运动状态的估算完成目标工件的抓取。其中，相机是固定到传送带上，可以增大相机对物体拍摄的视野。虽然上述方法适当减少了工作环境或目标对象发生变化，机器人不够及时适应这种变化，提高抓取成功率，但是由于传送带一直在运动，目标工件的运动状态是估算出来的，还存在一定概率抓取不到，抓取精度方面仍有待改进。

发明内容

本发明的目的在于提供一种基于融合物体识别数据对机械臂进行运动控制方法，通过三步调整策略能够提高机械臂抓取的精度。

本发明通过以下技术方案实现的：

一种基于多自由度机械臂视觉抓取方法，包括以下步骤：

步骤S1、通过手眼标定,完成相机相对于机械臂末端的坐标变换；根据识别到物体的姿态，提取旋转矩阵转换成欧拉角rpy，结合求解的欧拉角rpy，将机械臂末端进行旋转，使机械臂抓取姿态与目标物体相平行；

步骤S2、提取位置向量并控制机械臂，使相机运动到物体中心点正上方，有利于对目标物体进行完整的识别；

步骤S3、根据对目标物体二次识别的位置，控制机械臂运动到目标位置，完成机械臂的抓取任务；

步骤S4、机器人准确抓取目标物体并放置到指定的地方。

进一步地，包括三步法流程，该三步法流程包括：

姿态调整、相机正对物体中心和识别抓取；

姿态调整负责物体姿态四元数的获取和姿态的调整，使用C++四元数转欧拉角库函数将四元数转欧拉角，得到物体相对于相机的姿态变化，通过获取到的姿态，根据判断逻辑完成姿态的调整；

相机正对物体中心主要完成根据获取到物体相对于相机的位置，控制机械臂运动，完成物体中心位于相机视野的正下方；

识别抓取负责对物体识别位置数据的更新，并通过获取到的位置数据完成目标物体的抓取。

进一步地，包括三步法调整策流程，该三步法调整策流程包括：

步骤201：位于机械臂末端的相机根据识别到的物体并获取物体姿态四元数，并将四元数传递给系统进行处理；

步骤202：接收到传递的四元数，机器人调用相关的库函数完成四元数转欧拉角的变换，并提取出偏航角Y；

步骤203：机器人接收到处理后的偏航角Y，根据偏航角Y的数值是否为0°来判断该位姿是否需要调整，如果是，则进入步骤205；否则，进入步骤204进行调整；

步骤204：根据偏航角Y的数值是否大于90°来判断该位姿调整的方向，如果是，则进入步骤206；否则，进入步骤207进行调整；

步骤205：根据偏航角Y为0°的结果，认为相机姿态与物体平行，不需要调整姿态，直接进入步骤208；

步骤206：根据偏航角Y大于90°的结果，认为相机求解的姿态与物体相差较大的较大，需要调整转动的角度，调整后的角度为Y＝180°-Y，调整后直接进入步骤207；

步骤207：根据偏航角Y，对机械臂末端进行转动，完成相机与物体位姿平行的调整，MoveR()函数直接对机械臂末端进行旋转，调整后直接进入步骤208；

步骤208：调整结束，完成姿态调整。

进一步地，包括相机正对物体中心流程，该相机正对物体中心流程具体包括：

步骤301：通过手眼标定获取相机相对于末端的x0,y0,z0；

步骤302：通过对物体的二次识别，获取物体相对于相机的位置x1,y1；

步骤303：根据获取到的位置数据，控制机械臂运动x1,y1的偏差，z方向高度不变，其中MoveL()函数主要是控制机械臂做直线运动；

步骤304：通过位置调整，使相机正对物体中心

进一步地，包括物体识别抓取流程，该物体识别抓取流程具体包括：

步骤401：通过对物体的第三次识别，获取物体相对于相机的位置x2,y2，z2；

步骤402：先控制机械臂运动到物体正上方，其中高度不变；

步骤403：先控制机械臂在物体正上方对物体进行抓取；

步骤404：完成物体抓取任务。

本发明的有益效果：

本发明通过修改识别流程，将相机识别位置从可能识别不到的位置到正对识别位置，有效的解决了目标工件识别的偏差和识别不到的问题。同时，由于增加了姿态校准，提高了抓取的成功率，减少与目标工件的碰撞。主要优点如下：

1、提高了目标物体识别位姿精度和抓取成功率

传统的一次识别一次抓取的方法，容易在识别偏差的前提下，完成不了抓取或者与目标工件会发生碰撞。而通过修改识别流程，增加相机识别位姿的校准，把相机控制到正对识别的范围内，减少识别产生的偏差，提高目标工件的抓取成功率；

2、优化对环境自适应

传统的工业机器人通过示教器或者控制面板提前完成机器人抓取点位的示教，但环境发生变化时，机器人难以完成目标物体的抓取。当使用了本技术，机器人可以及时适应环境的变化，提高机器人的灵活性和工作效率。

附图说明

图1是采用本发明一种基于多自由度机械臂视觉抓取方法的三步法调整策流程示意图；

图2是根据本发明一种基于多自由度机械臂视觉抓取方法的机械臂末端姿态调整的总体流程图；

图3是根据本发明一种基于多自由度机械臂视觉抓取方法的相机正对物体中心的总体流程图；

图4是根据本发明一种基于多自由度机械臂视觉抓取方法的物体识别抓取的流程图。

具体实施方式

下面将结合附图以及具体实施例来详细说明本发明，在此以本发明的示意下面将结合附图以及具体实施例来详细说明本发明，在此以本发明的示意性实施例及说明用来解释本发明，但并不作为对本发明的限定。

需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后、上端、下端、顶部、底部……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

在本发明中，除非另有明确的规定和限定，术语“连接”应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征；另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

一种基于多自由度机械臂视觉抓取方法，包括以下步骤：

步骤S1、通过手眼标定,完成相机相对于机械臂末端的坐标变换；根据识别到物体的姿态，提取旋转矩阵转换成欧拉角rpy，结合求解的欧拉角rpy，将机械臂末端进行旋转，使机械臂抓取姿态与目标物体相平行；

步骤S2、提取位置向量并控制机械臂，使相机运动到物体中心点正上方，有利于对目标物体进行完整的识别；

步骤S3、根据对目标物体二次识别的位置，控制机械臂运动到目标位置，完成机械臂的抓取任务；

步骤S4、机器人准确抓取目标物体并放置到指定的地方。

实施例：

如图1所示为采用本发明的一种基于多自由度机械臂视觉抓取方法的三步法流程1，该三步法流程1包括姿态调整2、相机正对物体中心3、识别抓取4。

姿态调整2负责物体姿态四元数的获取和姿态的调整，使用C++四元数转欧拉角库函数(如Eigen库函数中的eulerAngles)将四元数转欧拉角，得到物体相对于相机的姿态变化，通过获取到的姿态，根据判断逻辑完成姿态的调整；

相机正对物体中心3主要完成根据获取到物体相对于相机的位置，控制机械臂运动，完成物体中心位于相机视野的正下方；

识别抓取4负责对物体识别位置数据的更新，并通过获取到的位置数据完成目标物体的抓取。

图2为根据本发明的一种基于多自由度机械臂视觉抓取方法的三步法调整策流程图，根据本发明的三步法调整策包括：

步骤201：相机(位于机械臂末端)根据识别到的物体并获取物体姿态四元数，并将四元数传递给系统进行处理；

步骤202：接收到传递的四元数，机器人调用相关的库函数完成四元数转欧拉角的变换，并提取出偏航角Y；

步骤203：机器人接收到处理后的偏航角Y，根据偏航角Y的数值是否为0°来判断该位姿是否需要调整，如果是，则进入步骤205；否则，进入步骤204进行调整；

步骤204：根据偏航角Y的数值是否大于90°来判断该位姿调整的方向，如果是，则进入步骤206；否则，进入步骤207进行调整；

步骤205：根据偏航角Y为0°的结果，认为相机姿态与物体平行，不需要调整姿态，直接进入步骤208；

步骤206：根据偏航角Y大于90°的结果，认为相机求解的姿态与物体相差较大的较大，需要调整转动的角度，调整后的角度为Y＝180°-Y，调整后直接进入步骤207；

步骤207：根据偏航角Y，对机械臂末端进行转动，完成相机与物体位姿平行的调整，这里的MoveR()函数直接对机械臂末端进行旋转，调整后直接进入步骤208；

步骤208：调整结束，完成姿态调整。

如图3所示，根据本发明的一种基于多自由度机械臂视觉抓取方法的相机正对物体中心流程，具体包括：

步骤301：通过手眼标定获取相机相对于末端的x0,y0,z0；

步骤302：通过对物体的二次识别，获取物体相对于相机的位置x1,y1；

步骤303：根据获取到的位置数据，控制机械臂运动x1,y1的偏差，z方向高度不变，其中MoveL()函数主要是控制机械臂做直线运动；

步骤304：通过位置调整，使相机正对物体中心。

如图4所示，根据本发明的一种基于多自由度机械臂视觉抓取方法的物体识别抓取流程，具体包括：

步骤401：通过对物体的第三次识别，获取物体相对于相机的位置x2,y2，z2；

步骤402：先控制机械臂运动到物体正上方，其中高度不变；

步骤403：先控制机械臂在物体正上方对物体进行抓取；

步骤404：完成物体抓取任务。

本发明通过水平仪从前后左右两个方向沿法兰直径测量调整，确保法兰水平度。加工配制激光定位套用于安放激光发射仪，通过旋转激光设备至0°、90°、180°、270°分别打点连线的方法确定中心点。采用机加工制作管夹定位套，进行管夹的精确定位，减少用钢尺测量的误差，加快安装进度。安装后通过激光进行复测，保证激光穿过全部定位模板的中心孔，确保安装正确。

参照图1，具体的，本实施例方案中，雷达液位仪1主要由雷达液位计11、适配法兰12、罐体法兰13、雷达导波管14、固定管夹15、屏蔽装置16和座板17组成。

本发明提供了一个三步法调整抓取策略的方法，该方法通过增加在不同位置对物体进行多次识别，避免由于相机视野对识别造成的偏差导致抓取的失败，同时也优化了抓取的流程，确保抓取姿态正常的前提下对物体进行位置的调整，最终完成目标物体的抓取。本发明的技术方案具有以下特点：

在物体识别中新增“物体识别等待”程序，该程序实现功能是确保识别到物体之后才能控制机械臂进行运动，每次机械臂完成操作之后，改物体位置更新为初始化状态；

三步法调整策流程的操作分为：姿态调整、相机正对物体中心和识别抓取三个步骤。姿态调整阶段负责物体姿态四元数的获取和姿态的调整；相机正对物体中心阶段主要完成根据获取到物体相对于相机的位置，控制机械臂运动，完成物体中心位于相机视野的正下方；识别抓取阶段，对物体识别位置数据的更新，并通过获取到的位置数据完成目标物体的抓取。

采用三步法调整策略完成机械臂的精准抓取方法，提高了目标物体识别位姿精度和抓取成功率，优化对环境自适应，具体包括如下内容：

A.在姿态调整阶段，先调整末端姿态，使相机与物体位姿平行，增大识别视野；

B.相机正对物体中心阶段，根据识别的物体位置，移动相机位于物体中心正上方，使相机完整拍摄到目标物体，提高目标物体识别位姿精度，优化对环境自适应；

C.识别抓取阶段，先对物体进行识别，运动到物体正上方，然后进行抓取，减少与目标物体进行碰撞，提高物体抓取成功率。

以上对本发明实施例所提供的技术方案进行了详细介绍，本文中应用了具体个例对本发明实施例的原理以及实施方式进行了阐述，以上实施例的说明只适用于帮助理解本发明实施例的原理；同时，对于本领域的一般技术人员，依据本发明实施例，在具体实施方式以及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。