基于深度相机的叶片装配视觉引导方法及系统

技术领域

本发明涉及机械智能制造技术领域，特别是涉及一种基于深度相机的叶片装配视觉引导方法及系统。

背景技术

机械臂在智能制造中的应用越来越广泛，而视觉引导作为机器人装配过程的“眼睛”，赋予机器人更自主、智能的性质，将传统的工业制造转入了智能化模式。实时、精确、高效的目标识别与定位技术对于机器视觉和智能制造具有重要意义，它能够在自动化工业生产中发挥重要作用。

传统的视觉引导方法是利用二维图像并基于深度学习网络模型进行目标检测和被动式三维坐标测量。这种方法对相机硬件要求低，具有实现简单、功耗低等优点，但是容易受光照强度和角度影响，对于缺乏视觉纹理特征的场景匹配很困难，不适用于场景复杂、受外界因素干扰较多的工业自动化生产线。

发明内容

基于此，有必要针对传统视觉引导方法不适用于场景复杂、受外界因素干扰较多的工业自动化生产线的问题，提供一种精确度高、抗干扰能力强的基于深度相机的叶片装配视觉引导方法及系统。

一种基于深度相机的叶片装配视觉引导方法，包括：

创建视觉系统标定并进行参数配置；

采集目标图像，通过与环境图像进行特征对比判断目标二维坐标；

对目标平面图像和深度图像进行匹配，获取深度值；

读取二维坐标对应点的深度值，得到目标三维坐标；

机械臂获取所述三维坐标，通过多点位控制完成目标装配。

进一步的，所述视觉系统标定包括相机标定和眼在手上相机标定，所述相机标定获取相机的内外参，所述眼在手上相机将视觉坐标系转换到机器人坐标系。

进一步的，所述相机标定包括：

确定三维空间中的某一点的位置在二维图像中对应点的相互转换关系；

根据转换关系获得摄像机的内外参数和畸变参数。

进一步的，所述眼在手上相机标定包括：

获取机器人坐标系和相机坐标系的关系；

将视觉识别的像素坐标系转换到机器人坐标系下。

进一步的，所述方法还包括采用OpenCV视觉库对环境图像进行预处理。

进一步的，所述特征对比采用单应性FLANN进行匹配。

进一步的，所述判断目标二维坐标包括：

对目标进行框选，得到目标最小外接矩形框；

读取矩形框中心点坐标作为二维坐标。

进一步的，所述对目标平面图像和深度图像进行匹配包括：

将目标平面图像和深度图像对齐；

将两者的像素点一一对应。

一种基于深度相机的叶片装配视觉引导系统，还包括视觉模块和机械臂控制模块；

所述视觉模块包括深度相机、特征匹配单元、坐标获取单元；

所述深度相机用于获取深度图像；所述特征匹配单元用于对目标图像和环境图像进行对比，对目标平面图像和深度图像进行匹配；所述坐标获取单元用于根据对比或匹配信息获取目标坐标；

所述机械臂控制模块用于获取目标坐标，通过多点位控制完成目标装配。

进一步的，所述机械臂控制模块包括机械臂通信单元、机械臂驱动单元、机械臂运动学求解单元、夹爪控制单元；

所述机械臂通信单元用于和上位机建立通信；所述机械臂驱动单元用于对机械臂进行运动控制；所述机械臂运动学求解单元用于结合目标点位计算机械臂运动步骤；所述夹爪控制单元用于对目标进行夹持。

上述基于深度相机的叶片装配视觉引导方法，通过特征对比结合获取的深度值实现实时叶片识别和三维定位，可以在复杂场景和任意光照变化下实现检测定位的目的，精确度高、抗干扰性强。

附图说明

图1为引导方法的整体流程示意图；

图2为引导方法的细节步骤示意图；

图3为机械臂关节运动流程图；

图4为机械臂运行操作流程图；

图5为引导系统的结构示意图。

图中：100、视觉模块；110、深度相机；120、图像预处理单元；130、特征匹配单元；140、坐标获取单元；200、机械臂控制模块；210、机械臂通信单元；220、机械臂驱动单元；230、机械臂运动学求解单元；240、夹爪控制单元。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1和图2所示，在一个实施例中，一种基于深度相机110的叶片装配视觉引导方法，包括：

S100、创建视觉系统标定并进行参数配置；

S200、采集目标图像，通过与环境图像进行特征对比判断目标二维坐标；

S300、对目标平面图像和深度图像进行匹配，获取深度值；

S400、读取二维坐标对应点的深度值，得到目标三维坐标；

S500、机械臂获取所述三维坐标，通过多点位控制完成目标装配。

上述基于深度相机110的叶片装配视觉引导方法，通过特征对比结合获取的深度值实现实时叶片识别和三维定位，可以在复杂场景和任意光照变化下实现检测定位的目的，精确度高、抗干扰性强。

在本实施例中，所述视觉系统标定包括相机标定和眼在手上相机标定，所述相机标定获取相机的内外参，所述眼在手上相机将视觉坐标系转换到机器人坐标系。其中相机标定采用部分采用张正友标定法来进行相机的标定。使用的标定板内角点数为8x6，每格棋盘格大小为12mm*12mm。使用的摄像头为结构光深度摄像头。通过移动棋盘，拍摄不同角度、高度下的棋盘图像。眼在手上标定采用Eye-in-Hand(手眼)方法，将一个结构光深度相机110固定安装于机械臂末端，控制机械臂末端移动到目标附近，再利用Eye-in-Hand视觉的小视场高精度的特点对目标进行定位，从而引导机械臂完成操作，满足系统对精度的要求，这样不仅可以避免目标被机械臂遮挡造成部分图像丢失，还可以提高系统的精度。

在本实施例中，所述相机标定包括：

确定三维空间中的某一点的位置在二维图像中对应点的相互转换关系；

根据转换关系获得摄像机的内外参数和畸变参数。

所述眼在手上相机标定包括：

获取机器人坐标系和相机坐标系的关系；

将视觉识别的像素坐标系转换到机器人坐标系下。

上述眼在手上相机标定采用Eye-in-Hand方法，将一个结构光深度相机110固定安装于机械臂末端，把机器人随机移动，转换相机的一个视角去观察这个标定板,如果该视角下看不到,或者只看到一小部分标定板,那么该图片无效,我们要把有效的图片记录下来,那么尽量让机器人移动到一个位置下,相机能拍摄到标定板全貌，然后记录保存该图片。记录该图片拍摄下的机器人状态(6轴状态)，重复以上步骤20次。通过输入两组以上的机械臂姿态信息(x，y，z，rx，ry，rz)和装在机械手上的相机所识别的标志物的姿态信息，经过程序计算可输出，机械臂末端和相机之间的坐标变换矩阵。

在本实施例中，参数配置包括利用OpenCV(开源计算机视觉)计算出内外参：

初始化准备参数；

准备好标定板的世界3d坐标；

迭代获取的图片参数，获得灰度图，计算棋盘标定板的角点，进一步在获得的角点参数下亚像素信息，计算相机的内外参。

在本实施例中，所述参数包括数据的保存路径和机械臂的运动参数。

本本实施例中，通过采用Eye-in-Hand方法，将一个结构光深度相机110固定安装于机械臂末端，控制机械臂末端移动到目标附近，再利用Eye-in-Hand视觉的小视场高精度的特点对目标进行定位，从而引导机械臂完成操作，满足系统对精度的要求，创建叶片视觉引导装配环境。通过相机自标定和手眼标定获得相机内外参数，并配置机械臂的各个关节角度、初始位置、基座位置等运动参数。作为叶片装配视觉引导系统的前提，为后续三维坐标的获取和精确性打下基础。

在本实施例中，采集目标图像需将机械臂初步驱动至末关节上的光结构深度相机110可以拍摄到完整目标图像的叶片附近位置。场景图片是机器视觉算法的输入数据，容易受到光照、噪声等外界环境的干扰。需要通过合适的目标区域定位，图像增强、空间滤波与边缘检测算法等图像预处理，尽可能的减少光照、噪声变化的影响，以提高后续特征检测算法的鲁棒性。

上述采集方法还包括采用OpenCV视觉库对环境图像进行预处理。引入SURF特征检测算法，SURF算法最大的特征在于采用了Hessian(轻量级的remoting onhttp工具，使用简单的方法提供了RMI的功能)特征以及积分图像的概念，这大大的加速了程序的运行时间。SURF算法不仅保持了SIFT算法的尺度不变和旋转不变的特性，而且对光照变化和放射变化同样具有很强的鲁棒性。

在本实施例中，所述特征对比采用单应性FLANN进行匹配。相对暴力匹配来讲准确、快速和使用方便。而单应性是一个条件，该条件表面当两幅图像中的一副出像投影畸变时，他们还能匹配。

在本实施例中，所述判断目标二维坐标包括：

对目标进行框选，得到目标最小外接矩形框；

读取矩形框中心点坐标作为二维坐标

根据特征匹配情况，已经可以知道目标叶片在图像中的大致位置。而要读取精确位置信息，可以将目标放在叶片的中心点。首先通过框选匹配到的目标叶片，得到目标叶片的最小外接矩形框，那么只需要读取该矩形框的中心点坐标即可作为叶片的中心点坐标，即目标叶片的像素坐标(x，y)。

在本实施例中，所述对目标平面图像和深度图像进行匹配包括：

将目标平面图像和深度图像对齐；

将两者的像素点一一对应。

上述匹配需要对深度相机110进行一个彩色图像与深度图像的对齐。获取的RGB图和深度图的坐标位置是不一样的。这是因为深度摄像机上不同摄像头存在空间位置的偏差导致的。深度图，它是灰度图像，该图像的每一个像素值都是摄像头到物体表面之间距离的估计值。那么，这样两张不对齐的RGB图和深度图，就做不到每个像素点之间的一一对应关系。所以需要将像素对齐，把每个像素点一一对应起来，这样的数据才是有效的。因此对深度图像数据和彩色图像数据做预处理，将深度图和彩色图对齐。然后通过读取视频中步骤S3得到的(x，y)点在彩色图与深度图对齐后的深度值，结合之下就得出了目标叶片的像素三维坐标。

如图3、图4和图5所示，在实现上述方法的基础上，本实施例还提出了一种基于深度相机110的叶片装配视觉引导系统，包括视觉模块100和机械臂控制模块200；

所述视觉模块100包括深度相机110、特征匹配单元130、坐标获取单元140；

所述深度相机110用于获取深度图像；所述特征匹配单元130用于对目标图像和环境图像进行对比，对目标平面图像和深度图像进行匹配；所述坐标获取单元140用于根据对比或匹配信息获取目标坐标；

所述机械臂控制模块200用于获取目标坐标，通过多点位控制完成目标装配。

在本实施例中，所述机械臂控制模块200包括机械臂通信单元210、机械臂驱动单元220、机械臂运动学求解单元230、夹爪控制单元240；

所述机械臂通信单元210用于和上位机建立通信；所述机械臂驱动单元220用于对机械臂进行运动控制；所述机械臂运动学求解单元230用于结合目标点位计算机械臂运动步骤；所述夹爪控制单元240用于对目标进行夹持。

需要说明的是，机械臂的点位运动即通过机械臂逆运动学求解出来的关节转角来确定机械臂的目标姿态，经过末端执行器的运动促使机械臂到达目标点位。点位运动控制是较为简单的一种运动控制方式，相比于研究机械臂的轨迹较为容易实现。点位运动的关键在于机械臂关节转角的求解，根据关节的变换矩阵、机械臂的位姿及D-H(丹纳维特和哈顿伯格)参数表即可解出机械臂的关节转角角度，利用编译的驱动代码实现机械臂目标点位到达。

在机械臂进行叶片装配过程中，机械臂运动至目标叶片附近，深度相机110工作完成如上述采集所需图像、图像预处理、特征匹配、二维坐标获取、深度值获取、三维坐标获取一系列工作，在驱动机械臂运动到目标位置，驱动夹爪夹取叶片，完成抓取动作。接着机械臂再次运动至叶片槽附近，深度相机110识别叶片槽三维坐标，夹爪放置叶片至目标槽位，完成装配任务。

上述系统的操作过程或原理为：首先建立机械臂与上位机的通信，代码控制机械臂驱动至目标附近。启动视觉模块100，深度相机110进行图像采集，并触发图像预处理单元120对图像进行预处理，特征匹配单元130匹配识别叶片，坐标获取单元140获得三维坐标。机械臂运动学求解单元230针对获得的三维坐标进行求解，得出机械臂需要到达的目标位姿、各关节角度，到达目标位置。夹爪控制单元240随即实现对夹爪的张合控制，达到抓取或放置效果，完成装配。

机械臂在与计算机建立通信的时候，还得通过示教器进行相应的IP地址、子网掩码及默认网关的设置。PC端与机械臂建立通信。通信采用有线连接的方式，通过网线将上位机与机械臂控制柜下的网端接口进行相连。配置连接环境，在示教器上设置机械臂的静态地址网络。PC端配置有线网络时需注意其IP地址的网段需和之前示教器上设置的应处于同一网段范围内，才可确保通信的成功，PC端显示有线连接成功后需将无线连接关闭才可进行下一步。机械臂的点位运动即通过机械臂逆运动学求解出来的关节转角来确定机械臂的目标姿态，经过末端执行器的运动促使机械臂到达目标点位。将夹爪安装至机械臂末端时还需连接夹爪与机械臂末端，I/O端口与机械臂末端的端口一致，通过连接线将两端口连接起来，即可实现对夹爪的张合控制。机械臂的运动学是关节转动的体现，各参数指标根据关节运转情况进行分析。求解完机械臂关节转角后还需将各关节角度转换为弧度，确保程序代码的正常运行。

与传统技术相比，本方法不仅适用于汽轮机叶盘叶片的识别装配，替换其它后简单调试也可针对其他零件的识别装配；采用机械臂多目标点位控制，适用于多个叶片(或其他零件)的装配。并且传统技术主要通过零件二维坐标结合固定高度进行抓取，精确度和工业实用性不强；或通过点云模板匹配方法，模板制作时间成本高、计算量大、不能较快识别且模板局限性大造成通用性差。而本发明利用光结构深度相机110读取叶片中心点深度值以获得叶片三维坐标。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。