一种基于图像处理的曲面零件表面粘贴质量的检测方法

技术领域

本发明属于质量检测技术领域，尤其涉及一种基于图像处理的曲面零件表面粘贴质量的检测方法。

背景技术

传统的工业生产制造，由于科学技术的限制仍然主要采用人工检测的方法去检测产品表面的缺陷，这种方法由于人工的限制和技术的落后，不仅检测产品的速度慢、效率低下，而且在检测的过程中容易出错，从而导致了检测结果的不精确。

机器视觉技术的表面缺陷检测技术的出现，大大提高了生产作业的效率，避免了因作业条件，主观判断等影响检测结果的准确性，实现能更好更精确地进行表面缺陷检测，更加加速的识别产品表面瑕疵缺陷。

产品表面缺陷检测属于机器视觉技术的一种，利用计算机视觉模拟人类视觉的功能，从具体的实物进行图像的采集处理、计算、最终进行实际检测、控制和应用，其检测的准确程度直接会影响产品最终的质量优劣。

目前，缺陷检测的方法主要包括：Blob分析、光度立体法、频域+空间结合法、特征训练等。

Blob分析是将图像二值化，分割得到前景和背景，然后进行连通区域检测，从而得到Blob块，将“灰度突变”的小区域寻找出来。Blob分析适用于高对比度的二维目标图像，若用在低对比度图像中则不能保证可靠性。

光度立体法需要在相机和物体相对位置不变的条件下，从不同的角度打光获取图像，提取物体的三维模型。其局限性表现在需使用远心镜头或者长焦镜头和每一个光源发射的光束都是平行且均匀，需要从多角度打光，检测系统的结构布置比较复杂等上面。

频域+空间结合法是应用傅里叶变换将空间域(图像本身)转换至频率域，频率特征是图像的灰度变化特征，低频特征是灰度变化不明显，如图像整体轮廓，高频特征是图像灰度变化剧烈，如图像边缘和噪声。通常此方法用在具有一定纹理特征的图像上，如布匹、木板等。

特征训练方法主要是采用深度学习的方法进行缺陷特征的提取，需要大量的训练数据，并且缺乏物理意义。

由于曲面零件的曲面复杂性,精密度高，且又简单方便的表面粘贴质量的检测方法是目前需要。

发明内容

为了解决以上技术问题，本发明提供一种基于图像处理的曲面零件表面粘贴质量的检测方法，针对图像处理中的缺陷检测技术，对曲面或/和平面零件的表面粘贴材料进行粘贴的质量检测，能够准确进行粘贴材料的识别、在规定精度范围内实现对粘贴质量的判断，解决非固定状态下曲面零件的表面缺陷检测问题，简单易操作，成本低；适用于曲面或/和平面的零件表面，尤其是适用于曲面零件表面。

解决以上技术问题的本发明中的一种基于图像处理的曲面零件表面粘贴质量的检测方法，其特征在于：包括以下步骤：

(1)视觉测量系统准备；

(2)对视觉系统进行标定，取得相机的内参矩阵和外参矩阵，建立矩阵关系模型；

矩阵关系模型也为相机工作距离模型,计算工作距离会用到这两个矩阵进行计算。通过高精度标定板对视觉系统进行标定，得到相机的自身参数(内参矩阵)和相机坐标系与机械臂末端坐标系的转换矩阵(外参矩阵)。

(3)待检测零件的中心位置和圆周方向进行定位；

移动机械臂使相机从上往下拍摄零件，对零件的中心位置和圆周方向进行准确定位；

中心位置和圆周方向测量需要使用步骤(2)中得到的矩阵关系模型，使图像上的像素点转换到世界坐标系中的空间点上，计算出目标点，本发明中待检测零件的中心位置和圆周方向为目标点。

圆周方向定位要根据不同的零件设计不同的定位特征，如零件上的缺口、孔洞等。中心位置定位则要对零件的整体形状进行拟合。

(4)确定粘贴材料质量检测的检测指标标准；

分析检测零件中粘贴材料的几何形状，粘贴起始位置，粘贴高度和粘贴精度等这引起指标，以此为检测标准的指标。

本发明中检测指标标准，是指以当下检测过程中粘贴材料的指标为准，比如材料形状为圆形，就以圆形为检测指标，有16片就以16片为检测指标，如果是24片，则以24片为准。

(5)粘贴材料的粘贴质量进行检测：结合步骤(3)的零件定位和步骤(4)粘贴材料的检测标准确定算法流程和图像处理方法，对粘贴材料的粘贴质量进行检测；首先检测胶层数量，然后检测是否存在重叠的情况，最后循环检测每一片胶层的方向和位置是否正确，上下边缘是否在合格的范围之内；

(6)粘贴质量是否合格的确定：每一个步骤都正确，即粘贴质量为合格，或者粘贴质量不合格。

所述步骤(1)中视觉测量系统包括光源、相机、标定板和连接板，以及机械臂和计算机等，将光源和相机固定在刚性的连接板上，再将连接板固定在机械臂末端第六轴的法兰上即成。

所述步骤(2)中矩阵关系模型为：

其中，Z

目标点为图像上需要找到它在世界坐标系上位置的点，在图像上是以像素坐标的形式体现，本发明中指零件的中心位置。如图16，像素坐标系u-v是二维平面坐标系，原点O在图像的左上角，横坐标u和纵坐标v分别是图像所在的行和列。世界坐标系是三维坐标系，本发明中世界坐标系的原点在机械臂的底座上。

相机的内参矩阵通过固定相机，移动标定板，拍摄不同位置的标定板获得。相机的外参矩阵通过固定标定板，移动相机，拍摄不同位置的标定板获得。

本发明中视觉系统中相机外参矩阵为相机中心到机械臂第六轴末端法兰中心的位置转换关系。

所述步骤(3)中中心位置是否准确，可通过以下两种方法之一来确定：

检验方法1：在机械臂第六轴上安装百分表，机械臂第六轴运动到视觉测量得到的中心位置处，百分表的接触点抵靠在零件的内径上，然后第六轴做旋转运动，百分表示数波动在0.1mm以内，则说明中心位置测量准确。

或检验方法2：通过视觉测量一个已知的固定位置零件，测量结果与已知的固定结果进行对比。

所述步骤(3)中圆周方向的定位是否准确：通过视觉测量一个已知方向的零件，视觉测量结果与已知的方向进行对比，误差在0.2°以内则结果准确。

所述步骤(4)中检测指标标准统一，如粘贴材料的所组成的是一个圆形，这个圆的外径大小和内径大小以及圆心位置都要限制在±0.4mm的误差范围内。这种标准是检测方法确定，可以根据实际需求进行更改。

所述步骤(5)中算法流程为获取图像，转输中心位置和圆周方向上提取ROI，编写程序进行分析，编程软件是图像处理软件Halcon，看胶层是否重叠，如果重叠为不合格胶层，不重叠的为合格胶层。然后合格胶层是否为规定数量，如果不为规定数量，则不合格；再对有规定数量的胶层进行每一层胶层的检测，每一个步骤都正确，即为合格。

所述每一层胶层的检测为首先检测胶层数量是否为规定数量，然后检测是否存在重叠的情况，最后循环检测每一片胶层的方向和位置是否正确，上下边缘是否在合格的范围之内。

所述图像处理主要用到图像增强，图像分割，边缘检测，边缘拟合和坐标转换等方法，这些方法为常规方法。

本发明为基于图像处理，基于视觉定位和Blob分析的曲面零件表面粘贴材料的粘贴质量检测方法，可对零件空间自由曲面进行测量。首先对待检测零件的中心位置和圆周方向进行准确定位，进一步对零件表面的粘贴材料进行粘贴质量的检测，能够有效地提取出粘贴材料所在区域及其轮廓，最终实现粘贴的质量检测功能。相对于其他缺陷检测方法可以不用固定待检测的零件，另外还可以实现曲面上的质量缺陷检测，调整检测的精度和识别粘贴缺陷原因等，从而达到好检测效果。

本发明中检测方法能够准确进行粘贴材料的识别、在规定精度范围内实现对粘贴质量的判断，解决非固定状态下曲面零件的表面缺陷检测问题，简单易操作，成本低，效率高，有高的重复性和准确性。

本发明中检测方法适用于曲面或/和平面的零件表面，尤其是适用于曲面零件表面。

附图说明

图1为本发明中视觉系统安装结构以及测量工作示意图；

图2-图4为本发明中采用不同的特征对零件的圆周方向和中心位置进行定位图；

其中，图2为本发明中零件中心位置和圆周方向测量-圆孔图

图3为本发明中零件中心位置和圆周方向测量-方孔图

图4为本发明中零件中心位置和圆周方向测量边缘缺口图

图5为本发明中粘贴质量检测算法流程图

图6-图7为本发明的粘贴质量检测的实际效果图

其中，图6为粘贴质量实际效果图不合格图

图7为本发明中粘贴质量实际效果图合格图

图8为本发明中视觉测量模型图

图9-图15为发明中试验二图像处理过程图

图16为本发明中像素坐标系图

图17为本发明中检查零件右边边缘的缺口图

具体实施方式

下面结合具体实施方式对本发明中做进一步的阐述：

实施例1

一种基于图像处理的曲面零件表面粘贴质量的检测方法，具体步骤如下：

(1)对视觉测量系统进行选型、设计和搭建，相机和光源安装在机械臂的末端，如附图一所示；

本发明中视觉测量系统是常规测量系统，如图8所示，包括光源、相机和连接板，以及机械臂，将光源和相机固定在刚性的连接板上，再将连接板固定在机械臂末端第六轴的法兰上即成。

(2)通过高精度标定板对视觉系统进行标定，得相机的内参矩阵值和外参矩阵值，建立矩阵关系模型；

矩阵关系模型为：

其中，Z

主要得到相机的自身参数(内参矩阵)和相机坐标系与机械臂末端坐标系的转换矩阵(外参矩阵)；相机在不现方位下拍摄物体，获取含有测定点的图像，转输及利用软件自动分析被测定的精确空间坐标。

(3)移动机械臂使相机从上往下拍摄零件，对零件的中心位置和圆周方向进行定位；定位用机械臂第六轴末端上的相机拍摄形成。

中心位置和圆周方向测量需要使用步骤(2)中得到的矩阵关系模型，使图像上的像素点转换到世界坐标系中的空间点上去。此外，圆周方向定位要根据不同的零件设计不同的定位特征，如零件上的缺口、孔洞等；中心位置定位则要对零件的整体形状进行拟合，如附图二所示。

需要确定世界坐标系下的坐标值，具体做法是把零件放在拍照的范围内，由于拍出来的零件不清晰或者细节不足，可先在大范围内找到零件位置，然后移动到找到的中心位置处再进行更详细的小范围拍摄。

圆周方向定位要根据不同的零件设计不同的定位特征。圆形的零件要确定它的方向就需要在零件上面做一些特征出来，用来定位方向，如零件上的缺口、孔洞等，本发明中对缺口、孔洞的检测主要是在图像上搜索缺口、孔洞的轮廓信息。如图17所示检查零件右边边缘的缺口，另外，检查零件中间的圆孔和方孔的例子如图2和图3所示。

(4)确定粘贴质量检测的检测标准，如粘贴材料的几何形状，粘贴起始位置，粘贴高度和粘贴精度等

分析检测零件中粘贴材料的几何形状，粘贴起始位置，粘贴高度和粘贴精度等这引起指标，以此为检测标准的指标。

本发明中检测指标标准，是指以当下检测过程中粘贴材料的指标为准，比如材料形状为圆形，就以圆形为检测指标，有16片就以16片为检测指标，如果是24片，则以24片为准。本发明中粘贴材料的几何形状为梯形，粘贴在圆形碗状零件的内表面上，如附图四所示。

本发明中的检测方法可以对零件的中心位置和圆周方向进行定位，所以相比与传统检测方法，可以不用固定待检测的零件，零件不用放在固定的夹角定位，只需要自由放在相机的拍摄范围内。

(5)结合步骤(3)的零件定位和步骤(4)粘贴材料的检测标准设计算法流程和图像处理方法，对粘贴材料的粘贴质量进行检测。

图像处理步骤如图5所示，主要用到图像增强，图像分割，边缘检测，边缘拟合和坐标转换等方法，这些方法为常规方法。

算法流程为获取图像，转输中心位置和圆周方向上提取ROI，编写程序进行分析，编程软件是图像处理软件Halcon，所用编程语言为C#或C++，看胶层是否重叠，如果重叠为不合格胶层，不重叠的为合格胶层。然后合格胶层是否为规定数量，如果不为规定数量，则不合格；再对有规定数量的胶层进行每一层胶层的检测，每一个步骤都正确，即为合格。

每层胶层的检测：首先检测胶层数量是否为规定数量，然后检测是否存在重叠的情况，最后循环检测每一片胶层的方向和位置是否正确，上下边缘是否在合格的范围之内。

(6)粘贴质量是否合格的确定：首先检测胶层数量是否为16片，然后检测是否存在重叠的情况，最后循环检测每一片胶层的方向和位置是否正确，上下边缘是否在合格的范围之内；每一个步骤都正确，即粘贴质量为合格，或者粘贴质量不合格。

本发明中检测的精度调整，体现在在第(4)步和第(5)步中，检测精度采用像素当量的方法，即一个像素代表实际的物理尺寸是多少。比如确定粘贴材料的边缘精度范围为±0.4mm，图像中一个像素代表的实际物理尺寸是0.05mm，反应在像素上就是检测到的粘贴材料的边缘要在±8个像素的范围内，如理想情况下粘贴材料的边缘是在半径为1500个像素的圆上，可以画一个内半径为1492，外半径为1508的同心圆，看实际边缘是否在这个同心圆内。从而得到比较高有精度。

实施例2

一种基于图像处理的曲面零件表面粘贴质量的检测方法，步骤如下：

(1)准备视觉测量系统；视觉测量系统包括光源、相机和连接板，以及机械臂，将光源和相机固定在刚性的连接板上，再将连接板固定在机械臂末端第六轴的法兰上即成。

(2)对视觉系统进行标定，取得相机指标参数，建立矩阵关系；

通过高精度标定板对视觉系统进行标定，得到相机的自身参数(内参矩阵)和相机坐标系与机械臂末端坐标系的转换矩阵(外参矩阵)；

所述矩阵关系中像素坐标系上的点(u，v)与对应的世界坐标系的点(Xw,Yw,Zw)的关系如下：

其中，Z

第一项：

第二项：

第三项：X

相机的内参矩阵通过固定相机，移动标定板，拍摄不同位姿的标定板获得，本发明中视觉系统内参矩阵如下：

相机的外参矩阵通过固定标定板，移动相机，拍摄不同位姿的标定板获得，本发明中视觉系统外参矩阵为相机中心到机械臂第六轴末端法兰中心的位置转换关系，如下：

本明中Z

(3)待检测零件的中心位置和圆周方向进行定位；

移动机械臂使相机从上往下拍摄零件，对零件的中心位置和圆周方向进行准确定位。零件不动，检测系统进行移动。

确定中心位置：

检验方法1：在机械臂第六轴上安装百分表，机械臂第六轴运动到视觉测量得到的中心位置处，百分表的接触点抵靠在零件的内径上，然后第六轴做旋转运动，百分表示数波动在0.1mm以内，则说明中心位置测量准确。

表1百分表测量结果和视觉测量结果的中心位置对比

百分表的测量精度约±0.1mm，通过与视觉测量结果的比较可以确定视觉测量中心位置结果的准确性。

或检验方法2：通过视觉测量一个已知的固定位置零件，测量结果与已知的固定结果进行对比。

圆周方向：通过视觉测量一个已知方向的零件，视觉测量结果与已知的方向进行对比，误差在0.2°以内则结果准确。

(4)确定粘贴材料质量检测的检测标准；

如粘贴材料的几何形状，粘贴起始位置，粘贴高度和粘贴精度等，本发明中粘贴材料的几何形状为梯形，粘贴在圆形碗状零件的内表面上。

检测标准统一，若粘贴材料的所组成的是一个圆形，这个圆的外径大小和内径大小以及圆心位置都要限制在±0.4mm的误差范围内。这种标准是检测方法确定，可以根据需求进行更改。

(5)结合步骤(3)的零件定位和步骤(4)粘贴材料的检测标准设计算法流程和图像处理方法，对粘贴材料的粘贴质量进行检测。

算法流程为获取图像，转输中心位置和圆周方向上提取ROI，看胶层是否重叠，如果重叠为不合格胶层，不重叠的为合格胶层。然后合格胶层是否为16片，如果不为16片，则不合格；对有16片的胶层进行每一层胶层的检测，每一个步骤都正确，即为合格。

每层胶层的检测：首先检测胶层数量是否为16片，然后检测是否存在重叠的情况，最后循环检测每一片胶层的方向和位置是否正确，上下边缘是否在合格的范围之内。

图像处理步骤如图5所示，主要用到图像增强，图像分割，边缘检测，边缘拟合和坐标转换等方法，这些方法为常规方法。

首先检测胶层数量是否为16片，然后检测是否存在重叠的情况，最后循环检测每一片胶层的方向和位置是否正确，上下边缘是否在合格的范围之内。

优化方案中，步骤(3)中的中心位置和圆周方向测量需要使用步骤(2)中得到的矩阵关系，使图像上的像素点转换到世界坐标系中的空间点上去，具体步骤如下：

根据前面矩阵关系的描述中给出的矩形关系模型，可以通过以下计算过程精确得到Z

令内参矩阵

则上述公式为：

进一步：

令

则上述等式再进一步写为：

只观察上述等式左右两边的第三项，可得

则相机工作距离

因为Z

圆周方向定位要根据不同的零件设计不同的定位特征，如零件上的缺口、孔洞等；中心位置定位则要对零件的整体形状进行拟合。

拟合，以圆孔为例，圆孔是零件中部的圆形孔洞，然后在零件中部搜索轮廓，找到轮廓后可能是一段圆弧或者是多段圆弧，如果是多段圆弧，就把这些圆弧拼接起来，拼接成一个圆弧，然后采用拟合圆的函数将弧形轮廓拟合成圆。

试验一

根据实施例1和2中方法，检测对象1为圆形的碗状零件，检测它的中心位置和圆周方向；检测对象2为零件曲面上粘贴的梯形材料。

图6和图7中所示，检测的零件为最外圈圆形碗状零件，外径330mm，内径312mm；粘贴材料为绿色边线勾勒的梯形材料，粘贴在碗状零件的内表面上；检测指标为图中编号的16片梯形材料，粘贴角度误差±1°(第一片材料的圆周方向与零件本身的圆周方向比较)，粘贴位置误差±0.4mm(粘贴材料的外径与实际要求粘贴外径的差值距离)。

试验二 检测方法的重复性和准确性

根据实施例1和2中检测方法，不改变光照的情况下，只改变零件的位置，旋转零件的方向，进行多次重复检测，每一次检测的结果显示一致。处理过程中的图像如图9-图15，具体步骤如下：

(1)根据零件边缘测量中心位置，如图9所示；

(2)根据中心位置和零件特征确定圆周方向，如图10所示；

(3)根据中心位置和圆周方向提取需要进行质量检测的主要区域，如图11所示；

(4)通过阈值处理对胶层进行分割，检测是否为16片胶层且无重叠，如图12所示；

(5)提取胶层轮廓，如图13所示；

(6)根据检测精度生产合格检测区域，如图14所示，即胶层的边缘要在合格区域以内才算合格，对胶层的内径也同理；

(7)如图15所示，当边缘在合格区域内即此片合格，全部16片合格则整个粘贴合格。

从图9到图15中可以得到，在光照稳定的情况下，本发明中检测方法的重复性和准确性很好。

上述实施/试验例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。