一种基于机器视觉的分布式PCB缺陷智能检测系统

技术领域

本发明属于PCB板检测技术领域，更具体地，涉及一种基于机器视觉的分布式PCB缺陷智能检测系统。

背景技术

PCB板行业进入自动化且高效率的时代，随着制作精度的提高以及数量的大规模增长，人工质检的方法成本高、检测效率低，已经跟不上时代发展的步伐。人工质检采用放大镜检测的方法，工人在此过程中必须保持长时间的高度集中状态，不仅效率低下，而且极易出现漏检、错检的情况，长此以往也会对工人身体健康带来严重损伤。现如今许多PCB检测技术都已兴起，在计算机视觉技术和人工智能快速发展的推动下，各种检测算法如机器学习、深度学习、图像处理等均具有良好的效果。

虽然现阶段存在的PCB检测技术能够解决人工质检效率低下、错检或漏检的问题，其所用的算法不一，但都能够实现快速准确的电路板检测，且提高了电路板缺陷检测的效率与检测精度，然而，这些PCB检测技术仍然存在着如下问题。

1、技术适用面窄，现有方法仅能够识别出待测电路板与标准电路板电阻值、电容值的不同，而不能完整检测出其余4种缺陷类型(短路、断路、缺陷、毛刺)，技术适用面窄，无法通过一个系统得出电路板所有缺陷的检测结果。

2、其采用单机系统，所有操作均在同一处理器上进行，给处理器带来了较大的处理压力，长此以往会造成机器的崩溃，系统的稳定性不高；而且所采集到的数据未能实现共享，浪费了宝贵的数据资源。

3、无法实现可视化操作并对检测过程进行跟踪，其虽然找到了电路板的缺陷，但是未能通过高清显示屏等方式将缺陷的位置在图像上标注出来，不便于后续的操作，若检测结果精度较低，无法准确判断哪个模块的工作出了问题，也不便于后续系统的维护与完善。

4、光源设备和拍照设备由于其自身原因，可能导致拍摄的图像会产生光照不均匀、图像模糊等问题，影响检测效果。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于机器视觉的分布式PCB缺陷智能检测系统，其目的在于，解决现有PCB检测技术存在的适用面窄的技术问题，以及由于采用单机系统，所有操作均在同一处理器上进行，导致给处理器带来了较大的处理压力、系统稳定性不高的技术问题，以及由于所采集到的数据未能实现共享，导致浪费数据资源的技术问题，以及无法通过高清显示屏等方式将缺陷的位置在图像上标注出来，不便于后续操作的技术问题，以及在检测结果精度较低时，无法准确判断故障模块、不便于后续系统维护与完善的技术问题，以及由于光源设备和拍照设备拍摄的图像会产生光照不均匀、图像模糊等问题，导致影响检测效果的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于机器视觉的分布式PCB缺陷智能检测系统，包括黑箱、多个终端处理器、高清显示屏、以及服务器，其中黑箱与终端处理器和服务器电连接，并由终端服务器进行控制，黑箱中安装有摄像头、载物平台和光源，载物平台用于拖载PCB板从等待区进入到检测区，且保证PCB板在移动过程中保持平稳状态；

摄像头用于在光源均匀打光的配合下，对载物平台上的待检测PCB板进行拍照处理，以获取该待检测PCB板的表面图像，并将该待检测PCB板的表面图像传送到服务器进行处理；

终端处理器用于对来自摄像头的待检测PCB板的表面图像进行预处理，以得到预处理后的图像，并将预处理后的图像传送到服务器。

服务器用于对来自终端处理器预处理后的图像进行处理，以判断该图像对应的PCB板是否存在缺陷，如果存在缺陷，则在有缺陷的图像中标记缺陷的位置，并统计缺陷的数量，并在高清显示屏上进行显示。

优选地，服务器对来自终端处理器预处理后的图像进行处理，以判断该图像对应的PCB板是否存在缺陷，如果存在缺陷，则在有缺陷的图像中标记缺陷的位置，并统计缺陷的数量，并在高清显示屏上进行显示这一过程具体包括以下子步骤：

(1)服务器对来自终端处理器预处理后的图像进行灰度化处理，以得到灰度图像。

(2)服务器将步骤(1)得到的灰度图像和标准灰度图像进行图像配准，以得到第一图像和第二图像，并对步骤(1)得到的灰度图像进行同态滤波处理，以得到第三图像；

(3)服务器对步骤(2)得到的第一图像、第二图像和第三图像分别先后进行二值化处理和腐蚀处理，以得到处理后的第一图像aa、处理后的第二图像bb、以及处理后的第三图像cc。将步骤(1)得到的灰度图像先后进行同态滤波、二值化、腐蚀处理，以得到第四图像dd。

(4)服务器获取第一图像aa、第二图像bb、第三图像cc、第四图像dd对应的连通量aa2、bb2、cc2、dd2，并根据得到的第一图像aa、第二图像bb、第三图像cc、第四图像dd的连通量aa2、bb2、cc2、dd2分别获取对应的欧拉数aa1、bb1、cc1、以及dd1。

(5)服务器根据步骤(5)得到的第一图像aa对应的连通量aa2和欧拉数aa1、第二图像bb对应的连通量bb2和欧拉数bb1、第三图像cc对应的连通量cc2和欧拉数cc1、第四图像dd对应的连通量dd2和欧拉数dd1获取PCB板的缺陷及其数量；

(6)服务器将步骤(5)获取的PCB板的缺陷和数量通过高清显示屏进行显示，并在来自终端处理器预处理后的图像中标定出这些缺陷所在的位置。

优选地，标准灰度图像是PCB板无缺陷时的灰度图像；

优选地，步骤(2)中的图像做差处理，是对两张灰度图像对应的每一个像素点的像素值进行相减，如果结果小于0，则结果为0；

第一图像是通过将标准灰度图像与步骤(1)得到的灰度图像作差得到的；

第二图像是通过将步骤(1)得到的灰度图像作差与标准灰度图像作差得到的。

优选地，当某个图像中若干个相连的像素点的像素值均为255时，则该区域是一个连通区域；

当某个区域中若干个相连的像素点的像素值均为255时，则该区域是一个孔洞；

连通量是图像中包括的连通区域的数量；

孔洞数是图像中包括的孔洞数量；

欧拉数是将连通量与孔洞数二者进行相减得到。

优选地，PCB板的缺陷包括断路数、缺损数、短路数、以及毛刺数。

优选地，断路数等于dd1–aa1，缺损数等于aa2–(dd1–aa1)，短路数等于bb1–cc1，毛刺数等于cc2–(bb1–cc1)。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)由于本发明采用分布式结构，改变使用单机系统进行PCB板检测的结构，将控制任务和检测任务分开进行，由终端处理器负责控制黑箱模型中的元器件，并拍摄PCB板的表面图像，将图像数据传输给服务器。服务器先对原图像数据进行一系列预处理后，对图像数据进行缺陷检测，标注出缺陷所在位置，检测结果将显示在软件界面上，并保存在服务器本地。各终端之间可通过服务器进行数据分享，且各终端在执行任务时互不干扰，按照系统的设计，每一条流水线上只需要一位工作人员负责在终端处理器上调整黑箱参数，自动拍摄PCB板的表面图像，传输给服务器，即可完成单次检测任务，大大减少工人的工作量，降低了成本。

(2)本发明通过使用服务器和高清显示屏提供的UI界面，使图像处理可视化，能够将识别结果显示在显示屏上，且将每一个步骤都显示在UI上，使流程透明化，因此能够解决现有PCB板缺陷识别方法存在的无法跟踪检测过程的问题。

(3)由于本发明采用了步骤(2)，能够解决因光源设备在照明时PCB表面光照出现高光的问题，使PCB板的表面图像光照均匀，细节清晰，从而提高检测效率和检测精度。

(4)由于本发明采用了步骤(3)，能够去除对象边界的某些相关度较低的像素，消除成像干扰带来的粘合像素点，使PCB图像线路清晰、细节分明。

(5)由于本发明采用了步骤(5)和步骤(6)，能够准确定位并标记出缺陷所在位置，并识别出该缺陷的类型，因此能够解决现有PCB板缺陷识别方法存在的识别和定位不准确，且识别缺陷类型单一的技术问题。

附图说明

图1是本发明基于机器视觉的分布式PCB缺陷智能检测系统的总体示意图；

图2是本发明基于机器视觉的分布式PCB缺陷智能检测系统的分布式结构示意图；

图3是本发明基于机器视觉的分布式PCB缺陷智能检测系统实现检测过程的整体流程图：

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明公开了一种基于机器视觉的分布式PCB缺陷智能检测系统，包括黑箱、多个终端处理器、高清显示屏、以及服务器。由于本发明采用分布式架构，黑箱与终端处理器和服务器电连接，并由终端服务器进行控制，通过网络与服务器进行连接。

黑箱中安装有摄像头、载物平台和光源，载物平台用于拖载PCB板从等待区进入到检测区，且保证PCB板在移动过程中保持平稳状态；

摄像头用于在光源均匀打光的配合下，对载物平台上的待检测PCB板进行拍照处理，以获取该待检测PCB板的表面图像，并将该待检测PCB板的表面图像传送到服务器进行处理；

终端处理器用于对来自摄像头的待检测PCB板的表面图像进行预处理，以得到预处理后的图像，并将预处理后的图像传送到服务器。预处理操作包括使用中值滤波消除因硬件产生的噪声、提高图像对比度、图像锐化突出特定的细节等等，保证传输给服务器的图像质量高、细节分明。

服务器用于对来自终端处理器预处理后的图像进行处理，以判断该图像对应的PCB板是否存在缺陷，如果存在缺陷，则在有缺陷的图像中标记缺陷的位置，并统计缺陷的数量，并在高清显示屏上进行显示。

黑箱是使用黑色木板作为外壳，木板采用可降低散光涂料涂制，使得黑箱内漫反射更均匀，光源照明更为均衡，提高拍摄图像的质量。模型内右侧置安放一个亮度可调节的机器视觉光源作为辅助检测光源，使得相机捕捉图像的时候打光更均匀、对比度更稳定。黑箱内左侧安放高清摄像头用于拍摄PCB板表面图像。采用步进电机的丝杆滑台模组作为传动装置，在滑块上安装一个载物平台用来放置PCB板，电机控制丝杆转动，丝杆的转动带动滑块移动，从而使得载物平台跟随滑块移动，将平台上的待检测的电路板送入或送出。终端处理器使用微型单片机处理器，用于对整个硬件模型进行控制，调整参数，并将拍摄到的图像数据传输至服务器。服务器上对传输来的图像数据进行检测，先对原图像数据进行一系列预处理后，标注出缺陷所在位置，比较原图像和标准图像得欧拉数和面积的变化对缺陷的类型进行识别，检测结果将显示在软件界面上，并保存在服务器本地。

服务器对来自终端处理器预处理后的图像进行处理，以判断该图像对应的PCB板是否存在缺陷，如果存在缺陷，则在有缺陷的图像中标记缺陷的位置，并统计缺陷的数量，并在高清显示屏上进行显示这一过程包括以下子步骤：

(1)服务器对来自终端处理器预处理后的图像进行灰度化处理，以得到灰度图像。

(2)服务器将步骤(1)得到的灰度图像和标准灰度图像进行图像配准(即将标准灰度图像与步骤(1)得到的灰度图像作差)，以得到第一图像和第二图像，并对步骤(1)得到的灰度图像进行同态滤波处理，以得到第三图像；

具体而言，本步骤中的标准灰度图像，是PCB板无缺陷时的灰度图像。

本步骤中，将标准灰度图像与步骤(1)得到的灰度图像作差，得到的是第一图像，将步骤(1)得到的灰度图像作差与标准灰度图像作差，得到的是第二图像。

图像做差，即是对两张灰度图像对应的每一个像素点的像素值进行相减，如果结果小于0，则结果为0。

同态滤波用于使图像光照均匀，消除高光部分，起到图像增强的作用。

(3)服务器对步骤(2)得到的第一图像、第二图像和第三图像分别先后进行二值化处理和腐蚀处理，以得到处理后的第一图像aa、处理后的第二图像bb、以及处理后的第三图像cc。将步骤(1)得到的灰度图像先后进行同态滤波、二值化、腐蚀处理，以得到第四图像dd。

具体而言，本步骤中对图像进行腐蚀处理，腐蚀相当于一个综合查找与删除的过程，利用所选取的某种结构元素作为模板，利用模板在图像中遍历各个像素点，首先找到能够放置该元素的区域，再删除对象边界的某些像素。

去除对象边界的某些相关度较低的像素是腐蚀的最终处理效果和目的。值得注意的是，腐蚀的效果很大程度上受结构元素的尺寸影响。比如在PCB板二值图像的处理中，较小的结构元素选取可以适当地消除干扰的线路边缘斑点，而较大地结构元素能够分离出近邻孔洞，从而消除成像干扰带来的粘合像素点。

(4)服务器获取第一图像aa、第二图像bb、第三图像cc、第四图像dd对应的连通量aa2、bb2、cc2、dd2，并根据得到的第一图像aa、第二图像bb、第三图像cc、第四图像dd的连通量aa2、bb2、cc2、dd2分别获取对应的欧拉数aa1、bb1、cc1、以及dd1。

在模式识别和机器视觉领域，图像的拓扑属性对于形状匹配和物体识别是极其有用的图像特征。欧拉数(E)是二值图像的拓扑属性之一，它被定义为连通量(N)和孔洞数(H)之差:

E＝N-H

具体算法是，读取一张二值图像，像素值为255是线路，像素值为0是背景，当该二值图像中若干个相连的像素点的像素值均为255时，则该区域是一个连通区域。当某个区域中若干个相连的像素点的像素值均为255时，则该区域是一个孔洞，某个二值图像中包括的连通区域的数量就是连通量，某个二值图像中包括的孔洞数量就是孔洞数，将二者进行相减即可得到这幅图像的欧拉数。

(5)服务器根据步骤(5)得到的第一图像aa对应的连通量aa2和欧拉数aa1、第二图像bb对应的连通量bb2和欧拉数bb1、第三图像cc对应的连通量cc2和欧拉数cc1、第四图像dd对应的连通量dd2和欧拉数dd1获取PCB板的缺陷及其数量；

具体而言，PCB板的缺陷包括断路数、缺损数、短路数、以及毛刺数，断路数等于dd1–aa1，缺损数等于aa2–(dd1–aa1)，短路数等于bb1–cc1，毛刺数等于cc2–(bb1–cc1)。

(6)服务器将步骤(5)获取的PCB板的缺陷和数量通过高清显示屏显示给用户，并在来自终端处理器预处理后的图像中标定出这些缺陷所在的位置。

本发明基于机器视觉的分布式PCB缺陷智能检测系统如图1所示，PCB板在等待区摆放好之后，终端处理器控制载物平台将电路板传输到黑箱中进行拍摄。黑箱能够有效屏蔽外在光线，内置光源均匀打光，使得摄像头能够拍摄到高质量的PCB板图像。拍摄到的图像会先由终端软件进行处理，将初步处理后的图像发送至搭载核心算法的服务器再次处理，从而检测出PCB板的缺陷部分，并将缺陷数量、类型以及位置显示在高清显示屏上。

分布式结构如图2所示。拍摄到的图像先由终端进行预处理，再交由高性能服务器检测得出最后的处理结果。一方面，若某个终端出现故障，系统仍能正常运行。另一方面，任务不会集中在某个终端上，造成运算量过大，处理速度过慢的问题。与此同时数据能够在各终端上共享，检测的数据能够改善我们的训练模型，更能适应实际需求，具有较强的可移植性。

本发明图像总体算法如图3所示。使用同态滤波算法，同态滤波算法是在频率上与灰度变换相结合，依据图像的光照均匀程度、灰度均匀程度和图像清晰度等，结合反射率、光照度模型作为频域处理的基础，再对图像进行对比度增强或者灰度压缩实现灰度的校正。将一幅图像的像素值当做照射分量和反射分量的乘积，降低图像的照度分量并增强反射分量，就可使图像的阴影区细节得到增强，照明分布变得更加均匀。由欧拉数对PCB缺陷种类进行定义，当PCB板线路出现短路和毛刺时，由于其多出的余铜或异物，二值化处理后区域像素较正常时增多；当PCB板线路出现断路和缺损时，线路或焊盘较正常时少铜，二值化处理后区域像素较正常时减少。由此可得出以下定义：相对标准图像而言，当二值待测图像的面积增加，欧拉数减小为短路；当二值待测图像的面积减小，欧拉数增加为断路；当二值待测图像的面积增加，欧拉数不变为毛刺；当二值待测图像的面积减小，欧拉数不变为缺损。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。