图像复检方法、计算机装置及存储介质

技术领域

本申请涉及印刷电路板检测领域，尤其涉及一种图像复检方法、计算机装置及存储介质。

背景技术

印刷电路板(Printed Circuit Board，PCB)在制成过程中大多利用自动光学检测(Automated Optical Inspection，AOI)设备进行检测，从而判断PCB是否为含偏位、缺件、少锡、多锡等缺陷组件的不良品。通常，由于被AOI设备判断为不良品的PCB会出现大量假缺陷的情况，即AOI设备很难将实际上只占少数的不良品进行精确地检出，工作人员往往需要对被AOI设备判断为不良品的PCB进行人工复检，耗费大量人力和时间。

发明内容

鉴于以上内容，有必要提供一种图像复检方法、计算机装置及存储介质，能够基于计算机视觉图像处理技术对被自动光学检测AOI设备判断为不良品的印刷电路板PCB进行复检，降低人工复检工作量，提高检测效率和准确性。

所述图像复检方法包括：获得待测图像以及所述待测图像的图像信息，所述待测图像在至少一次的检测中被识别为瑕疵图像；利用人工智能程序对所述待测图像的图像信息进行解析，获得所述待测图像的参数；利用预先训练得到的图像复检模型，基于所述待测图像的参数对所述待测图像进行复检，获得待测图像的复检结果；当所述复检结果指示所述待测图像存在瑕疵时，上传所述待测图像至所述计算机装置中预先建立的图像复检系统；通过所述图像复检系统将所述待测图像分发至指定用户，接收所述指定用户对所述待测图像的标记；及根据所述待测图像的标记反馈对所述待测图像的最终检测结果。

可选地，所述待测图像为印刷电路板PCB图像，所述方法利用自动光学检测AOI设备扫描PCB获得所述待测图像，并利用所述AOI设备将所述待测图像保存在预设的路径中。

可选地，所述方法还包括获得所述待测图像中所述PCB的信息。

可选地，所述方法还包括：获取预设数量的无瑕疵的PCB图像；对所述预设数量的无瑕疵的PCB图像进行图像处理；及利用处理后的所述无瑕疵的PCB图像训练神经网络，获得所述图像复检模型。

可选地，所述方法还包括：利用所述人工智能程序将所述待测图像的参数输入所述图像复检模型。

可选地，所述方法还包括：基于所述待测图像的参数，利用所述图像复检模型获得所述待测图像。

可选地，所述方法还包括：利用所述图像复检模型将所述待测图像的参数和所述复检结果输入所述人工智能程序；及利用所述人工智能程序将所述待测图像的参数和所述复检结果保存在预先建立的数据库中。

可选地，所述待测图像的最终检测结果包括：所述待测图像为无瑕疵图像，或者所述待测图像为瑕疵图像。

所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现所述图像复检方法。

所述计算机装置包括存储器和至少一个处理器，所述存储器中存储有至少一个指令，所述至少一个指令被所述至少一个处理器执行时实现所述图像复检方法。

相较于现有技术，所述图像复检方法、计算机装置及存储介质，能够基于计算机视觉图像处理技术对被AOI设备判断为不良品的PCB进行复检，降低人工复检工作量，提高检测效率和准确性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是本申请较佳实施例的图像复检方法的流程图。

图2是本申请较佳实施例的计算机装置的架构图。

主要元件符号说明

如下具体实施方式将结合上述附图进一步说明本申请。

具体实施方式

为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施例对本申请进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本申请，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。

参阅图1所示，为本申请较佳实施例的图像复检方法的流程图。

在本实施例中，所述图像复检方法可以应用于计算机装置(例如图2所示的计算机装置3)中，对于需要进行图像复检的计算机装置，可以直接在计算机装置上集成本申请的方法所提供的用于图像复检的功能，或者以软件开发工具包(Software DevelopmentKit，SDK)的形式运行在计算机装置上。

如图1所示，所述图像复检方法具体包括以下步骤，根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。

步骤S1、计算机装置获得待测图像以及所述待测图像的图像信息，所述待测图像在至少一次的检测中被识别为瑕疵图像。

在一个实施例中，所述待测图像为印刷电路板(Printed Circuit Board，PCB)图像，所述方法利用自动光学检测(Automated Optical Inspection，AOI)设备扫描PCB获得所述待测图像，并利用所述AOI设备将所述待测图像保存在预设的路径中。

需要说明的是，所述AOI设备是一种可以基于光学原理对产品例如PCB进行扫描并对常见缺陷进行检测的设备。

在一个实施例中，所述PCB可以来自不同的生产线，所述生产线是指生产所述PCB所需的多台设备组成的流水线，所述多台设备依照PCB制造工序的先后顺序安置，形成一条生产线。例如，所述多台设备可以包括上板机、焊膏印刷机、高速贴片机、高精度贴片机、回流炉等，上板机为制造PCB的第一道工序所需设备，其他设备依序安置在上板机之后，回流炉安置在生产线最后的位置。所述生产线可以用不同的编号加以区分，例如，可以用有序的两位数字将不同的生产线进行编号为01、02等。

在一个实施例中，利用AOI设备对生产线生产的PCB进行扫描和检测时，采取一对一的模式，一台AOI设备对应一条生产线。可以同时利用多台(例如，20台)AOI设备对多条(例如，20台)生产线生产的PCB进行扫描并检测所述PCB的图像，获得所述PCB的图像的检测结果。例如，可以用AOI+有序的三位数字的格式将不同的AOI设备编号为AOI001，AOI002等，可以将AOI001安置在01号生产线的回流炉后方，利用AOI001对01号生产线生产的PCB进行扫描并进行检测；同时将AOI002安置在02号生产线的回流炉后方，利用AOI002对02号生产线生产的PCB进行扫描并进行检测。

在一个实施例中，所述AOI设备对所述PCB的图像进行检测，获得的检测结果包括：所述PCB的图像为瑕疵图像，所述PCB的图像为无瑕疵图像。所述瑕疵图像为被所述AOI设备判断为含瑕疵的PCB的图像，例如，AOI设备将含偏位、缺件、少锡、多锡等缺陷组件的PCB的图像判断为瑕疵图像。

在一个实施例中，所述待测图像为被AOI设备检测为瑕疵图像的PCB的图像，所述待测图像为待复检的图像。

在一个实施例中，所述AOI设备只对所述待测图像进行保存，并将所述待测图像保存在预设的路径中，例如，编号为AOI001的AOI设备可以将检测得到的所述待测图像保存在本地路径中预先建立的文件夹Download001中。

在一个实施例中，计算机装置获得所述待测图像中所述PCB的信息。

在一个实施例中，所述PCB的信息包括所述PCB的产品编号。具体地，可以用有序的四位数字将不同的PCB编号为PCB0001，PCB0002等。

在一个实施例中，所述PCB的信息还包括生产所述PCB的生产线的信息，例如，编号为PCB0001的PCB对应的生产线为01号生产线。

在一个实施例中，所述PCB的信息还包括生产所述PCB的时间，例如，编号为PCB0001的PCB的生产时间为09:30:05。需要说明的是，所述时间还可以包含年、月、日等信息，在举例时不对其进行赘述。

在一个实施例中，所述待测图像的图像信息包括与所述待测图像对应的AOI设备的机台信息，例如，编号为AOI001的AOI设备将编号为PCB0001的PCB的图像判断为待测图像，则与编号为PCB0001的PCB的待测图像对应的AOI设备的机台信息为AOI001。

在一个实施例中，所述待测图像的图像信息还包括所述待测图像的名称，例如，编号为AOI001的AOI设备将编号为PCB0001的PCB的图像作为待测图像进行保存时，可以将该待测图像命名为PCB0001.jpg。需要说明的是，当以PCB的编号作为对应的PCB的待测图像的名称时，所述待测图像的名称可以不必在所述待测图像的图像信息中进行保存，之后不再对其进行赘述。

在一个实施例中，所述待测图像的图像信息还包括所述待测图像的存储路径，例如，编号为AOI001的AOI设备将待测图像PCB0001.jpg保存在文件夹Download001中。

在一个实施例中，所述AOI设备将所述待测图像的相关数据保存在预设的路径中，例如，编号为AOI001的AOI设备可以用可扩展标记语言(XML)对所述待测图像的相关数据进行标记和定义，并将得到的“.xml”格式的文件保存在本地路径中，将其命名为File001.xml。在其他实施例中，还可以将所述待测图像的相关数据用“.txt”格式的文档进行保存。

需要说明的是，以单独一台AOI设备举例，例如，对编号为AOI001的AOI设备来说，可以只生成一个文件夹Download001保存待测图像，可以只生成一个文件File001.xml(或File001.txt)保存待测图像的相关数据。此时与所述待测图像对应的AOI设备的机台信息可以不必在所述待测图像的图像信息中进行保存，之后不再对其进行赘述。

在一个实施例中，文件File001.xml可以保存编号为AOI001的AOI设备得到的多张(例如，300张)待测图像的相关数据，编号为AOI001的AOI设备可以在文件File001.xml中对待测图像的相关数据中的各个信息进行标记和定义，对每张待测图像的相关数据进行对应保存。例如，编号为AOI001的AOI设备可以按照获得每张待测图像的时间顺序，将每张待测图像的相关数据依序(例如，从左到右或从上至下)保存在文件File001.xml中的一列或一行中。需要说明的是，每张待测图像的所述相关数据中的各个信息被保存在一行或一列中时，可以是无序的。

步骤S2、计算机装置利用人工智能程序对所述待测图像的相关数据进行解析，获得所述待测图像的参数。

在一个实施例中，计算机装置可以利用人工智能(Artificial Intelligence，AI)程序获取所述待测图像的相关数据，对所述待测图像的相关数据进行解析，获得所述待测图像的参数。例如，利用AI程序获取文件File001.xml，所述文件File001.xml保存着利用编号为AOI001的AOI设备得到的待测图像的相关数据。利用AI程序将文件File001.xml中的XML格式的相关数据解析为数据库(例如SQL Server)参数，将所述数据库参数导入数据库进行保存。需要说明的是，所述AI程序可以同时获取多个文件并同时对该多个文件进行解析，当AI程序获得的文件为“.txt”格式的File001.txt时，可以将File001.txt转换成其他格式(例如“.xml”格式)的文件，再对转换后的文件中的数据进行解析。

在一个实施例中，所述待测图像的参数即所述待测图像的图像信息和所述PCB的信息，例如，编号为PCB0001的PCB的图像为待测图像，其参数为：Download001(PCB的图像的存储路径)，01(PCB的生产线)，PCB0001(PCB的编号)，09:30:05(PCB的生产时间)。需要说明的是，所述待测图像的参数的格式为数据库参数。

在一个实施例中，计算机装置利用AI程序将所述待测图像的参数导入数据库后，数据库会对所述待测图像的参数进行识别并解析，以及依照预设的规则将解析后的所述待测图像的参数进行排序。例如，所述预设的规则可以是：参数一为PCB的生产时间，参数二为PCB的生产线，参数三为待测图像的存储路径，参数四为PCB的编号。举例来说，编号为PCB0001的PCB的图像为待测图像，SQL Server可以将此待测图像的参数对应排序为：09:30:05，01，Download001，PCB0001。

在一个实施例中，计算机装置利用所述AI程序将所述参数输入所述图像复检模型。例如，AI程序调用应用程序编程接口(Application Programming Interface，API)，将所述待测图像的参数传入所述图像复检模型。需要说明的是，所述图像复检模型接收到所述AI程序通过调用API传入的待测图像的参数时，同时接收到执行图像复检的指令，进行图像复检。

步骤S3、计算机装置利用预先训练得到的图像复检模型基于所述待测图像的参数对所述待测图像进行复检，获得待测图像的复检结果。

在一个实施例中，所述预先训练得到的图像复检模型是指：计算机装置获取预设数量的无瑕疵的PCB图像；对所述预设数量的无瑕疵的PCB图像进行图像处理；及利用处理后的所述无瑕疵的PCB图像训练神经网络，获得所述图像复检模型。

在一个实施例中，所述预设数量的无瑕疵的PCB图像可以是少量(例如，200张)无瑕疵的PCB图像。需要说明的是，由于实际生产过程中PCB的含瑕疵率较低，能够轻易获得大量无瑕疵的PCB图像，可以由工作人员利用步骤S4中的所述预先建立的图像复检系统获得所述预设数量的无瑕疵的PCB图像。

在一个实施例中，所述对所述预设数量的无瑕疵的PCB图像进行图像处理包括：对所述无瑕疵的PCB图像的像素进行分析，计算所述图像的RGB(红(R)、绿(G)、蓝(B))与灰度，将所述图像中像素相近的区域划分同一区域，将图像分隔成不同的区域，定位PCB的各组件在所述图像中的位置，框选出所述各组件所在的区域，利用模糊算法对所述各区域的图像进行降噪，将不重要的区域剔除。需要说明的是，对所述预设数量的无瑕疵的PCB图像进行图像处理所用的方法，均为图像处理领域的常用方法，具体过程在此不再进行赘述。

在一个实施例中，所述神经网络可以是卷积神经网络(Convolutional NeuralNetworks,CNN)，计算机装置可以利用所述预设数量的无瑕疵的PCB图像训练CNN生成所述图像复检模型。在一个实施例中，可以将所述图像复检模型进行复制，安装在与每条生产线对应的AOI设备中，检测对应的AOI设备获得的待检测图像。在一个实施例中，安装在不同AOI设备中的不同图像复检模型之间没有任何差异，可以被复制安装在不同种类的AOI设备之中运行。

在一个实施例中，计算机装置基于所述待测图像的参数，利用所述图像复检模型获得所述待测图像。

在一个实施例中，所述图像复检模型可以基于参数三例如Download001确定所述待测图像的存储路径例如为文件夹Download001，基于参数四例如PCB0001确定所述待测图像的图像名称为例如PCB0001.jpg，将存储路径如文件夹Download001中的图像例如PCB0001.jpg复制到本地路径，获得所述待测图像。

在一个实施例中，所述图像复检模型实质上是一个图像瑕疵检测模型，利用所述图像复检模型对所述待测图像进行复检，即是对所述待测图像进行瑕疵检测。所述图像复检模型可以确定所述待测图像中PCB板中各组件的所在区域，与PCB的无瑕疵图像的对应区域进行比对，按照预设的规则(例如，像素均方误差是否达到预设的阈值)获得所述待测图像的复检结果。

在一个实施例中，所述待测图像的复检结果包括：所述待测图像为存在瑕疵的图像，所述待测图像为不存在瑕疵的图像。需要说明的是，由于AOI设备的缺陷性，所述待测图像中仅有少部分(例如占比4％)的图像为实际上存在瑕疵的图像。利用图像复检模型对所述待测图像进行复检，可以将实际上存在瑕疵的图像从所述待测图像中检出。

在一个实施例中，计算机装置可以利用所述图像复检模型将所述待测图像的参数和所述复检结果输入所述AI程序；以及利用所述AI程序将所述待测图像的参数和所述复检结果保存在预先建立的数据库(例如SQL Server)中。

步骤S4、当所述复检结果指示所述待测图像存在瑕疵时，计算机装置上传所述待测图像至所述计算机装置中预先建立的图像复检系统。

在一个实施例中，所述图像复检系统可以基于所述瑕疵图像的参数获取所述待测图像。

在一个实施例中，所述图像复检系统可以从所述数据库中获取所述复检结果为存在瑕疵的待测图像的参数，将所述待测图像显示在所述图像复检系统的界面中。例如，图像复检系统识别到数据库中编号为PCB0001的PCB的图像的复检结果为存在瑕疵后，可以基于编号为PCB0001的PCB的图像的参数三Download001确定所述待测图像的存储路径为文件夹Download001，基于编号为PCB0001的PCB的图像的参数四PCB0001确定所述待测图像的图像名称为PCB0001.jpg，将文件夹Download001中的图像PCB0001.jpg显示在系统的界面中。例如，所述界面可以按页显示所述复检结果为存在瑕疵的待测图像，所述界面可以每页显示5张所述待测图像，共20页，第20页可以显示少于5张的所述待测图像。

步骤S5、计算机装置通过所述图像复检系统将所述待测图像分发至指定用户，接收所述指定用户对所述待测图像的标记，根据所述待测图像的标记反馈对所述待测图像的最终检测结果。

在一个实施例中，所述图像复检系统可以将所述复检结果为存在瑕疵的待测图像分发给不同的指定用户，由所述指定用户对所述待测图像进行标记，所述用户为有权限登录所述图像复检系统进行操作的工作人员。例如，所述图像复检系统可以根据所述待测图像的类型，将待测图像分发至与所述待测图像类型相对应的用户；也可以是随机分发；也可以是根据用户当前待处理的图像数量(例如，未进行标记的待测图像的数量)进行分发，直至将所有待测图像分发完毕。

在一个实施例中，所述待测图像的最终检测结果包括：所述待测图像为无瑕疵图像，或者所述待测图像为瑕疵图像。

在一个实施例中，所述指定用户通过不同的按钮或图标对所述待测图像进行标记，确定所述待测图像的所述最终检测结果。例如，工作人员可以登入所述图像复检系统，在所述图像复检系统的界面上对所述待测图像进行标记，每张待测图像下方可以有两个可供选择的按钮：“pass”和“ng”，用“pass”按钮标记无瑕疵图像，用“ng”按钮标记瑕疵图像。当工作人员确定这张待测图像为无瑕疵图像时，可以点击“pass”按钮将其标记，或者当工作人员确定这张待测图像为瑕疵的图像时，可以点击“ng”按钮将其标记。需要说明的是，步骤S2中获取的所述预设数量的无瑕疵的PCB图像，即是利用此处所述方法获得的被工作人员用“pass”按钮标记的图像。

在一个实施例中，计算机装置可以利用所述图像复检系统将被标记为“pass”和“ng”的图像进行分别保存。

在其他的实施例中，在所有所述复检结果为存在瑕疵的待测图像被工作人员标记后，计算机装置将被标记为“ng”的所述待测图像显示在所述图像复检系统的界面中，并在所述待测图像的下方显示所述待测图像的参数。例如，当编号为PCB0001的PCB的图像被工作人员标记为“ng”后，可以将PCB0001.jpg显示在界面中，并在PCB0001.jpg下方显示09:30:05，01，Download001，PCB0001，便于工作人员对生产PCB0001的01号生产线中的设备进行检查和调整。

上述图1详细介绍了本申请的图像复检方法，下面结合图2，对实现所述图像复检方法的硬件装置架构进行介绍。

应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。

参阅图2所示，为本申请较佳实施例提供的计算机装置的结构示意图。在本申请较佳实施例中，所述计算机装置3包括存储器31、至少一个处理器32、显示器33。本领域技术人员应该了解，图2示出的计算机装置的结构并不构成本申请实施例的限定，既可以是总线型结构，也可以是星形结构，所述计算机装置3还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置。

在一些实施例中，所述计算机装置3包括一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的终端，其硬件包括但不限于微处理器、专用集成电路、可编程门阵列、数字处理器及嵌入式设备等。

需要说明的是，所述计算机装置3仅为举例，其他现有的或今后可能出现的电子产品如可适应于本申请，也应包含在本申请的保护范围以内，并以引用方式包含于此。

在一些实施例中，所述存储器31用于存储程序代码和各种数据，并在计算机装置3的运行过程中实现高速、自动地完成程序或数据的存取。所述存储器31包括只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子擦除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者任何其他能够用于携带或存储数据的计算机可读的存储介质。

在一些实施例中，所述至少一个处理器32可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述至少一个处理器32是所述计算机装置3的控制核心(Control Unit)，利用各种接口和线路连接整个计算机装置3的各个部件，通过运行或执行存储在所述存储器31内的程序代码或者模块，以及调用存储在所述存储器31内的数据，以执行计算机装置3的各种功能和处理数据，例如执行图像复检的功能。

在一些实施例中，结合图1，所述计算机装置3中的所述存储器31存储计算机可读指令实现一种图像复检方法，所述处理器32可执行所述计算机可读指令从而实现所述图像复检方法。

在一些实施例中，所述显示器33可以为能进行触屏操作的能呈现图像的显示装置，例如，显示器33可以用于显示所述图像复检系统的界面。

尽管未示出，所述计算机装置3还可以包括给各个部件供电的电源(比如电池)，优选的，电源可以通过电源管理装置与所述至少一个处理器32逻辑相连，从而通过电源管理装置实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述计算机装置3还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。

应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

最后所应说明的是，以上实施例仅用以说明本申请的技术方案而非限制，尽管参照以上较佳实施例对本申请进行了详细说明，本领域的普通技术人员应当理解，可以对本申请的技术方案进行修改或等同替换，而不脱离本申请技术方案的精神和范围。