一种电路板缺陷检测定位方法、装置和存储介质

技术领域

本发明涉及电路板板卡缺陷检测技术领域，特别是一种电路板缺陷检测定位方法、装置和存储介质。

背景技术

在PCB焊接检测中自动光学检测技术的应用由来已久，当前正在从传统的机器视觉方法转变到基于深度学习技术来检测焊接缺陷，在实际应用中取得了较好的效果。由于PCB板上元件的集成度非常高，元件尺寸很小，目前焊接缺陷检测仪器导出的图像一般是用缺陷区域特写的方式来处理。该局部图可以体现基于传统机器视觉方法检测出的焊接缺陷情况，但是往往存在准确率不高、阈值参数不好设置等问题。运用基于深度学习图像检测技术对缺陷图进行二次智能分析，可以大大提升检测的准确率，提升检测效率。但是在实际应用过程中，虽然智能分析方法可以对图像中的缺陷进行分类及缺陷位置识别，但是由于分析的目标图像是缺陷的局部图，生产人员仍然需要根据缺陷局部图去PCB整板图中凭经验或者肉眼定位识别。

发明内容

本发明的目的是提供一种电路板缺陷检测定位方法，能够快速定位和展示电路板上的缺陷位置，方便生产人员的检查，提高板卡检测的效率和可靠性。本发明采用的技术方案如下。

一方面，本发明提供一种电路板缺陷检测定位方法，包括：

利用机器学习算法对电路板进行缺陷检测，得到存在缺陷的电路板的缺陷部位图像信息，存储缺陷部位元件名称；

获取缺陷部位的局部放大图像，输入预先训练的深度学习网络检测模型，得到缺陷部位的异常类型信息以及异常位置区域；

获取待检测电路板的元件实际坐标文件数据，以及预先确定的电路板整板图像中元件像素坐标与元件实际坐标之间的关系表达式；

根据已存储的缺陷部位元件名称和元件实际坐标文件数据，确定缺陷部位的实际坐标；

根据缺陷部位的实际坐标和所述关系表达式，计算缺陷部位在电路板整板图像中的像素坐标，以确定缺陷部位在电路板整板图像中的定位位置；

将通过深度学习网络检测模型得到的缺陷部位的异常类型信息以及异常位置区域，和缺陷部位在电路板整板图像中的定位位置输出至人机交互界面。

以上技术方案，机器学习算法可采用现有算法。深度学习网络检测模型可采用YOLO系列、SSD系列等常用的目标检测算法，通过采集大量焊接异常图像样本数据并进行训练得到PCB焊接异常检测模型，以将需要进行智能化图像分析的电路板局部图为输入，进行二次校验分析得到输入的局部图像中焊接异常的异常分类、异常位置等。

本发明通过将传统机器学习算法与深度学习算法进行结合，能够实现对电路板进行不同层次的缺陷检测，对于仅有少量电路板存在缺陷的情形，仅需经过机器学习算法即可筛出无需进一步检测的电路板，再对存在缺陷或可能存在缺陷的电路板通过深度学习网络进行深入的检测，得到缺陷部位的异常类型信息以及具体异常位置区域。能够大大减少电路板缺陷检测的计算负荷，提高检测效率特别是提高批量电路板缺陷检测的效率。

可选的，所述电路板整板图像中元件像素坐标与元件实际坐标之间的关系表达式的确定包括：

获取待检测电路板的整板图像及其元件坐标文件数据，所述元件坐标文件数据包括各元件名称及其对应的元件在电路板上的实际坐标；

获取外部输入的对于待检测电路板整板图像中各元件的标注数据，所述标注数据包括元件名称信息以及元件像素坐标信息；

根据元件坐标文件数据以及标注数据中的元件名称，将各元件在电路板整板图像中的像素坐标与在元件坐标文件中的实际坐标进行关联，得到元件像素坐标与元件实际坐标之间的关系表达式。

可选的，所述标注数据的获取包括：

通过人机界面分别输出元件可供选择的电路板整板图像，以及各元件名称可供选择的元件名称列表；

接收用户对电路板整板图像和元件名称列表的选择操作信息，获取被选择的电路板整板图像中的像素坐标，和被选择的元件名称，将被选择的像素坐标作为被选择的元件在电路板整板图像中的像素坐标，得到电路板上多个元件在电路板整板图像中的像素坐标。

可选的，用户通过人机界面选择电路板整板图像上的元件时，首先点选图像上元件的中心区域，然后从元件名称列表中选择对应的元件名称。可使得缺陷检测定位结果输出时显示更加准确，方便观察。

可选的，所述标注数据包括至少三个元件在电路板整板图像中的像素坐标和元件名称信息；

所述根据元件坐标文件数据以及标注数据中的元件名称，将各元件在电路板整板图像中的像素坐标与在元件坐标文件中的实际坐标进行关联，得到元件像素坐标与元件实际坐标之间的关系表达式，包括：

定义关系表达式为：

其中y

获取标注数据中已得到像素坐标的至少三个元件在元件坐标文件中的实际坐标，将所述至少三个元件的像素坐标和实际坐标带入所定义的关系表达式，计算得到k1、k2、b1、b2，则得到关系表达式。

可选的，本发明将通过深度学习网络检测模型得到的缺陷部位的异常类型信息以及异常位置区域，和缺陷部位在电路板整板图像中的定位位置输出至人机交互界面时，采用并列展示的输出形式；

输出内容包括：缺陷部位的局部图像，局部图像中用矩形框包围的异常位置区域，缺陷部位的异常类型，以及缺陷部位元件的像素坐标位置用明显标记来标识的电路板整板图像。

第二方面，本发明提供一种电路板缺陷检测定位装置，包括：

缺陷电路板筛选模块，被配置用于利用机器学习算法对电路板进行缺陷检测，得到存在缺陷的电路板的缺陷部位图像信息，存储缺陷部位元件名称；

局部异常检测模块，被配置用于获取缺陷部位的局部放大图像，输入预先训练的深度学习网络检测模型，得到缺陷部位的异常类型信息以及异常位置区域；

缺陷定位模块，被配置用于：获取待检测电路板的元件实际坐标文件数据，以及预先确定的电路板整板图像中元件像素坐标与元件实际坐标之间的关系表达式；根据已存储的缺陷部位元件名称和元件实际坐标文件数据，确定缺陷部位的实际坐标；根据缺陷部位的实际坐标和所述关系表达式，计算缺陷部位在电路板整板图像中的像素坐标，以确定缺陷部位在电路板整板图像中的定位位置；

以及检测定位结果输出模块，被配置用于将通过深度学习网络检测模型得到的缺陷部位的异常类型信息以及异常位置区域，和缺陷部位在电路板整板图像中的定位位置输出至人机交互界面。

第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如第一方面所述电路板缺陷检测定位方法的步骤。

有益效果

本发明将传统机器学习与深度学习进行结合，首先利用传统及其学习算法筛选含有焊接缺陷的电路板，然后利用基于深度学习的图像分析技术对PCB焊接缺陷局部图进行分析，确定局部图中焊接是否确实存在异常以及异常种类、异常位置信息。基于对PCB整板图像文件的标注以及元件的实际坐标文件，采用一元线性回归算法计算出整板图中元件像素坐标与坐标文件中元件实际坐标之间的关联函数，进而根据元件名称和所述关联函数即可推算出缺陷部位元件在PCB整板图像中的准确位置，并在桌面应用程序界面中并行显示缺陷识别结果及缺陷部位元件在PCB整板图中的定位信息，避免了人工凭经验或者人工目检导致的检测效率低下，且检测定位结果的可靠性较高，能够大幅提升电路板的生产效率。

附图说明

图1所示为本发明电路板缺陷检测定位方法的一种实施方式流程示意图；

图2所示为利用本发明方法的一种对PCB整板图中元件进行标记获取像素坐标的界面示意图；

图3所示为利用本发明方法的一种PCB焊接缺陷检测系统主界面示意图。

具体实施方式

以下结合附图和具体实施例进一步描述。

实施例1

参考图1所示，本实施例介绍一种电路板缺陷检测定位方法，包括：

利用机器学习算法对电路板进行缺陷检测，得到存在缺陷的电路板的缺陷部位图像信息，存储缺陷部位元件名称；

获取缺陷部位的局部放大图像，输入预先训练的深度学习网络检测模型，得到缺陷部位的异常类型信息以及异常位置区域；

获取待检测电路板的元件实际坐标文件数据，以及预先确定的电路板整板图像中元件像素坐标与元件实际坐标之间的关系表达式；

根据已存储的缺陷部位元件名称和元件实际坐标文件数据，确定缺陷部位的实际坐标；

根据缺陷部位的实际坐标和所述关系表达式，计算缺陷部位在电路板整板图像中的像素坐标，以确定缺陷部位在电路板整板图像中的定位位置；

将通过深度学习网络检测模型得到的缺陷部位的异常类型信息以及异常位置区域，和缺陷部位在电路板整板图像中的定位位置输出至人机交互界面。

本实施例中，机器学习算法可采用传统机器学习算法算法。深度学习网络检测模型可采用YOLO系列、SSD系列等常用的目标检测算法，通过采集大量焊接异常图像样本数据并进行训练得到PCB焊接异常检测模型，以将需要进行智能化图像分析的电路板局部图为输入，进行二次校验分析得到输入的局部图像中焊接异常的异常分类、异常位置等。

通过将传统机器学习算法与深度学习算法进行结合，本实施例能够实现对电路板进行不同层次的缺陷检测，对与存在缺陷或可能存在缺陷的电路板才需要通过深度学习网络进行深入的检测，因此能够大大减少电路板缺陷检测的计算负荷，提高检测效率特别是提高批量电路板缺陷检测的效率。

实施例1-1

与实施例1基于相同的发明构思，在实施例1的基础上，本实施例实现电路板焊接缺陷的检测定位过程具体如下所述。以下过程中电路板以最常见的PCB板为例进行说明。

一、传统机器学习算法进行缺陷PCB筛选

作为初始检测策略，利用传统机器学习算法进行检测可以初步筛查判断PCB板上焊接的器件引脚是否存在虚焊、桥接、焊锡过少、焊锡过多等焊接异常的问题。

若存在PCB焊接缺陷，传统机器学习算法可获得缺陷部位信息并输出，缺陷部位的元件名称信息可进一步由计算机根据预设元件名称与位置坐标的对应信息得到，或者由用户根据传统机器学习算法的输出来确定，用于后续的检测和定位。计算机可对缺陷部位进行局部放大处理，得到缺陷部位的局部放大图像，作为后续深度识别模型的输入图像。

二、深度识别网络检测模型进行异常类型和异常位置区域识别

可以采用YOLO系列、SSD系列等常用的目标检测算法，通过采集大量焊接异常图像样本数据并进行训练得到PCB焊接异常检测模型。将初次筛选得到的可能存在焊接缺陷的PCB元件局部放大图像作为输入，分析得到输入图像中是否确实存在焊接异常，以及异常所属分类、异常位置等。

目标检测领域的深度学习方法主要分为两类：two stage的目标检测算法；onestage的目标检测算法。前者是先由算法生成一系列作为样本的候选框，再通过卷积神经网络进行样本分类；后者则不用产生候选框，直接将目标边框定位的问题转化为回归问题处理。正是由于两种方法的差异，在性能上也有不同，一般来说前者在检测准确率和定位精度上占优，后者在算法速度上占优。本实施例中，采用的是YOLO系列或者SSD系列目标检测算法，它们虽然属于one stage的目标检测算法，但是随着算法的迭代更新，在实际运用过程中表现出准确率和速度上都非常优秀的特性。

三、缺陷部位元件的定位

要实现对已识别的缺陷部位在PCB整板图像中进行定位，关键在于将元件在PCB板中的实际坐标与元件在PCB板图像中的像素坐标进行关联，本实施例通过以下方式实现坐标关联。

3.1在桌面应用程序界面中导入PCB焊接异常局部图所属的PCB整板图像文件，并导入PCB元件坐标文本文件。PCB整板图像文件，是PCB板设计完毕后，通过高清摄像设备所采集的高像素图像文件，即PCB板的整体外观图。在桌面应用程序界面中导入的PCB整板图像文件可以是采集的原图，或者是原图经过裁切、翻转、缩放等处理后的图片。PCB元件坐标文本文件也是在设计完成阶段后导出的，它记录了在某个坐标系下各焊接元件的分布位置信息，包含元件名称、元件的横向纵向坐标。

3.2由用户在PCB整板图像界面中点击以标记若干枚元件的位置，从而获取多组包含元件名称及对应图像坐标的标注数据。参考图2所示，PCB整板图像界面是指在桌面应用程序中提供了展示PCB整板图的完整图像的界面。在标记时，用户优选为点击整板图中元件的中心区域，然后可在候选列表中选择当前点击元件的名称，计算机即可得到标记元件的名称及图像坐标信息。元件名称候选列表可来源于导入的PCB元件坐标文本文件中提取的元件名称的集合。

3.3根据获取的多个元件的图像坐标，以及元件在PCB元件坐标文本文件中的实际坐标，利用一元线性回归算法进行元件像素坐标与是坐标的拟合。

关联关系表达式可以表示为：

其中y

通过三组或以上的元件像素坐标和实际坐标信息，即可拟合出y坐标、x坐标的线性图，计算得到k1、k2、b1、b2的参数值，从而确定关联关系表达式。

3.4关联关系表达式确定后，即可根据传统机器学习算法后已存储的缺陷部位元件名称，查找元件实际坐标文件，得到缺陷部位元件的实际坐标；

然后根据缺陷部位元件的实际坐标和关系表达式，计算缺陷部位元件在电路板整板图像中的像素坐标，以确定缺陷部位元件在电路板整板图像中的定位位置。

四、检测定位结果的输出

如图3所示，本实施例在桌面应用程序界面中并列展示PCB焊接缺陷局部图像的智能识别结果以及该局部图像在PCB整板图中的定位位置。智能识别结果包含了局部图像、焊接缺陷的类型、缺陷区域的矩形包围框等信息；局部图像在PCB整板图中的定位位置，采用在PCB整板图像中绘制明显标记来标识计算出的元件像素坐标的位置。将智能识别结果与局部图像在PCB整板图中定位图进行并列展示，达到可以在PCB整板上快速掌握异常位置的目的。

实施例2

本实施例介绍一种电路板缺陷检测定位装置，包括：

缺陷电路板筛选模块，被配置用于利用机器学习算法对电路板进行缺陷检测，得到存在缺陷的电路板的缺陷部位图像信息，存储缺陷部位元件名称；

局部异常检测模块，被配置用于获取缺陷部位的局部放大图像，输入预先训练的深度学习网络检测模型，得到缺陷部位的异常类型信息以及异常位置区域；

缺陷定位模块，被配置用于：获取待检测电路板的元件实际坐标文件数据，以及预先确定的电路板整板图像中元件像素坐标与元件实际坐标之间的关系表达式；根据已存储的缺陷部位元件名称和元件实际坐标文件数据，确定缺陷部位的实际坐标；根据缺陷部位的实际坐标和所述关系表达式，计算缺陷部位在电路板整板图像中的像素坐标，以确定缺陷部位在电路板整板图像中的定位位置；

以及检测定位结果输出模块，被配置用于将通过深度学习网络检测模型得到的缺陷部位的异常类型信息以及异常位置区域，和缺陷部位在电路板整板图像中的定位位置输出至人机交互界面。

以上各功能模块的具体功能实现参考实施例1-1的相关内容。

实施例3

本实施例介绍一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如实施例1所述的电路板缺陷检测定位方法的内容。

综上实施例，本发明能够实现快速定位和展示电路板上的缺陷位置，方便生产人员的检查，提高板卡检测的效率和可靠性。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。