一种PCB文字区域缺陷检测方法

技术领域

本发明涉及数字图像处理、模式识别和统计学习等技术领域，尤其涉及一种PCB文字区域缺陷检测方法。

背景技术

PCB(Printed Circuit Board)，中文名称为印制电路板，又称印刷线路板，是重要的电子部件，是电子元器件的支撑体，是电子元器件电器连接的载体。PCB板本身是否存在缺陷将直接影响使用该PCB电路板的设备性能，所以对于PCB电路板的缺陷检测显得尤为必要。PCB缺陷种类较多，包含露铜、板污、线路刮伤、阻焊过薄、防焊偏移、文字模糊等十几种缺陷，不同的缺陷形状、大小、颜色、位置均不一样，导致检出困难，尤其是文字区域。文字作为PCB板上的标识区域，在PCB板面上占有相当大一部分比重。有作为元件型号标识的固定文字区域，还有作为版本号或者生产日期标识的可变文字区域。文字区域的缺陷主要包含两种类型：一种是文字本身的缺陷，如文字模糊、文字缺失；另一种是其他类型的缺陷，比如露铜、脏污等。当前现有的一些缺陷检测技术中，大部分是基于差影法，通过对比标准图像和测试图像的特征差异或者连通域的差异，若不一致则认为有缺陷，不一致区域即为缺陷位置；另一种是基于深度学习的方法，深度学习包含两种思路，一种是基于目标检测的思路，把缺陷当做一种目标来进行检测；另一种是基于分割的思想，对图像区域每个像素进行分类判断，再经过连通域等后处理来定位缺陷。文字相比其他区域特殊的地方在于不能简单地把差异的地方当做缺陷，差异也可能是文字内容的差异，不一定是缺陷。针对文字的缺陷，现有方法大部分使用文字识别、或者文字特征模板的比对来判断是否有差异，以此来检测文字缺陷。无论是传统的方法还是深度学习方法，这两种方法对于文字区域会存在以下问题：无法将真正的缺陷和文字内容差异区分开来。当文字占比较大时，检测准确度明显下降，所以需要对文字区域部分做特殊处理，以此来更进一步提升缺陷检测的准确率。

发明内容

本发明的目的在于提供一种PCB文字区域缺陷检测方法，以解决上述技术问题。

为了实现上述目的，本发明提出的一种PCB文字区域缺陷检测方法包括以下步骤：

步骤S1，获取标准图像子区域图像，将标准图像裁剪为便于处理的小块图像；

步骤S2，使用已训练好的文字检测模型筛选包含文字的所述标准子区域图像；

步骤S3，获取和所述标准子区域图像对应的测试子区域图像。结合PCB图像内容较规整的特点，采用基于边缘特征的匹配方法粗对位，进一步采用归一化互相关NCC作为图像相似度判断准则进行精对位。标注获取的图像对构成训练集；

步骤S4，搭建所述模型并训练模型。所述模型结合了文字检测和分割的方法，对所述图像进行文字和缺陷的像素级别分类；

步骤S5，将所述标准文字区域图像和测试文字区域图像在通道方向做连接，送入训练好的网络，获得预测结果；

步骤S6，根据所述预测结果，结合PCB设计文件的位置信息、预测缺陷区域的大小等判断是否含有缺陷。

本发明中提出的PCB文字区域缺陷包括但不限于：阻焊过薄、防焊偏移、板污、露铜、文字不清、字符模糊、文字缺失、文字偏移上焊盘。

本发明提出一种PCB文字区域缺陷检测方法。本发明所述方法对于提高计算机视觉PCB缺陷检测的准确性和鲁棒性具有重要意义，其主要优点如下：

1.本发明提出的方法对于PCB缺陷检测中的文字区域和其他区域进行区别处理，排除文字差异造成的误判，可减少检测过程中的误识率和拒真率。

2.本发明提出的方法采用的快速匹配对位方法，结合PCB图像内容特点，利用边缘特征进行快速对位，显著提高了缺陷检测处理速度。

3.本发明提出的方法对文字区域进行像素级别标注和预测，区别于一般文字检测方法中的区域预测，可准确分割文字像素。

4.本发明提出的方法对文字区域像素的预测结合了一般文字检测的方法，将检测区域限制于文字区域。

5.本发明提出的方法将文字和缺陷检测问题转化为像素分类问题，有效区分文字像素和缺陷像素。

6.本发明提出的方法在标准图和测试图文字内容一致和不一致的情况下均能实现缺陷的正确检测。

得益于上述优点，本发明提出的一种PCB文字区域缺陷检测方法，可以显著提升PCB文字区域缺陷检测的鲁棒性和实时性，准确地区分文字像素和缺陷像素，防止因正常文字差异产生错误判断，降低了识别过程中的误识率和拒真率，并进一步减少人工干预，可广泛应用于PCB文字区域缺陷检测系统中，例如集成电路板品控检测系统、印刷电路板出厂流水线、PCB产品车间管理系统等，特别适合应用针对检测含有文字的PCB检测系统中。

附图说明

为了更清楚的说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明一实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出发明实施例提供了一种PCB文字区域缺陷检测方法的原理图；

图2示出本发明实施例提供了一种PCB文字区域缺陷检测方法的非文字区域缺陷示意图；

图3示出本发明实施例提供了一种PCB文字区域缺陷检测方法的文字区域内容缺陷示意图；

图4示出本发明实施例提供了一种PCB文字区域缺陷检测方法的文字区域内正常差异示意图；

图5示出本发明实施例提供了一种PCB文字区域缺陷检测方法的文字区域内容异同且包含缺陷时正确检测示意图；

图6示出本发明实施例提供了一种PCB文字区域缺陷检测方法的边缘像素位置记录

图7示出本发明实施例提供了一种PCB文字区域缺陷检测方法的模型结构图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

利用本发明，能够准确地检测PCB文字区域的缺陷，排除了文字不一致时的误判，可广泛用于工业视觉中PCB板相关的缺陷检测系统中。

请参照图1，本实施例提供了一种PCB文字区域缺陷检测方法，用于对PCB印刷电路板文字区域是否存在缺陷进行检测，该PCB缺陷检测方法包括：

步骤S1，获取标准图P子区域图像P

步骤S2，使用已训练好的文字检测模型筛选包含有文字的子区域图像P

步骤S3，利用一种基于边缘特征的对位方法，在测试图像Q截取出与所述标准子区域图像P

步骤S4，搭建结合文字检测方法和分割方法的卷积神经网络模型，训练图像对在通道方向进行连接作为输入，对模型进行训练；

步骤S5，将S1和S3获取的匹配子区域图像送入所述训练好的模型，获得文字和缺陷像素预测特征图，并在通道方向计算最大值获取对应位置像素的分类索引，获得最终的预测分割结果；

步骤S6，根据模型预测分割结果，结合所述PCB设计文件提供的位置和缺陷预测区域大小等信息，判断是否包含缺陷；

其中，所述标准图P定义为标准模板图，所述标准模板图为判断检测此类PCB文字区域缺陷的依据标准。

上述技术方案中，具体而言，所述S1步骤中，将所述标准PCB图像P∈R(7000*8000*3)(数字7000、8000、3分别表示PCB图像P的长、宽、通道数)划分为200*200的子区域图像P

其中，需要说明的是，本文中提及图像数据的单位是像素。

本实施例中，若所述待测图像边缘不满足200*200，则延中心方向外扩边，保证所述子区域大小是200*200。

其中，如图2所示的一种PCB文字区域缺陷检测方法的非文字区域缺陷示意图，在缺陷检测流程中首先对非文字区域缺陷进行单独的检测。

所述S2步骤中，将所述图像P

进一步地，解析D中的数据，包含n*8数据，n代表文字区域数量，8代表文字区域4个顶点的位置坐标(x，y)。位置信息以水平左上角为起点，顺时针方向，4个顶点坐标分别是(x

所述S3步骤中，以标所述注子区域图像P

其中，截取的宽高系数r＝1.3，所述标准子区域图像P

进一步地，在搜索区域查找与所述标准子区域图像P

一般的基于灰度的NCC相似性匹配算法过程是逐像素遍历搜索区域的每个子区域，找到相似性最大的位置作为最终的匹配区域，此过程存在的问题是效率很低，耗时不符合工业要求。考虑到PCB板图像内容形状规整，尤其是焊盘和线路等区域，具有明显的边缘特征，通过提取特定的边缘特征，计算标准图和测试图边缘特征的相似性来实现图像的粗对位。进一步对相似性进行排序，取前k个区域作为候选NCC计算区域。其中边缘特征选取水平边缘和垂直边缘。

步骤S31，检测标准图和测试图的水平边缘，并将符合一定长度的边缘像素位置记录下来，分别记为H，H′，格式如图6所示。

索引index代表第几条边缘，Point-1，Point-2等代表这条边缘的像素点位置；

步骤S32，检测所述标准图和测试图的垂直边缘，并将符合一定长度的边缘像素位置记录下来，记为V，V′，格式同H；

步骤S33，对H和H′的边缘以y坐标均值进行从小到大排序；

步骤S34，对V和V′的边缘以x坐标均值进行从小到大排序；

步骤S35，横向边缘匹配。以H的边缘为迭代单位，计算H和H′对应边缘的距离，并将结果记录到match_result；

步骤S36，对match_result进行从小到大排序，选择前k个值，将边缘的y坐标平均值作为候选位置，获得垂直方向候选位置集合Y。k的值一般选取总边缘数量的前30％；

步骤S37，同理对垂直边缘进行匹配排序，获得水平方向候选位置集合X；

步骤S38，遍历X，Y，分别计算NCC，NCC位置最大的位置即为最终匹配位置。

此方法的优点是：

(1)提高了查找最佳匹配位置的效率；

(2)结合PCB实际图像内容，利用边缘特征，快速进行粗对位；

(3)NCC既包含位置结构信息，也包含像素灰度信息，对光照影响鲁棒，对位的精度较高。

进一步地，将S1和S3获取的子区域图像成对保存，并制作训练集TrainSet。其中标签制作说明如下：像素分为背景、文字、缺陷三类，索引分别为0，1，2，以像素级别进行标注。其中文字区域以左上角为起始点，顺时针方向标注4个区域顶点，将文字区域向内收缩一定比例，作为文字区域的标签。

所述步骤S4中，搭建模型的结构如图7所示。

其中，模型的输入input将标准图和测试图在通道方向进行合并，textmap分支表示检测到的文字区域，loss记为L

L＝L

由于在PCB大部分图像中缺陷和文字像素占比较少，导致正负样本比例不平衡，所以需要一种机制来避免这种问题。此处采用hard negative mining，对占比较大的负样本进行采样，使得正负样本比例为1∶3。

进一步地，利用所述训练数据集对模型进行训练，获得模型M。

所述步骤S5中，将所述标准图子区域图像P

步骤S51，将T大于阈值的区域设置像素点为255，否则设置为0，并将所获区域按照标签制作时的比例还原，获得文字区域T

步骤S52，在通道方向计算F的最大值索引，其中将索引为2的区域设置像素点为255，否则设置为0，获得缺陷区域F

步骤S53，将文字区域T

所述步骤S6中，所述PCB文字区域缺陷检测系统对所述预测结果F

其中，Th＝10个像素，若大于10个像素，则判定为当前文字区域有缺陷。

通过以上步骤，最终可以得到PCB文字区域缺陷检测的识别结果。

其中，如图3所示的一种PCB文字区域缺陷检测方法的文字区域内容缺陷示意图，本发明提出的方法首先对文字本身是否存在缺陷，如图中的检测结果，可以首先检测出PCB文字区域的文字内容缺陷；

其中，如图4所示的一种PCB文字区域缺陷检测方法的文字区域内正常差异示意图，如图所示，PCB板存在正常的批次差异，本发明提出的方法可以对PCB文字区域的正常差异进行缺陷排除，避免因正常文字差异而导致的缺陷误识或拒真判断；

其中，如图5所示的了一种PCB文字区域缺陷检测方法的文字区域内容异同且包含缺陷时正确检测示意图，如图所示，当PCB文字区域存在正常的文字内容异同时，本发明提出的方法首先排除区域内的文字缺陷，并进一步对其他缺陷进行检测，最终得到准确的识别结果。

本发明有效的将PCB文字区域的检测对象进行了分类检测，防止因正常文字差异产生错误判断，降低了识别过程中的误识率和拒真率，并进一步得减少人工干预过程的发生，可广泛应用于PCB文字区域缺陷检测系统中，例如集成电路板品控检测系统、印刷电路板出厂流水线、PCB产品车间管理系统等，特别适合应用针对检测含有文字或丝文的PCB检测系统中。

综上，所述对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。