基于YOLO网络的印刷电路板微小缺陷检测方法

技术领域

本发明涉及机器视觉与深度学习领域，具体为基于YOLO网络的印刷电路板微小缺陷检测方法。

背景技术

先进的工业系统需要在生产过程中不断地提高生产效率的同时满足质量控制，缺陷检测是消除产品缺陷带来多方面影响的有效手段。印刷电路板作为承载各种电子元件的基板，具有复杂的微小电路构造，其繁琐且细微的加工过程和加工方式会导致电路板在生产过程中出现不同种类的微小缺陷，这些缺陷直接影响最终的产品良率。

最初的缺陷检测方法主要依靠人工手动目检，即人工使用放大镜或已校准的显微镜对印刷电路板进行目视检查。这种方式缺点明显，人工手动目检不可避免的人为主观错误和高昂的长期成本，并且生产数量呈指数级增加以及印刷电路板电路间距和元件体积的缩小导致目检代价过大都直接导致这种方式被淘汰。印刷电路板的在线测试和功能测试逐渐取代人工手动目检并取得了更高的效率，但其需要生产成本高昂的检测夹具并进行复杂的编程和调试，因此也不适用于大多数电路板生产线。自动外观检测是目前主要采用的检测方式，但是该方法面临检测精度问题和检测成本问题。自动外观检查使用的检测模型一般为单级目标检测模型，检测速度快可满足实时检测但检测精度不高，通常会发生漏检和错检这两个主要问题，特别是对于目标缺陷微小且背景复杂的检测对象，这两种情况尤为严重；并且，自动外观检查使用高分辨率的专用相机得到高像素的检测图片，虽然这种高像素图片会把较为微小的缺陷清晰的显示出来，但同时也会给检测模型带来复杂且冗余的背景信息，会在训练模型时带来庞大的计算量和计算成本。

发明内容

针对现有技术存在的不足，本发明目的是提供基于YOLO网络的印刷电路板微小缺陷检测方法，以解决上述背景技术中提出的问题，本发明针对微小缺陷改进的TDD-YOLO检测模型对印刷电路板缺陷进行检测，并且提出了一个新的模型训练测试策略，同时可以实现较低训练成本的同时进一步提升模型的效率和性能，得到最优的检测结果。

为了实现上述目的，本发明是通过如下的技术方案来实现：基于YOLO网络的印刷电路板微小缺陷检测方法，主要包括以下步骤：

步骤1：数据集预处理，收集印刷电路板缺陷图像并使用双三次插值算法进行压缩处理；

步骤2：对数据集进行划分，将步骤1中生成的九个数据集分别划分为各自的训练集、验证集和测试集；其中，在模型每完成一轮训练时对验证集做验证，训练好的模型使用测试集得到最终结果；

步骤3：检测模型准备，设计一种基于YOLO的微小缺陷检测模型(Tiny DefectDetection-based You Only Look Once,TDD-YOLO)，此模型在目前主流的目标检测器YOLOv7的基础上进行三点改进：带有四层ME结构的主干网络、具有微小检测头的四层头部网络结构和引入WIoU计算新的回归框损失；

步骤4：对于前景微小背景复杂的检测图片可以使用压缩的方法来减少图片背景的冗余信息并间接提高模型对微小目标的检测能力；针对这一发现，TDD-YOLO模型使用压缩数据集的训练集进行训练后进而使用原数据集的测试集测试，得到最终的检测结果。

进一步的，所述基于双三次插值算法对印刷电路板缺陷图片进行压缩，需要对图像本身和图像的标注文件进行同比例处理，具体处理方式为：

步骤1.1：构建双三次插值算法，设f(i,j)为图像(i,j)点的像素值，则目标点的(i+u,j+v)的目标函数为f(i+u,j+v)：

f(i+u,j+v)＝W

W

W

f

其中，a为超参数，这里a＝-1，W为u方向和v方向上的对应权重，计算权重使用双三次插值权重基函数W(x)去近似；

步骤1.2：设置压缩比例，基于双三次插值算法对图片进行长和宽的扭曲，并对标注锚框及文本长宽进行等比例的压缩。

进一步的，步骤1.3：生成压缩后的图片数据和标注数据，形成压缩后的数据集文件；

步骤1.4：形成实验数据集，对原数据集进行0.2到0.9倍的压缩，压缩间隔为0.1，最终得到包含原始数据集的九个不同压缩倍率的印刷电路板缺陷数据集(0.2～1)。

进一步的，对基础模型YOLOv7进行三个方面的改进，具体构建方式为：

步骤3.1：构建一个基于YOLOv7改进的骨干特征提取网络，整个骨干由四个卷积结构和四个ME结构串行连接，ME结构包含一个池化卷积层和一个ELAN层，其中池化卷积层结构如下：

x

x

x

x

式中，x

ELAN结构如下：

x

x

x

x

x

x

x

式中，x

Concat的操作公式如下：

式中，F

进一步的，步骤3.2：构建一个具有10px×10px微小检测头的四层检测头网络，增加的微小检测头结构如下：

x

x

x

x

x

x

x

x

x

式中，x

进一步的，步骤3.3：在改进的模型中，损失函数分为三部分：置信度损失、回归框损失和分类损失；其中，回归框损失直接决定了模型的定位性能；为了提高对微小缺陷的回归框适应度，TDD-YOLO模型引入WIoU损失作为回归框损失，具体的构建方式为：

对于目标真实值的标注框，设为

二者未交集的区域面积为：

S＝wh+w

回归框损失定义为：

为了避免当二者没有重合时损失函数在反向传播的过程中梯度消失的缺陷，为回归框损失增加一个惩罚项κ

Error

WIoU损失引入动态非单调焦距机制使模型更加适应普通质量的锚框，计算公式如下：

Error

式中，κ

进一步的，所述步骤4中，使用训练测试方法对TDD-YOLO缺陷检测模型进行训练和测试，具体实施方式为：

步骤4.1：使用步骤2中不同压缩数据集的训练集对TDD-YOLO检测模型进行训练，训练好的各个模型使用原始印刷电路板缺陷数据集进行测试。

进一步的，步骤4.2：(对比实验)使用步骤2中不同压缩数据集的训练集对YOLOv7检测模型进行训练，训练好的各个模型使用原始印刷电路板缺陷数据集进行测试；对比步骤4.1显示TDD-YOLO检测模型的有效性；

步骤4.3：(对比实验)使用步骤2中不同压缩数据集的训练集对TDD-YOLO模型进行训练，训练好的模型使用对应的压缩数据集的测试集进行测试；对比步骤4.1显示提出的训练测试方法的有效性；

步骤4.4：建立相应指标进行结果评判，为了评估检测器的性能表现，选取精度-召回率曲线(PR)，F1分数，均值平均精度(mAP)，模型检测速度(FPS)，模型计算量(GFLOPs)和训练成本这六个指标对模型进行整体考量；

步骤4.5：根据步骤4.4的评估指标，得出最佳结果：即选择改进的模型TDD-YOLO分别在不同压缩比率的印刷电路板缺陷数据集的训练集上进行训练后对原印刷电路板缺陷数据集的测试集进行测试，得到最佳的检测结果。

本发明的有益效果：

1.该基于YOLO网络的印刷电路板微小缺陷检测方法基于YOLOv7基础模型改进的针对印刷电路板微小缺陷的目标检测模型TDD-YOLO，包含三个方面的改进：一个带有四层ME结构的骨干网络，一个带有微小检测头的四层头部网络和引入更加适应微小目标的回归框损失。

2.该基于YOLO网络的印刷电路板微小缺陷检测方法利用压缩原图像分辨率的方式减少印刷电路板缺陷数据集中图像背景复杂的冗余信息，间接提高TDD-YOLO模型对复杂背景下微小目标的提取和识别能力，因此提出使用压缩图像的数据集对模型进行训练后对原始数据集进行测试的方法，可以在进一步提升模型检测精度的同时降低模型的训练成本。

3.本发明设计了一种针对微小缺陷的目标检测器TDD-YOLO，此检测器可以在不同压缩数据集上具有良好的性能表现，可以达到较高检测精度的同时具有较强的鲁棒性；通过压缩训练数据集来消除复杂背景的冗余间接提高模型对微小缺陷的提取能力，提出一种全新的针对印刷电路板缺陷数据的模型训练测试方法，实验结果显示本发明提出的检测方法具有最优的检测精度和最低的计算成本。

4.基于YOLO网络的印刷电路板微小缺陷检测方法在一定程度上解决了自动外观检测的精度问题和成本问题，实现了无需高代价的检测设备即可对印刷电路板实现高精度、高效率的缺陷检测，从而提高此类微小电子器件产品良率，也为进一步通过探究深度学习方法提升电子工业的微小缺陷检测方法提供线索。

附图说明

图1为本发明基于YOLO网络的印刷电路板微小缺陷检测方法的流程图；

图2为本发明实施例的TDD-YOLO改进内容及检测模型架构示意图；

图3为本发明的策略架构图；

图4为本发明实施例的精度效果示意图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

请参阅图1至图4，本发明提供一种技术方案：图1表示的是基于改进YOLO网络的印刷电路板微小缺陷检测方法流程图，以下针对实施例流程中的各步骤，对本发明方法做进一步详细描述：

(1)数据集预处理：收集印刷电路板缺陷图像并使用双三次插值算法进行压缩处理，双三次插值压缩方式可以在减少印刷电路缺陷数据图像背景冗余的同时产生边缘更平滑的微小缺陷特征。在进行图片压缩时，需要对图像本身和图像的标注文件进行同比例处理，具体处理方式为：

1.1构建双三次插值算法，设f(i,j)为图像(i,j)点的像素值，则目标点(i+u,j+v)的目标函数为f(i+u,j+v)：

f(i+u,j+v)＝W

W

W

f

其中，a为超参数，这里a＝-1，W为u方向和v方向上的对应权重，计算权重使用双三次插值权重基函数W(x)去近似；

1.2设置压缩比例，基于双三次插值算法对图片进行长和宽的扭曲，并对标注锚框及文本长宽进行等比例的压缩；

1.3生成压缩后的图片数据和标注数据，形成压缩后的数据集文件；

1.4形成实验数据集，对原数据集进行0.2到0.9倍的压缩，压缩间隔为0.1，最终得到包含原始数据集的九个不同压缩倍率的印刷电路板缺陷数据集(0.2～1)。

(2)数据集划分：将步骤1中生成的九个数据集分别划分为各自的训练集、验证集和测试集。其中，在模型每完成一轮训练时模型对验证集做验证，训练好的模型使用测试集得到最终结果。

(3)构建检测模型：在目前主流的实时检测模型YOLOv7的基础上设计了一种基于微小缺陷的检测模型TDD-YOLO，具体改进内容及TDD-YOLO模型架构见图二，改进方式为：

3.1构建一个基于YOLOv7改进的骨干特征提取网络，进一步将提高对微小目标浅层特征的提取能力，整个骨干由四个卷积结构和四个ME结构串行连接，ME结构包含一个池化卷积层和一个ELAN层，其中池化卷积层结构如下：

x

x

x

x

式中，x

ELAN结构如下：

x

x

x

x

x

x

x

式中，x

Concat的操作公式如下：

式中，F

3.2构建一个具有10px×10px微小检测头的四层检测头网络，其在匹配骨干网络的同时，增强模型对微小目标的识别能力。增加的微小检测头结构如下：

x

x

x

x

x

x

x

x

x

式中，x

3.3在改进的模型中，损失函数分为三部分：置信度损失、回归框损失和分类损失。其中，回归框损失直接决定了模型的定位性能。为了提高对微小缺陷的回归框适应度，TDD-YOLO模型引入WIoU损失作为回归框损失，具体的原理为：

对于目标真实值的标注框，设为

二者未交集的区域面积为S＝wh+w

回归框损失定义为

为了避免当二者没有重合时损失函数在反向传播的过程中梯度消失的缺陷，为回归框损失增加一个惩罚项κ

WIoU损失引入动态非单调焦距机制使模型更加适应普通质量的锚框，计算公式如下：

Error

式中，κ

3.4在YOLOv7的基础上，结合以上三点完成TDD-YOLO检测模型的构建。(4)提出训练测试策略：对于前景微小背景复杂的检测图片可以使用压缩的方法来减少图片背景的冗余信息并间接提高模型对微小目标的检测能力。针对这一发现，TDD-YOLO模型使用一种新型的训练测试方法得到最终的检测结果，具体训练测试方法示意图如图三，策略如下：

4.1图三中，TVTO+TDD-YOLO表示使用(2)中不同压缩数据集的训练集对TDD-YOLO检测模型进行训练，训练好的各个模型使用原始印刷电路板缺陷数据集进行测试；

4.2图三中，TVTO+YOLOv7作为对比实验使用(2)中不同压缩数据集的训练集对YOLOv7检测模型进行训练，训练好的各个模型使用原始印刷电路板缺陷数据集进行测试。对比4.1显示TDD-YOLO检测模型的有效性；

4.3图三中，TVTV+TDD-YOLO作为对比实验使用(2)中不同压缩数据集的训练集对TDD-YOLO模型进行训练，训练好的模型使用对应的压缩数据集的测试集进行测试。对比4.1显示提出的训练测试方法的有效性。

(5)评价指标：给出相应指标进行结果评判，为了评估检测器的性能表现，选取精度-召回率曲线(PR)，F1分数，均值平均精度(mAP)，模型检测速度(FPS)，模型计算力(GFLOPs)和训练成本这六个指标对模型进行整体考量。(6)根据步骤5的评估指标，最终得出最佳结果：即改进的模型TDD-YOLO分别在压缩比率为0.4和0.8的印刷电路板训练集上进行训练后对原印刷电路板测试集进行测试得到的检测结果最佳，分别能够在保持低训练成本的同时达到96.8％和97.8％的mAP精度，基础模型YOLOv7和改进的模型TDD-YOLO在使用和不使用上述训练测试策略的最终精度如图四，结果显示，本发明提出的方法具有明显的优越性。

(7)当前先进方法进行对比：本发明实施方法的效果展示，参与对比的模型均为满足实时检测的单级YOLO模型，其中，YOLOv5采用目前最新的9.0版本，YOLOv7和YOLOv8均为当前最新版本，所有检测器全部基于原始印刷电路板缺陷数据集进行检测，由下面的表格呈现了本发明对印刷电路板缺陷检测的优异效果，如表1所示；由表1可知，本发明缺陷检测方法可在降低训练成本的同时达到较高的检测精度，相比于其他方法具有高效率、高精度和低成本的优势。

表1各模型方法实验结果对比

以上显示和描述了本发明的基本原理、主要特征和本发明的优点，对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。