软膜电路板缺陷检测方法及相关装置

技术领域

本发明涉及机器视觉检测技术领域，尤其涉及一种软膜电路板缺陷检测方法及相关装置。

背景技术

软膜电路板广泛应用于计算机、通讯、消费电子产品生成制造中。它由具有各种不同性质的软件薄膜：面膜层、隔离层和电路层所组成。其中电路层使用电器性能良好的聚酯薄膜制造开关电路，具有良好的绝缘性、耐热性和抗折性。开关电路的图形，包括开关的联机及其引出线均采用低电阻，低温条件下固化的导电性涂料印刷而成。整个软膜电路板具有一定的柔韧性和较高的回弹性，因此不仅适合于平面体上使用，还能与曲面体配合。此外，它还具有生产成本低、质量密度低等特点，有利于降低终端电子产品的重量，便于携带，因而广泛使用，生产量大。

如图1a和图1b所示，软膜电路板印刷时会产生的几种缺陷：1、断路，会使电路或部分电路无法导通，最终使电路板无法使用；2、电路半断，半断会减少软膜的使用寿命时间，可能最终导致整个电路板的无法使用；3、毛刺有可能造成电路短路，造成电子产品的功能失灵。总之，上述等缺陷会造成软膜电路板导通性能的损害或下降，最终影响终端产品的使用功能。

检测软膜电路板缺陷的方法有人工目测法，这种方法将电路板平铺在检测平台上，在平台的正下方使用LED光源透射过软膜，然后检测工人仔细用肉眼去观察电路是否有上述三种主要缺陷。这种方法检测效率低，而且长时间观察会对检测人员的视力造成伤害，所以有些厂家使用AOI(Automated Optical Inspection，自动光学检测设备)来对软膜电路板进行检测。自动化检测设备操控CCD相机对软膜进行拍照，然后将拍好的照片传输到电脑上的机器视觉软件中进行检测。相对于人工检测，AOI检测效率要高，不会造成工人眼睛伤害，但目前大多数AOI所使用的检测算法需要对图像进行滤波、二值化、边缘检测、图像旋转纠偏等处理，设置参数多，处理效果不稳定。一旦光源照射条件发生变化，或者传输电路板的机械运动装置发生抖动，都会导致电路成像图片的像素值发生变化，而使之前设置的图像处理参数失效，从而降低了检测的稳定性和准确率。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的目的在于提出一种软膜电路板缺陷检测方法及相关装置。

为实现上述目的，第一方面，根据本发明实施例的软膜电路板缺陷检测方法，包括：

获取缺陷样本数据集，所述缺陷样本数据集包含多种不同缺陷的电路板样本图像；

采用YOLOv7目标检测算法，以所述缺陷样本数据集中的一部分数据作为训练集，以所述缺陷样本数据集中的另一部分数据作为验证集，进行检测模型训练及验证；

获取被检测电路板图像，采用模板匹配方式对被检测电路板图像中各个电路部分进行精确定位，再利用所述检测模型对各个电路进行缺陷检测。

根据本发明的一个实施例，所述缺陷包括断路、半断路、毛刺中的一种或几种。

根据本发明的一个实施例，所述采用YOLOv7目标检测算法，以所述缺陷样本数据集中的一部分数据作为训练集，以所述缺陷样本数据集中的另一部分数据作为验证集，进行检测模型的训练及验证包括：

将缺陷样本数据集分为训练集和验证集，并使用数据增强方法对训练集进行增强以扩展训练集；所述训练集和验证集均包含缺陷图像和标注文件；

加载预训练模型权重，从中抽取通用的图像特征，以使检测模型获得的初始化权重。

使用YOLOv7目标检测算法搭建模型，并使用训练集进行模型训练，并使用验证集对训练模型结果进行评估。

根据本发明的一个实施例，所述获取被检测电路板图像，并采用模板匹配方式对被检测电路板图像中各个电路部分进行定位，再利用所述检测模型缺陷检测包括：

根据先验知识，得到被检测电路板图像上各个电路部分与标签图像模板的中心位置之间的几何尺寸关系；所述标签图像模板为预先制作的具有电路板标签的图像模板；

根据所述几何尺寸关系截取被检测电路板图像上各个电路部分的图像作为被检图像；

将被检图像传输到检测模型中进行检测，且在检测到缺陷时，将缺陷在所述被检图像中的位置映射到所述被检测电路板图像中，并在所述被检测电路板图像标出其位置和缺陷类型。

根据本发明的一个实施例，所述根据先验知识，得到被检测电路板图像上各个电路部分与标签图像模板的中心位置之间的几何尺寸关系包括：

从被检测电路板图像的一个边角点开始截取，到一个预定点结束截取，以得到截取图像，该截取图像中含有电路板的标签；

采用归一化相关匹配法将所述截取图像与标签图像模板进行模板匹配，得到所述截取图像中所述标签的中心在所述截取图像中的位置；

将匹配得到所述标签的中心位置映射到所述被检测电路板图像中，得到该标签的中心位置对应在所述被检测电路板图像中的位置，进而得到被检测电路板图像上各个电路部分与标签图像模板的中心位置之间的几何尺寸关系。

根据本发明的一个实施例，还包括：

在检测到缺陷之后，在被检测电路图像上标记出缺陷类型和位置，并以检测时间命名该图像并保存到计算机中对应的文件夹中；同时，发送信号至吸盘装置控制系统，吸盘将实物电路板传送至不良品存储仓；

发送信号至喷码设备控制系统，以使所述喷码设备在所述被检测电路板实物上记录缺陷信息及检测时间，所述缺陷信息及检测时间与保存的电子图像相关联。

第二方面，根据本发明实施例的软膜电路板缺陷检测的装置，包括：

获取单元，用于获取缺陷样本数据集，所述缺陷样本数据集包含多种不同缺陷的电路板样本图像；

训练单元，用于采用目标检测算法，以所述缺陷样本数据集中的一部分数据作为训练集，以所述缺陷样本数据集中的另一部分数据作为验证集，进行检测模型训练及验证；

检测单元，用于获取被检测电路板图像，并采用模板匹配方式对被检测电路板图像中各个电路部分进行精确定位，再利用所述检测模型对各个电路进行缺陷检测。

根据本发明的一个实施例，所述检测单元包括：

匹配模块，用于根据先验知识，得到被检测电路板图像上各个电路部分与标签图像模板的中心位置之间的几何尺寸关系；所述标签图像模板为预先制作的具有电路板标签的图像模板；

截取模块，用于根据所述几何尺寸关系截取被检测电路板图像上各个电路部分的图像作为被检图像；

检测模块，用于将被检图像传输到检测模型中进行检测，且在检测到缺陷时，将缺陷在所述被检图像中的位置映射到所述被检测电路板图像中，并在所述被检测电路板图像标出其位置和缺陷类型，并将该电子图像保存到计算机中相应的文件夹中。

第三方面，根据本发明实施例的计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的软膜电路板缺陷检测方法。

第四方面，根据本发明实施例的计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的软膜电路板缺陷检测方法。

根据本发明实施例提供的软膜电路板缺陷检测方法及装置，以YOLOv7目标检测算法作为基本检测模型，对图像拍摄因传动机台抖动或者光源不稳定而导致的变化不敏感，不需要设置大量的处理参数，鲁棒性较强，同时，具有更高的目标识别准确率，并且在检测实时性上能够达到整个软膜电路板生产工艺流程的要求；喷码和吸盘传输装置对检测出缺陷的实物电路板专门做标记并将其存放至不良品保存仓以便于工人做出后续处理。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1a是软膜电路板的示意图；

图1b是软膜电路板各种缺陷的示意图；

图2a是本发明软膜电路板缺陷检测方法示意图；

图2b是本发明软膜电路板缺陷检测方法所使用的吸盘装置底面示意图；

图2c是本发明软膜电路板缺陷检测方法一个实施例的流程图；

图3是本发明软膜电路板缺陷检测方法中步骤S102的流程图；

图4是本发明软膜电路板缺陷检测方法中步骤S103的流程图；

图5是软膜电路板的电路板标签的示意图；

图6是利用本发明软膜电路板缺陷检测方法检测的结果示意图；

图7是本发明软膜电路板缺陷检测装置一个实施例的结构示意图；

图8是本发明软膜电路板缺陷检测装置中训练单元的结构示意图；

图9是本发明软膜电路板缺陷检测装置中检测单元的结构示意图。

图10是本发明计算机设备一个实施例的结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

参照图2a所示，整个检测流程由工控电脑控制，首先计算机发送信号至吸盘装置控制系统，吸盘将待检测软膜电路板传送至检测平台上，检测平台移动至光源的正上方，然后发送信号至相机进行拍照，检测系统进行检测；如果检测出缺陷，检测系统发送信号至吸盘控制系统，吸盘将实物电路板传送至不良仓，然后喷码装置对电路板进行标记；如果没有检测出缺陷，吸盘则将电路板传送至良品仓。具体包括：

图2b示出了吸盘装置的底面形状尺寸，因为一次检测的软膜尺寸较大，为500mm×700mm，上面共有4个电路板，所以吸盘的尺寸设计为480mm×680mm。如果吸盘底部只开一个吸孔，孔的尺寸太小，不能完全吸住电路板，因为软膜有一定的柔软性，边缘处的电路板会下垂，影响电路板的传输；但如果孔的尺寸太大，软膜有可能被气流吸得凹进孔内，吸孔的边缘有可能会对软膜的表面造成划伤，所以在吸盘底部表面开有6个大小适中的圆形通气孔，可以保证软膜能完整地被吸附在吸盘表面，同时又可以避免对电路表面造成损害。此外，吸盘还可以使软膜在拍摄时平铺，避免出现褶皱、翘起、气泡等状况；这些状况会影响拍照质量，从而降低检测精度。

图2c示出了本发明实施例提供的软膜电路板缺陷检测方法一个实施例的流程图，为了便于描述，仅示出了与本发明实施例相关的部分。具体的，该软膜电路板缺陷检测方法可以由一计算机设备执行，具体包括：

S101、获取缺陷样本数据集，所述缺陷样本数据集包含多种不同缺陷的电路板样本图像。

上述缺陷可以包括断路、半断路、毛刺等不同类型的缺陷，如图1b所示。该缺陷样本数据集可以通过人工制作或从实际生产中采集得到。为了保证检测模型的准确性，需要确保缺陷样本数据集的多样性和代表性。

示例性地，预先收集带有缺陷的电路板图像，该电路板图像为相机采集的原始图像，然后将包含缺陷的图像区域从原始图像中截取出来。因为原始图像的尺寸较大，例如为5472×3648，而检测模型的输入尺寸较小，例如为608×608，不能直接将原始图像输入到检测模型中，所以，将截取图像的尺寸设置为608×608。在训练最初训练模型时，截取较大数量的含有断路、半断路、毛刺等缺陷的图像，然后使用LabelImg软件对图像里的缺陷进行标注，共分为三类：broken、half broken、rag。在本申请的示例中，截取有2280张缺陷的图像。

S102、采用YOLOv7目标检测算法，以所述缺陷样本数据集中的一部分数据作为训练集，以所述缺陷样本数据集中的另一部分数据作为验证集，进行检测模型训练和验证。

在本申请的方法中，采用了YOLOv7目标检测算法作为基本检测模型，并使用训练集和验证集对检测模型进行训练。YOLOv7算法是一种基于卷积神经网络的目标检测算法，它可以同时完成目标定位和目标分类，并且在速度和准确度上都有很好的表现。通过训练，检测模型可以学习到不同类型缺陷的特征，从而能够在待检测电路图像中准确地检测出缺陷。

示例性地，可以将数据集的80％的图片作为训练集，20％的图片作为验证集。模型的训练类别数设置为3，总的训练轮数设置为2000。训练的Batch Size设置为16，BatchSize为一次训练所选取的样本数。Batch Size的大小影响模型的优化程度和速度，设置合理的Batch Size通可以提高内存的利用率，并使得梯度下降方向更加准确。训练完模型后，在验证集上模型检测直播mAP@0.5为0.907，达到了检测工艺的要求。在后续的生产过程，还可以通过不断地收集新的缺陷样本，并把它们补充到数据集中，每隔一段生产周期就重新训练检测模型。随着数据集的规模和多样性的不断增大，模型的识别精度将会不断提高。

较佳地，可以采用YOLOv7目标检测算法作为基本检测模型，YOLOv7算法是YOLO系列中最新发展起来的算法，YOLOv7扩展了名为Extended-ELAN(E-ELAN)高效长程注意力网络。E-ELAN对基数(Cardinality)做了扩展(Expand)、乱序(Shuffle)、合并(Merge)等操作，提高了网络的学习能力，同时又能够避免对原始梯度路径的破坏，所以可以在主干网络中大规模部署Extended-ELAN以最终提高模型的训练精度。YOLOv7还采用了一种名为RepConv的重参数化卷积的网络结构，它能够对Conv(卷积)+BN(Batch Normalization又称为“批归一化”)层以及不同Conv层进行融合，并将它们合并为一个卷积模块，其作用是加快网络计算速度并保证模型性能。此外，YOLOv7还增加了辅助头(Auxiliary head)检测功能，将网络的头(Head)部分的浅层特征提取出来作为辅助头，深层特征也就是网络的最终输出作为引导(Lead head)，通过Auxiliary Head和Lead Head的相互配合提高了损失函数的精确度。

S103、获取被检测电路板图像，采用模板匹配方式对被检测电路板图像中各个电路部分进行精确定位，再利用所述检测模型对各个电路进行缺陷检测。

在具体应用中，一般通过吸盘等移动装置从存放软膜的治具中将软膜吸住，然后将其移送到检测平台上，检测平台四周由挡板围住，用于限定电路板的拍摄范围，然后检测平台移动至光源的正上方进行检测。因为挡板要给电路板留下冗余缝隙，以保证电路板能够放入到检测平台中，并且完全地平铺在检测平台表面，但这也使得电路板不能每次都正好位于检测平台上相同的位置，所以拍摄的电路图像也不能每次都在图像中保持相同的位置，因此，该步骤中采用模板匹配的方法精确定位电路在图像中的位置，以能够使检测范围覆盖所有电路。如果不采用模板匹配的方法，需要检测整个图像每一个部分，虽然可以完整覆盖所有的电路，但是有些没有电路的空隙部分也要被输入到模型中检测，进而就浪费了大量的检测时间，造成了检测效率低等问题。

在检测过程中，在S102步骤中训练完的检测模型会对被检测电路板图像进行多次卷积和池化操作，提取图像中的特征，然后利用回归算法对每个目标框进行调整，最终输出每个目标框的置信度、类别信息、位置、高度、宽度等信息。根据输出结果，可以判断出电路板中存在的缺陷类型和位置。

根据本发明实施例提供的软膜电路板缺陷检测方法，以YOLOv7目标检测算法作为基本检测模型，对图像拍摄因传动机台抖动或者光源不稳定而导致的变化不敏感，不需要设置大量的处理参数，鲁棒性较强，同时，具有更高的目标识别准确率，并且在检测实时性上能够达到整个软膜电路板生产工艺流程的要求。

在本发明的一个示例中，还包括：

S104、对于检测出有缺陷的软膜电路板，使用吸盘装置将其传送至不良仓，并使用喷码装置对其进行标记，以便于工人进行后续操作处理。

参照图3所示，在本发明的一个实施例中，步骤S102包括：

S201、将缺陷样本数据集分为训练集和验证集，并使用数据增强方法对训练集进行增强以扩展训练集；所述训练集和验证集均包含缺陷图像和标注文件。

示例性地，图像和标注文件命名：确保图像文件和标注文件的文件名相同，并且使用相同的文件名前缀，如“image_001.jpg”和“image_001.xml”。标注文件通常采用特定的格式，每个标注文件对应一个图像文件，标注文件中会显示每一个缺陷目标的类别、标注框左上角顶点和右下角顶点的坐标位置等信息。

因为整个模型的参数较多，使用较少的数据训练会造成模型的过拟合，所以需要对数据集进行数据增强处理。例如使用翻转(对图像进行水平和垂直翻转)、旋转、缩放、裁剪、平移、高斯噪声(随机的白色和黑色像素点呈现并铺满整个图片)等技术对数据集进行处理。

S202、加载预训练模型权重，从中抽取通用的图像特征，以使检测模型获得较优的初始化权重。

尽管采用了数据增强的方法，但是数据量还是非常的少，所以，该步骤中，加载预训练模型，加载预训练模型可以使网络获得较好的初始化权重。这些权重已经在COCO这样的大型数据集上训练过，可以抽取较通用的图像特征，能够帮助识别边缘、纹理、形状等特征，同时也就降低了大量的训练工作量，一定程度上解决了训练数据集图片数量太少的所带来的问题。

S203、使用YOLOv7目标检测算法搭建模型，并使用训练集进行模型训练，并使用验证集对训练模型结果进行评估。

具体地，在训练模型的过程中，需要使用训练集数据进行模型的训练。模型训练的过程包括前向传播、反向传播、权重更新等步骤。在每个训练轮数中，模型会将训练集数据输入到模型中进行前向传播，计算模型的预测输出值。然后，将预测输出值与实际标签值进行比较，计算模型的损失函数。在反向传播过程中，模型会根据损失函数的梯度信息对权重进行更新，以使得模型的预测输出值更加接近于实际标签值。通过多次训练轮数的迭代，模型的权重参数逐渐优化，从而提高模型的准确性和鲁棒性。

在模型训练完成后，需要对模型进行评估，以确定模型的准确率和召回率等指标。其中，常用的评估指标包括mAP等。mAP指标是目标检测算法中常用的评估指标，可以评估模型在不同置信度阈值下的平均准确率。为了计算mAP指标，需要使用验证集数据对模型进行评估。具体来说，将验证集数据输入到模型中进行目标检测，得到模型的预测结果。然后，将预测结果与真实标签进行比较，可以得到模型的mAP指标。根据评估结果，可以对模型进行调整和优化，以提高模型的性能。

本实施例采用上述方法，可以实现在数据量较少的前提下，显著提升模型的准确性和鲁棒性，满足工业化生产中软膜电路板缺陷检测的检测要求。

参照图4所示，在本发明的一些实施例中，步骤S103包括：

S301、根据先验知识，得到被检测电路板图像上各个电路部分与标签图像模板的中心位置之间的几何尺寸关系；所述标签图像模板为预先制作的具有电路板标签的图像模板。

标签图像模板中突出了电路板标签的主要形状和特征，例如标签的线条和文字等。这些特征可以帮助模板匹配算法在每幅图像中准确地找到电路板标签的位置。

在一些示例中，该步骤具体可以包括：

首先，从被检测电路板图像的一个边角点开始截取，到一个预定点结束截取，以得到截取图像，该截取图像中含有电路板的标签。这是因为原始图像的尺寸较大(例如5472×3648)，如果直接在原始图像中进行匹配，不仅匹配的范围大，需要较多的计算时间，而且图像中的标签是线条状，与电路有些相似，也容易发生匹配错误。

然后，采用归一化相关匹配法将所述截取图像与标签图像模板进行模板匹配，得到所述截取图像中所述标签的中心在所述截取图像中的位置；

最后，将匹配得到所述标签的中心位置映射到所述被检测电路板图像中，得到该标签的中心位置对应在所述被检测电路板图像中的位置，进而得到被检测电路板图像上各个电路部分与标签图像模板的中心位置之间的几何尺寸关系。

例如：从被检测电路板图像的左上角点坐标[430,470]开始，点[1000，770]结束截取图像，这部分截取图像中含有电路板的标签如图5所示。然后在每幅图像的检测过程中采用名为TM_CCORR_NORMED(归一化相关匹配法)的模板匹配方法，计算模板与图像的相关系数，得到该标签的中心在截取图像中的位置[x,y]，最后再将其映射到原始图像中，得到该点在原始图像中的位置[x+430,y+470]。由于截取图像的左上角点坐标为[430,470]，因此需要将检测到的电路板标签位置[x,y]分别加上这个偏移量，得到该点在原始图像中的位置[x+430,y+470]，如此，可以在每幅图像中快速、准确地检测出电路板标签的位置，并将其映射到原始图像中，为后续的电路部分检测提供截取参照基点。

该示例中，采用先截取包含标签的图像，再进行模板匹配，可以节省匹配的时间，提高检测效率。

S302、根据所述几何尺寸关系截取被检测电路板图像上各个电路部分的图像作为被检图像。示例性地，每次截取的图像尺寸为608×608，即被检图像的尺寸为608×608。

由先验知识可以得到图像上各个电路部分与标签图像模板中心位置之间的几何尺寸关系，根据这些尺寸信息可以依次截取图像中的电路，从而覆盖了所有的检测电路，并且也避免了截取空隙部分的图像，进而可以节省匹配的时间，提高检测效率。

示例性地，截取图像过程可以包括：先根据电路部分的尺寸关系，确定每个待截取电路区域的大小和位置。对每个电路区域，从被检测电路板图像中截取608×608像素的图像，作为被检图像。记录每个被检图像的左上角顶点在原始图像中的位置。重复上述步骤，直到覆盖整个被检测电路板图像。

S303、将被检图像传输到检测模型中进行检测，且在检测到缺陷时，将缺陷在所述被检图像中的位置映射到所述被检测电路板图像中，并在所述被检测电路板图像标记出其位置和缺陷类型。

该步骤中，将被检图像传输到训练好的模型中进行检测。如检测结果出现缺陷中的一种或几种，如图6所示，则将缺陷在被检图像中标出，并且将其位置映射到原始大图像(被检测电路板完整图像)中。需要说明的是，在每次截取图像时，在程序中记录下该被检图像的左上角顶点在原始图像中的位置，然后检测到的缺陷在被检图像中的位置加上左上角顶点在原始图像中的位置就可以得到缺陷在原始图像中的位置。

总体而言，本实施例可以提高检测效率和准确性，在S302步骤中，根据先验知识，将被检测电路板图像分成与各个电路区域对应的若干被检图像，避免在原始图像中进行匹配时出现误差，同时也可以节省计算时间。在S303步骤中，将检测到的缺陷在被检图像中的位置映射到被检测电路板图像中，并在被检测电路板图像中做好标记，如此，可以快速准确地找出缺陷所在位置。

在本发明的一些实施例中，该方法还包括：

在检测到缺陷之后，先在被检测电路图像上标记出缺陷类型和位置，并以检测时间命名该图像并保存到计算机中对应的文件夹中。在此过程中，输出控制信号至吸盘装置，吸盘将电路板传输至不良品保存仓；然后再控制喷码设备，以使所述喷码设备在所述被检测电路板图像对应的电路板实物上记录缺陷信息和检测时间，所述缺陷信息及检测时间与所述待检测电路图像相关联，以方便检测工人对照工控机上保存的缺陷图像进行后续复检处理。如果检测结果没有缺陷，则输出控制信号至吸盘装置，吸盘将电路板传输至良品保存仓，然后检测下一张电路板。

示例性地，在检测到电路板缺陷之后，首先以检测时间命名被检测电路板电子图像，并保存到工控机上相应的文件夹中。如果检测结果没有缺陷，则直接检测下一张电路板。当检测到缺陷时，输出控制信号至吸盘和喷码设备，以使吸盘将电路板传输至不良仓，然后喷码设备在电路板实物上记录缺陷信息。这样可以方便检测工人对照工控机上保存的缺陷图像进行后续处理。在记录缺陷信息时，可以使用一些特殊的标记或编码，以便快速识别和管理缺陷信息。同时，记录的缺陷信息需要与待检测电路图像相关联，方便后续操作和管理。在后续操作和管理中，检测工人可以通过查询或搜索数据库来查找与待检测电路图像相关联的缺陷信息。这样可以快速定位和处理缺陷，提高生产效率和质量。

简言之，通过自动记录缺陷信息，并将其与待检测电路图像相关联，可以方便检测工人对照保存的缺陷图像进行后续处理。同时，还可以提高生产效率和质量，减少人工干预和错误率。

参照图7所示，图7示出了本发明实施例提供的软膜电路板缺陷检测的装置一个实施例的结构示意图，为了便于描述，仅示出了与本发明实施例相关的部分。具体的，该软膜电路板缺陷检测的装置包括：

获取单元201，用于获取缺陷样本数据集，所述缺陷样本数据集包含多种不同缺陷的电路板样本图像；

训练单元202，用于采用目标检测算法，以所述缺陷样本数据集中的一部分数据作为训练集，以所述缺陷样本数据集中的另一部分数据作为验证集，进行检测模型训练和验证；

检测单元203，用于获取被检测电路板图像，并采用模板匹配方式对被检测电路板图像中各个电路部分进行精确定位，再利用所述检测模型对各个电路进行缺陷检测。

参照图8所示，在本发明的一个实施例中，所述训练单元202包括：

数据处理模块2021，用于将缺陷样本数据集分为训练集和验证集，并使用数据增强方法对训练集进行增强以扩展训练集；所述训练集和验证集均包含缺陷图像和标注文件；

预训练模块2022，用于加载预训练模型权重，从中抽取通用的图像特征，以使检测模型获得较优的初始化权重。

训练模块2023，用于使用YOLOv7目标检测算法搭建模型，使用训练集进行模型训练，并使用验证集对训练模型结果进行评估。

参照图9所示，在本发明的一个实施例中，所述检测单元203包括：

匹配模块2031，用于根据先验知识，得到被检测电路板图像上各个电路部分与标签图像模板的中心位置之间的几何尺寸关系；所述标签图像模板为预先制作的具有电路板标签的图像模板。

截取模块2032，用于根据所述几何尺寸关系截取被检测电路板图像上各个电路部分的图像作为被检图像。

检测模块2033，用于将被检图像传输到检测模型中进行检测，且在检测到缺陷时，将缺陷在所述被检图像中的位置映射到所述被检测电路板图像中，并在所述被检测电路板图像标记出其位置和缺陷类型。

在本发明的一个实施例中，所述匹配模块2031包括：

匹配图像的截取模块，用于从被检测电路板图像的一个边角点开始截取，到一个预定点结束截取，以得到截取图像，该截取图像中含有电路板的标签；

归一化匹配模块，用于采用归一化相关匹配法将所述截取图像与标签图像模板进行模板匹配，得到所述截取图像中所述标签的中心在所述截取图像中的位置；

映射模块，用于将匹配得到所述标签的中心位置映射到所述被检测电路板图像中，得到该标签的中心位置对应在所述被检测电路板图像中的位置，进而得到被检测电路板图像上各个电路部分与标签图像模板的中心位置之间的几何尺寸关系。

在本发明的一些实施例中，该装置还包括：

命令输出模块，用于在检测到缺陷之后，输出控制信号至吸盘和喷码设备，以使所述吸盘装置将电路板传输至不良仓，同时以使所述喷码设备在所述被检测电路板图像对应的电路板实物上记录缺陷信息和检测时间，所述缺陷信息和检测时间与所述待检测电路图像相关联。

根据本发明实施例提供的软膜电路板缺陷检测装置，以YOLOv7目标检测算法作为基本检测模型，对图像拍摄因传动机台抖动或者光源不稳定而导致的变化不敏感，不需要设置大量的处理参数，鲁棒性较强，同时，具有更高的目标识别准确率，并且在检测实时性上能够达到整个软膜电路板生产工艺流程的要求。

参照图10所示，本发明实施例还提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的软膜电路板缺陷检测方法。

示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述计算机设备中的执行过程。

本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的软膜电路板缺陷检测方法。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置或系统类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。