PCB缺陷检测系统及PCB缺陷检测方法

技术领域

本发明涉及PCB检测领域，尤其涉及一种PCB缺陷检测系统及PCB缺陷检测方法。

背景技术

在典型的 AI 训练过程中，AI模型被训练为通过向其中输入大量各种类型的图像来识别各种类型的缺陷和非缺陷（误报缺陷）。这种训练方法的缺点是，在实际生产中，不同类型的缺陷或误报缺陷以不同的频率发生，训练过程中不同类型的缺陷可能会造成不相等的识别准确率，以及试图识别所有类型的缺陷和误报所导致的低效率。此外，根据不同类型缺陷或误报的发生频率，频率低的缺陷类型会拉低整体的识别精准度，因此，可能需要相当长的时间才能达到可接受的整体准确度水平。

以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，也不必然会给出技术教导；在没有明确的证据表明上述内容在本专利申请的申请日之前已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

本发明的目的是提供一种提高检测效率和准确率的PCB缺陷检测系统及PCB缺陷检测方法。

为达到上述目的，本发明采用的技术方案如下：

一种PCB缺陷检测系统，其被配置为对目标PCB图像进行缺陷检测，所述系统至少包括第一检测子模型和第二检测子模型，其中，所述第一检测子模型的优先级比所述第二检测子模型的优先级高；

所述第一检测子模型被预先训练以预测一PCB图像具有第一缺陷类型的概率，所述第二检测子模型被预先训练以预测一PCB图像具有第二缺陷类型的概率，所述第一缺陷类型与第二缺陷类型属于不同的PCB缺陷类型；

若所述第一检测子模型预测得到所述目标PCB图像具有第一缺陷类型的概率超过预设的第一基准概率阈值，则确定所述目标PCB图像的缺陷检测结果为所述第一缺陷类型；否则将所述目标PCB图像输入所述第二检测子模型。

进一步地，所述第一检测子模型预先训练所使用的训练样本集中样本图像的标签仅包括所述第一缺陷类型，或者，仅包括所述第一缺陷类型和无缺陷类型；

所述第二检测子模型预先训练所使用的训练样本集中样本图像的标签仅包括所述第二缺陷类型，或者，仅包括所述第二缺陷类型和无缺陷类型。

进一步地，将所述目标PCB图像输入所述第二检测子模型后，若所述第二检测子模型预测得到所述目标PCB图像具有第二缺陷类型的概率超过预设的第二基准概率阈值，则确定所述目标PCB图像的缺陷检测结果为所述第二缺陷类型，所述第二基准概率阈值与第一基准概率阈值相等或不等。

进一步地，所述系统还包括一个或多个其他检测子模型，所述其他检测子模型被预先训练以预测一PCB图像具有其他缺陷类型的概率，所述其他缺陷类型与第一缺陷类型、第二缺陷类型均不同，所述其他检测子模型的优先级低于所述第二检测子模型的优先级；

将所述目标PCB图像输入所述第二检测子模型后，若所述第二检测子模型预测得到所述目标PCB图像具有第二缺陷类型的概率未超过预设的第二基准概率阈值，则将所述目标PCB图像输入所述其他检测子模型中优先级最高的一个。

进一步地，将所述目标PCB图像输入所述其他检测子模型中优先级最高的一个后，若所述其他检测子模型预测得到所述目标PCB图像具有相应其他缺陷类型的概率超过预设的第三基准概率阈值，则确定所述目标PCB图像的缺陷检测结果为所述其他缺陷类型，所述第三基准概率阈值与第一基准概率阈值相等或不等。

进一步地，若所有的检测子模型预测得到所述目标PCB图像具有相应缺陷类型的概率均未超过预设的对应基准概率阈值，则确定所述目标PCB图像的缺陷检测结果为预测得到的最高概率对应的缺陷类型。

进一步地，若所有的检测子模型预测得到所述目标PCB图像具有相应缺陷类型的概率均低于各自的预设的下限概率阈值，则确定所述目标PCB图像的缺陷检测结果为无缺陷。

进一步地，若所有的检测子模型预测得到所述目标PCB图像具有相应缺陷类型的概率均未超过预设的对应基准概率阈值，则利用人工识别所述目标PCB图像的缺陷类型，以识别结果作为所述目标PCB图像的标签，得到一学习样本；

将该学习样本加入与所述标签对应的训练样本集，利用更新后的训练样本集对与所述标签对应的检测子模型进行再训练，以更新该检测子模型。

进一步地，所述确定所述目标PCB图像的缺陷检测结果之后，统计各个PCB缺陷类型的历史被检次数，按照所述各个PCB缺陷类型的历史被检次数由多到少的顺序，对各个检测子模型的优先级由高到低进行排序。

根据本发明的另一方面，提供了一种PCB缺陷检测方法，包括以下步骤：

获取目标PCB图像；

按照优先级由高到低的顺序，依次将所述目标PCB图像输入各个检测子模型，其中，各个检测子模型被预先训练以预测一PCB图像具有对应的缺陷类型的概率，且各个检测子模型对应的缺陷类型不同，直至当前输入的检测子模型预测得到所述目标PCB图像具有对应缺陷类型的概率超过预设的对应基准概率阈值，则确定所述目标PCB图像的缺陷检测结果为当前输入的检测子模型对应的缺陷类型。

进一步地，所述目标PCB图像的获取步骤包括：

利用AOI设备对目标PCB进行扫描，获取PCB扫描图像；

利用AOI设备对所述PCB扫描图像进行识别，得到缺陷列表，所述缺陷列表中存在一个或多个缺陷信息，每个缺陷信息包括缺陷位置；

截取所述PCB扫描图像在所述缺陷位置的局部图像，得到一个或多个所述目标PCB图像。

进一步地，每个缺陷信息还包括缺陷预判类型，所述确定所述目标PCB图像的缺陷检测结果之前还包括：

判断所述当前输入的检测子模型对应的缺陷类型与所述目标PCB图像对应的缺陷预判类型是否一致，若一致，则确定所述目标PCB图像的缺陷检测结果为当前输入的检测子模型对应的缺陷类型。

进一步地，若所述当前输入的检测子模型对应的缺陷类型与所述目标PCB图像对应的缺陷预判类型不一致，则利用人工识别所述目标PCB图像的缺陷类型，以识别结果作为所述目标PCB图像的标签，得到一学习样本；

将该学习样本加入与所述标签对应的训练样本集，利用更新后的训练样本集对与所述标签对应的检测子模型进行再训练，以更新该检测子模型。

进一步地，获取目标PCB图像的同时还获取其所属区域信息；

根据所述PCB图像所属区域信息，确定各个检测子模型的优先级高低顺序。

本发明提供的技术方案带来的有益效果如下：

a. 检测系统配置多个检测子模型，以分别专注学习特定的一种缺陷和误报缺陷的类型，每个检测子模型均仅需要较短时间就可以达到可接受的识别准确度水平；

b. 可以后续灵活配置更多新的检测子模型以解决新的缺陷类型的识别问题，并且不会影响先前的检测子模型正常投入生产。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一个示例性实施例提供的PCB缺陷检测系统的检测流程示意图；

图2为本发明的一个示例性实施例提供的在所有检测子模型的预测概率均低于阈值状况下第一种处理方式流程示意图；

图3为本发明的一个示例性实施例提供的在所有检测子模型的预测概率均低于阈值状况下第二种处理方式流程示意图；

图4为本发明的一个示例性实施例提供的在所有检测子模型的预测概率均低于阈值状况下第三种处理方式流程示意图；

图5为本发明的一个示例性实施例提供的PCB缺陷检测方法概述示意图；

图6为本发明的一个示例性实施例提供的PCB缺陷检测方法的详细流程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。

本发明提出由多个检测子模型各自专注于学习各自对应的缺陷或误报缺陷的特定类型，并在一组窄的参数上优化模型（因为单个检测子模型不涉及多种特定类型的缺陷），这些窄的参数专注于准确识别对应的一种特定类型的图像，使得学习过程要加快很多，并且一旦完成，就可以通过识别更频繁发生的缺陷或误报缺陷而不是那些发生频率较低的缺陷或误报缺陷来提高验证效率，从而降低对生产的影响。

并且，随着 AI 训练过程的继续，后续可以灵活添加其他类型缺陷和检测子模型，而经过训练的检测子模型已经通过识别最常见的缺陷和误报缺陷来实时提供检测服务。

在本发明的一个实施例中，提供了一种PCB缺陷检测系统，其被配置为对目标PCB图像进行缺陷检测，如图1所示，所述系统至少包括第一检测子模型和第二检测子模型，其中，所述第一检测子模型的优先级比所述第二检测子模型的优先级高；

所述第一检测子模型被预先训练以预测一PCB图像具有第一缺陷类型的概率，所述第二检测子模型被预先训练以预测一PCB图像具有第二缺陷类型的概率，所述第一缺陷类型与第二缺陷类型属于不同的PCB缺陷类型，并且以不同的频率发生；

若所述第一检测子模型预测得到所述目标PCB图像具有第一缺陷类型的概率超过预设的第一基准概率阈值，则确定所述目标PCB图像的缺陷检测结果为所述第一缺陷类型；否则将所述目标PCB图像输入所述第二检测子模型。

以图1为例，检测系统配置有n个检测子模型，优先级由高到低排序分别为No.1、No.2、…、No.k、…、No.n，各个检测子模型在预先训练的时候，分别专注于学习一种缺陷的图像特征，各个不同的检测子模型学习的缺陷类型均有所区分。本实施例中，优先级根据缺陷类型发生频率来排序，频率越高，即该种类型的缺陷最容易发生，则其优先级越高，比如最容易发生的缺陷为断路，那么将第一检测子模型设置为专用于检测PCB图像是否具有断路缺陷特征，若真实缺陷为断路类型，则第一检测子模型输出预测到的所述目标PCB图像具有断路缺陷类型的概率超过预设的第一基准概率阈值，则快速得到检测结果为断路缺陷，无需再输入后续的第二检测子模型或其他检测子模型，提高了检测效率。

各个检测子模型专注于学习不同类型的缺陷，这种学习方式相比于现有技术中将各种缺陷类型的大量图片输入AI装置进行训练，学习效率更高，识别准确率更高。相应地，在预先训练中，各自的学习样本是各自统一类型的，比如第一检测子模型对应的缺陷类型为断路，第二检测子模型对应的缺陷类型为短路，第三检测子模型对应的缺陷类型为氧化，第四检测子模型对应的缺陷类型为冷焊缺陷，则输入给第一检测子模型的样本图像的缺陷类型仅为断路类型，输入给第二检测子模型的样本图像的缺陷类型仅为短路类型，输入给第三检测子模型的样本图像的缺陷类型仅为氧化类型，输入给第四检测子模型的样本图像的缺陷类型仅为冷焊缺陷类型，除了给各个检测子模型输入具有缺陷的样本图像进行训练，本发明不限定还给其输入无缺陷的样本图像。

参见图1，将目标PCB图像输入第一检测子模型，若其预测目标PCB图像具有断路缺陷的概率大于或等于比如85%（可以根据精度要求调节相应的基准概率阈值，精度要求越高，则设置基准概率阈值越大），则系统输出目标PCB图像的缺陷检测结果为断路；若预测出概率低于85%，则将所述目标PCB图像输入所述第二检测子模型后，若所述第二检测子模型预测得到所述目标PCB图像具有短路缺陷的概率大于或等于比如84%（也可以设置为85%），则系统输出目标PCB图像的缺陷检测结果为短路。如此由优先级别高到低的输入不同的检测子模型，直至有一个检测子模型预测目标PCB图像具有其对应专注学习的缺陷类型的概率大于预设的概率阈值，则系统输出目标PCB图像的缺陷检测结果为该对应专注学习的缺陷类型，至此不再需要输入下一个优先级的检测子模型。

还存在这样一种情况：直至输入优先级最低的No.n检测子模型，其预测到的概率低于预设的概率阈值，即所有的检测子模型预测得到所述目标PCB图像具有相应缺陷类型的概率均未超过预设的对应基准概率阈值，在这种情况下，本发明实施例提供了三种处理方式：

方式一、如图2所示，确定所述目标PCB图像的缺陷检测结果为预测得到的最高概率对应的缺陷类型，比如，第一检测子模型预测到的概率为78%，第二检测子模型预测到的概率为75%，第三检测子模型预测到的概率为82%，第四检测子模型预测到的概率为77%，则以第三检测子模型对应专注学习的氧化类型作为系统的缺陷检测结果。

方式二、如图3所示，进一步判断是否所有的检测子模型预测得到所述目标PCB图像具有相应缺陷类型的概率均低于各自的预设的下限概率阈值（比如均为50%），则确定所述目标PCB图像的缺陷检测结果为无缺陷，比如，第一检测子模型预测到的概率为18%，第二检测子模型预测到的概率为44%，第三检测子模型预测到的概率为42%，第四检测子模型预测到的概率为39%，则系统输出目标PCB图像的缺陷检测结果为无缺陷。

方式三、如图4所示，利用人工识别所述目标PCB图像的缺陷类型，以识别结果作为所述目标PCB图像的标签，得到一学习样本；将该学习样本加入与所述标签对应的训练样本集，利用更新后的训练样本集对与所述标签对应的检测子模型进行再训练，以更新该检测子模型。同时，系统可以输出目标PCB图像的缺陷检测结果为人工识别目标PCB图像的缺陷类型的识别结果。

本实施例中，可以根据经验设定各个检测子模型的初始优先级别，后续可以根据实际检测结果来更新优先级别，具体为：所述确定所述目标PCB图像的缺陷检测结果之后，统计各个PCB缺陷类型的历史被检次数，按照所述各个PCB缺陷类型的历史被检次数由多到少的顺序，对各个检测子模型的优先级由高到低进行排序。这对于某些情况尤其至关重要，比如以产品批次为划分，若在某一批次的电路板产品生产过程中，由于生产工艺参数或生产设备故障或者是产品本身的设计特点导致该批次的比如一万片电路板中出现频率最高的缺陷类型不是短路或者断路，而是在经验认知中优先级较低的缺陷类型，比如FM缺陷，那么通过这里的统计历史被检次数，比如在检了500片电路板之后，统计得到FM缺陷的被检次数超过断路/短路的被检次数，那么，接下来的检测中，优先输入对应FM缺陷类型的检测子模型，并且可以将最终的优先级别排序保存为该批次型号的产品的特定检测子模型优先级信息。

在本发明的一个实施例中，不同的电路板区域具有不同的缺陷类型优先级，比如，对于线路层，短路是优先级较高的一种缺陷类型，但对于电源层或接地层，短路则是优先级较低甚至是最低的一种缺陷类型。如图5所示，本发明实施例提供了一种PCB缺陷检测方法，包括以下步骤：

获取目标PCB图像；

按照优先级由高到低的顺序，依次将所述目标PCB图像输入各个检测子模型，其中，各个检测子模型被预先训练以预测一PCB图像具有对应的缺陷类型的概率，且各个检测子模型对应的缺陷类型不同，直至当前输入的检测子模型预测得到所述目标PCB图像具有对应缺陷类型的概率超过预设的对应基准概率阈值，则确定所述目标PCB图像的缺陷检测结果为当前输入的检测子模型对应的缺陷类型。

具体如图6所示，所述目标PCB图像的获取步骤包括：

利用AOI设备对目标PCB进行扫描，获取PCB扫描图像；

利用AOI设备对所述PCB扫描图像进行识别，得到缺陷列表，所述缺陷列表中存在一个或多个缺陷信息，每个缺陷信息包括缺陷位置；

截取所述PCB扫描图像在所述缺陷位置的局部图像，得到一个或多个所述目标PCB图像。

在一个特别的实施例中，每个缺陷信息还包括缺陷预判类型，所述确定所述目标PCB图像的缺陷检测结果之前还包括：

判断所述当前输入的检测子模型对应的缺陷类型与所述目标PCB图像对应的缺陷预判类型是否一致，若一致，则确定所述目标PCB图像的缺陷检测结果为当前输入的检测子模型对应的缺陷类型；若不一致，则利用人工识别所述目标PCB图像的缺陷类型，以识别结果作为所述目标PCB图像的标签，得到一学习样本；将该学习样本加入与所述标签对应的训练样本集，利用更新后的训练样本集对与所述标签对应的检测子模型进行再训练，以更新该检测子模型。同时，可以输出目标PCB图像的缺陷检测结果为人工识别目标PCB图像的缺陷类型的识别结果。

在一个特别的实施例中，获取目标PCB图像的同时还获取其所属区域信息；

根据所述PCB图像所属区域信息，确定各个检测子模型的优先级高低顺序，然后按照该顺序，依次将PCB图像输入至检测子模型中，直至当前输入的检测子模型预测得到所述目标PCB图像具有对应缺陷类型的概率超过预设的对应基准概率阈值。

本发明的PCB缺陷检测方法实施例于上述PCB缺陷检测系统实施例属于相同发明构思，在此通过引用的方式将系统实施例的全部内容并入本方法实施例中。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本申请的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。