掌桥专利:专业的专利平台
掌桥专利
首页

缺陷检测方法及装置、电子设备和存储介质

文献发布时间:2023-06-19 09:43:16


缺陷检测方法及装置、电子设备和存储介质

技术领域

本公开涉及图像处理技术领域,具体而言,涉及一种缺陷检测方法及装置、电子设备和存储介质。

背景技术

随着科技的发展,现代制造业对于印刷电路板(Printed circuit board,PCB)的需求也日益增长。电子设备性能的优劣不但受电子元器件本身质量和性能的影响,而且在很大程度上取决于PCB质量的好坏。PCB缺陷检测技术是关系到电子系统质量和生产周期的重要环节,自从PCB发明以来就备受重视。当前各种设备的生产厂商对于电路板的要求越来越高,不只是追求更高性能和生产效率,对电路板的良品率等质量因素还有更加严格的要求。

当前通常利用自动光学检测(Automated Optical Inspection,AOI)设备来进行PCB缺陷检测;AOI设备在自动检测时,通过摄像头对PCB进行自动扫描得到PCB图像,然后将PCB图像中的焊点与数据库中合格图像的焊点进行比较,以检查出PCB上存在的缺陷;当前对PCB的缺陷检测方法存在泛化能力差的问题。

发明内容

本公开实施例至少提供一种缺陷检测方法及装置、电子设备和存储介质。

第一方面,本公开实施例提供了一种缺陷检测方法,包括:确定待检测图像中的多个待检测目标中每个待检测目标的目标图像区域;基于所述每个待检测目标的目标图像区域,确定所述每个待检测目标的特征数据,并基于所述每个待检测目标的目标图像区域,将多个所述待检测目标划分为至少一个分组;根据分组结果以及所述每个待检测目标的特征数据确定每个分组中各个待检测目标的缺陷检测结果。

这样,利用了相似的元器件在PCB上形成的焊点形状和大小通常较为相似,且特征通常也较为相似这一特性,通过各个待检测目标在待检测图像中的目标图像区域,提取每个待检测目标的特征数据,并将多个待检测目标划分为至少一个分组,然后根据分组结果确定每个分组中各个待检测目标的缺陷检测结果;该方法不需要针对不同的PCB进行编程,具有更高的检测精度和泛化能力。

一种可选的实施方式中,所述确定待检测图像中的多个待检测目标中每个待检测目标的目标图像区域,包括:对所述待检测图像进行语义分割处理,得到所述待检测图像中各个像素点分别对应的语义分割结果;基于所述待检测图像中各个像素点分别对应的语义分割结果,确定所述每个待检测目标的目标图像区域。

这样,通过对待处理图像进行语义分割处理,以根据语义分割处理结果得到每个待检测目标更为精确的目标图像区域。

一种可选的实施方式中,所述基于所述待检测图像中各个像素点分别对应的语义分割结果,确定所述每个待检测目标的目标图像区域,包括:基于所述待检测图像中各个像素点分别对应的语义分割结果,从所述待检测图像中确定归属于所述每个待检测目标的目标像素点;基于所述每个待检测目标的目标像素点的图像坐标,确定该待检测目标的最小包围框的坐标范围;将所述最小包围框的坐标范围对应的图像区域作为所述待检测目标的目标图像区域。

这样,通过确定各个待检测目标的最小包围框,能够更精确的将各个待检测目标的目标图像区域确定出来。

一种可选的实施方式中,所述基于所述每个待检测目标的目标图像区域,确定所述每个待检测目标的特征数据,包括:对所述待检测图像进行特征提取,得到所述待检测图像的特征图;基于所述每个待检测目标的目标图像区域,从所述待检测图像的特征图中截取每个待检测目标对应的特征子图;将所述每个待检测目标对应的特征子图中各个特征点的特征值,确定为该待检测目标的特征数据。

这样,通过对待检测图像进行特征提取,得到表征每个待检测目标的特征数据。利用不同待检测目标的特征数据不同,而相同待检测目标的特征数据相同或者类似,使得后续过程能够基于特征数据将其中存在缺陷的待检测目标确定出来。

一种可选的实施方式中,所述基于所述每个待检测目标的目标图像区域,将多个所述待检测目标划分为至少一个分组,包括:基于每个待检测目标的目标图像区域,确定所述每个待检测目标在预先确定的聚类指标下的指标值;基于所述每个待检测目标在所述聚类指标下的指标值,对多个所述待检测目标进行聚类,以将多个所述待检测目标划分为至少一个分组。

这样,通过待检测目标在预先确定的聚类下的指标值,将多个待检测目标划分为至少一个分组,从而将相同的待检测目标划分至一个分组中,使得每个分组中存在缺陷的待检测目标的特征数据较之对应分组中其他待检测目标的特征数据更具有特异性。

一种可选的实施方式中,所述聚类指标包括下述至少一种:目标图像区域的长度、目标图像区域的宽度、目标图像区域中待检测目标的填充度、以及目标图像区域中像素点的像素值分布。

这样,通过上述至少一个聚类指标,能够将待检测目标精确划分为至少一个分组。

一种可选的实施方式中,所述根据分组结果确定每个分组中各个待检测目标的缺陷检测结果,包括:根据所述每个分组中各个待检测目标的特征数据,对所述每个分组进行离群点检测;基于所述每个分组的离群点检测结果,确定所述每个分组中各个待检测目标的缺陷检测结果;其中,针对任一待检测目标,在所述任一待检测目标为离群点的情况下,所述任一待检测目标的缺陷检测结果指示所述任一待检测目标存在缺陷。

这样,通过对每个分组进行利群点检测,将其中存在缺陷的待检测目标确定出来,以得到各个待检测目标的缺陷检测结果。

第二方面,本公开实施例还提供一种缺陷检测装置,包括:确定模块,用于确定待检测图像中的多个待检测目标中每个待检测目标的目标图像区域;处理模块,用于基于所述每个待检测目标的目标图像区域,确定所述每个待检测目标的特征数据,并基于所述每个待检测目标的目标图像区域,将多个所述待检测目标划分为至少一个分组;检测模块,用于根据分组结果以及所述每个待检测目标的特征数据确定每个分组中各个待检测目标的缺陷检测结果。

一种可能的实施方式中,所述确定模块,在确定待检测图像中的多个待检测目标中每个待检测目标的目标图像区域时,用于:对所述待检测图像进行语义分割处理,得到所述待检测图像中各个像素点分别对应的语义分割结果;基于所述待检测图像中各个像素点分别对应的语义分割结果,确定所述每个待检测目标的目标图像区域。

一种可能的实施方式中,所述确定模块,在基于所述待检测图像中各个像素点分别对应的语义分割结果,确定所述每个待检测目标的目标图像区域时,用于:基于所述待检测图像中各个像素点分别对应的语义分割结果,从所述待检测图像中确定归属于所述每个待检测目标的目标像素点;基于所述每个待检测目标的目标像素点的图像坐标,确定该待检测目标的最小包围框的坐标范围;将所述最小包围框的坐标范围对应的图像区域作为所述待检测目标的目标图像区域。

一种可能的实施方式中,所述处理模块,在基于所述每个待检测目标的目标图像区域,确定所述每个待检测目标的特征数据时,用于:对所述待检测图像进行特征提取,得到所述待检测图像的特征图;基于所述每个待检测目标的目标图像区域,从所述待检测图像的特征图中截取每个待检测目标对应的特征子图;将所述每个待检测目标对应的特征子图中各个特征点的特征值,确定为该待检测目标的特征数据。

一种可能的实施方式中,所述处理模块,在基于所述每个待检测目标的目标图像区域,将多个所述待检测目标划分为至少一个分组时,用于:基于每个待检测目标的目标图像区域,确定所述每个待检测目标在预先确定的聚类指标下的指标值;基于所述每个待检测目标在所述聚类指标下的指标值,对多个所述待检测目标进行聚类,以将多个所述待检测目标划分为至少一个分组。

一种可能的实施方式中,所述聚类指标包括下述至少一种:目标图像区域的长度、目标图像区域的宽度、目标图像区域中待检测目标的填充度、以及目标图像区域中像素点的像素值分布。

一种可能的实施方式中,所述检测模块,在根据分组结果确定每个分组中各个待检测目标的缺陷检测结果时,用于:根据所述每个分组中各个待检测目标的特征数据,对所述每个分组进行离群点检测;基于所述每个分组的离群点检测结果,确定所述每个分组中各个待检测目标的缺陷检测结果。

第三方面,本公开实施例还提供一种电子设备,包括:相互连接的处理器和存储器,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述机器可读指令被所述处理器执行以实现上述第一方面,或第一方面中任一种可能的实施方式中的缺陷检测方法。

第四方面,本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面,或第一方面中任一种可能的实施方式中的缺陷检测方法。

为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种缺陷检测方法的流程图;

图2示出了本公开实施例所提供的确定待检测目标的目标图像区域的具体方法的流程图;

图3示出了本公开实施例所提供的确定每个待检测目标的特征数据的具体方法的流程图;

图4示出了本公开实施例所提供的将多个待检测目标划分为至少一个分组的具体方法的流程图;

图5示出了本公开实施例所提供的确定分组中各个待检测目标的缺陷检测结果的具体方法;

图6示出了本公开实施例所提供的一种缺陷检测装置的示意图;

图7示出了本公开实施例所提供的一种电子设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。

经研究发现,在使用AOI设备对PCB进行缺陷检测时,首先需要专业的工程师根据PCB上焊点的位置,针对PCB进行编程;在编程后,通过AOI设备上的摄像头自动扫描PCB得到PCB图像,然后将PCB图像中的焊点与数据库中合格图像的金属焊点进行比较;当PCB图像中任一金属焊点与合格图像中对应金属焊点的形状不一致时,则确定该焊点可能存在缺陷,然后将该焊点位置标注出来,并通过AOI设备上的显示设备展示给工程师,以使工程师能够基于缺陷检测结果来进行后续处理。

这种针对PCB的检测方式中,检测的准确性与工程师编程水准高度相关;同时,PCB在更换、或者版图发生变化后,要针对新的或者版图发生变化的PCB重新进行编程,造成该种方法泛化能力差。

基于上述研究,本公开提供了一种缺陷检测方法及装置,利用了相似的元器件在PCB上形成的焊点形状和大小通常较为相似,且特征通常也较为相似这一特性,通过各个待检测目标在待检测图像中的目标图像区域,提取每个待检测目标的特征数据,并将多个待检测目标划分为至少一个分组,然后根据各个分组中待检测目标的特征数据,确定各个分组中每个待检测目标的缺陷检测结果;该方法不需要针对不同的PCB进行编程,具有更高的检测精度和泛化能力。

针对以上方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案,都应该是发明人在本公开过程中对本公开做出的贡献。

应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。

为便于对本实施例进行理解,首先对本公开实施例提供的一种缺陷检测方法进行详细介绍,本公开实施例所提供的缺陷检测方法的执行主体一般为具有一定计算能力的电子设备,该电子设备例如包括:终端设备或服务器或其它处理设备,终端设备可以为专用于进行PCB质量检测的设备,也可以为其他终端设备,例如电脑、移动设备等。在一些可能的实现方式中,该缺陷检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

另外,本公开实施例提供的缺陷检测方法除了能够用于度PCB进行缺陷检测外,还可以对其他物品进行缺陷检测,例如工件、机器部件等。

下面以对PCB进行缺陷检测为例对本公开实施例提供的缺陷检测方法加以详细说明。

参见图1所示,为本公开实施例提供的缺陷检测方法的流程图,所述方法包括步骤S101~S103,其中:

S101:确定待检测图像中的多个待检测目标中每个待检测目标的目标图像区域;

S102:基于所述每个待检测目标的目标图像区域,确定所述每个待检测目标的特征数据,并基于所述每个待检测目标的目标图像区域,将多个所述待检测目标划分为至少一个分组;

S103:根据分组结果以及所述每个待检测目标的特征数据确定每个分组中各个待检测目标的缺陷检测结果。

下面分别对上述S101-S103加以详细说明。

I:在上述S101中,待检测图像根据缺陷检测目标的不同,所包含的待检测目标也不同;例如若缺陷检测的目标为PCB,则PCB对应的待检测图像中所包含的待检测目标为元器件的金属焊点;又例如,若缺陷检测的目标为工件,则工件对应的待检测图像中所包含的待检测目标为各种形状的工件。

待检测目标的目标图像区域,通常待检测图像中包含待检测目标的区域。

具体地,参见图2所示,本公开实施例提供一种确定待检测目标的目标图像区域的具体方法,包括:

S201:对所述待检测图像进行语义分割处理,得到所述待检测图像中各个像素点分别对应的语义分割结果。

此处,例如可以采用预先训练的语义分割模型来对待检测图像进行语义分割处理,得到的待检测图像中每个像素点分别对应的语义分割结果,为每个像素点所属的类别。

又例如,可以基于色彩空间分割算法对待检测图像进行语义分割处理;如基于色调、饱和度、明度(Hue、Saturation、Value,HSV)对待检测图像进行语义分割处理,或基于红绿蓝(Red、Green、Blue,RGB)色彩对待检测图像进行语义分割处理。

又例如,还可以基于形状对待检测而图像进行语义分割处理;例如首先对待检测图像进行边缘检测,得到待检测图像中各个待检测目标的边缘;然后根据各个待检测目标的边缘,确定各个待检测目标的形状,然后根据待检测目标在待检测图像中的形状,确定待检测图像的语义分割结果。

S202:基于所述待检测图像中各个像素点分别对应的语义分割结果,确定所述每个待检测目标的目标图像区域。

此处,在确定每个待检测目标的目标图像区域时,例如可以采用下述方法:

基于所述待检测图像中各个像素点分别对应的语义分割结果,从所述待检测图像中确定归属于所述每个待检测目标的目标像素点;基于所述每个待检测目标的目标像素点的图像坐标,确定该待检测目标的最小包围框的坐标范围;将所述最小包围框的坐标范围对应的图像区域作为所述待检测目标的目标图像区域。

这里,最小包围框例如包括:最小包围矩形、最小包围圆等;也可以根据实际待检测目标的形状,为待检测目标确定其他形状的最小包围框,例如三角形、梯形等,具体根据实际需要来确定,在此不再赘述。

II:在上述S102中,如图3所示,本公开实施例提供一种基于每个待检测目标的目标图像区域,确定每个待检测目标的特征数据的具体方法,包括:

S301:对所述待检测图像进行特征提取,得到所述待检测图像的特征图。

此处,例如可以采用局部二值模式(Local Binary Pattern,LBP)算子、方向梯度直方图(Histogram of Oriented Gradient,HOG)提取算法、尺度不变特征变换(Scale-invariant feature transform,SIFT)提取算法、卷积神经网络等中任一种对待检测图像进行特征提取。

在使用卷积神经网络对待检测图像提取特征图时,可以不采用任何标注数据对卷积神经网络进行训练,而是利用自动编码器(Auto Encoder)对卷积神经网络进行预训练。

所得到的特征图例如为大小与待检测图像一致的高维矩阵,矩阵通道个数为特征维度。

需要注意的是,所采用的特征提取算法不同,所得到待检测图像的特征图也会有所区别。

S302:基于所述每个待检测目标的目标图像区域,从所述待检测图像的特征图中截取每个待检测目标对应的特征子图。

此处,为待检测图像所提取的特征图中的各个特征点与待检测图像中的各个像素点具有一定的映射关系;根据该映射关系,能够基于目标图像区域在待检测图像中的位置,确定待检测目标的特征子图在特征图中的位置,从而从待检测图像的特征图中将每个待检测目标的特征子图截取出来。

S303:将所述每个待检测目标对应的特征子图中各个特征点的特征值,确定为该待检测目标的特征数据。

此处,例如可以对每个待检测而目标对应的特征子图中各个特征点的特征值取平均值、最大值、方差等中任一种,得到每个待检测目标的特征数据。

示例性的,例如将目标图像区域内的所有特征点的信息融合在一起,形成表示待检测目标的一维特征。该一维特征在后续处理过程中,具有更低的计算复杂度。

另外,考虑到识别精度,也可以在不同维度上对目标图像区域内的所有特征点的信息进行融合,形成表征待检测目标的多维特征。多维特征在后续处理过程中,具有更高的检测精度。

参见图4所示,本公开实施例还提供一种基于每个待检测目标的目标图像区域,将多个待检测目标划分为至少一个分组的具体方法,包括:

S401:基于每个待检测目标的目标图像区域,确定所述每个待检测目标在预先确定的聚类指标下的指标值。

此处,聚类指标例如包括下述一种或者多种:目标图像区域的长度、目标图像区域的宽度、目标图像区域中待检测目标的填充度、目标图像区域中像素点的像素值分布。

其中,a1:针对聚类指标包括目标区域的长度的情况,由于在确定待检测图像中每个待检测目标的目标图像区域时,能够得到包含有待检测目标的目标图像区域在待检测图像中的具体位置;根据该位置,即能够确定目标图像区域的长度。

a2:针对聚类指标包括目标区域的宽度的情况,与上述a1类似,在此不再赘述。

a3:针对聚类指标包括目标图像区域中待检测目标的填充度的情况,由于在确定各个待检测目标的目标图像区域时,会对待检测图像进行语义分割处理,得到待检测图像中每个像素点的语义分割结果;进而,在为每个待检测目标确定了目标图像区域后,目标图像区域中每个像素点的语义分割结果也已经获知。统计目标图像区域中,语义分割结果指示为待检测目标的像素点的数量,占据目标图像区域中像素点总数量的百分比,将该百分比确定为目标图像区域中待检测目标的填充度。

a4:针对聚类指标包括目标图像区域中像素点的像素值分布的情况,例如可以预先确定多个像素值取值区间,统计目标图像区域中落入每个像素值取值区间的像素点的数量,将各个像素值取值区间分别对应的像素点的数量比,确定为目标图像区域中像素点的像素值分布。

S402:基于所述每个待检测目标在所述聚类指标下的指标值,对多个所述待检测目标进行聚类,以将多个所述待检测目标划分为至少一个分组。

此处,通过该聚类过程,能够将形状相同或者相似的金属焊点划分到一个分组。

此处,在基于每个待检测目标在聚类指标下的指标值,对多个待检测目标进行聚类时,若聚类指标仅有一个,例如可以K-MEANS聚类算法、均值偏移聚类算法、层次聚类算法、使用高斯混合模型的期望最大化聚类算法、带噪声的基于密度的空间聚类应算法(Density-Based Spatial Clustering of Applications with Noise,DBSCAN)中一种或者多种算法来实现对多个待检测目标的聚类。

若聚类指标有多个,例如可以依次基于每个聚类指标,对多个待检测目标进行层次聚类。或者通过多个聚类指标值构成的特征向量,计算每两个待检测目标之间的欧式距离,然后根据该欧式距离,对多个待检测目标进行聚类。

具体的聚类方法可以根据实际的需要进行具体设定,这里不做限定。

III:在上述S103中,在上述S102中,由于已经将形状相同或者相似的金属焊点划分到一个分组,针对任一分组,由于该分组中所有的待检测目标在理论上应当属于相同金属元器件的金属焊点,因此,若该分组中,所有的待检测目标均无缺陷,则其所对应的特征数据应当相同或者相似;若其中任一个待检测目标存在缺陷,则其所对应的特征数据与其他待检测目标的特征数据之间差异就会比较明显,进而,能够基于分组结果确定每个分组中各个待检测目标的缺陷检测结果;示例性的,例如可以基于每个分组中各个待检测目标的特征数据,确定每个分组中各个待检测目标的缺陷检测结果。

参见图5所述,本公开实施例提供一种根据分组结果以及所述每个待检测目标的特征数据确定每个分组中各个待检测目标的缺陷检测结果的具体方法,包括:

S501:根据所述每个分组中各个待检测目标的特征数据,对所述每个分组进行离群点检测。

此处,离群点是一个数据对象,它显著不同于其他数据对象,好像它是被不同的机制产生的一样。有时也称非离群点为“正常数据”,离群点为“异常数据”。此处,在本公开实施例中,离群点,即存在缺陷的待检测目标。

具体地,例如可以采用统计学方法,基于每个分组中的各个待检测目标的特征数据,对每个分组进行离群点检测。又例如,可以基于临近性的方法基于每个分组中的各个待检测目标的特征数据,对每个分组进行离群点检测。还例如,基于每个分组中的各个待检测目标的特征数据,对每个分组中的待检测目标再次进行聚类,并根据聚类结果,确定每个分组中是否存在离群点。

具体的离群点检测方法,可以根据实际的应用需要进行设定,这里不做限定。

S502:基于所述每个分组的离群点检测结果,确定所述每个分组中各个待检测目标的缺陷检测结果。

此处,示例性的,针对任一个分组,若该分组中存在作为离群点的待检测目标,则该作为离群点的待检测目标存在缺陷,其他作为非离群点的待检测目标未存在缺陷。若该分组中不存在作为离群点的待检测目标,则该分组中的各个待检测目标不存在缺陷。

本公开另一实施例中,在确定每个分组中各个待检测目标的缺陷检测结果后,还包括:

输出和/或展示存在缺陷的待检测目标在待检测图像中的位置信息。

该位置信息例如可以通过目标图像区域来表征,又例如可以是存在缺陷的待检测目标在待检测图像中的坐标值。

本公开实施例利用了相似的元器件在PCB上形成的焊点形状和大小通常较为相似,且特征通常也较为相似这一特性,通过各个待检测目标在待检测图像中的目标图像区域,提取每个待检测目标的特征数据,并将多个待检测目标划分为至少一个分组,然后根据分组结果确定各个分组中每个待检测目标的缺陷检测结果;该方法不需要针对不同的PCB进行编程和设定具体检测规则,具有更高的检测精度和泛化能力。

另外,本公开实施提供的缺陷检测方法,较之通过神经网络来进行缺陷检测而言,计算量更少,所需要依赖的硬件资源更少,因此更适用于部署在嵌入式设备中。

同时,本公开实施例提供的缺陷检测方法,不需要标注缺陷数据,因此所需要耗费的工作量更少,实施更方便快捷。

本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思,本公开实施例中还提供了与缺陷检测方法对应的缺陷检测装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述缺陷检测方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。

参照图6所示,为本公开实施例提供的一种缺陷检测装置的示意图,所述装置包括:确定模块61、处理模块62、以及检测模块63;其中,

确定模块61,用于确定待检测图像中的多个待检测目标中每个待检测目标的目标图像区域;

处理模块62,用于基于所述每个待检测目标的目标图像区域,确定所述每个待检测目标的特征数据,并基于所述每个待检测目标的目标图像区域,将多个所述待检测目标划分为至少一个分组;

检测模块63,用于根据分组结果以及所述每个待检测目标的特征数据确定每个分组中各个待检测目标的缺陷检测结果。

一种可能的实施方式中,所述确定模块61,在确定待检测图像中的多个待检测目标中每个待检测目标的目标图像区域时,用于:

对所述待检测图像进行语义分割处理,得到所述待检测图像中各个像素点分别对应的语义分割结果;

基于所述待检测图像中各个像素点分别对应的语义分割结果,确定所述每个待检测目标的目标图像区域。

一种可能的实施方式中,所述确定模块61,在基于所述待检测图像中各个像素点分别对应的语义分割结果,确定所述每个待检测目标的目标图像区域时,用于:

基于所述待检测图像中各个像素点分别对应的语义分割结果,从所述待检测图像中确定归属于所述每个待检测目标的目标像素点;

基于所述每个待检测目标的目标像素点的图像坐标,确定该待检测目标的最小包围框的坐标范围;

将所述最小包围框的坐标范围对应的图像区域作为所述待检测目标的目标图像区域。

一种可能的实施方式中,所述处理模块62,在基于所述每个待检测目标的目标图像区域,确定所述每个待检测目标的特征数据时,用于:

对所述待检测图像进行特征提取,得到所述待检测图像的特征图;

基于所述每个待检测目标的目标图像区域,从所述待检测图像的特征图中截取每个待检测目标对应的特征子图;

将所述每个待检测目标对应的特征子图中各个特征点的特征值,确定为该待检测目标的特征数据。

一种可能的实施方式中,所述处理模块62,在基于所述每个待检测目标的目标图像区域,将多个所述待检测目标划分为至少一个分组时,用于:

基于每个待检测目标的目标图像区域,确定所述每个待检测目标在预先确定的聚类指标下的指标值;

基于所述每个待检测目标在所述聚类指标下的指标值,对多个所述待检测目标进行聚类,以将多个所述待检测目标划分为至少一个分组。

一种可能的实施方式中,所述聚类指标包括下述至少一种:

目标图像区域的长度、目标图像区域的宽度、目标图像区域中待检测目标的填充度、以及目标图像区域中像素点的像素值分布。

一种可能的实施方式中,所述检测模块63,在根据分组结果以及所述每个待检测目标的特征数据确定每个分组中各个待检测目标的缺陷检测结果时,用于:

根据所述每个分组中各个待检测目标的特征数据,对所述每个分组进行离群点检测;

基于所述每个分组的离群点检测结果,确定所述每个分组中各个待检测目标的缺陷检测结果;其中,针对任一待检测目标,在所述任一待检测目标为离群点的情况下,所述任一待检测目标的缺陷检测结果指示所述任一待检测目标存在缺陷。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。

本公开实施例还提供了一种电子设备10,如图7所示,为本公开实施例提供的电子设备10结构示意图,包括:

处理器11和存储器12;所述存储器12存储有所述处理器11可执行的机器可读指令,当电子设备运行时,所述机器可读指令被所述处理器执行以实现下述步骤:

确定待检测图像中的多个待检测目标中每个待检测目标的目标图像区域;基于所述每个待检测目标的目标图像区域,确定所述每个待检测目标的特征数据,并基于所述每个待检测目标的目标图像区域,将多个所述待检测目标划分为至少一个分组;针对所述至少一个分组中的每个分组,根据该分组中各个待检测目标的特征数据,确定该分组中各个待检测目标的缺陷检测结果。

上述指令的具体执行过程可以参考本公开实施例中所述的缺陷检测方法的步骤,此处不再赘述。

本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的缺陷检测方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例所提供的缺陷检测方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行上述方法实施例中所述的缺陷检测方法的步骤,具体可参见上述方法实施例,在此不再赘述。

本公开实施例还提供一种计算机程序,该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software DevelopmentKit,SDK)等等。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台电子设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。

相关技术
  • 一种面板缺陷区域检测方法、装置、电子设备及存储介质
  • OLED喷印缺陷检测方法、装置、电子设备及存储介质
技术分类

06120112276650