表面缺陷检测方法、装置、设备和存储介质

技术领域

本申请涉及工业生产技术领域，特别是涉及一种表面缺陷检测方法、装置、设备和存储介质。

背景技术

随着对工业产品的外观进行缺陷检测的需求，特别是电子产品，如手机、笔记本、可穿戴设备等，自动化的AOI(光学自动检测)逐步崭露头角。例如，传统的图像处理方法，需经过图像滤波、阈值分割、连通域提取，以及通过各种条件筛选感兴趣的缺陷。比较先进的方法是利用深度学习技术，通过对一定量的图像数据进行训练，达到智能检测缺陷的目的，可以对待检测产品的整体图像进行缺陷识别。

利用深度学习技术的方法灵活度高、适用性强，特别是对于低对比度、边缘模糊、背景复杂、打光不均匀等困难场景较传统图像处理方法有巨大的优势。但是，工业产品中大部分表面缺陷属于小目标，即缺陷大小占整个产品图像的比例非常小，目前基于整体图像进行缺陷识别的方法对小目标缺陷不敏感，导致检测精度低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高检测精度的表面缺陷检测方法、装置、设备和存储介质。

一种表面缺陷检测方法，包括：

获取待检测目标的表面图像；

基于预设尺寸对所述表面图像进行图像切片，得到多张切片图像；

基于所述切片图像，采用已训练的神经网络模型进行缺陷识别，得到所述待检测目标的缺陷检测结果。

一种表面缺陷检测装置，包括：

图像获取模块，用于获取待检测目标的表面图像；

图像切片模块，用于基于预设尺寸对所述表面图像进行图像切片，得到多张切片图像；

缺陷检测模块，用于基于所述切片图像，采用已训练的神经网络模型进行缺陷识别，得到所述待检测目标的缺陷检测结果。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如下步骤：

获取待检测目标的表面图像；

基于预设尺寸对所述表面图像进行图像切片，得到多张切片图像；

基于所述切片图像，采用已训练的神经网络模型进行缺陷识别，得到所述待检测目标的缺陷检测结果。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：

获取待检测目标的表面图像；

基于预设尺寸对所述表面图像进行图像切片，得到多张切片图像；

基于所述切片图像，采用已训练的神经网络模型进行缺陷识别，得到所述待检测目标的缺陷检测结果。

上述表面缺陷检测方法、装置、设备和存储介质，通过对待检测目标的表面图像进行图像切片，将大尺寸的图切分成小尺寸的图得到切片图像，缺陷特征在切片图像中的比例大于缺陷特征在表面图像中的比例，从而放大缺陷占图的比例；然后基于切片得到的多张切片图像、采用已训练的神经网络模型进行缺陷识别，得到待检测目标的表面图像的缺陷检测结果；相比于传统的对整张原图进行识别，实现将小目标转换为大目标检测，能够有效提高缺陷检测精度。

附图说明

为了更清楚地说明本申请实施例或传统技术中的技术方案，下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中表面缺陷检测方法的流程示意图；

图2为一个实施例中图像镜像填充的示意图；

图3为一个实施例中图像切片的划分示意图；

图4(a)为一种光学环境下的缺陷特征示意图；

图4(b)为另一种光学环境下的缺陷特征示意图；

图5为另一个实施例中表面缺陷检测方法的流程示意图；

图6为一个实施例中表面缺陷检测装置的结构框图。

具体实施方式

为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的实施例。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使本申请的公开内容更加透彻全面。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。

在一个实施例中，如图1所示，提供了一种表面缺陷检测方法，该方法包括如下步骤：

S110：获取待检测目标的表面图像。

其中，待检测目标是需要检测表面缺陷的物品，例如，可以是笔记本、手机、可穿戴设备，还可以是太阳能硅片、动力电池外壳等。其中，表面图像是拍摄待检测目标的表面得到的图像。

S130：基于预设尺寸对表面图像进行图像切片，得到多张切片图像。

其中，预设尺寸可以根据实际需要进行设置。具体地，预设尺寸小于表面图像的尺寸，对应地，切片图像小于表面图像。

S150：基于切片图像，采用已训练的神经网络模型进行缺陷识别，得到待检测目标的缺陷检测结果。

已训练的神经网络模型是经过训练后、用于识别缺陷的模型，可以得到缺陷识别的结果。基于待检测目标的切片图像，采用已训练的神经网络模型进行缺陷识别，可以得到待检测目标的缺陷检测结果。

上述表面缺陷检测方法，通过对待检测目标的表面图像进行图像切片，将大尺寸的图切分成小尺寸的图得到切片图像，缺陷特征在切片图像中的比例大于缺陷特征在表面图像中的比例，从而放大缺陷占图的比例；然后基于切片得到的多张切片图像、采用已训练的神经网络模型进行缺陷识别，得到待检测目标的表面图像的缺陷检测结果；相比于传统的对整张原图进行识别，实现将小目标转换为大目标检测，能够有效提高缺陷检测精度。

在其中一个实施例中，步骤S130包括步骤(a1)至步骤(a4)。

步骤(a1)：确定表面图像的原始尺寸。

其中，原始尺寸大于预设尺寸。

步骤(a2)：若原始尺寸为预设尺寸的整数倍，则将表面图像划分为多张切片图像。

原始尺寸和预设尺寸均包括长和宽。原始尺寸为预设尺寸的整数倍，是指原始尺寸的长为预设尺寸的长的整数倍、且原始尺寸的宽为预设尺寸的宽的整数倍。优选地，多张切片图像的大小可以相等。

步骤(a3)：若原始尺寸为预设尺寸的非整数倍，则将表面图像镜像填充至镜像后的图像尺寸为预设尺寸的整数倍。

若原始尺寸的长为预设尺寸的长的非整数倍，和/或原始尺寸的宽为预设尺寸的宽的非整数倍，则原始尺寸为预设尺寸的非整数倍。具体地，可以采用无损图像镜像Padding(填充)，对表面图像进行镜像填充；通过镜像将图像修正，可以有效增加图像利用率，将空洞的地方用原始图像中的像素填充，相当于对数据进行增广。

例如图2所示，以镜像右侧和下侧为例，表面图像的原始尺寸是W*H，其中，W为长，H为宽，要分成a*b的尺寸。W/a并不是整数时，通过镜像进行图像修正，右侧从原始的表面图像镜像x，设镜像后的长为W1，镜像后应满足W1/a为整数；下侧从原始的表面图像镜像y，设镜像后的宽为H1，镜像后应满足H1/b为整数；最右下角需要的x*y从原始表面图像右下角x*y呈对角线镜像，得到修正后的图像。

步骤(a4)：将镜像后的图像划分为多张切片图像。

通过基于预设尺寸和表面图像的原始尺寸进行分析，在原始尺寸为预设尺寸的非整数倍时，经过镜像填充再进行图像切片。将原始的表面图像切片至更小的图像，其中缺陷特征并没有在精度上的任何损失，间接无损的放大了缺陷特征占图的比例，降低神经网络模型对于图像尺寸的敏感性，有效提高图像信息利用率，从而有效的提高检测精度。

在其中一个实施例中，步骤(a2)中将表面图像划分为多张切片图像的步骤，包括步骤(a21)和步骤(a22)。

步骤(a21)：绘制表面图像的网格分割线，其中，网格分割线分割的网格大小为预设尺寸。

例如图2所示，预设尺寸为a*b，网格分割线将整体的图划分为多个a*b的网格。

步骤(a22)：沿网格分割线进行切片，得到预设尺寸的切片图像。

通过直接沿网格分割线进行切片，处理简便。

在另一个实施例中，步骤(a2)中将表面图像划分为多张切片图像的步骤，包括步骤(a21)和步骤(a23)。

步骤(a21)：绘制表面图像的网格分割线，其中，网格分割线分割的网格大小为预设尺寸。

步骤(a23)：对表面图像进行外围填充，分别以各网格为中心、以大于预设尺寸的尺寸进行切割，得到多张切片图像。

对表面图像进行外围填充，即在表面图像的四周向外填充。例如图3所示，图像外围加粗的部分为填充的部分，以对左上顶角的网格进行切割为例，以填充后的外围上边界线和外围左边界线分别为切割的上边界线和左边界线，切割的右边界线与网格的距离等于外围左边界线至网格的距离，切割的下边界线与网格的距离等于外围上边界线至网格的距离，沿上边界线、左边界线、右边界线、下边界线切片，得到包括网格所在区域的切片图像。按照相同尺寸，对其他网格所在区域进行切片，实现有交叠地切片。相比于沿网格分割线直接切片的方式，有交叠地切片可以避免因缺陷位于网格分割线上而切在缺陷上的问题。

可以理解，步骤(a4)的实施方式可以与步骤(a2)中将表面图像划分为多张切片图像的实施方式相同，可以是直接沿网格分割线进行切片，也可以是有交叠地切片，在此不做赘述。

在其中一个实施例中，步骤S150包括步骤(b1)至步骤(b3)。

步骤(b1)：获取各切片图像在至少两种光下的图像，得到对应光下的光学特征图。

将切片图像放置在不同的光学环境下，可以得到不同光下的图像。比如，将切片图像分别放置在偏正光和普通光的光学环境，可以得到偏振光下的光学特征图和普通光下的光学特征图。

步骤(b2)：采用已训练的神经网络模型对切片图像的不同光学特征图在多个颜色通道下进行特征融合，得到对应切片图像的特征融合图像。

具体地，颜色通道可以是RGB通道、HSV通道、LAB通道等。

步骤(b3)：采用已训练的神经网络模型对特征融合图像进行缺陷识别，确定具备缺陷的特征融合图像所对应的切片图像。

工业场景下的样本数量少，缺陷特征由于光学系统的差异会呈现不同的缺陷特征信息，这些都为模型的深度学习带来不小的阻碍。以3C金属表面的缺陷为例，部分缺陷在偏正光和普通光下的特征表现是不同的，或者在不同的打光角度下表现的特征亦有不同，缺陷特征分布有两种可能性：1：两种光学特性下都存在该缺陷但存在差异，如图4(a)和图4(b)所示；2：特征只在一种光学特性下存在；单单采用其中任何一种光学特征都无法准确体现缺陷的表征状态，只有二者特征融合判定才能准确特征表征。通过采用已训练的神经网络模型对切片图像的不同光学特征图在不同颜色通道下进行特征融合，间接上可以对图像数量进行增广，在小样本的劣势条件下提高模型检测精度。

例如，针对切片图像的一个缺陷，首先可以得到普通光和偏振光的光学特征下的2张原图，而每一张原图又可以分成RGB三个通道的三张图片；则，对于一张切片图像，总共得到6张图片，然后将这6张图片进行融合来表征这一个缺陷，将会更加精准。

在其中一个实施例中，步骤S150之后，上述表面缺陷检测方法还包括：将各切片图像进行重组，得到重组图像。

缺陷识别后，将切片图像重组得到重组图像，便于查看缺陷在表面图像中所处的位置。例如，可以对识别出有缺陷的切片图像进行标记，重组得到重组图像后，可以通过标记确定缺陷的位置。

在其中一个实施例中，步骤S150之前还包括步骤S101至步骤S104。如图5所示，步骤S101至步骤S104可以于步骤S110之前执行。

S101：获取样本图像。

样本图像是具备缺陷的产品的表面图像。

S102：对样本图像进行图像切片，得到样本图像的切片图像。

对样本图像进行图像切片的方式，可以与前述对表面图像进行切片的方式相同，在此不做赘述。

S103：对样本图像的切片图像进行正则化。

正则化是指每次训练前以一定概率随机丢弃一部分，从而精简切片图像。

S104：基于正则化后的图像对初始的神经网络模型进行训练，得到已训练的神经网络模型。

具体地，初始的神经网络模型可以是深度学习神经网络模型。针对一张样本图像，经过切片可以得到多张切片图像，如果每次都对所有的切片图片进行训练，则容易产生过拟合。通过在对初始的神经网络模型进行训练之前，对样本图像进行正则化，避免过拟合，可以有效提高神经网络模型的缺陷识别效果。

在其中一个实施例中，步骤S104包括：基于正则化后的图像，采用继承训练方法对初始的神经网络模型进行训练，得到已训练的神经网络模型。

其中，继承训练方法可以是多阶段损失继承式训练，采用分阶段式训练，训练模式是递进式，每个阶段采用不同的损失函数，分别针对不同的训练目的，可以提高神经网络模型的缺陷检测精度。例如，针对3C金属缺陷检测：

第一阶段训练采用CELoss(一种损失函数)，能够快速收敛，聚焦缺陷空间位置训练；

第二阶段采用Dice Loss，能够聚焦目标语义训练；

二者是递进关系，使得网络训练能够有目的、有侧重点快速收敛，提高模型检测精度。

应该理解的是，虽然图1、图5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1、图5中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图6所示，提供了一种表面缺陷检测装置，包括图像获取模块610、图像切片模块630和缺陷检测模块650。

图像获取模块610用于获取待检测目标的表面图像；图像切片模块630用于基于预设尺寸对表面图像进行图像切片，得到多张切片图像；缺陷检测模块650用于基于切片图像，采用已训练的神经网络模型进行缺陷识别，得到待检测目标的缺陷检测结果。

上述表面缺陷检测装置，通过对待检测目标的表面图像进行图像切片，将大尺寸的图切分成小尺寸的图得到切片图像，缺陷特征在切片图像中的比例大于缺陷特征在表面图像中的比例，从而放大缺陷占图的比例；然后基于切片得到的多张切片图像、采用已训练的神经网络模型进行缺陷识别，得到待检测目标的表面图像的缺陷检测结果；相比于传统的对整张原图进行识别，实现将小目标转换为大目标检测，能够有效提高缺陷检测精度。

在其中一个实施例中，图像切片模块630用于确定表面图像的原始尺寸；若原始尺寸为预设尺寸的整数倍，则将表面图像划分为多张切片图像；若原始尺寸为预设尺寸的非整数倍，则将表面图像镜像填充至镜像后的图像尺寸为预设尺寸的整数倍，将镜像后的图像划分为多张切片图像。

将原始的表面图像切片至更小的图像，其中缺陷特征并没有在精度上的任何损失，间接无损的放大了缺陷特征占图的比例，降低神经网络模型对于图像尺寸的敏感性，有效提高图像信息利用率，从而有效的提高检测精度。

在其中一个实施例中，图像切片模块630将表面图像划分为多张切片图像，包括：绘制表面图像的网格分割线，其中，网格分割线分割的网格大小为预设尺寸；沿网格分割线进行切片，得到预设尺寸的切片图像。通过直接沿网格分割线进行切片，处理简便。

在另一个实施例中，图像切片模块630将表面图像划分为多张切片图像，包括：绘制表面图像的网格分割线，其中，网格分割线分割的网格大小为预设尺寸；对表面图像进行外围填充，分别以各网格为中心、以大于预设尺寸的尺寸进行切割，得到多张切片图像。如此，实现有交叠地切片。相比于沿网格分割线直接切片的方式，有交叠地切片可以避免因缺陷位于网格分割线上而切在缺陷上的问题。

在其中一个实施例中，缺陷检测模块650用于获取各切片图像在至少两种光下的图像，得到对应光下的光学特征图；采用已训练的神经网络模型对切片图像的不同光学特征图在多个颜色通道下进行特征融合，得到对应切片图像的特征融合图像；采用已训练的神经网络模型对特征融合图像进行缺陷识别，确定具备缺陷的特征融合图像所对应的切片图像。

通过采用已训练的神经网络模型对切片图像的不同光学特征图在不同颜色通道下进行特征融合，间接上可以对图像数量进行增广，在小样本的劣势条件下提高模型检测精度。

在其中一个实施例中，上述表面缺陷检测装置还包括重组模块(图未示)，用于在缺陷检测模块650实现相应功能之后，将各切片图像进行重组，得到重组图像。

在其中一个实施例中，上述表面缺陷检测装置还包括训练模块(图未示)，用于获取样本图像；对样本图像进行图像切片，得到样本图像的切片图像；对样本图像的切片图像进行正则化；基于正则化后的图像对初始的神经网络模型进行训练，得到已训练的神经网络模型。通过在对初始的神经网络模型进行训练之前，对样本图像进行正则化，避免过拟合，可以有效提高神经网络模型的缺陷识别效果。

在其中一个实施例中，训练模块基于正则化后的图像，采用继承训练方法对初始的神经网络模型进行训练，得到已训练的神经网络模型。采用继承训练方法，可以提高神经网络模型的缺陷检测精度。

关于表面缺陷检测装置的具体限定可以参见上文中对于表面缺陷检测方法的限定，在此不再赘述。上述表面缺陷检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

上述计算机设备，由于可以实现上述各方法实施例中的步骤，同理，对表面缺陷的检测精度高。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。

上述计算机可读存储介质，由于可以实现上述各方法实施例中的步骤，同理，对表面缺陷的检测精度高。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

在本说明书的描述中，参考术语“有些实施例”、“其他实施例”、“理想实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特征包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性描述不一定指的是相同的实施例或示例。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。