基于显著目标检测的无监督纹理类缺陷检测方法及系统

技术领域

本发明涉及缺陷检测技术领域，具体地，涉及一种基于显著目标检测的无监督纹理类缺陷检测方法及系统。

背景技术

工业缺陷检测是在工业生产中应用的一种技术，旨在检测和识别制造过程中的缺陷和异常。传统的工业缺陷检测主要分为三类：基于纹理特征的方法、基于颜色特征的方法、基于形状特征的方法。纹理特征反映了图像中的同质化现象，可以通过像素及其附近空间邻域的灰度分布来反映图像表面的组织结构和排列特性。其中，基于颜色特征的方法计算量小，对图像本身的大小、方向、视角等因素的依赖性小，鲁棒性高；基于形状的方法有效地利用了图像中感兴趣的目标进行检索；而基于纹理特征的方法通过描述对象的外边界特征来获得图像的形状参数，是主要采用的方法类型。

目前，工业生产对产品质量的要求越来越高。然而，在产品制造的过程中往往会生产出部分有缺陷的产品，如钢板、铝箔、瓷砖等纹理类工业产品通常会出现划痕、斑点、孔洞等缺陷。这些缺陷不仅影响产品的美观，而且对产品的使用也会造成不良影响。因此，在纹理类工业产品的生产中，缺陷检测是至关重要的。

深度学习的快速发展使其在缺陷检测领域得到越来越广泛的应用。

基于深度学习的常见分类主要有三种：监督方法、无监督方法、弱监督方法。

其中，监督方法要求训练集和测试集缺一不可，训练集中的样本必须被标记；训练集用于寻找样本的内在规律，然后将规律应用到测试集。无监督方法通过学习无标签数据的模式，得到数据的一些内在特征和联系并自动对数据进行分类。而弱监督方法结合了有监督方法和无监督方法的特点，能根据具体需求平衡标记成本与性能。

显著目标检测旨在检测场景中视觉上最显著的物体，并提取其精确到像素级的轮廓。显著目标检测模型对类别不敏感，且其检测到的显著目标是通用的、与类别无关的。纹理类工业产品具备背景简单、结构重复等特点。

然而，传统的显著目标检测需要依赖大规模的数据训练及大量的数据集训练模型，且其边界模糊，实用性及准确度等性能都差强人意。

在公开号为CN107622280B的中国专利文献中，公开了一种基于特征建模显著性检测的皮革材料表面缺陷检测方法，包括步骤：S01、先采集皮革材料的视频信息，在视频中选取若干帧图像作为待检测图像；S02、然后采用自底向上的模型，进行显著性图像的初步获取，得到第一显著性图像；S03、利用等面积多直方图均衡算法对第一显著性图像进行增强，得到第二显著性图像；S04、基于超像素的再优化对第二显著性图像进行处理，得到第三显著性图像；S05、最后，根据第三显著性图像标出缺陷所在位置，运用全局阈值法对得到的第三显著性图像进行自适应阈值化。该专利文献虽然能够一次性对整张皮革的缺陷进行检测与定位，但仍然需要大规模的数据训练集，因此无法解决上述问题。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于显著目标检测的无监督纹理类缺陷检测方法及系统。

根据本发明提供的一种基于显著目标检测的无监督纹理类缺陷检测方法，包括：

步骤S1：将纹理类数据集中的缺陷图像中截取缺陷部分作为前景图像，将对应类别的正常图像作为背景图像，将前景图像和背景图像结合生成新的缺陷图像；

步骤S2：根据已知纹理数据，搭建显著目标检测网络框架并提取图像特征，生成纹理数据的特征图；

步骤S3：获取目标纹理类数据中正常图像的特征图；获取每个像素处的正常图像特征向量，形成正常图像特征字典；

步骤S4：根据含缺陷的目标纹理类数据及其标签训练网络，获取显著目标检测网络的预训练模型；

步骤S5：基于预训练模型得到的检测结果，将图像中被判定为缺陷区域的特征替换为正常图像特征字典中的特征向量，得到伪正常图像特征图并使用正常图像特征图进行监督，生成最终的缺陷检测结果图。

优选的，所述步骤S1包括以下子步骤：

步骤S1.1：将纹理类数据集的缺陷图像和正常图像划分为训练集和测试集；将带有标签的已知纹理类数据作为预训练模型时使用的数据集；

步骤S1.2：将训练集中的标签划分为边缘标签和中心区域标签，将无标签的纹理类数据集作为目标纹理类缺陷数据集；

步骤S1.3：从训练集的缺陷图像中截取缺陷部分作为前景图像；

步骤S1.4：收集前景图像对应类别的正常图像并作为背景图像；

步骤S1.5：结合前景图像与背景图像生成新的缺陷图像，扩充缺陷数据集。

优选的，所述步骤S2包括以下子步骤：

步骤S2.1：将尺寸为(b,c,w,h)的图像输入到显著目标检测网络框架中；其中，b表示同时处理的样本数量，c表示每个样本的特征通道数量，h表示图像的高度，w表示图像的宽度；

步骤S2.2：将ResNet-50网络作为骨干网络提取图像特征；所述ResNet-50网络输出多层特征F，F＝{F

步骤S2.3：将图像的边缘特征图以及中心区域特征图进行整合，经线性化处理后生成完整的特征图。

优选的，所述显著目标检测网络的预训练模型通过使用已知纹理类数据的缺陷图像及其标签训练网络获取，使用已知纹理类数据训练所述显著目标检测网络框架得到。

优选的，所述步骤S5包括以下子步骤：

步骤S5.1：使用预训练模型处理目标纹理类缺陷数据样本，获取粗糙的缺陷检测结果图；

步骤S5.2：将结果中被判定为缺陷区域的特征替换为正常图像特征字典中的特征向量，获取伪正常图像特征图；

步骤S5.3：使用正常图像特征图监督伪正常图像特征图，调整网络参数生成最终的缺陷检测结果图。

根据本发明提供的一种基于显著目标检测的无监督纹理类缺陷检测系统，包括：

模块M1：将纹理类数据集中的缺陷图像中截取缺陷部分作为前景图像，将对应类别的正常图像作为背景图像，将前景图像和背景图像结合生成新的缺陷图像；

模块M2：根据已知纹理数据，搭建显著目标检测网络框架并提取图像特征，生成纹理数据的特征图；

模块M3：获取目标纹理类数据中正常图像的特征图；获取每个像素处的正常图像特征向量，形成正常图像特征字典；

模块M4：根据含缺陷的目标纹理类数据及其标签训练网络，获取显著目标检测网络的预训练模型；

模块M5：基于预训练模型得到的检测结果，将图像中被判定为缺陷区域的特征替换为正常图像特征字典中的特征向量，得到伪正常图像特征图并使用正常图像特征图进行监督，生成最终的缺陷检测结果图。

优选的，所述模块M1包括以下子模块：

模块M1.1：将纹理类数据集的缺陷图像和正常图像划分为训练集和测试集；将带有标签的已知纹理类数据作为预训练模型时使用的数据集；

模块M1.2：将训练集中的标签划分为边缘标签和中心区域标签，将无标签的纹理类数据集作为目标纹理类缺陷数据集；

模块M1.3：从训练集的缺陷图像中截取缺陷部分作为前景图像；

模块M1.4：收集前景图像对应类别的正常图像并作为背景图像；

模块M1.5：结合前景图像与背景图像生成新的缺陷图像，扩充缺陷数据集。

优选的，所述模块M2包括以下子模块：

模块M2.1：将尺寸为(b,c,w,h)的图像输入到显著目标检测网络框架中；其中，b表示同时处理的样本数量，c表示每个样本的特征通道数量，h表示图像的高度，w表示图像的宽度；

模块M2.2：将ResNet-50网络作为骨干网络提取图像特征；所述ResNet-50网络输出多层特征F，F＝{F

模块M2.3：将图像的边缘特征图以及中心区域特征图进行整合，经线性化处理后生成完整的特征图。

优选的，所述显著目标检测网络的预训练模型通过使用已知纹理类数据的缺陷图像及其标签训练网络获取，使用已知纹理类数据训练所述显著目标检测网络框架得到。

优选的，所述模块M5包括以下子模块：

模块M5.1：使用预训练模型处理目标纹理类缺陷数据样本，获取粗糙的缺陷检测结果图；

模块M5.2：将结果中被判定为缺陷区域的特征替换为正常图像特征字典中的特征向量，获取伪正常图像特征图；

模块M5.3：使用正常图像特征图监督伪正常图像特征图，调整网络参数生成最终的缺陷检测结果图。

与现有技术相比，本发明具有如下的有益效果：

1、本发明提供的方法及系统不依赖于大规模数据训练，仅需部分已知纹理类数据集的标签训练模型，就可以迁移到其他多种类的目标纹理类工业产品的缺陷检测中，实现对目标纹理类工业产品的无监督缺陷检测，降低了成本，提高了工作效率，具有较强的泛化性。

2、本发明提供的方法及系统改进了现有技术中边界模糊的问题，可实现更加精细化的纹理类缺陷检测，能够广泛地应用于场景多变的工业表面缺陷检测领域中。

3、本发明提供的方法及系统在显著目标检测的预训练模型基础上，融入了目标纹理类的正常图像特征，能够方便地部署在工业生产线上，并同时具备实时性、准确性和鲁棒性。

本发明的其他有益效果，将在具体实施方式中通过具体技术特征和技术方案的介绍来阐述，本领域技术人员通过这些技术特征和技术方案的介绍，应能理解所述技术特征和技术方案带来的有益技术效果。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例中基于显著目标检测的无监督纹理类缺陷检测方法流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

参照图1所示，一种基于显著目标检测的无监督纹理类缺陷检测方法，包括：

首先，将纹理类数据集的缺陷图像和正常图像划分为训练集和测试集，并将带有标签的已知纹理类数据作为预训练模型时使用的数据集。把训练集中的标签划分为边缘标签和中心区域标签，将无标签的纹理类数据集作为目标纹理类缺陷数据集。

从训练集的缺陷图像中截取缺陷部分作为前景图像，收集前景图像对应类别的正常图像并作为背景图像，然后结合前景图像与背景图像，生成新的缺陷图像，扩充缺陷数据集。

接着将尺寸为(b,c,w,h)的图像输入到显著目标检测网络框架中；其中，b表示同时处理的样本数量，c表示每个样本的特征通道数量，h表示图像的高度，w表示图像的宽度。

将ResNet-50网络作为骨干网络提取图像特征，ResNet-50网络输出多层特征F，F＝{F

接着将图像的边缘特征图以及中心区域特征图进行整合，经线性化处理后生成完整的特征图。

先获取目标纹理类数据中正常图像的特征图，再获取每个像素处的正常图像特征向量，形成正常图像特征字典。根据含缺陷的目标纹理类数据及其标签训练网络，获取显著目标检测网络的预训练模型。

最后，使用预训练模型处理目标纹理类缺陷数据样本，获取粗糙的缺陷检测结果图，将结果中被判定为缺陷区域的特征替换为正常图像特征字典中的特征向量，获取伪正常图像特征图。使用正常图像特征图监督伪正常图像特征图，调整网络参数生成最终的缺陷检测结果图。

以上为本发明的基础实施例，下面通过一个优选实施例对本发明的技术方案做进一步的说明。

参照图1所示，首先进行数据集预处理与数据扩增。

其中，数据集预处理的具体操作为：将MVTec异常检测数据集中的皮革类、网格类、地毯类、瓷砖类带有标签的纹理类数据作为已知纹理类缺陷数据集，用作第一阶段网络的训练集；将训练集中的标签划分为边缘标签和中心区域的标签，将木板类数据集作为目标纹理类缺陷数据集。

数据扩增的具体操作为：将皮革类、网格类、地毯类、瓷砖类缺陷数据集中缺陷图像中的缺陷部分截取出来，用作合成新的缺陷图像的前景图像；将皮革类、网格类、地毯类、瓷砖类中对应的正常图像选取出来，用作合成新的缺陷图像的背景图像。然后任选前景图像中的部分缺陷与背景图像随机结合，生成新的缺陷图像，完成缺陷数据集的扩充。

该步骤使用MVTec异常检测数据集中的五种纹理类数据集中的训练集以及测试集，其中包括皮革类、网格类、地毯类、瓷砖类以及木板类；

先使用皮革类、网格类、地毯类、瓷砖类数据预训练模型对木板类数据进行无监督缺陷检测，然后从皮革类、网格类、地毯类、瓷砖类的缺陷图像中截取出缺陷部分并收集对应类别的正常图像分别作为前景图像和背景图像，将前景图像与背景图像叠加扩增皮革类、网格类、地毯类、瓷砖类数据集。

接着进行显著目标检测网络的搭建。

将图像分为边缘和中心区域，使用ResNet-50网络进行特征提取，使用提取出的五层特征中的第2、3、4、5层的特征，这四层特征经过卷积层的处理，分别得到边缘和中心区域的特征；设置两个解码器分别对这两种特征进行解码，可以获取边缘特征图以及中心区域特征图，然后再将边缘特征图以及中心区域特征图连接起来，生成全图的特征图。

具体的，先向显著目标检测网络中输入图像，其尺寸为(b,c,w,h)。其中，b表示批量大小，即同时处理的样本数量，这里设置为32；c表示通道数，表示每个样本的特征通道数量。w,h分别表示图像的宽度和高度，即每个样本的图像尺寸。

接着使用ResNet-50网络作为骨干网络进行特征提取，ResNet-50网络可以输出五层特征，记为F＝{F

在后续过程中，使用ResNet得到的五层特征中的第2、3、4、5层的特征，这4层特征经过两个卷积层后获取边缘以及中心区域的两组特征，第i层的特征尺寸为

之后对边缘以及中心区域的特征进行相同的操作，即线性插值上采样第3、4、5层的特征并与第2层的特征融合，生成两个尺寸为

通过骨干网络ResNet-50获取目标纹理类中正常图像的特征图，并且获取每个像素处的正常图像特征向量，形成一个正常图像特征字典。

以木板类为例：

先通过骨干网络ResNet-50提取木板类中正常图像的特征，将五层特征图中的第2、3、4、5层特征图存储起来。然后将第2、3、4、5层特征图中每个像素处的正常图像特征向量存储起来，形成四个正常图像特征字典。

此步骤仅需使用目标纹理类数据中的少量正常无标签图像，就能实现对目标纹理类缺陷图像的无监督缺陷检测。

最后，使用MVTec异常检测数据集中的皮革类、网格类、地毯类、瓷砖类数据的正常图像、缺陷图像及其标签训练显著目标检测网络框架中的网络，得到预训练模型。

还是以木板类为例：

针对目标纹理类数据的训练过程中，形成一个反馈机制：

先通过预训练模型处理木板类缺陷数据样本，获取粗糙的缺陷检测结果图，然后替换骨干网络提取的特征，将粗糙的缺陷检测结果图中被判定为缺陷区域的特征随机替换为正常图像特征字典中的特征向量，生成一张伪正常图像特征图。最后使用正常图像特征图监督伪正常图像特征图并调整网络参数，生成最终的缺陷检测结果图。

本发明还提供一种基于显著目标检测的无监督纹理类缺陷检测系统，所述基于显著目标检测的无监督纹理类缺陷检测系统可以通过执行所述基于显著目标检测的无监督纹理类缺陷检测方法的流程步骤予以实现，即本领域技术人员可以将所述基于显著目标检测的无监督纹理类缺陷检测方法理解为所述基于显著目标检测的无监督纹理类缺陷检测系统的优选实施方式。

具体的，一种基于显著目标检测的无监督纹理类缺陷检测系统，包括：

模块M1：将纹理类数据集中的缺陷图像中截取缺陷部分作为前景图像，将对应类别的正常图像作为背景图像，将前景图像和背景图像结合生成新的缺陷图像；

模块M2：根据已知纹理数据，搭建显著目标检测网络框架并提取图像特征，生成纹理数据的特征图；

模块M3：获取目标纹理类数据中正常图像的特征图；获取每个像素处的正常图像特征向量，形成正常图像特征字典；

模块M4：根据含缺陷的目标纹理类数据及其标签训练网络，获取显著目标检测网络的预训练模型；

模块M5：基于预训练模型得到的检测结果，将图像中被判定为缺陷区域的特征替换为正常图像特征字典中的特征向量，得到伪正常图像特征图并使用正常图像特征图进行监督，生成最终的缺陷检测结果图。

所述模块M1包括以下子模块：

模块M1.1：将纹理类数据集的缺陷图像和正常图像划分为训练集和测试集；将带有标签的已知纹理类数据作为预训练模型时使用的数据集；

模块M1.2：将训练集中的标签划分为边缘标签和中心区域标签，将无标签的纹理类数据集作为目标纹理类缺陷数据集；

模块M1.3：从训练集的缺陷图像中截取缺陷部分作为前景图像；

模块M1.4：收集前景图像对应类别的正常图像并作为背景图像；

模块M1.5：结合前景图像与背景图像生成新的缺陷图像，扩充缺陷数据集。

所述模块M2包括以下子模块：

模块M2.1：将尺寸为(b,c,w,h)的图像输入到显著目标检测网络框架中；其中，b表示同时处理的样本数量，c表示每个样本的特征通道数量，h表示图像的高度，w表示图像的宽度；

模块M2.2：将ResNet-50网络作为骨干网络提取图像特征；所述ResNet-50网络输出多层特征F，F＝{F

模块M2.3：将图像的边缘特征图以及中心区域特征图进行整合，经线性化处理后生成完整的特征图。

所述显著目标检测网络的预训练模型通过使用已知纹理类数据的缺陷图像及其标签训练网络获取，使用已知纹理类数据训练所述显著目标检测网络框架得到。

所述模块M5包括以下子模块：

模块M5.1：使用预训练模型处理目标纹理类缺陷数据样本，获取粗糙的缺陷检测结果图；

模块M5.2：将结果中被判定为缺陷区域的特征替换为正常图像特征字典中的特征向量，获取伪正常图像特征图；

模块M5.3：使用正常图像特征图监督伪正常图像特征图，调整网络参数生成最终的缺陷检测结果图。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。