一种两阶段的基于生成对抗网络的缺陷检测方法

技术领域

本发明涉及计算机应用技术及人工智能领域，具体涉及一种两阶段的基于生成对抗网络的缺陷检测方法。

背景技术

缺陷检测作为识别并分拣缺陷样品的任务，已经被作为重要工具去解决各种工程任务，这包括工业产品的缺陷检测，基础设施的故障检测。除人工目测的检测方法外，机器视觉的检测方法分为数字图像处理及深度学习。

数字图像处理是一种显式特征提取，包含边缘特征，阈值分割，统计法等方法，他们通过提取图像特征，识别缺陷纹理并分析纹理的同向性与同质性，最终区分缺陷产品图像与正常的产品图像。基于深度学习的方法具备高效的缺陷自动识别能力，能有效解决手动特征提取的复杂性问题。其中，有监督的深度学习方法从大量有缺陷的标注图像中学习到贴近缺陷特征的信息。无监督的方法则无需人工手动标注，在训练过程中只学习正常样本的特征信息，这类方法中大多为生成模型，利用自编码器或生成对抗网络学习正常类的特征表示，在测试过程中对输入图像的潜在特征进行图像重建，通过评估重建图像与正常类在特征分布之间的差异，由缺陷分数进行分类。但在一些特定的缺陷检测任务中，例如对FPC板、马达引脚的检测，自动化生产线或人为摄取的图像中会包含过多的无关背景。网络会从图像中自动学习到大量无关背景的特征，经清洗与整理的图像也仅仅去除图像内周围的无关背景。部分待检物体内部结构复杂，且仍含有大量的无关区域，例如对电脑主板的检测，其内部含有大量无需检测的微电子元件。

有一种基于生成对抗网络的两阶段图像生成方法公开号为CN114972568A，包括：图像特征生成步骤：通过残差网络捕获输入图像的特征，训练一个特征生成网络，使用GAN拟合图像经过捕获网络后的特征进而得到特征生成器，并通过判别器区分图像经过捕获网络的特征和特征生成器生成的特征；图像生成步骤：固定图像特征生成步骤训练得到的特征生成器的参数，加入到新的图像生成网络，让随机噪声先经过特征生成器，然后将输出传入到图像生成器中得到最终生成的图像。本发明在阶段一先通过一个生成网络学习图像的特征，然后在阶段二通过对抗网络生成图像。相比于传统的GAN优化方法，能够降低GAN的训练难度、提高生成模式的多样性、提升图像生成质量，但其使用的GAN优化方法仍为较传统的GAN优化方法，对于实际使用中检测效果还有待提升。

综上所述，现有的基于深度学习的缺陷检测方法在实际生产环境下，对较为精密的工业产品的缺陷检测结果并不好，需要得到进一步的提升。

发明内容

本发明目的在于提供一种两阶段的基于生成对抗网络的缺陷检测方法，用于解决现有技术的不足，该方法相较于近年提出的深度学习方法在缺陷检测问题上有了更高的准确度。

为实现上述目的，本发明提供以下技术方案：

一种两阶段的基于生成对抗网络的缺陷检测方法，其特征在于，包括以下步骤:

步骤一：局部图像预测，将原始图像经过预处理后输入至局部图像预测模块中的卷积神经网络，并将获取的图像特征输入至区域候选网络，由RPN从高分辨率的原始图像中预测出低分辨率的区域候选图像x；

步骤二：缺陷图像分类，缺陷图像分类模块包括Defect-GAN即D-GAN，D-GAN由一个生成网络G(x)与一判别器网络D(x)组成，分别位于图1的左侧与右侧，生成网络G(x)包括U型结构的一个编码器和一个解码器，所述D-GAN利用生成网络G(x)重构上一阶段获取的区域候选图像x，区域候选图像x在生成网络G(x)中经历一系列下采样与上采样操作最终从生成网络G(x)中输出重构图像

步骤三：从缺陷图像分类阶段中获取各个候选区域的缺陷分数，并根据局部图像预测阶段中获得的各个候选区域对象在原始图像中的坐标，将各候选区域对象的分类结果在原始图像中标注，实现缺陷分类及缺陷定位。

步骤一中的卷积神经网络包括ResNet-152。

所述生成网络G(x)还包括：

下采样模块：在GAN编码器中两层连续的卷积层之间引入的一种通道注意力机制，池化层采用softpool；

多尺度特征提取模块：在GAN的编码器与解码器之间添加的一种多尺度特征提取模块，用于将较为浅层的特征图与编码器提取的深层特征图在通道维度上进行叠加，融合形成新的特征图。

步骤二中的编码器用于使卷积处理单元对输入图像进行下采样，形成低维的潜在表征，卷积处理单元包括卷积核大小为3、步长为1的Conv，Batch Normalization及ReLU激活函数。

所述多尺度特征提取模块包括特征提取单元，所述一个特征提取单元包括步长为2的3x3卷积层、Batch Normalization、ReLU激活函数和池化层SoftPool。

所述多尺度特征提取模块利用一个或多个特征提取单元对特征图完成下采样，然后利用padding值为1的1x1卷积融合形成新的特征图。

将D-GAN中的普通卷积拆分为逐点卷积以及逐通道卷积的深度可分离卷积，并利用h-swish和ReLU6作为激活函数，形成新式D-GAN网路。

所述生成网络G(x)各个层级的通道数量设计为{32，64，128，256，512}，用于在降低网络参数量的同时保持有限的性能损失。

本发明提供的一种两阶段的基于生成对抗网络的缺陷检测方法有益效果在于：

1、基于对抗生成网络架构，将传统缺陷检测任务分为局部图像预测、缺陷图像分类这两项子任务。将区域候选网络获取的区域候选图像输入到生成对抗网络中，通过比较区域重建图像与区域候选图像的差异大小来区分候选区域是否包含缺陷，同时在此模型基础上设计了一种用于缺陷检测的新式对抗生成网络结构D-GAN，以及一种轻量化缺陷检测网络结构LD-GAN，在实验中均表现出了更优的性能。

2、本发明解决了工业产品中缺陷区域相对于产品本身尺寸过小的问题，通过区域定位模块提取出较小的候选区域图像，再通过生成对抗网络实现缺陷图像分类，从而适用于针对精密工业产品拍摄的高分辨率图像的各种缺陷检测任务任务。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明中正常类图像(左侧)和缺陷类图像(右侧)的示例；

图2是本发明中的GAN网络架构，包含生成网络(Genrator)与判别网络(Discriminator)；

图3是本发明中两阶段的基于生成对抗网络的模型架构图。第一阶段为由卷积神经网络和区域候选网络构成的局部图像预测模块，第二阶段为主要由生成对抗网络构成的缺陷图像分类模块。

图4是本发明中一种用于缺陷检测的新式对抗生成网络结构D-GAN架构图；

图5是本发明中下采样模块(Down Sampling with SoftPool)架构图；

图6是本发明中多尺度特征提取模块(Multi Scale Concat Block)架构图。

具体实施方式

下面结合附图和实施例对发明的技术方案做进一步的说明，以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。

本发明的目的是通过以下技术方案来实现的：

如图1所示，在基本的GAN网络架构(生成对抗网络Generative AdverserialNetwork，简称GAN)中，包含生成网络(Genrator)与判别网络(Discriminator)。生成网络的作用是捕捉输入图像的特征分布，巧妙地使用对抗性策略，尽可能真实地重构出输入图像；判别网络的作用是尽可能辨别出输入图像以及重构图像。因此，在利用GAN的缺陷检测方法中，GAN能对原始的正常类图像展现出卓越的重构能力，可以辨别出重构效果不佳的缺陷样本。

实施例1

如图2-图6所示，本发明提供了一种两阶段的基于生成对抗网络的缺陷检测方法，将传统缺陷检测任务分为局部图像预测、缺陷图像分类这两项子任务。将区域候选网络获取的区域候选图像输入到生成对抗网络中，通过比较区域重建图像与区域候选图像的差异大小来区分候选区域是否包含缺陷。包括以下步骤:

步骤一：局部图像预测，将原始图像经过预处理后输入至局部图像预测模块中的卷积神经网络，并将获取的图像特征输入至区域候选网络(Region Proposal Network)，由RPN从高分辨率的原始图像中预测出低分辨率的区域候选图像x，在此阶段，使用ResNet-152作为卷积神经网络；

步骤二：缺陷图像分类，缺陷图像分类模块包括Defect-GAN(D-GAN)，D-GAN包括生成网络G(x)和判别器网络G(x)，生成网络G(x)包括U型结构的编码器和解码器，D-GAN利用生成网络G(x)重构上一阶段获取的区域候选图像x，区域候选图像x在生成网络G(x)中经历一系列下采样与上采样操作最终从生成网络G(x)中输出重构图像

生成网络G(x)在传统对抗生成网络的基础上，添加了两种新的特征提取模块，如图3所示，分别是下采样模块(Down Sampling with SoftPool)以及多尺度特征提取模块(Multi Scale Concat Block)，增强对抗生成网络在细节处的图像重建能力，包括：

下采样模块(Down Sampling with SoftPool)：在GAN编码器中两层连续的卷积层之间引入的一种通道注意力机制，如图4所示，它能够对每个特征通道的重要性进行建模，为不同的图像增强或抑制不同的通道特征；以SoftPool替代平均池化或者最大池化，用于结合平均池化及最大池化，以一种舒缓的方式降低特征图的维度，并尽可能地减少直接由降维压缩导致的特征丢失。

编码器用于使卷积处理单元对输入图像进行下采样，形成低维的潜在表征，卷积处理单元包括卷积核大小为3、步长为1的Conv，Batch Normalization及ReLU激活函数。

多尺度特征提取模块(Multi Scale Concat Block)：在GAN的编码器与解码器之间添加的一种多尺度特征提取模块，模块结构如图5所示。

将较为浅层的特征图，例如第一层DSS Block与第三层DSS Block的输出特征图，与编码器提取的深层特征图在通道维度上进行叠加。为实现浅层特征图与深层特征图的表征一致性，利用步长为2的3x3卷积层,Batch Normalization,ReLU激活函数以及SoftPool组成一个特征提取单元，利用一个或多个特征提取单元对特征图完成下采样。随后，利用padding值为1的1x1卷积融合形成新的特征图。

其中也可以将D-GAN中的普通卷积拆分为逐点卷积以及逐通道卷积的深度可分离卷积，并利用h-swish和ReLU6作为激活函数，形成新式D-GAN网路。D-GAN的生成网络G(x)各个层级的通道数量设计为{32，64，128，256，512}，用于在降低网络参数量的同时保持有限的性能损失。

步骤三：从缺陷图像分类阶段中获取各个候选区域的缺陷分数，并根据局部图像预测阶段中获得的各个候选区域对象在原始图像中的坐标，将各候选区域对象的分类结果在原始图像中标注，实现缺陷分类及缺陷定位。

本发明方法相较于近年提出的深度学习方法在缺陷检测问题上有了更高的准确度。表1为公共数据集CIFAR10上的图像异常检测实验结果。其中，每次实验均选取CIFAR10十类数据(bird、car、cat、deer、dog、frog、horse、plane、ship、truck)中的任意1类作为异常数据，其余9类作为正常数据。采用的评价指标是AUC，AUC的含义是ROC曲线下面积，可用于衡量分类模型的准确性。AUC的取值范围一般在[0.5,1]，数值越接近1则说明分类器的分类准确率越高。从表中可以看出，本发明提出的方法相比各主流缺陷检测模型得到的结果在精度上有了明显的提升，证明了本方法的有效性。

表1在CIFAR10数据集上与其他缺陷检测模型的AUC结果对比

本发明提出的轻量化模型结构在模型大小上获得了比大部分主流模型更优的性能。图1为CIFAR10数据集上与其他缺陷检测模型的综合性能对比中正常类图像(左侧)和缺陷类图像(右侧)的示例图，同时，使用参数量、推理时间、FLOPs等指标综合评估轻量化模型的性能，结果如表2所示，本发明所提出的轻量化模型结构使本发明的缺陷检测方法在参数量和运算量上获得了显著的降低，同时获得了优于大部分主流模型的分类精度，证明了该设计的有效性，综合性能更好。

表2在CIFAR10数据集上与其他缺陷检测模型的综合性能对比

此外，该实施例还在主板缺陷数据集上进行了同样的实验，所采用的数据集来自陕西长安计算科技有限公司，该实验主要对主板固定螺丝、CPU风扇固定螺丝、CPU风扇接线状态进行检查，实验中，固定主板的螺丝不能有缺少，固定风扇的螺丝不能有缺少，螺丝型号一致，接线不能出现未插、倒插、插错、插反、漏插的情况。

该数据集的原始图像共116张，所有图像的分辨率为3000×3000，此实验采用的评价指标是AUC。从表3中可以看出，本发明提出的方法在主板缺陷数据集上的实验结果相较于各主流模型也有显著的提升，轻量化模型亦取得了不错的精度，证明了本方法的有效性。

表3在主板缺陷数据集上与模型的AUC结果对比

以上所述的具体实施例，对本发明解决的技术问题、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。