基于图像重构与特征提取的缺陷检测方法及其装置

技术领域

本发明涉及图像异常检测技术，具体涉及一种基于图像重构与特征提取的缺陷检测方法及其装置。

背景技术

工业外观缺陷检测在产品质量控制中起着重要作用，它旨在识别产品上可能出现的所有类型的可见缺陷。考虑到缺陷样本通常多种多样，且收集成本高昂，这一领域一般采用无监督方法。无监督缺陷检测方法可以分为基于图像重构的方法和基于特征提取的方法，代表性工作有中国专利CN202210156908.6，中国专利CN202110892391.2，中国专利CN202210419979.0，中国专利CN202310705036.9，中国专利CN202111307343.9，中国专利CN202210365607.4等。

基于图像重构的缺陷检测方法通过比较输入图像和重构图像的差异来判断缺陷；这类方法的主要问题在于，如果重构能力太强，缺陷部分也会被重构出来；如果重构能力太弱，重构图像不清晰，则难以检出缺陷。基于特征提取的缺陷检测方法利用预训练网络提取图像特征，通过特征分布来判断缺陷；这类方法的问题在于，预训练网络所用数据集和真实工业产品图像数据存在领域偏差，这将导致通过预训练网络得到的特征分布同样存在偏差，最终导致缺陷检测不准确。

发明内容

针对现有技术中的上述不足，本发明提供的基于图像重构与特征提取的缺陷检测方法及其装置解决了现有缺陷检测不准确的问题。

为了达到上述发明目的，本发明采用的技术方案为：

第一方面，提供一种基于图像重构与特征提取的缺陷检测方法，其包括步骤：

S1、对待检图像添加噪声，并输入训练好的去噪重构模型中，得到去噪待检图像；

S2、将待检图像和去噪待检图像分别输入预训练网络中提取特征，并相减得到待检图像特征差；

S3、获取正常图像集的特征差集，并计算特征差集每个位置的样本均值向量和样本方差矩阵；

S4、根据样本均值向量和样本方差矩阵，计算待检图像特征差与正常图像集的特征差集的马氏距离，得到缺陷检测结果。

进一步地，计算特征差集每个位置的样本均值向量和样本方差矩阵的表达式为：

其中，N为特征差集中包含的特征差的数量；μ

进一步地，步骤S4进一步包括：

S41、对于待检图像特征差的第i个位置，计算其元素f

其中，Φ

S42、对马氏距离矩阵M执行不改变大小的平均池化，再将平均池化后的马氏距离矩阵M通过双线性插值放大到待检图像大小；

S43、将放大的马氏距离矩阵M与预设阈值比较，超过预设阈值的区域为待检图像的缺陷区域，未超过预设阈值的区域为待检图像的正常区域。

进一步地，所述正常图像集的特征差集的获取方法包括：

A1、获取正常图像集，并对正常图像集中的每一张图像添加噪声，之后输入训练好的去噪重构模型得到去噪正常图像集；

A2、将正常图像集和去噪正常图像集分别输入到预训练网络中提取特征集，并相减得到特征差集。

进一步地，步骤A2进一步包括：

A21、将正常图像I输入预训练网络，得到维度为(R,C,L)的特征F

A22、将正常图像I对应的去噪正常图像I′输入预训练网络，得到维度为(R,C,L)的特征F

A23、将特征F

A24、对正常图像集和去噪正常图像集中所有图像执行步骤A21～A23，得到N个维度为(R,C,L)的特征差组成的特征差集F，其中N为正常图像集包含的样本数量。

进一步地，添加噪声指对图像的每个像素，添加均值为0，方差为1的高斯噪声。

进一步地，所述去噪重构模型为去掉跳连接的U-Net网络。

进一步地，所述训练好的去噪重构模型的训练，包括：对正常图像集中的正常图像添加噪声，得到噪声图像集，并采用噪声图像集对去噪重构模型进行训练，训练时的损失函数为最小平方误差损失和结构相似性损失的和。

第二方面，提供一种结合图像重构与特征提取的缺陷检测装置，其包括：

去噪重构模块，用于对待检图像添加噪声，并输入训练好的去噪重构模型中，得到去噪待检图像；

特征差提取模块，用于将待检图像和去噪待检图像分别输入预训练网络中提取特征，并相减得到待检图像特征差；

获取及计算模块，用于获取正常图像集的特征差集，并计算特征差集每个位置的样本均值向量和样本方差矩阵；

缺陷检测模块，根据样本均值向量和样本方差矩阵，计算待检图像特征差与正常图像集的特征差集的马氏距离，得到缺陷检测结果。

本发明的有益效果为：本方案通过结合图像重构和特征提取进行缺陷检测，使得本方案同时具备两者的优点，最终缺陷检测准确率更高、缺陷定位精度更准；现有的基于图像重构的缺陷检测方法，其重构能力既不能太强也不能太弱；本方案考虑输入图像的特征和重构图像的特征，而不是图像本身，从而解决了重构能力与检测准确度之间的矛盾，提高了检测的准确率；现有的基于特征提取的缺陷检测方法存在固有偏差，由于没有对照图像，这种偏差难以消除；本方案将重构的去噪图像作为对照图像，通过考虑预训练网络提取的原始图像特征与去噪图像特征的差的分布，将这种偏差通过做差抵消了。

附图说明

图1为基于图像重构与特征提取的缺陷检测方法的流程图。

图2为本方案实施例1去掉跳连接的U-Net网络的示意图。

图3为图3中的模块A的网络结构图。

图4为图3中的模块B的网络结构图。

图5为图3中的模块C的网络结构图。

图6为对待检图像进行缺陷检测的详细处理过程。

图7为本方案基于图像重构与特征提取的缺陷检测装置的结构图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

实施例1

参考图1，图1示出了基于图像重构与特征提取的缺陷检测方法的流程图；如图1所示，该方法S包括步骤S1～步骤S4。

在步骤S1中，对待检图像添加噪声，并输入训练好的去噪重构模型中，得到去噪待检图像；本方案中提及的添加噪声均指对图像的每个像素，添加均值为0，方差为1的高斯噪声。

实施时，本方案优选所述训练好的去噪重构模型的训练，包括：对正常图像集中的正常图像添加噪声，得到噪声图像集，并采用噪声图像集对去噪重构模型进行训练，训练时的损失函数为最小平方误差损失和结构相似性损失的和。

本实施例中，正常图像的分辨率为256×256，正常图像集共219张正常图像；训练迭代800个Epoch，Batchsize为6，学习率设置为0.0003，优化器选择Adam。

在步骤S2中，将待检图像和去噪待检图像分别输入预训练网络中提取特征，并相减得到待检图像特征差；

在本发明的一个实施例中，得到待检图像特征差的详细步骤为：

S21、对待检图像J加噪声并用去噪重构模型去噪，得到对应的去噪待检图像J′；

S22、将待检图像J输入到预训练网络，得到维度为(R,C,L)的特征F

S23、将待检图像J对应的去噪待检图像J′输入到预训练网络，得到维度为(R,C,L)的特征F

S24、将特征F

本实施例中，预训练网络为ResNet-18，待检图像分辨率为256×256，将待检图像J输入到预训练网络中，通过其第二个卷积块的输出，得到维度为(32,32,128)的特征F

在步骤S3中，获取正常图像集的特征差集，并计算特征差集每个位置的样本均值向量和样本方差矩阵；其中，正常图像集的特征差集的获取方法包括：

A1、获取正常图像集，并对正常图像集中的每一张图像添加噪声，之后输入训练好的去噪重构模型得到去噪正常图像集；去噪正常图像集是指对正常图像集中的每一张图像I，通过对其添加噪声并用所述去噪重构模型去噪，得到对应的去噪正常图像I′；所有去噪正常图像组成去噪正常图像集。

A2、将正常图像集和去噪正常图像集分别输入到预训练网络中提取特征集，并相减得到特征差集；该步骤的详细实现过程包括：

A21、将正常图像I输入预训练网络，得到维度为(R,C,L)的特征F

A22、将正常图像I对应的去噪正常图像I′输入预训练网络，得到维度为(R,C,L)的特征F

A23、将特征F

A24、对正常图像集和去噪正常图像集中所有图像执行步骤A21～A23，得到N个维度为(R,C,L)的特征差组成的特征差集F，其中N为正常图像集包含的样本数量。

现有的基于图像重构的缺陷检测方案，通过比较输入图像和重构图像的差异来判断缺陷，其重构能力既不能太强也不能太弱，难以找到平衡。本发明的处理对象不再是图像，而是输入图像的特征和重构图像的特征，从而避免了这一问题。

现有的基于特征提取的缺陷检测方案，利用预训练网络提取图像特征，通过特征分布来判断缺陷；其得到的特征分布存在偏差；由于没有对照图像，这种偏差难以消除；本方案将重构的去噪图像作为对照图像，通过考虑预训练网络提取的原始图像特征与去噪图像特征的差的分布，将这种偏差通过做差抵消了。

计算特征差集每个位置的样本均值向量和样本方差矩阵的表达式为：

其中，N为特征差集中包含的特征差的数量；μ

在本实施例中，将分辨率为256×256的正常图像I输入到ResNet-18网络中，通过其第二个卷积块的输出，得到维度为(32,32,128)的特征F

将前两个维数看成特征差F

本实施例中，32行32列的特征差集F共1024个位置，每个位置的长度为128的样本均值向量

在步骤S4中，根据样本均值向量和样本方差矩阵，计算待检图像特征差与正常图像集的特征差集的马氏距离，得到缺陷检测结果。

在本发明的一个实施例中，步骤S4进一步包括：

S41、对于待检图像特征差的第i个位置，计算其元素f

其中，Φ

S42、对马氏距离矩阵M执行不改变大小的平均池化，再将平均池化后的马氏距离矩阵M通过双线性插值放大到待检图像大小；

S43、将放大的马氏距离矩阵M与预设阈值比较，超过预设阈值的区域为待检图像的缺陷区域，未超过预设阈值的区域为待检图像的正常区域。

本实施例中，马氏距离矩阵M的高和宽都是32，执行平均池化的区域大小为5×5，之后将M通过双线性插值到待检图像的256×256大小。

作为进一步优化，去噪重构模型为去掉跳连接的U-Net网络，其网络结构可以参考图2，其中每个块上方的数字，比如

现有方案只是利用基于图像重构或基于特征提取中的一种方法进行缺陷检测，本发明基于图像重构与特征提取的缺陷检测方法则将两者结合，对待检图像进行缺陷检测的详细处理过程如图6所示。本发明第一次提出了结合图像重构和特征提取的缺陷检测方法，使得本发明同时具备两者的优点，最终缺陷检测准确率更高、缺陷定位精度更准。

实施例2

本实施例是在实施例1的基础上做出的进一步改进，具体为提供一种结合图像重构与特征提取的缺陷检测装置，如图7所示，其包括：

去噪重构模块，用于对待检图像添加噪声，并输入训练好的去噪重构模型中，得到去噪待检图像；

特征差提取模块，用于将待检图像和去噪待检图像分别输入预训练网络中提取特征，并相减得到待检图像特征差；

获取及计算模块，用于获取正常图像集的特征差集，并计算特征差集每个位置的样本均值向量和样本方差矩阵；

缺陷检测模块，根据样本均值向量和样本方差矩阵，计算待检图像特征差与正常图像集的特征差集的马氏距离，得到缺陷检测结果。

本领域的普通技术人员会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。