一种基于双层二维归一化流的自监督工业异常检测方法

技术领域

本发明属于图像识别技术领域，具体涉及一种基于双层二维归一化流的自监督工业异常检测方法。

背景技术

在工业领域中，图像表面的异常检测与定位对实现工业智能化发展至关重要。通过检测工业产品表面的异常情况，不仅能够保证检测的精度和效率，还有助于节省人力资源，并创造更加安全的操作环境。然而，在实际应用中往往会遇到一些限制，例如工业产品中异常样本的稀缺性和异常表现的不确定性。因此，利用少量有限的异常样本来准确地检测出所有存在异常的产品，是一项具有挑战性的任务。在这种情况下，无监督异常检测技术在工业领域具备重要的潜力和实际意义。它能够有效应对异常样本稀缺的问题，为工业生产中的异常检测提供一种有效的解决方案，其方法之一为归一化流。该方法通过一系列可逆变换，逐步将特征的初始分布转化为目标分布，每个变换具有可导的雅可比行列式，形成连续的数据映射过程。因此，归一化流能够有效地适应多样且复杂的数据特征，并为测试集中的样本特征属于同一训练分布的可能性打分，因此该方法成为当前研究热点之一。

然而，目前绝大多数与归一化流相关的方法在图像表面异常检测中面临以下两个方面的难题：

（1）特征信息丢失，归一化流在特征映射过程中可能会丢失异常特征的边缘信息，甚至忽略异常特征的存在，从而减弱了模型的检测能力。

（2）异常样本数量稀缺和决策边界模糊，由于异常样本少量有限，归一化流通常从正常样本出发，仅学习正常样本特征的共性，未能对正常样本特征与异常样本特征进行有区别的训练，因此，模型在对待正常特征和异常特征的决策边界上容易产生混淆，进而降低模型的判别能力。

综上所述，针对以上难题，提出了一种基于双层二维归一化流的自监督工业异常检测方法，该方法采用异常融合策略，将正常图像特征和异常图像特征输入双层二维归一化流中，将特征映射到正态分布中。异常特征由于不可分布性导致其在正态分布中远离期望，因此能够被检测出来。

发明内容

鉴于上述问题，本发明的目的在于提供一种基于双层二维归一化流的自监督工业异常检测方法。该方法通过改进Fastflow网络模型实现小规模与实时性需求的同时，还实现高精度的工业产品异常检测。

一种基于双层二维归一化流的自监督工业异常检测方法，包括以下步骤：

S1.对工业数据集进行预处理：预处理由异常融合策略完成，用于正常图像中随机生成异常，得到异常图像和对应的异常分割图像，所述正常图像为正常工业产品的彩色图像；

S2.获取特征分布：将混合后的正常图像与异常图像输入主干网络中获取多个尺度的特征，将每个尺度的特征分别输入处理不同尺度的双层二维归一化流中，获取特征分布；

所述双层二维归一化流包含外层流与内层流；所述外层流由多个相同的可逆变换块组合而成，将特征映射成特征分布，每个可逆变换块包含两个内部子网，外层流中的内部子网为内层流；所述内层流也由多个相同的可逆变换块组合而成，内层流的可逆变换块结构与外层流的可逆变换块结构一致，内层流的两个内部子网中分别嵌入指数空间注意力模块；

S3.进行异常识别：利用异常识别模块，将特征分布转化成标准正态分布，获得异常检测预测图像。

上述S1中异常融合策略结合异常只存在于工业产品上的实际情况，只在正常图像的工业产品上生成异常，异常融合策略具体为：首先在正常图像上采用canny算子获取工业产品的边缘信息，其次运用闭运算将边缘信息迭代多次后得到多个闭环或线条，再将线条连接起来形成闭环，面积最大的闭环所在区域即为图像中工业产品的遮罩，也是异常的合理生成范围，最后采用DRAEM中的模拟异常生成方法，在正常图像上的异常合理生成范围内随机生成异常，获得异常图像与相应的异常分割图像。

上述S2中双层二维归一化流包含外层流和内层流；

所述外层流由多个可逆变换块组合而成，组合操作如下所示：

，

式中，X表示主干网络提取出的特征，Z表示经过外层流后得到的特征分布，下标out表示外层流的可逆变换块的个数，F

在异常检测中，仅使用双层二维归一化流的正向过程，因此所述外层流的过程用以下公式表示：

，

式中，

在每个外层流的可逆变换中，每个可逆变换块的操作流程为：将输入特征从通道维度上分割成两个部分，获得第一部分特征与第二部分特征，第一部分特征输入内层流后，进行二维卷积操作，使得特征在保留空间信息的同时，更加接近特征分布；之后进行通道维度上的平均分割，输出的前一部分特征进行指数运算，得到的特征作为第二部分特征的权重，输出的后一部分特征作为第二部分特征的偏差，将第二部分特征与权重点乘，之后与偏差相加，相加后的特征输入另一个内层流后，进行二维卷积操作，再进行平均分割，输出的前一部分特征进行指数运算，得到的特征作为第一部分特征的权重，输出的后一部分特征作为第一部分特征的偏差，将第一部分特征与权重点乘，之后与偏差相加，最后将两个相加得到的特征进行连接操作，以此进行特征之间的交替耦合。

外层流的可逆变换块所采用的仿射耦合公式如下所示：

，

，

，

，

，

，

式中，P

所述内层流能够增加特征在通道层面之间的联系并减少特征信息的丢失；内层流为在外层流的内部子网中嵌入的多个与外层流结构一致的可逆变换块，内层流的组合操作如下所示：

，

式中，Q和Q'分别表示内层流的输入特征与输出特征，下标in表示内层流的可逆变换块的个数，f

内层流的正向过程用以下公式表示：

，

内层流的可逆变换块将外层流分割出的第一部分的特征以及经过相加后的第二部分的特征都分别输入内层流中，经过分割、卷积、指数运算、点乘、相加和连接这一系列操作，使得分割出的两部分特征通过各自的内层流输出更加贴近特征分布的特征信息，增强特征在通道之间的联系。

内层流的可逆变换块使用的仿射耦合公式如下所示：

，

，

，

，

，

，

式中，q

所述内层流的内部子网中的流程为：首先将输入特征进行二维卷积操作，以保持特征的空间信息，然后将卷积后的特征输入指数空间注意力模块中，输出指数权重，使得模型能够调整不同位置的重要性，辅助网络聚焦异常特征，再将卷积后的特征与指数权重点乘并与卷积后的特征相加，获取突出了异常特征的特征信息，最后将特征输入relu激活函数中进行非线性变换。

上述指数空间注意力模块旨在学习特征空间位置的指数权重，使得模型能够调整特征中不同位置的重要性，辅助双层二维归一化流聚焦异常特征；首先将特征沿着通道维度分别进行平均池化与最大池化，学习异常的程度信息和判别特征信息；其次由于学习到的特征分布最后将转化为标准正态分布，因此，在池化操作后都进行了指数运算，以加强异常特征信息的表达；最后将两个特征沿通道层面连接后，进行卷积和激活操作，得到最终的空间注意力特征。

上述指数空间注意力模块公式如下：

，

，

，

式中，y为内层流的内部子网的输入特征经过卷积后的特征信息，AvgPool(·)与MaxPool(·)分别表示平均池化与最大池化，y

上述S3中异常识别模块将特征分布转化成标准正态分布；

首先，将通过双层二维归一化流后获得的每个尺度的特征分布上采样至与输入图像相同的尺度，并求出平均特征分布，公式如下所示：

，

式中，

其次，将平均特征分布转化为标准正态分布，即异常检测预测图像，满足训练的异常特征信息的无规律性，即异常特征不服从任何分布，公式如下所示：

，

式中，N表示标准正态分布。

在双层二维归一化流的训练过程中，采用均方误差损失函数，使得正常特征映射在正态分布中的值趋近期望，异常特征远离期望，公式如下所示：

，

式中，loss表示均方误差损失，w和h分别表示输入图像的宽度和高度，

与现有技术相比，本发明具有以下有益效果：

1.可以在仅有正常工业产品的情况下，实现准确的图像级别和像素级别的异常检测。

2.具备较高的实时性和较小的模型规模，可应用于对实时性要求较高的工业异常检测场景。

附图说明

图1是基于双层二维归一化流的自监督工业异常检测整体网络框架图。

图2是异常融合策略流程图。

图3是制作的异常图像。

图4是异常图像所对应的异常分割图像。

图5是双层二维归一化流的外层流框架图。

图6是外层流中的一个可逆变换块框架图。

图7是内层流中的一个可逆变换块框架图。

图8是内层流的内部子网框架图。

图9是基于双层二维归一化流的自监督工业异常检测整体网络的输入图像。

图10是基于双层二维归一化流的自监督工业异常检测整体网络的异常检测预测图像。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明。

一种基于双层二维归一化流的自监督工业异常检测整体网络结构如附图1所示，包括主干网络、双层二维归一化流和异常识别模块。首先，将图像输入主干网络中，经特征提取后输出多种不同尺度大小的特征。其次，将这些特征分别输入处理不同尺度特征的双层二维归一化流中，将复杂的特征映射成特征分布，最后，将得到的多个尺度的特征分布输入异常识别模块中，获取异常检测预测图像。

一种基于双层二维归一化流的自监督工业异常检测方法，具体包括以下步骤：

S1.对工业数据集进行预处理：预处理由异常融合策略完成，用于正常图像中随机生成异常，得到异常图像和对应的异常分割图像，所述正常图像为正常工业产品的彩色图像。

在实际的工业异常检测中，异常只存在于产品上，不属于产品上的异常属于错误判断，因此在生成异常时，应该只在产品上制造异常，以免给网络传输错误信息。如附图2所示为异常融合策略的流程，首先在正常图像上采用canny算子获取工业产品的边缘信息，边缘连接阈值设置为50，边缘检测阈值设置为100，其次运用闭运算将边缘信息迭代5次后得到多个闭环或线条，再将线条连接起来形成闭环，面积最大的闭环所在区域即为图像中工业产品的遮罩，也是异常的合理生成范围，最后采用DRAEM（参见Zavrtanik V, Kristan M,Skočaj D. Draem-a discriminatively trained reconstruction embedding forsurface anomaly detection[C]//Proceedings of the IEEE/CVF InternationalConference on Computer Vision. 2021: 8330-8339）中的模拟异常生成方法在正常图像上随机生成异常，并产生相应的异常分割图像，所述异常分割图像中只包含0和1这两类值，0表示该像素位置存在异常，1表示该像素位置正常，如附图3所示为制作的异常图像，如附图4所示为异常图像所对应的异常分割图像；训练时，异常图像数量占据训练集数量的比例为0.5。

S2. 获取特征分布：将混合后的正常图像与异常图像输入主干网络中获取多个尺度的特征，将每个尺度的特征分别输入处理不同尺度的双层二维归一化流中，获取特征分布。

采用预先训练好的ResNet18（参见He K, Zhang X, Ren S, et al. Deepresidual learning for image recognition[C]//Proceedings of the IEEEconference on computer vision and pattern recognition. 2016: 770-778）残差网络作为所述主干网络，如附图1中a部分所示，将要训练的正常图像与异常图像大小调整至256×256像素，输入主干网络中，经特征提取后输出三种不同尺度的特征，在训练过程中，主干网络参数被冻结。

所述双层二维归一化流包含外层流与内层流；所述外层流由多个相同的可逆变换块组合而成，逐渐将特征映射成特征分布，每个可逆变换块包含两个内部子网，外层流中的内部子网为内层流，能够增加特征在通道层面之间的联系并减少特征信息的丢失；所述内层流也由多个相同的可逆变换块组合而成，内层流的可逆变换块结构与外层流的可逆变换块结构一致，内层流的两个内部子网中分别嵌入了指数空间注意力模块，旨在学习特征空间位置的指数权重，使得模型能够调整特征中不同位置的重要性，辅助双层二维归一化流聚焦异常特征。

所述外层流由多个可逆变换块组合而成，如附图5所示，组合操作如下所示：

，

式中，X表示主干网络提取出的特征，Z表示经过外层流后得到的特征分布，下标out表示外层流的可逆变换块的个数，F

在异常检测中，仅使用双层二维归一化流的正向过程，因此所述外层流的过程用以下公式表示：

，

式中，

如附图6所示为外层流中的一个可逆变换块。在每个外层流的可逆变换中，每个可逆变换块的操作流程为：将输入特征从通道维度上分割成两个部分，获得第一部分特征与第二部分特征，第一部分特征输入内层流后，进行二维卷积操作，使得特征在保留空间信息的同时，更加接近特征分布；之后进行通道维度上的平均分割，输出的前一部分特征进行指数运算，得到的特征作为第二部分特征的权重，输出的后一部分特征作为第二部分特征的偏差，将第二部分特征与权重点乘，之后与偏差相加，相加后的特征输入另一个内层流后，进行二维卷积操作，再进行平均分割，输出的前一部分特征进行指数运算，得到的特征作为第一部分特征的权重，输出的后一部分特征作为第一部分特征的偏差，将第一部分特征与权重点乘，之后与偏差相加，最后将两个相加得到的特征进行连接操作，以此进行特征之间的交替耦合。

外层流的可逆变换块所采用的仿射耦合公式如下所示：

，

，

，

，

，

，

式中，P

所述内层流为在外层流的内部子网中嵌入的多个与外层流结构一致的可逆变换块，内层流的组合操作如下所示：

，

式中，Q和Q'分别表示内层流的输入特征与输出特征，下标in表示内层流的可逆变换块的个数，f

所述内层流的正向过程用以下公式表示：

，

内层流的可逆变换块将外层流分割出的第一部分的特征以及经过相加后的第二部分的特征都分别输入内层流中，经过分割、卷积、指数运算、点乘、相加和连接这一系列操作，使得分割出的两部分特征通过各自的内层流输出更加贴近特征分布的特征信息，增强特征在通道之间的联系，如附图7所示为内层流中的一个可逆变换块，所述内层流的可逆变换块所采用的仿射耦合公式如下所示：

，

，

，

，

，

，

式中，q

如附图8所示为内层流的内部子网，内层流的内部子网中的流程为：首先将输入特征进行二维卷积操作，以保持特征的空间信息，然后将卷积后的特征输入指数空间注意力模块中，输出特征空间位置的指数权重，使得模型能够调整不同位置的重要性，辅助网络聚焦异常特征，再将卷积后的特征与指数权重点乘并与卷积后的特征相加，获取突出了异常特征的特征信息，最后将特征输入relu激活函数中进行非线性变换。

所述指数空间注意力模块如附图8中a部分所示，具体流程为：首先将特征沿着通道维度分别进行平均池化与最大池化，学习异常的程度信息和判别特征信息；其次由于学习到的特征分布最后将转化为标准正态分布，因此，在池化操作后都进行了指数运算，以加强异常特征信息的表达；最后将两个特征沿通道层面拼接后，进行卷积和激活操作，得到最终的空间注意力特征；

上述指数空间注意力模块公式如下：

，

，

，

式中，y为内层流的内部子网的输入特征经过卷积后的特征信息，AvgPool(·)与MaxPool(·)分别表示平均池化与最大池化，y

S3.进行异常识别：如附图1中的c部分所示，利用异常识别模块，将特征分布转化成标准正态分布，获得异常检测预测图像。

首先，将通过双层二维归一化流后获得的每个尺度的特征分布上采样至与输入图像相同的尺度，并求出平均特征分布，公式如下所示：

，

式中，

其次，将平均特征分布转化为标准正态分布：当输入全部为正常图像时，经过特征提取后的特征映射到特征分布上，图像特征上的模型分布遵循以下公式：

，

式中，

但当输入制作有异常的图像时，由于训练的异常特征信息的无规律性，因此异常特征不服从任何分布，异常特征的分布不遵循上述公式，因此将特征分布转换成标准正态分布，即异常检测预测图像，公式如下所示：

，

式中，N表示标准正态分布。

在双层二维归一化流的训练过程中，采用均方误差损失函数，使得正常特征映射在正态分布中的值趋近期望，异常特征远离期望，公式如下所示：

，

式中，loss表示均方误差损失，w和h分别表示输入图像的宽度和高度，

基于双层二维归一化流的自监督工业异常检测整体网络结构完整描述如下：

步骤1：将整个网络输入图像的分辨率统一设定为256×256像素；

步骤2：将图像输入预先训练好的ResNet18主干网络中进行特征提取，获得不同尺寸特征；

步骤3：将获得的不同尺寸特征分别输入处理不同尺寸特征的嵌入有指数空间注意力模块的双层二维归一化流中，将特征经过每一个可逆变换块后逐渐映射成特征分布，在聚焦异常特征的同时，增加特征在通道层面之间的联系并减少特征信息的丢失；

步骤4：将得到的多个特征分布上采样至与输入图像一样的尺度，获取平均特征分布并转化成标准正态分布，获得异常检测预测图像，完成最终的异常检测，如附图9所示为输入图像，附图10所示为异常检测的最终预测效果图，表明一种基于双层二维归一化流的自监督工业异常检测方法能准确检测并定位出工业产品表面存在的异常。