基于蒸馏和记忆库指引重建的异常检测方法

技术领域

本发明涉及图像异常检测方法技术领域，尤其涉及一种基于蒸馏和记忆库指引重建的异常检测方法。

背景技术

工业异常检测是指在生产流水线中通过对工件样本进行检测，自动筛选出流水线上的缺陷品，减少人工重复劳动的同时也能保障生产稳定性和安全性。传统的工业异常检测方法主要有基于规则、统计学、模型等方法，其难点主要包括以下方面：工业环境具有高度复杂性，存在各种噪声干扰因素，如温度、湿度、压力等，这些因素会对传感器数据产生影响，造成数据异常；由于在流水线上，异常样本的数据样本不易获取，导致传统方法的精确率无法得到保障；传统方法往往需要手动构建特征和规则，对于多变的工业流水线数据来说，手动构建特征和规则是困难的，后续各种超参数的调整也往往需要很大的运维成本。

如今随着计算机视觉算法的发展，利用AI技术进行工业异常检测逐渐成为主流。本项目目的是开发一种工业异常检测的AI算法，可以自适应地对不同的工业环境进行建模和训练，能够从复杂噪声干扰因素中提取有效特征，大幅提升异常检测的精确率。使用深度学习等技术，可以利用大规模正常数据进行小样本学习和无监督学习，从而避免异常样本不足的问题，使用AI算法进行工业异常检测在减少人工重复劳动的同时也能保障生产稳定性和安全性。

对于基于图像重建的异常检测方法，通过对正常数据的分布进行建模，将重建误差较高的区域认定为异常，因为只使用正常数据进行训练的模型不能重建异常。一些研究者使用生成模型，比如自动编码器和其变体来编码和重建正常数据使用生成性对抗网络进行训练以获得更好的重建图像。一些研究者采取随机掩码遮掩正常数据，令重建网络去“填补”缺失区域，还有一些研究者采取伪造的异常数据的方式，使得重建网络修复这些异常区域，来增强重建网络的泛化性。在进行修复时往往会重建出异常，而且会造成模糊的重建结果，导致难以区分正常样本和异常样本。鉴于此，本发明提出一种基于蒸馏和记忆库指引重建的异常检测方法

发明内容

本发明的目的在于生成高质量的人脸图像修复结果，并在此基础上提出一个基于蒸馏和记忆库指引重建的异常检测方法。

为了实现上述目的，本发明采用了如下技术方案：

基于蒸馏和记忆库指引重建的异常检测方法，具体包括以下步骤：

S1、获取模拟的异常图像：给定第一正常图像I

S2、构建网络框架：设计由自动编码器构成的轻量的相同的教师网络G

S3、设计方案、搭建模型：基于正常样本的特征先验，结合S1～S2中所述模拟异常图像数据和网络框架设计图像异常检测方案，并依据所设计的方案搭建图像异常检测模型，所述方案具体包括如下内容：

①基于正常样本特征的先验获取：训练一个对正常图像进行重建的自动编码器，将得到的自动编码器模型作为教师网络G

②记忆库中参考特征获取：随机选取n个正常样本作为参考样本，通过教师网络G

③特征蒸馏：将模拟的异常图像I

④参考特征和学生网络提取特征的融合处理：将学生网络G

⑤教师网络和学生网络输出：融合后的特征F

⑥异常分割网络处理：将图像对(I

⑦损失函数模块设计：将教师网络G

S4、训练模型：利用深度学习Pytorch框架训练模型，遍历S1中所构建的模拟异常数据集直到学生网络G

S5、输出结果：将S1中获得的缺失人脸图像数据集中的数据对输入到S4中训练得到的稳定模型中，获得人脸图像修复结果。

优选地，所述S1具体包括以下内容：

假设用于异常模拟的正常图像和外部数据集图像分别为I

式中，

所述模拟异常流程完成后，接着进行退化操作，具体操作如下：

I

式中，k为随机选取的高斯模糊核；

所述异常模拟操作和退化操作均为概率操作，概率值分为设置为50％和70％。

优选地，所述方案③具体包括以下内容：

3.1)、教师网络G

3.2)、学生网络G

3.3)、计算教师网络编码器和学生网络编码器分别提取到的两个尺度特征的蒸馏损失，具体计算公式为：

式中，

3.4)、将L

优选地，所述方案④具体包括以下内容：

4.1)、学生网络编码器提取的特征F

式中，F

4.2)、匹配特征F

4.3)、匹配特征F

优选地，所述方案⑤具体包括以下内容：

5.1)、第一正常图像I

5.2)、融合后的特征F

5.3)、计算教师网络重建图像I

式中，I

S(x,y)＝l(x,y)

其中，α、β、γ分别代表不同特征在SSIM衡量中的占比，当α、β、γ均为1时，有：

式中，μ

优选地，所述方案⑥具体包括以下内容：

6.1)、分割网络G

6.2)、概率图M

6.3)、概率图M

式中，H，W分别为异常掩码M的高度和宽度；i，j表示异常掩码M和概率图M

与现有技术相比，本发明提供了基于蒸馏和记忆库指引重建的异常检测方法，具备以下有益效果：

(1)本发明提出了一种基于蒸馏和记忆库的异常重建方法；教师网络和学生网络通过在本数据集的正常样本上进行重建预训练，获得正常样本的特征信息，教师网络通过蒸馏指引学生网络学习重建异常区域；教师提取正常样本的特征嵌入记忆库，学生网络编码器提取到的特征通过查询记忆库，获得最匹配的正常特征，融合由学生网络编码器进行重建。

(2)本发明提出了一种在异常检测中应用的图像退化方法，通过随机模糊模拟的异常图像，学生网络进行重建时能够获得更强的泛化性；模糊的图像和清晰的图像对能够模拟测试时，重建网络的结果较为模糊的情况，减少训练时分割网络输入数据和测试时数据的差异性。

(3)基于本发明所进行的实验表明，所提出的方法优于目前主流的异常检测方法；经过本发明的研究探索，能够启发更多利用蒸馏和记忆库辅助重建的研究以及减少重建质量差的影响的研究。

附图说明

图1为本发明提出的基于蒸馏和记忆库指引重建的异常检测方法的整体框架图；

图2为本发明实施例1中特征匹配和融合流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

实施例1：

请参阅图1，本发明提出一种基于蒸馏和记忆库指引重建的异常检测方法，包括以下步骤：

S1、获取模拟的异常图像：给定第一正常图像I

S2、构建网络框架：设计由自动编码器构成的轻量的相同的教师网络G

S3、设计方案、搭建模型：基于正常样本的特征先验，结合S1～S2中所述模拟异常图像数据和网络框架设计图像异常检测方案，并依据所设计的方案搭建图像异常检测模型，所述方案具体包括如下内容：

①基于正常样本特征的先验获取：训练一个对正常图像进行重建的自动编码器，将得到的自动编码器模型作为教师网络G

②记忆库中参考特征获取：随机选取n个正常样本作为参考样本，通过教师网络G

③特征蒸馏：将模拟的异常图像I

④参考特征和学生网络提取特征的融合处理：将学生网络G

⑤教师网络和学生网络输出：融合后的特征F

⑥异常分割网络处理：将图像对(I

⑦损失函数模块设计：将教师网络G

S4、训练模型：利用深度学习Pytorch框架训练模型，遍历S1中所构建的模拟异常数据集直到学生网络G

S5、输出结果：将S1中获得的缺失人脸图像数据集中的数据对输入到S4中训练得到的稳定模型中，获得人脸图像修复结果。

针对上述方法，更进一步包括如下内容：

3.1、异常模拟

用于异常模拟的正常图像和外部数据集图像分别为I

式中，

所述的模拟异常流程完成后，进行退化操作，操作如下：

I

式中，k为随机选取的高斯模糊核。异常模拟操作和退化操作均为概率操作，概率值分为设置为50％和70％；

3.2、教师网络G

教师网络和学生网络采取相同的自动编码器结构，均在正常样本上进行重建预训练。教师网络负责提取记忆库Ω中的特征以及正常样本的重建，学生网络负责模拟异常样本的重建。教师网络G

式中，

3.3、记忆库特征获取以及融合

学生网络编码器提取的特征F

式中，F

3.4、正常图像和模拟异常图像的重建

正常图像I

式中，I

S(x,y)＝l(x,y)

其中，α、β、γ分别代表不同特征在SSIM衡量中的占比，当α、β、γ均为1时，有：

式中，μ

重建损失也传入教师网络进行优化，目的是使训练更加稳定。

3.5、分割网络

分割网络采用简单的U-net结构，图像对(I

式中，H，W分别为异常掩码M的高度和宽度；i，j表示异常掩码M和概率图M

3.6、损失函数

在网络训练时，总共有三个不同的损失函数，分别为：蒸馏损失L

L

式中，λ

实施例2：

基于实施例1但有所不同之处在于：

本发明选取四个同在MVTEC数据集上训练的先进对比方法，包括：CutPaste，DRAEM，Padim，RDADDSR。具体结果请参阅表1。

表1定量结果对比表

如表1所示，表中每个单元格展示的指标分别为图像级的AUROC和像素级的AUROC指标，分别用于评估图像异常检测和定位的能力。AUROC为ROC曲线(Receiver operatorcharacteristic curve)下的面积，在不同阈值下，以误检率(FPR)作为横坐标轴，召回率(TPR)作为纵坐标轴绘制的曲线。对于ROC曲线，虚报的越少越好，即TPR保持很高，ROC曲线下的面积越大越好。表中最优的结果用加粗标出。从表中可以看出，本发明的方法平均在所有指标上实现了优越性。对与每个种类，本发明的方法在图像异常检测上有7个种类最优；在图像异常定位上有3个种类最优。其中，DRAEM和DSR方法同样为基于重建的异常检测方法，通过对比可知本发明的方法能够更好的完成异常重建以及检测：一方面，蒸馏和记忆库的辅助使得学生网络的重建能力更强；另一方面，本发明提出的用于异常模拟时的图像退化方法，能够缓解重建网络重建质量差的问题。因此本发明所提出的方法会有更好的表现。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。