一种基于边缘世界生成网络的图像异常检测方法

技术领域

本发明涉及图像异常检测技术领域，本发明提出了一种专注在边缘特征空间内进行优化的边缘世界生成网络，用于无监督的图像异常检测和定位。

背景技术

图像异常检测算法在智能制造业、工业互联网、医学图像分析等领域，都有着广泛的应用。但是，图像异常的出现情况却存在着很多不确定性，在形式上呈现出未知性、多样性、稀少性，从而在图像异常检测中，对异常样本数据的获取代价极高，异常样本数据也没有稳定的统计规律。由于无法对可能出现的异常情况进行完整采样，在训练过程中正负样本的数量也就极不平衡，使得基于传统监督学习算法训练出来的模型，很难有效泛化到未经训练的数据集。在图像异常检测领域中都希望能在这种不确定性的异常因素中，寻找到能够确定的支撑点。

在生成对抗训练中，分类模型能够很好的正确区分原始图像，但是将原图进行对人类而言毫无变化的细微改变，却会被分类模型以很高的置信度给错误归类。这样的细微改变，在视觉图像上确实差异不大，但是经过模型的特征提取后，在特征空间上的差异性，则十分的显著。

国内外对于图像异常检测的研究，主要有三个方向。

基于重建模型方法，通常只包含正常数据来训练编码器和解码器，测试时正常数据可以通过一组基函数精准地重建，而异常数据的重构误差往往会显著地大于正常数据的重构误差，因此可以通过重构误差的大小来判定数据是否存在异常。

基于合成模型方法，通过在无异常图像上生成伪异常来进行训练，以此来估计正常和异常之间的决策边界，从而将正常数据与异常数据区域区分开。

基于密度模型方法，首先学习和建模正常数据或特征的概率分布，然后在测试时利用学习到的概率分布估计测试数据的似然概率来判定异常，通常正常数据似然概率高，异常数据似然概率低。

发明内容

本发明为了解决上述现有技术存在的不足之处，提出一种基于边缘世界生成网络的图像异常检测方法，以期在图像异常检测领域中，面对异常情况的未知性、无法对所有异常数据进行统计分布建模的问题时，能够在高纬度的特征空间中，更准确的刻画出正常样本的特征空间边界，从而能高效精确的完成无监督图像异常检测和定位。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种基于边缘世界生成网络的图像异常检测方法的特点在于，是按以下步骤进行：

步骤1、获取训练图像数据集A，并构造随机空间向量集合Z：

步骤1.1、获取真实的正常图像数据集，记为A＝{a

步骤1.2、在[-1,1]范围内的均匀分布上进行随机高斯采样后，得到随机空间向量集合Z＝{z

步骤2、构造特征提取网络F，并对正常图像数据集A进行处理，得到正常特征向量集合ν

步骤3、构造特征膨胀网络E，并对正常特征向量集合ν

步骤4、构造特征蒸馏生成网络G，并对随机空间向量集合Z进行处理，得到随机空间向量集合Z＝{z

步骤5、通过边缘特征判别网络D

步骤5.1、构造边缘特征判别网络D

根据式(4)得到所述边缘特征判别网络D

式(5)中，e为自然对数的底数，r、λ为韦伯变换函数中的超参数；

步骤5.2、构造异常分类网络D

根据式(7)得到所述异常分类网络D

步骤5.3、构造共享参数：

利用式(8)和式(9)构造所述边缘特征判别网络D

步骤6、由所述特征提取网络F、特征膨胀网络E、特征蒸馏生成网络G、边缘特征判别网络D1和异常分类网络D2构成边缘世界生成网络并进行对抗训练：

步骤6.1、利用式(10)建立对抗损失函数l

式(10)中，eps为一个扰动值，E表示期望，a～p(A)表示从训练图像数据集A的分布p(A)中取出一个批次的正常图像组a，z～p(Z)表示从随机空间向量集合Z的分布p(Z)中取出一个批次的随机空间向量组z，G(z)表示从随机空间向量集合Z的分布p(Z)中取出该批次的随机空间向量组z在所述特征蒸馏生成网络G生成的伪异常特征向量；D

式(11)中，当输入ξ为膨胀特征向量的异常分数时，则令标签

步骤6.2、利用式(12)建立膨胀损失函数l

式(12)中，a′与a″表示对正常图像组a进行不同随机变换后，得到两组类似图像；

log|Σ

式(13)中，ν

步骤6.3、建立生成边缘特征损失函数l

步骤6.3.1、利用式(14)建立韦伯边缘特征向量ν

ν

式(14)中，N(ζ；μ,σ)表示高斯分布，ζ为高斯分布的随机输入值，μ,σ为高斯分布的均值参数和方差参数；ω表示韦伯变换函数，并有：

式(15)中，θ表示韦伯变换函数的输入；

步骤6.3.2、利用式(16)建立边缘偏离损失函数ω_rim(G(z)||ν

ω_rim(G(z)||ν

式(16)中，l

式(18)中，

式(19)中，μ

步骤6.3.3、利用式(20)建立生成边缘特征损失函数l

l

式(20)中，D

步骤6.4、通过随机梯度下降法分别对式(20)、式(12)、式(10)进行优化求解，使得l

本发明所述的基于边缘世界生成网络的图像异常检测方法的特点也在于，所述步骤2包括：

步骤2.1、设定所述特征提取网络F的隐含层总层数为K

步骤2.2、随机初始化h

步骤2.3、根据式(1)计算正常图像数据集A中第i张正常图像a

式(1)中，*表示矩阵相乘，BN()是批归一化层；

步骤2.4、将h

所述步骤3包括：

步骤3.1、设定所述特征膨胀网络E的隐含层总层数为K

步骤3.2、随机初始化h

步骤3.3、根据式(2)计算第i个正常特征向量ν

式(2)中，

步骤3.4、将h

所述步骤4包括：

步骤4.1、设定所述特征蒸馏生成网络G的隐含层总层数为K

步骤4.2、随机初始化h

步骤4.3、根据式(3)计算第j个随机空间向量z

式(3)中，

步骤4.4、将h

所述步骤5.1包括：

步骤5.1.1、设定所述边缘特征判别网络D

步骤5.1.2、随机初始化h

步骤5.1.3、根据式(4)计算第j个伪异常特征向量ν

式(4)中，

步骤5.1.4、将h

所述步骤5.2包括：

步骤5.2.1、设定所述异常分类网络D

步骤5.2.2、随机初始化h

步骤5.2.3、根据式(7)计算所述正、异常特征向量集合I中任意第k个特征向量

式(6)中，

步骤5.2.4、将h

本发明一种电子设备，包括存储器以及处理器的特点在于，所述存储器用于存储支持处理器执行所述图像异常检测方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。

本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序的特点在于，所述计算机程序被处理器运行时执行所述图像异常检测方法的步骤。

与现有技术相比，本发明的有益效果在于：

1、本发明通过边缘世界生成网络在高纬度的特征空间中，更好的刻画出了正常样本的特征空间边界，从而解决了在图像异常检测领域中，传统模型面对异常情况的诸多未知性，无法对所有异常数据进行统计分布建模的困难，实现了在这些不确定性的异常因素中，能够寻找到确定的支撑点。

2、本发明通过提出使用基于韦伯变换的异常分类器，作为特征向量空间维度信息与样本异常分数之间的新测度转换，从而解决了在图像异常检测领域中，模型输出的异常分数无法达到预设的阈值范围区间内、同时正常数据的异常分数和异常数据的异常分数难以区分的问题，达到了以更高的准确率来实现图像像素级异常分数的区分。

3、本发明通过设计的特征空间膨胀器模块，更好的使图像数据中像素级的每个特征向量，都尽可能的张成出维度饱满的特征空间，从而解决了常规模型在特征提取的过程中，所得到的特征向量张成的特征空间，很容易出现维度坍塌，即特征向量的维度信息很容易丢失，进而导致模型获取的特征信息不完整的问题。

4、本发明通过设计的特征蒸馏生成器模块，在正常样本的特征向量所张成的特征维度空间边界，生成伪异常的边缘特征空间，在此边缘特征维度空间内，产生大量的伪异常特征向量，最后将正常样本的特征向量和特征蒸馏生成器生成出来的伪异常特征向量，一起输入异常分类器，十分有效的提升了模型对异常情况的识别性能，从而解决了常规模型对视觉图像进行噪声扰动，来增强模型的泛化能力不够充分的问题。本发明在特征空间上进行有效的噪声扰动，则更加可观的提升了模型的性能。

5、本发明设计的特征空间膨胀器提高了特征向量维度信息的丰富度；本发明设计的特征蒸馏生成器提升了在正常样本特征空间的边界，生成伪异常的边缘特征空间的有效性；本发明设计的异常分类器用韦伯变换构建起，特征向量空间维度信息与样本异常分数之间转换的桥梁，提高了正、异常样本异常分数的区分度。本发明在高纬度边缘特征空间内的上述优化方法，同时也在图像异常检测领域中，提供了一个思考特征向量的全新视角。

附图说明

图1为本发明基于边缘世界生成网络的图像异常检测方法的流程图；

图2为本发明边缘世界生成网络的网络结构图；

图3为本发明边缘特征空间示意图；

图4为本发明图像所有像素点的异常分数的示意图；

图5、图6、图7为本发明分别在VisA数据集、MVTec AD数据集、Hyper Kvasir数据集上进行图像异常检测结果可视化的示意图；

图8为本发明与现有图像异常检测方法在VisA数据集上图像级检测平均精度、像素级检测平均精度和PRO精度的比较示意图；

图9为本发明与现有图像异常检测方法在MVTecAD数据集上图像级检测平均精度、像素级检测平均精度和PRO精度的比较示意图。

具体实施方式

本实施例中，基于当前已有的解决方案和所面临的问题，本发明一种基于边缘世界生成网络的图像异常检测方法，首先提出了三个需要解决的问题目标。一、破除异常分数的界限屏障，使异常分数能够尽可能的达到预设的阈值范围区间内。二、压缩异常分数区间过渡带的宽度，使异常分数处于中间交织的区域尽可能的小。三、拉开正负样本异常分数的距离，使异常数据的异常分数与正常数据的异常分数，尽可能的拉开到可以有效区分的距离。

本发明综合一些特殊的直观方案，比如，为了更好的确定出猫、狗两者之间的分类边界，可以在训练集引入更多的老虎和狼，这两类更相似的数据样本，从而使模型更加清晰的刻画出，猫这一类型的特征空间边界，由此来更好的区分出猫、狗两类。从而提出了三个解决方案来处理上述三个所面临的问题目标。

一、对测度函数的分布转化进行替换。用传统的指数函数，将像素级特征向量的空间距离向异常分数的转化，会有信息上的丢失，从而导致上述问题的产生。所以本发明提出了使用韦伯变换作为一种新的测度转化，以更高的性能缓解上述问题的出现。

二、张成维度丰满的特征空间。在传统生成对抗模型中，对视觉图像进行噪声扰动，来增强模型的泛化能力是不够充分的，本发明为了更加可观的提升模型性能，则在特征空间上进行有效的噪声扰动。并设计了特征空间膨胀器模块，来保证模型提取出来图像像素级的每个特征向量，都尽可能的可以张成出维度丰满的特征空间，从而使得特征信息不丢失。

三、自适应的生成异常样本边界。由于异常情况的未知性、多样性、稀少性，所以无法对所有异常数据进行统计分布的建模。本发明转化视角，将建模的关注点，从样本外无法穷举的未知，转到样本内可确定的建模。在解决方案二的基础上，由于正常样本的特征空间的维度已经尽可能的张成饱满了，所以本发明再通过生成对抗网络产生，从正常样本中提取出来的像素级特征向量所张成的，特征空间边界处的边缘伪异常特征空间。在伪异常的边缘特征空间内，产生大量的伪异常的特征向量，从而尽可能的寻找出正常样本的特征向量，所张成的特征空间的边界。最终在高纬度的特征空间中刻画出更准确的正常边界，从而能以高精度来区分出正常数据与异常数据。

具体的说，如图1所示，本发明图像异常检测方法包括以下步骤：

步骤1、获取训练图像数据集A，并构造随机空间向量集合Z：

步骤1.1、获取真实的正常图像数据集，记为A＝{a

步骤1.2、在[-1,1]范围内的均匀分布上进行随机高斯采样后，得到随机空间向量集合Z＝{z

步骤2、构造特征提取网络F，得到正常特征向量集合ν

步骤2.1、设定特征提取网络F的隐含层总层数为K

步骤2.2、随机初始化h

步骤2.3、根据式(1)计算正常图像数据集A中第i张正常图像a

式(1)中，*表示矩阵相乘，BN()是批归一化层；

步骤2.4、将h

步骤3、构造特征膨胀网络E，得到正常特征向量集合ν

步骤3.1、设定特征膨胀网络E的隐含层总层数为K

步骤3.2、随机初始化h

步骤3.3、根据式(2)计算第i个正常特征向量ν

式(2)中，

步骤3.4、将h

步骤4、构造特征蒸馏生成网络G，得到随机空间向量集合Z＝{z

步骤4.1、设定特征蒸馏生成网络G的隐含层总层数为K

步骤4.2、随机初始化h

步骤4.3、根据式(3)计算第j个随机空间向量z

式(3)中，

步骤4.4、将h

步骤5、通过边缘特征判别网络D

步骤5.1、构造边缘特征判别网络D

步骤5.1.1、以伪异常特征向量集合ν

步骤5.1.2、设定边缘特征判别网络D

步骤5.1.3、随机初始化h

步骤5.1.4、根据式(4)计算第j个伪异常特征向量ν

式(4)中，

步骤5.1.5、将h

步骤5.1.6、根据式(4)得到边缘特征判别网络D

式(5)中，e为自然对数的底数，r、λ为韦伯变换函数中的超参数；

步骤5.2、构造异常分类网络D

步骤5.2.1、以膨胀特征向量集合ν

步骤5.2.2、设定异常分类网络D

步骤5.2.3、随机初始化h

步骤5.2.4、根据式(7)计算正、异常特征向量集合I中任意第k个特征向量

式(6)中，

步骤5.2.5、将h

步骤5.2.6、根据式(7)得到异常分类网络D

步骤5.3、构造共享参数：

利用式(8)和式(9)构造边缘特征判别网络D

步骤6、由特征提取网络F、特征膨胀网络E、特征蒸馏生成网络G、边缘特征判别网络D1和异常分类网络D2构成边缘世界生成网络并进行对抗训练：

步骤6.1、利用式(10)建立对抗损失函数l

式(10)中，eps为一个扰动值，E表示期望，a～p(A)表示从训练图像数据集A的分布p(A)中取出一个批次的正常图像组a，其中，a＝{a1,…,abs}，bs为该批次正常图像的总数，bs≤N；z～p(Z)表示从随机空间向量集合Z的分布p(Z)中取出一个批次的随机空间向量组z，其中，z＝{z1,…,zbs}，bs≤M；G(z)表示从随机空间向量集合Z的分布p(Z)中取出该批次的随机空间向量组z在特征蒸馏生成网络G生成的伪异常特征向量；D

式(11)中，当输入ξ为膨胀特征向量的异常分数时，则令标签

步骤6.2、利用式(12)建立膨胀损失函数l

式(12)中，a′与a″表示对正常图像组a进行不同随机变换后，得到两组类似图像；

log|Σ

/>

式(13)中，ν

其中，对于特征向量集合ν

式(14)中，

步骤6.3、建立生成边缘特征损失函数l

步骤6.3.1、利用式(15)建立韦伯边缘特征向量ν

ν

式(15)中，N(ζ；μ,σ)表示高斯分布，ζ为高斯分布的随机输入值，μ,σ为高斯分布的均值参数和方差参数；具体表达式如下：

ω()表示韦伯变换函数，并有：

式(17)中，θ表示韦伯变换函数的输入；

步骤6.3.2、利用式(16)建立边缘偏离损失函数ω_rim(G(z)||ν

ω_rim(G(z)||ν

式(18)中，l

式(20)中，

式(21)中，μ

步骤6.3.3、利用式(22)建立生成边缘特征损失函数l

l

式(22)中，D

步骤6.4、通过随机梯度下降法分别对式(22)、式(12)、式(10)进行优化求解，使得l

本实施例中，一种电子设备，包括存储器以及处理器，该存储器用于存储支持处理器执行上述方法的程序，该处理器被配置为用于执行该存储器中存储的程序。

本实施例中，一种计算机可读存储介质，是在计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法的步骤。

最终，本发明所提供的基于边缘世界生成网络的图像异常检测方法，在Visa数据集上的实验结果如图8所示，12类别图像级检测平均精度、像素级检测平均精度和PRO精度都高于当前最优算法。图像级平均AUROC值达到97.86％，像素级平均AUROC值达到98.75％，PRO值达到94.26％。在MVTec数据集上的实验结果如图9所示，15类别图像级检测平均精度高于现有方法，像素级检测平均精度和PRO精度接近当前最优算法。图像级平均AUROC值达到99.79％，像素级平均AUROC值达到97.81％，PRO值达到91.34％。

综上所述，本发明提出了一种专注在特征空间内进行各种优化的方法---边缘世界生成网络，用于无监督的图像异常检测和定位。边缘世界生成网络由于特征提取器、特征空间膨胀器、特征蒸馏生成器、边缘特征判别器、异常分类器共同组成，这些模块都有自身创新的闪光点与启发性。特征空间膨胀器体现出特征向量维度信息的重要性，特征蒸馏生成器实现在正常样本特征空间的边界，生成伪异常的边缘特征空间的有效性，异常分类器用韦伯变换架起了特征向量空间维度信息与样本异常分数之间转换的桥梁。这些在高纬度边缘特征空间内充满魅力的各种优化，在图像异常检测领域，也提供了一个思考特征向量的全新视角。同时，边缘世界生成网络也在MVtec数据集和Visa数据集上实现了当前最高的算法性能。