基于生成对抗网络的高维数据故障异常检测方法及系统

技术领域

本发明涉及多维数据中的异常检测技术领域，具体地，涉及一种基于生成对抗网络的高维数据故障异常检测方法及系统。

背景技术

多维数据中的异常检测是一个具有重大现实意义的问题，包含我们现实世界中大量的实际应用，包括网络安全制造、欺诈检测和医学成像等。通常的异常检测方法需要对正常数据的模式进行建模，用以识别不符合正常数据模式的异常样本。虽然异常检测已经过了大量的研究，但开发适合复杂和高维数据的有效方法仍然面临着巨大的挑战。

生成对抗网络是一种强大的高维数据建模框架，可以应对这项挑战。标准的生成对抗网络由两个神经网络组成，一个是生成网络(G)，一个是判别网络(J)在训练期间，生成网络通过学习从隐数据变量(z)(假设服从于高斯分布或均匀分布)映射到虚拟真实数据空间来学习映射模式，而判别网络用于学习区分真实数据和生成网络生成的虚拟真实数据的样本。生成对抗网络在虚拟图像生成的应用上已经取得很大的成功，而且越来越多地用于语音和医学成像应用。

公开号为US6292582B1的发明专利，公开了一种用于识别半导体中缺陷的方法和系统，该专利能够对特定类型的异常进行分类，包括图像采集和处理，却基于最近邻数据库对预提取的特征进行的搜索，找到最近邻的异常，且无法检测新异常。

公开号为US8126681B2的发明专利，公开了一种使用序列组合数据转换处理方法识别半导体异常值，该方法以简单的统计技术为基础，评估速度快，有一定的理论基础，但需使用获取成本更高的电气测试数据，使用经典的统计方法检测异常值，可能不足以捕获复杂图像数据中的异常值。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于生成对抗网络的高维数据故障异常检测方法及系统，以解决上述问题。

根据本发明提供的一种基于生成对抗网络的高维数据故障异常检测方法及系统，所述方案如下：

第一方面，提供了一种基于生成对抗网络的高维数据故障异常检测方法，所述方法包括：

构建生成对抗网络架构；

构建生成对抗网络架构后，稳定生成对抗网络训练，获取训练模型；

根据训练模型，设定评分函数，并对生成对抗网络进行异常评分，并用生成对抗网络对高维数据进行异常检测。

优选的，所述生成对抗网络架构具体步骤如下：

标准生成对抗网络包括生成网络G和判别网络J，将生成网络G和判别网络J在一组M个数据样本

生成网络G在服从特定分布的隐数据空间中，采集的随机隐变量z映射到输入数据空间X；

判别网络J尝试将实际数据样本x

将p

生成对抗网络模型将联合分布p

生成对抗网络将判别网络J

其中，

对于编码网络E和生成网络G固定值，最优判别网络

对于最优判别网络

优选的，所述获取训练模型具体步骤如下：

使用一个额外的对抗学习判别网络Jzz将隐空间条件H

其中，V(J

V(J

其中，J

优选的，所述异常评分具体步骤如下：

对数据分布进行有效建模，利用生成网络G学习正常数据p

学习数据的分布，以便精确恢复潜数据空间的重表达；

确保正常样本能精准重建；

优选的，所述正常样本重建如下：

计算在J

其中，f()是模型J

对正常数据训练一个模型来提供E、G、J

U(x)＝||f

U(x)值大的样本被认为异常数据具有大的概率。

第二方面，提供了一种基于生成对抗网络的高维数据故障异常检测系统，所述系统包括：

模型M1：构建生成对抗网络架构；

模型M2：构建生成对抗网络架构后，稳定生成对抗网络训练，获取训练模型；

模型M3：根据训练模型，设定评分函数，并对生成对抗网络进行异常评分，并用生成对抗网络对高维数据进行异常检测。

优选的，所述模块M1包括：

标准生成对抗网络包括生成网络G和判别网络J，将生成网络G和判别网络J在一组M个数据样本

生成网络G在服从特定分布的隐数据空间中，采集的随机隐变量z映射到输入数据空间X；

判别网络J尝试将实际数据样本x

将p

生成对抗网络模型将联合分布p

生成对抗网络将判别网络J

其中，

对于编码网络E和生成网络G固定值，最优判别网络

对于最优判别网络

优选的，所述模块M2包括：

使用一个额外的对抗学习判别网络Jzz将隐空间条件H

其中，V(J

V(J

其中，J

优选的，所述模块M3包括：

对数据分布进行有效建模，利用生成网络G学习正常数据p

学习数据的分布，以便精确恢复潜数据空间的重表达；

确保正常样本能精准重建；

优选的，所述确保正常样本能精准重建具体如下：

计算在J

其中，f()是模型J

对正常数据训练一个模型来提供E、G、J

U(x)＝||f

U(x)值大的样本被认为异常数据具有大的概率。

与现有技术相比，本发明具有如下的有益效果：

1、本发明提出的深度学习异常检测模型在训练时不需要已知的异常数据；

2、本发明可以检测到之前未出现的异常数据；

3、本发明可以处理半导体晶片二维和三维图像数据的异常检测。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为最终的生成对抗网络模型；

图2为利用异常值、编码表达和重建测试数据图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

本发明实施例提供了一种基于生成对抗网络的高维数据故障异常检测方法，参照图1所示，首先构建生成对抗网络架构：

标准生成对抗网络包括生成网络G和判别网络J，将生成网络G和判别网络J在一组M个数据样本

在整体结构中，生成网络G和判别网络J这两个网络相互竞争：生成网络G尝试生成与真实数据相似的样本，而判别网络J将用于判别由生成网络生成的伪样本和真实数据样本。然后，训练生成对抗网络通常要采取交变梯度步骤，以便生成网络G可以更好地“愚弄”判别网络J，并使判别网络J更好地判别生成网络G生成的伪样本。

形式上，将p

在生成对抗网络中，需要解决鞍点问题MIN

最优生成网络可以产生一个与真实数据分布p

对于生成网络G固定值，最优判别网络

对于最优判别网络

在实际应用中，通常对判别网络J和生成网络G的网络执行交替梯度下降的方法来训练判别网络J和生成网络G：将其中的一个网络参数固定，从而将V(J，G)相应地最大化(对于J)或最小化(对于G)。训练生成对抗网络后，可以使用生成网络采集p

对抗网络异常检测：

标准生成对抗网络只支持有效的数据采样，可采用几种方法对其进行调整，用来实现异常检测。例如，对于数据点x，可以使用取样计算x的异常的分布概率，从而确定是否是一个异常值。虽然可以从生成对抗网络进行有效的取样，但可能性的精确计算通常需要大量的样本，导致概率计算量非常大。另一种方法是“反转”生成网络，以通过随机梯度下降找到尽可能降低重建误差或相关目标的隐变量z。由于每个梯度计算都需要通过生成网络进行反向传播，因此该方法的计算量也非常大，很难实际应用。

为了提高计算效率，我们构建了一种包含编码网络E的生成对抗网络，该网络在训练期间将数据样本x映射到隐空间z。在此类模型中，计算数据点x(近似)的隐空间表达只需通过编码网络E输入x即可实现。我们的模型中纳入了新的改进，以通过增加额外的判别网络来改进编码网络，从而实现编解码一致性，即G(E(x))≈x。

理论上，文献[1]Jeff Donahue,Philipp

其中，

对于编码网络E和生成网络G固定值，最优判别网络

对于最优判别网络

虽然理论上，联合分布p

为解决此问题，ALICE框架[3]Chunyuan Li,Hao Liu,Changyou Chen,Yuchen Pu,Liqun Chen,Ricardo Henao,and Lawrence Carin.Alice:Towards understandingadversarial learning for joint distribution matching.In I.Guyon,U.V.Luxburg,S.Bengio,H.Wallach,R.Fergus,S.Vishwanathan,and R.Garnett,editors,Advances inNeural Information Processing Systems 30,pages 5495–5503.Curran Associates,Inc.,2017.提出以对抗的方式估计条件熵H

V

对编码器E和生成网络G施加的条件熵正则化可以用附加的判别网络Jxx(x，x)来预估，

并且文献[3]中证明此类判别网络可以有效地保证编解码一致性。

稳定生成对抗网络训练：

参照图1所示，使用一个额外的对抗学习判别网络Jzz将隐空间条件H

综上，我们提出的对抗学习异常检测的放法解决了训练期间的鞍点问题，

其中，V(J

V(J

其中，J

异常评分：

参照图2所示，对于异常检测任务，我们希望对数据分布进行有效建模，利用生成网络G学习正常数据p

基于重建的异常检测技术的一个实例，它评估样本与其重建输出之间的距离。正常样本将被准确地重建，而异常样本的重建结果可能较差。

本发明的生成对抗网络模型保证了对数据分布进行有效建模和学习数据的分布，并使用了两个对称的条件熵一致性正则化来保证学习数据的分布和正常样本的精准重建。

其次，我们需要使用一个妥善的异常评分来量化真实样本及其重建样本之间的距离。我们对所选度量应该运行良好的原因给出了一个解释。实验部分介绍的消融研究证实了这一点。

原始图像及其在图像空间中的重建之间的欧几里得距离并不是相异性的一个可靠度量。由于视觉特征相似的图像在欧几里得距离方面不一定相互接近，因此可能包含了很多噪音。

因此，必须在特征空间中投影这些向量，并在此新空间中计算重建距离。

计算在J

对于异常判据，J

对正常数据训练一个模型来提供E、G、J

U(x)＝||f

这增强了对判别网络的可行度，即利用我们的生成网络将样本进行编码和重建，从而从真实的数据分布中得到样本。U(x)值大的样本被认为异常数据具有大的可能性。

具体试验设置如下：

数据集：在公开可用的图像数据集上评估了对抗学习异常检测方法。我们使用了包含门牌号图像的SVHN数据集[9]Yuval Netzer,Tao Wang,Adam Coates,AlessandroBissacco,Bo Wu,and Andrew Y Ng.Reading digits in natural images withunsupervised feature learning.01 2011.以及包含10类图像的CIFAR10数据集[8]AlexKrizhevsky.Learning multiple layers of features from tiny images.05 2012.，包括动物或车辆，例如马、狗、汽车和卡车。数据集的统计值为表1所示。

数据数量分配：我们通过依次将一个类别视为正常类别，并将其余9个类别视为异常实例，从SVHN数据集[9]和CIFAR10数据集[8]生成了10个不同的数据集。

对每个数据集，我们先取整个正式数据集的80％进行训练，其余为测试集使用。

表1：公共基准数据集统计

从训练集中删除了25％供验证集使用，并为新颖检测任务从训练集和验证集中删除了异常样本。我们使用受试者工作特征下的面积(AUROC)来对模型加以比较。对于图像数据，我们在验证集上使用提前停止来确定用于训练模型的历元数。我们使用从重建判别网络的特征衍生的重建损失作为提前停止的验证损失。

对比模型：

一类支持向量机(OC-SVM)[7]Antonia Creswell and Anil AnthonyBharath.Inverting the generator of A generative adversarial network.NIPSWorkshop on Adversarial Training,2016.：是一种经典的异常检测的方法，围绕正常实例学习判定边界。我们使用径向基函数内核，将v参数设置为数据集中假设已知的预期异常比例，而将γ参数设置为1/m，其中m是输入特征的数量。在所有实验中对该参数进行网格搜索后(γ＝1/m或10

孤立森林(IF)[10]Fei Tony Liu,Kai Ming Ting,and Zhi-Hua Zhou.Isolationforest.In Proceedings of the 2008Eighth IEEE International Conference on DataMining,ICDM’08,pages 413–422,Washington,DC,USA,2008.IEEE Computer Society.：是一种较新的经典机器学习技术，该技术将寻找孤立的异常数据，而不是为正常数据分布建模。该方法通过对随机选择的特征使用随机选择的分割值来构建决策树。然后，将异常评分定义为从特定样本到根的平均路径长度。在所有实验中，我们都使用了scikit-learn[11]F.Pedregosa,G.Varoquaux,A.Gramfort,V.Michel,B.Thirion,O.Grisel,M.Blondel,P.Prettenhofer,R.Weiss,V.Dubourg,J.Vanderplas,A.Passos,D.Cournapeau,M.Brucher,M.Perrot,and E.Duchesnay.Scikit-learn:Machine learning inPython.Journal of Machine Learning Research,12:2825–2830,2011.包提供的标准参数。

深度结构能量模型(DSEBM)[12]Shuangfei Zhai,Yu Cheng,Weining Lu,andZhongfei Zhang.Deep structured energy based models for anomalydetection.International Conference on Machine Learning,pages 1100-1109,2016.：是一种最先进的基于自动编码器的方法。主要理念是在层间积累能量，与去噪自动编码器类似。在此方法中，研究了两个异常判定判据：能量和重建误差。我们在实验中纳入了这两个判据，即DSEMB-r(重建)和DSEBM-e(能量)。

Ano生成对抗网络[5]Thomas Schlegl,Philipp

图像数据实验：

在SVHN数据集上，我们观察到我们的模型优于所有基线。但在CIFAR10数据集上，我们的方法与其他对比方法具有显著的竞争力。直观理解是，对一个类别训练我们的模型时，它只学习如何从该类别重建样本，可能将异常样本重建为与正常类别最接近的图像，从而在评估重建判别网络的特征时导致虚假否定。

表2：图像数据集性能

报告了Ano生成对抗网络[5]和我们模型之间的推理时间比较。表3中的推理实验在同一个GPU上依次进行，该GPU仅用于推理作业。对于SVHN[9]和CIFAR10[8]，说明了第一类的推理时间。

因此观察到，与其他基于生成对抗网络的异常检测方法相比，此模型推理速度快了几个数量级。

表3：GeForce GTX TITAN X上的平均推理时间(ms)

实验细节：

CIFAR10和SVHN实验细节

预处理：像素被缩放到[-1,1]范围内。

DSEBM：

对于CIFAR10和SVHN，我们使用如下架构：一个卷积层，核大小为3，步幅为2，64个过滤器，“相同”的填充，一个最大池化层和一个包含128个单元的全连接层。

Ano生成对抗网络：

我们采用了正式的DC生成对抗网络架构和超参数进行这些实验。对于异常检测任务，我们使用了与原创论文相同的超参数。使用指数移动平均值进行推断，衰减率为0.999。

本发明使用判别网络中星形层的输出进行异常评分，所有卷积层都具有“相同”的填充。

本发明实施例提供了一种基于生成对抗网络的高维数据故障异常检测方法，使得异常故障检测的准确度有了很大的提升，同时，检测的速度也有显著的提高。本方法使用一类在训练期间同时学习编码器网络的生成对抗网络，从而在测试时能够进行有效的推理。此外，还采用最新技术来进一步改善编码器网络和稳定生成对抗网络训练，消融性研究表明，这些技术改善了异常检测任务的表现。对一系列高维图像数据进行的实验证明了方法的效率和有效性。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。