一种图像异常检测与定位的方法、装置、设备及存储介质

技术领域

本发明涉及计算机视觉领域，尤其是一种图像异常检测与定位的方法、装置、设备及存储介质。

背景技术

工业图像的异常检测及定位是计算机视觉领域中的一个非常重要的任务，工业图像异常检测及定位的难点在于在一些实际应用的场景下，人们很难收集带有异常的数据，比如：工厂在正常流水线生产工件的情况下，产生的都是正常的工件，很难收集到带有异常的工件。在此条件下，人们提出只使用正常样本作为训练数据去训练模型，让模型去做异常检测及定位的任务，这给模型带来的非常大的挑战。此任务包括两个子任务：不仅要判定图像是否含有异常而且需要定位到异常的位置。现有技术中，由于缺乏带有异常的数据，基于此训练的异常识别模型在判断图像是否含有异常以及定位异常时存在精准度不足的问题。

因此，上述问题亟待解决。

发明内容

有鉴于此，本发明实施例提供一种图像异常检测与定位的方法、装置、设备及存储介质，用于解决因缺乏异常区域而导致识别图像异常和定位精准度不足的问题。

本发明实施例的一方面提供了一种图像异常检测与定位的方法，包括：

根据仅包括正常图像的训练数据生成带有异常区域的异常图像和像素级标签；

将所述异常图像输入到教师网络得到一组分辨率不同的特征图，作为第一特征图集合；将所述异常图像输入到学生网络得到一组分辨率不同的特征图，作为第二特征图集合；所述教师网络与所述学生网络采用不同类型的神经网络模型；

通过多尺度特征融合模块将所述第二特征图集合中的特征图进行融合，得到对应的一组融合特征图，作为第三特征图集合；

根据所述像素级标签、预设的可分辨蒸馏损失函数、所述第一特征图集合以及所述第三特征图集合，对所述异常图像中的正常区域和异常区域，在所述教师网络和所述学生网络间进行可分辨的知识蒸馏；

通过所述教师网络和知识蒸馏后的所述学生网络对待识别图像中的异常区域进行检测和定位。

可选地，所述教师网络采用卷积神经网络，所述学生网络采用Transformer网络。

可选地，所述根据仅包括正常图像的训练数据生成带有异常区域的异常图像和像素级标签，包括：

生成柏林噪声图并二值化处理，得到二元噪声图；

将所述二元噪声图与所述训练图像结合，生成带有异常区域的异常图像和像素级标签。

可选地，所述将所述异常图像输入到教师网络得到一组分辨率不同的特征图，作为第一特征图集合，包括：

将所述异常图像输入到教师网络，所述教师网络输出多个阶段对应的特征图，其中，各个阶段逐渐增大感受野，输出不同分辨率的特征图，得到一组分辨率不同的特征图，作为第一特征图集合；

所述将所述异常图像输入到学生网络得到一组分辨率不同的特征图，作为第二特征图集合，包括：

将所述异常图像输入到学生网络，所述学生网络输出多个阶段对应的特征图，其中，各个阶段逐渐增大感受野，输出不同分辨率的特征图，得到一组分辨率不同的特征图，作为第二特征图集合。

可选地，所述通过多尺度特征融合模块将所述第二特征图集合中的特征图进行融合，得到对应的一组融合特征图，作为第三特征图集合，包括：

针对所述第二特征图集合中每个阶段的特征图作为目标图像，利用卷积块提取所述目标图像的卷积特征图，对所述卷积特征图进行通道注意力和空间注意力操作，得到卷积注意力图；利用残差块提取所述目标图像的残差特征图；根据所述卷积注意力图和所述残差特征图确定所述融合特征图；

所有阶段的所述目标图像对应的所述融合特征图作为第三特征图集合。

可选地，所述方法还包括：

将当前阶段的所述融合特征图与后续所有阶段的融合特征图进行融合，得到当期阶段的最终特征图；

将各个阶段对应的所述最终特征图作为新的所述第二特征图集合，执行所述通过多尺度特征融合模块将所述第二特征图集合中的特征图进行融合，得到对应的一组融合特征图，作为第三特征图集合的步骤。

可选地，所述根据所述像素级标签、预设的可分辨蒸馏损失函数、所述第一特征图集合以及所述第三特征图集合，对所述异常图像中的正常区域和异常区域，在所述教师网络和所述学生网络间进行可分辨的知识蒸馏，包括：

分别逐元素计算所述第一特征图集合与所述第三特征图集合的余弦距离，得到一组相似度图；

将每张所述相似度图经过最近邻线性插值操作上采样到与所述异常图像相同的大小，逐元素相加得到对应的异常分数图；

采用二元交叉熵损失函数根据所述像素级标签约束各张所述异常分数图，以在所述教师网络和所述学生网络间进行可分辨的知识蒸馏。

本发明实施例的另一方面还提供了一种图像异常检测与定位的装置，包括：

异常图像获取单元，用于根据仅包括正常图像的训练数据生成带有异常区域的异常图像和像素级标签；

特征图集合获取单元，用于将所述异常图像输入到教师网络得到一组分辨率不同的特征图，作为第一特征图集合；将所述异常图像输入到学生网络得到一组分辨率不同的特征图，作为第二特征图集合；所述教师网络与所述学生网络采用不同类型的神经网络模型；

融合特征图获取单元，用于通过多尺度特征融合模块将所述第二特征图集合中的特征图进行融合，得到对应的一组融合特征图，作为第三特征图集合；

知识蒸馏单元，用于根据所述像素级标签、预设的可分辨蒸馏损失函数、所述第一特征图集合以及所述第三特征图集合，对所述异常图像中的正常区域和异常区域，在所述教师网络和所述学生网络间进行可分辨的知识蒸馏；

异常分析单元，用于通过所述教师网络和知识蒸馏后的所述学生网络对待识别图像中的异常区域进行检测和定位。

本发明实施例的另一方面还提供了一种电子设备，包括处理器以及存储器；

所述存储器用于存储程序；

所述处理器执行所述程序实现所述的一种图像异常检测与定位的方法。

本发明实施例的另一方面还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现所述的一种图像异常检测与定位的方法。

本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。

本发明利用知识蒸馏方法可以解决现有图像异常检测中的不足，提高了检测的准确率。本发明使用两个不同的类型的神经网络模型作为教师网络和学生网络，降低了现有知识蒸馏方法中无法区别的特征的影响，而且加入了带有异常区域的异常图像和像素级标签，使得学生网络和教师网络对正常区域和异常区域进行可分辨的知识蒸馏，进而学生网络不仅可以从教师网络中学习到提取正常区域的能力，同时又增加了学生网络区区分异常区域的能力。因此，本发明教师网络和经过知识蒸馏后的学生网络对待识别图像中的异常区域可以准确检测并识别定位。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种图像异常检测与定位的方法的流程示意图；

图2为本发明实施例提供的一种跨框架可分辨知识蒸馏方法的流程示意图；

图3为本发明实施例提供的一种多尺度特征融合模型融合特征的流程示意图；

图4为本发明实施例提供的一种图像异常检测与定位的装置的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图像异常检测的本质就是利用一些数学知识将图像中的信息以一种特殊的形式映射到高维空间，在高维空间中将正常特征和缺陷特征分割开来，做到这一步需要很多神经网络模型中很多参数都要达到特定的值，然后固定这些值，此时神经网络模型就具有分辨正常和异常特征的能力。在现有一些主流的图像异常检测方法中，基于知识蒸馏的异常检测方法显的尤为重要，因此，本发明设计了一种跨框架可分辨的知识蒸馏的图像异常检测与定位的方法，本发明可以解决用于异常检测的现有知识蒸馏方法的不足，提高了检测的准确率。

参照图1，本发明实施例提供了一种图像异常检测与定位的方法，具体包括以下步骤：

S100：根据仅包括正常图像的训练数据生成带有异常区域的异常图像和像素级标签。

具体的，异常生成器利用只有正常图像的训练数据集生成带有异常区域的异常图像和像素级的GT(Ground Truth)，这使得，训练数据集中不仅包括正常图像，也包括上述生成的异常图像。其中，训练数据集中可以包括多张仅包括正常区域的正常图像。

现有的用于图像异常检测的知识蒸馏方法，只用无异常区域的正常图像训练学生网络，目的是让学生网络只学习教师网络中正常图像的特征分布，但是这样会使得学生网络很难精确的识别正常特征和异常特征的边界。鉴于上述问题，本发明实施例相较于现有技术新加入了模拟的异常数据来训练学生网络，即上述的异常图像，让学生网络学习无异常图像和异常图像的联合表示。

因此，上述S100，根据仅包括正常图像的训练数据生成带有异常区域的异常图像和像素级标签的过程可以包括：

具体的，生成一张柏林噪声图，然后将柏林噪声图二值化，即根据预设的阈值得到一个二元噪声图，将该二元噪声图和一个与训练数据完全无关的纹理图片，示例如dtd纹理数据集，结合生成一个带有异常区域的异常图像和一张像素级的GT(Ground Truth)。

一种可选的实施方式下，本发明实施例可以根据柏林噪声的随机性和大量的纹理图片，模拟出大量的且各种各样的异常图像。

S110：将所述异常图像输入到教师网络得到一组分辨率不同的特征图，作为第一特征图集合；将所述异常图像输入到学生网络得到一组分辨率不同的特征图，作为第二特征图集合；所述教师网络与所述学生网络采用不同类型的神经网络模型。

现有的教师网络一般是用于图像异常检测的知识蒸馏方法利用一个大型数据集，示例如ImageNet数据集预训练后的神经网络模型，该教师网络可以具有非常强大的泛化能力，即它同时具有良好的提取正常和异常特征的能力。在只有正常数据的情况下让学生网络去学习教师网络提取图像特征的能力，因此，学生网络只能很好的提取正常特征。利用学生网络和教师网络不同的提取特征的能力定位确定异常区域。但是这些方法让教师网络和学生网络使用相同或者相似结构的网络，示例如ResNet18，由于提取特征的过程大致相同，教师和学生网络可能会存在相似的特征空间，当学生网络学习正常样本的特征分布的同时，有可能会学习到教师网络对异常特征的意外泛化能力，即学习到异常的特征分布，因此一些异常特征在教师网络和学生网络的特征空间中表现一致，导致学生网络无法区别这些特征，这与设计用于异常检测的知识蒸馏方法的初衷相矛盾。

因此，本发明实施例的教师网络和学生网络可以是不同类型不同框架的神经网络模型，其中，所述教师网络可以采用CNN，即卷积神经网络，所述学生网络可以采用Transformer网络。

本发明实施例设计了跨框架的知识蒸馏，用于抑制学生网络学习教师网络对异常特征的泛化能力，消除那些无法区别特征的影响，具体可以参照图2。具体的，本发明实施例可以使用基于Swin-Transformer的学生网络来代替现有技术中基于CNN的学生网络。由于Transoformer没有CNN中由权重共享的卷积核(或滤波器)和非线性激活函数(如ReLU)、池化等操作，而是由自注意力层和前馈全连接层组成，并且Transoformer网络可以很好的利用每一行数据之间的相关性，CNN和Transoformer两种不同框架的提取特征过程不同，会产生不同的数据流。据此可以在教师网络和学生网络知识传递过程中，降低学生网络受到无法区别特征干扰的可能性，即避免了学生网络学习到教师网络对异常特征的泛化能力。不同的框架之间蒸馏从本质上是建立了两个不同的特征空间，这也是不同的框架之间蒸馏可以带来性能提升的原因。

本发明实施例中采用的基于Swin-Transformer的学生网络和基于CNN的教师网络都可以包括多个阶段，每个阶段都会逐渐增大感受野，输出不同分辨率的特征图。其中，浅层特征可以包括一些低级语义信息，示例如：颜色、边缘或纹理等，深层的特征可以包括全局语义特征，更加抽象。因此，将上述步骤S100生成的异常图像同时输入到教师网络和学生网络中，分别得到两组特征图T＝{T

S120：通过多尺度特征融合模块将所述第二特征图集合中的特征图进行融合，得到对应的一组融合特征图，作为第三特征图集合。

现有的特征蒸馏模型都是在相同层次的特征上进行特征蒸馏。有研究表明利用教师网络的低层次特征来监督学生网络的深层次特征可以在知识蒸馏过程中充分利用教师的信息，即让学生网络的低层次特征结合一些高层次的特征一起接收教师网络低层次知识传递，会有利于学生网络更好的逼近教师网络的解空间。而现有的同层之间特征蒸馏方法，蒸馏损失函数作用在浅层，参与学习的参数较少。因此，现有的学生网络无法有效学习教师网络的浅层特征，需要更深的网络来学习教师网络的浅层特征，充分继承教师网络的知识。

具体的，由于本发明实施例中Transformer和CNN两个框架之间提取特征的过程不同，所以知识传递的难度要大于相同或者相似框架之间的知识传递。因此，本发明实施例设计了一个多尺度特征融合模块(Multi-Stage Fusion Module，简称MSF)，用于更好的进行不同框架之间的知识传递，让学生网络在知识蒸馏中可以充分利用教师网络的信息。

融合得到第三特征图集合的过程可以包括：

针对所述第二特征图集合中每个阶段的特征图作为目标图像，利用卷积块提取所述目标图像的卷积特征图，对所述卷积特征图进行通道注意力和空间注意力操作，得到卷积注意力图；利用残差块提取所述目标图像的残差特征图；根据所述卷积注意力图和所述残差特征图确定所述融合特征图。所有阶段的所述目标图像对应的所述融合特征图作为第三特征图集合。

具体的，在多尺度特征融合模块(MSF)中，本发明实施例可以使用卷积块注意力模块(Convolutional Block Atention Module，简称CBAM)更好地融合不同层的特征。如图3所示，步骤S110中学生网络根据异常图像输出一组特征图S＝{s

F

其中Res代表残差块，Con代表卷积块。cbam代表卷积块注意力模块。

具体的，上述根据所述卷积注意力图和所述残差特征图确定所述融合特征图的过程可以包括：

S1、将当前阶段的所述融合特征图与后续所有阶段的融合特征图进行融合，得到当期阶段的最终特征图。

具体的，由于MSF是动态模块，第i个阶段的MSF模块可以融合后面所有阶段的特征图。最后，生成输出融合特征图F

F

S2、将各个阶段对应的所述最终特征图作为新的所述第二特征图集合，执行所述通过多尺度特征融合模块将所述第二特征图集合中的特征图进行融合，得到对应的一组融合特征图，作为第三特征图集合的步骤。

具体的，本发明实施例还可以对学生网络最后一层的特征图单独做CBAM操作。经过多尺度特征融合后得到一组融合后的特征图F＝{F

S130：根据所述像素级标签、预设的可分辨蒸馏损失函数、所述第一特征图集合以及所述第三特征图集合，对所述异常图像中的正常区域和异常区域，在所述教师网络和所述学生网络间进行可分辨的知识蒸馏。

本发明实施例在跨架构蒸馏模型使用不同类型的神经网络模型构建两个不同的特征空间，但是有些异常仍然可以在教师网络和学生网络的特征空间中被编码为相似的表示。因此，本发明实施例设计了可分辨蒸馏损失来指导学生网络对正常区域和异常区域进行可分辨的知识传递，让教师网络的正常特征分布和学生网络的正常特征分布之间的差异减小，教师网络的异常特征分布和学生网络的异常特征分布之间的差异增大。

具体的，本发明实施例使用可分辨蒸馏损失指导学生网络对正常区域和异常区域进行可分辨的知识蒸馏的过程可以包括：

S1、分别逐元素计算所述第一特征图集合与所述第三特征图集合的余弦距离，得到一组相似度图。

具体的，根据余弦距离分别逐元素的计算教师网络输出的特征图T＝{T

S2、将每张所述相似度图经过最近邻线性插值操作上采样到与所述异常图像相同的大小，逐元素相加得到对应的异常分数图。

具体的，将每一张相似度图M

S3、采用二元交叉熵损失函数根据所述像素级标签约束各张所述异常分数图，以在所述教师网络和所述学生网络间进行可分辨的知识蒸馏。

具体的，步骤S130的S1、S2和S3中用到的计算余弦距离的余弦相似度、最近邻线性插值和二元交叉熵损失函数共同组成所述预设的可分辨蒸馏损失函数，约束S

Loss＝-(GT·log(S

S140：通过所述教师网络和知识蒸馏后的所述学生网络对待识别图像中的异常区域进行检测和定位。

具体的，经过知识蒸馏的学生网络不仅能学习到和教师网络一致的提取正常特征的能力，同时又能学到和教师网络不一致的提取异常特征的能力，因此，通过计算教师网络和经过知识蒸馏后的学生网络对特征的一致性可以精准对待识别图像中的异常区域，并根据异常区域表现不一致进行检测和定位。

接下来将以具体实例说明本发明的应用过程。

具体的，在图像异常识别阶段，本发明实施例可以去掉异常区域模拟这个步骤，即上述步骤S100，和交叉熵损失函数，其余和知识蒸馏的训练阶段一样，同时输入测试图像到教师网络和学生网络，利用两个网络输出的特征图计算异常分数图。当图像中带有异常时，教师网络和学生网络在正常区域表现的一致，异常分数很小，教师网络和学生网络在异常区域表现的不一致，异常分数很大，由此来获取异常区域的位置。然后选择异常分数图中最大的值作为整张图像的异常分数，通过预先设定的阈值判定该测试图像是否含有异常区域。

参照图4，本发明实施例提供了一种图像异常检测与定位的装置，包括：

异常图像获取单元，用于根据仅包括正常图像的训练数据生成带有异常区域的异常图像和像素级标签；

特征图集合获取单元，用于将所述异常图像输入到教师网络得到一组分辨率不同的特征图，作为第一特征图集合；将所述异常图像输入到学生网络得到一组分辨率不同的特征图，作为第二特征图集合；所述教师网络与所述学生网络采用不同类型的神经网络模型；

融合特征图获取单元，用于通过多尺度特征融合模块将所述第二特征图集合中的特征图进行融合，得到对应的一组融合特征图，作为第三特征图集合；

知识蒸馏单元，用于根据所述像素级标签、预设的可分辨蒸馏损失函数、所述第一特征图集合以及所述第三特征图集合，对所述异常图像中的正常区域和异常区域，在所述教师网络和所述学生网络间进行可分辨的知识蒸馏；

异常分析单元，用于通过所述教师网络和知识蒸馏后的所述学生网络对待识别图像中的异常区域进行检测和定位。

本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。

在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。

此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)、便携式计算机盘盒(磁装置)、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编辑只读存储器(EPROM或闪速存储器)、光纤装置以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本发明权利要求所限定的范围内。