缺陷图像判别方法、装置、设备及存储介质

技术领域

本申请涉及人工智能技术领域，尤其涉及一种缺陷图像判别方法、装置、设备及存储介质。

背景技术

传统的工业缺陷图像判别往往采用人工目视方法，存在劳动强度大、检测稳定性及一致性差、自动化程度低、效率低、成本高等缺点。

工业缺陷图像分类的关键挑战是准确捕捉异常区域。然而，在大多数情况下，正常无缺陷图像以及缺陷图像的大部分面积都是不包含缺陷的正常表面，而这些正常区域有可能会对分类结果(分类为有缺陷图像和无缺陷图像)产生影响。由于这种数据偏差，传统的基于深度学习的模型可能无法关注异常区域，从而导致无法准确判断待检测图像是否为缺陷图像。

发明内容

针对上述技术问题，本申请的目的在于提供一种缺陷图像判别方法、装置、设备及存储介质，旨在自动地、准确判断待检测图像是否为缺陷图像。

第一方面，本申请实施例提供一种缺陷图像判别方法，包括：

获取待检测图像；

提取所述待检测图像的特征；

根据所述待检测图像的特征和预先提取到的N张无缺陷图像的特征确定两者之间的共同特征；其中，N为正整数；

根据所述待检测图像的特征和所述共同特征计算异常特征；

基于所述异常特征和所述待检测图像的特征判断所述待检测图像是否为缺陷图像，得到判断结果。

进一步的，所述根据所述待检测图像的特征和预先获取到的N张无缺陷图像的特征确定两者之间的共同特征，包括：

重复将所述待检测图像的特征和所述N张无缺陷图像的特征输入注意力机制模型进行计算n次，得到n次结果，将所述n次结果作为第一特征；其中，n为正整数；

将所述第一特征和所述待检测图像的特征进行拼接，得到第二特征；

将两个所述第二特征输入所述注意力机制模型进行计算，得到第三特征；

对所述第三特征进行平均池化，得到所述共同特征。

进一步的，所述注意力机制模型为：

其中，x和y为输入的特征，d表示特征y的维度，T表示转置，M表示注意力机制模型的可学习参数矩阵，M

进一步的，所述根据所述待检测图像的特征和所述共同特征计算异常特征，包括：

根据公式

进一步的，所述基于所述异常特征和所述待检测图像的特征判断所述待检测图像是否为缺陷图像，得到判断结果，包括：

将所述异常特征和所述待检测图像的特征拼接后输入MLP网络，通过所述MLP网络判断所述待检测图像是否为缺陷图像，得到判断结果。

进一步的，所述提取所述待检测图像的特征，包括：

将所述待检测图像输入ViT网络进行特征提取，并将提取到的特征进行平均池化后，得到所述待检测图像的特征。

第二方面，本申请实施例提供一种缺陷图像判别装置，包括：

获取模块，用于获取待检测图像；

特征提取模块，用于提取所述待检测图像的特征；

共同特征确定模块，用于根据所述待检测图像的特征和预先提取到的N张无缺陷图像的特征确定两者之间的共同特征；其中，N为正整数；

异常特征计算模块，用于根据所述待检测图像的特征和所述共同特征计算异常特征；

判断模块，用于基于所述异常特征和所述待检测图像的特征判断所述待检测图像是否为缺陷图像，得到判断结果。

进一步的，所述共同特征确定模块，包括：

重复单元，用于重复将所述待检测图像的特征和所述N张无缺陷图像的特征输入注意力机制模型进行计算n次，得到n次结果，将所述n次结果作为第一特征；其中，n为正整数；

拼接单元，用于将所述第一特征和所述待检测图像的特征进行拼接，得到第二特征；

计算单元，用于将两个所述第二特征输入所述注意力机制模型进行计算，得到第三特征；

平均池化单元，用于对所述第三特征进行平均池化，得到所述共同特征。

第三方面，本申请实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。

第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。

本申请实施例提供的一种缺陷图像判别方法，包括获取待检测图像；提取所述待检测图像的特征；根据所述待检测图像的特征和预先提取到的N张无缺陷图像的特征确定两者之间的共同特征；根据所述待检测图像的特征和所述共同特征计算异常特征；基于所述异常特征和所述待检测图像的特征判断所述待检测图像是否为缺陷图像，得到判断结果。由于本申请实施例判断图像是否为缺陷图像时不仅考虑了待检测图像本身的特征，还考虑了待检测图像和正常图像之间的差异特征，即异常特征，因此，判别结果更加准确。此外，相比于通过人工目测图像是否为缺陷图像的方法，本申请实施例能够自动完成缺陷图像的判别，具有自动化程度高、检测稳定性及一致性好、效率高以及成本低等优点。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的缺陷图像判别方法的流程示意图；

图2是本申请实施例提供的得到共同特征的流程示意图；

图3是本申请实施例提供的一种缺陷图像判别装置的结构示意图；

图4是本申请实施例提供的共同特征确定模块的结构示意图；

图5是本申请实施例提供的计算机设备的结构示意框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例一：

请参阅图1，本申请实施例提供一种缺陷图像判别方法，包括步骤S1-：

S1、获取待检测图像；

S2、提取所述待检测图像的特征；

S3、根据所述待检测图像的特征和预先提取到的N张无缺陷图像的特征确定两者之间的共同特征；其中，N为正整数；

S4、根据所述待检测图像的特征和所述共同特征计算异常特征；

S5、基于所述异常特征和所述待检测图像的特征判断所述待检测图像是否为缺陷图像，得到判断结果。

如上述步骤S1，所述待检测的图像为工业图像。

如上述步骤S2，将待检测的图像输入ViT(Vision Transforner，视觉转换器)进行特征提取，将ViT提取到的特征通过平均池化后，可得到该图像的特征，该特征为该图像的全局特征。所述N根据实际情况设定，例如，3000张图像。

如上述步骤S3，所述N张无缺陷图像的特征，具体的，为N张无缺陷图像的全局特征，在缺陷图像判别模型训练过程中确定。所述共同特征表示待检测图像和无缺陷图像共同信息，即正常非缺陷信息。

如上述步骤S4，需要说明的是，虽然异常特征对缺陷判断具有重要的作用，但是待检测图像本身的特征对缺陷判断也具有作用，因此，利用异常特征和待检测图像本身的特征判断待检测图像是否为缺陷图像，判断的结果更为准确。

本申请实施例提供的一种缺陷图像判别方法，包括获取待检测图像；提取所述待检测图像的特征；根据所述待检测图像的特征和预先提取到的N张无缺陷图像的特征确定两者之间的共同特征；根据所述待检测图像的特征和所述共同特征计算异常特征；基于所述异常特征和所述待检测图像的特征判断所述待检测图像是否为缺陷图像，得到判断结果。由于本申请实施例判断图像是否为缺陷图像时不仅考虑了待检测图像本身的特征，还考虑了待检测图像和正常图像之间的差异特征，即异常特征，因此，判别结果更加准确。此外，相比于通过人工目测图像是否为缺陷图像的方法，本申请实施例能够自动完成缺陷图像的判别，具有自动化程度高、检测稳定性及一致性好、效率高以及成本低等优点。

请参阅图2，在一个实施例中，所述根据所述待检测图像的特征和预先获取到的N张无缺陷图像的特征确定两者之间的共同特征，包括：

S21、重复将所述待检测图像的特征和所述N张无缺陷图像的特征输入注意力机制模型进行计算n次，得到n次结果，将所述n次结果作为第一特征；其中，n为正整数；

S22、将所述第一特征和所述待检测图像的特征进行拼接，得到第二特征；

S23、将两个所述第二特征输入所述注意力机制模型进行计算，得到第三特征；

S24、对所述第三特征进行平均池化，得到所述共同特征。

具体地，所述注意力机制模型为点积型注意力机制模型，点积型注意力机制模型为：

其中，x和y为输入的特征，d表示特征y的维度，T表示转置，M表示注意力机制模型的可学习参数矩阵，M

则，对于步骤S21，将所述待检测图像的特征记作

对于步骤S23，将第一特征记作P′，第一特征P′和待检测图像的特征

在一个实施例中，所述根据所述待检测图像的特征和所述共同特征计算异常特征，包括：

根据公式

本申请实施例通过首先计算共同特征，然后利用待检测图像的特征减去共同特征，间接得到异常特征，从而能够使得后续能够基于异常特征判断待检测图像是否为缺陷图像。

在一个实施例，所述基于所述异常特征和所述待检测图像的特征判断所述待检测图像是否为缺陷图像，得到判断结果，包括：

将所述异常特征和所述待检测图像的特征拼接后输入MLP网络，通过所述MLP网络判断所述待检测图像是否为缺陷图像，得到判断结果。

在本申请实施例中，通过将异常特征和所述待检测图像的特征拼接后输入MLP网络，让MLP网络根据异常特征和所述待检测图像的特征判断待检测图像是否为缺陷图，得到的判别结果更加准确。具体地，通过公式

在一个实施例中，所述提取所述待检测图像的特征，包括：

将所述待检测图像输入ViT网络进行特征提取，并将提取到的特征进行平均池化后，得到所述待检测图像的特征。

在本申请实施例中，应当理解的是，ViT(Vision Transforner)网络是一种用于解决图像分类的网络。本申请实施例通过利用ViT(Vision Transforner)网络进行特征提取，提取到的特征用于判别，判别的效果更好。

在一个实施例中，本申请实施例所述的N张无缺陷图像的特征是在训练过程中确定的，训练过程使用的损失函数为二分类的交叉熵损失函数，即Loss＝CE(y,y

实施例二：

请参阅图3，本申请实施例提供一种缺陷图像判别装置，包括：

获取模块1，用于获取待检测图像；

特征提取模块2，用于提取所述待检测图像的特征；

共同特征确定模块3，用于根据所述待检测图像的特征和预先提取到的N张无缺陷图像的特征确定两者之间的共同特征；其中，N为正整数；

异常特征计算模块4，用于根据所述待检测图像的特征和所述共同特征计算异常特征；

判断模块5，用于基于所述异常特征和所述待检测图像的特征判断所述待检测图像是否为缺陷图像，得到判断结果。

如上述获取模块1，所述待检测的图像为工业图像。

如上述特征提取模块2，将待检测的图像输入ViT(Vision Transforner)进行特征提取，将ViT提取到的特征通过平均池化后，可得到该图像的特征，该特征为该图像的全局特征。所述N根据实际情况设定，例如，3000张图像。

如上述共同特征确定模块3，所述N张无缺陷图像的特征，具体的，为N张无缺陷图像的全局特征，在缺陷图像判别模型训练过程中确定。所述共同特征表示待检测图像和无缺陷图像共同信息，即正常非缺陷信息。

如上述判断模块5，需要说明的是，虽然异常特征对缺陷判断具有重要的作用，但是待检测图像本身的特征对缺陷判断也具有作用，因此，利用异常特征和待检测图像本身的特征判断待检测图像是否为缺陷图像，判断的结果更为准确。

本申请实施例提供的一种缺陷图像判别装置，包括获取模块1，用于获取待检测图像；特征提取模块2，用于提取所述待检测图像的特征；共同特征确定模块3，用于根据所述待检测图像的特征和预先提取到的N张无缺陷图像的特征确定两者之间的共同特征；其中，N为正整数；异常特征计算模块4，用于根据所述待检测图像的特征和所述共同特征计算异常特征；判断模块5，用于基于所述异常特征和所述待检测图像的特征判断所述待检测图像是否为缺陷图像，得到判断结果。由于本申请实施例判断图像是否为缺陷图像时不仅考虑了待检测图像本身的特征，还考虑了待检测图像和正常图像之间的差异特征，即异常特征，因此，判别结果更加准确。

此外，相比于通过人工目测图像是否为缺陷图像的方法，本申请实施例能够自动完成缺陷图像的判别，具有自动化程度高、检测稳定性及一致性好、效率高以及成本低等优点。

请参阅图4，在一个实施例中，所述共同特征确定模块3，包括：

重复单元31，用于重复将所述待检测图像的特征和所述N张无缺陷图像的特征输入注意力机制模型进行计算n次，得到n次结果，将所述n次结果作为第一特征；其中，n为正整数；

拼接单元32，用于将所述第一特征和所述待检测图像的特征进行拼接，得到第二特征；

计算单元33，用于将两个所述第二特征输入所述注意力机制模型进行计算，得到第三特征；

平均池化单元34，用于对所述第三特征进行平均池化，得到所述共同特征。

具体地，所述注意力机制模型为点积型注意力机制模型，点积型注意力机制模型为：

其中，x和y为输入的特征，d表示特征y的维度，T表示转置，M表示注意力机制模型的可学习参数矩阵，M

则，对于重复单元31，将所述待检测图像的特征记作

对于计算单元33和平均池化单元34，将第一特征记作P′，第一特征P′和待检测图像的特征

在一个实施例中，所述异常特征计算模块4具体用于：

根据公式

本申请实施例通过首先计算共同特征，然后利用待检测图像的特征减去共同特征，间接得到异常特征，从而能够使得后续能够基于异常特征判断待检测图像是否为缺陷图像。

在一个实施例，所述判断模块，具体用于：

将所述异常特征和所述待检测图像的特征拼接后输入MLP网络，通过所述MLP网络判断所述待检测图像是否为缺陷图像，得到判断结果。

在本申请实施例中，通过将异常特征和所述待检测图像的特征拼接后输入MLP网络，让MLP网络根据异常特征和所述待检测图像的特征判断待检测图像是否为缺陷图，得到的判别结果更加准确。

在一个实施例中，所述特征提取模块2，具体用于：

将所述待检测图像输入ViT网络进行特征提取，并将提取到的特征进行平均池化后，得到所述待检测图像的特征。

实施例三：

参照图5，本申请实施例还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、神经网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于储存适用于一种缺陷图像判别方法等数据。该计算机设备的神经网络接口用于与外部的终端通过神经网络连接通信。该计算机程序被处理器执行时以实现一种缺陷图像判别方法，包括：获取待检测图像；提取所述待检测图像的特征；根据所述待检测图像的特征和预先提取到的N张无缺陷图像的特征确定两者之间的共同特征；根据所述待检测图像的特征和所述共同特征计算异常特征；基于所述异常特征和所述待检测图像的特征判断所述待检测图像是否为缺陷图像，得到判断结果。

由于本申请实施例判断图像是否为缺陷图像时不仅考虑了待检测图像本身的特征，还考虑了待检测图像和正常图像之间的差异特征，即异常特征，

因此，判别结果更加准确。此外，相比于通过人工目测图像是否为缺陷图像的方法，本申请实施例能够自动完成缺陷图像的判别，具有自动化程度高、检测稳定性及一致性好、效率高以及成本低等优点。

实施例四：

本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种缺陷图像判别方法，包括步骤：获取待检测图像；提取所述待检测图像的特征；根据所述待检测图像的特征和预先提取到的N张无缺陷图像的特征确定两者之间的共同特征；根据所述待检测图像的特征和所述共同特征计算异常特征；基于所述异常特征和所述待检测图像的特征判断所述待检测图像是否为缺陷图像，得到判断结果。

由于本申请实施例判断图像是否为缺陷图像时不仅考虑了待检测图像本身的特征，还考虑了待检测图像和正常图像之间的差异特征，即异常特征，

因此，判别结果更加准确。此外，相比于通过人工目测图像是否为缺陷图像的方法，本申请实施例能够自动完成缺陷图像的判别，具有自动化程度高、检测稳定性及一致性好、效率高以及成本低等优点。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROn)、可编程ROn(PROn)、电可编程ROn(EPROn)、电可擦除可编程ROn(EEPROn)或闪存。易失性存储器可包括随机存取存储器(RAn)或者外部高速缓冲存储器。作为说明而非局限，RAn以多种形式可得，诸如静态RAn(SRAn)、动态RAn(DRAn)、同步DRAn(SDRAn)、双速据率SDRAn(SSRSDRAn)、增强型SDRAn(ESDRAn)、同步链路(Synchl ink)DRAn(SLDRAn)、存储器总线(Ranbus)直接RAn(RDRAn)、直接存储器总线动态RAn(DRDRAn)、以及存储器总线动态RAn(RDRAn)等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。