掌桥专利:专业的专利平台
掌桥专利
首页

用于制造异常检测的设备和方法

文献发布时间:2024-04-18 19:58:21


用于制造异常检测的设备和方法

技术领域

本公开涉及一种用于制造异常检测的设备和方法。

背景技术

用于异常检查或检测的设备可检查制造工业中的制造制品的图像(下文中,称为“制造图像”)是否包括异常,例如,用于质量控制或异常校正。用于异常检查/检测的典型设备可采用典型的图像处理,例如,根据图像处理算法。

可选地,如果使用深度学习技术(诸如通过卷积神经网络(CNN))执行异常检查/检测,则会需要或期望大量的训练数据和标签以用于训练CNN,但是适当数据和标签的示例可用性会受限。

(现有技术文献)

(专利文献1)第2020-139905号日本专利公开(2019.04.03)

(专利文献2)第10-2020-0135730号韩国专利公开(2019.05.22)

(专利文献3)第10-2021-0050186号韩国专利公开(2019.10.28)

发明内容

技术问题

提供本公开的一方面以便以简化的形式介绍选择的构思,下面在具体实施方式中进一步描述所述构思。本发明内容既不旨在确定所要求保护的主题的关键特征或必要特征,也不旨在用于帮助确定所要求保护的主题的范围。

技术问题的解决方案

在一个总体方面,一种设备包括:图像生成器,被配置为使用预定良好制品的多条图像数据来学习第一异常检测模型,并且将所学习的所述第一异常检测模型应用于第一图像数据以生成第二图像数据;第一逻辑运算器,被配置为对所述第一图像数据和所述第二图像数据执行第一逻辑运算,并且输出与所述第一图像数据和所述第二图像数据之间的图像差异相对应的第三图像数据;特征提取器,被配置为使用所述预定良好制品的所述多条图像数据学习第二异常检测模型,并且将所学习的所述第二异常检测模型应用于所述第一图像数据和所述第二图像数据,以生成具有所述第一图像数据和所述第二图像数据之间的特征信息的图像掩模数据;以及第二逻辑运算器,被配置为对所述第三图像数据和所述图像掩模数据执行第二逻辑运算,以生成具有异常指示信息的第四图像数据。

所述第一异常检测模型的学习可包括基于所述预定良好制品执行压缩-恢复学习。

所学习的所述第一异常检测模型可被配置为:当所述第一图像数据对应于有缺陷制品的数据时,对所述有缺陷制品的数据执行压缩-恢复,以生成与多个预定良好制品中的一个相对应的所述第二图像数据。

针对所述第一逻辑运算,所述第一逻辑运算器可包括减法逻辑运算单元,所述减法逻辑运算单元被配置为将所述第一图像数据和所述第二图像数据相减。

所述第一逻辑运算器可被配置为执行学习结构相似性(SSIM)自编码器算法的处理。

所述特征提取器可被配置为:提取所述第一图像数据和所述第二图像数据之间的特征向量信息,并且基于所述特征向量信息生成具有所述特征信息的所述图像掩模数据。

所述第二异常检测模型的学习可包括学习反向嵌入算法,所述反向嵌入算法针对多个相应的区块单元中的每个将输入到所述第一异常检测模型的图像信息与所述预定良好制品的由所述第一异常检测模型输出的图像信息进行比较,并且针对所述多个相应的区块单元中的每个,基于所述比较的结果对无缺陷制品和有缺陷制品进行分类。

所述特征提取器可被配置为:针对所述第一图像数据的相应区块单元,使用所学习的所述第二异常检测模型来从所述第一图像数据中提取特征向量信息,并且基于所提取的所述特征向量信息,针对所述相应区块单元中的每个,生成具有在无缺陷制品信息和有缺陷制品信息之间选择的一个的所述图像掩模数据。

所述第二逻辑运算器可包括乘法逻辑运算单元,所述乘法逻辑运算单元被配置为将所述第三图像数据与所述图像掩模数据相乘。

在一个总体方面,一种设备包括处理器,所述处理器被配置为:使用学习的第一异常检测模型重构输入图像数据的无缺陷制品图像数据,其中,所述学习的第一异常检测模型包括结构相似性(SSIM)-自编码器;使用基于反向嵌入算法的学习的第二异常检测模型来生成具有所述输入图像数据和所述重构的无缺陷制品图像数据之间的特征信息的图像掩模数据;以及基于所述SSIM自编码器的结果和所生成的所述图像掩模数据来生成缺陷指示信息。

在一个总体方面,一种处理器实现的方法包括:通过将学习的第一异常检测模型应用于第一图像数据来生成第二图像数据;通过对所述第一图像数据和所述第二图像数据执行第一逻辑运算来生成与所述第一图像数据和所述第二图像数据之间的图像差异相对应的第三图像数据;通过将学习的第二异常检测模型应用于所述第一图像数据和所述第二图像数据,生成具有所述第一图像数据和所述第二图像数据之间的特征信息的图像掩模数据;以及通过对所述第三图像数据和所生成的所述图像掩模数据执行第二逻辑运算来生成具有异常指示信息的第四图像数据。

所述方法还可包括:使用预定良好制品的多条图像数据来学习所述第一异常检测模型;以及使用所述预定良好制品的所述多条图像数据来学习所述第二异常检测模型。

所述第一异常检测模型的学习可包括基于所述预定良好制品执行压缩-恢复学习。

所述第一异常检测模型的学习可包括学习结构相似性(SSIM)自编码器算法,并且所述第三图像数据的生成可包括实现所学习的SSIM自编码器算法。

所述第二异常检测模型的学习可包括学习反向嵌入算法,所述反向嵌入算法针对多个相应的区块单元中的每个将输入到所述第一异常检测模型的图像信息与所述预定良好制品的由所述第一异常检测模型输出的图像信息进行比较,并且针对所述多个相应的区块单元中的每个基于所述比较的结果对无缺陷制品和有缺陷制品进行分类。

所述图像掩模数据的生成可包括:针对所述第一图像数据的相应区块单元,从所述第一图像数据中提取所述特征向量信息,并且基于所提取的所述特征向量信息,针对所述相应区块单元中的每个,生成具有在无缺陷制品信息和有缺陷制品信息之间选择的一个的所述图像掩模数据。

当所述第一图像数据对应于有缺陷制品的数据时,所学习的所述第一异常检测模型可对所述有缺陷制品的数据执行压缩-恢复,以生成与多个预定良好制品中的一个相对应的所述第二图像数据。

对所述第一图像数据和所述第二图像数据执行所述第一逻辑运算可包括将所述第一图像数据和所述第二图像数据相减。

所述图像掩模数据的生成可包括提取所述第一图像数据和所述第二图像数据之间的所述特征向量信息,并且基于所提取的所述特征向量信息生成所述图像掩模数据。

所述第二逻辑运算的执行可包括将所述第三图像数据与所述图像掩模数据相乘。

根据以下具体实施方式、附图和权利要求,其他特征和方面将是易于理解的。

发明的有益效果

根据一个或更多个实施例,关于原始图像和由诸如自编码器等的图像生成器恢复的图像,对于制造过程中的制造图像,可通过对每个区块单元进行反向嵌入算法学习来执行特征向量的对比度学习,以减少相同位置处的特征向量之间的差异并增加不同位置处的特征向量之间的差异,从而快速检测制造图像的缺陷。

另外,在一个或更多个实施例中,可仅对良好制品进行学习,因此,可以及时地进行制品的生产。在一些情况下,可能期望测量有缺陷制品的尺寸。在示例中,为了利用深度学习来解决上述问题,可使用分割方法。例如,当自动生成的分割掩码被用作分割学习标签时,会存在显著减少构成用于分割的数据的时间段的效果。

附图说明

图1是示出根据一个或更多个实施例的用于异常检测的设备的示图。

图2是示出根据一个或更多个实施例的图1的示例图像数据的示图。

图3是示出根据一个或更多个实施例的异常检测模型的示例操作的示图。

图4是示出根据一个或更多个实施例的使用反向嵌入方法的用于异常检测的设备的异常检测模型的示例学习操作的示图。

图5是示出根据一个或更多个实施例的示例异常检测结果的示图。

图6是示出根据一个或更多个实施例的针对示例电容器组件的异常检测的示例结果的示图。

图7是示出根据一个或更多个实施例的针对示例相机模块组件的异常检测的示例结果的示图。

图8是示出根据一个或更多个实施例的用于异常检测的示例方法的示图。

在整个附图和具体实施方式中,除非另有描述或设置,否则相同的附图标记将被理解为指代相同或相似的要素、特征和结构。附图可能不按比例绘制,并且为了清楚、说明和方便起见,附图中的要素的相对尺寸、比例和描绘可能被夸大。

具体实施方式

提供以下具体实施方式以帮助读者获得对在此描述的方法、设备和/或系统的全面理解。然而,在理解本申请的公开内容之后,在此描述的方法、设备和/或系统的各种改变、变型及等同方案将是易于理解的。例如,在此描述的操作的顺序仅仅是示例,并且不限于在此阐述的顺序,而是除了必须按照特定顺序发生的操作之外,可做出在理解本申请的公开内容之后将易于理解的改变。此外,为了提高清楚性和简洁性,可省略在理解本申请的公开内容之后已知的特征的描述。

在此描述的特征可以以不同的形式实施,并且将不被解释为局限于在此描述的示例。更确切地说,已经提供在此描述的示例,仅仅是为了示出在理解本申请的公开内容之后将易于理解的实现在此描述的方法、设备和/或系统的许多可行方式中的一些可行方式。

在此使用的术语仅用于描述各种示例且不用于限制本公开。除非上下文另外清楚地指出,否则单数形式也意在包括复数形式。术语“包括”、“包含”和“具有”列举存在所陈述的特征、数量、操作、构件、元件和/或它们的组合,但不排除存在或添加一个或更多个其他特征、数量、操作、构件、元件和/或它们的组合。

在整个说明书中,当组件被描述为“连接到”另一组件或“结合到”另一组件时,该组件可直接“连接到”另一组件或直接“结合到”另一组件,或者可存在介于它们之间的一个或更多个其他组件。相比之下,当要素被描述为“直接连接到”另一要素或“直接结合到”另一要素时,可不存在介于它们之间的其他要素。如在此使用的,术语“和/或”包括相关所列项中的任何一项和任何两项或更多项的任何组合。

尽管可在此使用诸如“第一”、“第二”和“第三”的术语来描述各种构件、组件、区域、层或部分,但是这些构件、组件、区域、层或部分将不受这些术语限制。更确切地说,这些术语仅用来将一个构件、组件、区域、层或部分与另一构件、组件、区域、层或部分区分开。因此,在不脱离示例的教导的情况下,在此描述的示例中所称的第一构件、第一组件、第一区域、第一层或第一部分也可被称为第二构件、第二组件、第二区域、第二层或第二部分。

除非另有定义,否则在此使用的所有术语(包括技术术语和科学术语)具有与本公开所属领域的普通技术人员基于对本申请的公开内容的理解通常理解的含义相同的含义。术语(诸如在常用词典中定义的术语)应被解释为具有与其在相关领域和本申请的公开内容的上下文中的含义一致的含义,并且除非在此明确地如此定义,否则不应以理想化或过度正式的意义解释。在此关于示例或实施例的术语“可”的使用(例如,关于示例或实施例可包括或实现什么)意味着存在包括或实现这样的特征的至少一个示例或实施例,而并不限于所有示例包括或实现这样的特征。

如上所述,如果使用深度学习技术(诸如通过使用典型的卷积神经网络(CNN))执行异常检查/检测(下文中称为“异常检测”),则在此发现适当数据和标签的可用性会受限。例如,适当的有缺陷数据和标签在可能需要异常检测的制造场所(诸如可能需要或期望快速改变的制造场所)中可能非常受限。

例如,通常,可收集相对大量的数据以用于训练这种CNN。例如,如果使用这种CNN执行异常检测,则可从良好制品的数据和有缺陷制品的数据平衡的状态收集这种训练数据。然而,考虑到这种基于示例CNN的异常检测方法,可能存在的缺点是,这样收集数据会花费长时间(例如,两(2)周到一(1)个月或更长时间),尤其在缺陷具有极低发生频率的情况下。

由于应用于异常检测的典型深度学习方法会非常依赖于数据,因此即使可选地应用基于社交网络服务(SNS)数据或将要研究的一般图像的算法并考虑无监督学习,在此发现其性能也可能降低,特别是考虑到基于有缺陷数据的收集和学习的困难。一些方法可在用于收集不正确数据的典型无监督学习算法中实现。然而,在将这种无监督学习应用于异常检测的情形中,如果将无监督学习应用于数据收集,则仍然可主要基于良好制品(例如,基于用于进行学习的足够良好的制品)来学习。

因此,尽管无监督学习通常可具有以下优点:可大大缩短数据收集周期,并且可不需要用于数据标签的操作,但是可能存在这样的问题:这种典型的无监督学习方法可能不适用于具有大量类型和数量的良好制品的数据,诸如在异常检测的情形中,因为异常检测学习也可能期望基于有缺陷的制品。

通常,在一般无监督学习的情形中,自编码器结构可具有可有效地压缩数据的深度学习结构,并且可以是在无监督学习中广泛使用的结构。例如,在将这种无监督学习应用于异常检测的情形中,利用具有CNN结构的自编码器,可学习图像的数据分布。例如,当可学习良好制品的数据时,可将有缺陷制品的数据通过自编码器结构传递,并且可将有缺陷制品的数据恢复为良好制品的数据。因此,与原始图像的图像差异可用于检测异常。

然而,在这个将这种无监督学习应用于异常检测的示例中,自编码器可能具有瓶颈结构,因此,当恢复数据时,在高频区域中可能存在模糊问题,这可能使得难以区分细微缺陷区域和高频正常区域,因此,期望的异常检测的性能可能劣化。

作为另一示例,可采用使用生成对抗网络(GAN)或使用变分自编码器(VAE)而不是自编码器结构的异常检测方法。然而,在GAN中,可能存在以下缺点:随机向量可能在预期时被期望进行微调,并且在VAE中,可能存在以下问题:诸如在自编码器示例的操作中恢复图像的质量可能劣化。

因此,当在制造场所中应用异常检测时,可能期望可解决由于示例自编码器的瓶颈引起的潜在的数据丢失问题。这也可能有利于异常检测适用于各种各样的良好制品。

图1是示出根据一个或更多个实施例的用于异常检测的设备的示图,并且图2是示出根据一个或更多个实施例的图1的示例图像数据的示图。

参照图1和图2,用于异常检测的设备10可包括例如图像生成器100、第一逻辑运算器200、特征提取器300和第二逻辑运算器400。设备10以及图2至图4中描述的设备各自表示一个或更多个处理器以及一个或更多个非暂时性存储器,其中学习和/或推断操作分别由硬件实现或者由硬件和软件的组合实现,诸如通过存储在一个或更多个存储器中的指令实现,当由一个或更多个处理器中的至少一个执行时,指令配置一个或更多个处理器中的至少一个或任何组合以实现在此描述的操作或方法任何一个、任何组合或全部。作为另一非限制性示例,图像生成器100、第一逻辑运算器200、特征提取器300和第二逻辑运算器400中的任何一个分别表示这样的一个或更多个处理器,并且可表示这样的一个或更多个非暂时性存储器,一个或更多个非暂时性存储器可进一步存储用于这样的相应学习和/或推理操作的这样的相应指令。

图像生成器100可使用良好制品的多条图像数据作为学习目标来学习(即,训练)第一异常检测模型。图像生成器100可将所学习的第一异常检测模型应用于作为检查对象的第一图像数据VD1,以生成第二图像数据VD2。

第一逻辑运算器200可被配置为对与原始图像相对应的第一图像数据VD1和作为由图像生成器100恢复的图像的第二图像数据VD2执行第一逻辑运算,并且可输出与第一图像数据VD1和第二图像数据VD2之间的图像差异相对应的第三图像数据。作为非限制性示例,第一逻辑运算器200可以是第一逻辑运算单元。

特征提取器300可使用良好制品的多条图像数据作为学习目标来学习(即,训练)第二异常检测模型。良好制品的这些多条图像数据可以是与在第一异常检测模型的学习中作为学习目标使用的良好制品的多条图像数据相同的良好制品的多条图像数据,或者可以是不同的良好制品的多条图像数据。特征提取器300可将所学习的第二异常检测模型应用于作为检查对象的第一图像数据VD1和第二图像数据VD2,以输出具有第一图像数据VD1和第二图像数据VD2之间的特征信息的图像掩模数据VMD。

例如,可在第二异常检测模型中使用反向嵌入方法,其中,可学习针对每个区块单元的作为学习目标的良好制品的第一图像数据和第二图像数据的比较,因此,可对关于针对每个区块单元的第一图像数据(学习目标)的良好制品和有缺陷制品进行分类。

例如,第二异常检测模型可实现反向嵌入学习方法,这将在下面参照例如图4和式2更详细地描述。

在示例中,可通过组合特征提取器300的所学习的第二异常检测模型和图像生成器100的所学习的第一异常检测模型来导出组合模型。在另一示例中,可预先确定具有第一异常检测模型的图像生成器100,并且可将具有所学习的第二异常检测模型的特征提取器300与图像生成器100组合,将图像生成器100的结果与特征提取器300的结果进行比较,并且基于该比较的结果生成最终的异常检测结果。

因此,作为非限制性示例,一个或更多个实施例可使用两个这样的模型/网络(或者示例组合模型/网络)来执行异常检测,其中,异常检测的最终结果是基于两个这样的模型/网络的相应结果的。

图像生成器100可被配置为压缩并且然后恢复良好制品的第一图像数据VD1。在这种情况下,当有缺陷制品通过图像生成器100时,当执行恢复时,可生成与良好制品的数据类似的第二图像数据VD2。当通过实现的结构相似性(SSIM)算法获得两个图像数据VD1和VD2之间的差异时,可生成具有第一异常检测图的第三图像数据VD3。

特征提取器300可对作为学习目标的良好制品的图像数据执行反向嵌入学习方法,然后可比较作为检查对象的原始图像的第一图像数据VD1与由图像生成器100恢复的第二图像数据VD2之间的区块单元特征向量,以生成具有第二异常检测图的图像掩模数据VMD。

作为非限制性示例,特征提取器300可将每个区块N×32×32的第一图像数据VD1与每个区块N×32×32的第二图像数据VD2进行比较。在这种情况下,作为非限制性示例,N表示区块的数量,并且“32×32”表示具有三十二(32)个像素乘以三十二(32)个像素的图像的尺寸。

可对第三图像数据VD3和图像掩模数据VMD执行第二逻辑运算(例如,乘法),以生成具有最终异常检测图的第四图像数据VD4。例如,第四图像数据VD4可用于检测异常数据,并且还可用作分割掩模。因此,第四图像数据VD4可以是或包括指示异常的信息。

第二逻辑运算器400可被配置为对第三图像数据VD3和图像掩模数据VMD执行第二逻辑运算(例如,乘法),以生成具有异常信息的第四图像数据VD4。作为非限制性示例,第二逻辑运算器400可以是第二逻辑运算单元。

因此,在作为学习目标的良好制品已经由图像生成器100中的第一异常检测模型学习的情况下,可输入与检查过程中的有缺陷制品的数据相对应的第一图像数据,可执行恢复操作,并且可使用图像生成器100中的第一异常检测模型的结果来生成与良好制品的数据相对应的第二异常检测模型。

第一逻辑运算器200的第一逻辑运算可包括将第一图像数据VD1和第二图像数据VD2相减的减法逻辑运算。

作为非限制性示例,第一逻辑运算器200的第一逻辑运算可对应于学习结构相似性(SSIM)-自编码器算法的处理。

例如,作为非限制性示例,图像生成器100的学习可使用学习SSIM-自编码器算法和SSIM的处理,该处理使用下面在式1中呈现的损失函数。

[式1]

作为非限制性示例,在式1中,p和q是通过将第一图像数据VD1、原始图像和由自编码器恢复的第二图像数据VD2裁剪为而获得的图像数据,μ

如上所述,当通过自编码器学习良好制品的图像数据时,可学习良好制品的数据分布。因此,当有缺陷制品的图像数据通过自编码器时,有缺陷制品的图像数据可被恢复为与良好制品的数据相对应的图像数据。

图3是示出根据一个或更多个实施例的异常检测模型的示例操作的示图。

参照图3,将描述第一异常检测模型的操作处理。例如,第一异常检测模型可具有第一图像数据VD1的所学习的数据分布,并且可包括将输入图像恢复为良好制品的处理。

例如,当输入N×N尺寸的图像时,可将w×h尺寸的输入图像压缩成一维M大小的向量,然后可将压缩的向量恢复为具有w×h尺寸(即,压缩之前输入图像的原始尺寸)的图像。

在该处理中,VD1的数据中的重要元素可被压缩成M大小的向量。当未学习的数据(例如,有缺陷的图像)作为VD1被输入到第一异常检测模型时,可根据输入的VD1恢复先前学习的图像之一。

图4是示出根据一个或更多个实施例的使用反向嵌入方法的用于异常检测的设备的异常检测模型的示例学习操作的示图。

参照图4,特征提取器300可提取第一图像数据VD1和第二图像数据VD2之间的特征向量信息FVI,并且可基于特征向量信息FVI生成具有特征信息的图像掩模数据VMD。

例如,特征提取器300可针对每个区块单元学习将良好制品(学习目标)的第一图像数据VD1和第二图像数据VD2进行比较的反向嵌入算法,并且可针对每个区块单元对第一图像数据VD1上的良好制品和有缺陷制品进行分类。

因此,特征提取器300可应用所学习的反向嵌入算法,以针对每个区块单元从作为检查对象的第一图像数据中提取特征向量信息,并且可基于特征向量信息FVI针对每个区块单元输出具有良好制品信息和有缺陷制品信息的图像掩模数据VMD。

例如,作为非限制性示例,下面在式2中呈现了反向嵌入算法在学习中使用的损失函数。

[式2]

在式2中,z

参照图4,特征提取器300可包括例如裁剪操作器310、对比度学习器330和异常分数计算器350。

首先,裁剪操作器310可针对每个区块单元裁剪原始图像和由图像生成器100恢复的图像。

对比度学习器330可学习增加图像中的相同位置的余弦相似性,并且可学习降低图像中的不同位置的余弦相似性。在这种情况下,对比度学习器330还可包括投影器。例如,投影器可起到仅压缩由特征提取器提取的向量中的这种对应指示的重要元素的作用。

图像生成器100可渲染彼此一致的相同位置中的特征向量,并且可渲染彼此不同的不同位置中的特征向量,以清楚地生成取决于是否存在异常的差异。因此,作为非限制性示例,异常分数计算器350可使用上述内容来计算异常分数。

例如,在异常检测图M中,可通过将包括在由图像生成器100通过SSIM算法获得的第三图像数据中的第一异常检测图M

[式3]

M=M

AnomalyScore=max

例如,第二逻辑运算器400的第二逻辑运算可由被配置为将第三图像数据VD3和图像掩模数据VMD相乘的乘法逻辑运算单元执行。

另外,如上所述,参照图4和式2,例如,第二异常检测模型可对应于反向嵌入学习算法。例如,针对每个区块单元,可通过对与由图像生成器100恢复的图像相对应的第二图像数据VD2和与原始图像相对应的第一图像数据VD1执行反向嵌入学习来训练第二异常检测模型,以减少相同位置的特征向量之间的差异并增加不同位置的特征向量之间的差异。

图5是示出根据一个或更多个实施例的示例异常检测结果的示图。

参照图5,图5所示的表将根据一个或多个实施例的示例学习结果表示为检查准确度。

首先,在图1的设备10的示例实现中应用示例电容器(例如,MLCC)数据,例如,使得使用6880个良好制品的图像对电容器组件1进行学习,其中使用587个有缺陷制品的图像和830个良好制品的图像进行测试。在这种情况下,如图5所示,电容器组件1实现的检查准确度为97.1%。

接下来,在图1的设备10的示例实现中应用另一示例电容器(例如,MLCC)数据,例如,使得使用2201个良好制品的图像对电容器组件2进行学习,其中使用639个良好制品的图像和1013个有缺陷制品的图像进行测试。在这种情况下,如图5所示,电容器组件2实现的检查准确度为94.5%。

图6是示出根据一个或更多个实施例的针对电容器组件的异常检测的示例结果的示图,并且图7是示出根据一个或更多个实施例的针对相机模块组件的异常检测的示例结果的示图。

参照图6,针对电容器组件,检查具有六(6)个不同缺陷的情况C1至C6的原始图像(对应于第一图像数据VD1)。结果,在图6中可看出,原始图像中的缺陷被准确地显示在检查图像(对应于第四图像数据VD4)上。

参照图7,针对相机模块组件,检查具有四(4)个不同缺陷的情况C1至C4的原始图像(VD1)。结果,在图7中可看出,原始图像中的缺陷被准确地显示在检查图像(VD4)上。

简而言之,参照图1至图7进行的以上示例描述还阐述了用于异常检测的示例方法的对应操作。同样地,用于异常检测的示例方法的以上描述和以下描述可由以上关于图1至图7描述的设备和组件中的任何设备和组件及其任何组合来实现。因此,在下面关于图8的示例方法描述中,可省略重复的描述。

图8是示出根据一个或更多个实施例的用于异常检测的示例方法的示图。

在操作S100中,可使用良好制品的多条图像数据作为学习目标来学习第一异常检测模型,并且可将所学习的第一异常检测模型应用于作为检查对象的第一图像数据VD1,以生成第二图像数据VD2。作为非限制性示例,这可在上面论述的图像生成器100中执行。

在操作S200中,可对第一图像数据VD1和第二图像数据VD2执行第一逻辑运算,并且可输出与第一图像数据VD1和第二图像数据VD2之间的图像差异对应的第三图像数据VD3。作为非限制性示例,操作S200可由上面论述的第一逻辑运算器200执行。

在操作S300中,可使用良好制品的多条图像数据作为学习目标来学习第二异常检测模型,并且可将所学习的第二异常检测模型应用于作为检查对象的第一图像数据VD1和第二图像数据VD2,以输出具有第一图像数据VD1和第二图像数据VD2之间的特征信息的图像掩模数据VMD。作为非限制性示例,操作S300可由上面论述的特征提取器300执行。

在操作S400中,可对第三图像数据VD3和图像掩模数据VMD执行第二逻辑运算,以生成具有异常信息的第四图像数据VD4。作为非限制性示例,操作S400可由上面论述的第二逻辑运算器400执行。

所学习的第一异常检测模型可对良好制品执行压缩-恢复学习,并且当输入与有缺陷制品相对应的第一图像数据并且执行恢复操作时,可生成与良好制品对应的第二图像数据。

例如,操作S200的第一逻辑运算可包括将第一图像数据VD1和第二图像数据VD2相减的减法逻辑运算。

例如,操作S200的第一逻辑运算可对应于学习结构相似性(SSIM)-自编码器算法的处理。

在操作S300中,可提取第一图像数据VD1和第二图像数据VD2之间的特征向量信息FVI,并且可生成具有基于特征向量信息FVI的特征信息的图像掩模数据VMD。

在操作S300中,基于第一异常检测模型或在学习第一异常检测模型时,可针对每个区块单元学习将作为学习目标的良好制品的第一图像数据VD1和第二图像数据VD2进行比较的反向嵌入算法,并且可针对每个区块单元对第一图像数据VD1上的良好制品和有缺陷制品进行分类。

在操作S300中,可应用所学习的反向嵌入算法,以针对每个区块单元从作为检查对象的第一图像数据VD1提取特征向量信息FVI,并且基于特征向量信息FVI输出针对每个区块单元的具有良好制品信息和有缺陷制品信息的图像掩模数据VMD。

操作S400的第二逻辑运算可包括将第三图像数据VD3和图像掩模数据VMD相乘的乘法逻辑运算。

用于异常检测的设备(包括电子设备、图像生成器、逻辑运算器、特征提取器、裁剪操作器、对比度学习器、异常分数计算器、投影器和在此关于图1至图8描述的其他设备、装置、单元、模块和组件)由硬件组件实现。可用于执行本申请中描述的操作的硬件组件的示例在适当的情况下包括:控制器、传感器、生成器、驱动器、存储器、比较器、算术逻辑单元、加法器、减法器、乘法器、除法器、积分器以及被配置为执行本申请中描述的操作的任意其他电子组件。在其他示例中,通过计算硬件(例如,通过一个或更多个处理器或计算机)来实现执行本申请中描述的操作的硬件组件中的一个或更多个。可通过一个或更多个处理元件(诸如,逻辑门阵列、控制器和算术逻辑单元、数字信号处理器、微型计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器或者被配置为以定义的方式响应并且执行指令以获得期望的结果的任意其他装置或装置的组合)实现处理器或计算机。在一个示例中,处理器或计算机包括或者连接到存储通过处理器或计算机执行的指令或软件的一个或更多个存储器。通过处理器或计算机实现的硬件组件可执行诸如操作系统(OS)和在OS上运行的一个或更多个软件应用的指令或软件,以执行本申请中描述的操作。硬件组件还可响应于指令或软件的执行来访问、操作、处理、创建和存储数据。为简单起见,单数的术语“处理器”或“计算机”可用于描述在本申请中所描述的示例,但在其他示例中,可使用多个处理器或计算机,或者处理器或计算机可包括多个处理元件或多种类型的处理元件,或者包括这二者。例如,可通过单个处理器或者两个或更多个处理器或者处理器和控制器来实现单个硬件组件或者两个或更多个硬件组件。可通过一个或更多个处理器或者处理器和控制器来实现一个或更多个硬件组件,可通过一个或更多个其他处理器或者另一处理器和另一控制器来实现一个或更多个其他硬件组件。一个或更多个处理器或者处理器和控制器可实现单个硬件组件或者两个或更多个硬件组件。硬件组件可具有不同的处理配置中的任意一个或更多个,其示例包括单处理器、独立处理器、并行处理器、单指令单数据(SISD)多处理、单指令多数据(SIMD)多处理、多指令单数据(MISD)多处理和多指令多数据(MIMD)多处理。

执行本申请中描述的操作的图1至图8中所示的方法由如上所述实现的计算硬件(例如,由一个或更多个处理器或计算机)执行,所述计算硬件执行指令或软件,以执行本申请中描述的由所述方法执行的操作。例如,单个操作或者两个或更多个操作可由单个处理器、或者两个或更多个处理器、或者处理器和控制器来执行。一个或更多个操作可由一个或更多个处理器或者处理器和控制器来执行,并且一个或更多个其他操作可由一个或更多个其他处理器或者另一处理器和另一控制器来执行。一个或更多个处理器或者处理器和控制器可执行单个操作或者两个或更多个操作。

用于控制计算硬件(例如,一个或更多个处理器或计算机)以实现硬件组件并执行如上所述的方法的指令或软件可被编写为计算机程序、代码段、指令或它们的任意组合,以单独地或共同地指示或配置一个或更多个处理器或计算机操作为机器计算机或专用计算机,以执行由如上所述的硬件组件和方法执行的操作。在一个示例中,指令或软件包括由一个或更多个处理器或计算机直接执行的机器代码(诸如由编译器产生的机器代码)。在另一示例中,指令或软件包括由一个或更多个处理器或者计算机使用解释器执行的高级代码。可基于附图中示出的框图和流程图以及在此的相应的描述(公开了用于执行通过如上所述的硬件组件和方法执行的操作的算法)使用任意编程语言编写所述指令或软件。

用于控制计算硬件(例如,一个或更多个处理器或计算机)以实现硬件组件并执行如上所述的方法的指令或软件以及任意相关联的数据、数据文件和数据结构可被记录、存储或固定在一个或更多个非暂时性计算机可读存储介质中或上。非暂时性计算机可读存储介质的示例包括只读存储器(ROM)、、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储装置、硬盘驱动器(HDD)、固态驱动器(SSD)、闪存、诸如多媒体卡微型或卡(例如,安全数字(SD)或极限数字(XD))的卡型存储器、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及被配置为以非暂时性方式存储指令或软件以及任意相关联的数据、数据文件和数据结构并且将指令或软件以及任意相关联的数据、数据文件和数据结构提供给一个或更多个处理器或计算机以使一个或更多个处理器或计算机可执行指令的任意其他装置。在一个示例中,指令或软件以及任意相关联的数据、数据文件和数据结构分布在联网的计算机系统中,使得指令和软件以及任意相关联的数据、数据文件和数据结构由一个或更多个处理器或计算机以分布的方式被存储、访问和执行。

虽然本公开包括具体示例,但在理解本申请的公开内容之后将易于理解的是,在不脱离权利要求及其等同方案的精神及范围的情况下,可在这些示例中作出形式和细节上的各种改变。在此描述的示例将仅被理解为描述性意义,而非出于限制的目的。在每个示例中的特征或方面的描述将被认为可适用于其他示例中的类似的特征或方面。如果以不同的顺序执行描述的技术,和/或如果以不同的方式组合描述的系统、架构、装置或电路中的组件和/或通过其他组件或它们的等同组件替换或补充描述的系统、架构、装置或电路中的组件,则可获得合适的结果。因此,除了上述公开之外,本公开的范围还可由权利要求及其等同方案限定,并且在权利要求及其等同方案的范围内的全部变型将被解释为包括在本公开中。

[附图标记的说明]

100:图像生成器

200:第一运算单元

300:特征提取器

400:第二运算单元

VD1:第一图像数据

VD2:第二图像数据

VD3:第三图像数据

VMD:图像掩模数据

VD4:第四图像数据

相关技术
  • 用于在真空沉积工艺中在基板上进行材料沉积的设备、用于在基板上进行溅射沉积的系统和用于制造用于在基板上进行材料沉积的设备的方法
  • 用于参与地图异常检测和校正的方法和设备
  • 用于制造辊弯零件的成型模具、制造设备及制造方法
  • 用于压力罐的制造方法和制造设备
  • 用于吸收性物品的片状构件的制造方法和制造设备
  • 用于发动机控制设备的异常检测设备及用于发动机控制设备的异常检测方法
  • 用于发动机控制设备的异常检测设备及用于发动机控制设备的异常检测方法
技术分类

06120116480528