用视觉系统在图像中查找图案并对图案进行分类的系统和方法

技术领域

本发明涉及机器视觉系统和方法，更具体地，涉及图案搜索和识别工具。

背景技术

机器视觉系统，本文也称为“视觉系统”，用于在制造环境中执行各种任务。一般地，视觉系统由一个或多个带有图像传感器(或“成像器”)的相机组成，图像传感器获取包含制造中的对象的场景的灰度或彩色图像。可对对象的图像进行分析，以向用户和相关的制造过程提供数据/信息。图像产生的数据通常由一个或多个视觉系统处理器中的视觉系统进行分析和处理，该视觉系统处理器可以是专门构建的，或者是通用计算机(例如，PC、膝上型电脑、平板电脑或智能手机)中实例化的一个或多个软件应用程序的一部分。

普通视觉系统任务包括对准和检查。在对准任务中，视觉系统工具(例如从马萨诸塞州的康耐视公司购买的众所周知的

希望提高传统图案查找工具的性能，这些工具可包括预定的可搜索图案列表(例如圆形、正方形、螺旋图像等)。通常，此类工具可能无法正确区分某些具有细微差异(例如圆形与带有小凹口的圆形)的训练图案。

发明内容

本发明通过提供一种结合神经网络(也称为“神经网络(neural net)”)分类器(有时也称为“分析器”)的用于在图像中查找图案的系统和方法来克服现有技术的缺点。图案查找工具与分类器耦合，该分类器可在工具之前或之后运行，以获得具有亚像素精度的标记图案结果。在可检测多个模板的图案查找工具的情况下，当神经网络分类器通知图案查找工具只在最初训练的模板的子集上工作时，其性能得到改善。可替代地，当在运行图案查找工具之前使用神经网络来重建或清除图像时，可提高图案查找工具的性能。此外，神经网络可用于基于图像中每个像素属于待匹配图案的可能性来计算该像素的加权值。类似地，开始时图案查找工具检测图案，然后神经网络分类器可确定其是否查找到了正确的图案。

在说明性实施例中，用于在图像中查找图案的系统和方法包括图案查找工具，基于与包含感兴趣图案的一个或多个训练图像相关的一个或多个模板训练该图案查找工具。在一个或多个训练图像上训练神经网络分类器，并且在运行时间期间运行时间模板匹配处理，其中，(a)训练的神经网络分类器基于运行时间图像向图案查找工具提供一个或多个模板，并且训练的图案查找工具基于与运行时间图像组合的一个或多个模板图像执行图案匹配，或者(b)训练图案查找工具将从运行时间图像查找到的图案提供给训练的神经网络分类器，并且训练的神经网络分类器基于查找到的图案和运行时间图像执行图案匹配。图案查找工具适于使用多个模板或在单个模板上进行训练。神经网络包括卷积神经网络(CNN)。

在另一个实施例中，提供了一种用于在图像中查找图案的系统和方法，该系统和方法包括神经网络，该神经网络训练为在图像中定位一个或多个候选形状，并且布置为在运行时间操作期间识别图像中存在一个或多个形状的概率。神经网络由此生成(a)具有超过概率阈值的一个或多个候选形状的特征的加权掩模，和/或(b)重建的图像，其中，在重建的图像中替换一个或多个候选形状的模型的特征，其中，神经网络分析器识别超过概率阈值的一个或多个候选形状的特征的存在。说明性地，使用相对于一个或多个候选形状的一个或多个模型来训练图案查找工具，以在(a)加权掩模和/或(b)重建的图像中查找到一个或多个候选形状。神经网络可定义加权掩模，使得其中的每个像素具有与一个或多个形状的识别相关的分数。重建的图像可被定义为二值图像。说明性地，神经网络分析器向图案查找工具提供关于一个或多个候选形状的类型的存在的数据，并且图案查找工具将所述处理限制为与定位该类型相关的处理。通常，神经网络可包括卷积神经网络(CNN)。

附图说明

下面的发明描述参考附图，其中：

图1为视觉系统的示意图，该视觉系统布置为使用图案查找工具结合神经网络分类器来分析包含不同形状和/或图案的成像对象；

图2为示出智能图案查找工具的训练过程的框图，该智能图案查找工具包括在一个或多个图像模板的相同集合上训练的神经网络分类器和图案查找工具；

图3为使用图2的训练的智能图案查找工具对输入图像进行运行时间操作的框图，其中，神经网络分类器在图案查找工具之前运行；

图4为示出智能图案查找工具的训练过程的框图，该智能图案查找工具包括在单个模板的一个或多个图像上训练的神经网络分类器和图案查找工具；

图5为使用图4的训练的智能图案查找工具对输入图像进行运行时间操作的框图，其中，神经网络分类器在图案查找工具之后运行；

图6为示出了应用神经网络来初始搜索/确定图像中的候选形状，然后应用图案查找工具来细化搜索/确定的过程的概述的流程图；

图7为示出在图6的过程中神经网络的训练和运行时间操作的流程图；

图8为示出使用由图7的神经网络过程提供的图像结果的图案查找工具的运行时间操作的流程图；

图9为示出与图5的图案查找工具相关的加权掩模的创建的框图；

图10为示出根据图9处理示例性感兴趣形状和包含感兴趣形状和感兴趣形状模型的获取的图像数据以生成加权掩模的示意图；

图11为示出使用根据图5的神经网络来重建或清理获取的图像数据中的感兴趣形状的框图；以及

图12为示出处理包含感兴趣形状的示例性获取的图像数据以生成根据图11的该形状的重建的和/或清理后的版本(例如作为二值图像)的示意图。

具体实施方式

I.系统概述

图1示出了根据说明性系统和方法使用的通用视觉系统装置100。视觉系统可在任何可接受的环境中实现，包括零件/表面检查、机器人控制、零件对准等。该系统包括至少一个视觉系统相机组件110，该视觉系统相机组件110具有光学件O和图像传感器(也称为“传感器”或“成像器”)S，该图像传感器也可包括机载照明或独立照明(未示出)。相机组件对场景120成像，该场景可包括一个或多个静止或运动对象130。在这个示例中，对象包括轮廓形状，以及规则和不规则几何形状的各种内部形状132、134、136和138。更一般地，图案可为任何几何形状或对象的任意2-D图像。

相机组件110和相关的传感器S互连到视觉系统处理器140，该视觉系统处理器可全部或部分位于相机组件110内，或者可位于单独的处理设备中，例如服务器、PC、膝上型电脑、平板电脑或智能手机(计算机160)。计算设备可包括适当的用户交互，例如显示器/触摸屏162、键盘164和鼠标166。

说明性地，视觉系统处理(处理器)140操作各种视觉系统工具和相关软件/固件，以在运行时间期间操纵和分析对象130的获取和/或存储的图像。处理(处理器)140可训练为根据特定参数起作用，并且使用训练过程来识别在对象中查找到的特定形状。处理(处理器)140包括各种视觉系统组件，视觉系统组件包括图案查找工具142，例如在上述

图案查找的结果可通过计算机接口162传送给用户，和/或传送给另一个下游使用设备或处理(处理器)180。这种设备或处理(处理器)可包括装配机器人控制器、生产线检查、零件检查/拒收、质量控制等。

已认识到，传统的图案匹配方法需要使用具有感兴趣形状或特征的模型图像来训练常规的图案匹配工具，例如

相反，本实施例提供了一种智能图案查找工具，其利用神经网络处理来增强传统的图案查找工具，从而使其具有在工具结果中自动标记查找的图案或者使用相关的神经网络分类器来可靠地检测图案的能力。在操作中，这种方法允许在包含模板的图像数据库上训练智能图案查找工具。训练后，在运行时间期间，智能图案查找器工具结合了传统图案查找器和神经网络分类器的最佳特性，以提供具有高度精确姿态(位置、比例、旋转等)的正确标记图案查找结果。

II.使用神经网络优化搜索的图案查找

参考图2，其示出了表示运行时间前的训练时间过程200的框图。工具210包括常规的图案查找工具220和相关的神经网络分类器，该分类器帮助图案查找工具在一组/多个训练图案(模板)240中查找正确的图案。

更具体地，在训练时间，在一个或多个模板图像上训练传统的图案查找工具220(例如，

图3描绘了运行时间过程(使用预分类)300，其中，训练的神经网络分类器310首先在输入运行时间图像(由相机110获取和/或通过先前获取而存储)320上运行，并确定每个模板的概率。智能图案查找工具过滤出最佳结果，然后通知训练的图案查找工具350处理这些匹配的M个模板340的子集，而不是N个模板的完整集合(图2中的240)。这样，将M个最佳拟合模板340的子集作为搜索参数提供给训练图案查找工具350。将输入图像320提供给图案查找工具350，并且将搜索参数用来产生匹配模板结果360作为工具350的输出。这些结果可显示给用户或用于下游使用操作(如零件校准、检查等)。有利地，该过程300减少了生成匹配模板通常需要的计算量。

根据本文的实施例，可采用各种专有的和商业上可获得的(例如开源的)神经网络体系架构和相关的分类器。例如TensorFlow、微软CNTK。

可使用上述训练过程和运行时间过程200和300的示例性应用是查找正确的基准，其中，不同部分的基准形状可有所不同(十字、菱形等)。说明性地，传统的图案查找工具是在代表每个可能的基准图案的模板图像上训练的。此外，神经网络分类器(例如TensorFlow)在多个图像上训练，这些图像示出每个基准图案的外观变化，以及与每个基准图案相关的标签。在运行时间，首先运行训练的神经网络分类器，其返回在运行时间图像中查找到的标签集。利用这些信息，系统可通知图案查找工具(例如

图4示出了一种装置，其中，传统的图案查找工具查找某个图案，并且神经网络分类器确定其是否是正确的匹配(即，后分类)。在训练时间，用单个图像模板440训练传统的图案查找工具410。然后，在多个图像上针对期望的模板训练与工具410相关的神经网络分类器(例如TensorFlow)430。分类器430的输入与输入到传统图案查找工具440的图像相同。

图5描绘了运行时间过程(使用后分类)500，其中，图案查找工具550首先在输入图像520中查找图案。输入图像520以及从传统图案查找工具(例如

举例来说，一个可操作的应用示例涉及具有微小差异的高度易混淆的形状，例如圆形与带有凹口的圆形。假设传统的图案查找工具(例

注意，在替代实施例中，传统的图案查找工具及其在一个或多个模板上训练的能力是高度可变的。在替代实施例中，上述预分类和后分类过程可各自修改以包括不同类型的图案查找工具和相关的模板。

III.使用训练图案工具优化搜索的图案查找

参考图6，示出了根据可由图1的装置100实现的另一个示例性实施例的智能图案查找的总体(概括)过程600。可预期的是，使用对获取的图像进行操作的常规训练的图案查找工具来定位一些图案可能会更具挑战性。在一些情况下，神经网络/深度学习架构的固有特性可在图像中最初定位图案候选时提供益处。因此，在过程600中，神经网络训练为定位各种图案类型，并且在步骤610中应用于获取的图像。这将为给定类型的形状生成一个带有相关分数的候选列表。然后，基于分数，过程600将常规的图案查找工具(例如

有利地，神经网络可有效地识别可能的形状候选，而计算量大的任务，例如亚像素级模型拟合，可通过图案查找工具以稳健的方式来处理。

在图7的过程700的步骤710中描述了训练神经网络以识别某些形状。一旦进行了训练，在运行时间期间，神经网络使用训练的配置基于获取的图像中的每个像素是否看起来是训练的形状的一部分来为其分配分数(概率)(步骤720)。结果是一概率图像，其中，图像中的每个像素都具有分配的分数(步骤730)。来自步骤730的概率图像可被存储，然后被提供(例如作为掩模)给图案查找工具——从图案查找工具操作的图像结果中屏蔽掉看起来不具有候选形状的像素(步骤740)。神经网络结果可包括概率图像中候选形状的类型。形状类型信息允许图案查找工具将其在概率图像中(在选定位置)的搜索专门缩小到由这些结果提供的形状类型(步骤750)。因此，图案查找工具可更快更有效地操作，因为其避免了运行与候选形状无关的工具。

上述过程600在多种应用中是有利的。例如，在存在高局部失真的情况下，使用神经网络来初始筛选图像是有用的，因为神经网络本质上以更直接的方式基于概率重建图像，以便由图案查找工具进行分析。举例来说，传入的图像可是高度纹理化的，并且缺乏定义的对比线。通过神经网络处理后，得到的概率图像是具有高对比度的二值表示，定义的边界表示(例如)矩形、三角形、圆形等。在特定示例中，神经网络可有效地解决可能磨损的绳索或缆绳的末端形状(产生高纹理区域)。神经网络将黑暗背景上的亮矩形传递给图案查找工具——反之亦然。

如图8的过程800中所述，在运行时间期间，训练的图案查找工具(已经用与感兴趣形状相关的基于模型的模板训练)从神经网络接收概率图像(掩模)和(可选地)接收关于图像中识别的候选形状类型的信息(步骤810)。图案查找工具对图像进行操作，聚焦于所选区域，并且使用与所识别的图像类型相关的工具和过程(步骤820)。然后，在步骤830中，图案查找工具生成结果，其中，查找到的形状位于图像内，并且形状上的适当坐标(和其它)数据输出到后续操作。

进一步参考图9，其示出了用于创建和使用与获取的图像中的感兴趣形状相关的加权掩模的示例性过程900的框图。如图所示，图像910输入到神经网络920。使用适当的训练技术，神经网络920输出感兴趣形状的加权掩模930。如上所述，每个像素基于其成为感兴趣形状的一部分的可能性来评分。随后，将加权掩模930以及原始图像数据910输入到图案查找(模板匹配)工具(例如Cognex

图10的图表1000中描绘了过程900。感兴趣的示例性形状1010示出为具有连续边界的U形结构。然而，相关的获取的图像1012提供了断开的边界1014和中间形状1016。附加地，感兴趣的图像形状1012在场景内相对于预期形状1010的方向旋转一个角度。也可能存在获取的图像与预期形状之间的其它基于失真的差异。如本文所述，感兴趣的形状数据1010和图像数据1012输入到神经网络1020。所得到的图像的输出加权掩模1030表示为一系列形状段1040，这些形状段近似感兴趣的底层形状，并且省略了中间形状数据1016。如图所示，段1040以更高的概率/可能性包围周围像素的范围。这个区域近似于感兴趣形状边缘的一般轮廓。这种表示1040更容易由常规的模型训练的图案查找(模板匹配)工具匹配。

在另一个示例性实施例中，神经网络可用于重建和/或清理图像内的感兴趣形状。如图11的过程1100中所示，神经网络1120接收获取的图像数据1110，并采用训练来输出感兴趣形状的重建1130，其中，每个像素根据其属于感兴趣形状(即神经网络训练的对象)的可能性来评分。该重建然后输入到基于模型的图案查找(模板匹配)工具1140，该工具包括感兴趣形状的模板。该工具输出感兴趣形状的粗略位置1150。这个粗略位置可由下游过程适当地使用和/或可选地再次输入到模型训练图案查找工具1160(与块1140相同的工具或不同的工具)。原始图像数据1110也提供给图案查找工具1160。来自输入1110和1150的工具1160的输出是图像1110中感兴趣形状的精细位置1170。

作为过程1100的示例，图12的图表1200示出了图像中的两个输入形状1210和1212。如上所述，对每个形状进行神经网络重建1220和1222。这产生了分别用于获取的图像数据的重建形状1230和1232。重建可因此取代现有的失真的或不清楚的形状。因此，神经网络可用于有效地提供图像数据中不完整或失真形状的清除和/或重建，这可允许在下游操作(包括使用上述图案查找工具或另一种合适的工具的图案查找)中更有效地使用这种数据。如图所示，该形状可以表示为具有与预期/模型形状的边界相称的界限分明的二值图像。

IV.结论

应该清楚的是，上述系统和方法使用传统图案匹配应用和神经网络分类器的组合，提供了用于查找和匹配训练图案的更可靠和更快速的技术。这种方法允许减少模板的数量或过滤查找到的图案，从而增强系统和方法对正确匹配的决策。此外，上述系统和方法有效地使得神经网络能够用作成像的形状重建/清理工具，和/或消除与感兴趣的形状不太相关的像素，因此减少了搜索时间，并且显著增加了锁定正确形状的机会。当图像中的形状失真或缺少形状特征时，这种技术尤其有效。

前面已经详细描述了本发明的说明性实施例。在不背离本发明的技术方案和范围的情况下，可进行各种修改和添加。为了在相关的新实施例中提供多种特征组合，上述各种实施例中的每一个的特征可适当地与其它描述的实施例的特征相结合。此外，尽管前面描述了本发明的设备和方法的多个单独的实施例，但是本文所描述的仅仅是本发明原理的应用的说明。例如，如本文所使用的，术语“处理”和/或“处理器”应广义地理解为包括各种基于电子硬件和/或软件的功能和组件(并且可替代地称为功能“模块”或“元件”)。此外，所描绘的过程或处理器可以与其它过程和/或处理器相结合，或者分成各种子过程或处理器。根据本文的实施例，可不同地组合此类子过程和/或子处理器。同样，可清楚地设想，本文的任何功能、过程和/或处理器可使用电子硬件、由程序指令的非暂时性计算机可读介质组成的软件或者硬件和软件的组合来实现。附加地，如本文所使用的，各种方向和设置术语，例如“垂直”、“水平”、“向上”、“向下”、“底部”、“顶部”、“侧面”、“前部”、“后部”、“左侧”、“右侧”等，仅用作相对惯例，而不是相对于固定坐标空间(例如重力的作用方向)的绝对方向/设置。附加地，当术语“基本上”或“近似”用于给定的测量、值或特性时，它指的是在正常操作范围内以获得期望结果的量，但包括由于系统允许公差(例如1％-5％)内的固有不准确性和误差引起的一些可变性。因此，该描述仅意味着作为示例，而不是限制本发明的范围。