掌桥专利:专业的专利平台
掌桥专利
首页

优化自动视觉检查过程中的设置阶段

文献发布时间:2023-06-19 11:35:49


优化自动视觉检查过程中的设置阶段

技术领域

本发明涉及自动视觉检查过程,例如,对生产过程期间的物品进行检查。

背景技术

生产过程期间的检查可在确保生产质量方面起作用。例如,在制造工厂中的生产过程期间的检查有助于控制产品的质量,其方法是识别缺陷且接着根据此识别采取动作,例如通过修复缺陷或舍弃有缺陷部分。在生产期间,缺陷检测的过程对于质量保证(QA)、生产线上的选通和分拣是至关重要的,并且因此可用于改进生产力,改进生产过程和工作程序,减少缺陷率,并且减少返工和浪费。

在生产线中使用视觉检查方法来识别视觉上可检测的异常,所述异常可能对制造物品的完整性具有功能或美学影响。用于生产线的现有视觉检查解决方案依赖于定制的自动视觉检查系统,其通常非常昂贵且需要专家对硬件和软件组件进行集成,以及需要专家参与设置环境、相机系统设备、成像参数和软件和算法。

现有自动视觉检查解决方案通常被限制于针对其设置解决方案的具体物品和具体成像环境。即使是基于视觉机器学习技术的解决方案,也很大程度上依赖于用户输入以识别正被检查的对象,并且对象中或对象在检查线或周围照明上的位置中的任何改变都需要对系统进行手动调整。

另外,归因于成像环境和成像对象在检查线上的物理方位和位置的甚至微小改变,所检查对象的外观可为高度可变的。取决于对象的3D形状和对象在不同图像中的移动,不同图像将展示从一个图像到另一图像的对象的透视失真和遮挡。此可变性极大地影响成像对象的视觉表示,常常导致对象的错误识别和缺陷的错误检测,从而需要人工检查员频繁且费力地参与检查过程。

发明内容

本发明的实施例提供一种用于视觉检查过程的系统和方法,其中检查线上的对象的图像基于图像中的对象的外观而自动分组到集群中。集群图像创建可用作具有不同外观的所检查物品的参考的广泛的图像数据库。广泛的参考数据库确保可识别和检查所检查对象的所有部件和外观,进而增加缺陷检测的成功率且大体上最小化缺陷的错误检测数。

另外,本发明的实施例使得能够在开始检查阶段之前呈现大量所检查物品以供用户确认,进而有效地利用用户的时间且简化检查过程。

在一个实施例中,一种视觉检查系统和方法包含在检查线的多个设置图像中检测对象,并且根据成像对象的标准的值将图像分组到集群中。接着在检查线的检查图像中检测对象,并且根据检查图像中的对象的标准的值将检查图像与集群中的一个进行比较。可因此基于比较而在检查图像中的对象上检测缺陷。

一旦针对参考图像的几乎所有可能的外观创建集群,检查阶段就可以大大降低的不正确检测的风险开始,进而提供改进的检查过程。

附图说明

现在将参考以下说明性附图,结合某些实例和实施例来描述本发明,从而可更充分地理解本发明。在图中:

图1A示意性地说明根据本发明的实施例的视觉检查过程的设置阶段;

图1B示意性地说明根据本发明的实施例的视觉检查过程的检查阶段;

图1C示意性地说明根据本发明的实施例的用户接口;

图2是根据本发明的实施例的用于视觉检查的系统的示意性说明;

图3A是根据本发明的实施例的用于视觉检查线设置过程的方法的示意性说明;

图3B是根据本发明的实施例的用于从设置阶段进行到检查阶段的方法的示意性说明;

图4是根据本发明的实施例的用于使用不一定无缺陷的图像的视觉检查线设置过程的方法的示意性说明;

图5是根据本发明的实施例的用于确定集群阈值的方法的示意性说明;

图6是根据本发明的实施例的用于集群图像的方法的示意性说明;

图7A示意性地说明根据本发明的实施例的2D对象的集群;以及

图7B示意性地说明根据本发明的实施例的3D对象的集群。

具体实施方式

检查线过程可包含在检查阶段之前的设置阶段。在一个实施例中,在设置阶段中,将不具有缺陷的制造物品(无缺陷物品)的样品成像在检查线上。图像(其还可被称作设置图像和/或参考图像)由处理器分析,并且接着用作用于在检查阶段运行的图像处理和检查算法(例如,缺陷检测算法)的参考图像。本发明的实施例还使得能够在设置阶段期间使用不一定无缺陷的样品,如下文进一步解释。

在检查阶段中,对所检查物品(待分析以用于检查任务,例如缺陷检测、分拣和/或计数的制造物品)进行成像以产生检查图像,并且可基于对设置图像和检查图像的分析而对所检查物品执行检查任务。

在设置阶段中,处理器学习空间性质且唯一地表示图像中无缺陷物品的特征或属性,以及无缺陷物品的图像的最优参数,例如最优成像参数(例如,曝光时间、焦点和照明)。例如,可通过使用不同的成像参数分析无缺陷物品的图像,以及通过分析相同类型的无缺陷物品的不同图像之间的关系来学习这些性质。在设置阶段期间的此分析使得能够在新图像中区别地检测相同类型的物品(无缺陷或有缺陷),而无关于新图像的成像环境,并且使得能够在以下检查阶段期间以最小处理时间连续地优化成像参数。

在一个实施例中,对设置图像的分析用于确定空间范围,其中无缺陷物品不展示出透视失真。例如,可通过检测在设置图像之间不具有对应特征的物品中的区域,通过分析物品的边界或物品的标记的感兴趣区域之间的交叉方位和角度等,来分析不同图像中的物品之间的透视失真的水平。可通过比较两个(或更多)设置图像(其中物品可被不同地定位和/或定向)且确定哪些图像展示透视失真的而哪些没有来计算空间范围的边界。

所计算范围接着可用于确定所检查物品可放置在检查线上的位置和/或定向、比例或其它布置的边界,以便避免失真。另外,通过使用设置图像的集合作为彼此的参考,处理器可检测具有类似空间分解的图像,并且接着可分析图像的此集合,以查看是否有足够类似的设置图像,来允许对检查线上的每一可能位置/方位进行配准、缺陷检测和其它分析。

在实现一种类型的物品的基本完整的表示时,收集到“足够的设置图像”。例如,在收集到足够图像以使得能够确定每一参考图像可用作无失真参考的空间范围时,如上文所描述,或在将设置图像彼此进行比较时,当添加新设置图像时,未发现新容差或表面变化。可执行对设置图像的分析以收集关于物品的可能2D形状和3D特性(例如,在检查线上的旋转)的信息,或找到物品的唯一区别特征以及这些唯一特征之间的空间关系,如设置图像之间保留的那样。

基于从设置图像收集到的信息,处理器可检测相同类型的第二物品且执行检查任务,即使处理器先前未习得第二物品。这允许处理器检测何时对(相同类型的)新物品进行成像,并且接着基于对设置图像的分析而分析新物品,例如,搜索所检查物品上的缺陷。分析新物品通常包含应用检查算法,例如,缺陷检测算法,在一个实施例中,所述缺陷检测算法包含检查图像中的物品且将检测到的物品的图像数据与参考图像的图像数据进行比较。

在一些情况下,参考图像可展示低配准质量水平或可能根本无法实现配准。在其它情况下,参考图像可展示低概率的对象检测或无对象检测。在又其它情况下,在彼此进行比较时,参考图像可展示低相关性,和/或在彼此进行比较时,图像内的对象或标记的感兴趣区域可展示低相关性。这些情况可指示这些图像中的对象差异太大,无法进行比较。然而,由于这些图像是在通常由用户密切监视的设置阶段期间获得的,因此这些图像指示检查线上的实际情况,并且类似图像可能将在用户不太密切监视的检查阶段期间获得。然而,如果参考图像具有低概率的对象检测或缺陷检测,则将不会正确地分析与这些参考图像进行比较的检查图像,并且存在未检测到检查图像中的对象和/或未检测到检查图像上的缺陷或错误地检测到检查图像上的缺陷的风险。

本发明的实施例通过以下方式来减轻此风险:确保将所有参考图像分组到集群中,在所述集群中存在足够的其它类似参考图像,从而确保可对集群中的参考图像进行比较、配准和其它分析;以及确保所有检查图像将存在参考群组,即使检查图像中的对象具有不同视觉外观。

对象的外观(或视觉外观)可包含相机可见的任何特征。例如,外观可包含图像中的对象的空间特征(例如,对象或对象部件在相机的视场(FOV)内的定位和/或旋转、对象的形状和/或大小、对象上的可见图案或标记等)。

一旦针对参考图像的几乎所有可能的外观创建集群,检查阶段就可以大大降低的不正确检测的风险开始,进而提供改进的检查过程。

根据本发明的实施例,可基于正成像的对象的视觉外观的差异而将大量参考图像自动分组在不同集群中,进而针对所检查对象的大体上每一和每个不同外观创建足够大的参考。这极大地改进了检查对象的识别和对象上的缺陷的检测。

术语“物品”和“对象”可互换使用,并且旨在描述同一事物。

在一些实施例中,可以压缩方式将不同集群呈现给用户(例如检查线的操作员)以在开始检查阶段之前获得用户确认,进而实现时间有效且简化的检查过程。

在以下描述中,将描述本发明的各个方面。为了解释的目的,阐述了具体的配置和细节以便提供对本发明的透彻理解。然而,对于本领域的技术人员来说显而易见的是,本发明可在没有本文中呈现的具体细节的情况下实践。此外,可省略或简化众所周知的特征,以免模糊本发明。

除非另外具体陈述,否则如从以下论述中显而易见的,应理解,在整个说明书中,利用例如“分析”、“处理”、“计算(computing)”、“计算(calculating)”、“确定”、“检测”、“识别”、“创建”、“产生”等术语的论述是指计算机或计算系统或类似的电子计算装置的动作和/或过程,所述动作和/或过程将表示为计算机系统寄存器和/或存储器中的物理量(例如电子量)的数据处理和/或转换成类似地表示为计算机系统存储器、寄存器或其它此类信息存储、传输或显示装置内的物理量的其它数据。除非另外陈述,否则这些术语是指处理器的自动动作,独立于且没有人工操作员的任何动作。

在一个实施例中,一种视觉检查方法包含其实例在图1A中示意性地说明的设置阶段以及其实例在图1B中示意性地说明的检查阶段。在一个实施例中,设置图像(在设置阶段期间获得)包含无缺陷对象的图像,并且检查图像(在检查阶段期间获得)包含无缺陷对象或有缺陷对象。

在设置阶段中,在检查线的数个设置图像11、12、13和14中检测对象10。在每一设置图像中,对象10符合标准。

标准可包含例如图像中的对象10的空间特征,例如,图像内的对象的位置或放置角度(例如其相对于相机FOV的位置、其相对于相机FOV在三条轴线上的旋转、其相对于相机FOV的形状或比例等)。标准的另一实例包含一个或多个视觉特征,例如,对象上的可见标记。对象和/或图像的其它性质可用作标准。

根据标准的值,将图像11、12、13和14分组到集群(例如,集群A和集群B)中。在图1A中所说明的实例中,用于将图像分组的标准是对象10的定位。其中对象10类似地定位(即,可由类似角度值限定)的图像11和12都分配给集群A,而其中对象10定位成类似于彼此但与对象10在图像11和12中的定位不同的图像13和14分配给集群B。

在以下检查阶段(图1B)中,基于检查图像中的对象的标准的值而将检查图像与设置图像的集群进行比较。例如,在检查图像15中检测对象10。对象10在检查图像15中的定位(例如,对象10相对于图像内的点的角度)类似于对象在分配给集群B的设置图像中的定位(例如,所有这些图像包含具有类似角度值的对象)。因此,集群B中的图像可用作检查图像15中的对象的适当参考,从而确保存在足够类似于检查图像15的参考图像,使得其可用作用于在检查图像15中检测对象10和/或检测对象10上的缺陷的参考。因此,将检查图像15与分配给集群B的图像进行比较,以便基于所述比较而检测对象10上的缺陷。

图像11、12、13、14和15中的每一个中的对象10是不同物品,然而,所有对象10都是相同类型的对象。

术语“相同类型的物品”或“相同类型的对象”是指具有相同物理组成且形状和尺寸以及可能的颜色和其它物理特征上类似于彼此的物品或对象。通常,单个生产系列的物品,一批相同类型的物品或在其生产线中的相同阶段中的一批物品可为“相同类型的物品”。例如,如果所检查物品是卫生产品,相同批次的不同水槽碗是相同类型的物品。

缺陷可包含例如物品表面上的可见瑕疵、物品或物品部件的非所要大小、物品或物品部件的非所要形状或颜色、物品部件的非所要数目、物品接口的错误或缺失装配、损坏或烧坏的部件、物品或物品部件的不正确对准、错误的或有缺陷的条形码,以及通常,无缺陷样品与所检查物品之间的任何差异,对于用户(即人工检查员)而言,所述缺陷在图像中是显而易见的。在一些实施例中,缺陷可包含仅在放大的或高分辨率的图像,例如通过显微镜或其它专用相机获得的图像中可见的瑕疵。

根据本发明的实施例的方法可由用于视觉检查的系统执行,所述系统的实例在图2中示意性地说明。

可用于检查线上的物品的自动视觉检查的示例性系统包含与一个或多个相机103和与装置(例如用户接口装置106和/或例如存储装置108的其它装置)通信的处理器102。

系统的组件可在有线或无线通信中,并且可包含合适的端口和/或网络集线器。在一些实施例中,处理器102可经由控制器(例如可编程逻辑控制器(PLC))与装置(例如存储装置108和/或用户接口装置106)通信,通常用于制造过程中,例如用于数据处理、存储、处理能力和通信能力。控制器可经由USB、以太网、适当电缆线等与处理器102、存储装置108、用户接口装置106和/或系统的其它组件通信。

处理器102可包含例如一个或多个处理器,并且可为中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、微处理器、控制器、芯片、微芯片、集成电路(IC)或任何其它合适的多用途或专用处理器或控制器。处理器102可本地嵌入或远程。

用户接口装置106可包含用于(例如,经由监视器上显示的文本或其它内容)向用户显示图像、指令和/或通知的显示器,例如监视器或屏幕。用户接口装置106还可被设计成从用户接收输入。例如,用户接口装置106可包含监视器和键盘和/或鼠标和/或触摸屏,以使得用户能够输入反馈。

存储装置108可为包含例如易失性和/或非易失性存储介质的服务器,例如硬盘驱动器(HDD)或固态驱动器(SSD)。存储装置108可在本地或远程连接,例如,在云端中。在一些实施例中,存储装置108可包含用于接收和管理与参考图像和/或检查图像相关的图像数据的软件。

被配置成获得检查线105的图像的相机103通常相对于检查线105(例如,传送带)放置,使得放置在检查线105上的物品(例如,物品104)在相机103的FOV103'内。

相机103可包含CCD或CMOS或其它适当芯片。相机103可为2D或3D相机。在一些实施例中,相机103可包含例如配有智能电话或平板电脑等移动装置的标准相机。在其它实施例中,相机103是专用相机,例如,用于获得高分辨率图像的相机。

系统还可包含光源,例如LED或其它适当光源,以照明相机FOV 103',例如,以照明检查线105上的物品104。

处理器102从一个或多个相机103接收检查线105上的对象的图像数据(其可包含例如表示反射光的强度以及部分或全部图像或视频的像素值的数据)且根据本发明的实施例运行过程。

处理器102通常与存储器单元112通信。存储器单元112可存储从相机103接收到的图像数据的至少部分。

存储器单元112可包含例如随机存取存储器(RAM)、动态RAM(DRAM)、快闪存储器、易失性存储器、非易失性存储器、高速缓冲存储器、缓冲器、短期存储器单元、长期存储器单元或其它合适的存储器单元或存储单元。

在一些实施例中,存储器单元112存储可执行指令,所述可执行指令在由处理器102执行时促进处理器102的操作的执行,如本文中所描述。

在一个实施例中,处理器102应用计算机视觉和图像处理技术和算法(例如,如上文所描述)以确定图像中的对象的视觉外观且基于与对象的视觉外观相关的标准而将图像分配给多个群组或集群中的一个。

在一个实施例中,处理器102接收对象的图像(例如,设置图像),并且基于每一图像中的对象的外观而将图像分组到集群中。在接收到连续图像(例如,在获得设置图像之后获得的检查图像)时,将其分配给集群且将其至少与分组到集群的设置图像进行比较。这确保与当前检查图像相当的相同类型的对象的图像的群组,而不会使结果降级为透视失真。接着可基于比较而在连续图像中检测对象上的缺陷。在一些实施例中,处理器102使得检测到的缺陷被显示(例如,经由用户接口装置106),例如,以供用户批准。

在一些实施例中,集群(通常,与每一集群相关的图像数据)存储在参考图像数据库(其可维持在例如存储装置108中)中,所述参考图像数据库稍后用于检查图像中的缺陷检测。在一些实施例中,图像数据维持在数据库内,使得参考图像基于一个或多个标准而链接到集群。例如,参考图1A,设置图像11和12可存储在参考图像数据库中且链接到限定集群A的标准(例如,位置,其可表达为角度值或角度范围值),并且设置图像13和14可存储在参考图像数据库中且链接到限定集群B的标准。

在检查阶段中,例如通过处理器102确定检查图像(例如,检查图像15)的标准(且通常,标准的值)。在图1A和1B中所说明的实例中,标准是位置,并且值可为例如相对于图像中的点的旋转角度。基于所确定的标准和/或标准的值,可容易地识别适当的参考图像集群且将其用作检查图像的参考。在此情况下,适当的参考图像集群将为由检查图像的相同或类似标准和/或值限定的集群。

在其一个实例在图1C中示意性地说明的一些实施例中,处理器102可使得集群(例如,分配给此集群的图像)或集群的表示被显示,例如经由用户接口装置106。用户可接着经由用户接口装置106提供输入,以批准或不批准每一集群。在一些实施例中,可显示集群ID21、包含在集群中的图像22的数目和/或关于集群的其它信息、给用户23的指令和动作按钮24。

每一集群可由一个或多个代表表示,例如,来自集群的平均值、中值或其它代表对象。因此,向用户显示集群可包含显示每一集群的代表。

在一些实施例中,每一集群由对象周围的轮廓线表示。轮廓线可作为对象周围的线(例如,彩色线、虚线或其它样式的线)或作为用户通常可见的任何其它指示显示在显示器(例如,用户接口装置106的显示器)上。

例如,监视器20可通过显示描绘集群的对象的一个代表16和任选地展示所有成像对象的定位的图形标记16'和16”等来显示不同的集群C和D。用户可因此更好地理解每一集群包含关于所有成像对象的内容。

在一些实施例中,根据用户请求,可显示特定集群的个别图像。例如,用户可点击所显示的集群的代表(例如,代表16)以打开显示分配给所述集群的个别图像的新窗口或屏幕。因此,根据本发明的实施例的用户接口使得集群能够作为整体被批准或不被批准(例如,删除),和/或集群内的个别图像被用户批准和/或不被批准。

如果集群并不包含足够的图像来确保对象的完整表示(如本文中和下文进一步描述),则可确定集群处于“未完成”状态,而包含足够图像的集群经确定处于“已完成”状态。

在一些实施例中,一种用于视觉检查的系统包含处理器102,所述处理器与显示器(例如,用户接口装置106的监视器)通信,以接收检查线上的对象的图像,检测图像中的对象,并且基于图像中的对象的外观(例如,基于图像中的对象的空间特征)而将图像分配给集群。处理器102可确定集群的状态,并且使得集群的代表以及集群的状态的指示被显示。集群的状态的指示可包含针对每一不同状态而不同的视觉特性。例如,视觉特性可为颜色,使得可以与未完成集群的代表不同的颜色显示已完成集群的代表。在一些实施例中,处理器102使得根据对象所分配给的集群在对象(例如,图像11或12中的对象10)的图像中呈现指示。处理器102可使得在检测图像中的对象时显示第一视觉特性(例如,颜色或其它视觉标记),且显示第二视觉特性以指示对象所分配给的集群的状态。

在图3A中示意性地说明的一个实施例中,一种用于视觉检查设置过程的方法可由处理器102执行。方法包含基于对象的图像的第一集合而确定对象的视觉外观(302)。获得相同类型的对象的图像的第二集合(304),并且基于对第一集合的图像的分析而在第二集合的图像中识别相同类型的对象(306)。基于标准而将来自第二集合的每一图像分配给多个集群中的一个(或多个)(308),并且集群(通常,分配给集群的图像的图像数据)用于更新参考图像的数据库(310)。来自更新后的数据库的参考图像接着在检查阶段中使用以实现缺陷检测和/或其它检查任务。

在图3B中示意性地说明的另一实施例中,在设置阶段期间将图像分配给集群,直到集群包含足够的参考图像且已实现成像参数的优化,在此之后过程进行到检查阶段。

如上文所描述,一旦实现物品的基本完整的表示,就收集到足够的参考图像。例如,在每一新检查图像具有集群中的参考图像的群组时实现对象的完整表示,所述参考图像可用作检查图像的无失真参考且指示成像物品典型的容差和变化。

因此,在一个实施例中,一种视觉检查方法包含通常基于每一图像中的对象的外观而将对象的图像分配给集群(312)。针对每一集群,确定是否已实现对象的完整表示(314)。如果已实现对象的完整表示,则集群可进行到检查阶段(316)。即,将例如通过将连续图像与集群中的图像进行比较来检查分配给集群的连续图像的缺陷。

如果未实现对象的完整表示(314),则分配给集群的连续图像(通常基于连续图像中的对象的外观)被用作参考图像。即,连续图像用于更新参考图像的数据库,并且检查算法(例如,缺陷检测算法)不应用于连续图像。

在一些情况下,在检查阶段期间,可获得分配给集群的图像,针对所述集群尚未实现对象的完整表示,并且因此无法检查缺陷。在一个实施例中,并非等待集群实现对象的完整表示,而是在保持检查过程的同时,可存储图像,直到将足够的图像分配给集群以实现对象的完整表示为止,同时可检查分配给已完成集群的额外图像。一旦足够的图像分配给集群,就完成了集群。可(例如,经由用户接口装置106)显示完成的集群和/或来自已完成集群的图像以供用户确认。一旦集群完成,任选地在用户批准之后,可将图像与已完成集群进行追溯比较,以检测在集群完成之前获得的图像中的缺陷。因此,可在分配给集群的图像中追溯检测缺陷。

在一些实施例中,确定是否实现对象的完整表示包含将分配给集群的图像彼此进行比较。例如,确定分配给集群的每一图像是否可用作集群中的所有其它图像的无失真参考可通过将集群的图像彼此进行比较来确定。

在一些实施例中,集群包含预定数目的图像。预定数目可特定针对于对象的特性(例如,与例如可通过使用深度聚焦技术定义的3D对象的集群相比,2D对象的集群可能需要更少的参考图像)。因此,在一个实施例中,确定是否实现对象的完整表示可包含确定集群中的图像的数目。例如,如果集群中存在预定数目的图像,则可确定已实现对象的完整表示。

在一个实施例中,一种视觉检查方法包含基于图像中的对象的外观而将对象的图像分配给集群。在一个实施例中,基于集群是否实现对象的完整表示的确定而确定集群的状态(例如,“已完成”或“未完成”)。处理器接着基于集群的状态而确定是否对图像应用检查算法。这使得能够在所有集群实现对象的完整表示之前实现对一些对象的检查。

根据本发明的实施例的方法,例如,如图3A和3B中所示例的方法,实现了一种改进的视觉检查方法,其中甚至在获得对象的所有可能的参考图像之前,即在设置阶段完成之前,基于图像被分配给的集群,一些图像可继续进行检查。这使得检查能够尽早开始且以最小的中断进行,并且在过程中用户的参与集中到特定点,从而极大地简化检查过程。

在一些实施例中,可在更新参考图像的数据库之前将集群显示给用户以供批准。

在一个实施例中,图像的第一集合仅包含无缺陷物品的图像,而图像的第二集合包含不一定无缺陷的图像。因此,根据本发明的实施例,不一定无缺陷的图像可在设置阶段中使用。

在其实例在图4中示意性地说明的此实施例中,可基于从图像的第一集合确定的对象的视觉外观而分析图像的第二集合的缺陷。在此实例中,基于无缺陷对象的图像的第一集合而确定对象的视觉外观(402)。

获得相同类型的对象的图像的第二集合(404)。第二集合中的相同类型的对象可为无缺陷的或有缺陷的。基于在第一集合中检测到的视觉外观,识别相同类型的对象,并且可在第二集合的图像中的相同类型的对象上检测缺陷(406)。基于标准而将来自第二集合的每一图像分配给多个集群中的一个或多个(408),并且集群用于更新参考图像的数据库,如上文所描述。

接着将在步骤(406)中检测到的缺陷显示给用户以供批准(410)。任选地,集群也可显示给用户以供批准。

用户可例如经由用户接口装置106指示检测到的缺陷是否确实是缺陷或不被认为是缺陷。处理器102可接着基于用户输入而更新缺陷检测算法。因此,即使第二集合的图像中的改变(可能是也可能不是缺陷)不是属于集群的标准的改变,也可呈现以供用户批准,并且可在检查阶段的开始之前对缺陷检测算法进行微调,进而进一步简化视觉检查过程。

可例如由处理器102基于预定义标准和/或基于从图像检测到的标准而创建集群。在一些实施例中,确定集群阈值,即对阈值图像进行检查,以确定它们将被分配给哪个集群。

例如,如图5中示意性地说明,处理器102可接收图像(参考或检查图像)(502),并且将图像与经确认图像(通常,参考图像)的现有集合进行比较(504)。基于比较,处理器102可确定图像的标准(506)。例如,如果图像中的对象相较于经确认图像的集合中的对象定位在旋转位置处,则可确定“定位”的标准,和/或还可确定标准的值(例如,相较于经确认图像的集合中的对象的旋转角度)。可用于确定准标准的图像之间的差异的一些实例包含:相对于图像帧(或相机FOV或相机FOV内的点)的改变的角度或位置、相对于相机FOV在一个或多个轴线上的旋转、相对于相机FOV的比例改变、形状改变和/或对象上的不同视觉图案。

可基于图像与图像的经确认集合之间的差异而确定集群阈值(508)。通常,基于标准和/或基于标准的值而确定集群阈值。例如,集群阈值可包含角度值或角度值范围、对象的大小和/或形状、视觉标记的数目或数目范围、视觉标记的大小或大小范围、对象内视觉标记的方位或方位范围、视觉标记的颜色或颜色范围等。

集群阈值可包含两个极限之间的范围,例如,最高和最低极限。

因此,根据本发明的实施例的方法可包含将预定数目的图像分组到集群中的步骤,其中基于预定数目而确定集群的阈值。

在其它实施例中,阈值是基于标准且基于对象。

因此,例如,相对于图像的经确认集合中的对象旋转处于第一范围内的角度的相同类型的对象可限定或可分配给第一集群。具有红色圆形的图案的相同类型的对象可限定或可分配给第二集群,并且具有绿色圆形的图案的相同类型的对象可限定或可分配给第三集群,等等。

在一些实施例中,可将单个图像分配给多于一个集群。例如,第一集群阈值可包含第一角度范围,并且第二集群阈值可包含与第一范围部分重叠的第二角度范围。其中对象的定位在处于重叠内的角度处的图像可分配给第一集群和第二集群两者。在另一实例中,可基于第一标准(例如,定位)而将单个图像分配给第一集群,并且基于第二标准(例如,可见标记)而将单个图像分配给第二集群。因此,可基于与一个或多个集群的比较而执行针对图像的检查任务,例如缺陷检测。

在一个实施例中,方法包含:如果第一图像中的标准的值与第二图像中的标准的值之间的差高于阈值,则将第一图像分配给第一集群且将第二图像分配给第二集群。

如在图6中示意性地说明,处理器102可接收图像且确定图像的标准(和/或标准的值)(例如,如图5中描述)(602)。将标准(和/或值)与集群的标准,例如,与来自参考图像数据库的集群A的标准(和/或值)进行比较(604)。如果图像的标准(和/或值)与集群A的标准(和/或值)相同(606),则将图像分配给集群A(608)。如果图像的标准(和/或值)不与集群A的标准(和/或值)相同(606),则将图像的标准和/或值与集群A的阈值进行比较。如果图像的标准(和/或值)在集群A的阈值内(或高于或低于集群A的阈值)(610),则将图像分配给集群A(608)。然而,如果图像的标准(和/或值)不在集群A的阈值内(或高于或低于集群A的阈值)(610),例如,如果标准和其值与集群B的阈值兼容,则将图像分配给另一集群(例如,集群B)(612)。

集群的标准和/或阈值可为预定的或动态的,例如,取决于正检查的对象的具体类型。

在图7A中示意性地说明的实例中,在两个图像71和72中展示了其上具有图案712的二维对象702。相较于图像71,对象702在图像72中旋转了90

在图7B中示意性地说明的实例中,对象703是三维对象,其在对象的第一表面(a)上具有图案713且在对象的第二表面(b)上具有图案714,如在图像73中可见。相较于图像73中的对象703,图像74中的对象703沿着其纵向轴线旋转90

在一个实例中,预定数目的图像(例如,二十个)可分组到集群中。在其它情况下,集群内的图像的数目不是预定的,而是取决于正检查的对象的具体类型。例如,集群可包含足够图像以使得能够确定每一参考图像可用作无失真参考的空间范围,如上文所描述。

在一个实例中,可围绕对象(可能是平均值或其它代表对象)创建轮廓线,并且轮廓线用作集群阈值。例如,其中对象符合轮廓线的所有图像可分配给同一集群。表示2D对象的轮廓线可大致上遵循对象的轮廓,而表示3D对象的轮廓线将通常更紧密地遵循对象的轮廓。

本发明的实施例使得能够在最少用户参与的情况下创建参考图像的广泛数据库以改进检查任务的性能。

相关技术
  • 优化自动视觉检查过程中的设置阶段
  • 对用于机器视觉作业的成像设置进行优化的系统和方法
技术分类

06120112979297