教师数据生成装置、教师数据生成方法和记录有程序的记录介质
文献发布时间:2024-01-17 01:24:51
技术领域
本发明涉及生成教师数据的技术。
背景技术
在对对象物进行成像来检测缺陷的检查装置中,在检测出缺陷的情况下,输出包含缺陷区域在内的规定尺寸的缺陷图像。考虑通过已学习模型(分类器)对这样的缺陷图像所表示的缺陷类别进行分类。在这种情况下,操作者通过判定(即,通过注释)针对预先准备的缺陷图像的缺陷类别,生成对该缺陷图像标注了一个缺陷类别后的教师数据,通过使用多个教师数据进行学习,从而生成上述已学习模型。
需要说明的是,在日本特开2019-87078号公报(文献1)中公开了如下方法,通过操作者输入取得包含图像的缺陷在内的区域,以使该区域的内部包含的像素超出规定量的方式进行扩展区域的外缘的修正,通过将修正后的区域与该图像建立关联来生成学习用数据。
但是,从检查装置输出的缺陷图像是固定的尺寸,包含大量除了缺陷区域以外的不需要的区域。因此,即使使用包含这样的缺陷图像在内的教师数据进行学习,也难以得到高精度的已学习模型。如文献1的方法那样,也考虑通过操作者输入包含缺陷在内的区域,可以得到不需要的区域被减少了的图像,但操作负担变大。因此,需要容易地生成包含除了缺陷区域以外的不需要的区域被减少了的图像在内的教师数据的方法。
发明内容
本发明面向生成教师数据的教师数据生成装置,目的在于容易地生成包含除了缺陷区域以外在内的不需要的区域被减少了的图像的教师数据。
本发明的教师数据生成装置具备:图像接受部,从对对象物成像来检测缺陷的检查装置接受包含缺陷的检测区域在内的规定尺寸的缺陷图像和表示所述缺陷图像中的所述检测区域的范围的缺陷信息;剪切图像生成部,基于所述缺陷信息,从所述缺陷图像中剪切包含所述检测区域在内的区域作为剪切图像;显示控制部,在显示器上显示所述缺陷图像的至少一部分;判定结果接受部,接受针对显示在所述显示器上的所述缺陷图像的、操作者进行的缺陷类别的判定结果的输入;以及教师数据生成部,对所述剪切图像标注所述判定结果来生成教师数据。
根据本发明,能够容易地生成包含除了缺陷区域以外的不需要的区域减少了的图像在内的教师数据。
优选地,所述对象物的各位置属于多个区域类别中的一个区域类别,所述缺陷信息包含表示所述检测区域所属的区域类别的区域类别信息,所述剪切图像生成部存储针对各区域类别设定的扩展量,将以使用所述区域类别信息确定的扩展量使所述检测区域扩展后的区域包含在所述剪切图像中。
优选地,所述对象物是印刷电路板,所述多个区域类别至少包括镀敷区域和阻焊区域。
优选地,对所述对象物的各位置设定多个检查灵敏度中的一个检查灵敏度,所述缺陷信息包含表示在所述检测区域的检测时使用的检查灵敏度的检查灵敏度信息,所述剪切图像生成部存储针对各检查灵敏度设定的扩展量,将以使用所述检查灵敏度信息确定的扩展量使所述检测区域扩展后的区域包含在所述剪切图像中。
优选地,所述对象物的各位置属于多个区域类别中的一个区域类别,所述缺陷信息包含表示所述检测区域所属的区域类别的区域类别信息,除了所述判定结果之外,所述教师数据生成部将所述检测区域所属的区域类别标注在所述剪切图像上。
本发明还面向生成教师数据的教师数据生成方法。本发明教师数据生成方法包括:a)从对对象物进行成像来检测缺陷的检查装置接受包含缺陷的检测区域在内的规定尺寸的缺陷图像和表示所述缺陷图像中的所述检测区域的范围的缺陷信息的工序;b)根据所述缺陷信息,从所述缺陷图像中剪切包含所述检测区域在内的区域作为剪切图像的工序;c)在显示器上显示所述缺陷图像的至少一部分的工序;d)接受针对显示在所述显示器上的所述缺陷图像的、操作者进行的缺陷类别的判定结果的输入的工序;以及e)对所述剪切图像标注所述判定结果来生成教师数据的工序。
优选地,所述对象物的各位置属于多个区域类别中的一个区域类别,所述缺陷信息包含表示所述检测区域所属的区域类别的区域类别信息,在所述b)工序中,准备针对各区域类别设定的扩展量,将以使用所述区域类别信息确定的扩展量使所述检测区域扩展后的区域包含在所述剪切图像中。
优选地,所述对象物是印刷电路板,所述多个区域类别至少包括镀敷区域和阻焊区域。
优选地,对所述对象物的各位置设定多个检查灵敏度中的一个检查灵敏度,所述缺陷信息包含表示在所述检测区域的检测时使用的检查灵敏度的检查灵敏度信息,在所述b)工序中,准备针对各检查灵敏度设定的扩展量,将以使用所述检查灵敏度信息确定的扩展量使所述检测区域扩展后的区域包含在所述剪切图像中。
优选地,所述对象物的各位置属于多个区域类别中的一个区域类别,所述缺陷信息包含表示所述检测区域所属的区域类别的区域类别信息,在所述e)工序中,除了所述判定结果之外,所述检测区域所属的区域类别被标注在所述剪切图像上,使用标注了一个区域类别后的多个教师数据,生成上述一个区域类别的缺陷分类用的已学习模型。
本发明还面向记录有使计算机生成教师数据的程序的记录介质。本发明的程序由计算机执行,使所述计算机执行:a)从对对象物进行成像来检测缺陷的检查装置接受包含缺陷的检测区域在内的规定尺寸的缺陷图像和表示所述缺陷图像中的所述检测区域的范围的缺陷信息的工序;b)基于所述缺陷信息,从所述缺陷图像中剪切包含所述检测区域在内的区域作为剪切图像的工序;c)在显示器上显示所述缺陷图像的至少一部分的工序;d)接受针对显示在所述显示器上的所述缺陷图像的、操作者进行的缺陷类别的判定结果的输入的工序;以及e)对所述剪切图像标注所述判定结果来生成教师数据的工序。
通过下面参考附图对本发明的详细描述来阐明上述目的和其它目的、特征、方面和优点。
附图说明
图1是示出检查系统的结构的图。
图2是示出计算机的结构的图。
图3是示出教师数据生成装置的结构的图。
图4是示出生成教师数据的处理的流程的图。
图5是示出成像图像的图。
图6是示出成像图像的图。
图7是示出成像图像的图。
图8A是示出缺陷图像的图。
图8B是示出缺陷图像的图。
图9是示出缺陷图像的图。
图10是示出缺陷区域的附近的图。
图11是示出缺陷图像的图。
图12是示出缺陷区域的附近的图。
图13是示出缺陷区域的附近的图。
图14是示出缺陷区域的附近的图。
图15是示出印刷电路板的图。
图16是放大示出印刷电路板的一部分的图。
图17是示出了分类器的另一示例的图。
附图文字说明:
2:检查装置
3:计算机
4:教师数据生成装置
9:印刷电路板
35:显示器
41:图像接受部
42:剪切图像生成部
43:显示控制部
44:判定结果接受部
45:教师数据生成部
72:检测区域
521、522:已学习模型
811:程序
S11~S15:步骤
具体实施方式
(第一实施方式)
图1是示出本发明的第一实施方式的检查系统1的结构的图。检查系统1检查作为对象物的印刷电路板。检查系统1包括检查装置2和计算机3。在图1中,用虚线的矩形包围由计算机3实现的功能结构。检查装置2具有省略图示的成像部、移动机构和缺陷检测部。成像部对印刷电路板进行成像。移动机构使印刷电路板相对于成像部相对移动。缺陷检测部根据从成像部输出的图像检测缺陷。在缺陷检测部中检测出缺陷时,包含缺陷区域在内的规定尺寸(也称为缺陷块尺寸。)的缺陷图像被输出到计算机3。
图2是示出计算机3的结构的图。计算机3具有包括CPU31、ROM32、RAM33、固定磁盘34、显示器35、输入部36、读取装置37、通信部38、GPU39和总线30的一般的计算机系统的结构。CPU31进行各种运算处理。GPU39进行与图像处理相关的各种运算处理。ROM32存储基本程序。RAM33存储各种信息。固定磁盘34进行信息存储。显示器35进行图像等各种信息的显示。输入部36具有接受来自操作者的输入的键盘36a和鼠标36b。读取装置37从光盘、磁盘、磁光盘、存储卡等计算机可读取的记录介质81进行信息的读取。通信部38与检查系统1的其他结构以及外部装置之间收发信号。总线30是连接CPU31、GPU39、ROM32、RAM33、固定磁盘34、显示器35、输入部36、读取装置37以及通信部38的信号电路。
在计算机3中,程序811事先经由读取装置37从作为程序产品的记录介质81读出并存储在固定磁盘34中。程序811可以经由网络存储在固定磁盘34中。CPU31和GPU39根据程序811利用RAM33和固定磁盘34的同时执行运算处理。CPU31和GPU39在计算机3中作为运算部发挥功能。除了CPU31和GPU39以外还可以采用作为运算部发挥功能的其他结构。
在检查系统1中,计算机3根据程序811执行运算处理等,由此实现图1中用虚线包围的功能结构。即,计算机3的CPU31、GPU39、ROM32、RAM33、固定磁盘34以及这些的周边结构实现教师数据生成装置4、学习部51、分类器52。这些功能的全部或一部分也可以通过专用的电路来实现。另外,也可以通过多个计算机实现这些功能。
分类器52是将从检查装置2输入的缺陷图像所示出的缺陷分类为真缺陷或假缺陷的已学习模型。学习部51通过使用后述的多个教师数据进行学习,生成已学习模型(分类器52)。教师数据生成装置4生成在学习部51中使用的教师数据。
图3是示出教师数据生成装置4的结构的图。教师数据生成装置4包括图像接受部41、剪切图像生成部42、显示控制部43、判定结果接受部44和教师数据生成部45。图像接受部41与检查装置2连接,接受来自检查装置2的缺陷图像等的输入。剪切图像生成部42从缺陷图像中剪切后述的剪切图像。显示控制部43与显示器35连接,在显示器35上显示缺陷图像等。判定结果接受部44与输入部36连接,接受操作者经由输入部36的输入。教师数据生成部45对剪切图像进行标注以生成教师数据。
图4是示出教师数据生成装置4生成教师数据的处理流程的图。首先,在图像接受部41中,从检查装置2接受缺陷图像和后述的缺陷信息(步骤S11)。
在此,对检查装置2检测缺陷的处理的一例进行说明。图5是示出对印刷电路板的一部分进行成像而得到的多灰度的成像图像的图。例如,成像图像是彩色图像。成像图像可以是灰度图像。在印刷电路板的主面上设置有多种区域。具体而言,是镀有铜等金属的镀敷区域、表面设有阻焊剂的阻焊区域(以下也称为“SR区域”。)、设置印刷在阻焊剂上的作为文字或记号等的丝印区域、贯通孔的开口即通孔区域等。另外,SR区域可以区分为阻焊剂的下层为铜箔的第一SR区域和阻焊剂的下层为印刷电路板的基材的第二SR区域,两者的颜色不同。如上所述,印刷电路板的主面上的各位置属于包括镀敷区域、第一SR区域、第二SR区域、丝印区域等的多个区域类别中的任意一个。
图5的示例包括表示镀敷区域的区域61和表示SR区域的区域62,区域62包括表示第一SR区域的区域621和表示第二SR区域的区域622。在以下的说明中,同样将区域61、62、621、622称为“镀敷区域61”、“SR区域62”、“第一SR区域621”和“第二SR区域622”。对于印刷电路板的其他类别的区域,也用相同的名称来称呼成像图像的对应的区域。
在检查装置2的缺陷检测部中,例如通过参照设计数据(CAM数据等)来确定成像图像中的各位置所属的区域类别。另外,在各区域类别中,设定各颜色成分的灰度值的正常范围。在成像图像中,将各位置的灰度值按每个颜色成分与正常范围进行比较,将正常范围外的像素的集合作为缺陷的区域进行检测。在图5的示例中,在第一SR区域621上存在比周围暗的区域71,并且该区域71是观察到成像图像的操作者所识别的缺陷区域71。在图6中,由检查装置2检测为缺陷的区域72(以下称为“检测区域72”。)的外缘用虚线表示。在图6的示例中,检测区域72与缺陷区域71基本一致。
在检查装置2中,若检测出缺陷,则取得包含检测区域72在内的规定尺寸的图像作为缺陷图像。另外,取得表示缺陷图像中的检测区域72的位置和形状(包括大小。)的缺陷信息。需要说明的是,在缺陷的检测中,可以使用各种公知的方法(检查逻辑等),也可以根据每个区域类别使用不同的方法。
在开始教师数据的生成时,通过检查装置2,从针对多个印刷电路板的多个成像图像中预先取得多个缺陷图像。该多个缺陷图像为相同尺寸(缺陷块尺寸),表示印刷电路板中相同尺寸的区域。另外,表示检测区域72的位置和形状的缺陷信息与各缺陷图像相关联。在图4的步骤S11中,在图像接受部41中接受多个缺陷图像和该多个缺陷图像的缺陷信息。例如,多个缺陷图像的缺陷信息以分别与多个缺陷图像关联的状态包含在一个列表中。
接着,在剪切图像生成部42中,从各缺陷图像中剪切包含检测区域72在内的区域作为剪切图像(步骤S12)。在图6的示例中,如图7所示,检测区域72的外接矩形73(图7中用虚线表示。)的区域作为剪切图像被剪切。外接矩形73的各边平行于缺陷图像的上下方向(列方向)或左右方向(行方向)。根据剪切图像生成部42的设计,能够相对于检测区域72设定的最小的外接矩形(各边也可以相对于上下方向和左右方向倾斜。)的区域也可以作为剪切图像被剪切。
另外,由显示控制部43在显示器35上显示缺陷图像(步骤S13)。显示在显示器35上的图像可以是缺陷图像的全部或一部分。例如,可以显示缺陷图像的剪切图像,也可以显示将剪切图像以规定的像素数放大后的图像,即,包括检测区域72及其周围的图像。这样,显示控制部43在显示器35上显示缺陷图像的至少一部分。在一例中,在显示器35上的窗口排列显示多个缺陷图像的缩略图,操作者经由输入部36选择一个缺陷图像的缩略图,从而在显示器35上显示该缺陷图像(以下称为“选择缺陷图像”。)的至少一部分。显示在显示器35上的缺陷图像的选择可以通过各种公知的方法来进行。
在判定结果接受部44中,接受针对显示在显示器35上的选择缺陷图像的、操作者进行的真缺陷或假缺陷的判定结果的输入(步骤S14)。在一个示例中,在显示器35上的窗口中,与选择缺陷图像一起设置有表示“真缺陷”的按钮和表示“假缺陷”的按钮。操作者通过确认选择缺陷图像并经由输入部36选择任意一个按钮,进行表示选择缺陷图像所示出的缺陷是真缺陷还是假缺陷的判定结果的输入。该判定结果的输入由判定结果接受部44接受。操作者可以通过各种公知的方法输入判定结果。
在教师数据生成部45中,通过对剪切图像标注判定结果,生成教师数据(步骤S15)。教师数据是包含从缺陷图像得到的剪切图像和针对该缺陷图像的操作者进行的判定结果的数据。教师数据可以包括缺陷图像。实际上,操作者针对多个缺陷图像输入判定结果,生成多个教师数据。由此,完成教师数据生成处理,得到多个教师数据(学习用数据集)。
当生成多个教师数据时,在图1的学习部51中,以使分类器针对多个教师数据中的剪切图像的输入的输出与多个教师数据所示出的判定结果(真缺陷或假缺陷)大致相同的方式进行机器学习,从而生成分类器。分类器是将图像所示出的缺陷分类为真缺陷或假缺陷的已学习模型,在分类器的生成中,确定分类器所包含的参数的值、分类器的结构。机器学习例如通过使用神经网络的深度学习来进行。该机器学习也可以通过除深度学习以外的公知的方法进行。分类器(实际上是参数的值、表示分类器的结构的信息)被传送并被导入到分类器52。
在检查系统1检查印刷电路板时,在检查装置2中,取得表示印刷电路板的多个位置的多个成像图像,检查多个成像图像中有无缺陷。当检测到缺陷时,包含检测区域72在内的规定尺寸的图像作为缺陷图像输出到分类器52。在分类器52中,缺陷图像所示出的缺陷被分类为真缺陷或假缺陷,分类结果被存储或输出到外部。在优选的检查系统1中,在计算机3的剪切图像生成部42中,与生成教师数据时同样地,缺陷图像中的检测区域72的外接矩形73的区域作为剪切图像被剪切,该剪切图像被输入到分类器52。由此,在分类器52中,能够更高精度地对缺陷图像所示出的缺陷是真缺陷还是假缺陷进行分类。
这里,对生成教师数据的比较例的处理进行说明。图8A和图8B示出了缺陷图像,并且包括缺陷区域71。在图8A和图8B中,对缺陷区域71施加间隔比SR区域62窄的平行斜线,缺陷区域71与由检查装置2获取的检测区域基本一致。另外,在图8B的示例中,多个缺陷部分区域711的集合被检测为一个缺陷区域71。
在第一比较例的处理中,整个缺陷图像被用作教师数据的图像。如图8A和图8B所示,缺陷图像通常表示比缺陷区域71大得多的区域,因此在第一比较例中,除缺陷区域71以外的不需要的区域的特征也用于学习部51的学习。换言之,由于教师数据的图像不能高效地表示缺陷区域71(检测区域)的特征,所以分类器中的分类精度变低。
在第二比较例的处理中,在缺陷图像中,剪切包含缺陷区域71在内的一定尺寸的区域,作为教师数据的图像使用。在图8A和图8B中,用双点划线表示在第二比较例中从缺陷图像中剪切的剪切区域A1。通过例如经验确定剪切区域A1的尺寸。在第二比较例中,在教师数据的图像(剪切区域A1的图像)中,除了缺陷区域71以外的不需要的区域与第一比较例相比有所减少,但仍在一定程度上被包含。另外,如图8B的示例那样,在缺陷区域71比较大的情况下,由于从剪切区域A1露出,所以教师数据的图像不能表示缺陷区域71(检测区域)的全部特征。
此外,在第一比较例和第二比较例中,为了提高分类器中的分类精度,需要大量教师数据,增加了操作者针对缺陷图像的判定结果的输入次数(注释次数)。即使使用大量教师数据,有时也不能生成高精度的分类器。
与此相对,在图3的教师数据生成装置4中,从检查装置2输入包含缺陷的检测区域72在内的规定尺寸的缺陷图像和表示该缺陷图像中的检测区域72的位置及形状的缺陷信息,在图像接受部41中接受。在剪切图像生成部42中,基于缺陷信息,从缺陷图像中剪切包含检测区域72在内的区域作为剪切图像。另外,由显示控制部43在显示器35上显示缺陷图像的至少一部分,由判定结果接受部44接受针对所显示的缺陷图像的、操作者进行的真缺陷或假缺陷的判定结果的输入。并且,由教师数据生成部45将该判定结果标注在剪切图像上,生成教师数据。
由此,能够容易地生成包含除缺陷区域71以外的不需要的区域被减少了的图像(剪切图像)在内的教师数据。另外,在该图像中示出缺陷区域71的几乎全部的特征。这样,通过使用高效地表示缺陷区域71的特征的教师数据,能够以较少的教师数据生成高精度的已学习模型(分类器52),还能够减少操作者的注释次数。需要说明的是,在图8A和图8B中,用虚线表示作为剪切图像而进行剪切的检测区域的外接矩形73。
(第二实施方式)
接下来,将描述根据本发明的第二实施例的教师数据生成处理。图9是示出缺陷图像的图,示出在镀敷区域61上存在缺陷区域71的示例。在图9中,对缺陷区域71标注间隔比SR区域62窄的平行斜线(在后述的图11~图14也同样)。图10是放大示出缺陷区域71的附近的图,将由检查装置2取得的检测区域72涂黑(在后述的图12~图14中也同样)。在镀敷区域61上存在缺陷区域71的情况下,检测区域72的外缘倾向于与观察到缺陷图像的操作者所识别的缺陷区域71的外缘基本一致,在图10中,整个检测区域72与整个缺陷区域71大致重叠。
图11是示出缺陷图像的图,表示在SR区域62上存在缺陷区域71的示例。图12是放大示出缺陷区域71的附近的图,多个检测部分区域721的集合被检测为一个检测区域72。在图11和图12中,通过用虚线表示缺陷区域71的外缘,表示缺陷区域71的外缘(即,与周围的交界)不清楚(在后述的图14中同样)的情况。在SR区域62上存在缺陷区域71的情况下,检测区域72的外缘倾向于比观察到缺陷图像的操作者所识别的缺陷区域71的外缘小,在图12中,检测区域72仅与缺陷区域71的一部分重叠。需要说明的是,在镀敷区域61和SR区域62中,缺陷检测方法也可以不同。
如上所述,印刷电路板的主面上的各位置属于多个区域类别中的一个区域类别,在检查装置2中,也确定成像图像中的各位置所属的区域类别。在本处理例的检查装置2中,在检测出缺陷时,生成表示检测区域72所属的区域类别的区域类别信息,并包含在缺陷信息中。
在由教师数据生成装置4生成教师数据时,在图像接受部41中,从检查装置2接受缺陷图像和缺陷信息(图4:步骤S11)。如上所述,缺陷信息除了缺陷图像中的检测区域72的位置和形状之外,还包括区域类别信息。在剪切图像生成部42中,根据检测区域72所属的区域类别,将该检测区域72的外接矩形向上下左右扩展后的区域作为剪切图像被剪切(步骤S12)。
具体而言,将使外接矩形向上下左右扩展的像素数(自然数。以下同样。)作为扩展量,对多个区域类别的每一个预先设定扩展量,并存储在剪切图像生成部42中而进行准备。如上所述,由于镀敷区域61上的检测区域72的外缘倾向于与缺陷区域71的外缘基本一致,所以针对镀敷区域61的扩展量为比较小的像素数(例如0~5个像素)。因此,在检测区域72属于镀敷区域61的图10的示例中,如图13所示,将检测区域72的外接矩形73(图13中用虚线表示。)的区域、或者将该区域极微小地扩展后的区域作为剪切图像被剪切。该剪切图像包含几乎整个缺陷区域71。
另外,由于SR区域62上的检测区域72的外缘倾向于比缺陷区域71的外缘小,所以针对SR区域62的扩展量为比较大的像素数(例如10~20个像素)。因此,在检测区域72属于SR区域62的图12的示例中,如图14所示,将以扩展量使检测区域72的外接矩形73扩展后的区域74作为剪切图像被剪切。在图14中,用虚线表示外接矩形73和区域74。该剪切图像(即,区域74)包括几乎整个缺陷区域71。需要说明的是,以扩展量使检测区域72的外接矩形73扩展后的区域74与以扩展量使检测区域72扩展后的区域的外接矩形相同。
在教师数据生成装置4中,在显示器35上显示了选择缺陷图像之后(步骤S13),由操作者进行针对选择缺陷图像的真缺陷或假缺陷的判定结果的输入,并接受该输入(步骤S14)。然后,通过对剪切图像标注判定结果,生成教师数据(步骤S15)。之后,与上述处理例同样,使用多个教师数据生成分类器52。
在检查系统1中的印刷电路板的检查中,当在检查装置2中检测出缺陷时,包含检测区域72在内的规定尺寸的图像作为缺陷图像输出到计算机3,取得分类器52的分类结果。在优选的检查系统1中,与生成教师数据时同样,根据检测区域72所属的区域类别,将该检测区域72的外接矩形73向上下左右扩展后的区域作为剪切图像而进行剪切,将该剪切图像输入到分类器52。由此,在分类器52中,能够更高精度地对缺陷图像所示出的缺陷是真缺陷还是假缺陷进行分类。
如上所述,在本处理例中,表示检测区域72所属的区域类别的区域类别信息被包含在缺陷信息中。在剪切图像生成部42中,存储对各区域类别设定的扩展量,将以使用区域类别信息确定的扩展量使检测区域72扩展后的区域包含在剪切图像中。由此,能够得到表示几乎整个缺陷区域71的优选的剪切图像,能够生成高精度的已学习模型(分类器52)。在印刷电路板中,由于镀敷区域和SR区域占大部分,所以从获得优选的剪切图像的观点出发,上述多个区域类别优选至少包含镀敷区域和阻焊区域。
(第三实施方式)
接着,对本发明的第三实施方式的教师数据生成处理进行说明。图15是示出整个印刷电路板9的图。在制造途中的印刷电路板9中,包含在最终产品中被去除的部分即放弃电路板区域92。在图15中,对放弃电路板区域92标注平行斜线。图16是放大示出在图15的印刷电路板9中用虚线包围的部分B1的图,用粗虚线包围放弃电路板区域92。如图16所示,在印刷电路板9中,存在小的镀敷区域密集地排列,或者设置有细的布线图案的区域91(图16中由细的虚线包围的区域)。
由于存在于区域91的缺陷对印刷电路板9的动作有很大的影响,因此在本处理例的检查装置2中,相对于区域91,设定比其他区域严格的检查灵敏度。以下,将区域91称为“第一灵敏度设定区域91”。另一方面,由于存在于上述的放弃电路板区域92中的缺陷对印刷电路板9的动作几乎没有影响,所以相对于放弃电路板区域92,与其他区域相比设定宽松的检查灵敏度。以下,将放弃电路板区域92称为“第二灵敏度设定区域92”。另外,在除第一灵敏度设定区域91和第二灵敏度设定区域92以外的区域93中,设定中间的检查灵敏度。以下,将区域93称为“第三灵敏度设定区域93”。
这样,在印刷电路板9的各位置设定有多个检查灵敏度中的任意一个。在检查装置2中,在成像图像的各位置的灰度值与正常范围进行比较的上述示例中,检查灵敏度为正常范围的宽度。在第一灵敏度设定区域91中设定比其他区域窄的正常范围,在第二灵敏度设定区域92中设定比其他区域宽的正常范围。如上所述,在缺陷的检测中可以使用各种方法,检查灵敏度的设定方法可以根据缺陷的检测方法进行适当变更。
在检查装置2中,通过参照例如设计数据(CAM数据等),确定成像图像中的各位置属于第一灵敏度设定区域91、第二灵敏度设定区域92和第三灵敏度设定区域93中的哪一个,并取得应比较的正常范围。然后,将该位置的灰度值与该正常范围进行比较,取得成为正常范围外的像素的集合作为检测区域72。在检查装置2中,检查灵敏度信息包含在已述的缺陷信息中。检查灵敏度信息是能够确定检测区域72检测时使用的检查灵敏度的信息,本处理例中的检查灵敏度信息是示出第一灵敏度设定区域91、第二灵敏度设定区域92和第三灵敏度设定区域93中的任一个的信息。
在由教师数据生成装置4生成教师数据时,在图像接受部41中,从检查装置2接受缺陷图像和缺陷信息(图4:步骤S11)。如上所述,除了缺陷图像中的检测区域72的位置和形状之外,缺陷信息还包括检查灵敏度信息。在剪切图像生成部42中,根据检测区域72的检测时使用的检查灵敏度,将该检测区域72的外接矩形73向上下左右扩展后的区域作为剪切图像而进行剪切(步骤S12)。
具体地说,将在上下左右扩展外接矩形73的像素数作为扩展量,对多个检查灵敏度的每一个预先设定扩展量,存储在剪切图像生成部42中并进行准备。在最宽松检查灵敏度下(即,在检测区域72位于第二灵敏度设定区域92的情况下),检测区域72的外缘倾向于比缺陷区域71的外缘小,因此扩展量被设为比较大的像素数α(例如,8~12个像素)。在最严格检查灵敏度下(即,在检测区域72位于第一灵敏度设定区域91的情况下),检测区域72的外缘倾向于与缺陷区域71的外缘基本一致,因此扩展量被设为比较小的像素数β(例如,0~3个像素)。在中间检查灵敏度下(即,在检测区域72位于第三灵敏度设定区域93的情况下),检测区域72的外缘倾向于比缺陷区域71的外缘稍小,因此扩展量被设为检查灵敏度最宽松的情况下的像素数与检查灵敏度最严的情况下的像素数之间的像素数γ(例如,4~7个像素)。
如上所述,检查灵敏度最宽松时的扩展量最大,检查灵敏度最严格时的扩展量最小。换言之,满足α>γ>β。其结果,以扩展量使检测区域72的外接矩形73扩展后的区域即剪切图像包含几乎整个缺陷区域71。
在教师数据生成装置4中,在显示器35上显示了选择缺陷图像之后(步骤S13),由操作者进行针对选择缺陷图像的真缺陷或假缺陷的判定结果的输入,并接受该输入(步骤S14)。然后,通过对剪切图像标注判定结果,生成教师数据(步骤S15)。之后,与上述处理例同样,使用多个教师数据生成分类器52。
在检查系统1中的印刷电路板的检查中,当在检查装置2中检测出缺陷时,将包含检测区域72在内的规定尺寸的图像作为缺陷图像输出到计算机3,取得分类器52的分类结果。在优选的检查系统1中,与生成教师数据时同样地,根据检测区域72的检测时使用的检查灵敏度,将该检测区域72的外接矩形73向上下左右扩展后的区域作为剪切图像而进行剪切,并将该剪切图像输入到分类器52。由此,在分类器52中,能够更高精度地对缺陷图像所示出的缺陷是真缺陷还是假缺陷进行分类。
如上所述,在本处理例中,对印刷电路板的各位置设定多个检查灵敏度中的一个检查灵敏度,在缺陷信息中包含表示检测区域72时使用的检查灵敏度的检查灵敏度信息。在剪切图像生成部42中,存储对各检查灵敏度设定的扩展量,将以使用检查灵敏度信息确定的扩展量使检测区域72扩展后的区域包含在剪切图像中。由此,能够得到表示几乎整个缺陷区域71的优选的剪切图像,能够生成高精度的已学习模型(分类器52)。
(第四实施方式)
接下来,将描述根据本发明的第四实施例的教师数据生成处理。如上所述,印刷电路板的主面上的各位置属于多个区域类别中的一个区域类别。在检查装置2中,在检测出缺陷时,生成表示检测区域72所属的区域类别的区域类别信息,并包含在缺陷信息中。
在本处理例中,图4的步骤S11~S14与上述第一实施方式相同。在步骤S12中,与第二实施方式同样,也可以根据检测区域72所属的区域类别,将该检测区域72的外接矩形73向上下左右扩展后的区域作为剪切图像而进行剪切。另外,与第三实施方式同样,也可以根据检测区域72的检测时使用的检查灵敏度,将该检测区域72的外接矩形73向上下左右扩展后的区域作为剪切图像而进行剪切。
在教师数据生成部45中,除了针对选择缺陷图像的、操作者进行的真缺陷或假缺陷的判定结果之外,还将检测区域72所属的区域类别标注在剪切图像上,由此生成教师数据(步骤S15)。在教师数据生成处理中,根据多个缺陷图像生成针对各区域类别的多个教师数据。这里,生成镀敷区域用的多个教师数据和SR区域用的多个教师数据。
在学习部51中,通过使用镀敷区域用的多个教师数据进行机器学习,生成图17所示的镀敷区域用已学习模型521。另外,通过使用SR区域用的多个教师数据进行机器学习,生成SR区域用已学习模型522。
在检查系统1检查印刷电路板时,在检查装置2中,取得表示印刷电路板的多个位置的多个成像图像,检查多个成像图像中有无缺陷。当检测到缺陷时,将包含检测区域72在内的规定尺寸的缺陷图像与包括区域类型信息的缺陷信息一起输出到分类器52。在分类器52中,如果缺陷图像的检测区域72属于镀敷区域,则使用镀敷区域用已学习模型521将缺陷图像所示出的缺陷分类为真缺陷或假缺陷。如果缺陷图像的检测区域72属于SR区域,则使用SR区域用已学习模型522将缺陷图像所示出的缺陷分类为真缺陷或假缺陷。
如上所述,在本处理例中,表示检测区域72所属的区域类别的区域类别信息被包含在缺陷信息中。在教师数据生成部45中,除了操作者进行的真缺陷或假缺陷的判定结果之外,检测区域72所属的区域类别被标注在剪切图像上。由此,在学习部51中,能够使用标注了一个区域类别的多个教师数据,生成该区域类别的缺陷分类用的已学习模型。这样,通过生成每个区域类别的已学习模型,能够进一步提高分类精度。
在上述教师数据生成装置4和教师数据生成方法中,可以进行各种变形。
从检查装置2输入到教师数据生成装置4的缺陷信息只要表示缺陷图像中的检测区域72的范围即可,并不限定于表示检测区域72的位置和形状。例如,缺陷信息可以表示缺陷图像中的检测区域72的外接矩形的范围(即,上下方向和左右方向各自的范围)。
作为剪切图像而剪切的缺陷图像的区域只要是基于缺陷信息确定且包含检测区域72即可,优选为与检测区域72大致外接的区域。与检测区域72大致外接的区域不仅包括与检测区域72外接的区域,还包括与以上述扩展量使检测区域72扩展后的区域外接的区域。
在上述实施方式中,在图4的步骤S14中,由操作者输入针对缺陷图像的真缺陷或假缺陷的判定结果,但也可以输入除真缺陷和假缺陷以外的缺陷类别(例如异物附着、膜剥离等)的判定结果。即,在判定结果接受部44中,接受操作者针对显示在显示器35上的缺陷图像的缺陷类别的判定结果(包括真缺陷或假缺陷的判定结果。)的输入。
在第二实施方式中,在检测区域72包含分别属于不同的两个以上的区域类别的部位的情况下,在检测区域72的扩展中,可以使用针对该两个以上的区域类别中的任意一个区域类别的扩展量。从获得表示几乎整个缺陷区域71的优选的剪切图像的观点出发,优选使用针对该两个以上的区域类别的扩展量中的最大的扩展量。
在第三实施方式中,在检测区域72包含以不同的两个以上的检查灵敏度分别检测出的部位的情况下,在检测区域72的扩展中,可以使用针对该两个以上的检查灵敏度中的任意一个检查灵敏度的扩展量。从获得表示几乎整个缺陷区域71的优选的剪切图像的观点出发,优选使用针对该两个以上的检查灵敏度的扩展量中的最大的扩展量。
检查装置2中的检查的对象物除了印刷电路板以外,也可以是半导体电路板或玻璃电路板等电路板。另外,也可以通过检查装置2来检测机械部件等除电路板以外的对象物的缺陷。教师数据生成装置4可以容易地产生优选的教师数据,所述优选的教师数据用于产生用于各种对象的缺陷分类的已学习模型。
上述实施方式及各变形例的结构只要相互不矛盾,可以适当组合。
虽然对发明进行了详细描述和描述,但上述描述是示例性的而非限制性的。因此,只要不脱离本发明的范围,可以说可以进行多个变形或形态。
- 学习数据生成装置、学习数据生成方法和程序
- 销售数据处理装置、销售数据处理方法以及记录介质
- 销售额数据处理装置、销售额数据处理方法以及记录介质
- 会议记录生成方法、装置、设备和计算机存储介质
- 自主行驶车、行驶控制装置和方法及记录程序的记录介质
- 教师数据生成装置、教师数据生成方法、教师数据生成程序及存储介质
- 图像生成装置、图像生成方法、记录介质生成方法、学习模型生成装置、学习模型生成方法、学习模型、数据处理装置、数据处理方法、推断方法、电子装置、生成方法、程序和非暂时性计算机可读介质