检测面板线段瑕疵的设备及方法

技术领域

本发明有关于一种面板检测技术，特别有关于一种检测面板线段瑕疵的设备及方法。

背景技术

在大尺寸面板十分盛行的现代社会中，如何确保面板品质无虑已经是在面板生产过程中非常重要的一环。在现有的技术中，许多的制造商利用人工检视面板的方法来确认面板的制造品质。然而，利用人工检视面板的方法不但耗时耗力，而且因为存在每个人主观认定不同的因素，所以非常可能存在检查标准不一的现象并最终造成面板品质起伏不定的不良结果。

发明内容

有鉴于此，本发明的一个目的就是提供一种检测面板线段瑕疵的设备及方法，其可进行自动定位面板线段位置的操作，并可进一步将所定位出的面板线段的影像送到神经网络分类程序以由事先训练好的神经网络分类程序来判断此面板线段中是否存在瑕疵，由此减少因为人为检查标准不一而造成的面板品质问题。

从一个角度来看，本发明的说明内容提供了一种检测面板线段瑕疵的设备，其适于确认待测面板上是否存在线段瑕疵。此设备包括影像撷取装置、样本储存装置以及处理装置。影像撷取装置拍摄放置有前述待测面板的区域以获取对应的初始影像。样本储存装置储存了包括样本线段位置的样本数据。处理装置电性连接至前述的影像撷取装置及样本储存装置，其中，处理装置从影像撷取装置接收初始影像并从初始影像中获取对应至待测面板的待测面板影像；另外，处理装置还从样本储存装置取得样本数据以将待测面板影像上对应于样本线段位置处的影像设定为待测线段的影像；而且，处理装置还执行神经网络分类程序以检查待测线段的影像而判断待测线段是否存在线段瑕疵。

在一个实施例中，上述的处理装置将待测面板影像中包含待测线段的影像区块区分为多个影像子区块，并将每一个影像子区块作为神经网络分类程序的输入数据以使神经网络分类程序判断所输入的影像子区块包含的待测线段的部分是否存在线段瑕疵。

在一个实施例中，当上述的神经网络分类程序判断所输入的影像子区块包含的待测线段的部分存在线段瑕疵时，处理装置回报此线段瑕疵的类型以及包含此线段瑕疵的影像子区块的位置。

在一个实施例中，上述检测面板线段瑕疵的设备还包括照明装置以及多个封闭隔板，此照明装置与影像撷取装置设置于待测面板的相对两侧且向待测面板投射光线，这些封闭隔板组合后形成包围影像撷取装置、待测面板及照明装置的不透光区域。

在一个实施例中，处理装置还从多张理想样本面板影像的每一者中找出至少一个既存线段、根据这些既存线段的位置而将这些既存线段分为多个位置群组，并将每一个位置群组中的至少一个既存线段的位置平均后的结果储存至样本储存装置以作为样本线段位置的一部分。

从另一个角度来看，本发明的说明内容还提供了一种检测面板线段瑕疵的方法，其适于确认待测面板上是否存在线段瑕疵。此方法先拍摄待测面板以获得初始影像，并从初始影像中撷取对应至待测面板的待测面板影像；接着，通过先取得事先储存的样本数据，根据样本数据中包括的样本线段位置而将待测面板影像上对应于样本线段位置处的影像设定为待测线段的影像；最终再利用神经网络分类程序检查待测线段的影像以判断此待测线段是否存在线段瑕疵。

在一个实施例中，上述利用神经网络分类程序检查待测线段的影像以判断此待测线段是否存在线段瑕疵的步骤，包括：将待测面板影像中包含待测线段的影像区块区分为多个影像子区块；以及将每一影像子区块作为神经网络分类程序的输入数据以使神经网络分类程序判断所输入的影像子区块包含的待测线段的部分是否存在线段瑕疵。

在一个实施例中，当上述的神经网络程序判断所输入的影像子区块包含的待测线段的部分存在线段瑕疵时，还进一步回报此线段瑕疵的类型以及包含此线段瑕疵的影像子区块的位置。

在一个实施例中，在拍摄待测面板以获得该初始影像之前还进行下列步骤：从多张理想样本面板影像的每一者中找出至少一个既存线段；根据所找到的既存线段的位置而将这些既存线段分为多个位置群组，其中每一个位置群组包括至少一个既存线段；将每一个位置群组中的既存线段的位置平均而获得对应的平均结果；以及将每一个平均结果储存为样本线段位置的一部分。

在一个实施例中，上述的从多张理想样本面板影像的每一者中找出至少一个既存线段，包括：对每一张理想样本面板影像执行下列步骤，其中每一张理想样本面板影像包括多个像素，且每一张理想样本面板影像所在的平面由第一轴向及第二轴向扩展而成：将理想样本面板影像中的每一个像素的影像值转换为第一值或第二值；在此理想样本面板影像中，对于第一轴的每一个坐标值计算同样具有此第一轴坐标值的像素的影像值为第一值的第一计算数量，在此第一计算数量超过第一预设值时设定在此第一轴坐标值存在第一待整合线段，并使此第一待整合线段为上述的既存线段的一部分；以及，在此理想样本面板影像中，对于第二轴的每一个坐标值计算同样具有此第二轴坐标值的像素的影像值为第一值的第二计算数量，在此第二计算数量超过第二预设值时设定在此第二轴坐标值存在第二待整合线段，并使此第二待整合线段为上述既存线段的一部分。

根据上述，本发明的说明内容所提供的检测面板线段瑕疵的设备及方法可以通过面板的影像来自动定位面板上要进行检测的面板线段的所在位置，并可进一步将所定位出的面板线段的影像送到神经网络分类程序以由事先训练完成的神经网络分类程序来判断此面板线段中是否存在瑕疵。由此，本发明所提供的技术不但可以降低判断瑕疵时所需耗费的人力，而且还可以减少因为人为检查标准不一而造成的面板品质不均的问题。

附图说明

图1为根据本发明一实施例的检测面板线段瑕疵的设备的外观示意图。

图2为根据本发明一实施例的检测面板线段瑕疵的设备的电路方块图。

图3为根据本发明一实施例的检测面板线段瑕疵的方法的流程图。

图4A为根据本发明一实施例所使用的理想样本面板影像的示意图。

图4B为图4A的X轴坐标及黑色像素数量的关系的长条图。

图4C为图4A的Y轴坐标及黑色像素数量的关系的长条图。

图5为根据本发明一实施例在建立样本数据时的流程图。

图6为根据本发明一实施例所使用的将影像区块区分为多个影像子区块的示意图。

图7为根据本发明一实施例的检测面板线段瑕疵的设备的外观示意图。

其中，附图中符号的简单说明如下：

10、70：检测面板线段瑕疵的设备；40：理想样本面板影像；60：待测面板影像；100：影像撷取装置；110：处理装置；115：神经网络分类程序；120：样本储存装置；125：样本数据；130：待测面板；140：照明装置；155：拍摄区域；400、402、404、406、410、412、414：既存线段；600、602、604、606、610、612、614：待测线段；602-1、602-2、602-N、612-1、612-2、612-M：影像子区块；700：封闭隔板；n：数量；S300～S308：本发明一实施例的施行步骤；S500～S510：本发明一实施例于建立样本数据时的施行步骤；X、Y：轴。

具体实施方式

请同时参照图1与图2，其中，图1为根据本发明一实施例的检测面板线段瑕疵的设备的外观示意图，图2为图1所示的检测面板线段瑕疵的设备的电路方块图。在本实施例中，设备10包括了一个影像撷取装置100，一个处理装置110以及一个样本储存装置120，处理装置110分别电性连接至影像撷取装置100以及样本储存装置120以使处理装置110能分别与影像撷取装置100及样本储存装置120进行数据传递的操作。

为了使本发明技术领域的一般技术人员能更清楚理解设备10的运作过程，以下将一并结合图1、图2与图3来进行详细说明，其中，图3为根据本发明一实施例的检测面板线段瑕疵的方法的流程图。

如图1所示，拍摄区域155是影像撷取装置100拍摄时可以涵盖的范围，而待测面板130就被放置在拍摄区域155之中。在实际检测面板线段瑕疵之前，可以使用预设的控制程序来控制处理装置110或其他适合的控制装置来操作影像撷取装置100对拍摄区域155进行拍摄，由此获得整个拍摄区域155的影像(后称为初始影像)(步骤S300)。应注意的是，虽然在本实施例中的拍摄区域155的尺寸大于待测面板130的尺寸，但实际上仍然可以使拍摄区域155的尺寸小于待测面板130的尺寸并通过移动待测面板130或影像撷取装置100的位置并进行多次拍摄而获得待测面板130的全部影像。

由影像撷取装置100拍摄所得的初始影像会被传递到处理装置110以做进一步的处理。在从影像撷取装置100取得初始影像之后，处理装置110会接着从初始影像中撷取出对应到待测面板130的部分以获得待测面板影像(步骤S302)。以图1所示的实施例为例，由于拍摄区域155的尺寸大于待测面板130的尺寸，所以在初始影像中会存在着不是待测面板130的影像。在这样的状况下，处理装置110可以通过执行影像处理的相关程序(例如神经网络程序U-Net或其他程序)而将不是待测面板130的影像部分去除或将与待测面板130相关的影像部分撷取出来而最终产生待测面板影像。在另一个实施例中，若拍摄区域155的尺寸小于待测面板130的尺寸，处理装置110也同样可以通过执行影像处理的相关程序而将多个初始影像结合在一起以产生后续处理时所需的待测面板影像。

除了上述的前置处理手续之外，处理装置110还会从样本储存装置120中取得事先储存在其中的样本数据125(步骤S304)。由此可知，样本数据125应该在实际检测线段瑕疵之前先建立起来。为了建立样本数据125，处理装置110必须先收集与所要检测的线段的位置相关的信息。请一并参照图4A与图5，其中，图4A为根据本发明一实施例所使用的理想样本面板影像的示意图，图5为根据本发明一实施例在建立样本数据时的流程图。通过控制影像撷取装置100拍摄一次理想样本面板并进行前述的步骤S300与步骤S302就可以获得一个与理想样本面板相对应的理想样本面板影像(步骤S500)。在本实施例中，如图4A所示的理想样本面板影像40包括多个像素，且其所在的平面是由X轴(后亦称第一轴向)及Y轴(后亦称第二轴向)扩展而成。而通过影像处理的技术，处理装置110可以从理想样本面板影像40中找到沿着Y轴延伸的既存线段400、402、404与406以及沿着X轴延伸的既存线段410、412与414(步骤S502)。经由步骤S502所找出的既存线段400～414的位置信息可以被直接用来进行后续处理，或者，如图5所示，在对一张理想样本面板影像进行影像处理并找到对应的既存线段的位置信息之后，还可以进一步确认是否需要继续取得其他更多的理想样本面板影像(步骤S504)。假如还需要取得其他的理想样本面板影像，处理装置110会再次重复执行步骤S500～步骤S502以获取另一组既存线段的位置信息。相对的，假如不需要再取得其他的理想样本面板影像，处理装置110就会以现有的所有既存线段的位置信息进入步骤S506而继续进行后续的处理。

值得一提的是，虽然在步骤S502中可以通过人工标示的方式来找出既存线段，但本发明建议一并将找出既存线段的过程进行自动化的改善。为了可以在不依靠人工的前提下找出既存线段，在一个实施例中，处理装置110可以先将理想样本面板影像中各像素的影像值二元化，也就是将原本拍摄时呈现灰阶或彩色的理想样本面板影像调整成只有黑、白两种颜色的影像。接下来，处理装置110开始计算在同一个X轴坐标上出现的、代表既存线段的颜色(例如黑色)的像素的数量(后称第一计算数量)，以及计算在同一个Y轴坐标上出现的、代表既存线段的颜色(例如黑色)的像素的数量(后称第二计算数量)。例如，请参照图4B，其中的横轴代表的是X轴的坐标值，而纵轴则代表了黑色像素的数量n，于是图4B中由左到右的四条直线的高度分别代表了既存线段400的黑色像素的数量、既存线段402的黑色像素的数量、既存线段404的黑色像素的数量以及既存线段406的黑色像素的数量；另请参照图4C，其中的横轴代表的是Y轴的坐标值，而纵轴则同样代表黑色像素的数量n，于是图4C中由左到右的三条直线的高度分别代表了既存线段414的黑色像素的数量、既存线段412的黑色像素的数量以及既存线段410的黑色像素的数量。

在图4A所示的实施例中，对于除了既存线段400～406所在的位置之外的每一个X轴坐标而言，可能会计算到因为既存线段410～414而存在的黑色像素，另外也有可能会计算到因为摄影失真或影像处理判断失误而凭空产生的黑色像素，因此，在获得图4B中对应到各X轴坐标的第一计算数量之后还必须排除这些并非是沿着Y轴延伸的既存线段的部分。于是，可以在事先设定一个预设值(后称第一预设值)并只将第一计算数量超过第一预设值的坐标设定为存在既存线段的位置。类似的，对于除了既存线段410～414所在的位置之外的每一个Y轴坐标而言，可能会计算到因为既存线段400～406而存在的黑色像素，同样也有可能会计算到因为摄影失真或影像处理判断失误而凭空产生的黑色像素，因此，在获得图4C中对应到各Y轴坐标的第二计算数量之后还必须排除这些并非是沿着X轴延伸的既存线段的部分。于是，同样可以在事先设定一个预设值(后称第二预设值)并只将第二计算数量超过第二预设值的坐标设定为存在既存线段的位置。

通过上述的作法，本发明可以将寻找既存线段的过程予以自动化，减少需要耗费的人力。

请回头参照图5。在经过步骤S500～S504的操作之后，处理装置110在步骤S506中先对从同一个理想样本面板影像取得的既存线段进行分组。在进行分组时，处理装置110会将不同的既存线段分类在不同的位置群(Position Group)中。例如，承前所述，从理想样本面板影像40中可以获得既存线段400～414，因此处理装置110会将不同的既存线段400～414分类在不同的位置群中，例如，既存线段400被分类到第一位置群、既存线段402被分类到第二位置群、既存线段404被分类到第三位置群、既存线段406被分类到第四位置群、既存线段410被分类到第五位置群、既存线段412被分类到第六位置群、既存线段414被分类到第七位置群。各位置群包含的位置除了既存线段所在的位置之外，还可以包含与各既存线段距离在预设范围内的位置。举例来说，第一位置群可以包括从理想样本面板影像40的最左端一直向右延伸到既存线段400与既存线段402之间的中线处所涵盖的区间；第二位置群可以包括从既存线段400与既存线段402之间的中线一直向右延伸到既存线段402与既存线段404之间的中线处所涵盖的区间；第三位置群可以包括从既存线段402与既存线段404之间的中线一直向右延伸到既存线段404与既存线段406之间的中线处所涵盖的区间；第四位置群可以包括从既存线段404与既存线段406之间的中线一直向右延伸到理想样本面板影像40的最右端所涵盖的区间。类似的，第五位置群可以包括从理想样本面板影像40的最上端一直向下延伸到既存线段410与既存线段412之间的中线处所涵盖的区间；第六位置群可以包括从既存线段410与既存线段412之间的中线一直向下延伸到既存线段412与既存线段414之间的中线处所涵盖的区间；第七位置群可以包括从既存线段412与既存线段414之间的中线处一直向下延伸到理想样本面板影像40的最下端所涵盖的区间。

应注意的是，各位置群所涵盖的区间大小可以有其他的定义方式，例如包括各既存线段的位置附近10个像素的区间等，本领域的技术人员可以视需求对此进行适当的调整。

接下来，当需要进行步骤S506的操作的理想样本面板影像只有一个的时候，处理装置110就可以将此时获得的各位置群的相关信息(各位置群中的既存线段的位置)带入步骤S508并进行后续处理。相对的，当需要进行步骤S506的操作的理想样本面板影像有许多个的时候，处理装置110就必须对不同的理想样本面板影像各进行一次上述的分类操作。如本领域的技术人员所知，由于所要处理的是对多个理想样本面板各自进行拍摄所获得的不同的理想样本面板影像，所以可以期望的是在这些理想样本面板影像中相对应的既存线段应该会落在近似的位置处。例如，在第一个理想样本面板影像中找到的既存线段400与在第二个理想样本面板影像中找到的既存线段400理论上会出现在同一个位置；即使考虑到影像处理过程中可能产生的误差现象，在第一个理想样本面板影像中找到的既存线段400也应该不会与在第二个理想样本面板影像中找到的既存线段400相距过远。因此，在对每一个理想样本面板影像进行前述的位置群分类之后，处理装置110可以将从不同的理想样本面板影像获得的彼此相近的位置群分类在相同的位置群组(Position Group Set)中。

在不同的实施例中，处理装置110可以采取任何适当的分类标准来将不同的位置群分类在相同的位置群组中，例如，将第一个理想样本面板影像的第一位置群的涵盖范围与第二个理想样本面板影像中同样包含沿着Y轴延伸的既存线段的第一～第四位置群的涵盖范围相比较，并将第二个理想样本面板影像中与第一个理想样本面板影像的第一位置群涵盖范围重叠最多的位置群与第一个理想样本面板影像的第一位置群分类在同一个位置群组中。类似的操作也同样在步骤S506中被运用在各理想样本面板影像的各位置群上以由此将既存线段分为多个位置群组。

经过步骤S506的处理之后，每一个位置群组将会包含至少一个既存线段。接下来，处理装置110会在步骤S508之中将每一个位置群组中的既存线段的位置平均之后获得对应的平均结果(如果只有一个既存线段则其平均结果自然就是此既存线段的位置)，并将所获得的平均结果储存到样本数据125中以使各平均结果各自成为样本线段位置或样本数据125的一部分(步骤S510)。很明显的，当平均结果只有一个(亦即只有一个位置群组)的时候，样本线段位置(或样本数据125)也就只有一笔内容；而当平均结果有N个的时候，样本线段位置(或样本数据125)也就会有N笔内容。

请再回到图3，在取得经过图5的操作流程而获得的样本数据125之后，处理装置110会根据样本数据125而将待测面板影像中对应到样本线段位置的每一笔内容所指定的位置及其邻近特定距离内的影像区块设定成一个对应的待测线段的影像(步骤S306)。而在获得各待测线段的影像之后，处理装置110就可以将每一笔待测线段的影像输入到神经网络分类程序115(例如，但不限于，神经网络程序MobileNetV2)以通过神经网络分类程序115来判断各待测线段的影像中是否存在特定的线段瑕疵(步骤S308)。

上述的神经网络分类程序115应该在进行线段瑕疵判断之前就训练完成。一旦神经网络分类程序115能完成针对某些类型的线段瑕疵(例如：线宽变化、空洞、断线等)的判断训练，那么在将待测线段的影像输入到神经网络分类程序115之后，神经网络分类程序115就可以依照固定的标准来判断待测线段是否存在这些特定类型的线段瑕疵。

应注意的是，前述的待测线段的影像并不限定为需要完整的输入到神经网络分类程序115中。在不同的实施例中，处理装置110也可以将包含待测线段的影像区块区分为多个影像子区块，并将每一个影像子区块作为神经网络分类程序115的输入数据以使神经网络分类程序115能够针对这一个影像子区块进行分析，由此判断这一个影像子区块中包含的那一部分的待测线段是否存在特定的线段瑕疵。图6为根据本发明一实施例所使用的将包含待测线段的影像区块区分为多个影像子区块的示意图。如图6所示的待测面板影像60包括多个待测线段600、602、604、606、610、612与614，处理装置110可以将包含待测线段的影像区块区分为多个影像子区块，此处仅以待测线段602与612为例进行说明。如图6所示，处理装置110可以将包含待测线段602的影像区块区分为多个影像子区块602-1、602-2、...、602-N，以及将包含待测线段612的影像区块区分为多个影像子区块612-1、612-2、...、612-M(如图中虚线所示的各区块)。当处理装置110利用神经网络分类程序115判断某个影像子区块中包含的那一部分的待测线段存在特定的线段瑕疵时，可以回报该线段瑕疵的类型以及包含该线段瑕疵的该影像子区块的位置，以便进行后续处置。例如，若处理装置110回报影像子区块612-6(未图示)的位置存在断线的线段瑕疵，后续即可对影像子区块612-6在待测面板中的位置对线段进行激光修补，以提升面板良率。本领域人员可以理解，在将影像子区块作为神经网络分类程序115的输入数据的实施例中，在训练神经网络分类程序115时就必须训练其接受影像子区块(而不是整个待测线段的影像)作为输入数据，而且作为神经网络分类程序115输入数据的各个影像子区块也必须缩放成同样的影像大小，在此不赘述。

通过上述的说明可知，本发明已经具有自动判断线段瑕疵的能力。

请再参照图1，设备10还可以包括一个照明装置140。在本实施例中，照明装置140与影像撷取装置100分别被设置于待测面板130的相对两侧并向待测面板130投射光线。进一步的，为了减少外界光线所造成的影像问题，在图7所示的实施例中还利用了不透光的封闭隔板700组合成一个能够将图1所示的影像撷取装置100、待测面板130及照明装置140包围在内的不透光区域。如此一来，由于影像撷取装置100拍摄时所使用的光线就只有由照明装置140所提供的光线，因此在采用设备70进行线段瑕疵的判断时可以大幅度降低因为外界的光影变化对影像产生干扰所衍生的问题。

总而言之，以上内容中所提供的检测面板线段瑕疵的设备及方法可以通过面板的影像来自动定位面板上要进行检测的面板线段的所在位置，并可进一步将所定位出的面板线段的影像送到神经网络分类程序以由事先训练完成的神经网络分类程序来判断此面板线段中是否存在瑕疵。由此，本发明所提供的技术不但可以降低判断瑕疵时所需耗费的人力，而且还可以减少因为人为检查标准不一而造成的面板品质不均的问题。

以上所述仅为本发明较佳实施例，然其并非用以限定本发明的范围，任何熟悉本项技术的人员，在不脱离本发明的精神和范围内，可在此基础上做进一步的改进和变化，因此本发明的保护范围当以本申请的权利要求书所界定的范围为准。