物件的瑕疵判断方法及装置

技术领域

本发明是有关于一种自动化判断物件瑕疵的技术，且特别是有关于一种利用人工智能演算法自动化进行物件的瑕疵判断方法及实现其的装置。

背景技术

在工业自动化领域中，因工业物联网、协作机器人以及人工智能技术的蓬勃发展，制造业厂商都希望利用自动化机器人、自动光学检查(Automated Optical Inspection；AOI)等图像识别技术来取代人力作业，既节省生产成本还可提高瑕疵辨识率。

然则，由于工业自动化技术在瑕疵判断上都严格按照预定的检测标准进行。当检测标准过高而导致所谓“过杀(许多受检测物件因检测标准过高而视为瑕疵物件)”的情形发生时，便还是需要额外增加人力来对这些被视为瑕疵物件进行二度检测，从而将采用工业自动化技术的仪器过杀的产品重新定义回良好物件。因此，许多公司正尝试将人工智能导入到工业自动化技术中，并期望能让受检测物件的判断结果能够更为准确、迅速且具备一致性。

然而，目前采用的人工智能技术通常是将电路板上不同类型的物件或零件先以人工方式分类，再依据分类后的大量信息以使用机械学习演算法来建立能够区分每种物件或零件是否正常或瑕疵的监督式二元分类模型。若某些类型的物件或零件的数据量不足，人工智能技术难以训练出能够良好分类该种物件/零件瑕疵的模型，从而导致瑕疵判断错误率居高不下。

发明内容

本发明提供一种物件的瑕疵判断方法及装置，其可同时适用于多种物件、电路元件或零件上，并利用三元的人工智能演算法自动化进行物件的瑕疵判断，以使本发明实施例更为泛用且在原有自动光学检查技术的基础上更为降低在瑕疵判断上的错误率。

本发明实施例的物件的瑕疵判断方法包括下列步骤：获得受测物件的受测图像。获得所述受测物件对应的受选择良品范本数据。以及，利用相异度模型计算所述受测图像及所述受选择良品范本数据之间的相异度值，并依据所述相异度值判断所述受测物件为良品或瑕疵品。

本发明实施例的物件的瑕疵判断装置包括物件数据库、图像来源装置以及处理器。物件数据库具备多个物件对应的至少一良品范本数据。图像来源装置获得受测物件的受测图像。处理器耦接物件数据库及图像来源装置。处理器通过图像来源装置获得受测物件的受测图像，获得受测物件对应的训练数据集中的受选择良品范本数据。以及，处理器利用相异度模型计算受测图像及受选择良品范本数据之间的相异度值，并依据相异度值判断受测物件为良品或瑕疵品。

基于上述，本发明实施例利用不同类型的物件/零件建立可共用的机械学习演算法模型以自动地进行物件的瑕疵判断，使其同时适用于多种物件、电路元件或零件上，且在原有自动光学检查技术的基础上更为降低在瑕疵判断上的错误率。因此，本发明实施例不需针对不同物件/零件建立不同的机械学习演算法模型，可减少新产线建立时新物件/零件的瑕疵分类模型研发时间，也可在新物件/零件的良品数据量与瑕疵品数据量不足时仍能够建立较为有效的机械学习演算法模型。并且，在已进行自动光学检查识别技术的基础上进行二度检测，可减少所谓“过杀”的情形。

附图说明

图1是依照本发明的一些实施例的一种物件的瑕疵判断装置的硬件框图。

图2是依照本发明的一些实施例的一种物件的瑕疵判断方法及相应装置的操作示意图。

图3是依照本发明的一些实施例的一种物件的瑕疵判断方法的流程图。

图4A及图4B是利用三元损失监督式学习演算法建立及调整相异度模型f的示意图。

图5是第一实施例的图2中三元损失监督式学习演算法的内部流程示意图。

图6是依照本发明的一些实施例以说明图3步骤S350的流程示意图。

图7是依照本发明的一些实施例以说明两种物件的瑕疵品数据、良品数据以及良品范本数据的示意图。

图8是依照本发明的一些实施例及图7以说明作为受测物件的第二物件中的受选择良品范本数据以及不存在于训练数据集中的受测物件图像的示意图。

具体实施方式

对于应用在工业现代化的瑕疵判断相关技术来说，都是针对不同类型的物件或零件(例如，电路板上常用的电路元件、电容元件、电感元件等)分别训练用于瑕疵分类的机械学习演算法模型，因而导致每个类型的物件都需要一定数量的瑕疵品数据样本才能较为完善地训练出上述机械学习演算法模型，且对各类型物件的数据量产生了依赖性。目前常用的二度检测技术便是“针对每个类型的物件或零件”进行瑕疵分类的技术。然而，在某些物件或零件的瑕疵信息(或称，瑕疵训练数据)数量不足时，便在瑕疵判断的情境中难以获得较佳的判断结果。

因此，本发明实施例利用不同类型的物件/零件来建立可共用的机械学习演算法模型，也就是，利用三元损失式(Triplet Loss)监督式学习演算法建立模型以自动地进行物件的瑕疵判断，使其同时适用于多种物件、电路元件或零件上，且在原有自动光学检查技术的基础上更为降低在瑕疵判断上的错误率。因此，本发明实施例不需针对不同物件建立不同的机械学习演算法模型，可减少新产线建立时新物件的瑕疵分类模型研发时间，也可在新物件的良品数据量与瑕疵品数据量不足时仍能够建立较为有效的机械学习演算法模型。

换句话说，本发明实施例藉由三种数据(也就是，各种类型物件(或称，零件)的良品数据、瑕疵品数据以及物件的良品范本)作为训练数据集，也称为三元训练数据集，以三元损失(Triplet Loss)监督式学习演算法建立可让多种物件/零件共同使用的相异度模型。此相异度模型因此具备有衡量“良品范本与受检测物件的相异度”能力，从而便可让本发明实施例利用人工智能技术对被视为瑕疵的物件进行二度检测，减少所谓“过杀”的情形。本实施例的“共用机械学习演算法模型”及相关技术可适用于多种方面，尤其是在已进行自动光学检查识别技术后，还利用本发明实施例所述的技术来取代人力而对被视为瑕疵物件进行二度检测，进而减少所谓“过杀”的情形。

本实施例所谓的“物件”是使用于印刷电路板上的电路元件，如电容、电阻、电感、已封装芯片…等电路元件。具瑕疵的电路元件大部分可从外观看出，例如电路元件的接脚断裂、外观有裂痕、电路元件的焊点掉落、元件外壳边缘粉碎…等。应用本实施例者可利用本发明实施例从外观上判断这些物件是否为良品或瑕疵品。

图1是依照本发明的一些实施例的一种物件的瑕疵判断装置的硬件框图，图2是依照本发明的一些实施例的一种物件的瑕疵判断方法及相应装置的操作示意图。特别说明的是，图2主要用来说明物件的图像数据、人工智能演算法、经训练模型以及瑕疵辨识等操作的流程，图2中的区块并非硬件模块，而是为方便说明而绘示的功能性模块。这些区块可由软件、固件、演算法或数据库等形式配合处理器实现，并存储于对应的存储设备中，例如存储于图1的物件数据库110或服务器140中。参照图1与图2，瑕疵判断装置100主要包括物件数据库110、图像来源装置120以及处理器130。物件数据库110至少具备多个物件对应的多个训练数据集。图2所示的物件PT1～PTn(n为正整数)分别包括多个图像数据IM1～IMn，并可利用自动光学检查识别技术或人工智能训练而藉由物料清单(BOM)表呈现各物件的位置来采集图像，以将这些图像数据IM1～IMn中的电路元件分别进行采集，并分类成训练数据集200-1～200-n中的各种数据。本实施例的训练数据集200-1～200-n在每个物件PT1～PTn中至少具备三种数据类型，分别是瑕疵品数据DPT1～DPTn、良品数据GPT1～GPTn以及良品范本数据SGPT1～SGPTn。也就是说，每个训练数据集200-1～200-n包括所对应物件PT1～PTn的至少一个瑕疵品数据DPT1～DPTn、至少一个良品数据GPT1～GPTn以及至少一个良品范本数据SGPT1～SGPTn。这些训练数据集200-1～200-n存储于图1的物件数据库110中。

本实施例中，此处所述对应物件的“瑕疵品数据”、“良品数据”以及“良品范本数据”是预先标注的图像数据，应用本实施例者也可用其他方式来区分对应特定类别的物件的图像数据为良品或瑕疵品，从而整理上述“瑕疵品数据”、“良品数据”以及“良品范本数据”。当“瑕疵品数据”及“良品数据”的数量愈多的情况下，本实施例所使用的机械学习演算法模型在训练完成后，在进行后续的受测物件的瑕疵判断时也会较为准确。良品范本数据SGPT1～SGPTn是以预先标注的方式从众多良品数据GPT1～GPTn中选择一个或数个最具代表性的良品数据称之。本实施例中，每个物件PT1～PTn分别具备至少一个良品范本数据SGPT1～SGPTn即可。

图像来源装置120用以获得受测物件的受测图像TPT、TPT1及TPT2。本实施例的瑕疵判断装置100可与自动光学检查识别系统相互通信与进行数据传递，应用本实施例者可先使用自动光学检查识别系统进行首度的瑕疵检测，然后将被判断为瑕疵的物件再使用本发明实施例所述的瑕疵判断装置100进行二度瑕疵检测，以避免“过杀”。因此，瑕疵判断装置100可通过进行首度检测的自动光学检查识别系统而获得物件的图像数据，也就是说，本实施例可将自动光学检查识别系统视为是图像来源装置120。应用本实施例者也可额外设置图像采集装置(如，照相机、摄影机)，并对物件采集其图像来进行本实施例的后续操作。

处理器130用以对物件数据库110与图像来源装置120进行存取、利用人工智能演算法计算相应的经训练模型、并实现本实施例所述的相关流程。本实施例的处理器130可以是笔记型电脑、个人电脑或特定服务器中的处理器。处理器130也可通过网络与其他服务器(如图1所示的服务器140)相互通信并协作，以有效地利用硬件运算资源实现本实施例。

图3是依照本发明的一些实施例的一种物件的瑕疵判断方法的流程图。请同时参照图1至图3，于步骤S310中，处理器130从物件数据库110获得多个物件PT1～PTn对应的多个训练数据集200-1～200-n。每个训练数据集200-1～200-n包括对应物件PT1～PTn的至少一瑕疵品数据DPT1～DPTn、至少一良品数据GPT1～GPTn以及至少一良品范本数据SGPT1～SGPTn。

于步骤S320中，处理器130基于训练数据集200-1～200-n中各个物件PT1～PTn的瑕疵品数据DPT1～DPTn、良品数据GPT1～GPTn以及良品范本数据SGPT1～SGPTn来训练人工智能演算法(也就是说，图2中的三元损失监督式学习演算法210)以计算出相应的经训练模型(也就是说，图2中的相异度模型220)。

概略来说，三元损失监督式学习演算法210在进行人工智能学习的步骤依序如下描述。首先，先建构用于计算相异度值的经训练模型(例如，相异度模型f)。本实施例将正在进行训练的相异度模型称为是相异度模型f，而将已完成训练的相异度模型称为是相异度模型220。应用本实施例者应可知悉，已完成训练的相异度模型220也可能因为加入新的训练数据集而需要重新训练，因此本实施例系因相异度模型f较易于在后续方程式中说明而略为区分，相异度模型220在图示上较易绘示而以不同方式呈现，这两者为相同物件。然后，在每次训练时，利用同一种物件(如，物件PT1)对应的训练数据集200-1～200-n以及三元损失监督式学习演算法210来使相异度模型f学习此物件PT1良品范本数据与瑕疵品数据之间的差异以及良品范本数据与良品数据之间的差异。举例来说，利用相异度模型f而使良品范本数据SGPT1与众多良品数据GPT1之间的相异度为低(也就是说，计算出的相异度值为低)，且利用相异度模型f而使良品范本数据SGPT1与众多瑕疵品数据DPT1之间的相异度为高(也就是说，计算出的相异度值为高)。并且，本实施例的处理器130利用这些物件PT1～PTn以及与其对应的训练数据集200-1～200-n来逐一地训练相异度模型f。在训练过程中，相异度模型f需要进行大量的迭代训练，直至三元损失函数收敛才可以视为训练完成。相异度模型f的受训练次数会受到物件PT1～PTn的种类的数量及相关参数所影响。因此，在经由上述的大量训练后，在不同物件PT1～PTn的计算都为收敛时，便可使经训练后的相异度模型220成为可以“比较所有不同物件及与其对应的良品范本数据的异同”的模型。所谓的“收敛”系为，类神经网络或人工智能演算法在经过大量数据的训练之后，组成类神经网络或人工智能演算法的每个神经元上的参数/权重会倾向接近到某些数值，此种现象便称为是“收敛”。换句话说，在本实施例中，训练时经由三元损失函数计算后得到的损失值，在多次的训练之后，每次训练获得的损失值都趋近于一小且稳定的数值的时候，便代表“收敛”。

图4A及图4B是利用三元损失监督式学习演算法210建立及调整相异度模型f的示意图。图4A是相异度模型f在受到物件PT1中训练数据集200-1的训练且并未训练完成(或称为，并未收敛)时的状态示意图；图4B是相异度模型f’在受到物件PT1中训练数据集200-1的训练且已训练完成(或称为，收敛)时的状态示意图。以图4A中相异度模型f的数学运算结果来说，瑕疵品数据的群集DPT1s跟良品范本数据SGPT1之间的距离(以f(SGPT1,DPT1s)表示相异度)短于良品数据的群集GPT1s跟良品范本数据SGPT1之间的距离(以f(SGPT1,GPT1s)表示相异度)，此时藉由相异度模型f运算出来的结果并非三元损失监督式学习演算法210所预设的结果(即，瑕疵品数据的群集DPT1s跟良品范本数据SGPT1的相异度低，而良品数据的群集GPT1s跟良品范本数据SGPT1的相异度高)，会让相异度模型f利用良品范本数据SGPT1与受测物件所计算出的结果(也就是说，相异度值)不符合本实施例需求。也就是说，当相异度模型f计算出受测图像跟良品范本数据SGPT1之间的相异度值较高(如，高于阀值)时，受测图像与良品数据的群集GPT1s较近而使受测物件更为近似于良品；当相异度模型f计算出的相异度值较低(如，低于阀值)时，受测图像与良品数据的群集GPT1s反而较远而使受测物件更为近似于瑕疵品。

相对地，以图4B中相异度模型f’的数学运算结果来说，瑕疵品数据的群集DPT1s跟良品范本数据SGPT1之间的距离(以f’(SGPT1,DPT1s)表示相异度)长于良品数据的群集GPT1s跟良品范本数据SGPT1之间的距离(以f’(SGPT1,GPT1s)表示相异度)，如此才可让相异度模型f利用良品范本数据SGPT1与受测物件所计算出的结果(也就是说，相异度值)符合本实施例需求。也就是说，当相异度模型f’计算出受测图像跟良品范本数据SGPT1之间的相异度值较高(如，高于阀值)时，受测物件与良品数据的群集GPT1s较远而使受测物件更为近似于瑕疵品；当相异度模型f计算出的相异度值较低(如，低于阀值)时，受测物件与良品数据的群集GPT1s较近而使受测物件更为近似于良品。

回到图2及图3，在步骤S320的相异度模型220训练完成(也就是说，已收敛)后，于步骤S330中，处理器130便从图像来源装置120中获得受测物件的受测图像TPT1、TPT2。详细来说，处理器130在获得受测图像TPT后，可利用自动光学检查识别系统或图像处理等方式采集受测图像TPT上的至少一个受测物件，在图2标示为受测物件TPT1及TPT2的图像数据。

于步骤S340中，处理器130分别利用受测物件TPT1及TPT2的图像数据判断这两个受测物件分别为物件数据库110中物件PT1～PTn中的其中一个(此物件被称为是受选择物件)，并从物件数据库110获得此受选择物件对应的训练数据集中的受选择良品范本数据。例如，图2中受测物件TPT1对应的良品范本数据为受选择良品范本数据SGPTa，受测物件TPT2对应的良品范本数据为受选择良品范本数据SGPTb，其中a与b为小于等于n的正整数。

于步骤S350中，响应于所述受测图像以及所述受选择良品范本数据(如，受测物件的受测图像TPT1及受选择良品范本数据SGPTa；受测物件的受测图像TPT2及受选择良品范本数据SGPTb)，处理器130利用相异度模型220分别计算受测物件的受测图像TPT1、受测图像TPT2与受选择良品范本数据SGPTa、SGPTb的相异度值，并依据此相异度值判断受测物件TPT1、TPT2为良品或瑕疵品。换句话说，依据前述步骤S320所训练完成的相异度模型220，当相异度模型220计算出的相异度值高于阀值时，受测物件TPT1、TPT2被判断为瑕疵品(如图2的方块240所示)；当相异度模型220计算出的相异度值低于阀值时，受测物件TPT1、TPT2被判断为良品(如图2的方块230所示)。

在此详加描述图2中三元损失监督式学习演算法210的细节流程。三元损失监督式学习演算法210使用卷积神经网络(convolutional neural network；CNN)进行特征采集，再比较良品范本数据与良品数据或瑕疵品数据的特征值作为相异度值。卷积神经网络为深度学习常用技术之一，且在各种图像处理中获得良好效果。卷积神经网络是使用图像数据中的特征向量进行比对。“特征向量”是指图像经由大量的卷积神经网络运算后，会浓缩出具备128维或64维的特征向量(维度也为卷积神经网络中可调控的参数)。本实施例利用特征向量对受测物件与良品数据、瑕疵品数据、良品范本数据相互比对。

本实施例中与相异度值相关的“阀值(Threshold)”系由实验数据来决定，作为相异度值足够低的标准。此标准通常也被视为深度学习演算法的参数，通常会在相异度模型220经训练之后，再根据整体数据交叉实验后的状况后决定阀值的确切数值。此外，本实施例不论是在处理良品数据或是处理瑕疵品数据时都使用同一套特征向量获取方式，因此相异度计算方式相同。

本实施例中，以卷积神经网络搭配三元损失函数作为举例，相异度模型220的训练方式可如下所述。首先，从训练数据集中选取出一对属于同种类的物件的良品数据与瑕疵品数据。将前述两者与事先决定好的良品范本数据放进卷积神经网络模型以运算得到分别对应三者的特征向量。将前述三者的三笔特征向量放入三元损失函数，并且应用本实施例者可依照实际情形调整CNN模型对于这三笔特征向量的权重。若CNN模型的权重设置不恰当，则良品范本数据与良品数据之间的差异将会增大，损失值则同时增大；反之，若CNN模型的权重设置恰当，良品范本数据与良品数据之间的差异将会减小，损失值则同时减小。藉由三元损失函数的大小来决定本次训练的权重需要调整的大小，以再次调整权重。反复训练且调整上述的权重，直至损失值达到最小且稳定(称之为收敛)。此时，可称相异度模型以及此相应度模型对应的权重已训练完成。

于本实施例中，物件的瑕疵品数据也有可能只具备一张图像数据，本实施例也可以藉由其他不同种类的物件的瑕疵品数据的情况来推得此种类的物件也有可能会发生类似瑕疵，例如，藉由用多种物件的瑕疵品数据训练一个共用的经训练模型(如，相异度模型)，让此经训练模型同时可以判断物件TP1的焊点脱落也能判断物件TP2外壳的边缘粉碎。由于经训练模型中也有物件TP2外壳的边缘粉碎的认知，因此在使用此经训练模型来进行物件TP1的瑕疵判断时，若物件TP1第一次出现边缘粉碎的图像(意即，物件TP1的边缘粉碎的图像先前未用于训练该经训练模型)，此经训练模型也能判别出其为瑕疵品，此经训练模型能在少量的瑕疵品数据的情况下识别出不同种类的瑕疵。

因此，在图3的步骤S350中，在训练出收敛的相异度模型220之后，处理器可获得受测物件相同种类的良品范本数据，并利用相异度模型220计算良品范本数据的特征向量(以f(良品范本数据)表示)以及受测物件的图像数据的特征向量(以f(受测物件)表示)。然后，利用上述两个特征向量计算出相异度值，例如将上述两个特征向量以最小平方和计算出一个数值作为相异度值。最后，便可利用在训练相异度模型f途中所决定的阀值与前述相异度值进行比较，从而决定此受测物件为良品或瑕疵品。例如，假设阀值为0.6，第一个受测物件经本实施例计算后的相异度值为0.2，第二受测物件经本实施例计算后的相异度值为0.8，则判定第一受测物件为良品(因0.2<0.6)，而第二受测物件为瑕疵品(因0.8>0.6)。

本实施例可与自动光学检查系统相互配合，从而获得更佳的瑕疵判断结果。当自动光学检查系统检测出有问题物件的图像数据后，将前述有问题物件的图像数据提供给处理器130，并藉由处理器130判断以得知前述有问题物件的名称(例如查找与自动光学检查系统共用的物料清单(BOM)表，或是利用图像辨别技术判断)，然后从物件数据库中取得此有问题物件对应的良品范本数据。之后，便可如图3的相应步骤所示以进行瑕疵判断。

图5是第一实施例的图2中三元损失监督式学习演算法210的内部流程示意图。在图5中，三元损失监督式学习演算法210具备特征模型510(以g(X,w)呈现)以及三元损失函数520。本实施例的特征模型510与三元损失函数520可由软件、固件、演算法或数据库等形式配合处理器实现，并存储于对应的存储设备中。首先，将多个物件PT1～PTn对应的训练数据集200-1～200-n以及权重w放入特征模型510，以获得训练数据集200-1～200-n中各个图像数据中的多个特征向量。并且，通过三元损失函数520以及前述特征向量计算每个物件PT1～PTn的三元损失值(以L1～Ln呈现)。之后，将加总各个物件对应的这些三元损失值L1～Ln，以获得所有训练数据集的总和三元损失值ML。接着，利用反向传播法530以计算得到三元损失值与权重w的梯度

以g(X,w)呈现的特征模型510是利用CNN建立特征模型演算结构的举例，可由三层CNN实现。于本实施例中，第一层CNN使用八个不同的卷积核、第二层CNN使用16个不同的卷积核、最后一层CNN则使用全连接层以计算成一个64维的向量。此64维的向量即为物件数据的特征向量。本实施例称此架构为g函数。本实施例的权重w可由第一层CNN的卷积核、第二层CNN的卷积核以及第三层CNN的全连接层的多种权重组合而成，权重w可为一个数值或是多个数值的集合。上述三层CNN可保留较多的特征信息以及缩减特征信息的信息量。应用本实施例者也可利用其他方式来运算特征模型510，并不受限于此。

三元损失函数520可由下述方程式(1)表示之，此处以2维特征向量作为举例：

L(X

方程式(1)中的“w”为权重，“X”为物件的图像数据。“X

以本实施例作为举例，第一层CNN的卷积核共80个权重、第二层CNN卷积核共1168个权重，第三层CNN的全连通层则共262,208个权重，因此w为一个共有263,456个权重的集合。举例来说，本实施例将神经网络超参数α设定为0.2，并使用二维特征向量作为举例。使用权重w

g(X

其中，g(X

使用权重w2、对应的特征模型510(g(X,w2))以及三元损失函数520(方程式(1))举例说明如以下方程式(3)：

g(X

其中，g(X

比对权重w

权重的选择将会影响CNN的卷积核。本实施例中利用CNN来训练最适合的卷积核可由下述方程式呈现：

在此举例说明如何计算权重。若初始权重w

并且，利用上述参数对权重进行一次迭代后会得出以下结果：

如此一来，权重相对应的损失将会发生改变，虽然上述损失不一定会下降，但

相异度模型220中设定的阀值可依据应用本实施例者的需求来决定，此处的“需求”例如是指应用端对于正确率、敏感度、特异度或误报率等的要求。在另一些实施例中，会使用接收者操作特征曲线(receiver operating characteristic curve；ROC Curve)来决定。

在此以图6与相应描述说明如何实现图3步骤S350所述“利用相异度模型计算受测图像的相异度值”。图6是依照本发明的一些实施例以说明图3步骤S350的流程示意图。当依据图5以及相应描述而完成对于相异度模型220的训练后，于图6中，本实施例获得前述经训练权重(在此以

然后，将与受测物件对应的受选择良品范本数据(在此以SGPTa作为举例)放入第二特征模型610，以获得受选择良品范本数据SGPTa的第一特征向量。在此以

区块620中相异度值的计算是将第一特征向量

图6所述为计算相异度值的其中一种可实施的计算方式，应用本实施例可依其需求调整相异度值的计算，不仅受限于此。

在此以实际的图像作为训练数据来说明本发明实施例。图7是依照本发明的一些实施例以说明两种物件的瑕疵品数据、良品数据以及良品范本数据的示意图。本实施例以两个物件做为举例，第一物件为呈现数字“4”的图像，第二物件则为呈现数字“0”的图像。图7呈现第一物件的两个良品范本数据SGPT1、两个良品数据GPT1、两个瑕疵品数据DPT1以及第二物件的两个良品范本数据SGPT2、两个良品数据GPT2、两个瑕疵品数据DPT2。瑕疵品数据DPT1都是被一个三角形阴影覆盖住数字“4”图像，因而判定为瑕疵物件；瑕疵品数据DPT2都是被一个矩形阴影覆盖住数字“0”图像，因而判定为瑕疵物件。由图7可知，瑕疵品数据DPT2中仅有受矩形阴影覆盖的第二物件图像，而没有受三角形阴影覆盖的第二物件图像。因此，本实施例于训练后，能将受三角形阴影覆盖的第二物件图像检测为具备高相异度，便是本实施例的其中一个测试目的。

图8是依照本发明的一些实施例及图7以说明作为受测物件的第二物件中的受选择良品范本数据以及不存在于训练数据集中的受测物件图像的示意图。图8上方横列由左至右依序呈现第二物件的第一受测物件图像DM1、第二物件的良品范本数据SGPT2-1、及第二物件的第二受测物件图像DM2；图8下方横列由左至右依序呈现、第二物件的第三受测物件图像DM3、第二物件的良品范本数据SGPT2-2、及第二物件的第四受测物件图像DM4。直接以图8可看出，第一及第三受测物件图像DM1、DM3为良品，第二受测物件图像DM2为受矩形阴影覆盖的瑕疵品，且第四受测物件图像DM4则为受三角形阴影覆盖的瑕疵品。

若以图7作为训练数据集，且利用图8的受选择良品范本数据SGPT2-1及第一受测物件图像DM1计算相异度值的话，经由本实施例计算出的第一相异度值为0.3237，表示第一相异度值较低而良品范本数据SGPT2-1及第一受测物件图像DM1相近似，故可判定为良品；以图7作为训练数据集，且利用图8的受选择良品范本数据SGPT2-1及第二受测物件图像DM2计算相异度值的话，经由本实施例计算出的第二相异度值为1.3341，表示第二相异度值较高而良品范本数据SGPT2-1及第二受测物件图像DM2不近似，故可判定为瑕疵品。因在图7的训练数据集中已出现过受矩形阴影覆盖的第二物件图像，因此图8上方横列的受测物件图像DM1、DM2为正常判断时的对照组。

另一方面，若以图7作为训练数据集，且利用图8的受选择良品范本数据SGPT2-2及第三受测物件图像DM3计算相异度值的话，经由本实施例计算出的第三相异度值为0.2422，表示第三相异度值较低而良品范本数据SGPT2-2及第三受测物件图像DM3相近似，故可判定为良品；以图7作为训练数据集，且利用图8的受选择良品范本数据SGPT2-2及第四受测物件图像DM4计算相异度值的话，经由本实施例计算出的第四相异度值为1.5664，表示第四相异度值较高而良品范本数据SGPT2-2及第四受测物件图像DM4不近似，故可判定为瑕疵品。需特别说明的是，图7中的训练数据集中并未出现第四受测物件图像DM4的类型，也就是，图7中并未出现受三角形阴影覆盖的第二物件图像，因此本实施例可藉由同时受过第一物件与第二物件训练的相异度模型来判断出原本出现于第一物件上而现在出现在第二物件上的瑕疵。换句话说，原本图7并不存在受三角形阴影覆盖的第二物件图像的训练数据集，但可藉由本实施例经训练后的相异度模型来计算出高相异度。

综上所述，本发明实施例利用不同类型的物件/零件建立可共用的机械学习演算法模型以自动地进行物件的瑕疵判断，使其同时适用于多种物件、电路元件或零件上，且在原有自动光学检查技术的基础上更为降低在瑕疵判断上的错误率。因此，本发明实施例不需针对不同物件/零件建立不同的机械学习演算法模型，可减少新产线建立时新物件/零件的瑕疵分类模型研发时间，也可在新物件/零件的良品数据量与瑕疵品数据量不足时仍能够建立较为有效的机械学习演算法模型。并且，在已进行自动光学检查识别技术的基础上进行二度检测，可减少所谓“过杀”的情形。

【符号说明】

100：物件的瑕疵判断装置

110：物件数据库

120：图像来源装置

130：处理器

140：服务器

200-1～200-n：训练数据集

210：三元损失监督式学习演算法

220：相异度模型

230：良品

240：瑕疵品

S310～S350：步骤

510：特征模型

520：三元损失函数

530：反向传播法

540：梯度

550：梯度下降法

PT1～PTn：物件

IM1～IMn：图像数据

DPT1～DPTn：瑕疵品数据

GPT1～GPTn：良品数据

SGPT1～SGPTn、SGPT2-1、SGPT2-2：良品范本数据

SGPTa、SGPTb：受选择良品范本数据

DPT1s：瑕疵品数据的群集

GPT1s：良品数据的群集

f(SGPT1,DPT1s)、f’(SGPT1,DPT1s)：瑕疵品数据的群集跟良品范本数据之间的距离

f(SGPT1,GPT1s)、f’(SGPT1,GPT1s)：良品数据的群集跟良品范本数据之间的距离

DM1～DM4：受测物件图像