自动检测系统及其操作方法

技术领域

本发明提供一种系统与方法，且特别是有关于一种自动检测系统及其操作方法。

背景技术

随着科技进步，使电子零件的尺寸缩小化而精密度则要求日益提高，故为了确保产品的合格率提升，在现代化制程中，需要在各个重要站点进行检测，以利及早抓出具有瑕疵或缺陷的不合格品，并减少制程资源的浪费，提升产线的产量及合格率，但也让制程消耗的时间会随着多站检测而增加，因此，为了加速检测的时间，自动视觉检测与自动光学检测等自动化检测技术，便成为制程中不可或缺的角色。

而一般自动化检测设备为普遍应用在电路板组装生产线的外观检查，并取代以往的人工目检作业，例如可用来检测电路板上的零件焊锡、组装后的质量状况，其基本的原理是利用影像技术来比对待测物与标准影像是否有过大差异，以判断待测物是否有符合标准，但传统的自动化检测设备常因色差、高度落差等因素，造成误报率过高，反而增加了事后人力替异常的检测进行复检及处理成本的浪费。

然而，随着现代的工业4.0与智能制造的兴起，并在讲究生产效率与质量的智能工厂中，质量检测是确保产线合格率与产品质量最重要的程序之一，为了提升检测作业的准确率，过去多用自动化检测设备来协助现场端产线人员作业，但是随着人工智能技术的应用日渐成为主流，逐渐成熟的人工智能技术也开始与自动化检测设备作整合，通过机械学习或深度学习算法，使自动化检测设备的瑕疵检测更精准，以降低自动化检测设备的误报率、节省大量人力成本，但是该制造业者所采用的机械学习或深度学习都需要先经过训练模式，再将训练结果下载至现场端自动化检测设备或终端设备应用的推论模式，而在训练模式的建立，最大的问题就是良好样本与瑕疵样本取得的比例相差悬殊，瑕疵样本的不足，也将导致难以有效训练能够辨识瑕疵的模型。

是以，在现今智能工厂自动化生产的时代，随着人工智能技术的应用日渐成为主流，要如何将人工智能技术导入自动化检测设备，以进一步降低漏检率或误报率，使整体检测流程缩短、节省大量人力成本和提升产线的产量及合格率，同时可收集现场端人工复判的结果作为后续模型训练的数据，以提升对待测物分类判断或辨识的精准度，让检测的质量更臻完善，则有待从事此行业者重新设计来加以解决。

发明内容

本发明的主要目的在于自动检测系统采用非侵入式设计可在产线不停机的状态下安装，并导入产线中已有的机器视觉检测装置，当机器视觉检测装置检测出具有瑕疵的待测物图像时，可由人工智能模块以深度学习算法自动进行瑕疵的分类推断，并由处理平台将人工智能模块对待测物的图像分类推断的结果，以自动插入或填写的方式迭加到修复站的操作画面上进行显示，以减少人工所需要检测的项目，让操作员可专注于复判，并提升作业的质量，当操作员进行复判时，处理平台便会拦截操作员通过输入单元输入的人工复判的结果数据，再发送给人工智能模块作为后续自动化进行分类模型再训练学习所需的数据，以进一步降低自动检测系统的误报率，让检测的质量更臻完善。

本发明的次要目的在于当操作员判断图像AI标记的瑕疵与其标记的不同时，则表示AI分类推断的结果与实际人工复检标记的结果不同，处理平台会收集人工复判的结果，作为后续人工智能模块再训练学习的数据，以达到后续检测流程对于相同或类似的误判样本不再发生误判情形，以此可提升分类判断或辨识的精准度，同时保留操作员过去的所有操作行为，让操作员熟悉现有系统增加的新功能，也可通过交互式操作画面缩短操作员的学习曲线，如此，不仅可使检测流程缩短、单位产能获得提升，更重要的是，软硬件都是外挂在原有的自动光学检测系统上，可有效轻松升级原有的系统与设备，同时减少人工复检繁复的检测项目，有效降低人力成本、提升产线的产量及合格率。

附图说明

图1为本发明自动检测系统的架构示意图。

图2为本发明的步骤流程图。

图3为本发明拦截操作员输入复判的结果进行人工智能训练并将相同的输入回传到修复站的示意图。

图4为本发明将人工智能分类推断的结果迭加到操作画面上的示意图。

附图标记说明：100-自动检测系统；101-机器视觉检测装置；102-修复站；103-人工智能模块；104-处理平台；200-待测物；300-操作画面；301-待测物的图像画面；302-待测物放大的图像画面；303-窗口。

具体实施方式

为达成上述的目的及功效，本发明所采用的技术手段及其构造，兹绘图就本发明的较佳实施例详加地说明其构造与功能如下。

请参阅图1～图4所示，分别为本发明自动检测系统的架构示意图、步骤流程图、拦截操作员输入复判的结果进行人工智能训练并将相同的输入回传到修复站的示意图及将人工智能分类推断的结果迭加到操作画面上的示意图，由图中可清楚看出，本发明的自动检测系统100包含一机器视觉检测装置101，用于对机台或输送带上运送的待测物200进行取像并检测出具有瑕疵或缺陷的待测物200；连接该机器视觉检测装置101的一修复站102，用于接收该待测物200的图像并通过一操作画面300来进行显示，以辅助一操作员进行人工复检；连接该机器视觉检测装置101的一人工智能模块103，用于撷取该待测物200的图像，以自动化进行该待测物200的瑕疵或缺陷的分类推断；以及连接该修复站102与该人工智能模块103的一处理平台104，用于接收该人工智能模块103分类推断的结果数据，并将其整合迭加于该修复站102的操作画面300上进行显示，以辅助该操作员进行人工复判的作业。

本发明另外提供一种自动检测系统的操作方法，其中该自动检测系统100包含上述的机器视觉检测装置101、修复站102、人工智能模块103及处理平台104，该方法包含下列的步骤：

(S101)机器视觉检测装置101取得待测物200的图像，并检测出具有瑕疵的待测物200。

(S102)人工智能模块103撷取待测物200的图像进行分类推断，并通过处理平台104将分类推断的结果数据自动迭加到修复站102的操作画面300上。

(S103)操作员利用操作画面300进行人工复检时，操作员通过用户界面对修复站102输入的结果数据会被处理平台104拦截发送至人工智能模块103，以作为该人工智能模块103后续自动化进行分类模型再训练学习所需的数据。

(S104)处理平台104将操作员所输入的结果数据，以相同的输入回传到修复站102。

由图中及上述的实施步骤可清楚得知，本发明使用的机器视觉检测装置101为自动光学检测(Automated Optical Inspection，AOI)或自动视觉检测(Automated VisualInspection，AVI)设备，并利用高精度的相机对机台或输送带上运送的待测物200进行取像，以机器视觉技术检测出具有瑕疵或缺陷的待测物200，且该待测物200较佳实施是以印刷电路板组装(PCBA)为例，以供机器视觉检测装置101可用来检测电路板上的零件焊锡、组装后的质量状况，但并不以此为限，亦可应用在印刷电路板(PCB)、芯片载板、平面显示器(FPD)、半导体、电子元件或其他制程中进行缺件、孔位、线路、外观检查与量测等。

在本实施例中，至少一个修复站102可通过修复服务器(Repair Server)取得多台机器视觉检测装置101检测出待测物200的图像及瑕疵或缺陷数据(AOI Image andDefects)等，并于人工智能模块103以在线条形码扫描仪(Inline Barcode Scanner)自动扫描待测物200上的标签产品序号(S/N)或部件编号(P/N)后，可通过显示接口(如VGA/DVI)的通讯协议来取得待测物200的图像，再利用非侵入式图像萃取器(Non-intrusive ImageExtractor)进行剪裁图像(Cropped Image)和光学字符识别(OCR)相关的图像处理，以提取出待测物200的信息和图像的特征数据后，便可通过AI服务器(AI Server)的运算平台以深度学习技术来自动化进行瑕疵或缺陷的分类推断等，并利用数据库(Database)收集与储存待测物200的信息和图像的特征数据，也可使用机器人流程自动化软件(RPA)自动到制造执行系统(MES)与企业管理平台(SAP)收集数据与前处理，以提供深度学习所需的数据。

详细来说，上述的AI服务器的深度学习运作，主要可分为模型训练(Training)和推论(Inference)模式，是通过算法从数据库中提取出相关可用的数据，如CSV(逗号分隔值，其档案以纯文本形式储存表格数据)、图像或文本等，并对提取出的特征数据进行预处理，以建立用于识别或分类的模型，用于将无标记的数据进行分群(Clustering)，而对于有标记的数据，则可提供模型训练学习的样本，找出优化的深度学习模型，此一模型经过训练学习的过程后可作为分类器使用，并将无标记的数据进行识别与分类(Classification)，进而能够自主的执行分类判断或预测，以完成推论的模式，但是此部分有关人工智能模块103所采用的深度学习包含很多种不同的算法，并在收集数据、建模、训练、评估、参数调整、预测等流程均不尽相同，但不论是深度学习或机械学习，都属于人工智能的范畴，合予陈明。

而处理平台103可通过手持式扫描仪(Handheld Scanner)自动扫描待测物200上所贴附或打印的产品序号(S/N)或部件编号(P/N)标签等，并将人工智能模块103对待测物200的图像分类推断的结果(AI Inferenced result)数据以自动插入或填写的方式迭加(Overlay)到修复站102所对应的用户界面的仿真器(UI Simulator)上，使操作画面300可显示出不同分类推断的结果，以辅助操作员可目视该操作画面300进行复判作业，便可减少人工所需检测的项目，使操作员可专注于复判来提升作业质量，而操作员复判的方式，是通过用户界面的输入单元包含但不限于鼠标、键盘或触控屏幕以进行标记待测物200的图像瑕疵或缺陷是否为真、分类结果是否正确等，并由处理平台103拦截操作员所输入的验证操作或手动检查的结果(Manual Inspection result)后，再将其输入的结果或人工复判的结果数据发送给人工智能模块103的AI服务器，以自动化进行分类模型的再训练与验证流程，同时处理平台103可将拦截到人工复判的结果数据，以相同的输入回传到修复站102进行处理。

请参阅图3～图4所示，本发明适用的自动检测系统100为采用非侵入式设计，可在产线不停机的状态下安装，并导入原有产线中已有的机器视觉检测装置101(如自动光学检测或自动视觉检测设备)，不但可扩充多台机器视觉检测装置101与修复站102接续处理，并由人工智能模块103以条形码扫描仪自动扫描待测物200上的标签，可自动剪裁取得待测物200的图像、提取待测物200的信息和机器视觉检测装置101检测的特征数据，以进行AI训练和推论，且可通过处理平台103将其分类推断的结果数据自动迭加到修复站102的操作画面300中。

举例来说，上述的修复站102的操作画面300包含主机各种的设定、基本操作、检测条件的设定、选单、数据列表、待测物原始的图像画面301、待测物放大的图像画面302，以及具有特定的文字、不同的背景颜色或提示色彩并用于代表不同AI分类推断结果的窗口303等，其中窗口303为处理平台103将人工智能模块103对待测物200的图像分类推断的结果数据自动迭加到操作画面300中的提示窗口，当操作员目视操作画面300进行复判时，由于人工智能模块103会对机器视觉检测装置101所检测出具有瑕疵或缺陷的待测物200进行复检，不须大量有标记的图像数据或样本进行训练，就可以降低90％以上的误报率，并将分类推断的结果迭加到操作画面300中，让操作员可依据窗口303显示出AI分类推断的结果决定是否要进行人工复检，包含没有结果(No Result)、信心十足(Above Confidence)及信心不足(Below Confidence)，不但在查看结果上更加容易，并可通过交互式操作画面300指导操作员接受AI分类推断的结果、减少人工所需要检测的项目，当检测的项目大量减少后，操作员就可以专注于复判，提升作业的质量。

若是窗口303显示出AI分类推断的结果为没有结果或信心不足时，操作员可通过输入单元(如鼠标、键盘等)在待测物放大的图像画面302上进行标记瑕疵或缺陷是否为真，并在操作画面300中可提供正确选项及错误选项给操作员点选，当操作员判断图像上AI标记的瑕疵或缺陷位置与其标记的位置不同时，则表示AI分类推断的结果与实际人工复检所标记的结果不同，可能是AI的模型误判所导致分类错误或人工标记错误，需要人工再次确认标记的正确性，处理平台103便会自动拦截操作员所输入的验证操作或手动检查的结果，再将其人工复判的结果数据和图像等发送给人工智能模块103的AI服务器，以自动化进行分类模型的再训练与验证流程，并持续训练AI服务器的深度学习模型，直到人工智能模块103能够自主的执行分类判断或预测后，或是准确率不再提高就停止训练，以进一步降低自动检测系统100的漏检率或误报率，让检测的质量更臻完善。

此种自动检测系统100的处理平台103可同时收集人工复判的结果，作为后续人工智能模块103再训练学习所需的数据，其中再训练流程是将经由人工复判的结果数据加入AI服务器的学习样本数据库，使分类模型可自动调整各节点的参数或权重，以达到后续检测流程对于相同或类似的误判样本不再发生误判情形，以此提升对待测物200进行分类判断或辨识的精准度，同时保留了操作员过去的所有操作行为，让操作员可快速熟悉现有系统增加的新功能，也可通过交互式操作画面300缩短了操作员的学习曲线，如此一来，不仅可使整体的检测流程缩短、单位产能获得提升，更重要的是，软硬件都是外挂在原有的自动光学检测系统上，可有效轻松升级原有的系统与设备，同时减少人工复检繁复的检测项目，有效降低人力成本、提升产线的产量及合格率。

上述详细说明为针对本发明一种较佳的可行实施例说明而已，但是该实施例并非用以限定本发明的申请专利范围，凡其他未脱离本发明所揭示的技艺精神下所完成的均等变化与修饰变更，均应包含于本发明所涵盖的专利范围中。