一种多目标随机阵列飞拍视觉检测方法及检测系统

技术领域

本说明书一个或多个实施例涉及半导体检测技术领域，尤其涉及一种多目标随机阵列飞拍视觉检测方法及检测系统。

背景技术

Wire Bonding称为绑定、键合或丝焊，是指使用金属丝(金线、铝线等)利用热压或超声能源完成微电子器件中固态电路内部互连接线的连接，即芯片与电路或引线框架之间的连接。常见于表面封装工艺，如COB工艺、微电池制造等。Wire Bonding是封装工艺中最为关键的一步，主要目的是利用金线(Au)、铝线(Al)或铜线(Cu)，把芯片上的Pad和基板上Finger通过焊接的方法连接起来。金线键合工艺完成后，需要借助光学检测技术确认金属引线的键合效果，包括线高、线共面度和焊接缺陷等。

现有技术中对Wire Bonding的检测，将AOI视觉软件和运动控制集成在同一设备，通过运动控制来控制产品到位、光源亮起和相机触发拍摄。这种技术中，视觉和运动控制在高并发检测和强算力时会出现系统资源争抢，容易产生异常，稳定性差；同时，AOI从属于上位机设备，导致大部分执行逻辑有上位机主导，控制变更时需要修改上位机底层代码，会影响到视觉检测部分，且整体扩展性差。

发明内容

有鉴于此，本说明书一个或多个实施例的目的在于提出一种多目标随机阵列飞拍视觉检测方法及检测系统，以解决金线模组的检测问题。

基于上述目的，本说明书一个或多个实施例提供了一种多目标随机阵列飞拍视觉检测方法，包括：

产品承载装置将待检测产品移动至图像采集装置的图像采集位置；

图像采集装置对所述待检测产品采用点位启停方式进行连续飞拍，获得所述待检测产品的多帧有序的待检测图像并传输给图像采集处理器；其中，每帧所述待检测图像包括所述待检测产品的至少部分图像；

图像处理装置采用并行的处理方式对所述有序待检测图像进行缺陷检测，获得所述待检测产品的部分缺陷检测结果并发送给上位机；

所述上位机对多个所述部分缺陷检测结果进行处理，获得所述待检测产品的完整缺陷检测结果并展示。

可选的，所述将待检测产品移动至图像采集装置的图像采集位置之前，还包括：采集所述待检测产品的ID信息。

可选的，还包括：所述图像采集装置同时执行传输当前帧待检测图像的传输以及下一帧待检测图像的拍摄。

可选的，所述将待检测产品移动至图像采集装置的图像采集位置之前，还包括：基于所述待检测产品上的位置识别点调整所述产品承载装置的位置，以使所述待检测产品与所述图像采集装置的采集视野对齐。

可选的，所述图像处理装置采用并行的处理方式对所述有序待检测图像进行缺陷检测，包括：基于所述待检测产品上的位置识别点以及预先存储的基准图像计算位置偏移量，基于所述基准图像获取基准目标检测单元，基于所述基准目标检测单元及所述位置偏移量获取所述待检测产品的待检测目标单元。

可选的，所述获取所述待检测产品的待检测目标单元之后，还包括：

采用预设的缺陷检测算子对所述待检测目标单元进行检测，获得部分缺陷检测结果；

其中，所述缺陷检测算子通过对典型缺陷类型的分析处理获得，或者基于所述基准图像获得。

可选的，所述采用预设的缺陷检测算子对所述待检测目标单元进行检测，获得部分缺陷检测结果，包括：

获取第一焊点金球的坐标以及芯片焊盘的坐标，计算所述第一焊点金球与所述芯片焊盘之间的第一位置度；

获取第二焊点金球的坐标以及印刷线路板焊盘的坐标，计算所述第二焊点金球与所述印刷线路板焊盘之间的第二位置度；

获取连接所述第一焊点金球、所述第二焊点金球的金线的金线固定轨迹；

基于所述第一焊点金球的坐标、所述第二焊点金球的坐标、所述金线固定轨迹以及预先获取的缺陷检测算子，确定所述待检测目标单元的缺陷位置和缺陷种类。

可选的，所述缺陷种类包括：漏焊、缺焊、焊偏、颈断、焊点偏移、高尔夫球、焊渣残留、焊线翘曲和塌线。

可选的，还包括：获取不同光源照射条件下的所述待检测图像。

本说明书一个或多个实施例提供了一种多目标随机阵列飞拍视觉检测系统，用于实现如上述任一项所述的多目标随机阵列飞拍视觉检测方法，包括产品承载装置、图像采集装置、图像处理装置以及上位机；其中，

所述产品承载装置，被配置为：将待检测产品移动至图像采集装置的图像采集位置；

所述图像采集装置，被配置为：对所述待检测产品采用点位启停方式进行连续飞拍，获得所述待检测产品的多帧有序的待检测图像并传输给图像采集处理器；其中，每帧所述待检测图像包括所述待检测产品的至少部分图像；

所述图像处理装置，被配置为：采用并行的处理方式对所述有序待检测图像进行缺陷检测，获得所述待检测产品的部分缺陷检测结果并发送给上位机；

所述上位机，被配置为：对多个所述部分缺陷检测结果进行处理，获得所述待检测产品的完整缺陷检测结果并展示。

从上面所述可以看出，本说明书一个或多个实施例提供的多目标随机阵列飞拍视觉检测方法及检测系统，通过图像采集装置获取检测产品的多帧有序的待检测图像，通过图像检测装置对待检测图像进行缺陷检测，并将检测出的部分缺陷检测结果汇总生成完整缺陷检测结果后通过上位机进行展示，将缺陷检测和运动控制分散开，避免缺陷检测与运动控制在高并发和强算力时会出现资源争抢，降低故障率；缺陷检测由图像检测装置自行实现，变更时无需修改上位机底层代码，不影响视觉缺陷检测部分，扩展性好。

附图说明

为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本说明书一个或多个实施例金线模组的结构示意图；

图2为本说明书一个或多个实施例多目标随机阵列飞拍视觉检测方法的流程示意图；

图3为本说明书一个或多个实施例图像采集处理示意图；

图4为本说明书一个或多个实施例待检测目标单元示意图；

图5为本说明书一个或多个实施例待检测目标单元的缺陷检测示意图；

图6为本说明书一个或多个实施例多目标随机阵列飞拍视觉检测系统的结构框图。

具体实施方式

为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。

需要说明的是，除非另外定义，本说明书一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本说明书一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

如背景技术部分所述，Wire Bonding的焊接方式有热压焊、超声键合和热超声焊等。以热超声焊为例：主要材料为金线，成分为99.99％的高纯度金，线径一般为0.8mil，1.0mil，1.3mils，1.5mils和2.0mils等。利用超声振动提供的能量，使金丝在金属焊区表面迅速摩擦生热，产生塑性变形，破坏金属层界面的氧化层，两个纯净的金属界面紧密接触，在钢嘴压力作用下，达到原子间紧密键合，形成牢固的焊接，从而得到绑定后整板的金线模组，如图1所示。通过光学检测技术确认金属引线的键合效果时，键合线的测量需面对金属线反光，线细(通常为20-40微米)，以及测量精度要求高等挑战。

然而，现有技术中所采用的AOI视觉检测方法，算法封装在底层，导致参数逻辑步骤不清晰、且调参可视化差，极依赖人眼经验；同时由于基于基础算法，因此为了迎合速度采用低分辨率成像、简易算法、性能折扣，检测项过少，或者局限在特定场景下，解决特性问题、对目前工厂环境下的适应较差。

基于上述原因，本说明书的一个或多个实施例提供一种多目标随机阵列飞拍视觉检测方法，如图2所示，所述检测方法包括：

步骤S101，产品承载装置将待检测产品移动至图像采集装置的图像采集位置。

本步骤中待检测产品为金线模组，产品承载装置为夹持装置。首先，通过导轨的粗定位，将金线模组移动至检测区域，再通过夹持装置将金线模组移动至图像采集装置的图像采集位置进行图像采集。

步骤S102，图像采集装置对所述待检测产品采用点位启停方式进行连续飞拍，获得所述待检测产品的多帧有序待检测图像并传输给图像采集处理器；其中，每帧所述待检测图像包括所述待检测产品的至少部分图像。

本步骤中，图像采集装置可以为AOI相机；采集图像时，产品承载装置的位置不动，图像采集装置从起始位移动，基于上位机提供的导航轨迹对待检测产品进行高速点阵飞拍，从而获得多帧有序的待检测图像，并将待检测图像传输给图像采集处理器。其中AOI相机为12M高帧率彩色相机，AOI相机的运动机构采用点位启停方式搭载AOI相机做飞拍，即运动机构在相机曝光完成后即可移动到下一点位继续拍摄。

步骤S103，图像处理装置采用并行的处理方式对所述有序待检测图像进行缺陷检测，获得所述待检测产品的部分缺陷检测结果并发送给上位机。

其中，图像处理装置搭载图像检测系统，内置图像检测算法，可以对基于待检测图像对待检测产品进行缺陷检测。图像处理装置可以为工业个人计算机(IndustrinlPesonal Computer，IPC)。本实施例中，如图3所示，图像采集装置支持在流程间、相机内、状态间的八核十六线程的并行多线程检测，图像采集装置每采集一帧待检测图像即将其传输给图像处理装置，由图像处理装置内部进行并行检测，即图像采集装置同时执行传输当前帧待检测图像的传输以及下一帧待检测图像的拍摄，从而提高检测效率，避免资源之间相互竞争。图像处理装置内部的线程数量可自由配置和自由竞争动态分配，从而实现后台资源自适应。

步骤S104，所述上位机对多个所述计算机的所述部分缺陷检测结果进行处理，以获得所述待检测产品的完整缺陷检测结果。

在本步骤中，上位机将全部的部分缺陷检测结果进行汇总，并筛选出从属于同一待检测产品的部分缺陷检测结果，依据上位机的展示要求进行展示，以供检测人员查看。同时，上位机可以提供基于缺陷判定结果向图像的追溯和关联显示、实现逐个历史产品检测结果的切换预览，显示隶属于当前待检测产品的图像、算子执行属性和判定结果、数据、状态和流程结果信息等。

本说明书实施例所述多目标随机阵列飞拍视觉检测方法，通过图像采集装置获取检测产品的多帧有序的待检测图像，通过图像检测装置对待检测图像进行缺陷检测，并将检测出的部分缺陷检测结果汇总生成完整缺陷检测结果后通过上位机进行展示，将缺陷检测和运动控制分散开，避免缺陷检测与运动控制在高并发和强算力时会出现资源争抢，降低故障率；缺陷检测由图像检测装置自行实现，变更时无需修改上位机底层代码，不影响视觉缺陷检测部分，扩展性好。

可选的，上位机还可以基于缺陷判定结果的焦点向图像追溯和关联显示、实现逐个历史产品检测结果的切换预览，显示隶属于当前产品的图像、算子执行属性和判定结果、数据、状态和流程结果信息等。

可选的，本实施例所述检测方法还可以用于Mini LED、Micro LED、Array阵列等行业应用的缺陷检测。

在本说明书的一个或多个实施例中，步骤S101中产品承载装置将待检测产品移动至图像采集装置的图像采集位置之前，还包括：采集所述待检测产品的ID信息。本实施例中，在采集待检测图像之前，先通过USB扫码枪对待检测产品上的ID条码进行扫描以获得待检测产品的ID信息，并将该ID信息发送给各个图像采集装置，图像采集装置可基于该ID信息可以确定待检测产品的类型、型号、身份ID等特征。类型、型号等数据可确定后续检测时所调用的模板等数据。身份ID可用于确定当前待检测产品的身份，后续获得的待检测图像、部分缺陷检测结果均会包括该ID信息，以便于图像检测装置可基于ID信息识别出从属于同一待检测产品的部分缺陷检测结果，并基于ID信息将部分缺陷检测结果汇总生成完整缺陷检测结果。

可选的，步骤S101中产品承载装置将待检测产品移动至图像采集装置的图像采集位置之前，还包括：基于所述待检测产品上的位置识别点(Mark点)调整所述产品承载装置的位置，以使所述待检测产品与所述图像采集装置的采集视野对齐。本实施例中，当待检测产品的整体位姿发生偏移时，图像采集装置基于待检测产品的位置识别点(Mark点)及预先存储的基准图像确定待检测图像中待检测产品的位姿偏移量，之后基于该位姿偏移量调整产品承载装置的位置，从而实现产品承载装置的精定位以及硬限位，使得待检测产品的位置精度<0.1mm。

在本说明书的一个或多个可选实施例中，步骤S103中所述图像处理装置采用并行的处理方式对所述有序待检测图像进行缺陷检测，包括：基于所述待检测产品上的位置识别点以及预先存储的基准图像计算位置偏移量，基于所述基准图像获取基准目标单元，基于所述基准目标单元及所述位置偏移量获取所述待检测产品的待检测目标单元。

本实施例中，基于待检测产品的ID信息可以获取到预先存储于系统中，且与该待检测产品对应的基准图像，而在该基准图像中已标记出各个需要检测的位置，即基准目标检测单元，因此仅需计算出基准图像中的产品与待检测图像中待检测产品之间的位置偏移量，结合基准目标检测单元的位置即可计算出待检测产品的待检测目标单元所在的位置，后续则可以基于待检测目标单元进行缺陷检测。

可选的，位置修正后，还需平移阵列出所有待检测目标单元，并进行编号和行列划分，以便于后续确定缺陷位置等信息。

可选的，获取所述待检测产品的待检测目标单元之后，还包括：采用预设的缺陷检测算子对所述待检测目标单元进行检测，获得部分缺陷检测结果。其中，所述缺陷检测算子通过对典型缺陷类型的分析处理获得，或者基于所述基准图像获得。

本实施例中，首先对典型缺陷进行图像模式识别，获取各个缺陷类型的特征；对典型缺陷进行灰度图及彩色图的综合分析，获取其在反光等条件下的缺陷特征；基于上述分析，获得各种缺陷类型的缺陷检测算子。其中，缺陷检测算子可以包括第一焊点、第二焊点、边缘缺陷、重线、三极管焊点等的检测算子。此时，当对待检测目标单元进行检测时，所获得的各项参数信息符合缺陷检测算子的缺陷特征，则可判定该处存在缺陷。

或者，基于不包含缺陷的基准图像获得。例如，首先获取一个未打金线、金球等结构的第一基准图像，基于第一基准图像获取其芯片植球区域、Mark点区域、金手指区域的特征，基于芯片植球区域、Mark点区域、金手指区域可分别构建相应的检测算子；再获取第二基准图像，该第二基准图像中金球、金手指、金线等结构均为正常无缺陷，基于该第二基准图像可获得其第一金球、金线、第二金球以及第一金球、金线、第二金球组合形成的整体分别生成检测算子；最后基于上述获得的检测算子得到最终的缺陷检测算子。此时，当对待检测目标单元进行检测时，所获得的各项参数信息不符合缺陷检测算子的特征，则可判定该处存在缺陷。

在一些可选的实施例中，所述采用预设的缺陷检测算子对所述待检测目标单元进行检测，获得部分缺陷检测结果，包括

步骤S201，获取第一焊点金球的坐标以及芯片焊盘的坐标，计算所述第一焊点金球与所述芯片焊盘之间的第一位置度。

如图4所示，在一个具体的实施例中，待检测目标单元包括第一焊点金球、第二焊点金球以及连结二者的金线。其中，第一焊点金球需要位于芯片焊盘内，第二焊点金球需要位于印刷线路板焊盘即第二焊点焊盘内，金线需连结第一焊点金球及第二焊点金球不能断开。基于上述条件对第一焊点金球、第二焊点金球、金线进行检测。

本步骤中，利用待检测产品的装配时的高精度，先使用边缘轮廓包裹圆形定位到第一焊点金球的坐标，再使用边缘轮廓包裹方形定位到芯片焊盘的坐标，然后把两个坐标做位置度计算。

步骤S202，获取第二焊点金球的坐标以及印刷线路板焊盘的坐标，计算所述第二焊点金球与所述印刷线路板焊盘之间的第二位置度。

本步骤中，利用PCB的装配时的高精度，先使用边缘轮廓包裹圆形定位到第二焊点金球的坐标，再使用边缘轮廓包裹多边形定位PCB的焊盘的坐标，然后把两个坐标做位置度计算。

步骤S203，获取连接所述第一焊点金球、所述第二焊点金球的金线的金线固定轨迹。

步骤S204，基于所述第一焊点金球的坐标、所述第二焊点金球的坐标、所述金线固定轨迹以及预先获取的缺陷检测算子，确定所述待检测目标单元的缺陷位置和缺陷种类。

本步骤中，再根据第一焊点金球和第二焊点金球的位置坐标，按照金线固定轨迹，间隔区域查找，分析颜色成分波动和像素位置波动，以实现目标的缺陷检出和分类。

本实施例中，根据预先获取的缺陷检测算子，可以基于第一焊点金球与芯片焊盘之间的第一位置度可以判定第一焊点金球是否位于芯片焊盘内，基于第二焊点金球与印刷线路板焊盘之间的第二位置度可以判定第二焊点金球是否位于印刷线路板焊盘内，再基于金线固定轨迹确定金线是否断开、交叉等，最终确定缺陷位置和缺陷种类，其缺陷判断示意图如图5所示。

其中，所述缺陷种类包括：漏焊、缺焊、焊偏、颈断、焊点偏移、高尔夫球、焊渣残留、焊线翘曲和塌线等。

在一些可选的实施例中，所述方法还包括：获取不同光源照射条件下的所述待检测图像。本实施例中，通过图像采集装置与光源的时序控制组合，通过RGB专用AOI高速频闪光源，自定义指令控制，按需切换出、红光、蓝光、绿光的任意组合，实现多色光如蓝光、黄光、红光等多个光谱段下的图像采集。

需要说明的是，本说明书一个或多个实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本说明书一个或多个实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。

需要说明的是，上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

基于同一发明构思，与上述任意实施例方法相对应的，本说明书一个或多个实施例还提供了一种多目标随机阵列飞拍视觉检测系统。如图6所示，所述检测系统包括产品承载装置、图像采集装置、图像处理装置以及上位机；其中，

所述产品承载装置，被配置为：将待检测产品移动至图像采集装置的图像采集位置；

所述图像采集装置，被配置为：对所述待检测产品采用点位启停方式进行连续飞拍，获得所述待检测产品的多帧有序的待检测图像并传输给图像采集处理器；其中，每帧所述待检测图像包括所述待检测产品的至少部分图像；

所述图像处理装置，被配置为：采用并行的处理方式对所述有序待检测图像进行缺陷检测，获得所述待检测产品的部分缺陷检测结果并发送给上位机；

所述上位机，被配置为：对多个所述部分缺陷检测结果进行处理，获得所述待检测产品的完整缺陷检测结果并展示。

上述实施例的检测系统用于实现前述任一实施例中相应的多目标随机阵列飞拍视觉检测方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本说明书一个或多个实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本说明书一个或多个实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本说明书一个或多个实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本说明书一个或多个实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本说明书一个或多个实施例。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。

本说明书一个或多个实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。