一种多目标多区域视觉检测方法及检测系统

技术领域

本说明书一个或多个实施例涉及半导体检测技术领域，尤其涉及一种多目标多区域视觉检测方法及系统。

背景技术

显示器指纹感应，也称为屏幕指纹，是智能手机的新兴功能。随着屏幕指纹传感技术的改进以及手机越来越趋向于全面屏的设计，屏幕指纹技术得到了快速的发展。

目前，指纹模组通常采用光学取像和超声波回传的技术方案。指纹模组属于高精密复杂制程，其制作过程中容易出现各种缺陷，因此需要对其进行检测。

然而现有技术中，该领域类型的AOI视觉目前普及度低，且将主要设备按照既有的工艺严格定制以匹配当前的型号和检测要求，无法实现多目标多种缺陷的检测。

发明内容

有鉴于此，本说明书一个或多个实施例的目的在于提出一种多目标多区域视觉检测方法及系统，以解决具有多检测目标产品的缺陷检测问题。

基于上述目的，本说明书一个或多个实施例提供了一种多目标多区域视觉检测方法，包括：

产品承载装置将待检测产品移动至图像采集装置的图像采集位置；

图像采集装置对所述待检测产品进行扫描成像，获得所述待检测产品的待检测图像并发送给图像处理装置；

图像处理装置基于所述待检测图像对多个所述待检测产品的多个区域进行提取，获得多个所述待检测产品的多个不同类型的待检测区域，分别基于多个所述待检测产品的多个不同类型的所述待检测区域进行缺陷检测以获得各个所述待检测区域的部分缺陷检测结果，基于所述部分缺陷检测结果生成完整缺陷检测结果并发送给上位机；

所述上位机对完整缺陷检测结果进行展示。

可选的，还包括：所述图像采集装置同时执行当前帧待检测产品完整图像的传输以及下一帧待检测产品完整图像的拍摄。

可选的，所述图像采集装置采集整板待检测目标作为所述待检测图像，所述整板待检测目标包括一个或多个所述待检测产品。

可选的，所述图像采集装置对所述待检测产品进行扫描成像之前，还包括：获取整板待检测目标的整板标记。

可选的，还包括：获取所述整板待检测目标中的感兴趣区域，所述感兴趣区域中包括全部的所述待检测产品；

对所述感兴趣区域进行行列划分，基于所述行列划分的结果与所述待检测产品的位置关系确定每个所述待检测产品的产品编号。

可选的，还包括：

获取所述整板待检测目标中的阵列排布的感兴趣区域，每个所述感兴趣区域中包括一个所述待检测产品；

基于所述感兴趣区域与所述待检测产品的位置关系确定每个所述待检测产品的产品编号。

可选的，还包括：

所述图像处理装置确定所述待检测产品的所述待检测区域的区域标记，并基于所述产品编号及所述区域标记对从属于同一个所述待检测产品的所述部分缺陷检测结果进行处理，以生成该待检测产品的产品缺陷检测结果。

可选的，还包括：

所述图像处理装置，基于所述整板标记以及从属于该整板待检测目标的全部的所述产品缺陷检测结果，生成所述整板待检测目标的所述完整缺陷检测结果。

可选的，基于多个所述待检测产品的多个不同类型的所述待检测区域进行缺陷检测以获得各个所述待检测区域的部分缺陷检测结果，包括：

基于所述整板标记及所述区域标记获取预先存储的缺陷检测模板；所述缺陷检测模板包括标准产品的基准图像和掩膜图像；

基于所述待检测区域及所述缺陷检测模板生成所述待检测区域的待检测掩膜图像；

基于所述待检测掩膜图像进行自适应增强滤波，获得滤波后的待检测滤波图像；

基于所述待检测滤波图像进行局部动态阈值划分，基于局部动态阈值划分的结果获得该述待检测区域的所述部分缺陷检测结果。

本说明书一个或多个实施例提供了一种多目标多区域视觉检测系统，用于实现如上述任一项所述的多目标多区域视觉检测方法，包括产品承载装置、图像采集装置、图像处理装置以及上位机；其中，

所述产品承载装置，被配置为：将待检测产品移动至图像采集装置的图像采集位置；

所述图像采集装置，被配置为：对所述待检测产品进行扫描成像，获得所述待检测产品的待检测产品完整图像并发送给图像处理装置；

所述图像处理装置，被配置为：对多个所述待检测产品的多个区域进行提取，获得多个所述待检测产品的多个不同类型的待检测区域，分别基于多个所述待检测产品的多个不同类型的所述待检测区域进行缺陷检测以获得各个所述待检测区域的部分缺陷检测结果，基于所述部分缺陷检测结果生成完整缺陷检测结果并发送给上位机；

所述上位机，被配置为：对完整缺陷检测结果进行展示。

从上面所述可以看出，本说明书一个或多个实施例提供的多目标多区域视觉检测方法及系统，通过图像采集装置获取待检测产品完整图像，通过图像检测装置对待检测产品完整图像进行区域划分后分别进行缺陷检测，并将检测出的部分缺陷检测结果汇总生成完整缺陷检测结果后通过上位机进行展示，提供了一种通用的多目标检测方法；同时，将缺陷检测和运动控制分散开，避免缺陷检测与运动控制在高并发和强算力时会出现资源争抢，降低故障率；缺陷检测由图像检测装置自行实现，变更时无需修改上位机底层代码，不影响视觉缺陷检测部分，扩展性好。

附图说明

为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本说明书一个或多个实施例多目标多区域视觉检测方法的流程示意图；

图2为本说明书一个或多个实施例图像采集处理示意图；

图3为本说明书一个或多个实施例多目标多区域检测示意图；

图4为本说明书一个或多个实施例感兴趣区域提取示意图；

图5为本说明书一个或多个实施例另一感兴趣区域提取示意图；

图6为本说明书一个或多个实施例缺陷检测示意图；

图7为本说明书一个或多个实施例多目标多区域视觉检测系统的框架图。

具体实施方式

为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。

需要说明的是，除非另外定义，本说明书一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本说明书一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

如背景技术部分所述，指纹模组属于高精密复杂制程，其包括线路区、金手指区、Mark区、晶格区、边缘等多部分结构区域，在制作过程中容易出现各种类型的缺陷。其中，常见缺陷有气泡、刮伤、漏液、偏位、分层、残胶、溢胶、表面脏污、崩边、凸起、印记、凹凸点、锯齿、缺口、氧化、腐蚀等。其检测精度要求较高，难于进行缺陷检测。

然而，目前针对不同的工艺段提供的AOI视觉设备的形态差异非常大，有单轨的、有双轨的、有往返型的、有直通型，不同的设备型号对视觉方案的逻辑配合完全不同，很多均偏定制开发、界面繁琐、交互难度大，依次配置后，修改参数困难，当出现换型时，或者新产品、新缺陷时需要重新从代码层改起，工作量，容易宕机，造成产能损失。

申请人在实现本公开的过程中发现，如果能够统一实现多目标多区域的复合场景检测，则可更好的实现对指纹模组的检测。

以下，通过具体的实施例进一步详细说明本公开的技术方案。

本说明书一个或多个实施例提供一种多目标多区域视觉检测方法，如图1所示，所述检测方法包括：

步骤S101，产品承载装置将待检测产品移动至图像采集装置的图像采集位置。

本步骤中待检测产品为指纹模组、显示芯片、光通讯芯片、微机电芯片(MEMS)、通用硅基芯片等行业应用的高精度、小视野、多目标、多区域、多规格的检测产品。产品承载装置为六轴机器人，在上位机的控制下，六轴机器人夹持待检测产品移动到图像采集装置的图像采集位置。

步骤S102，图像采集装置对所述待检测产品进行扫描成像，获得所述待检测产品的待检测产品完整图像并发送给图像处理装置。

本步骤中，图像采集装置可以为线阵相机或面阵相机，线扫相机使用I/O卡的外部触发信号进行连续直线扫描成像，面阵相机的依靠软件内部触发进行图像采集，通过多个线阵相机、面阵相机的并行采集实现在不同精度、光场下的图像采集。

步骤S103，图像处理装置对多个所述待检测产品的多个区域进行提取，获得多个所述待检测产品的多个不同类型的待检测区域，分别基于多个所述待检测产品的多个不同类型的所述待检测区域进行缺陷检测以获得各个所述待检测区域的部分缺陷检测结果，基于所述部分缺陷检测结果生成完整缺陷检测结果并发送给上位机。

其中，图像处理装置搭载图像检测系统，内置图像检测算法，可以对基于待检测图像对待检测产品进行缺陷检测。图像处理装置可以为工业个人计算机(IndustrinlPesonal Computer，IPC)。本实施例中，如图2所示，图像采集装置支持并行多线程检测，图像采集装置每采集一帧待检测图像即将其传输给图像处理装置，由图像处理装置进行检测，即图像采集装置同时执行传输当前帧待检测图像的传输以及下一帧待检测图像的拍摄，从而提高检测效率，避免资源之间相互竞争。

本步骤中，如图3所示，获取待检测产品完整图像之后，图像处理装置进行区域提取，从而获得每个待检测产品的多个类型的检测区域，例如线路区、金手指区、Mark区、晶格区、边缘等，再针对每个不同区域进行缺陷检测，将检测结果汇总后绘制在一张完整的待检测图像上，以便于检测人员的查看。可选的，为了便于查看，为不同的缺陷分配不同的颜色。其中，完整缺陷检测结果包括检测过程数据以及最终的检测结果，例如原图、缺陷小图、缺陷信息等。

步骤S104，所述上位机对完整缺陷检测结果进行展示。

在本步骤中，上位机依据系统预设的展示要求进行展示，以供检测人员查看。同时，上位机可以提供基于缺陷判定结果向图像的追溯和关联显示、实现逐个历史产品检测结果的切换预览，显示隶属于当前待检测产品的图像、算子执行属性和判定结果、数据、状态和流程结果信息等。

本说明书实施例所述多目标多区域视觉检测方法，通过图像采集装置获取待检测产品完整图像，通过图像检测装置对待检测产品完整图像进行区域划分后分别进行缺陷检测，并将检测出的部分缺陷检测结果汇总生成完整缺陷检测结果后通过上位机进行展示，提供了一种通用的多目标检测方法；同时，将缺陷检测和运动控制分散开，避免缺陷检测与运动控制在高并发和强算力时会出现资源争抢，降低故障率；缺陷检测由图像检测装置自行实现，变更时无需修改上位机底层代码，不影响视觉缺陷检测部分，扩展性好。

在本说明书的一些实施例中，产品承载装置可以同时承载一个或多个待检测目标，即一个或多个待检测目标以整板形式存在，产品承载装置从料盘取出整板待检测目标后移动至图像采集装置的图像采集位置后，图像采集装置对整板待检测目标进行扫描从而获得待检测图像。在一些可选的实施例中，所述图像采集装置对所述待检测产品进行扫描成像之前，还包括：获取整板待检测目标的整板标记。

本实施例中，在采集待检测图像之前，先对待检测产品上的五位字符串进行读码以获得整板待检测目标的整板标记，并将该整板标记发送给图像采集装置，图像采集装置可基于该整板标记确定待检测产品的类型、型号等特征。后续进行区域提取、缺陷检测时均包含该整板标记，从而实现多相机、多状态、多目标、多区域、多参数、多规格、多标记的完整缺陷检测链条，以便于最终能够基于整板标记汇总从属于同一整板待检测目标的全部部分缺陷检测结果提供给检测人员查看。可选的，获取整板待检测目标的整板标记后，获取整板待检测目标的行列信息数据。

可选的，基于所述整板待检测目标上的位置识别点(Mark点)进行XYZ轴方向的移动，以实现对整板待检测目标的角度纠偏和位置矫正，使得整板待检测目标的整体均能够被图像采集装置拍摄到。本实施例中，当待检测产品的整体位姿发生偏移时，图像采集装置基于待检测产品的位置识别点(Mark点)及预先存储的基准图像确定待检测图像中待检测产品的位姿偏移量，之后基于该位姿偏移量调整产品承载装置的位置，从而实现产品承载装置的角度纠偏和位置矫正。

角度纠偏和位置矫正完成后，六轴机器人夹持整板待检测目标匀速穿过图像采集装置的图像采集区域，从而获得待检测图像。

在整板待检测目标中，各个待检测产品的个数及位置可能不固定，即不同的整板待检测目标中待检测产品的位置随机出现且数量也随机时，如图4所示，图像处理装置获取所述整板待检测目标中的感兴趣区域，之后对所述感兴趣区域ROI进行行列划分，基于所述行列划分的结果与所述待检测产品的位置关系确定每个所述待检测产品的产品编号。本实施例中，所述感兴趣区域中包括全部的所述待检测产品，后续基于感兴趣区域进行检测时，将感兴趣区域进行行列划分即可得到感兴趣区域中各行、各列的坐标信息，基于感兴趣区域中各行、各列的坐标信息与待检测产品之间的位置关系为每个待检测产品进行编号。

在另一些可选的实施例中，当待检测产品在整板待检测目标中的位置是规则排布时，此时无论待检测产品是数量是否固定，均可获取规则排布的多个感兴趣区域。如图5所示，待检测产品在整板待检测目标中阵列排布，此时获取所述整板待检测目标中的阵列排布的感兴趣区域，并基于所述感兴趣区域与所述待检测产品的位置关系确定每个所述待检测产品的产品编号；其中，每个所述感兴趣区域中包括一个所述待检测产品。这样，基于每个感兴趣区域所在的位置即可确定每个待检测产品的位置，并为每个待检测产品进行编号。

因此，无论整板待检测目标中待检测产品的个数是否波动变化、位置是否波动变化、间距是否波动变化、甚至局部特征是否也发生变化，本实施例所述多目标多区域视觉检测均可提取感兴趣区域后进行缺陷检测。

在本说明书的另一些可选实施例中，所述图像处理装置基于所述待检测图像对多个所述待检测产品的多个区域进行提取获得待检测区域时，同时确定所述待检测产品的所述待检测区域的区域标记，并且在后续的缺陷检测以及检测结果中均包含该区域标记，以便于实现后续的数据处理。即图像处理装置基于所述产品编号及所述区域标记对从属于同一个所述待检测产品的所述部分缺陷检测结果进行处理，以生成该待检测产品的产品缺陷检测结果。同时，所述图像处理装置还基于所述整板标记以及从属于该整板待检测目标的全部的所述产品缺陷检测结果，生成所述整板待检测目标的所述完整缺陷检测结果。

在上述实施例中，可采用多ROI多参数分组共享技术，基于多个感兴趣区域(ROI)分组的功能，添加多个感兴趣区域。其中，添加的多个感兴趣区域可以是矩形、圆形、多边形等不同的类型，并对多个不同的感兴趣区域进行分组，采用不同的颜色标记不同的分组以便于区分不同的分组，对属于同一分组感兴趣区域的输入参数、属性参数、公差参数进行统一配置、编辑以及修改，无需单独修改单独配置；同时，未分组的感兴趣区域的参数也可单独设置，这样可以更方便的识别出不同类型的感兴趣区域，且实现多区域的检测，便于用户使用和查看。

可选的，步骤S103中所述基于多个所述待检测产品的多个不同类型的所述待检测区域进行缺陷检测以获得各个所述待检测区域的部分缺陷检测结果，包括：

步骤S201，基于所述整板标记及所述区域标记获取预先存储的缺陷检测模板；所述缺陷检测模板包括标准产品的基准图像和掩膜图像。

步骤S202，基于所述待检测区域及所述缺陷检测模板生成所述待检测区域的待检测掩膜图像，通过对目标区域的边缘轮廓的亮暗变化边缘阈值像素提取，通过面积、极性等过滤掉干扰对象，并平滑成封闭区域，直至贴合包裹实际目标的边缘后再转换成掩模图像。

步骤S203，基于所述待检测掩膜图像进行自适应增强滤波，获得滤波后的待检测滤波图像。

步骤S204，基于所述待检测滤波图像进行局部动态阈值划分，基于局部动态阈值划分的结果获得该述待检测区域的所述部分缺陷检测结果。

本实施例中，首先获取没有缺陷的标准样品的产品图像作为基准图像和掩膜(Mask)图像，后续检测时的待检测图像均与基准图像和掩膜图像做对比，以便于确定具有缺陷的差异像素的亮暗灰度和颜色。

在进行检测时，基于当前待检测区域的整板标记确定及区域标记确定所使用的缺陷检测模板的类别，从调用与待检测区域对应的缺陷检测模板进行缺陷检测。

如图6所示，首先基于缺陷检测模板将待检测区域的原始图像生成待检测掩膜图像。之后采用自适应增强滤波算法对待检测掩膜图像进行处理，基于动态阈值对待检测掩膜图像进行划分，基于阈值划分的结果判断当前区域是否为缺陷，若是则对此处进行标记并确定缺陷的分类、等级等信息。

需要说明的是，上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书实施例所述多目标多区域视觉检测方法，提供多目标同时检测的能力、对目标进行分割提取后做ROI阵列化后实现1个像素的追踪精度、且允许目标个数波动变化、位置波动变化、间距波动变化、甚至局部特征也发生变化；通过对ROI的区域标记，实现不同区域的缺陷采用不同的定义方式，并通过特征图绘制给客户；多ROI多参时可实现打通整个软件的多相机、多状态、多目标、多区域、多参数、多规格、多标记的完整缺陷检测链条，更加匹配客户现场的实际检测场景。

基于同一发明构思，与上述任意实施例方法相对应的，本说明书一个或多个实施例还提供了一种多目标多区域视觉检测系统，用于实现如上述任一项实施例所述的多目标多区域视觉检测方法。如图7所示，所述检测系统包括产品承载装置、图像采集装置、图像处理装置以及上位机；其中，

所述产品承载装置，被配置为：将待检测产品移动至图像采集装置的图像采集位置；

所述图像采集装置，被配置为：对所述待检测产品进行扫描成像，获得所述待检测产品的待检测产品完整图像并发送给图像处理装置；

所述图像处理装置，被配置为：对多个所述待检测产品的多个区域进行提取，获得多个所述待检测产品的多个不同类型的待检测区域，分别基于多个所述待检测产品的多个不同类型的所述待检测区域进行缺陷检测以获得各个所述待检测区域的部分缺陷检测结果，基于所述部分缺陷检测结果生成完整缺陷检测结果并发送给上位机；

所述上位机，被配置为：对完整缺陷检测结果进行展示。

上述实施例的装置用于实现前述实施例中相应的多目标多区域视觉检测方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本说明书一个或多个实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本说明书一个或多个实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本说明书一个或多个实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本说明书一个或多个实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本说明书一个或多个实施例。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。

本说明书一个或多个实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。