掌桥专利:专业的专利平台
掌桥专利
首页

一种缺陷定位方法、装置及电子设备

文献发布时间:2024-04-18 19:58:21


一种缺陷定位方法、装置及电子设备

技术领域

本申请涉及图像处理技术领域,特别是一种缺陷定位方法、装置及电子设备。

背景技术

在汽车制造过程中,汽车零部件将被放置到冲压车间进行压制,而在压制过程中,由于工艺、设备等因素,可能会在汽车零部件表面留下压划伤。

为了修复压制过程造成的压划伤,通常,在压制流程后,质检工人会对各个汽车零部件进行压划伤检测,并在汽车零部件中确定所检测到的压划伤的位置。然而,确定压划伤的位置需要质检工人具有较高的精细度和专注度,从而,人工定位压划伤的方法周期较长,进而,导致压划伤定位的效率较低。

发明内容

本申请实施例的目的在于提供一种缺陷定位方法、装置及电子设备,以提高缺陷定位效率。具体技术方案如下:

第一方面,本申请实施例提供了一种缺陷定位方法,所述方法包括:

获取红外相机所采集的关于待检测对象的待检测图像;其中,所述待检测对象放置于传送带上,所述红外相机位于所述传送带上方;

对所述待检测图像进行缺陷检测,并确定所检测到的缺陷在图像坐标系中的图像坐标;

根据所述图像坐标,以及关于所述图像坐标系和所述传送带对应的世界坐标系的转换关系,确定所述缺陷与所述待检测对象上的第一参照点在所述第一坐标轴方向上的第一距离,以及所述缺陷与所述待检测对象上的第二参照点在所述第二坐标轴方向上的第二距离;

基于所述第一距离、所述第二距离、所述第一参照点和所述第二参照点,在所述待检测对象中定位所述缺陷。

可选的,一种具体实现方式中,所述根据所述图像坐标,以及关于所述图像坐标系和所述传送带对应的世界坐标系的转换关系,确定所述缺陷与所述待检测对象上的第一参照点在所述第一坐标轴方向上的第一距离,以及所述缺陷与所述待检测对象上的第二参照点在所述第二坐标轴方向上的第二距离,包括:

根据所述图像坐标中所述第一坐标轴的第一坐标、采集所述缺陷所在待检测图像时所述预设第一初始坐标的坐标变化值、预设第一初始坐标以及关于所述图像坐标系和所述传送带对应的世界坐标系的转换关系,确定所述缺陷与所述第一参照点在所述第一坐标轴方向上的第一距离;其中,所述预设第一初始坐标为:首次在所述待检测图像中检测到所述第一参照点时,所述第一参照点在所述第一坐标轴的坐标;

根据所述采集范围与所述传送带在所述世界坐标系的第二坐标轴方向上的位置关系、所述图像坐标中所述第二坐标轴的第二坐标、预设第二初始坐标以及所述转换关系,确定所述缺陷与所述第二边缘点在所述第二坐标轴方向上的第二距离;其中,所述预设第二初始坐标为:所述第二参照点在所述第二坐标轴的坐标。

可选的,一种具体实现方式中,所述图像坐标系的第一坐标轴的正方向与所述传送带的传送方向相同;所述第一参照点为所述待检测对象最先或者最后进入所述红外相机的采集范围的第一边缘点,且所述第二参照点为所述待检测对象中所述第二坐标轴的坐标最大或者最小的第二边缘点;

所述根据所述图像坐标,以及关于所述图像坐标系和所述传送带对应的世界坐标系的转换关系,确定所述缺陷与所述待检测对象上的第一参照点在所述第一坐标轴方向上的第一距离,以及所述缺陷与所述待检测对象上的第二参照点在所述第二坐标轴方向上的第二距离,包括:

根据所述图像坐标中所述第一坐标轴的第一坐标、采集所述缺陷所在待检测图像时所述预设第三初始坐标的坐标变化值、预设第三初始坐标以及关于所述图像坐标系和所述传送带对应的世界坐标系的转换关系,确定所述缺陷与所述第一边缘点在所述第一坐标轴方向上的第一距离;其中,所述预设第三初始坐标为:首次在所述待检测图像中检测到所述第一边缘点时,所述第一边缘点在所述第一坐标轴的坐标;

根据所述采集范围与所述传送带在所述世界坐标系的第二坐标轴方向上的位置关系、所述图像坐标中所述第二坐标轴的第二坐标、预设第四初始坐标以及所述转换关系,确定所述缺陷与所述第二边缘点在所述第二坐标轴方向上的第二距离;其中,所述预设第四初始坐标为:所述第二边缘点在所述第二坐标轴的坐标。

可选的,一种具体实现方式中,所述根据所述图像坐标中所述第一坐标轴的第一坐标、采集所述缺陷所在待检测图像时所述预设第三初始坐标的坐标变化值、预设第三初始坐标以及关于所述图像坐标系和所述传送带对应的世界坐标系的转换关系,确定所述缺陷与所述第一边缘点在所述第一坐标轴方向上的第一距离,包括:

计算预设第三初始坐标与采集所述缺陷所在待检测图像时所述预设第三初始坐标的坐标变化值的和值;

计算所述和值与所述图像坐标中所述第一坐标轴的第一坐标的差值绝对值;

基于所述差值绝对值,以及所述图像坐标系和所述传送带对应的世界坐标系的转换关系,计算所述缺陷与所述第一边缘点在所述第一坐标轴方向上的第一距离。

可选的,一种具体实现方式中,所述坐标变化值的确定方式,包括:

根据所述红外相机的采集频率、所述缺陷所在待检测图像的采集序号以及所述传送带的移动速度,确定所述坐标变化值;

其中,所述采集序号用于表征:在按照采集时间由早到晚的顺序排列所述多帧待检测图像时,所述缺陷所在待检测图像的排序。

可选的,一种具体实现方式中,所述根据所述采集范围与所述传送带在所述世界坐标系的第二坐标轴方向上的位置关系、所述图像坐标中所述第二坐标轴的第二坐标、预设第四初始坐标以及所述转换关系,确定所述缺陷与所述第二边缘点在所述第二坐标轴方向上的第二距离,包括:

根据所述采集范围与所述传送带在所述世界坐标系的第二坐标轴方向上的位置关系、所述图像坐标中所述第二坐标轴的第二坐标、预设第四初始坐标以及所述转换关系,确定所述缺陷的指定坐标;其中,所述指定坐标包括所述缺陷在所述世界坐标系的第二坐标轴的坐标;

计算第二边缘点的目标坐标,与所述指定坐标的差值,作为所述缺陷与所述第二边缘点在所述第二坐标轴方向上的第二距离;其中,所述目标坐标是所述第二边缘点在所述世界坐标系的第二坐标轴的坐标。

可选的,一种具体实现方式中,所述传送带两侧设置有光栅,所述光栅位于所述红外相机的采集范围的边缘;所述多帧待检测图像是所述红外相机在所述待检测对象开始遮挡所述光栅至移出所述光栅区域的过程中采集的,所述预设第三初始坐标为:所述光栅所处位置在所述图像坐标系的第一坐标轴上的坐标。

可选的,一种具体实现方式中,所述红外相机的数量为多个,所述多个红外相机沿所述第二坐标轴所在方向排列,且所述多个红外相机的采集范围覆盖所述第二坐标轴所在方向上所述传送带区域。

第二方面,本申请实施例提供了一种缺陷定位装置,所述装置包括:

图像获取模块,用于获取红外相机所采集的关于待检测对象的待检测图像;其中,所述待检测对象放置于传送带上,所述红外相机位于所述传送带上方;

检测模块,用于对所述待检测图像进行缺陷检测,并确定所检测到的缺陷在图像坐标系中的图像坐标;

距离确定模块,用于根据所述图像坐标,以及关于所述图像坐标系和所述传送带对应的世界坐标系的转换关系,确定所述缺陷与所述待检测对象上的第一参照点在所述第一坐标轴方向上的第一距离,以及所述缺陷与所述待检测对象上的第二参照点在所述第二坐标轴方向上的第二距离;

定位模块,用于基于所述第一距离、所述第二距离、所述第一参照点和所述第二参照点,在所述待检测对象中定位所述缺陷。

可选的,一种具体实现方式中,所述距离确定模块,具体用于:

根据所述图像坐标中所述第一坐标轴的第一坐标、采集所述缺陷所在待检测图像时所述预设第一初始坐标的坐标变化值、预设第一初始坐标以及关于所述图像坐标系和所述传送带对应的世界坐标系的转换关系,确定所述缺陷与所述第一参照点在所述第一坐标轴方向上的第一距离;其中,所述预设第一初始坐标为:首次在所述待检测图像中检测到所述第一参照点时,所述第一参照点在所述第一坐标轴的坐标;

根据所述采集范围与所述传送带在所述世界坐标系的第二坐标轴方向上的位置关系、所述图像坐标中所述第二坐标轴的第二坐标、预设第二初始坐标以及所述转换关系,确定所述缺陷与所述第二边缘点在所述第二坐标轴方向上的第二距离;其中,所述预设第二初始坐标为:所述第二参照点在所述第二坐标轴的坐标。

可选的,一种具体实现方式中,所述图像坐标系的第一坐标轴的正方向与所述传送带的传送方向相同;所述第一参照点为所述待检测对象最先或者最后进入所述红外相机的采集范围的第一边缘点,且所述第二参照点为所述待检测对象中所述第二坐标轴的坐标最大或者最小的第二边缘点;

所述距离确定模块,包括:

第一距离确定子模块,用于根据所述图像坐标中所述第一坐标轴的第一坐标、采集所述缺陷所在待检测图像时所述预设第三初始坐标的坐标变化值、预设第三初始坐标以及关于所述图像坐标系和所述传送带对应的世界坐标系的转换关系,确定所述缺陷与所述第一边缘点在所述第一坐标轴方向上的第一距离;其中,所述预设第三初始坐标为:首次在所述待检测图像中检测到所述第一边缘点时,所述第一边缘点在所述第一坐标轴的坐标;

第二距离确定子模块,用于根据所述采集范围与所述传送带在所述世界坐标系的第二坐标轴方向上的位置关系、所述图像坐标中所述第二坐标轴的第二坐标、预设第四初始坐标以及所述转换关系,确定所述缺陷与所述第二边缘点在所述第二坐标轴方向上的第二距离;其中,所述预设第四初始坐标为:所述第二边缘点在所述第二坐标轴的坐标。

可选的,一种具体实现方式中,所述第一距离确定子模块,具体用于:

计算预设第三初始坐标与采集所述缺陷所在待检测图像时所述预设第三初始坐标的坐标变化值的和值;

计算所述和值与所述图像坐标中所述第一坐标轴的第一坐标的差值绝对值;

基于所述差值绝对值,以及所述图像坐标系和所述传送带对应的世界坐标系的转换关系,计算所述缺陷与所述第一边缘点在所述第一坐标轴方向上的第一距离。

可选的,一种具体实现方式中,

所述装置还包括坐标变化值确定模块,所述坐标变化值确定模块,具体用于:

根据所述红外相机的采集频率、所述缺陷所在待检测图像的采集序号以及所述传送带的移动速度,确定所述坐标变化值;

其中,所述采集序号用于表征:在按照采集时间由早到晚的顺序排列所述多帧待检测图像时,所述缺陷所在待检测图像的排序。

可选的,一种具体实现方式中,所述第二距离确定子模块,具体用于:

根据所述采集范围与所述传送带在所述世界坐标系的第二坐标轴方向上的位置关系、所述图像坐标中所述第二坐标轴的第二坐标、预设第四初始坐标以及所述转换关系,确定所述缺陷的指定坐标;其中,所述指定坐标包括所述缺陷在所述世界坐标系的第二坐标轴的坐标;

计算第二边缘点的目标坐标,与所述指定坐标的差值,作为所述缺陷与所述第二边缘点在所述第二坐标轴方向上的第二距离;其中,所述目标坐标是所述第二边缘点在所述世界坐标系的第二坐标轴的坐标。

可选的,一种具体实现方式中,所述传送带两侧设置有光栅,所述光栅位于所述红外相机的采集范围的边缘;所述多帧待检测图像是所述红外相机在所述待检测对象开始遮挡所述光栅至移出所述光栅区域的过程中采集的,所述预设第三初始坐标为:所述光栅所处位置在所述图像坐标系的第一坐标轴上的坐标。

可选的,一种具体实现方式中,所述红外相机的数量为多个,所述多个红外相机沿所述第二坐标轴所在方向排列,且所述多个红外相机的采集范围覆盖所述第二坐标轴所在方向上所述传送带区域。

第三方面,本申请实施例提供了一种电子设备,包括:

存储器,用于存放计算机程序;

处理器,用于执行存储器上所存放的程序时,实现上述任一方法实施例的步骤。

第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一方法实施例的步骤。

第五方面,本申请实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一方法实施例的步骤。

本申请实施例有益效果:

以上可见,在进行缺陷定位时,可以首先确定所检测到的缺陷在图像坐标系中的图像坐标,然后,根据所检测到的缺陷的图像坐标,以及关于图像坐标系和传送带对应的世界坐标系的转换关系,分别确定在两个坐标轴所在方向上,缺陷与参照点的距离,从而,利用上述距离,在待检测图像中定位该缺陷。这样,相比于人工定位的方法,可以缩短定位周期较长,提高缺陷定位效率;并且,使用红外相机所采集的红外图像进行缺陷检测,可以避免出现因零件反光而导致的缺陷检测效果较差的情况,提高缺陷检测的准确性,进而,可以提高缺陷定位的准确性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的实施例。

图1(a)-图1(b)分别为本申请实施例提供的待检测对象的图像的示意图;

图1(c)-图1(d)分别为本申请实施例提供的图像坐标系的第一坐标轴的正方向与指定传送方向的示意图;

图2(a)为本申请实施例提供的光栅的示意图;

图2(b)为本申请实施例提供的红外相机的安装位置的示意图;

图2(c)为本申请实施例提供的红外相机的采集范围与传送带在世界坐标系的第二坐标轴方向上的位置关系的示意图;

图2(d)-图2(e)分别为本申请实施例提供的第二距离的具体实例的示意图;

图2(f)-图2(g)分别为本申请实施例提供的参照点的位置示意图;

图3为本申请实施例提供的一种缺陷定位方法的流程示意图;

图4为本申请实施例提供的又一种缺陷定位方法的流程示意图;

图5(a)-图5(b)分别为本申请实施例提供的缺陷定位实例的示意图;

图6为本申请实施例提供的又一种缺陷定位方法的流程示意图;

图7为本申请实施例提供的第一边缘点的预设第三初始坐标的示意图;

图8为本申请实施例提供的一种缺陷定位装置的结构示意图;

图9为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员基于本申请所获得的所有其他实施例,都属于本申请保护的范围。

为了修复压制过程造成的压划伤,通常,在压制流程后,质检工人会对各个汽车零部件进行压划伤检测,并在汽车零部件中确定所检测到的压划伤的位置。然而,确定压划伤的位置需要质检工人具有较高的精细度和专注度,从而,人工定位压划伤的方法周期较长,进而,导致压划伤定位的效率较低。

为了解决上述问题,本申请实施例提供了一种缺陷定位方法。

其中,该方法适用于需要利用红外相机对物体上的缺陷进行定位的各类场景,例如,对汽车前门外板上的缺陷进行定位;又例如,对笔记本电脑外壳上的缺陷进行定位等。

并且,该方法的执行主体可以是各种可以获取红外图像等数据,并对所获取的数据进行处理的电子设备。该电子设备可以是具有数据处理功能的红外相机,也可以是与红外相机相通信的具备数据处理功能的各种电子设备,例如,手机、笔记本电脑、台式电脑、工控机等。此外,在该方法的执行主体为电子设备时,该电子设备可以是独立的电子设备,也可以是由多台电子设备构成的设备集群,以下简称电子设备。

基于此,不对本申请实施例的应用场景和执行主体进行限定。

本申请实施例提供的一种缺陷定位方法,可以包括如下步骤:

获取红外相机所采集的关于待检测对象的待检测图像;其中,所述待检测对象放置于传送带上,所述红外相机位于所述传送带上方;

对所述待检测图像进行缺陷检测,并确定所检测到的缺陷在图像坐标系中的图像坐标;

根据所述图像坐标,以及关于所述图像坐标系和所述传送带对应的世界坐标系的转换关系,确定所述缺陷与所述待检测对象上的第一参照点在所述第一坐标轴方向上的第一距离,以及所述缺陷与所述待检测对象上的第二参照点在所述第二坐标轴方向上的第二距离;

基于所述第一距离、所述第二距离、所述第一参照点和所述第二参照点,在所述待检测对象中定位所述缺陷。

以上可见,在进行缺陷定位时,可以首先确定所检测到的缺陷在图像坐标系中的图像坐标,然后,根据所检测到的缺陷的图像坐标,以及关于图像坐标系和传送带对应的世界坐标系的转换关系,分别确定在两个坐标轴所在方向上,缺陷与参照点的距离,从而,利用上述距离,在待检测图像中定位该缺陷。这样,相比于人工定位的方法,可以缩短定位周期较长,提高缺陷定位效率;并且,使用红外相机所采集的红外图像进行缺陷检测,可以避免出现因零件反光而导致的缺陷检测效果较差的情况,提高缺陷检测的准确性,进而,可以提高缺陷定位的准确性。

为了更好地理解本申请实施例提供的一种缺陷定位方法,首先对本申请实施例涉及到的相关概念进行解释。

世界坐标系,是一个三维直角坐标系,它可以反映现实世界中的物体的位置。世界坐标系的原点可以根据实际情况来确定。

相机坐标系,是一个三维直角坐标系,原点位于相机的镜头光心处,X轴、Y轴分别与像面的两边平行,Z轴为镜头光轴,与像面垂直。其中,像面为相机成像的平面。

像素坐标系,是一个二维直角坐标系,反映了相机电荷耦合元件中像素的排列情况。像素坐标系的原点位于图像的左上角,U轴、V轴分别与像面的两边平行,并且,像素坐标系中坐标轴的单位是像素(整数)。

图像坐标系,是一个二维直角坐标系。由于像素坐标系不利于坐标变换,因此建立了图像坐标系。像素坐标系的坐标轴的单位与世界坐标系、相机坐标系中坐标轴的单位可以相互转换。图像坐标系的原点是相机光轴与像面的交点(或称为主点),即图像的中心点,图像坐标系的X轴与像素坐标系的U轴平行,且图像坐标系的Y轴分别与像素坐标系的V轴平行。因此,像素坐标系和图像坐标系可以视为是平移关系,即像素坐标系可以通过平移得到图像坐标系,而二者的不同之处在于坐标轴的单位。

接着,对本申请实施例提供的相机标定方法所涉及的场景进行举例说明。

对于一些表面较为光滑的待检测对象,例如,汽车门外板、前罩外板等金属零件,在可见光照射在该待检测对象上时,由于镜面反射的影响,其成像效果如图1(a)所示,在此成像效果下,无法有效地检测该待检测对象上的缺陷。从而,为了可以有效地对各类待检测对象进行缺陷检测,可以使用红外光源照射该待检测对象,并利用红外相机对该待检测对象进行图像采集,从而,其成像效果如图1(b)所示,进而,可以对该待检测对象的红外图像进行检测,从而,检测到该待检测对象上的缺陷。

为了对各个待检测对象进行缺陷检测,可以将各个待检测对象依次放置于传送方向为指定传送方向的传送带上。这样,随着传送带的移动,每个待检测对象将依次被传动带传送到图像采集区域。

图像采集区域内安装有红外光源,且在该图像采集区域内传送带的上方安装有红外相机。这样,在待检测对象随着传送带进入图像采集区域时,红外光源可以照射在传送带上的待检测对象上,且传送带上方的红外相机可以对该传送带上的待检测对象进行图像采集。

其中,由于传送带的移动,针对传送带上的某一点,该点在传送带对应的世界坐标系中的一个坐标轴上的坐标是变化的,从而,可以将该变化的坐标对应的坐标轴,作为第一坐标,而将另一个坐标轴,作为第二坐标轴。并且,上述第一坐标轴可以是X轴,也可以是Y轴,相应的,在X轴为第一坐标轴时,Y轴为第二坐标轴;而在Y轴为第一坐标轴时,X轴为第二坐标轴。

那么,可以将红外相机安装在世界坐标系的第二坐标轴方向上,该红外相机所对应的图像坐标系的第一坐标轴的正方向可以与上述指定传送方向相同,也可以与上述指定传送方向不同。并且,上述图像坐标系的第一坐标轴可以是X轴,也可以是Y轴,这都是合理的,在本申请实施例中不做具体限定。

示例性的,如图1(c)所示,图像坐标系的第一坐标轴的正方向与传送带的指定传送方向相同,则随着传送带的移动,待检测对象上的点W的图像坐标中第一坐标轴方向上的坐标逐渐增大;如图1(d)所示,图像坐标系的第一坐标轴的正方向与传送带的指定传送方向相反,则随着传送带的移动,待检测对象上的点W的图像坐标中第一坐标轴方向上的坐标逐渐减小。

并且,可选的,红外相机可以按照预设采集频率进行图像采集,得到该待检测对象的多帧待检测图像,其中,上述预设采集频率可以按照实际需要进行设定,例如,每秒采集5次、每秒采集10次等,这都是合理的,在本申请实施例中不做具体限定。

为了确定开始对该传送带上的待检测对象进行图像采集的时刻,可以在该图像采集区域内预先设置传感装置。这样,在待检测对象被传送的过程中,若检测到该待检测对象触发上述传感装置,便可以控制红外相机开始对该待检测对象进行图像采集,得到该待检测对象的多帧待检测图像。

其中,上述传感装置可以是光栅,也可以是雷达,还可以是重力传感器,当然,还可以是其他类型的传感装置,这都是合理的,在本申请实施例中不做具体限定。

可选的,一种具体实现方式中,传送带两侧设置有光栅,光栅位于红外相机的采集范围的边缘;多帧待检测图像是红外相机在待检测对象开始遮挡光栅至移出光栅区域的过程中采集的,预设第三初始坐标为:光栅所处位置在图像坐标系的第一坐标轴上的坐标。

在本具体实现方式中,可以在传送带两侧设置光栅,而所设置的光栅位于红外相机的采集范围的边缘。这样,在待检测对象开始遮挡光栅时,可以控制红外相机开始采集该待检测对象的图像,并在该待检测离开光栅区域时,便可以控制红外相机停止采集该待检测对象的图像。

基于此,在待检测对象开始遮挡光栅至移出光栅区域的过程中,该红外相机可以采集到该待检测对象的多帧图像,而每帧图像均可以作为该待检测对象的待检测图像。也就是说,关于待检测对象的待检测图像是红外相机在该待检测对象处于光栅区域内时,采集的图像。

示例性的,如图2(a)所示,可以在图像采集区域中,用于传送待检测对象的传送带两侧设置光栅,这样,待检测对象被放置于传送带上后,可以随着传送带的传送,被传送至光栅区域内。从而,在该待检测对象开始遮挡光栅时,便可以控制红外相机采集该待检测对象的图像,并在检测到该待检测对象被传送出光栅区域,不再遮挡光栅时,停止控制红外相机采集该待检测对象的图像,至此,可以得到该待检测对象的多帧待检测图像。

由于存在一个红外相机的采集范围太小,无法覆盖传送带在第二坐标轴所在方向上的全部区域的情况,进而,导致该红外相机可以采集到待检测对象的部分区域的图像,而无法采集到待检测对象的全部区域的完整图像。也就是说,利用单个红外相机所采集的待检测图像,可能无法准确检测出该待检测对象上的全部缺陷,也就无法完整定位出该待检测对象上的缺陷。

基于此,可选的,一种具体实现方式中,红外相机的数量为多个,多个红外相机沿第二坐标轴所在方向排列,且多个红外相机的采集范围覆盖第二坐标轴所在方向上传送带区域。

在本具体实现方式中,可以在图像采集区域的传送带上方,沿世界坐标系的第二坐标轴所在方向安装多个红外相机。这样,上述多个红外相机可以沿世界坐标系的第二坐标轴所在方向并排排列,并且,上述多个红外相机的采集范围可以覆盖传送带在第二坐标轴所在方向上的各个区域。

其中,相邻两个红外相机之间的安装间距可以按照红外相机的采集范围和传送带的宽度进行设置,例如,可以是30厘米,也可以是50厘米,这都是合理的,在本申请实施例中不做具体限定。

示例性的,如图2(b)所示,可以在用于传送待检测对象的传送带上方并排安装13台红外相机,并且,各台红外相机所对应的图像坐标系的Y轴的正方向与传送带的运动方向相同。这样,各台红外相机可以在图像坐标系的X轴的正方向并排排列,并且,在X轴所在方向上,13台红外相机可以采集到该方向上传送带的各个区域的图像。此外,还可以在红外相机下方、传送带两侧设置光栅,这样,在零件随着传送带开始遮挡光栅时,13台红外相机便可以开始采集零件的图像。

为了利用红外相机所采集的各帧待检测图像,在待检测对象上定位缺陷的位置,可以预先对红外相机所对应的图像坐标系和传送带所对应的世界坐标系进行标定,即确定图像坐标系和世界坐标系的转换关系。

其中,可选的,可以利用张正友标定法,计算红外相机所对应的图像坐标系和传送带所对应的世界坐标系的转换关系。

具体的,可以在传送带上放置一张标定板,这样,该标定板可以随着传送带移动。在该标定板触发光栅时,红外相机可以采集关于该标定板的标定图像。从而,利用红外相机所采集的标定图像,便可以实现确定标定板所对应的标定板坐标系(世界坐标系),与该标定图像对应的图像坐标系的转换关系。

其中,上述标定板可以为棋盘格标定板、圆点标定板、CharuCo标定板等,这都是合理的,在本申请实施例中不对标定板的具体类型进行具体限定。

上述标定板坐标系与图像坐标系的转换关系,包括关于标定板坐标系与相机坐标系的第一转换关系,以及关于相机坐标系与图像坐标系间的第二转换关系。

其中,标定板坐标系转换到相机坐标系的过程,可以通过旋转和平移实现,从而,如式1所示,二者转换矩阵R

式1可以表示为:

其中,R为旋转矩阵,t为平移向量,X

由于在标定板坐标系中,可以将标定板的左上角特征点确定为坐标原点,从而,标定板的平面可以刚好与X

而从相机坐标系转换到图像坐标系的转换过程是一个从三维坐标系到二维坐标系的转换过程,为了求解二者之间的转换关系,可以将普通图像坐标(x,y)拓展为齐次坐标(x,y,1)。这样,如式2所示,二者的转换矩阵R

式2可以表示为:

其中,x、y表示图像坐标系中的坐标,f表示相机焦距,X

进而,图像坐标系和标定板坐标系间的转换关系R

式3可以表示为:

R

从而,红外相机所对应的图像坐标系和传送带所对应的世界坐标系间的转换关系可以用R

此外,由于各个红外相机均具有固定的采集范围,针对每个红外相机,可以根据红外相机的采集范围,预先确定该红外相机的采集范围与传送带在世界坐标系的第二坐标轴方向上的位置关系,即针对每个红外相机,可以确定该红外相机的采集范围所采集的传送带区域在世界坐标系的第二坐标轴上的坐标范围。

在确定各个红外相机的采集范围所采集的传送带区域在世界坐标系的第二坐标轴上的坐标范围时,可以首先根据传送带在世界坐标系的第二坐标轴所在方向上的尺寸,确定该传送带在世界坐标系的第二坐标轴的坐标范围。进而,针对每个红外相机,可以根据传送带在世界坐标系的第二坐标轴的坐标范围、红外相机的安装位置以及红外相机的采集范围,确定该红外相机在第二坐标轴所在方向上所采集的传送带区域,即确定该红外相机的采集区域在世界坐标系的第二坐标轴上的指定坐标范围。并且,各个红外相机是在第二坐标轴方向上并排安装的,从而红外相机在第二坐标轴方向上的位置是不变的,那么,随着传送带移动,该红外相机所采集的始终是第二坐标轴方向上位于该指定坐标范围内的传送带区域的图像。

示例性的,如图2(c)所示,可以根据红外相机的采集范围与传送带在第二坐标轴方向上的宽度,将第二坐标轴所在方向上,传送带区域划分为区域A-区域D,并且,传送带在世界坐标系中第二坐标轴的坐标范围为[0,20]。其中,红外相机E可以采集区域C的图像,而该区域C在第二坐标轴的坐标范围为[10,15],从而,该红外相机E所采集的图像在图像坐标系中的第二坐标轴的坐标范围对应于世界坐标系中第二坐标轴的第二坐标范围[10,15]。

可选的,若传送带上方安装有多个红外相机,则可以根据各个红外相机的排列顺序,确定各个红外相机在第二坐标轴所在方向上所采集的传送带区域,即确定各个红外相机的采集范围在世界坐标系的第二坐标轴的指定坐标范围。

示例性的,如图2(c)所示,传送带在世界坐标系中第二坐标轴的坐标范围为[0,20],传送带上方并排排列有4个红外相机,则各个红外相机所采集的区域分别为传送带的区域A-区域D,从而,每个红外相机所采集的图像在图像坐标系中第二坐标轴的坐标范围分别对应于世界坐标系中第二坐标轴的第二坐标范围[0,5]、[6,10]、[11,15]以及[16,20],即红外相机A的采集区域在世界坐标系中第二坐标轴的第二坐标范围为[0,5];红外相机B的采集区域在世界坐标系中第二坐标轴的第二坐标范围为[6,10];红外相机C的采集区域在世界坐标系中第二坐标轴的第二坐标范围为[11,15];红外相机D的采集区域在世界坐标系中第二坐标轴的第二坐标范围为[16,20]。

在上述说明的基础上,下面对本申请实施例所提供的一种缺陷定位方法进行说明。

图3为本申请实施例提供的一种缺陷定位方法的流程示意图,如图3所示,该方法可以包括如下步骤S301-S304。

S301:获取红外相机所采集的关于待检测对象的待检测图像;

其中,待检测对象放置于传送带上,红外相机位于传送带上方;

为了对待检测对象进行缺陷检测和缺陷定位,可以将待检测对象放置于传送方向为指定传送方向的传送带上。这样,在待检测对象随着传送带移动的过程中,位于传送带上方的红外相机可以采集关于该待检测对象的多帧图像。之后,电子设备便可以获取红外相机所采集的关于该待检测对象的多帧图像,并基于上述多帧图像,确定关于待检测对象的待检测图像。

其中,可以将所获取的红外相机所采集的多帧图像,作为该待检测对象的待检测图像;也可以在所获取的红外相机所采集的多帧图像中选择部分图像,作为该待检测对象的待检测图像,例如,可以按照预设间隔,在所获取的多帧图像中选择多帧图像,作为该待检测对象的待检测图像;这都是合理的,在本申请实施例不做具体限定。

S302:对待检测图像进行缺陷检测,并确定所检测到的缺陷在图像坐标系中的图像坐标;

在获取待检测图像后,可以对上述待检测图像进行缺陷检测,进而,若检测到待检测图像中存在缺陷时,可以确定所检测到的缺陷在该红外相机所对应的图像坐标系中的图像坐标。

其中,上述进行缺陷检测的方法可以是深度学习方法、同类比较判断法、图像特征判断法等,这都是合理的,在本申请实施例中不做具体限定。

在对待检测图像进行缺陷检测时,可以对每一帧待检测图像进行缺陷检测,也可以在多帧待检测图像中筛选部分图像,进行缺陷检测,例如,可以按照预设间隔在多帧待检测图像选择部分图像进行缺陷检测,还可以对多帧待检测图像中满足预设图像质量要求的待检测图像,进行缺陷检测;还可以对多帧待检测图像中待检测对象的图像面积占比达到预设比例的待检测图像,进行缺陷检测;这都是合理的,在本申请实施例不做具体限定。

S303:根据图像坐标,以及关于图像坐标系和传送带对应的世界坐标系的转换关系,确定缺陷与待检测对象上的第一参照点在第一坐标轴方向上的第一距离,以及缺陷与待检测对象上的第二参照点在第二坐标轴方向上的第二距离;

随着传送带的移动,待检测对象的各个区域,将依次进入红外相机的采集范围,从而,红外相机所采集到的每帧图像中所对应的待检测对象的区域都是不同的,这样,在不同待检测图像中,图像坐标系中第一坐标轴的同一坐标范围可以对应于待检测对象上的不同区域。也就是说,随着传送带的移动,图像坐标系的第一坐标轴上的某一坐标轴可以对应于待检测对象上的多个不同点,而待检测对象上的各个点在图像坐标系中第二坐标轴的第二坐标是不变的,而其在第一坐标轴的第一坐标将不断增加或者减小。

其中,如前所述,若红外相机所对应的图像坐标系的第一坐标轴的正方向与指定传送方向相同,则随着传送带的移动,待检测对象上的各个点在图像坐标系中第二坐标轴的第二坐标是不变的,而其在第一坐标轴的第一坐标将不断增加;若红外相机所对应的图像坐标系的第一坐标轴的正方向与指定传送方向相反,则随着传送带的移动,待检测对象上的各个点在图像坐标系中第二坐标轴的第二坐标是不变的,而其在第一坐标轴的第一坐标将不断减小。

通常,传送带所对应的世界坐标系的第一坐标轴的正方向与传送方向是相同的,基于此,红外相机的采集区域在世界坐标系中第二坐标轴的坐标的取值范围是不变的,而其采集范围在世界坐标系的第一坐标轴方向上的坐标取值范围将随着传送带的移动而不断增加的或者减小,相应的,针对每个红外相机,通过该红外相机的各个点在世界坐标系的第一坐标轴方向上的坐标值也将随着传送带的移动而不断增加或减小,那么,各个点在图像坐标系的第一坐标轴方向上的坐标值也将随着传送带的移动而不断增加或减小。

示例性的,若红外相机所对应的图像坐标系的第一坐标轴的正方向与指定传送方向相同,则随着传送带的移动,红外相机所采集的第一帧图像中的第一坐标为m的各个点,在第三帧图像中的第一坐标变为n,而上述各个点的第二坐标未发生变化。在第一帧图像中,位于第一坐标轴所在方向上待检测对象的边缘上且第一坐标最大的点o,其第一坐标为b,随着传送带传动,其在后续各帧图像中的第一坐标不断增加,分别为b1、b2……bn。

此外,在红外相机所采集的各帧图像中,均可能存在第一坐标为m且第二坐标为n的指定点,然而,位于不同帧待检测图像中的指定点,在待检测对象中所对应于不同的点。

也就是说,随着传送带的移动,待检测对象上的各个点的图像坐标是不断变化的,从而,同一图像坐标,将对应于多个不同的点。然而,针对待检测对象上的各个点,该点在图像坐标系中第一坐标轴方向上的第一坐标可以随着传送带的传送而增大或减小,但是该点在待检测对象上的实际位置是固定不变的。

基于此,根据任一点在图像坐标系中的坐标,难以定位出该点在待检测对象上的实际位置。从而,为了确定各个指定点在待检测对象上的实际位置,可以在待检测对象上设置两个参照点,这样,针对该待检测对象上的除上述参照点之外的任一点,可以根据该点与上述两个参照点的相对位置,确定该点在待检测对象上的实际位置。

其中,上述两个参照点中的任一参照点均可以按照实际需要进行设置,可以是待检测对象内部的任意点,也可以是位于待检测对象的边缘上的边缘点;并且,在上述两个参照点为边缘点时,上述两个参照点可以是在待检测对象的边缘上任意选择的边缘点,也可以是待检测对象的边缘上具有最大或者最小坐标的边缘点,例如,可以在待检测对象的两个相邻边缘上各选择一个点,作为第一参照点和第二参照点;可以将待检测对象在世界坐标系的第一坐标轴方向上具有最大坐标的边缘点,作为第一参照点,而将待检测对象在世界坐标系的第二坐标轴方向上具有最大坐标的边缘点,作为第二参照点;可以将待检测对象上在世界坐标系的第一坐标轴方向上具有最小坐标的边缘点,作为第一参照点,而将待检测对象上在世界坐标系的第二坐标轴方向上具有最小坐标的边缘点,作为第二参照点等。

由于针对待检测对象上的每个点,该点在待检测对象上的实际位置是不变的,从而,该点与第一参照点在第一坐标轴方向上的第一距离是保持不变的,且该点与第二参照点在第二坐标轴方向上的第二距离可以是保持不变的。

示例性的,若两个参照点分别为待检测对象的第一边缘点和第二边缘点,图像坐标系的第一坐标轴为Y轴,第二坐标轴为X轴,且Y轴的正方向与传送带的指定传送方向相同,那么,在第一帧图像中图像坐标为(6,4)的点,随着传送带的移动,该点在第三帧图像中的图像坐标变为(6,9)。然而,无论该点的图像坐标如何变化,该点在待检测对象中的位置并未发生改变,故该点与待检测对象的第一边缘点在世界坐标系中第一坐标轴方向上的距离是保持不变的,且该点与待检测对象的第二边缘点在世界坐标系中第二坐标轴方向上的距离也是保持不变的。

以上可见,在希望在待检测对象上定位所检测到的任一点时,可以利用该点与待检测对象的第一参照点在世界坐标系的第一坐标轴方向上的第一距离,以及该点与待检测对象的第二参照点在世界坐标系的第二坐标轴方向上的第二距离,确定各个指定点在待检测对象上的位置。

相应的,在检测到缺陷后,为了在待检测对象上定位该缺陷,可以确定该点与待检测对象的第一参照点在第一坐标轴方向上的第一距离,以及该点与待检测对象的第二参照点在第二坐标轴方向上的第二距离,进而,利用上述第一距离和第二距离,确定各个指定点在待检测对象上的位置。

具体的,在检测到缺陷后,可以根据该缺陷的图像坐标以及两个参照点的图像坐标,确定缺陷与第一参照点在图像坐标系的第一坐标轴方向上的第一坐标差值。

由于待检测对象上的各个点在第一坐标轴方向上的坐标可以随着传送带的传送而改变,从而,在计算缺陷与第一参照点在图像坐标系的第一坐标轴方向上的第一坐标差值时,还需计算在红外相机采集检测到缺陷的待检测图像时,上述第一参照点在图像坐标系的第一坐标轴方向上的坐标,或者,计算在红外相机采集检测到第一参照点的待检测图像时,上述缺陷在图像坐标系的第一坐标轴方向上的坐标,这样,在获取到同一采集时刻下,缺陷与第一参照点在图像坐标系的第一坐标轴方向上的坐标后,便可以计算缺陷与第一参照点在图像坐标系的第一坐标轴方向上的第一坐标差值。

进而,为了在世界坐标系中定位该缺陷,还需将第一坐标差值转换到世界坐标系中,也就是说,可以根据关于图像坐标系和传送带对应的世界坐标系的转换关系,将上述第一坐标差值的绝对值转换为缺陷与第一参照点在世界坐标系的第一坐标轴方向上的第一距离。

相应的,由于每个红外相机的采集范围是固定不变的,并且,每个红外相机的采集范围与世界坐标系的第二坐标轴方向上的坐标存在位置关系,从而,可以根据红外相机的采集范围与传送带在世界坐标系的第二坐标轴方向上的位置关系,以及缺陷的图像坐标在第二坐标轴方向上的第二坐标,确定缺陷在世界坐标系的第二坐标轴方向上坐标;并根据红外相机的采集范围与传送带在世界坐标系的第二坐标轴方向上的位置关系,以及第二参照点的图像坐标在第二坐标轴方向上的第二坐标,确定第二参照点在世界坐标系的第二坐标轴方向上坐标,进而,计算上述缺陷在世界坐标系的第二坐标轴方向上坐标与第二参照点在世界坐标系的第二坐标轴方向上的第二坐标差值,并将该第二坐标差值的绝对值作为缺陷与第二参照点在世界坐标系的第二坐标轴方向上的第二距离。

也就是说,上述缺陷与第一参照点在世界坐标系的第一坐标轴方向上的第一距离,即是世界坐标系中,缺陷在第一坐标轴方向上的坐标与第一参照点在第一坐标轴方向上的坐标的坐标差值的绝对值;缺陷与第二参照点在世界坐标系的第二坐标轴方向上的第二距离,即是世界坐标系中,缺陷在第二坐标轴方向上的坐标与第二参照点在第二坐标轴方向上的坐标的坐标差值的绝对值。

这样,在对待检测图像进行缺陷检测,并确定所检测到的缺陷在图像坐标系中的图像坐标后,便可以根据该缺陷的图像坐标,以及关于图像坐标系和传送带对应的世界坐标系的转换关系,确定缺陷与待检测对象上的第一参照点在第一坐标轴方向上的第一距离,以及缺陷与待检测对象上的第二参照点在第二坐标轴方向上的第二距离。

示例性的,如图2(f)所示,红外相机所对应的图像坐标系的Y轴的正方向与传动带的指定传送方向相同,第一参照点为待检测对象中的点C1,且第二参照点为待检测对象中的点C2。可以获取红外相机所采集的待检测图像,之后,根据待检测图像,确定C1、C2以及缺陷的图像坐标。根据指定传送方向可知,缺陷点早于C1被采集和检测到,从而,可以根据缺陷点在第一坐标轴方向上的第一坐标,计算在采集到C1时缺陷点在第一坐标轴方向上的坐标。之后,计算在采集到C1时缺陷点在第一坐标轴方向上的坐标,与C1的图像坐标中第一坐标轴方向上的坐标的第一坐标差值,并根据关于图像坐标系和传送带对应的世界坐标系的转换关系,将上述第一坐标差值的绝对值,转换为缺陷点与C1在第一坐标轴方向上的第一距离;

根据红外相机的采集范围与传送带在世界坐标系的第二坐标轴方向上的位置关系、缺陷的图像坐标中第二坐标轴方向上的第二坐标以及C2的图像坐标中第二坐标轴方向上的坐标,计算缺陷在世界坐标系的第二坐标轴方向上的坐标以及C2在世界坐标系的第二坐标轴方向上的坐标,并计算缺陷在世界坐标系的第二坐标轴方向上的坐标以及C2在世界坐标系的第二坐标轴方向上的坐标的第二坐标差值,从而,将上述第二坐标差值的绝对值,作为缺陷点与C2在第二坐标轴方向上的第二距离。

示例性的,如图2(f)所示,红外相机所对应的图像坐标系的Y轴的正方向与传动带的指定传送方向相同,第一参照点为待检测对象最先进入红外相机的采集范围的第一边缘点C4,且第二参照点为待检测对象中第二坐标轴的坐标最大的第二边缘点C3。可以获取红外相机所采集的待检测图像,之后,根据待检测图像,确定C4以及缺陷的图像坐标。根据指定传送方向可知,C4早于缺陷点被采集和检测到,从而,可以根据C4在第一坐标轴方向上的坐标,计算在采集到缺陷点时C4在第一坐标轴方向上的坐标。之后,计算在采集到缺陷点时C4在第一坐标轴方向上的坐标,与缺陷点的图像坐标中第一坐标轴方向上的第一坐标的第一坐标差值,并根据关于图像坐标系和传送带对应的世界坐标系的转换关系,将上述第一坐标差值的绝对值,转换为缺陷点与C4在第一坐标轴方向上的第一距离;

由于C4在世界坐标系的第二坐标轴方向上的坐标是已知的,从而,可以根据红外相机的采集范围与传送带在世界坐标系的第二坐标轴方向上的位置关系、以及缺陷的图像坐标中第二坐标轴方向上的第二坐标,计算缺陷在世界坐标系的第二坐标轴方向上的坐标,并计算缺陷在世界坐标系的第二坐标轴方向上的坐标与C4在世界坐标系的第二坐标轴方向上的坐标的第二坐标差值,从而,将上述第二坐标差值的绝对值,作为缺陷点与C4在第二坐标轴方向上的第二距离。

示例性的,如图2(g)所示,红外相机所对应的图像坐标系的Y轴的正方向与传动带的指定传送方向相反,第一参照点为待检测对象中的点C5,且第二参照点为待检测对象中的点C6。可以获取红外相机所采集的待检测图像,之后,根据待检测图像,确定C5、C6以及缺陷的图像坐标。根据指定传送方向可知,C5早于缺陷点被采集和检测到,从而,可以根据C5在第一坐标轴方向上的第一坐标,计算在采集到缺陷点时C5在第一坐标轴方向上的坐标。之后,计算在采集到缺陷点时C5在第一坐标轴方向上的坐标,与缺陷点的图像坐标中第一坐标轴方向上的第一坐标的第一坐标差值,并根据关于图像坐标系和传送带对应的世界坐标系的转换关系,将上述第一坐标差值的绝对值,转换为缺陷点与C5在第一坐标轴方向上的第一距离;

根据红外相机的采集范围与传送带在世界坐标系的第二坐标轴方向上的位置关系、缺陷的图像坐标中第二坐标轴方向上的第二坐标以及C6的图像坐标中第二坐标轴方向上的坐标,计算缺陷在世界坐标系的第二坐标轴方向上的坐标以及C6在世界坐标系的第二坐标轴方向上的坐标,并计算缺陷在世界坐标系的第二坐标轴方向上的坐标以及C6在世界坐标系的第二坐标轴方向上的坐标的第二坐标差值,从而,将上述第二坐标差值的绝对值,作为缺陷点与C6在第二坐标轴方向上的第二距离。

示例性的,如图2(g)所示,红外相机所对应的图像坐标系的Y轴的正方向与传动带的指定传送方向相反,第一参照点为待检测对象最后进入红外相机的采集范围的第一边缘点C8,且第二参照点为待检测对象中第二坐标轴的坐标最小的第二边缘点C7。可以获取红外相机所采集的待检测图像,之后,根据待检测图像,确定C8以及缺陷的图像坐标。根据指定传送方向可知,缺陷点早于C8被采集和检测到,从而,可以根据缺陷点在第一坐标轴方向上的第一坐标,计算在采集到C8时缺陷点在第一坐标轴方向上的坐标,之后,计算在采集到C8时缺陷点在第一坐标轴方向上的坐标与C8的图像坐标中第一坐标轴方向上的坐标的第一坐标差值,并根据关于图像坐标系和传送带对应的世界坐标系的转换关系,将上述第一坐标差值的绝对值,转换为缺陷点与C8在第一坐标轴方向上的第一距离;

由于C7在世界坐标系的第二坐标轴方向上的坐标是已知的,从而,可以根据红外相机的采集范围与传送带在世界坐标系的第二坐标轴方向上的位置关系、以及缺陷的图像坐标中第二坐标轴方向上的第二坐标,计算缺陷在世界坐标系的第二坐标轴方向上的坐标,并计算缺陷在世界坐标系的第二坐标轴方向上的坐标与C7在世界坐标系的第二坐标轴方向上的坐标的第二坐标差值,从而,将上述第二坐标差值的绝对值,作为缺陷点与C7在第二坐标轴方向上的第二距离。

可选的,一种具体实现方式中,如图4所示,上述步骤S303,可以包括如下步骤S3031-S3032:

S3031:根据图像坐标中第一坐标轴的第一坐标、采集缺陷所在待检测图像时预设第一初始坐标的坐标变化值、预设第一初始坐标以及关于图像坐标系和传送带对应的世界坐标系的转换关系,确定缺陷与第一参照点在第一坐标轴方向上的第一距离;

其中,预设第一初始坐标为:首次在待检测图像中检测到第一参照点时,第一参照点在第一坐标轴的坐标;

S3032:根据采集范围与传送带在世界坐标系的第二坐标轴方向上的位置关系、图像坐标中第二坐标轴的第二坐标、预设第二初始坐标以及转换关系,确定缺陷与第二边缘点在第二坐标轴方向上的第二距离;

其中,预设第二初始坐标为:第二参照点在第二坐标轴的坐标。

在本具体实现方式中,随着传送带的移动,待检测对象的各个部分将依次被传送至图像采集区域,从而,红外相机可以采集到待检测对象的各个部分的各帧待检测图像,这样,在待检测图像中检测到待检测对象上的缺陷和/或参照点时,便可以确定第一参照点、第二参照点以及缺陷的图像坐标。

其中,若图像坐标系的第一坐标轴的正方向与传送带的指定传送方向可以是相同,从而,待检测对象上的各个点的图像坐标中的第一坐标将随着传送带的传送增大,而各个点的图像坐标中的第二坐标是保持不变的;若图像坐标系的第一坐标轴的正方向与传送带的指定传送方向可以是相反的,从而,待检测对象上的各个点的图像坐标中的第一坐标将随着传送带的传送较小,而各个点的图像坐标中的第二坐标是保持不变的。

针对第一参照点,可以将首次在待检测图像中检测到第一参照点时,该第一参照点在第一坐标轴的坐标,作为预设第一初始坐标,并且,该第一参照点在第一坐标轴上的坐标将随着传送带的传送增大或者减小,而该第一参照点在第二坐标轴上的坐标可以保持不变;

而针对第二参照点,可以将首次在待检测图像中检测到第二参照点时,该第二参照点在第二坐标轴的坐标,作为预设第二初始坐标,并且,该第二参照点在第二坐标轴上的坐标不会随着传送带的传送增大或者减小,始终保持不变。

相应的,针对缺陷,在确定缺陷的图像坐标后,该图像坐标中第一坐标轴的第一坐标也将随着传送带的传送而增大或者减小,而该图像坐标中第二坐标轴的第二坐标可以保持不变。

示例性的,若缺陷的图像坐标为(4,1),传送带的指定传送方向与图像坐标系的第一坐标轴的正方向相同,则随着传送带的传送,上述缺陷的图像坐标可以更新为(5,1);若缺陷的图像坐标为(4,1),传送带的指定传送方向与图像坐标系的第一坐标轴的正方向相反,则随着传送带的传送,上述缺陷的图像坐标可以更新为(1,1)。

此外,缺陷的图像坐标和上述第一参照点的预设第一初始坐标可能是基于同一帧待检测图像确定的,即首次检测到上述缺陷的待检测图像和首次检测到第一参照点的待检测图像可以是同一帧待检测图像;也可能是基于不同的待检测图像确定的,即首次检测到上述缺陷的待检测图像和首次检测到第一参照点的待检测图像可以是两帧待检测图像。

具体的,若首次检测到上述缺陷的待检测图像和首次检测到第一参照点的待检测图像是同一帧待检测图像,则根据该待检测图像,便可以确定缺陷的图像坐标中的第一坐标和第一参照点的预设第一初始坐标,并且,随着传送带的传送,上述第一坐标和上述预设第一初始坐标的变化值是相同的;从而,可以计算上述第一坐标与预设第一初始坐标的第一坐标差值,并根据关于图像坐标系和传送带对应的世界坐标系的转换关系,将上述第一坐标差值的绝对值,转换为缺陷点与第一参照点在世界坐标系的第一坐标轴方向上的第一距离;

若首次检测到上述缺陷的待检测图像和首次检测到第一参照点的待检测图像是:不同红外相机所采集的对应于同一采集时刻的两帧待检测图像,则根据两帧待检测图像,便可以确定缺陷的图像坐标中的第一坐标和第一参照点的预设第一初始坐标,并且,随着传送带的传送,上述第一坐标和上述预设第一初始坐标的变化值是相同的;从而,可以计算上述第一坐标与预设第一初始坐标的第一坐标差值,并根据关于图像坐标系和传送带对应的世界坐标系的转换关系,将上述第一坐标差值的绝对值,转换为缺陷点与第一参照点在世界坐标系的第一坐标轴方向上的第一距离;

若随着传送带的传送,首次检测到上述缺陷的待检测图像为在前的待检测图像A,而首次检测到第一参照点的待检测图像为在后的待检测图像B,这样,在采集到待检测图像A时,可以确定缺陷的图像坐标中的第一坐标;在采集到待检测图像B时,可以确定第一参照点的预设第一初始坐标,并且,在确定该预设第一初始坐标时,上述缺陷的第一坐标已随着传送带的传送已发生了变化。

示例性的,若图像坐标系的第一坐标轴的正方向与指定传送方向相同,则确定第一参照点的预设第一初始坐标时,缺陷的第一坐标已随着传送带的传送而增大了坐标变化值;若图像坐标系的第一坐标轴的正方向与指定传送方向相反,则确定第一参照点的预设第一初始坐标时,缺陷的第一坐标已随着传送带的传送而减小了坐标变化值。

从而,可以基于上述第一坐标、预设第一初始坐标、坐标坐标变化值,以及关于图像坐标系和传送带对应的世界坐标系的转换关系,计算缺陷点与第一参照点在世界坐标系的第一坐标轴方向上的第一距离。

若随着传送带的传送,首次检测到上述第一参照点的待检测图像为在前的待检测图像C,而首次检测到缺陷的待检测图像为在后的待检测图像D,这样,在采集待检测图像C时,可以确定第一参照点的预设第一初始坐标,且在采集到待检测图像D时,可以确定缺陷的图像坐标中的第一坐标,并且,在确定第一坐标时,上述的预设第一初始坐标已随着传送带的传送而发生了更新。

示例性的,若图像坐标系的第一坐标轴的正方向与指定传送方向相同,则确定缺陷的第一坐标时,第一参照点的预设第一初始坐标已随着传送带的传送而增大了坐标变化值;若图像坐标系的第一坐标轴的正方向与指定传送方向相反,则确定缺陷的第一坐标时,第一参照点的预设第一初始坐标已随着传送带的传送而减少了坐标变化值。

从而,可以基于上述第一坐标、预设第一初始坐标、坐标坐标变化值,以及关于图像坐标系和传送带对应的世界坐标系的转换关系,计算缺陷点与第一参照点在世界坐标系的第一坐标轴方向上的第一距离。

以上可见,在首次检测到上述缺陷的待检测图像和首次检测到第一参照点的待检测图像不是同一采集时刻下所采集的待检测图像时,在计算上述缺陷与第一参照点在第一坐标轴方向上的第一距离时,需要考虑到缺陷或者第一参照点的坐标变化值,即需要考虑第一坐标或者上述预设第一初始坐标的坐标变化值。

从而,可以将上述第一坐标或者上述预设第一初始坐标为基准坐标,而以上述第一坐标与上述预设第一初始坐标中,除上述基准坐标之外的另一个坐标值作为变化坐标,从而,计算在确定该基准坐标时,变化坐标的坐标变化值,这样,便可以确定在某一时刻,该缺陷与该第一参照点各自在第一坐标轴方向上的坐标值。进而,基于上述第一坐标、预设第一初始坐标、坐标变化值以及关于图像坐标系和传送带对应的世界坐标系的转换关系,确定缺陷与第一参照点在第一坐标轴方向上的第一距离。

通常,可以以缺陷的第一坐标为基准坐标,计算采集缺陷所在待检测图像时上述预设第一初始坐标的坐标变化值,进而,可以利用上述第一坐标、预设第一初始坐标、采集缺陷所在待检测图像时预设第一初始坐标的坐标变化值,以及关于图像坐标系和传送带对应的世界坐标系的转换关系,确定缺陷与第一参照点在第一坐标轴方向上的第一距离。

其中,可选的,一种具体实现方式中,上述坐标变化值的确定方式,可以包括如下步骤11:

步骤11:根据红外相机的采集频率、缺陷所在待检测图像的采集序号以及传送带的移动速度,确定坐标变化值;

其中,采集序号用于表征:在按照采集时间由早到晚的顺序排列多帧待检测图像时,缺陷所在待检测图像的排序。

在本具体实现方式中,针对每个点,该点在第一坐标轴上的坐标的坐标变化值即是在采集缺陷点所在的待检测图像时,该点在第一坐标轴的坐标相比于该点第一坐标轴的坐标的初始值的变化量。

相应的,针对第一参照点,该第一参照点在采集缺陷所在待检测图像时预设第一初始坐标的坐标变化值,即是在采集缺陷所在待检测图像时,该第一参照点在第一坐标轴的坐标相比于预设第一初始坐标的变化量。

由于上述坐标变化值是基于传送带移动所产生的,从而,上述坐标变化值可以基于传送带在红外相机采集缺陷所在待检测图像时,相比于红外相机采集用于确定预设第一初始坐标的待检测图像时,在图像坐标系中的位移量进行计算。

基于此,可以根据红外相机的采集频率、用于确定预设第一初始坐标的待检测图像的采集序号、缺陷所在待检测图像的采集序号以及传送带的移动速度,确定在采集缺陷所在待检测图像时预设第一初始坐标的坐标变化值。

其中,上述采集序号可以用于表征按照采集时间由早到晚的顺序排列多帧待检测图像,某一待检测图像的排序。

并且,由于上述坐标变化量是传送带在采集用于确定预设第一初始坐标的待检测图像的采集时刻,与采集缺陷所在待检测图像的采集时刻之间的位移量,从而,可以基于上述用于确定预设第一初始坐标的待检测图像的采集序号、以及缺陷所在待检测图像的采集序号的序号差值,确定上述传送带的位移量,进而,确定上述坐标变化值。

从而,坐标变化值Y

Y’

其中,C为图像采集序号差值,FR为预设采集频率,Vbelt为传送带的移动速度,Scale为红外相机所对应的图像坐标系和传送带所对应的世界坐标系的转换关系。

也就是说,可以将传送带在采集两帧待检测图像的时间差内,所移动的位移量按照上述转换关系进行转换之后的数值,作为上述预设第一初始坐标的坐标变化值。其中,该坐标变化值的正负情况与图像坐标系的第一坐标轴的正方向与指定传送方向的关系,以及采集用于确定预设第一初始坐标的待检测图像的采集序号、采集缺陷所在待检测图像的采集序号的先后顺序有关。

示例性的,如图2(f)所示,红外相机所对应的图像坐标系的Y轴的正方向与传动带的指定传送方向相同,第一参照点为待检测对象中的点C1。可以获取红外相机所采集的待检测图像,之后,根据待检测图像,确定C1的预设第一初始坐标以及缺陷的第一坐标。根据指定传送方向可知,缺陷点早于C1被采集和检测到,从而,可以根据红外相机的采集频率、用于确定预设第一初始坐标的待检测图像的采集序号、缺陷所在待检测图像的采集序号以及传送带的移动速度,确定在采集缺陷所在待检测图像时预设第一初始坐标的坐标变化值,并且,该坐标变化值为负数,即在采集缺陷所在待检测图像时,该C1在第一坐标轴方向上的坐标小于预设第一初始坐标,并且,二者的差值为坐标变化值的绝对值;

示例性的,如图2(f)所示,红外相机所对应的图像坐标系的Y轴的正方向与传动带的指定传送方向相同,第一参照点为待检测对象最先进入红外相机的采集范围的第一边缘点C4。可以获取红外相机所采集的待检测图像,之后,根据待检测图像,确定C4的预设第一初始坐标以及缺陷的第一坐标。根据指定传送方向可知,C4早于缺陷点被采集和检测到。从而,可以根据红外相机的采集频率、用于确定预设第一初始坐标的待检测图像的采集序号、缺陷所在待检测图像的采集序号以及传送带的移动速度,确定在采集缺陷所在待检测图像时预设第一初始坐标的坐标变化值,并且,该坐标变化值为正数,即在采集缺陷所在待检测图像时,该C1在第一坐标轴方向上的坐标大于预设第一初始坐标,并且,二者的差值为坐标变化值的绝对值;

示例性的,如图2(g)所示,红外相机所对应的图像坐标系的Y轴的正方向与传动带的指定传送方向相反,第一参照点为待检测对象中的点C5。可以获取红外相机所采集的待检测图像,之后,根据待检测图像,确定C5的预设第一初始坐标以及缺陷的第一坐标。根据指定传送方向可知,C5早于缺陷点被采集和检测到。从而,可以根据红外相机的采集频率、用于确定预设第一初始坐标的待检测图像的采集序号、缺陷所在待检测图像的采集序号以及传送带的移动速度,确定在采集缺陷所在待检测图像时预设第一初始坐标的坐标变化值,并且,该坐标变化值为负数,即在采集缺陷所在待检测图像时,该C1在第一坐标轴方向上的坐标小于预设第一初始坐标,并且,二者的差值为坐标变化值的绝对值;

示例性的,如图2(g)所示,红外相机所对应的图像坐标系的Y轴的正方向与传动带的指定传送方向相反,第一参照点为待检测对象最后进入红外相机的采集范围的第一边缘点C8。可以获取红外相机所采集的待检测图像,之后,根据待检测图像,确定C8的预设第一初始坐标以及缺陷的第一坐标。根据指定传送方向可知,缺陷点早于C8被采集和检测到。从而,可以根据红外相机的采集频率、用于确定预设第一初始坐标的待检测图像的采集序号、缺陷所在待检测图像的采集序号以及传送带的移动速度,确定在采集缺陷所在待检测图像时预设第一初始坐标的坐标变化值,并且,该坐标变化值为正数,即在采集缺陷所在待检测图像时,该C8在第一坐标轴方向上的坐标大于预设第一初始坐标,并且,二者的差值为坐标变化值的绝对值。

从而,在确定在采集缺陷所在待检测图像时,预设第一初始坐标的坐标变化值后,便可以确定在采集缺陷所在待检测图像时,第一参照点在第一坐标轴方向上的坐标。

接着,便可以计算上述第一坐标和在采集缺陷所在待检测图像时第一参照点在第一坐标轴方向上的坐标的第一坐标差值,并利用关于图像坐标系和传送带对应的世界坐标系的转换关系,将上述第一坐标差值的绝对值进行转换,从而,得到缺陷与第一参照点在第一坐标轴方向上的第一距离。

相应的,可以根据采集范围与传送带在世界坐标系的第二坐标轴方向上的位置关系、图像坐标中第二坐标轴的第二坐标、预设第二初始坐标以及转换关系,确定缺陷与第二边缘点在第二坐标轴方向上的第二距离。

如前所述,由于每个红外相机的采集范围是固定不变的,并且,每个红外相机的采集范围与世界坐标系的第二坐标轴方向上的坐标存在位置关系,从而,在确定缺陷的图像坐标中第二坐标轴方向上的第二坐标,以及第二参照点在第二坐标轴的预设第二初始坐标后,便可以根据采集范围与传送带在世界坐标系的第二坐标轴方向上的位置关系、上述第二坐标、上述预设第二初始坐标以及上述关于图像坐标系和传送带对应的世界坐标系的转换关系,确定缺陷与第二边缘点在第二坐标轴方向上的第二距离。

具体的,若首次检测到上述缺陷的待检测图像和检测到第二参照点的待检测图像是同一红外相机所采集的待检测图像,则可以利用该红外相机的采集范围与传送带在世界坐标系的第二坐标轴方向上的位置关系,以及关于图像坐标系和传送带对应的世界坐标系的转换关系,将上述第二坐标以及上述预设第二初始坐标分别转换到世界坐标系中。之后,计算第二坐标在世界坐标系中对应的坐标,以及上述预设第二初始坐标在世界坐标系中对应的坐标的差值,并将上述差值的绝对值作为缺陷与第二边缘点在第二坐标轴方向上的第二距离;

若首次检测到上述缺陷的待检测图像和检测到第二参照点的待检测图像不是一红外相机所采集的待检测图像,则可以利用两个红外相机的采集范围与传送带在世界坐标系的第二坐标轴方向上的位置关系,以及关于图像坐标系和传送带对应的世界坐标系的转换关系,将上述第二坐标以及上述预设第二初始坐标分别转换到世界坐标系中。之后,计算第二坐标在世界坐标系中对应的坐标,以及上述预设第二初始坐标在世界坐标系中对应的坐标的差值,并将上述差值的绝对值作为缺陷与第二边缘点在第二坐标轴方向上的第二距离。

也就是说,可以首先基于上述缺陷的第二坐标、采集该缺陷所在待检测图像的红外相机的采集范围与传送带在世界坐标系的第二坐标轴方向上的位置关系,以及上述转换关系,确定缺陷在世界坐标系的第二坐标轴的坐标,并基于上述第二参照点的预设第二初始坐标、采集该第二参照点所在待检测图像的红外相机的采集范围与传送带在世界坐标系的第二坐标轴方向上的位置关系,以及上述转换关系,确定第二参照点在世界坐标系的第二坐标轴的坐标。之后,计算缺陷在世界坐标系的第二坐标轴的坐标,与第二参照点在世界坐标系的第二坐标轴的坐标的第二坐标差值,并将该第二坐标差值的绝对值,作为第二坐标轴方向上缺陷与第二参照点的第二距离。

S304:基于第一距离、第二距离、第一参照点和第二参照点,在待检测对象中定位缺陷。

由于上述第一参照点与第二参照点在待检测对象的具体位置是已知的,从而,在确定缺陷与第一参照点在第一坐标轴方向上的第一距离、以及缺陷与第二参照点在第二坐标轴方向上的第二距离后,可以基于上述第一距离、第二距离、第一参照点以及第二参照点,在待检测对象中定位上述缺陷。

可选的,可以在待检测对象中确定第一参照点的第一坐标,之后,基于上述第一距离,确定缺陷在世界坐标系的第一坐标轴的第一坐标;可以在待检测对象中确定第二参照点的第二坐标,之后,基于上述第二距离,确定缺陷在世界坐标系的第二坐标轴的第二坐标;这样,在确定该缺陷的第一坐标和第二坐标后,便可以确定该缺陷在待检测对象上的位置。

示例性的,如图5(a)所示,第一坐标轴为Y轴,第二坐标轴为X轴,在Y轴所在方向上,缺陷与第一参照点(e,f,1)的第一距离为j,则该缺陷的Y坐标为f-j,而在X轴所在方向上,缺陷与第二参照点(g,h,1)的第二距离为i,则该缺陷的X坐标为g-i,从而,所检测到的缺陷在世界坐标系中的位置为(g-i,f-j,1)。

可选的,可以做通过第一坐标轴、平行于第二坐标轴、且与第一参照点在第一坐标轴上的坐标的坐标差值为第一距离的直线,并做通过第二坐标轴、平行于第一坐标轴且与第二边缘点在第二坐标轴上的坐标的坐标差值为第二距离的直线,这样,两条直线的交点即为该缺陷在待检测对象上的位置。

示例性的,如图5(b)所示,第一坐标轴为Y轴,第二坐标轴为X轴,第二参照点为点p,做通过Y轴、平行于X轴且与点q的距离为第一距离的直线1;第一参照点为点q,做通过X轴、平行于Y轴且与点p的距离为第二距离的直线2,从而,待检测对象上,上述直线1和直线2的交点,即为所确定的缺陷。

可选的,在确定缺陷在待检测对象上的位置后,可以在待检测对象的数模上绘制该缺陷。

可选的,由于可能在多帧待检测图像检测到同一缺陷,基于此,可以将一定范围内的缺陷合并为同一缺陷,并在待检测对象上标注该缺陷。

以上可见,在进行缺陷定位时,可以首先确定所检测到的缺陷在图像坐标系中的图像坐标,然后,根据所检测到的缺陷的图像坐标,以及关于图像坐标系和传送带对应的世界坐标系的转换关系,分别确定在两个坐标轴所在方向上,缺陷与参照点的距离,从而,利用上述距离,在待检测图像中定位该缺陷。这样,相比于人工定位的方法,可以缩短定位周期较长,提高缺陷定位效率;并且,使用红外相机所采集的红外图像进行缺陷检测,可以避免出现因零件反光而导致的缺陷检测效果较差的情况,提高缺陷检测的准确性,进而,可以提高缺陷定位的准确性。

由于第一参照点和第二参照点均可以按照实际需要进行设置,并且,图像坐标系的第一坐标轴的正方向与传送带的指定传送方向的关系也可以按照实际需要进行设置,从而,在设置第一参照点、第二参照点,以及图像坐标系的第一坐标轴的正方向与传送带的传送方向的关系之后,可以根据上述第一参照点、第二参照点以及图像坐标系的第一坐标轴的正方向与传送带的传送方向的关系,计算上述第一距离和第二距离。并且,由于上述第一距离和第二距离的计算原理是不变的,在对上述参数进行更新后,均可以按照更新后的第一参照点、第二参照点以及图像坐标系的第一坐标轴的正方向与传送带的传送方向的关系,对缺陷定位过程中第一距离和第二距离的具体计算过程进行相应调整。

下面以图像坐标系的第一坐标轴的正方向与传送带的传送方向相同;第一参照点为待检测对象最先或者最后进入红外相机的采集范围的第一边缘点,且第二参照点为待检测对象中第二坐标轴的坐标最大或者最小的第二边缘点为例,对上述步骤S303,根据图像坐标,以及关于图像坐标系和传送带对应的世界坐标系的转换关系,确定缺陷与待检测对象上的第一参照点在第一坐标轴方向上的第一距离,以及缺陷与待检测对象上的第二参照点在第二坐标轴方向上的第二距离,进行具体说明。

可选的,一种具体实现方式中,如图6所示,上述步骤S303,根据图像坐标,以及关于图像坐标系和传送带对应的世界坐标系的转换关系,确定缺陷与待检测对象上的第一参照点在第一坐标轴方向上的第一距离,以及缺陷与待检测对象上的第二参照点在第二坐标轴方向上的第二距离,可以包括如下步骤S3033-S3034:

S3033:根据图像坐标中第一坐标轴的第一坐标、采集缺陷所在待检测图像时预设第三初始坐标的坐标变化值、预设第三初始坐标以及关于图像坐标系和传送带对应的世界坐标系的转换关系,确定缺陷与第一边缘点在第一坐标轴方向上的第一距离;

其中,预设第三初始坐标为:首次在待检测图像中检测到第一边缘点时,第一边缘点在第一坐标轴的坐标;

S3034:根据采集范围与传送带在世界坐标系的第二坐标轴方向上的位置关系、图像坐标中第二坐标轴的第二坐标、预设第四初始坐标以及转换关系,确定缺陷与第二边缘点在第二坐标轴方向上的第二距离;

其中,预设第四初始坐标为:第二边缘点在第二坐标轴的坐标。

在本具体实现方式中,红外相机所对应的图像坐标系的第一坐标轴的正方向与传送带的传送方向相同,设置第一参照点为待检测对象最先或者最后进入红外相机的采集范围的第一边缘点,且设置第二参照点为待检测对象中第二坐标轴的坐标最大或者最小的第二边缘点。

其中,首次在待检测图像中检测到第一边缘点时,该第一边缘点在第一坐标轴的坐标为预设第三初始坐标;首次在待检测图像中检测到第二边缘点时,该第二边缘点在第二坐标轴的坐标为预设第四初始坐标,并且,由于第二坐标轴上的坐标不会随着传送带的移动而改变,从而,该第二边缘点在第二坐标轴的坐标始终为预设第四初始坐标。

此外,若第一边缘点为待检测对象最先进入红外相机的采集范围的边缘点,那么该第一边缘点为待检测对象上第一坐标轴上的坐标最大的点;若第一边缘点为待检测对象最后进入红外相机的采集范围的边缘点,那么上述该第一边缘点为待检测对象上第一坐标轴上的坐标最小的点。

例如,若第一边缘点为待检测对象最先进入红外相机的采集范围的边缘点,基于红外相机所采集到关于待检测对象的第一帧待检测图像,确定待检测对象在图像坐标系中第一坐标轴的第一坐标最大值为6,并且,具有第一坐标值为6的点包括点A-点F,则可以将点A-点F中的任一点,作为第一边缘点,并将该第一边缘点的预设初始坐标设置为6。

由于传送带两侧设置有光栅,并且,在待检测对象的边缘遮挡上述光栅时,红外相机才开始采集该待检测对象的待检测图像,从而,若第一边缘点为待检测对象最先进入红外相机的采集范围的边缘点,那么该第一边缘点是待检测对象上最先遮挡光栅的点,并且,该第一边缘点在图像坐标系的第一坐标轴的预设第三初始坐标即是光栅所处位置在图像坐标系的第一坐标轴的第一个坐标。

基于此,可选的,如图7所示,可以在传送带上放置标定板,并将该标定板的边沿与光栅位置对齐。之后,可以控制红外相机采集该标点板的红外图像,并在该红外图像所对应的图像坐标系中,确定标定板的边沿在Y轴方向上的初始坐标Y

若第一边缘点为待检测对象最后进入红外相机的采集范围的边缘点,那么该第一边缘点是待检测对象上遮挡光栅的最后一个点,并且,该第一边缘点在图像坐标系的第一坐标轴的预设第三初始坐标即是光栅所处位置在图像坐标系的第一坐标轴的最后一个坐标。

在确定缺陷的图像坐标以及预设第三初始坐标后,为了计算缺陷与第一边缘点在第一坐标轴方向上的第一距离,还需计算在采集缺陷所在待检测图像时预设第三初始坐标的坐标变化值。

针对第一边缘点,该第一边缘点在采集缺陷所在待检测图像时预设第三初始坐标的坐标变化值,即是在采集缺陷所在待检测图像时,该第一边缘点在第一坐标轴的坐标相比于预设第三初始坐标的变化值。

在第一边缘点为待检测对象最先进入红外相机的采集范围的边缘点时,则确定上述预设第三初始坐标的待检测图像为第一帧待检测图像,从而,在计算上述预设第三初始坐标在采集各帧待检测图像时的坐标变化值,即是计算在采集该帧待检测图像时,相比于第一帧图像,传送带在图像坐标系的第一坐标轴方向上的位移量。

从而,可以根据红外相机的采集频率、缺陷所在待检测图像的采集序号以及传送带的移动速度,确定坐标变化值,这样,在采集第N帧待检测图像时,该预设第三初始坐标的坐标变化值Y’

Y’

其中,N为图像采集序号。

也就是说,可以将在采集第一帧待检测图像至采集该N帧待检测图像的过程中,传送带所移动的位移量按照上述转换关系进行转换之后的数值,作为在采集第N帧待检测图像时,该第一边缘点的预设第三初始坐标的坐标变化值。其中,该坐标变化值为正值。

基于此,可以在第一边缘点为待检测对象最先进入红外相机的采集范围的边缘点时,可以根据缺陷所在待检测图像的图像采集序号,以及红外相机的采集频率、缺陷所在待检测图像的采集序号以及传送带的移动速度,计算在采集缺陷所在待检测图像时,上述预设第三初始坐标的坐标变化值。

相应的,在第一边缘点为待检测对象最后进入红外相机的采集范围的边缘点时,则确定上述预设第三初始坐标的待检测图像为最后一张待检测图像,从而,在计算上述预设第三初始坐标在采集各帧待检测图像时的坐标变化值,即是计算在采集该帧待检测图像时,相比于最后一帧图像,传送带在图像坐标系的第一坐标轴方向上的位移量。

也就是说,可以将在采集第N帧待检测图像至采集最后一帧待检测图像的过程中,传送带所移动的位移量按照上述转换关系进行转换之后的数值,作为在采集第N帧待检测图像时,该第一边缘点的预设第三初始坐标的坐标变化值。其中,该坐标变化值为负值。

进而,可以基于上述预设第三初始坐标和该预设第三初始坐标的坐标变化值,计算该第一边缘点在采集缺陷所在待检测图像时,在第一坐标轴方向上的坐标。之后,计算缺陷的第一坐标与该第一边缘点在采集缺陷所在待检测图像时在第一坐标轴方向上的坐标的第一坐标差值,并将第一坐标差值的绝对值进行转换,得到缺陷与第一边缘点在第一坐标轴方向上的第一距离。

在确定缺陷的图像坐标以及预设第四初始坐标后,为了计算缺陷与第二边缘点在第二坐标轴方向上的第二距离,还需确定采集缺陷所在待检测图像的红外相机的采集范围与传送带在世界坐标系的第二坐标轴方向上的位置关系,这样,便可以根据采集缺陷所在待检测图像的红外相机的采集范围与传送带在世界坐标系的第二坐标轴方向上的位置关系、以及转换关系,确定图像坐标中第二坐标轴的第二坐标在世界坐标系的第二坐标轴上的坐标,并可以根据上述转换关系,确定预设第四初始坐标在世界坐标系的第二坐标轴上的坐标,进而,计算上述第二坐标在世界坐标系的第二坐标轴上的坐标,与预设第四初始坐标在世界坐标系的第二坐标轴上的坐标的第二坐标差值,并将该第二坐标差值的绝对值,作为缺陷与第二边缘点在第二坐标轴方向上的第二距离。

可选的,一种具体实现方式中,上述步骤S3033,根据图像坐标中第一坐标轴的第一坐标、采集缺陷所在待检测图像时预设第三初始坐标的坐标变化值、预设第三初始坐标以及关于图像坐标系和传送带对应的世界坐标系的转换关系,确定缺陷与第一边缘点在第一坐标轴方向上的第一距离,可以包括如下步骤21-23:

步骤21:计算预设第三初始坐标与采集缺陷所在待检测图像时预设第三初始坐标的坐标变化值的和值;

步骤22:计算和值与图像坐标中第一坐标轴的第一坐标的差值绝对值;

步骤23:基于差值绝对值,以及图像坐标系和传送带对应的世界坐标系的转换关系,计算缺陷与第一边缘点在第一坐标轴方向上的第一距离。

在本具体实现方式中,针对每帧图像,在确定采集该帧图像时预设第三初始坐标的坐标变化值后,可以计算上述预设第三初始坐标与采集该帧待检测图像时预设第三初始坐标的坐标变化值的和值,作为在采集该帧待检测图像时,上述第一边缘点在图像坐标系中第一坐标轴的坐标。

基于此,可以计算上述预设第三初始坐标与采集缺陷所在待检测图像时预设第三初始坐标的坐标变化值的和值,作为在采集缺陷所在待检测图像时,上述第一边缘点在图像坐标系中第一坐标轴的坐标。

之后,可以计算上述和值与缺陷的图像坐标中第一坐标轴的第一坐标的差值绝对值,并基于上述差值绝对值和上述转换关系,确定上述缺陷与上述第一边缘点在第一坐标轴方向上的第一距离。

示例性的,若上述第一边缘点为待检测对象最先进入红外相机的采集范围的边缘点,可以将上述第一边缘点的预设第三初始坐标表示为:Y

Y

而上述差值绝对值可以表示为:

Y

其中,Y

从而,上述第一距离可以表示为:

Y

可选的,一种具体实现方式中,上述步骤S3034,根据采集范围与传送带在世界坐标系的第二坐标轴方向上的位置关系、图像坐标中第二坐标轴的第二坐标、预设第二初始坐标以及转换关系,确定缺陷与第二边缘点在第二坐标轴方向上的第二距离,可以包括如下步骤31-32:

步骤31:根据采集范围与传送带在世界坐标系的第二坐标轴方向上的位置关系、图像坐标中第二坐标轴的第二坐标、预设第四初始坐标以及转换关系,确定缺陷的指定坐标;

其中,指定坐标包括缺陷在世界坐标系的第二坐标轴的坐标;

步骤32:计算第二边缘点的目标坐标,与指定坐标的差值,作为缺陷与第二边缘点在第二坐标轴方向上的第二距离;

其中,目标坐标是第二边缘点在世界坐标系的第二坐标轴的坐标。

在本具体实现方式中,在确定缺陷在待检测图像中的图像坐标后,可以将上述图像坐标中第二坐标轴的第二坐标,通过采集上述缺陷所在待检测图像的红外相机的采集范围和传送带在世界坐标系的第二坐标轴方向上的位置关系,以及关于图像坐标系和传送带对应的世界坐标系的转换关系,转换为该缺陷在世界坐标系中第二坐标轴的指定坐标。

之后,确定上述第二边缘点在世界坐标系中第二坐标轴的目标坐标,然后,便可以计算上述目标坐标和上述指定坐标的差值,得到缺陷与第二边缘点在第二坐标轴方向上的第二距离。

可选的,若第二参照点为待检测对象中第二坐标轴的坐标最小的边缘点,则可以在传送带静止时,量取待检测对象在第二坐标轴的各个第二坐标中的最小值,作为第二边缘点的目标坐标。

可选的,若第二参照点为待检测对象中第二坐标轴的坐标最大的边缘点,则可以在传送带静止时,量取待检测对象在第二坐标轴的各个第二坐标中的最大值,作为第二边缘点的目标坐标;

示例性的,如图2(d)所示,点A为所检测到的缺陷,点a为待检测对象的第二边缘点,其中,点A在世界坐标系中的第二坐标为9,点a在世界坐标系中的第二坐标为13,从而,点A与待检测对象的第二边缘点a在第二坐标轴方向上的第二距离为4。

也就是说,根据红外相机的采集范围与在世界坐标系的第二坐标轴上的取值范围,以及关于图像坐标系和传送带对应的世界坐标系的转换关系,可以确定该缺陷的图像坐标中的第二坐标,在世界坐标系中所对应的指定坐标。之后,可以确定待检测对象的第二边缘点的目标坐标,进而,便可以计算该缺陷在世界坐标系中的指定坐标,与上述第二边缘点的目标坐标的差值。从而,可以将上述差值作为在待检测对象上,该缺陷与待检测对象的第二边缘点在第二坐标轴方向上的第二距离。

可选的,若第二参照点为待检测对象中第二坐标轴的坐标最大的边缘点,则上述第二距离可以表示为:

X

其中,X

示例性的,如图2(e)所示,红外相机E的采集区域为区域C,则该红外相机E的采集区域在世界坐标系中的X坐标的取值范围为[10,15]。该红外相机E所采集的图像在图像坐标系中的X坐标的取值范围为[0,20],并且,该图像中存在缺陷H,且缺陷H在图像中的X坐标为5。根据上述红外相机的采集区域在世界坐标系中所对应的X坐标的取值范围,可以确定上述缺陷H在世界坐标系中的X坐标为10+5*5/20,即该缺陷H在世界坐标系中的X坐标为11.25。该待检测对象的第二边缘点在世界坐标系的第二坐标轴的X坐标为14,从而,该缺陷H第二边缘点的第二距离为2.75。

相应于上述本申请实施例提供的一种缺陷定位方法,本申请实施例还提供了一种缺陷定位装置。

图8为本申请实施例提供的一种缺陷定位装置的结构示意图,如图8所示,该缺陷定位装置可以包括如下模块:

图像获取模块810,用于获取红外相机所采集的关于待检测对象的待检测图像;其中,所述待检测对象放置于传送带上,所述红外相机位于所述传送带上方;

检测模块820,用于对所述待检测图像进行缺陷检测,并确定所检测到的缺陷在图像坐标系中的图像坐标;

距离确定模块830,用于根据所述图像坐标,以及关于所述图像坐标系和所述传送带对应的世界坐标系的转换关系,确定所述缺陷与所述待检测对象上的第一参照点在所述第一坐标轴方向上的第一距离,以及所述缺陷与所述待检测对象上的第二参照点在所述第二坐标轴方向上的第二距离;

定位模块840,用于基于所述第一距离、所述第二距离、所述第一参照点和所述第二参照点,在所述待检测对象中定位所述缺陷。

以上可见,在进行缺陷定位时,可以首先确定所检测到的缺陷在图像坐标系中的图像坐标,然后,根据所检测到的缺陷的图像坐标和关于图像坐标系和传送带对应的世界坐标系的转换关系,分别确定在两个坐标轴所在方向上,缺陷与参照点的距离,从而,利用上述距离,在待检测图像中定位该缺陷。这样,相比于人工定位的方法,可以缩短定位周期较长,提高缺陷定位效率;并且,使用红外相机所采集的红外图像进行缺陷检测,可以避免出现因零件反光而导致的缺陷检测效果较差的情况,提高缺陷检测的准确性,进而,可以提高缺陷定位的准确性。

可选的,一种具体实现方式中,所述距离确定模块830,具体用于:

根据所述图像坐标中所述第一坐标轴的第一坐标、采集所述缺陷所在待检测图像时所述预设第一初始坐标的坐标变化值、预设第一初始坐标以及关于所述图像坐标系和所述传送带对应的世界坐标系的转换关系,确定所述缺陷与所述第一参照点在所述第一坐标轴方向上的第一距离;其中,所述预设第一初始坐标为:首次在所述待检测图像中检测到所述第一参照点时,所述第一参照点在所述第一坐标轴的坐标;

根据所述采集范围与所述传送带在所述世界坐标系的第二坐标轴方向上的位置关系、所述图像坐标中所述第二坐标轴的第二坐标、预设第二初始坐标以及所述转换关系,确定所述缺陷与所述第二边缘点在所述第二坐标轴方向上的第二距离;其中,所述预设第二初始坐标为:所述第二参照点在所述第二坐标轴的坐标。

可选的,一种具体实现方式中,所述图像坐标系的第一坐标轴的正方向与所述传送带的传送方向相同;所述第一参照点为所述待检测对象最先或者最后进入所述红外相机的采集范围的第一边缘点,且所述第二参照点为所述待检测对象中所述第二坐标轴的坐标最大或者最小的第二边缘点;所述距离确定模块830,包括:

第一距离确定子模块,用于根据所述图像坐标中所述第一坐标轴的第一坐标、采集所述缺陷所在待检测图像时所述预设第三初始坐标的坐标变化值、预设第三初始坐标以及关于所述图像坐标系和所述传送带对应的世界坐标系的转换关系,确定所述缺陷与所述第一边缘点在所述第一坐标轴方向上的第一距离;其中,所述预设第三初始坐标为:首次在所述待检测图像中检测到所述第一边缘点时,所述第一边缘点在所述第一坐标轴的坐标;

第二距离确定子模块,用于根据所述采集范围与所述传送带在所述世界坐标系的第二坐标轴方向上的位置关系、所述图像坐标中所述第二坐标轴的第二坐标、预设第四初始坐标以及所述转换关系,确定所述缺陷与所述第二边缘点在所述第二坐标轴方向上的第二距离;其中,所述预设第四初始坐标为:所述第二边缘点在所述第二坐标轴的坐标。

可选的,一种具体实现方式中,所述第一距离确定子模块,具体用于:

计算预设第三初始坐标与采集所述缺陷所在待检测图像时所述预设第三初始坐标的坐标变化值的和值;

计算所述和值与所述图像坐标中所述第一坐标轴的第一坐标的差值绝对值;

基于所述差值绝对值,以及所述图像坐标系和所述传送带对应的世界坐标系的转换关系,计算所述缺陷与所述第一边缘点在所述第一坐标轴方向上的第一距离。

可选的,一种具体实现方式中,所述装置还包括坐标变化值确定模块,所述坐标变化值确定模块,具体用于:

根据所述红外相机的采集频率、所述缺陷所在待检测图像的采集序号以及所述传送带的移动速度,确定所述坐标变化值;

其中,所述采集序号用于表征:在按照采集时间由早到晚的顺序排列所述多帧待检测图像时,所述缺陷所在待检测图像的排序。

可选的,一种具体实现方式中,所述第二距离确定子模块,具体用于:

根据所述采集范围与所述传送带在所述世界坐标系的第二坐标轴方向上的位置关系、所述图像坐标中所述第二坐标轴的第二坐标、预设第四初始坐标以及所述转换关系,确定所述缺陷的指定坐标;其中,所述指定坐标包括所述缺陷在所述世界坐标系的第二坐标轴的坐标;

计算第二边缘点的目标坐标,与所述指定坐标的差值,作为所述缺陷与所述第二边缘点在所述第二坐标轴方向上的第二距离;其中,所述目标坐标是所述第二边缘点在所述世界坐标系的第二坐标轴的坐标。

可选的,一种具体实现方式中,所述传送带两侧设置有光栅,所述光栅位于所述红外相机的采集范围的边缘;所述多帧待检测图像是所述红外相机在所述待检测对象开始遮挡所述光栅至移出所述光栅区域的过程中采集的,所述预设第三初始坐标为:所述光栅所处位置在所述图像坐标系的第一坐标轴上的坐标。

可选的,一种具体实现方式中,所述红外相机的数量为多个,所述多个红外相机沿所述第二坐标轴所在方向排列,且所述多个红外相机的采集范围覆盖所述第二坐标轴所在方向上所述传送带区域。

本申请实施例还提供了一种电子设备,如图9所示,包括:

存储器901,用于存放计算机程序;

处理器902,用于执行存储器901上所存放的程序时,实现本申请实施例提供的任一缺陷定位方法的步骤。

并且上述电子设备还可以包括通信总线和/或通信接口,处理器902、通信接口、存储器901通过通信总线完成相互间的通信。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本申请提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一缺陷定位方法的步骤。

在本申请提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一缺陷定位方法。

在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)等。

需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,尤其,对于装置实施例、电子设备实施例、计算机可读存储介质实施例以及计算机程序产品实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的较佳实施例,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。

相关技术
  • 一种基于Slam定位方法、装置、电子设备及计算机存储介质
  • 一种车辆定位方法、装置、电子设备及存储介质
  • 一种定位方法、装置、电子设备及计算机可读存储介质
  • 定位方法、定位装置和电子设备
  • 一种电子设备的输入方法、输入装置及电子设备
  • 一种缺陷定位方法、装置、电子设备及存储介质
  • 一种晶圆固定位置缺陷分析方法、装置及电子设备
技术分类

06120116483301