一种基于多目视觉的在线全尺寸检测方法及系统

技术领域

本发明涉及多目视觉尺寸测量技术领域，尤其涉及一种基于多目视觉的在线全尺寸检测方法及系统。

背景技术

尺寸检测作为工业制造中不可或缺的一环，根据检测需求的不同，可完成位置度、平面度、轮廓度、线性距离、孔径等众多项目的检测。目前，企业在进行尺寸检测时往往会采用传统测量工具，如千分尺、游标卡尺、对手件、量块等，或者针对一些大型精密零件则会使用三坐标测量仪、柔性臂等检测设备进行测量，在测量中，通过测量孔的结构信息来判定待测零件是否合格。其中，前者大多为人工手动操作，检测时需要耗费大量的人力和物力，且检测精度一般较低，没办法进行高精度的测量；后者虽然检测精度和重复性都较好，但是需要对每个测点进行接触式的测量，检测耗时一般需要以小时计算，难以满足生产流水线的生产节拍，没办法做到在线测量。

可见，现有技术中，难以达到在满足高精度测量的同时实现高效检测的目的。

发明内容

本发明提供了一种基于多目视觉的在线全尺寸检测方法及系统，以解决现有技术中难以达到在满足高精度测量的同时实现高效检测的问题。

为了实现上述目的，本发明通过如下的技术方案来实现：

第一方面，本发明提供一种基于多目视觉的在线全尺寸检测方法，包括：

S1：通过相机阵列采集待测工件上待测孔的图像；

S2：检测所述待测孔的孔心坐标，其中，所述孔心坐标为待测孔在每个图像下的二维坐标；

S3：将所述孔心坐标分组保存，并根据孔心坐标确定相机阵列中的每一个相机和待测孔的对应关系；

S4：根据所述对应关系和三角化方法对所有待测孔进行三维重建，根据三维重建结果和所述孔心坐标确定所有待测孔在工件坐标系下的三维坐标；

S5：将每个待测的三维坐标由工件坐标系转换到重建的测量坐标系，并确定在测量坐标系下每个每个待测孔的尺寸信息。

可选地，所述S1包括：

控制相机阵列在设置的常规光照和局部光照下分时采集待测工件的图像。

可选地，所述S2包括：

根据相机阵列中相机的内外参和孔的CAD三维坐标，通过投影的方式生成待测孔在相机阵列下的2D的模板图像和待测孔对应的模板孔心坐标；

获取模板图像中的边缘特征点信息；

裁取待测工件的图像中的待测孔的ROI图像，并对所述ROI图像进行边缘提取得到边缘图像，在边缘图像中提取每个像素的梯度信息，将所述梯度信息与模板图像中的边缘特征点信息进行滑窗搜索和匹配，最终得到ROI图像中的孔心坐标。

可选地，所述S3中相机和待测孔的对应关系是指每个相机能采集到哪些孔以及每个孔都能被哪些相机采集到。

可选地，所述S4包括：

确定经过优化的相机内参和相机外参；

根据所述相机内参、所述相机外参以及所述对应关系，采用三角化方法计算得到待测孔的三维坐标，其中，计算公式满足如下关系式：

X＝K[R|T]x；

式中，X表示三角化后重建的孔心坐标值，K表示相机内参，[R|T]表示相机外参，x表示孔心坐标。

可选地，所述S5之前，所述方法还包括：

确定待测工件的一个基准平面和两个基准孔，按照实际待检工件的图纸要求将所述一个基准平面和所述两个基准孔与理论坐标进行对齐以进行坐标系重建而获得测量坐标系。

可选地，所述S5包括：

确定待测孔的位置度；其中，位置度满足如下关系式：

position＝2*sqrt((x1-x0)

式中，position表示位置度，重建后的测量坐标为(x1，y1，z1)，理论坐标为(x0，y0，z0)，sqrt表示开根号表达式；

根据所述待测孔在工件坐标系下的三维坐标和所述位置度确定所述待测孔的尺寸信息。

第二方面，本申请还提供一种基于多目视觉的在线全尺寸检测系统，包括：暗室、相机阵列、以及主控单元，所述相机阵列与所述主控单元通讯连接，相机阵列包括多个第一相机、多个第二相机和多个第三相机，多个所述第一相机彼此间隔开地设在所述暗室内的顶部，多个所述第二相机彼此间隔开地设在所述暗室内的底部，多个所述第三相机沿所述暗室的周向彼此间隔开地设在所述暗室内的侧壁上：

所述相机阵列用于采集待测工件上待测孔的图像；

所述主控单元用于检测所述待测孔的孔心坐标，其中，所述孔心坐标为待测孔在相机下的孔心坐标；

将所述孔心坐标分组保存，并根据孔心坐标确定相机阵列中的每一个相机和待测孔的对应关系；

根据所述对应关系和三角化方法对所有待测孔进行三维重建，根据三维重建结果和所述孔心坐标确定所有待测孔在工件坐标系下的三维坐标；

将所述待测孔在工件坐标系下的三维坐标转换为重建的测量坐标系下的尺寸信息。

可选地，还包括多个光源，多个所述光源间隔设在所述暗室的内壁上。

有益效果

本发明提供的基于多目视觉的在线全尺寸检测方法，首先确定相机阵列中的相机和待测孔的对应关系，根据孔心坐标和所述对应关系使用三角化方法对所有待测孔进行三维重建，得到待测孔在工件坐标系下的三维坐标；进一步将每个待测的三维坐标由工件坐标系转换到重建的测量坐标系，并确定在测量坐标系下每个每个待测孔的尺寸信息。这样，通过相机阵列进行联合标定确定待测孔的三维坐标，并根据测量坐标系和待测孔的三维坐标确定待测孔的尺寸信息，可以实现非接触式的检测目的，适用于流水线上在线检测需求的高精度尺寸检测，具有高效、高精、高稳定性的特点。

在优选的实施方式中，通过按照实际待检工件的图纸要求进行建系，可以按照实际测量要求将待测孔的重建三维坐标转换到不同的基准坐标系中，以满足实际检测需求中存在的多种基准测量需求。通过获取所有孔在多个基准下的尺寸信息，使得测量结果更加符合实际的测量要求，提高测量精度。

附图说明

图1为本发明优选实施例的一种基于多目视觉的在线全尺寸检测方法的流程图；

图2为本发明优选实施例的一种待测工件的结构示意图；

图3为本发明优选实施例的孔在相机下的具体坐标的示意图；

图4为本发明优选实施例的模板图像的示意图；

图5为本发明优选实施例的模板孔心坐标的示意图；

图6为本发明优选实施例的标定板的示意图；

图7为本发明优选实施例的贴完标定板的标定工件的示意图；

图8为本发明优选实施例的三角化示意图。

具体实施方式

下面对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另作定义，本发明中使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”或者“一”等类似词语也不表示数量限制，而是表示存在至少一个。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也相应地改变。

请参见图1，本申请提供的一种基于多目视觉的在线全尺寸检测方法，包括：

S1：通过相机阵列采集待测工件上待测孔的图像；

S2：检测待测孔的孔心坐标，其中，孔心坐标为待测孔在每个图像下的二维坐标；

S3：将孔心坐标分组保存，并根据孔心坐标确定相机阵列中的每一个相机和待测孔的对应关系；

S4：根据孔心坐标和所述对应关系使用三角化方法对所有待测孔进行三维重建，得到待测孔在工件坐标系下的三维坐标；

S5：将每个待测的三维坐标由工件坐标系转换到重建的测量坐标系，并确定在测量坐标系下每个每个待测孔的尺寸信息。

应理解，上述的基于多目视觉的在线全尺寸检测方法可以应用于基于多目视觉的在线全尺寸检测系统，该系统包括：暗室、相机阵列、以及主控单元，相机阵列与主控单元通讯连接，相机阵列包括多个第一相机、多个第二相机和多个第三相机，多个第一相机彼此间隔开地设在暗室内的顶部，多个第二相机彼此间隔开地设在暗室内的底部，多个第三相机沿暗室的周向彼此间隔开地设在暗室内的侧壁上。

其中，采用相机阵列获取待测工件上待测孔的图像，相机阵列可以是由CCD工业相机组成。相机的布局方案可以按照工件形态和测量孔位进行定制化。

S3中相机和待测孔的对应关系是指每个相机能采集到哪些孔以及每个孔都能被哪些相机采集到。例如，相机A可以采集到孔1、孔2以及孔3，孔1可以被相机A采集到也可以被相机B采集到，那么，相机A与孔1、孔2以及孔3之间都存在对应关系，孔1与相机A和相机B存在对应关系。在存在这种交叉关系的情况下，所有相机和孔的关系可以是一个网络结构。如图2-3所示，图2为一种待测工件的结构示意图，图3为孔在相机下的具体坐标。

上述的基于多目视觉的在线全尺寸检测方法，通过相机阵列进行联合标定确定待测孔的三维坐标，并根据测量坐标系和待测孔的三维坐标确定待测孔的尺寸信息，可以实现非接触式的检测目的，适用于流水线上在线检测需求的高精度尺寸检测，具有高效、高精、高稳定性的特点。

可选地，S1包括：

控制相机阵列在设置的常规光照和局部光照下分时采集待测工件的图像。

在本可选的实施方式中，常规光照是指在暗室内壁上间隔设置的光源的光照，局部光照是根据实际需求在暗室内壁的某一个特定位置设置的光源产生的光照，通过在常规光照和局部光照下进行分时拍摄可以保证每个孔的成像最佳。

进一步地，采集到待测工件的图像后，给每个孔都标注上ROI(Region OfInterest，感兴趣区域)，便于后续检测时缩小检测范围，同时也为了达到确定当前相机下的孔名的目的。

可选地，S2包括：

根据相机阵列中相机的内外参和孔的CAD三维坐标，通过投影的方式生成待测孔在相机阵列下的2D的模板图像和待测孔对应的模板孔心坐标；

获取模板图像中的边缘特征点信息；

裁取待测工件的图像中的待测孔的ROI图像，并对ROI图像进行边缘提取得到边缘图像，在边缘图像中提取每个像素的梯度信息，将梯度信息与模板图像中的边缘特征点信息进行滑窗搜索和匹配，最终得到ROI图像中的孔心坐标。

在本可选的实施方式中，使用模板匹配方法检测孔心坐标，作为可变换地实施方式，在其他可行的实施方式中，还可以采用圆拟合、椭圆拟合等圆心检测方法检测孔心坐标。此处仅做示例，不做限定。

具体而言，模板匹配过程中包括模板生成、模板训练、模板匹配等步骤如下：

模板生成：根据相机内外参和孔的CAD三维坐标，通过投影的方式生成孔在相机下的2D模板图像。在一可实现的实施方式中，模板图像为黑底白色填充图案，如图4-5所示。每个孔除了如图4所示的模板图像外，还有对应的如图5所示的模板孔心坐标。图5中，模板空心坐标为x：2669.436279，y：1018.707703。其中，孔的CAD三维坐标可以根据工件图纸确定。

模板训练：得到模板图后，开始对模板进行训练。模板训练的目的是为了获取模板图像中的边缘特征点信息，信息中包含了特征点在模板图像上的坐标、梯度方向等信息。训练完模板图像后将特征点信息保存到yaml文件中，可以减少模板匹配时的耗时。

在实际尺寸测量中，可以直接读取保存后的模板特征点信息，然后计算模板和真实孔图像的相关性。

模板匹配：通过模板匹配得到孔心坐标。从采集的待测工件的图像中裁取待测孔的ROI图像，对裁取后的待测孔的ROI图像进行平滑、对比度增强处理，为了提升特征点提取的有效性，先对待测孔的ROI图像进行边缘提取，在边缘图像中提取每个像素的梯度信息，最后再与模板特征进行滑窗搜索和匹配，最终得到待测孔的ROI图像中的孔心坐标。经过对所有待测孔进行模板匹配后，得到其孔心坐标，并以相机编号分组存放每个孔的坐标，用于后续步骤中孔心三维坐标的重建。

可选地，S4包括：

确定经过优化的相机内参和相机外参；

根据相机内参、相机外参以及对应关系，采用三角化方法计算得到待测孔的三维坐标，其中，计算公式满足如下关系式：

X＝K[R|T]x；

式中，X表示三角化后重建的孔心坐标值，K表示相机内参，[R|T]表示相机外参，x表示孔心坐标。

在本可选的实施方式中，经过优化的相机内参和相机外参所在坐标系会和工件CAD在同一个坐标系下，可以方便后期的重建和测量与工件坐标系统一坐标系。优化相机内参和相机外参的步骤如下：

相机的初始标定：在多目视觉系统中，为了将多个相机标定在同一个坐标系下，将足够多的标定板(AprilTag)贴到待测量工件的样件上作为标定工件，其中，标定板如图6所示，每个标定板都是自带ID，其中，图6(a)的ID名为“Tag36h11”，图6(b)的ID名为“TagStandard41h12”，图6(c)的ID名为“TagStandard52h13”，这样可以保证每个相机检测到的标定板都有唯一的ID对应。贴完标定板如图7所示，贴完标定板后将标定工件放到暗室治具中进行图像采集。图像采集数量可以一组，也可以移动后拍多组，其中，采集多组可以有效增加特征点数量，提升标定精度。图像采集后，使用colmap对所有相机进行联合标定，这样可以将所有相机标定至其中的一个相机坐标系下，这样就完成了所有的相机标定。相机的初始标定后可以获取到相机内参、畸变系数以及相机坐标系下的相机外参。

应理解，colmap是一个用于多视角立体重建的开源软件包，可以根据多个图像来生成三维场景的几何结构和纹理。通过COLMAP可以完成多目视觉系统中的相机姿态估计以及相机参数的标定。

相机坐标系转到工件坐标系：在转系前，需要确定待转系工件的CAD模型，更具体的是需要确定CAD中每个孔的坐标值，最好这个坐标值是使用三坐标测量仪测量得到的，将其作为本申请的真值(GroundTruth)。在获取到多目系统每个相机的初始相机参数后，检测每个相机下每个孔的2D坐标，通过三角化方法重建得到孔在相机坐标系下的3D坐标。然后通过矩阵运算计算相机坐标系下的3D坐标与三坐标得到的工件孔的坐标的转换关系，获得两个坐标系之间的旋转矩阵(R)、平移向量(T)、缩放系数(S)。最后将这些参数应用到每个相机中即可完成相机坐标系到工件坐标系的转换，方便后续步骤中的测量。

使用孔优化相机参数：在上一步中，可以得到每个孔的3D观察坐标以及三坐标测量值，如图8所示，通过光束平差法(Bundle Adjustment,BA)，可以使用三坐标测量值来约束每个孔的3D观察坐标，使得每个孔的观察值更接近于真实值(三坐标测量值)，因为这个约束实际上是作用到相机内外参，因此通过这种方式，可以得到更精确的相机内外参，也就完成了基于孔的相机参数的优化。

进一步地，三角化方法的使用前提是知道每个相机的内外参(也可以说位姿)。知道每个孔(测点)在各个相机下的孔心坐标。由于相机的内参、外参都已经得到，同时也获取到了每个孔在不同相机下的2D坐标，因此可以通过三角化原理对每个孔进行三维重建，得到该待测孔在工件坐标系下的坐标值。

具体地，假设三角化后重建的孔心坐标值为X，其在相机成像中的图像坐标为x，相机的内参为K、旋转矩阵为R、平移向量为T，其中R和T组合[R|T]表示相机外参。则通过下列公式可知道孔图像坐标与三坐标的关系，并可依据至少两个点对求得该孔的三维坐标，其中，该至少两个点对为同一个孔在两个相机下的图像坐标。

X＝K[R|T]x；

通过该公式即可根据多个相机下的孔心坐标重建每个孔的3D坐标，用于后续步骤中的建系和测量。

在前述步骤中，可以获得待测工件上每个待测孔的3D坐标，且这个坐标值是在工件坐标系下的，但是此时的坐标并没有按照测量要求对齐到基准孔下，因此还需要将重建坐标值，按照实际待检工件的图纸要求进行建系。且，在实际工件中，根据装配关系不同，同一个工件的不同部位可能会放在不同的基准下进行测量，通过重新建系操作则可以满足多个基准的测量。

可选地，S5之前，上述的方法还包括：

确定待测工件的一个基准平面和两个基准孔，按照实际待检工件的图纸要求将一个基准平面和两个基准孔与理论坐标进行对齐以进行坐标系重建而获得测量坐标系。

在本可选的实施方式中，建系的步骤具体如下：

由于相机参数是在工件坐标系下，因此对重建3D坐标建系是一个刚体变换的过程。其中刚体变换所需的缩放系数(S)、旋转矩阵(R)、平移向量(T)通过重建坐标与理论坐标对齐时获得。

确定待测工件的一个基准平面和两个基准孔，建系时要求重建基准坐标与CAD名义基准坐标严格对齐。假设现有基准平面A、第一基准孔B、第二基准孔C，则对齐后重建坐标的基准面法向、第一基准孔B的xy坐标、第二基准孔C的x(或y，具体看工件)均与名义值保持一致，其中，x坐标和y坐标都为理论坐标。

通过按照实际待检工件的图纸要求进行建系，可以按照实际测量要求将待测孔的重建三维坐标转换到不同的基准坐标系中，以满足实际检测需求中存在的多种基准测量需求。通过获取所有孔在多个基准下的尺寸信息，使得测量结果更加符合实际的测量要求，提高测量精度。

可选地，S5包括：

确定待测孔的位置度；其中，位置度满足如下关系式：

position＝2*sqrt((x1-x0)

式中，position表示位置度，重建后的测量坐标为(x1，y1，z1)，理论坐标为(x0，y0，z0)，sqrt表示开根号表达式；

根据待测孔在工件坐标系下的三维坐标和位置度确定待测孔的尺寸信息。

作为可变换的实施方式，在其他可实现的实施方式中，上述的方法还可以用于测量平面度、轮廓度、线性距离等。

其中，确定平面度的方式如下：

设平面特征点分别为a1,a2,...,an，由特征点拟合的平面为Ax+By+Cz+D＝0，特征点到平面的距离分别为d1,d2,...,dn，则平面度flatness可表示为：

flatness＝max(d1,d2,...,dn)-min(d1,d2,...,dn)；

其中，max和min分别表示特征点到平面的距离的最大值、最小值，A、B、C分别表示平面法向量在X轴、Y轴、Z轴上的分量，D为常数项，表示平面与原点的距离。

其中，确定轮廓度的方式如下：

设平面特征点分别为a1,a2,...,an，平面的理论坐标为X，理论法向为(1,0,0)，由特征点拟合的平面为Ax+By+Cz+D＝0。由于理论平面法向为(1,0,0)，因此该平面的轮廓度只需要计算x方向的偏差即可。可设：

d1x＝a1

其中，d1x、d2x、dnx分别表示每个平面特征点到理论特征点在X方向上的偏差，则轮廓度profile可表示为：

profile＝2*max(d1x,d2x,...,dnx)；

其中，确定线性距离的方式如下：

设现有两个孔的坐标为(x1,y1,z1)，(x2,y2,z2)。则线性距离distance可通过两点间的欧氏距离计算得到。

distance＝sqrt((x2-x1)

本实施例中，线性距离指两个孔之间的距离。

在一示例中，采用上述的基于多目视觉的在线全尺寸检测方法可在150s内完成1000+个测点的检测，各项检测精度均能达到先进水平，如位置度0.3相关性能达到98％以上，平面度0.15能达到98％以上、轮廓度0.3能达到95％以上。

本申请还提供一种基于多目视觉的在线全尺寸检测系统，包括：暗室、相机阵列、以及主控单元，相机阵列与主控单元通讯连接，相机阵列包括多个第一相机、多个第二相机和多个第三相机，多个第一相机彼此间隔开地设在暗室内的顶部，多个第二相机彼此间隔开地设在暗室内的底部，多个第三相机沿暗室的周向彼此间隔开地设在暗室内的侧壁上：

相机阵列用于获取待测工件上待测孔的图像；

主控单元用于检测待测孔的孔心坐标，其中，孔心坐标为待测孔在相机下的孔心坐标；

将孔心坐标分组保存，并根据孔心坐标确定相机阵列中的每一个相机和待测孔的对应关系；

根据对应关系和三角化方法对所有待测孔进行三维重建，根据三维重建结果和孔心坐标确定所有待测孔在工件坐标系下的三维坐标；

将待测孔在工件坐标系下的三维坐标转换为测量坐标系下的尺寸信息。

可选地，还包括多个光源，多个光源间隔设在暗室的内壁上。

在本可选的实施方式中，具体地，多个光源可以包括多个第一光源和多个第二光源，多个第一光源均设在暗室内的上部且朝向暗室的顶壁，多个第一光源沿暗室的周向间隔设置，多个第二光源均设在暗室内的下部且朝向暗室的底壁，多个第二光源沿暗室的周向间隔设置。

具体而言，可以采用主控单元控制不同光源在不同时间进行打光，从而实现针对每个孔进行不同的打光和拍照，保证每个孔的成像最佳。

上述的基于多目视觉的在线全尺寸检测系统可以实现上述基于多目视觉的在线全尺寸检测方法的各个实施例，且能达到相同的有益效果，此处，不做赘述。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。