面向工业现场的结构光系统快速标定方法

技术领域

本发明涉及标定领域，具体涉及一种面向工业现场的结构光系统快速标定方法。

背景技术

随着基于结构光的三维测量技术的逐步发展，视觉三维测量技术不仅在学术界得到了广泛的研究，在工业界也得到了广泛的应用。然而在复杂的工业现场环境下，结构光三维测量系统的使用还是存在着一系列的问题，对结构光三维测量系统的实际应用造成困难。工业现场的结构光系统标定主要存在以下几点问题：

(1)传统基于双目立体视觉的标定方法，在三维重建的时候需要耗时的匹配点搜索造成了测量效率低下，占用了更多的计算机资源，不适用于工业现场的检测。

(2)传统基于相高映射的标定方法，通常需要精密的平台或其他的仪器，导致标定成本的上升，复杂的实验操作和昂贵精密的实验仪器，使得在工业现场的标定成为很大的问题。

(3)在实际工业现场环境下，常伴随着因为运输、搬动，使得标定过后的结构光系统外参发生变化，需要对测量系统重新标定。

目前，针对如何提高工业现场环境下的结构光系统标定的精度和效率，实现工业现场的快速标定已经成为业内十分关注的问题。

发明内容

针对上述提到的技术问题。本申请的实施例的目的在于提出了一种面向工业现场的结构光系统快速标定方法，来解决以上背景技术部分提到的技术问题，基于P3DM模型，使用PNP算法进行标定板的姿态估计，在仅采集两个位置标定板图像的情况下实现快速高精度的系统标定。在保证测量精度的同时加快标定速度，使结构光系统的高精度现场标定成为可能。

本发明提供了一种面向工业现场的结构光系统快速标定方法，包括以下步骤：

分别对投影仪和相机进行内参标定，固定投影仪和相机的位置，将标定板放置于相机和投影仪的共同视野范围内；

将标定板先后两次相对平行地放置在上下两个参考位姿，以构成两个参考平面，并通过相机采集两个参考位姿下对应的标定板的图像；

根据标定板的图像采用PNP算法估计两个参考平面的相机外参和投影仪外参，生成多个虚拟平面，并计算得到每个虚拟平面生成的对应的相机外参和投影仪外参，在参考平面和虚拟平面上生成对应的世界坐标数据和绝对相位；

采用参考平面和虚拟平面对应的世界坐标数据和绝对相位对P3DM模型进行标定，利用LUT方法查找P3DM模型中对应的参数，实现三维重建。

作为优选，内参包括焦距、像主点坐标以及畸变参数，外参为在静态场景下相机或投影仪与世界坐标系的相对位置，包括旋转矩阵和平移向量，相机或投影仪的内参和外参之间的关系为：

其中，相机采集到标定板图像的二维坐标为(u

作为优选，分别对投影仪和相机进行内参标定，具体包括：

采用张正友标定法对相机进行内参标定；

通过投影仪将水平和垂直两个方向的正弦光栅投射到标定板上，并使用相机采集标定板图像，其中，水平和垂直两个方向的正弦光栅的灰度值分别表示为：

其中，λ

相机采集到的标定板图像上的光强分布函数为：

其中，

通过最小二乘法计算得到包裹相位，如下式所示：

使用多频外差法对其进行相位展开以获得对应的绝对相位Φ

根据绝对相位计算获取对应的投影仪像素坐标，如下式所示：

将投影仪当作逆向的相机，对投影仪进行内参标定。

作为优选，根据标定板的图像采用PNP算法估计两个参考平面的相机外参和投影仪外参，生成多个虚拟平面，并计算得到每个虚拟平面生成的对应的相机外参和投影仪外参，具体包括：

采用PNP算法估计两个参考平面的相对于投影仪和相机的旋转向量和平移向量；

计算两个参考平面的旋转向量和平移向量的差值，如下式所示：

其中，下标c和p分别代表相机坐标系和投影仪坐标系，上标*表示差值，rvec

根据旋转向量和平移向量的差值计算得到等间距的虚拟平面，如下式所示：

其中，m为生成虚拟平面的数目，rvec

作为优选，在参考平面和虚拟平面上生成对应的世界坐标数据和绝对相位，具体包括：

根据相机外参计算目标平面上的世界坐标数据，目标平面包括参考平面和虚拟平面，其坐标映射的关系如下：

其中，A

根据标定板的平面假设，使Z

将目标平面坐标(X

其中，使用所生成的最底部的虚拟平面的坐标系作为参考坐标系，其对应的外参为

任意投影仪坐标(u

在投影仪空间中，其绝对相位Φ满足以下公式：

Φ＝2π×u

其中，t代表条纹相位的周期，且条纹图案沿正弦方向变化；

根据每个虚拟平面生成的对应的相机外参

作为优选，采用参考平面和虚拟平面对应的世界坐标数据和绝对相位对P3DM模型进行标定，具体包括：

根据立体视觉模型的推导将世界坐标、绝对相位之间的映射关系用多项式的数学形式来表示，如下式所示：

其中，N表示多项式的阶次，Φ

A＝[a

X

根据上面三个式子可得到以下公式：

X

根据最小二乘法，在公式的两边乘以矩阵P的转置，得到下式：

A＝(P

矩阵A的因子a

作为优选，利用LUT方法查找P3DM模型中对应的参数，实现三维重建，具体包括：

将正弦光栅投影到待测物体上并采集图像，计算对应的绝对相位Φ

相比于现有技术，本发明具有以下有益效果：

(1)本发明在相机和投影仪内参已知的情况下，仅仅需要通过两个标定板确定参考平面就能实现相位-三维坐标映射的建立，标定过程简单，采用人工生成的无歧义相位图作为标定的样本数据，有效规避人为因素对系统标定精度的影响，具有较高的系统标定精度。

(2)本发明采用基于LUT的快速三维重建方法，相比传统双目立体视觉方法中耗时的匹配点搜索，显著提高了三维重建效率，同时具有使用GPU进行并行处理加速的可行性。

(3)本发明采用棋盘格代替相高映射标定中需要使用到的高精度位移平台，有利于降低标定的成本。

(4)本发明针对工业现场的应用场景下运输过程及现场环境的振动可能使得系统的外参发生变化，在已知相机及投影仪内参的情况下实现工业现场的快速系统标定。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请的实施例的面向工业现场的结构光系统快速标定方法的流程示意图；

图2为本申请的实施例的面向工业现场的结构光系统快速标定方法的系统标定流程图；

图3为本申请的实施例的面向工业现场的结构光系统快速标定方法的投影仪标定示意图；

图4为本申请的实施例的面向工业现场的结构光系统快速标定方法的三维重建精度实验结果示意图，a、b、c、d分别表示待测物体在空间位置从低到高的三维重建结果。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

图1示出了本申请的实施例提供的一种面向工业现场的结构光系统快速标定方法，包括以下步骤：

S1，分别对投影仪和相机进行内参标定，固定投影仪和相机的位置，将标定板放置于相机和投影仪的共同视野范围内。

在具体的实施例中，内参包括焦距、像主点坐标以及畸变参数，外参为在静态场景下相机或投影仪与世界坐标系的相对位置，包括旋转矩阵和平移向量，相机或投影仪的内参和外参之间的关系为：

其中，相机采集到标定板图像的二维坐标为(u

在具体的实施例中，分别对投影仪和相机进行内参标定，具体包括：

采用张正友标定法对相机进行内参标定；

通过投影仪将水平和垂直两个方向的正弦光栅投射到标定板上，并使用相机采集标定板图像，其中，水平和垂直两个方向的正弦光栅的灰度值分别表示为：

其中，λ

相机采集到的标定板图像上的光强分布函数为：

其中，

通过最小二乘法计算得到包裹相位，如下式所示：

上述公式中使用了反正切函数，条位被周期性地截断在[-π,π]。使用多频外差法对其进行相位展开以获得对应的绝对相位Φ

根据绝对相位计算获取对应的投影仪像素坐标，如下式所示：

将投影仪当作逆向的相机，对投影仪进行内参标定。

具体的，参考图2，本方法采用一台CCD相机及一台DLP投影仪，整个标定过程首先使用PNP算法估计两个参考平面的外参，生成对应的虚拟平面。在两个参考平面和生成的虚拟平面上生成相位与对应的世界坐标数据，实现P3DM模型拟合参数的标定。整个标定过程仅需要采集两组标定板图片，过程简单、灵活高效。参照图3，由于投影仪无法直接获取空间中的特征点，可以把投影仪的投影当成一个逆成像的过程。通过计算正交绝对相位建立相机像素坐标与投影仪像素坐标的对应关系，把投影仪按照相机标定的相同方法完成标定。

具体的，首先在实验室条件下完成投影仪和相机的内参标定。由于正交的绝对相位可以提供相机到投影仪DMD芯片的对应位置关系，因此可以将投影仪的投影当成是一个逆成像的过程。相机和投影仪均是基于针孔模型建立的，其标定主要包括对内参和外参的标定，其中，内参包括焦距、像主点坐标以及畸变参数，而外参描述的是在静态场景下相机或投影仪与世界坐标系的相对位置，包括旋转矩阵和平移向量。可根据针孔成像模型描述两者之间的关系。根据张正友标定法，相机可以通过捕捉标定板在不同位姿下的图像并提取其特征角点，从而完成标定。把投影仪的投影当成一个逆成像的过程。通过计算正交绝对相位建立相机像素坐标与投影仪像素坐标的对应关系，可以实现投影仪的内参标定。实验室环境下的内参标定只要需要进行一次。将相机及投影仪内外参数分开标定从而解决工业现场应用中系统外部参数易于发生变化需要重新标定的问题。

进一步的，标定板采用低成本的棋牌格标定板。调整棋盘格标定板位置使其位于视野和景深范围内，确保标定板的角点清晰。

S2，将标定板先后两次相对平行地放置在上下两个参考位姿，以构成两个参考平面，并通过相机采集两个参考位姿下对应的标定板的图像。

具体的，将棋盘格先后两次相对平行地放置在上下两个参考位姿，使用相机采集对应地棋盘格角点及条纹图。使用低成本的棋盘格替代传统的高精密平台，在保证标定精度的情况下显著减少标定的成本及易用性。整个标定过程仅仅需要采集两个位姿的标定板图案，从而缩短了标定时间，降低工人标定的操作难度。

S3，根据标定板的图像采用PNP算法估计两个参考平面的相机外参和投影仪外参，生成多个虚拟平面，并计算得到每个虚拟平面生成的对应的相机外参和投影仪外参，在参考平面和虚拟平面上生成对应的世界坐标数据和绝对相位。

在具体的实施例中，根据标定板的图像采用PNP算法估计两个参考平面的相机外参和投影仪外参，生成多个虚拟平面，并计算得到每个虚拟平面生成的对应的相机外参和投影仪外参，具体包括：

采用PNP算法估计两个参考平面的相对于投影仪和相机的旋转向量和平移向量；

计算两个参考平面的旋转向量和平移向量的差值，如下式所示：

其中，下标c和p分别代表相机坐标系和投影仪坐标系，上标*表示差值，rvec

根据旋转向量和平移向量的差值计算得到等间距的虚拟平面，如下式所示：

其中，m为生成虚拟平面的数目，rvec

具体的，在利用张正友标定法在得到相机和投影仪的内参的基础上，进一步采用PNP算法估计两个相对平行的棋盘格标定板相对于投影仪和相机中的位姿，包括旋转向量和平移向量，用以生成多个虚拟平面及对应的人工相位图及世界坐标数据(三维数据)，用于高精度的相位-三维坐标映射模型的标定，生成虚拟的平面可以避免人为放置标定板对标定精度的影响。PNP算法是一种利用物体空间三维点及其对应图像二维坐标点的集合，求解其于相机的位置对应关系的算法，通过PNP算法可以获得标定板参考平面相对相机或投影仪的位姿。为了生成虚拟平面的位姿，需要计算两个参考平面的旋转向量和平移向量的差值。

在具体的实施例中，在参考平面和虚拟平面上生成对应的世界坐标数据和绝对相位，具体包括：

根据相机外参计算目标平面上的世界坐标数据，目标平面包括参考平面和虚拟平面，其坐标映射的关系如下：

其中，A

根据标定板的平面假设，使Z

将目标平面坐标(X

其中，使用所生成的最底部的虚拟平面的坐标系作为参考坐标系，其对应的外参为

任意投影仪坐标(u

在投影仪空间中，其绝对相位Φ满足以下公式：

Φ＝2π×u

其中，t代表条纹相位的周期，且条纹图案沿正弦方向变化；

根据每个虚拟平面生成的对应的相机外参

具体的，内参A

S4，采用参考平面和虚拟平面对应的世界坐标数据和绝对相位对P3DM模型进行标定，利用LUT方法查找P3DM模型中对应的参数，实现三维重建。

在具体的实施例中，采用参考平面和虚拟平面对应的世界坐标数据和绝对相位对P3DM模型进行标定，具体包括：

根据立体视觉模型的推导将世界坐标、绝对相位之间的映射关系用多项式的数学形式来表示，如下式所示：

其中，N表示多项式的阶次，Φ

A＝[a

X

根据上面三个式子可得到以下公式：

X

根据最小二乘法，在公式的两边乘以矩阵P的转置，得到下式：

A＝(P

矩阵A的因子a

具体的，根据立体视觉模型的推导，可以将世界坐标、绝对相位之间的映射关系用多项式的数学形式来表示，多项式的非线性特性，可以有效减少镜头畸变的影响。定义m为虚拟平面的个数。为了减少拟合误差，应该尽可能多生成虚拟平面以获得更高的标定精度。

在具体的实施例中，利用LUT方法查找P3DM模型中对应的参数，实现三维重建，具体包括：

将正弦光栅投影到待测物体上并采集图像，计算对应的绝对相位Φ

具体的，经过逐像素的多项式拟合，最终建成了映射系数LUT，可以使用LUT方法实现高效的三维重建。其过程如下：首先投影正弦光栅到待测物体上并采集图像，计算对应的绝对相位Φ

使用P3DM建立相位和三维坐标的映射关系，并利用LUT算法进行高效的三维重建，实现快速高精度的三维重建。利用基于LUT的P3DM技术实现三维重建，避免了耗时的匹配点搜索，能够进一步提高测量速度，从而达到实时测量的目的。

参照图4，将标准高度落差为0.2mm的陶瓷标准块放置在空间中的不同位置进行测量，得到其平均高度落差分别为0.2067mm、0.2045mm、0.2020mm及0.2023mm，验证了本发明提出的标定方法的高精度。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。