一种多目视觉测量系统中多相机的自动布局方法

技术领域

本发明主要涉及到工业产品质量检测技术领域，特指一种多目视觉测量系统中多相机的自动布局方法。

背景技术

随着全球化的发展，各类生产制造企业都在想办法提高产品的合格率，提高公司的全球竞争力，而产品质量检测就是其中至关重要的最后一步。随着制造技术的不断发展和产品的不断革新，越来越多形状复杂的大型工件产品产生了，大型工件的质量检测就是其要关注的重点问题，它对于高质量产品的制造和高效率生产环境的构建有着举足轻重的作用。

目前，工业领域主要应用三坐标测量机的方法进行测量，这种测量方式不仅检测效率低下，而且需要操作员具有一定的熟练程度才能达到相应的检测精度。

还有一种传统方法是通过激光扫描仪对零件进行3D扫描和重建，但是这种激光扫描仪的价格昂贵，同样存在工作效率低且操作复杂的问题，都不能满足目前检测部门的需求。

为此，另有从业者提出了基于多目视觉的测量系统，该测量系统具有高效、价格适中和全场景适用等优势。在该技术中，多相机布局是至关重要的第一步，这直接影响着后续多相机联合标定精度以及测量精度。

传统的多相机布局大多根据待测对象本身的特征和光学工程师的经验进行手动布局。但是手动布局存在一些问题：

首先，手动布局费时费力，需要人为根据每个相机的成像逐一调整相机的水平角、俯仰角、偏航角以及相机位置；

其次，手动布局缺乏对整个布局的宏观掌控，比如无法直接获取每个相机的覆盖点数以及每个点被几台相机覆盖等信息，而这些信息与后续测量关系密切；

最后，手动布局时难以对每台相机视野范围内的观测点进行景深控制，容易出现虚焦的情况。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的问题，本发明提出了一种具有自动化程度高，布局实用性强、三维重建的精度和鲁棒性佳等优点的自动布局算法。

为解决上述技术问题，本发明采用以下技术方案：

一种多目视觉测量系统中多相机的自动布局方法，其包括：

步骤S1：初始化相机布局参数；根据待测工件CAD数模坐标，获取相机初始位置，得到初始布局；

步骤S2：基于模拟退火算法优化初始布局；在上述初始布局下，基于模拟退火算法迭代优化，得满足约束的最优解；

步骤S3：基于随机梯度下降算法可微分调整上述优化布局，提升三维重建精度；以模拟退火优化布局为初始值，基于随机梯度下降的误差反向传播算法，将三维重建坐标和CAD数模坐标的欧式距离作为损失函数，进行误差回传，得调整后的相机布局。

作为本发明方法的进一步改进：所述步骤S1的流程包括：

步骤S101：读取待检测工件的CAD数模信息；

步骤S102：根据模型信息按比率进行降采样，以降采样所得位置信息作为相机初始位置；

步骤S103：参照相机位置初始化相机偏航角、俯仰角和翻滚角，得到全部相机的初始参数。

作为本发明方法的进一步改进：所述步骤S3的流程包括：

步骤S301：生成训练数据集；

步骤S302：设置损失函数、梯度下降优化器、学习率以及每轮数据误差反向传播的迭代次数；

步骤S303：基于误差反向传播方法进行优化训练；

步骤S304：判断在当前数据集下是否满足收敛条件，满足则退出；不满足返回第一步重新开始。

作为本发明方法的进一步改进：所述步骤S301中，在读取模拟退火优化参数时仅读取对称边一边的相机参数，另一边在优化过程中根据对称关系求得；根据待检测工件的CAD数模坐标和全部相机旋转平移矩阵，得到待检测工件中目标对象在所有相机下符合约束的一个投影；根据上述投影，基于四叉树方法得到目标对象的个投影坐标。

作为本发明方法的进一步改进：所述步骤S302中，基于均方损失函数，选择RMSprop梯度优化器，学习率根据迭代次数自动调整。

作为本发明方法的进一步改进：所述步骤S303包括：

根据每个待检测工件中目标对象在对应相机下的投影和对应相机的内外参得到当前投影、当前相机参数下的重建三维坐标；

计算上述重建三维坐标和CAD数模坐标计算均方误差；

将所有待检测工件中目标对象的均方误差进行累加；

将误差和进行回传，调整相机参数值，开始下一轮迭代。

作为本发明方法的进一步改进：所述步骤S2中的约束包括相机位置和相机角度的约束；对相机高度，即相机Z坐标存在范围约束；对相机角度的偏航角、俯仰角和翻滚角的变化范围也存在约束。

作为本发明方法的进一步改进：所述步骤S2中的约束包括相机覆盖观测点数的约束；将全部相机覆盖点数的平均值相反数作为损失能量函数的一部分，在优化过程中该部分损失函数值越小，则代表当前相机布局下，相机覆盖点数越多；优化完毕，就得到符合相机覆盖点数尽可能多的最优解。

作为本发明方法的进一步改进：所述步骤S2中的约束包括观测到同一点的两相机角度约束；将当前两台相机角度与90度的绝对距离作为损失能量函数的一部分；在优化过程中，该部分损失函数值越小，当前两相机角度越接近90度；最终得到符合两相机角度接近90度的最优解。

作为本发明方法的进一步改进：所述步骤S2中的约束包括相机间距离的约束；将相机间距离与设定阈值的绝对距离作为损失能量函数的一部分；优化过程中，该部分损失函数值越小，代表当前相机距离越接近设定阈值；最终得到符合相机距离接近设定阈值的最优解。

作为本发明方法的进一步改进：所述步骤S2中的约束包括：景深约束；首先在定焦、定光圈以及定弥散圆直径条件下，计算出每台相机在不同工作距离下的景深；然后计算光心到当前待检测工件的目标对象的距离，并投影至光心到光心射线与工件平面的交点；最后判断该投影距离是否在景深范围之内，若是，则将该点判定为当前相机的覆盖点，反之，不纳入当前相机的覆盖点；最终，通过相机覆盖点约束实现了景深约束。

作为本发明方法的进一步改进：所述步骤S2中的约束包括：孔法向约束；孔法向约束是通过约束相机光心和测点连线与测点法向的夹角，来避免夹角过大，视野不佳的情况。

作为本发明方法的进一步改进：所述步骤S2中的约束包括：孔遮挡约束。孔遮挡约束旨在排除满足上述覆盖约束，被工件立面或者其他遮挡面遮挡的测点。

与现有技术相比，本发明的优点在于：

1、本发明的多目视觉测量系统中多相机的自动布局方法，原理简单、自动化程度高、能够答复提高检测精度，其利用了大尺寸工件的数模信息，可以实现多相机的自动布局；本发明可在相机布局优化过程中加入相机覆盖点数、相机角度、相机间距离、相机对称、景深范围等约束，使得生成的相机布局自动满足上述要求，避免了手动布局未全局考虑上述问题带来的问题。

2、本发明的多目视觉测量系统中多相机的自动布局方法，实现了相机自动布局，解决了手动布局费时费力、相机角度不合理、相机间距离过小或过大、成像虚焦等问题，具有更广泛的应用价值。

3、本发明的多目视觉测量系统中多相机的自动布局方法，基于待测工件测点数模坐标，以相机角度和相机位置作为参数，将相机角度与位置变化范围作为解空间的上下界，将测点覆盖数、相机间夹角、相机间距以及景深、孔法向、孔遮挡等作为约束条件加入优化过程，自动优化出一版相机布局参数，避免了手动布局的诸多问题。

附图说明

图1是本发明方法的流程示意图。

图2是本发明在具体应用实例中景深约束的原理示意图。

图3是本发明在具体应用实例中四叉树生成投影模型的原理示意图。

图4是本发明在具体应用实例中可微分优化的流程示意图。

具体实施方式

以下将结合说明书附图和具体实施例对本发明做进一步详细说明。

为了方便本发明方法的表述，以下将本发明的方法应用于电动汽车的电池盒装配孔的质检为例进行详细描述。该应用是针对工业检测行业中电动汽车的电池盒装配孔的制造误差检测，该场景可以表述如下：首先完成多相机的布局与安装，然后完成相机内外参数的精准标定，最后给定一个电池盒(如图2)，利用打光设备和相机系统进行拍摄，对电池盒装配孔进行模板匹配，重建装配孔空间位置信息，与装配孔CAD数模进行结果对比，对制造误差大的孔进行二次制造。

由上可知，本发明拟解决的问题是如何利用电池盒工件装配孔CAD数模信息，对多相机进行自动布局，得出符合相机覆盖装配孔数、相机角度、相机间距离、对称约束以及景深约束等相机布局。本发明的系统可以根据不同工件的CAD数模得到适用于不同工件的相机布局，在实际中取得了较好效果。

如图1所示，本发明的一种多目视觉测量系统中多相机的自动布局方法，其步骤包括：

步骤S1：初始化相机布局参数；根据待检测工件的CAD数模信息，获取相机的初始位置，进而得到全部相机的初始参数；

步骤S2：基于模拟退火算法优化相机初始布局；在得到全部相机初始参数后，利用模拟退火算法进行迭代优化，得到满足约束条件的最优解。

步骤S3：基于可微分调整实现三维重建的鲁棒性；在模拟退火得到最优布局的基础上，本发明提出基于随机梯度下降的误差反向传播算法，以工件装配孔重建三维坐标和CAD数模坐标的欧式距离为损失函数，得到重建鲁棒性更佳的相机布局。

在具体应用实例中，所述步骤S1的流程包括：

步骤S101：读取工件装配孔的CAD数模信息；

步骤S102：根据模型信息按一定比率进行降采样，以降采样所得位置信息作为相机初始位置；

步骤S103：参照相机位置初始化相机偏航角、俯仰角和翻滚角，得到全部相机的初始参数。

在初始化过程中，一方面为保证工件大部分装配孔能被覆盖，另一方面保证相机数过多，需要选择合适的降采样率。这是因为，降采样率过高，会导致部分孔不被覆盖，降采样率过低，会导致相机数过多。

在具体应用实例中，所述步骤S2中的约束包括：

(a)相机位置和相机角度的约束；

在实际测量时，根据现场安装场景、测量需求等，对相机高度，即相机Z坐标存在范围约束；同样，对相机角度的偏航角、俯仰角和翻滚角的变化范围也存在约束。偏航角代表绕Z轴的旋转角，即平行于工件的水平方向，这个方向上旋转范围为(-180°,180°)；俯仰角代表绕Y轴的旋转角，为避免上表面相机过度向上，下表面相机过度向下，在这个方向上旋转范围设置为(-15°,15°)；翻滚角代表绕X轴的旋转角，为避免相机过度朝左或朝右，这个方向上旋转范围设置为(-15°,15°)。

模拟退火优化过程中，将上述约束设置为解空间的上下限，可达到约束目的。

(b)相机覆盖观测点数的约束；

从成本和测量精度上来说，每台相机覆盖的观测点越多越好。本发明将全部相机覆盖点数的平均值相反数作为损失能量函数的一部分。优化过程中该部分损失函数值越小，则代表当前相机布局下，相机覆盖点数越多。优化完毕，将得到符合相机覆盖点数尽可能多的最优解。

(c)观测到同一点的两相机角度约束；

从双目理论上来讲，两台相机角度为90度，重建效果最好。本发明将当前两台相机角度与90度的绝对距离作为损失能量函数的一部分。优化过程中，该部分损失函数值越小，当前两相机角度越接近90度。最终得到符合两相机角度接近90度的最优解。特别说明的是，在多目中，此处的90度可在(45°,90°)之间调整。

(d)相机间距离的约束；

在实际安装过程中，相机间距离过小，将导致相机发生碰撞。为解决此问题，本发明将相机间距离与0.2的绝对距离作为损失能量函数的一部分。优化过程中，该部分损失函数值越小，代表当前相机距离越接近0.2。最终得到符合相机距离接近0.2的最优解，避免相机距离过远过近的问题；

(e)对称约束；

实际应用过程中，相机布局满足对称约束时，可降低调光难度。本发明在优化过程中，以对称面一边相机为优化参数，另一边相机根据对称关系计算而得。

(f)景深约束；

每台相机在不同焦距、不同光圈、不同弥散圆直径以及不同工作距离时，对应着不同的景深。本发明以当前装配孔是否在当前相机的景深范围内，借助相机覆盖点的约束实现景深约束目的。

参见图2，具体实现如下，首先在定焦、定光圈以及定弥散圆直径条件下，计算出每台相机在不同工作距离下的景深；然后计算光心到当前装配孔的距离，并投影至光心到光心射线与工件平面的交点；最后判断该投影距离是否在景深范围之内，若是，则将该点判定为当前相机的覆盖点，反之，不纳入当前相机的覆盖点。最终，通过相机覆盖点约束实现了景深约束。

首先根据公式(1)计算前景深:

然后根据公式(2)计算后景深:

在公式(1)(2)中，F代表镜头光圈值，σ代表容许弥散圆直径，f代表镜头焦距，L代表合焦物距(拍摄距离)，即本发明中的工作距离。

以图2为例，具体描述一下景深约束中各距离的计算过程。如图2所示，O为相机光心，A为光心到工件平面的交点，H为装配孔圆心，H’为装配孔圆心在OA上的投影；AD1为前景深，AD2为后景深。

首先根据相机角度和相机光心三维坐标可求出过光心O射线的方程，进一步根据该直线方程和工件水平面的方程可求出交点A坐标，进而求出OA的距离；

然后根据AD1、AD2、OA可计算出OD1和OD2；

最后根据相机光心三维坐标、装配孔三维坐标以及角度关系计算出OH’，判断OH’是否在OD1和OD2之间即可。

上述约束主要包括相机位置和相机角度的约束、同一覆盖测点的相机角度约束、相机间距约束以及测点覆盖约束。其中相机位置和相机角度的约束旨在限定相机位置和角度的变化范围，即优化解的搜索空间，避免优化过程中无价值的搜索。同一覆盖测点的相机角度约束是为了尽可能保证覆盖同一测点的两两相机光轴夹角满足90度，以保证最佳测量精度。相机间距约束旨在解决相机安装过程中的碰撞问题，该约束通过计算相机间距小于0.2m时，与0.2m的差值得到该部分约束的损失函数值；测点覆盖约束包括可见约束、景深约束、孔法向约束以及孔遮挡约束。可见约束旨在限定测点在相机视野范围内，这是满足测点覆盖的基本条件。景深约束旨在约束视野内的测点在对应相机的景深范围内。即通过计算每台相机的景深范围，判定该点是否在景深范围内，进而判定测点是否被景深覆盖。孔法向约束通过约束相机光心和测点连线与测点法向的夹角，来避免夹角过大，视野不佳的情况。孔遮挡约束旨在排除满足上述覆盖约束，被工件立面或者其他遮挡面遮挡的测点。

参见图4，在具体应用实例中，所述步骤S3的流程包括：

步骤S301：生成训练数据集；

首先，为保证可微分优化后相机布局的对称性，本发明在读取模拟退火优化参数时仅读取对称边一边的相机参数，另一边在优化过程中根据对称关系求得；

然后，根据全部装配孔CAD数模坐标和上述全部相机旋转平移矩阵，得到每个装配孔在所有相机下符合视野、景深等约束的一个投影；

最后，根据上述投影，基于四叉树方法得到每个装配孔五个投影坐标。如图3所示，本发明取到红框所示的第二级，即每个装配孔对应五组；

步骤S302：设置损失函数、梯度下降优化器、学习率以及每轮数据误差反向传播的迭代次数等。本发明基于均方损失函数，选择RMSprop梯度优化器，学习率根据迭代次数自动调整。

步骤S303：基于误差反向传播方法进行优化训练。

首先根据每个装配孔在对应相机下的投影和对应相机的内外参得到当前投影、当前相机参数下的重建三维坐标；

然后计算上述重建三维坐标和CAD数模坐标计算均方误差；

其次将所有孔的均方误差进行累加；

再次将误差和进行回传，调整相机参数值，开始下一轮迭代。

步骤S304：判断在当前数据集下是否满足收敛条件，满足则退出；不满足返回第一步重新开始。

综上所述，本发明所提出的一种面向大尺寸测量的多相机自动布局方法，能够实现满足相机角度、相机位置、相机覆盖点数、相机间角度、相机间距离、对称以及景深等各种约束条件的相机自动布局，同时该算法可以高效适配到其他相机布局场景中，为检测行业的多目视觉方案提供技术支撑。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。