一种抑制热流扰动的立体视觉变形测量方法

技术领域

本发明涉及光测实验固体力学领域和图像测量技术，具体涉及一种抑制热流扰动的立体视觉变形测量方法。

背景技术

数字图像相关技术是一种利用在物体表面喷涂随机散斑，通过采集在物体变形前后的散斑图像，精确匹配对应点，测量物体变形的非接触式光学测量方法。在成像过程中，温度变化会造成传播介质(空气)的不均匀性，从而引起光线偏折和成像漂移，影响测试精度。并且因热流引起的空气扰动对于成像误差的影响很难定量分析和建立数学描述模型。利用神经网络具有任意复杂的模式分类能力和优良的多维函数映射能力，通过在神经网络训练集中添加热流扰动，可以使神经网络分离出因热流扰动引起的成像误差，从而达到抑制热流扰动的效果。

发明内容

为了实现上述技术，本发明的目的在于提供一种抑制热流扰动的立体视觉变形测量方法。

实现本发明目的技术解决方法为：一种抑制热流扰动的立体视觉变形测量方法，实验装置包括工业相机、镜头、光学平台、相机固定装置、电子计算机、待测对象，测量方法包括以下步骤：

步骤1、实验装置的固定：将四台工业相机正交布置，固定在光学平台上，将待测量对象固定到光学平台上，调整四部相机镜头方向指向待测量对象，并使待测量对象在相机视角中处于居中位置，调节相机光圈及焦距至合适；

步骤2、多相机系统参数的标定：对四台相机进行两两标定，确定每台相机的内外参数；

步骤3、训练数据的获得：待测量对象上喷上散斑图案，随机放置到多相机系统的视场里，针对不同的神经网络进行不同的操作：

(1)针对卷积神经网络：有热流扰动时，移动待测量对象至不同位置，每个相机采集N幅散斑图像；无热流扰动时，移动待测量对象至热流扰动时相同的采集位置，每个相机采集N幅散斑图像；

(2)针对BP神经网络：有热流扰动时，移动待测量对象位置至不同位置,每个相机采集N幅散斑图像，求解得到8N个图像坐标(1个相机采集到的1幅散斑图像有2个方向的图像坐标，故4个相机采集到的N幅散斑图像有8N个图像坐标)；无热流扰动时，移动待测量对象位置至热流扰动时相同的采集位置，每个相机采集N幅散斑图像，求解得到3N个世界坐标误差(4个相机采集1幅散斑图像可以求得待测试件3个方向的三维坐标误差，故4个相机采集到的N幅散斑图像可以得到3N个世界坐标误差)；

步骤4、搭建神经网络及训练，针对不同的神经网络进行不同的操作：

(1)针对卷积神经网络：搭建一个具有N幅散斑图像输入和N幅散斑图像输出的卷积神经网络，以热流扰动的散斑图像作为神经网络输入，对输入做归一化处理，以无热流扰动的散斑图像作为神经网络输出，训练卷积神经网络模型；

(2)针对BP神经网络：搭建一个具有8N个数据输入和3N个数据输出的BP神经网络，以有热流扰动的图像坐标作为神经网络输入，对输入做归一化处理，以无热流扰动的世界坐标误差作为神经网络输出，训练BP神经网络模型；

步骤5、实验数据的获得：有热流扰动时，在步骤3待测对象移动的范围内，移动待测对象，采集待测对象的散斑图像；

步骤6、实验数据的输入，针对不同的神经网络进行不同的操作：

(1)针对卷积神经网络：将步骤5中变形前后有热流扰动的散斑图像作为神经网络的输入，对输入进行归一化处理，输出抑制热流扰动后的散斑图像；

(2)针对BP神经网络：将步骤5中变形前后有热流扰动的图像坐标作为神经网络的输入，对输入进行归一化处理，输出抑制热流扰动后的世界坐标误差。

步骤7、计算待量物体发生的变形，针对不同的神经网络进行不同的操作：

(1)针对卷积神经网络：利用步骤6中预测出的散斑图像计算出待测量对象在世界坐标系中的世界坐标，进而可以求解得待测物体在步骤5中发生的变形。

(2)针对BP神经网络：利用步骤6中预测出的世界坐标误差计算出待测量对象在世界坐标系中的世界坐标，进而可以求解得待测物体在步骤5中发生的变形。

进一步的，步骤2中，对多相机系统进行两两标定，确定每台相机的内外参数，过程如下：

步骤2.1、确定多相机系统中的某一台相机作为中心相机，其余3台需要分别与之进行标定；

步骤2.2、将尺寸合适的黑白棋盘格放到相机的视场中，使得它占据相机视场的一半；

步骤2.3、采集棋盘格不同位姿的图像，棋盘格最少需要变换10次位姿；

步骤2.4、取中心相机与第1台相机的棋盘格不同位姿图像，通过识别棋盘格角点位置，确定2台相机的内参数和2台相机之间的外参数；

步骤2.5、取中心相机与第2、3相机的棋盘格不同位姿图像，重复步骤2.4，得到所有相机的内参数和相机之间的外参数。

进一步的，步骤3中，训练数据的获得，待测量对象上喷上散斑图案，随机放置到多相机系统的视场里，针对不同的神经网络进行不同的操作，具体过程如下：

(1)针对卷积神经网络：

步骤3A.1、待测量对象上喷上散斑图案，散斑图案根据数字散斑场生成，数字散斑场是通过控制斑点数量、圆心坐标和圆的半径来设计制作，数字散斑场由下面4个公式生成：

n＝ρA/(0.25·πd

其中，(X

步骤3A.2、采集散斑图像，具体模式如下：

有热流扰动时，移动待测量对象至不同位置,每个相机采集N幅散斑图像；无热流扰动时，移动待测量对象至热流扰动时相同的采集位置,每个相机采集N幅散斑图像；

(2)针对BP神经网络：

步骤3B.1、待测量对象上喷上散斑图案，与步骤3A.1相同；

步骤3B.2、采集散斑图像，与步骤3A.2相同；

步骤3B.3、由散斑图像求解图像坐标，具体模式如下：

首先选变形前某张散斑图像作为参考图像，取参考图像中某一点作为待测点，确定待测点的图像坐标(u

式中，f(x

步骤3B.4、由图像坐标求解世界坐标，具体模式如下：

以四相机为例，世界坐标系中一点P坐标为(X,Y,Z)，在相机坐标系中图像坐标为(u,v)，根据针孔成像模型，世界坐标和图像坐标存在如下关系：

其中A

利用相机中对应点的图像坐标，获得世界坐标系中三维点的世界坐标：

步骤3B.5、由世界坐标求解世界坐标误差，具体模式如下：

在无热流状态下，每次移动取待测物体的100组静态散斑图，计算得到世界坐标均值：

因此世界坐标误差表示为：

式中，

进一步的，步骤4中，搭建神经网络及训练，针对不同的神经网络进行不同的操作，具体过程如下：

(1)针对卷积神经网络：

以步骤3已经得到N幅热流扰动的散斑图像作为输入和N幅无热流扰动的散斑图像作为输出，构建卷积神经网络对散斑图像进行训练；

步骤4A.1、特征提取：首先散斑图像输入经过第一个卷积层和第一个batchnormalization层，得到浅层特征X

步骤4A.2、特征融合：特征X

(2)针对BP神经网络：

将步骤3已经得到8N个热流扰动的图像坐标作为输入和3N个无热流扰动的世界坐标误差作为输出，构建BP神经网络对数据进行训练；

步骤4B.1、信号正向传播：首先图像坐标通过到输入层的每个节点，得到输入层的输出值O

步骤4B.2、误差反向传播：首先建立输出层的输出值与真实值的误差函数E，通过使E取极小值优化输出层的结构，然后通过使E取极小值优化隐藏层的结构；

步骤4B.3、重复步骤4B.1和步骤4B.2直至满足误差函数E，此时输出层的输出值Q

进一步的，步骤7中，计算待量物体发生的变形，针对不同的神经网络进行不同的操作，具体过程如下：

(1)针对卷积神经网络：

步骤7A.1、通过步骤6中卷积神经网络预测出的散斑图像计算出待测量对象的世界坐标；

步骤7A.2、由世界坐标计算待测物体在步骤5中发生的三维位移，待测试件在变形前的世界坐标为(X

式中，U、V和W分别三个方向的位移，r

步骤7A.3、由三维位移计算待测物体在步骤5中发生的三维应变，建立局部坐标系O

其中，

式中，ε

(2)针对BP神经网络：

步骤7B.1、通过步骤6中BP神经网络预测出的世界坐标误差计算出待测量对象的世界坐标，具体过程如下：

式中，

步骤7B.2、由世界坐标计算待测物体在步骤5中发生的三维位移，与步骤7A.2相同；

步骤7B.3、由三维位移计算待测物体在步骤5中发生的三维应变，与步骤7A.3相同。

本发明与现有技术相比，其显著优点是：1)独创性的将机器学习模型应用到数字图像相关技术的应用上，解决了热流扰动对成像质量造成的影响，有效抑制了图像中因热流扰动造成的光线偏折和成像漂移，提高了数字图像相关技术的计算精度。2)搭建的神经网络对具体应用场景进行了精度提升，可以用极少的数据集达到快速测量的目的，并在实验中的到良好的效果。3)针对不同数量相机的测量均有较好的适用性，对于不同具体测量过程普适性高。

附图说明

图1为本发明实验装置示意图。

图2为本发明方法流程图。

图3为本发明方法与传统方法针对不同数目相机的效果对比图，其中(a)双相机系统；(b)三相机系统；(c)四相机系统。

1：电子计算机；

2：光学平台；

3：相机固定装置；

4：工业相机；

5：高分辨率镜头；

6：待测对象。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本发明从算法设计和实验检测的角度出发，方便快捷的解决了热流扰动对立体视觉成像质量的影响。该方法具有计算准确度高、所需要的设备简单、方便实用、算法复杂度低、计算速度快等优点。

如图1所示，一种抑制热流扰动的立体视觉变形测量方法，实验装置包括以下设备：电子计算机1、光学平台2、相机固定装置3、工业相机4、高分辨率镜头5、待测对象6。测试实验中采用的工业相机像素为400万像素，镜头焦距35mm。该方法包括以下步骤：

步骤1、实验装置的固定：将四台工业相机正交布置，固定在光学平台上，将待测量对象固定到光学平台上，调整四部相机镜头方向指向待测量对象，并使待测量对象在相机视角中处于居中位置，调节相机光圈及焦距至合适；

步骤2、多相机系统参数的标定：对四台相机进行两两标定，确定每台相机的内外参数，具体如下：

步骤2.1、确定多相机系统中的某一台相机作为中心相机，其余3台需要分别与之进行标定；

步骤2.2、将尺寸合适的黑白棋盘格放到相机的视场中，使得它占据相机视场的一半；

步骤2.3、采集棋盘格不同位姿的图像，棋盘格最少需要变换10次位姿；

步骤2.4、取中心相机与第1台相机的棋盘格不同位姿图像，通过识别棋盘格角点位置，确定2台相机的内参数和2台相机之间的外参数；

步骤2.5、取中心相机与第2、3相机的棋盘格不同位姿图像，重复步骤2.4，得到所有相机的内参数和相机之间的外参数。

步骤3、训练数据的获得：待测量对象上喷上散斑图案，随机放置到多相机系统的视场里，针对不同的神经网络进行不同的操作：

(1)针对卷积神经网络：有热流扰动时，移动待测量对象至不同位置,每个相机采集N幅散斑图像；无热流扰动时，移动待测量对象至热流扰动时相同的采集位置,每个相机采集N幅散斑图像；

(2)针对BP神经网络：有热流扰动时，移动待测量对象位置至热流扰动时相同的采集位置,每个相机采集N幅散斑图像，求解得到8N个图像坐标(1个相机采集到的1幅散斑图像有2个方向的图像坐标，故4个相机采集到的N幅散斑图像有8N个图像坐标)；无热流扰动时，移动待测量对象位置至相同位置,每个相机采集N幅散斑图像，求解得到3N个世界坐标误差(4个相机采集1幅散斑图像可以求得待测试件3个方向的三维坐标误差，故4个相机采集到的N幅散斑图像可以得到3N个世界坐标误差)；

具体过程如下：

(1)针对卷积神经网络：

步骤3.1、待测量对象上喷上散斑图案，散斑图案根据数字散斑场生成，数字散斑场是通过控制斑点数量、圆心坐标和圆的半径来设计制作，数字散斑场由下面4个公式生成:

n＝ρA/(0.25·πd

其中，(X

步骤3.2、采集散斑图像，具体模式如下：

有热流扰动时，移动待测量对象至不同位置,每个相机采集N幅散斑图像；无热流扰动时，移动待测量对象至相同位置,每个相机采集N幅散斑图像；

(2)针对BP神经网络：

步骤3.3、待测量对象上喷上散斑图案，与步骤3.1相同。

步骤3.4、采集散斑图像，与步骤3.2相同。

步骤3.5、由散斑图像求解图像坐标，具体模式如下：

首先选变形前某张散斑图像作为参考图像，取参考图像中某一点作为待测点，确定待测点的图像坐标(u

式中，f(x

步骤3.6、由图像坐标求解世界坐标，具体模式如下：

以四相机为例，世界坐标系中一点P坐标为(X,Y,Z),在相机坐标系中图像坐标为(u,v)，根据针孔成像模型，世界坐标和图像坐标存在如下关系：

其中A

反之，一旦知道相机中对应点的图像坐标，就可以获得世界坐标系中三维点的世界坐标：

可以通过解此超静定方程求解待测点的世界坐标

步骤3.6、由世界坐标求解世界坐标误差，具体模式如下：

在无热流状态下，每次移动取待测物体的100组静态散斑图，计算得到世界坐标均值：

因此世界坐标误差表示为：

式中，

步骤4、搭建神经网络及训练，针对不同的神经网络进行不同的操作：

(1)针对卷积神经网络：搭建一个具有N幅散斑图像输入和N幅散斑图像输出的卷积神经网络，以热流扰动的散斑图像作为神经网络输入，对输入做归一化处理，以无热流扰动的散斑图像作为神经网络输出，训练卷积神经网络模型；

(2)针对BP神经网络：搭建一个具有8N个数据输入和3N个数据输出的BP神经网络，以有热流扰动的图像坐标作为神经网络输入，对输入做归一化处理，以无热流扰动的世界坐标误差作为神经网络输出，训练BP神经网络模型。

具体过程如下：

(1)针对卷积神经网络：

通过步骤3已经得到N幅热流扰动的散斑图像作为输入和N幅无热流扰动的散斑图像作为输出，下面构建卷积神经网络对数据进行训练。

步骤4.1、特征提取：首先散斑图像输入经过第一个卷积层和第一个batchnormalization层，得到浅层特征X

步骤4.2、特征融合：特征X

(2)针对BP神经网络：

通过步骤3已经得到8N个图像坐标作为输入和3N个世界坐标误差作为输出，下面构建BP神经网络对数据进行训练。

步骤4.3、信号正向传播：首先图像坐标通过到输入层的每个节点，得到输入层的输出值O

步骤4.4、误差反向传播：首先建立输出层的输出值与真实值的误差函数E。通过使E取极小值优化输出层的结构，然后通过使E取极小值优化隐藏层的结构。

步骤4.5、重复步骤4.3和步骤4.4直至满足误差函数E，此时输出层的输出值Q

步骤5、实验数据的获得：有热流扰动时，在步骤3待测对象移动的范围内，移动待测对象，采集待测对象的图像；

步骤6、实验数据的输入：

(1)针对卷积神经网络：将步骤5中变形前后有热流扰动的散斑图像进行归一化处理，输入到训练好的卷积神经网络中，输出得到抑制热流扰动后的散斑图像；

(2)针对BP神经网络：将步骤5中移动前后有热流扰动的图像坐标进行归一化处理，输入到训练好的BP神经网络中，输出热流扰动得到抑制后的世界坐标误差。

步骤7、计算待测物体发生的变形，针对不同的神经网络进行不同的操作：

(1)针对卷积神经网络：通过步骤6中预测出的散斑图像计算出待测量对象在世界坐标系中的世界坐标，进而可以求解得待测物体在步骤5中发生的变形；

(2)针对BP神经网络：通过步骤6中预测出的世界坐标误差计算出待测量对象在世界坐标系中的世界坐标，进而可以求解得待测物体在步骤5中发生的变形。

具体如下：

(1)针对卷积神经网络：

步骤7.1、通过步骤6中卷积神经网络预测出的散斑图像计算出待测量对象的世界坐标，与步骤3.6相同；

步骤7.2、由世界坐标计算待测物体在步骤5中发生的变形。待测试件在变形前的世界坐标为(X

式中，U、V和W分别三个方向的位移，r

步骤7.3、由三维位移计算待测物体在步骤5中发生的三维应变。建立局部坐标系O

其中，

式中，ε

(2)针对BP神经网络：

步骤7.4、通过步骤6中BP神经网络预测出的世界坐标误差计算出待测量对象的世界坐标，具体过程如下：

式中，

步骤7.5、由世界坐标计算待测物体在步骤5中发生的三维位移，与步骤7.2相同。

步骤7.6、由三维位移计算待测物体在步骤5中发生的三维应变，与步骤7.3相同。

实施例

为了验证本发明方案的有效性，进行如下实验。

1)数据采集及预处理

待测量对象上喷上散斑图案，随机放置到多相机系统的视场里。有热流扰动时，移动待测量对象位置采集移动0mm、2.75mm、5.5mm、8.25mm、11mm的图像各100幅，将图像归一化后作为训练集的输入；无热流扰动时，移动待测量对象位置采集同样位置的图像各100幅作为训练集的输出。

2)建立神经网络模型并训练

搭建一个由8个输入层、3个输出层、10个隐藏层的BP神经网络；选择tansig作为激活函数，mse为误差函数进行训练。

搭建一个由3幅图像数据输入3幅图像数据输出的卷积神经网络；选择自适应矩估计ADAM作为优化器训练。

3)对实际数据预测

在实际实验中，将平面板表面喷上散斑，移动平面板1mm、2mm、3mm、4mm、5mm、6mm、7mm、8mm、9mm、10mm。取采集的图像归一化后输入训练好的神经网络中既可以得到抑制热流扰动后的图像，再根据图像求解三维坐标。预测结果如图2所示，本发明搭建的神经网络可以有效的消除热流扰动对散斑图像造成的影响，提高测量精度；如图2所示，黑色实线线条表示传统三维重构方法计算出的位移误差，红色实线线条表示本专利方法计算出的位移误差，明显可以看出本发明专利针对不同数目的多相机系统，可以有效的提高热流扰动下数字图像相关的测量精度(其中a为双相机系统，b为三相机系统，c为四相机系统)。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。