一种基于辐照度融合的自动化多反射表面三维测量方法

技术领域

本发明属于面结构光三维测量领域，更具体地，涉及一种基于辐照度融合的自动化多反射表面三维测量方法。

背景技术

精确地获取物体的三维信息一直以来都是工业测量领域的热点需求，其中基于光学的三维测量技术由于测量速度快，对测量硬件要求低和测量精度高等优点，在三维测量领域得到了广泛的研究和应用。但是在反光物体测量领域，由于物体表面多反射导致颜色过暗或过曝使得相机采集的条纹图像存在光照不均匀的情况，使得图像灰度动态范围过大而使图像特征丢失，影响相位的恢复和物体三维信息的计算。

基于上述问题，现有的多反射表面物体的三维重建方法通常是恢复相机的响应函数，在捕获图像过程中拍摄者可以通过改变相机的光圈大小、曝光时间等参数来调整图像的曝光程度，对同一位置进行多次不同曝光方式的拍摄获取多幅具有不同曝光度的图像，由于各亮度区域所展现的信息不同，因此将多幅具有不同曝光时间的图像融合起来，提取每幅图像中的高质量细节信息，可以得到一幅包含物体表面丰富信息的图像。但是，在测量过程中，若曝光次数不足可能会导致融合图像的信息不完整，测量误差较大，曝光次数过多则耗费较长的图像采集时间和后处理时间，同时对设备内存要求较高，因此针对不同测量对象需要选取一个合适的曝光次数与曝光时间。然而，对于未知的测量场景，通常无法在测量初期直接确定所需要的曝光次数以及对应的曝光时间，依赖于人工经验、缺乏定量方法选择合适的曝光次数，导致测量效率不高。因此，选择一个合适的曝光次数及对应的曝光时间序列是该技术的关键。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于辐照度融合的自动化多反射表面三维测量方法，其目的在于，通过曝光时间选择网络确定初始图像的一组曝光次数及曝光时间，相机在对应的曝光时间下捕获一组图像序列，并通过像素值恢复每组图像的辐照度值，然后将这组辐照度值输入多重辐照度融合网络，得到一张准确的辐照度图，从而减少相机非线性响应、物体表面多反射等因素的影响，同时能抑制灰度图像中的随机噪声，实现灰度图像的高精度相位计算，提高微小物体三维重建点云的平滑性。

为实现上述目的，按照本发明的第一方面，提供了一种基于辐照度融合的自动化多反射表面三维测量方法，包括：

训练阶段：

将t

应用阶段：

S1，投影仪投射一张均匀白色图像，左右相机同步采集待测工件在预设曝光时间下的投影图像，将所述预设曝光时间及在所述预设曝光时间下的投影图像输入至训练好的曝光时间选择网络，预测曝光时间序列；

S2，固定投影仪亮度不变，投影仪投射一组相移条纹到待测工件表面，左右相机同步采集在所述曝光时间选择网络预测的曝光时间序列下所述待测工件的多重曝光条纹图像序列，将所述待测工件的多重曝光条纹图像序列的辐照度图序列输入至训练好的多重辐照度融合网络，所述训练好的多重辐照度融合网络得生成一张覆盖多反射待测工件表面信息的融合辐照度图；

S3，计算所述融合辐照度图的相位图，由包裹相位图得到展开的绝对相位图，沿着极线匹配左右相机图像的相位，根据左右相机图像中的同名点视差计算得到待测工件的三维点云。

具体地，采用融合辐照度图计算相位，由包裹相位图得到展开的绝对相位图，沿着极线方向匹配左右相机图像的相位，然后根据左右相机图像中的同名点视差计算得到被测对象的三维点云。

按照本发明的第二方面，提供了一种基于辐照度融合的自动化多反射表面三维测量系统，包括：计算机可读存储介质和处理器；

所述计算机可读存储介质用于存储可执行指令；

所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行如第一方面所述的方法。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

1、现有的在对多反射物体的测量过程中相机曝光时间往往是通过手动设置参数来完成多重曝光图像的捕获，由于设置的曝光时间范围较大，导致测量过程中采集时间长，投影仪温漂大。本发明提供的方法，使用曝光时间选择网络生成一组最优的曝光次数及对应的曝光时间，无需人为手动设置曝光时间导致捕获的图像冗余，提高三维测量过程的自动化和智能化。

2、传统方法通过从不同曝光度的图像中选择或混合像素估计辐照度图，导致得到的辐照度直方图误差范围较大，难以去除误差较大的图像。本发明提供的方法通过多重辐照度融合网络将所有灰度图像生成的辐照度图序列融合生成一张辐照度图，一方面避免直接使用灰度图进行相位计算，另一方面降低了使用辐照度图计算的误差，同时多重辐照度融合网络可以将辐照度图误差值反馈给曝光时间选择网络进行学习，从图像上提高了相位计算的准确性。

附图说明

图1为本发明实施例提供的曝光时间选择网络及多重辐照度融合网络的联合训练流程示意图；

图2为本发明实施例提供的曝光时间选择网络的结构示意图；

图3为本发明实施例提供的多重辐照度融合网络的结构示意图；

图4为本发明实施例提供的基于辐照度融合的自动化多反射表面三维测量方法中应用阶段的流程示意图；

图5为三维测量系统相机成像模型示意图；

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

大多数现有的曝光次数选择方法要么是寻找一个最小包围集覆盖整个测量场景的动态范围，要么是最大化图像的信噪比。尽管这些方法的性能不错，但基本上都是利用灰度值直接计算相位，由图像的成像过程可知，灰度值的计算依赖于相机采集图像时的光强、曝光时间和相机响应函数，因此往往只能处理与场景辐照度线性相关的图像。与像素灰度值不同，由物体表面反射的辐照度值在本质上由光照与反射率决定，不受相机的动态响应范围限制，也与饱和度无关，同时，辐照度值与像素值一样会随着相移过程同步发生变化，因此可以用于相位恢复。但是目前辐照度值的获取由上述的曝光次数及对应的曝光时间决定，对于多反射表面物体的部分亮度不均匀区域辐照度值计算存在较大的误差，从而影响相位的精确性计算。

基于此，本发明实施例提供一种基于辐照度融合的自动化多反射表面三维测量方法，用于自适应选取一组最优的曝光时间序列，通过对多张辐照度图进行融合降低辐照度值计算的误差，进而提高相位计算的准确性，保证多反射物体三维测量的精确度与适用性；该方法包括：

训练阶段：

如图1所示，将t

具体地，构建用于预测多重曝光时间序列的卷积神经网络(即曝光时间选择网络)，以及用于预测融合辐照度图的卷积神经网络(即多重辐照度融合网络)。

构建多反射表面物体多重曝光大规模数据集，保持投影强度不变，按照固定多重曝光时间序列(即预设多重曝光时间序列)获取样件的多重曝光投影图像，包括t

采用上述数据集，对所述曝光时间选择网络及多重辐照度融合网络进行联合迭代训练：多重辐照度融合网络将生成的辐照度数据与辐照度真值的误差反馈给曝光时间选择网络，以此不断进行联合训练，最终得到训练好的曝光时间选择网络及多重辐照度融合网络：

进一步地，如图2所示，所述多重辐照度融合网络为空洞卷积神经网络。

多重辐照度融合网络定义如下式(1)所示：

y

其中，y

进一步地，如图3所示，所述曝光时间选择网络为卷积神经网络。

曝光时间选择网络定义为：输入相机固定曝光时间的预览图像X，该网络预测输出一组k个不同曝光时间序列Y＝{y

在训练阶段，从所述训练集中随机抽取样件的t

所述多重辐照度融合网络为空洞卷积神经网络，其网络结构如图2所示，以多组曝光图像的辐照度作为输入；输入神经网络后，曝光图像依次进行卷积，然后每个卷积层的输出结果最后联结到一起再进行卷积，最后输出预测辐照度图。

进一步，通过多重辐照度融合网络输出的辐照度值为V

t

其中，ΔV

在训练过程中，曝光时间选择网络的参数优化由多重辐照度融合网络反馈的图像辐照度值大小决定，同时多重辐照度融合网络的学习和融合受到曝光时间选择网络生成的曝光次数及曝光时间的影响，所以需要通过多重曝光数据集对两个网络进行联合训练，所述曝光时间选择网络与多重辐照度融合网络的联合训练过程包括：

(1)从所述训练集中随机选取样件的t

(2)基于当前状态，曝光时间选择网络的卷积层根据输入，将曝光图像与初始时间进行组合提取特征，通过全连接层离散出一组递增的曝光时间序列；

(3)左右相机采集在该时间序列下的图像来计算相机的响应函数，并根据相机的响应函数计算此曝光时间序列下的辐照度图序列；

(4)将曝光图像的辐照度图序列输入多重辐照度融合网络，其卷积层会根据图像局部特征的清晰度将其融合为一张辐照度图；

(5)根据当前辐照度值与辐照度真值计算多重辐照度融合网络的损失，反馈给曝光时间选择网络，更新当前状态，重复步骤(2)-(4)，直至当前状态满足设定条件，继续进行下一组样件的训练；

(6)判断是否满足网络参数更新设置，若满足，则进行网络更新，返回步骤(2)开始新一轮，直至达到预设训练次数，停止训练；若不满足，则不更新，返回步骤(2)开始新一轮，直至达到预设训练次数，停止训练；其中，所述网络参数更新设置为预设训练步数。此时的网络模型具备大多数相关工件的泛化辐照度计算要求。

所述多重曝光投影图像序列通过左右相机同步获取，即：通过投影仪向样件表面投射一张均匀白色图像，左右相机同步获取样件在预设多重曝光时间序列下的多重曝光投影图像序列；以预设多重曝光时间序列、左相机和/或右相机获取的多重曝光投影图像序列作为数据集。例如，当J＝5，K＝13时，则获取在预设多重曝光时间序列t

应用阶段，如图4所示：

S1，投影仪投射一张均匀白色图像，左右相机同步采集待测工件在预设曝光时间下的投影图像，将所述预设曝光时间及在所述预设曝光时间下的投影图像输入至训练好的曝光时间选择网络，预测曝光时间序列。

具体地，投影仪投射一张均匀白色图像，左右相机同步采集在相机固定低曝光时间t

S2，固定投影仪亮度不变，投影仪投射一组相移条纹到待测工件表面，左右相机同步采集在所述曝光时间选择网络预测的曝光时间序列下所述待测工件的多重曝光条纹图像序列，将所述待测工件的多重曝光条纹图像序列计算的辐照度图序列输入至训练好的多重辐照度融合网络，所述训练好的多重辐照度融合网络生成一张覆盖多反射待测工件表面信息的融合辐照度图。

进一步地，根据相机的响应函数，计算所述多重曝光投影图像序列的辐照度图序列。

进一步地，所述相移条纹为三频四步相移条纹。

具体地，固定投影仪亮度不变，投影仪投射相移条纹到待测工件表面，左右相机同步采集在所述曝光时间序列下，待测工件的多重曝光条纹图像序列，根据相机的响应函数，计算待测工件的多重曝光条纹图像序列的辐照度图序列，并将其输入至训练好的多重辐照度融合网络，得到融合辐照度图。即：根据上述训练好的曝光时间选择网络预测曝光时间序列的曝光时间序列向待测物体投影，相机同步采集多重曝光条纹图像，并根据相机的响应函数计算不同曝光时间下的辐照度图；将这组辐照度图传入训练好的多重曝光融合网络，融合辐照度图序列得到一张辐照度图。

S3，计算所述融合辐照度图的相位图，由包裹相位图得到展开的绝对相位图，沿着极线匹配左右相机图像的相位，根据左右相机图像中的同名点视差计算得到待测工件的三维点云。

具体地，根据上述的辐照度图计算相位图，通过多频外差原理将包裹相位图展开为绝对相位图，沿着极线匹配左右相机图像的相位，根据左右相机图像中的同名点视差计算得到被测物体的三维点云。

由于物体表面多反射的辐照度值是一个物理量，可以表示为如下式(3)的正弦波形式：

其中，E

因此，需要估计条纹图像的相机响应函数，通过像素灰度值恢复辐照度值。大多数情况下，相机的响应函数都是一个非线性函数，图像的辐照度和场景辐射度的关系如下所示：

其中，E

z

其中，f是辐照度响应曲线，t

f

基于式(6)就可以重建出相机相应函数曲线，再由相机相应函数的逆函数恢复辐照度值，如式(7)所示：

其中，g(.)＝f

进一步地，由多重辐照度融合网络输出的辐照度图计算相位的方法如式(8)所示：

然后，采用多频率相位恢复方法由包裹相位图得到展开的绝对相位图，通过左右图像的立体匹配重建出三维点云。

如图5所示，本发明采用的测量系统为面结构光三维测量系统，包括左右相机及投影仪，且左右相机的型号和参数一致，可以理解的是，相机内部参数在标定时候会存在一定误差。

本发明实施例提供一种基于辐照度融合的自动化多反射表面三维测量系统，包括：计算机可读存储介质和处理器；

所述计算机可读存储介质用于存储可执行指令；

所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行如上述任一实施例所述的方法。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。