一种融合偏振三维形状和偏振调制测距的深度重建方法

技术领域

本发明属于物体表面三维深度重建领域，涉及一种融合偏振三维形状和偏振调制测距的深度重建方法，适用于各种高质量需求的三维重建应用场景。

背景技术

与二维图像相比，物体表面的三维数据可以提供更全面的特征信息和空间位置信息，三维重建技术已经在自动驾驶，生物成像，机器人系统和文物保护等诸多领域得到应用。

偏振三维形状是通过利用物体表面反射光的偏振态信息计算出的目标表面特征，可反映目标物体表面的材质、粗糙度、分布等信息。其最大的优点是可以较为精确地重建出目标物体表面的纹理细节信息。然而，偏振三维形状的计算过程存在以下两个个难点问题：(1)对表面法向量的方位角分量的求解结果具有二值性，两个求解结果相差π弧度。这导致重建的偏振三维形状具有凹凸性模糊问题；(2)计算表面法向量的天顶角分量需要目标物体表面的折射率是已知的，而在实际应用场景中，目标物体表面的折射率无法获得。

现有的解决上述难点问题的三维重建方法主要可以分为两大类。第一类方法是结合光影信息来约束偏振三维形状。例如，设置多个已知位置的光源来照明目标，结合光源方向和目标表面的阴影信息来获得更为准确的偏振三维形状。但是，这类方法往往需要较为复杂的照明系统，这限制了此类方法的实际应用能力。而且，这类方法只能校正偏振三维形状的方位角模糊问题，无法解决目标表面反射率未知时的天顶角求解难题，使得重建的偏振三维形状与目标真实三维表面的误差仍然较大。第二类方法是将偏振三维形状和深度传感器获得的深度数据融合。基于结构光、多目立体视觉和激光雷达等的深度传感器可以提供粗糙的目标三维深度数据。利用模型类方法或深度学习方法可以将深度数据的稳定低频信息和偏振三维形状的高频纹理细节相融合，从而获得较为准确的目标三维深度信息。第二类方法的重建质量相比于第一类方法有明显提高。然而，第二类方法往往需要将偏振图像和深度传感器的深度图像进行精确配准，这在很多应用场景中是非常困难的。

偏振调制测距是一种新颖的三维成像方法。通过在普通的二维图像传感器前面引入一个偏振调制模块，目标的偏振调制图像可以被采集，从而进一步计算出目标的深度图像。通过偏振调制测距方法获得的深度图像具有准确的低频信息，可以与偏振三维形状进行有效融合。更重要的是，重建偏振三维形状所需的偏振图像和偏振调制图像可以通过普通二维相机进行采集。如何设计成像系统来利用单个相机对两种图像进行采集来避免复杂的图像配准问题，并建立有效的图像融合方法来重建高质量的三维深度，是融合三维重建的关键问题。

发明内容

本发明针对现有技术的不足，利用偏振三维重建和偏振调制测距的异同点，提出来一种融合偏振三维形状和偏振调制测距的深度重建算法。通过偏振调制测距的深度图像解决了偏振三维形状的凹凸性模糊和深度不真实问题，得到真实深度和精确纹理细节信息的深度重建结果。

本发明所采用的技术方案是：一种融合偏振三维形状和偏振调制测距的深度重建方法，首先分别由偏振图像和基于偏振调制测距生成的深度图像计算目标表面法向量的初始方位角分量和初始天顶角分量。然后，通过分析两种方法获得的不同的初始方位角和初始天顶角的互补特征，分别建立方位角融合模型和天顶角融合模型，并利用交替方向乘子法对融合模型进行迭代求解，生成准确的融合方位角和融合天顶角。最后利用法向量积分算法由融合方位角和融合天顶角生成初始三维形状，再利用线性拟合生成具有绝对深度的三维重建结果。该方法包括以下步骤：

步骤1：通过二维相机获得偏振图像，并利用偏振三维重建方法获得目标表面法向量的方位角分量和天顶角分量，分别表示为偏振方位角Φ

步骤2：基于偏振调制测距技术，利用二维相机获得偏振调制图像，并进一步计算出深度图像，然后估计目标表面法向量的方位角分量和天顶角分量，分别表示为测距方位角Φ

步骤3：针对偏振方位角Φ

步骤4：通过对校正后的偏振方位角Φ′

步骤5：通过对偏振天顶角Θ

步骤6：基于交替方向乘子法分别对方位角融合模型和天顶角融合模型进行迭代求解，获得融合方位角Φ

步骤7：利用融合方位角Φ

进一步的，步骤1的具体实现包括以下子步骤：

步骤1.1，在二维相机前放置一个线偏振片，分别在偏振角度

将每点光强变化进行余弦曲线拟合，根据拟合曲线得到各点的最大光强I

步骤1.2，单个像素点的偏振方位角

步骤1.3，单个像素点的物体表面的偏振度ρ可由(3)式求出：

将目标表面分为镜面反射区域和漫反射区域，对于镜面反射区域，单个像素点的偏振天顶角θ

式中，n为目标表面的反射率。

对于漫反射区域，单个像素点的偏振天顶角θ

最后，对于i×j个像素点的图像，其偏振方位角图像Φ

进一步的，步骤2的具体实现包括以下子步骤：

步骤2.1，将脉冲激光器的激光扩束准直后垂直照射到探测目标的表面，由信号源外部触发脉冲激光器，设置激光器的脉冲周期为T

式中，c为光速。

步骤2.2，对于单个像素点q＝(,y)，表面法向量可以由表面梯度计算得到：

式中，(x

单个像素的测距天顶角θ

单个像素的测距方位角

式中，θ

进一步的，步骤4的具体实现包括以下子步骤：

步骤4.1，考虑到校正后的偏振方位角Φ′

式中，

步骤4.2，进一步利用R

式中，Ψ表示高斯低频滤波算子，E

基于公式(10)和(11)，方位角融合模型可以写为

进一步的，步骤5的具体实现包括以下子步骤：

步骤5.1，当目标表面反射率n未知或者不准确时，偏振天顶角Θ

式中，S

步骤5.2，进一步利用R

式中，α表示不同项之间的平衡参数，E

基于公式(13)和(14)，天顶角融合模型可以写为

式中，β表示不同项之间的平衡参数。

与现有技术相比，本发明的优点和有益效果如下：

本发明提出了一种融合偏振三维形状和偏振调制测距的深度重建方法。通过利用单个二维相机分别对两种具有互补性的三维成像技术进行图像采集，避免了图像融合过程中复杂的图像配准问题。进一步地，分别基于偏振三维形状和偏振调制测距获得的深度图像计算方位角和天顶角，并构建方位角融合模型和天顶角融合模型来得到融合的方位角和天顶角，使得两种三维数据各自的优势可以最大程度地传递到融合结果中。对融合方位角和融合天顶角进行积分和线性拟合可以的到最终的深度重建结果。深度重建结果具有较高的分辨率，包含精确的纹理细节信息和准确的低频绝对深度信息。

附图说明

图1是成像系统设备示意图。

图2是实施例的目标物体的灰度图像。

图3是实施例目标的偏振方位角、偏振天顶角和偏振三维形状，(a)为偏振方位角，(b)为偏振天顶角，(c)为偏振三维形状。

图4是实施例目标的测距方位角、测距天顶角和偏振调制测距的深度图像，(a)为测距方位角，(b)为测距天顶角，(c)为偏振调制测距的深度图像。

图5是实施例的目标物体表面的融合方位角、融合天顶角，(a)为融合方位角，(b)为融合天顶角。

图6是实施例目标的深度重建结果。

图7是实施例目标的不同方法的深度重建结果对比图。

图8是不同方法的深度重建结果的定量实验结果对比图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明做进一步的详细描述，应当理解的是，此处所描述的实施例仅用于解释本发明，并不用于限定本发明。

本发明主要针对具有精细细节的表面三维深度重建的应用需求。根据偏振三维形状和偏振调制测距的特点，我们提出了一种融合偏振三维形状和偏振调制测距的深度重建方法。通过一个二维相机分别对偏振图像和偏振调制图像进行采集，直接避免了融合重建中的复杂的图像配准问题。通过构建方位角融合模型和天顶角融合模型，将偏振三维形状准确的纹理细节和偏振调制测距的深度图像的准确低频信息转移到融合的深度上，以获得高质量的深度融合结果。

图1所提出的融合偏振三维形状和偏振调制测距的深度重建方法的成像系统设备示意图，所用二维CCD相机(SangNond SN1200W)的分辨率为4000*3000。图2是目标物体的灰度图像。本实施例提供一种融合偏振三维形状和偏振调制测距的深度重建方法来重建目标物体表面的三维深度，具体包括以下步骤：

步骤1：通过二维相机获得偏振图像，并利用偏振三维重建方法获得目标表面法向量的方位角分量和天顶角分量，分别表示为偏振方位角Φ

步骤1.1：在CCD相机前放置一个线偏振片，分别在偏振角度

将每点光强变化进行余弦曲线拟合，根据拟合曲线得到各点的最大光强I

步骤1.2：单个像素点的偏振方位角

在计算中，取

步骤1.3：单个像素点的物体表面的偏振度ρ可求出：

将目标表面分为镜面反射区域和漫反射区域，对于镜面反射区域，单个像素点的偏振天顶角θ

式中，n为目标表面的反射率，在计算中将其估计为1.5。

对于漫反射区域，单个像素点的偏振天顶角θ

最后，偏振方位角图像

步骤2：基于偏振调制测距技术，利用CCD相机获得偏振调制图像，并进一步计算出深度图像，然后估计目标表面法向量的方位角分量和天顶角分量，分别表示为测距方位角Φ

步骤2.1：将脉冲激光器的激光扩束准直后垂直照射到探测目标的表面，由信号源外部触发脉冲激光器，设置激光器的脉冲周期为T

式中，c＝3×10

步骤2.2，对于单个像素点q＝(x,y)，表面法向量可以由表面梯度计算得到：

单个像素的测距天顶角θ

单个像素的测距方位角

式中，θ

步骤3：针对偏振方位角Φ

步骤4：通过对校正后的偏振方位角Φ′

骤4.1，考虑到校正后的偏振方位角Φ′

式中，

步骤4.2，进一步利用关系描述项R

式中，Ψ表示高斯低频滤波算子，E

基于公式(10)和(11)，方位角融合模型可以写为

步骤5：通过对偏振天顶角Θ

步骤5.1，当目标表面反射率n未知或者不准确时，偏振天顶角Θ

式中，S

步骤5.2，进一步利用关系描述项R

式中，α表示不同项之间的平衡参数。

基于公式(13)和(14)，天顶角融合模型可以写为

式中，β表示不同项之间的平衡参数，E

步骤6：基于交替方向乘子法分别对方位角融合模型和天顶角融合模型进行迭代求解，获得融合方位角Φ

步骤7：利用融合方位角Φ

基于上述步骤得到目标物体表面的深度重建结果，为了与其他方法进行比较，我们使用SFPEI

为了定量的评价三维重建结果，我们选取了另一目标物体：标准球面，使用SFPEI，SFP+BSV方法与我们的方法进行对比，引入平均绝对误差(MSE)作为评价指标，得出的结果如附图8所示，定量对比结果如下：

表1不同重建方法的定量分析

可以看到我们提出的方法联合物体表面偏振三维形状和偏振调制测距，较好的解决了偏振三维形状的凹凸性模糊问题，得到的深度重建结果具有更准确的表面形状和深度信息，且对表面的纹理特征具有较强的重建能力。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

参考文献

[1]Smith W A P,Ramamoorthi R,Tozza S.Height-from-polarisation withunknown lighting or albedo[J].IEEE transactions on pattern analysis andmachine intelligence,2018,41(12):2875-2888.

[2]Tian X,Liu R,Wang Z,et al.High quality 3D reconstruction based onfusion of polarization imaging and binocular stereo vision[J].InformationFusion,2022,77:19-28.