基于偏振条纹投影的三维测量方法、系统、设备和介质

技术领域

本公开涉及三维测量领域，具体涉及基于偏振条纹投影的三维测量方法、系统、设备和介质。

背景技术

在经典的格雷码加相移法中，由相移图计算所得的包裹相位在展开时，需要格雷码图来编码级次周期，使得展开的相位具有唯一性和连续性。这里要求获得的格雷码图像能够准确编码级次，而条纹边缘黑白转化不能利落地完成，也就是边缘模糊，且在面对高反射率物体时，这个问题会被放大，白色条纹边缘对黑色条纹的扩散现象更加严重，这样就会导致相位级次编码错误，进而不能够正确地进行相位展开。现有技术（Zhu Z , You D ,Zhou F , et al. Rapid 3D reconstruction method based onPolarization-enhancedfringe pattern of HDR object[J]. Optics Express, 2020,29(2)）尝试采用偏振增强条纹图案策略来实现相位展开，但是该种方法需要投多幅偏振图，而且效率也有待提高。

发明内容

本公开提供一种基于偏振条纹投影的三维测量方法、系统、设备和介质，能够有效抑制了高光导致的相位边沿跳变错误，从而提高了相位展开的鲁棒性。本公开提供以下技术方案来解决上述技术问题：

作为本公开实施例的一个方面，提供一种基于偏振条纹投影的三维测量方法，包括如下步骤：

获取偏振编码图；

根据偏振编码图进行N步相移得到N幅正弦条纹图，所述N为大于等于3的自然数；

将所述偏振编码图转换为灰度图像；

将所述灰度图像进行二值化处理；所述二值化处理包括如下步骤：选取N幅正弦条纹图每个像素的均值作为二值化阈值得到阈值图像；将灰度图像与所述阈值图像的每个对应像素进行对比得到编码图像；

引入第N+1幅偏振编码图，得到与周期级次N

根据获得的周期级次N

较佳地，根据偏振编码图进行N步相移得到N幅正弦条纹图之后还包括如下步骤：

利用所述N幅正弦条纹图计算每个位置的相位差；

根据所述相位差与深度的映射关系获取物体的深度信息。

较佳地，所述N为4时，则4幅正弦条纹图I

，n=1,2,3,4；

其中，A(x,y)是背景强度，B(x,y)是强度调制参量，

所述偏振编码图I(x,y)表达式为：

，其中，R(x,y)是物体表面反射率；

通过4步相移得到包裹相位：

。

较佳地，所述阈值图像T

，

其中，n是正弦条纹图的幅数，n步相移即有n幅正弦条纹图。

较佳地，将灰度图像与所述阈值图像的每个对应像素进行对比得到编码图像，包括如下步骤：

将灰度图像与所述阈值图像的每个对应像素进行对比，小于等于阈值赋值为0，大于阈值的赋值为1，得到的编码图像表达式为：

，

其中，

；

其中，DOLP(x,y)是图像的线性偏振度；

所述DOLP(x,y)表达式为：

，

其中，

较佳地，引入第N+1幅偏振编码图，得到与周期级次N

先找到经过二值化处理后的PC

，

其中，PC

相应的周期级次N

引入第N+1幅偏振编码图PC

，

其中，PC

i函数用于建立十进制数V

，

其中，INT是向下取整函数，i(V

较佳地，根据获得的周期级次N

截断相位被截断在(

，

其中，

本公开还提供一种基于条纹投影轮廓术的三维测量系统，包括：

线性偏振模块，获取偏振编码图；

相位计算模块，根据偏振编码图进行N步相移得到N幅正弦条纹图，所述N为大于等于3的自然数；

偏振图像编码和二值化模块，将所述偏振编码图转换为灰度图像；将所述灰度图像进行二值化处理；所述二值化处理包括如下步骤：选取N幅正弦条纹图每个像素的均值作为二值化阈值得到阈值图像；将灰度图像与所述阈值图像的每个对应像素进行对比得到编码图像；

解码模块，引入第N+1幅偏振编码图，得到与周期级次N

相位展开模块，根据获得的周期级次N

作为本公开实施例的另一个方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的基于偏振条纹投影的三维测量方法。

作为本公开实施例的另一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的基于偏振条纹投影的三维测量方法的步骤。

本公开的有益效果为：提出偏振编码结合相移技术（PCPS），在面对闪亮表面的高动态范围3D形状测量时能有更高的效率和稳定性；在强光条件下稳定地重建三维几何物体；该方法用偏振编码图取代了传统的灰度编码图，能够明显抑制二值化后的白色条纹边缘对黑色条纹的扩散现象，以帮助相移图案进行相位展开，虽然测量对象拥有HDR表面，但能准确地获得相应的相位周期，有效地抑制了高光引起的相位边缘跳变误差，提高了相位展开的鲁棒性，相比于需要投多幅偏振图的偏振增强条纹图案策略又能提高测量效率。

附图说明

图1为根据本公开实施例1中的基于偏振条纹投影的三维测量方法的流程图；

图2(a)、图2(b)和图2(c)分别是CGC、CGC with polarizer和PCPS三种方案下的拍回的第五幅二值条纹图；

图2(d)、图2(e)和图2(f)分别为图2(a)、图2(b)和图2(c)对应得到的二值化图片；

图2(g)为图2(d)中1160行像素灰度的正太拟合直方图；图2(h)为图2(e)中1160行像素灰度的正太拟合直方图；图2(i)为图2(f)中1160行像素灰度的正太拟合直方图；

图3(a)、图3(b)、图3(c)为CGC、CGC with polarizer和PCPS三种方案下的相位展开图；

图4(a)、图4(b)和图4(c)分别为提取出图3(a)、图3(b)和图3(c)第1160行中的330到1670列一共1341个像素灰度值得到的相位展开结果；

图5显示了由两个金属模具组成的测量场景；

图6为基于条纹投影轮廓术的三维测量系统框图。

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。

此外，本公开还提供了基于条纹投影轮廓术的三维测量系统、电子设备、计算机可读存储介质、程序，上述均可用来实现本公开提供的任一种基于偏振条纹投影的三维测量方法，相应技术方案和描述和参见方法部分的相应记载，不再赘述。

基于偏振条纹投影的三维测量方法的执行主体可以是计算机或者其他能够实现基于条纹投影轮廓术的三维测量的装置，例如，方法可以由终端设备或服务器或其它处理设备执行，其中，终端设备可以为用户设备（User Equipment，UE）、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理（PersonalDigital Assistant，PDA）、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该基于偏振条纹投影的三维测量方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

实施例1

本实施例提供一种基于偏振条纹投影的三维测量方法，如图1所示，包括如下步骤：

S10、获取偏振编码图；

S20、根据偏振编码图进行N步相移得到N幅正弦条纹图，所述N为大于等于3的自然数；

S30、将所述偏振编码图转换为灰度图像；

S40、将所述灰度图像进行二值化处理；所述二值化处理包括如下步骤：选取N幅正弦条纹图每个像素的均值作为二值化阈值得到阈值图像；将灰度图像与所述阈值图像的每个对应像素进行对比得到编码图像；

S50、引入第N+1幅偏振编码图，得到与周期级次N

S60、根据获得的周期级次N

基于上述配置本公开实施例提出偏振编码结合相移技术（PCPS），在面对闪亮表面的高动态范围3D形状测量时能有更高的效率和稳定性；在强光条件下稳定地重建三维几何物体；该方法用偏振编码图取代了传统的灰度编码图，能够明显抑制二值化后的白色条纹边缘对黑色条纹的扩散现象，以帮助相移图案进行相位展开，虽然测量对象拥有HDR表面，但能准确地获得相应的相位周期，有效地抑制了高光引起的相位边缘跳变误差，提高了相位展开的鲁棒性，相比于需要投多幅偏振图的偏振增强条纹图案策略又能提高测量效率。

下面分别对本公开实施例的各步骤进行详细说明。

S10、获取偏振编码图；

其中，所述偏振编码图可通过在相机前放置水平线性偏振器(例如型号为OPSP25.4的水平线性偏振器)实现获取。

S20、根据偏振编码图进行N步相移得到N幅正弦条纹图，所述N为大于等于3的自然数；其中，N可取3或4，也可以采用更多的步数实现，要求出相位值

在一些实施例中，根据偏振编码图进行N步相移得到N幅正弦条纹图之后还包括如下步骤：

利用所述N幅正弦条纹图计算每个位置的相位差；

根据所述相位差与深度的映射关系获取物体的深度信息。

在一些实施例中，所述N为4时，则4幅正弦条纹图I

，n=1,2,3,4；

其中，A(x,y)是背景强度，B(x,y)是强度调制参量，

所述偏振编码图I(x,y)表达式为：

，其中，R(x,y)是物体表面反射率；

通过4步相移得到包裹相位：

。

S30、将所述偏振编码图转换为灰度图像；

其中，将相机捕获的DOLP图像转换为灰度图像：

，

其中，DOLP(x,y)的定义如下：

，

其中，

与光强的阈值相似，DOLP的阈值也能消除对偏振调制响应较弱的点，线偏振编码的结构光图片具有强度均匀但不均匀的偏振状态。换句话说无论入射光的偏振状态如何，使入射偏振光强去偏振的点都倾向于保持同样的亮度。因此，具有低DOLP的点，即图片之间对比度低的点将被消除，从而使具有DOLP超过阈值的目标物体能通过提出的偏振编码结构光图案得到增强。

S40、将所述灰度图像进行二值化处理；所述二值化处理包括如下步骤：选取N幅正弦条纹图每个像素的均值作为二值化阈值得到阈值图像；将灰度图像与所述阈值图像的每个对应像素进行对比得到编码图像；

由于外界环境因素影响，PC

在一些实施例中，所述阈值图像T

，

其中，n是正弦条纹图的幅数，n步相移即有n幅正弦条纹图。

将灰度图像与所述阈值图像的每个对应像素进行对比得到编码图像包括如下步骤：

将灰度图像与所述阈值图像的每个对应像素进行对比，小于等于阈值赋值为0，大于阈值的赋值为1，得到的编码图像表达式为：

，

其中，

；

其中，DOLP(x,y)是图像的线性偏振度。

S50、引入第N+1幅偏振编码图，得到与周期级次N

在一些实施例中，引入第N+1幅偏振编码图，得到与周期级次N

先找到经过二值化处理后的PC

，

其中，PC

相应的周期级次N

表1

引入第N+1幅偏振编码图PC

，

其中，PC

i函数用于建立十进制数V

，

其中，INT是向下取整函数，i(V

表2

S60、根据获得的周期级次N

在一些实施例中，根据获得的周期级次N

截断相位被截断在(

，

其中，

为了验证本实施例中方法的有效性，搭建了一个实验系统，由分辨率为1920*1080的液晶投影仪(CB-FH52)、分辨率为1920*1200单色CMOS相机(FLIRBFS-U3-23S3M-C安装了HC1605镜头)，并在相机前放置水平线性偏振器(OPSP25.4)组成。该系统放置在待测物体前方0.5m左右，摄像机光轴与投影仪光轴的夹角约为20°，此外，曝光时间固定在较低的6毫秒，以避免图像的饱和度过高。投影仪投射出第2节中提到的格雷码图片、偏振状态编码(PSE)图片和四步相移图片。此外，照相机被设置在投影仪附近。

为了评估PCPS的性能，用另外两种方案（1）Complementary Gray code technique（2）Complementary Gray code technique with polarizer对高反射率表面的金属模具进行对比实验，实验分析分为三个部分：（1）分析二值条纹在高光下的表现（2）分析二值条纹辅助相位展开的效果（3）对比三种方案的重构结果。

（1）二值条纹分析

第一个实验被设计用来测量一个双圆孔金属模具，以测试PCPS对高光的抑制效果和相位展开效果。为了评估该方法的性能，与CGC和CGC with polarizer两种方案进行比较。图2(a)、图2(b)和图2(c)分别是CGC、CGC with polarizer和PCPS三种方案下的拍回的第五幅二值条纹图，能初步对比看出PCPS拍回的图2(c)中的高光被减少。接下来将这三幅拍回的的条纹图二值化，得到对应的二值化图片图2(d)、图2(e)和图2(f)，为了尽量确保所取的一行像素不在噪声区中，提取图2(d)、图2(e)和图2(f)高光区域的第1160行中的330到1670列一共1341个像素并获得他们的灰度值，得到他们正太拟合直方图(图2(g)、图2(h)和图2(i))来正确统计0和255灰度的像素个数。然后用如下公式计算三行像素的白色扩散率来反映高光下白条纹边沿扩散程度：

D=(n

其中D是扩散百分比（Diffusion Percentage），n

黑色灰度值为0，白色灰度值为255。从图2(g)、图2(h)和图2(i)中能看出黑色像素分别有643、646和661个，白色像素分别有698、695和680个，分别代入到公式D=(n

表3 通过三种策略得到的图像的白色扩散率

由表3可知，三种方案得到的条纹图的白色扩散率分别为4.1%、3.6%和1.4%。由此得出，在面对高反射率表面物体时，不加偏振片、仅加偏振片和偏振编码的二值化条纹图，偏振片对条纹图的高光有抑制效果但不明显，而偏振编码对高光的抑制效果更好，更有利于抑制高光下白条纹边沿扩散现象，这证明了偏振编码图案面对闪亮表面的高动态范围(HDR)时比传统格雷码图案更加稳定。

（2）相位展开

接下来分析PCPS的相位展开效果，三种方法的相位展开图如图3(a) 、图3(b)、图3(c)所示，仔细看图3(a)中金属物体部分的展开相位因高光原因出现了部分的相位截断，而图3(b)、图3(c)两幅图的金属物体部分的展开相位比较光滑，优于图3(a)的金属物体部分展开相位。

由于图3(b)、图3(c)两幅图的待测金属物体部分的展开相位仅靠肉眼分辨不出优劣，这只能说明偏振片对于高光的抑制是有效果的，为了验证的方法在高光区域有更好的相位展开结果，同样提取出图3(a) 、图3(b)、图3(c)第1160行中的330到1670列一共1341个像素灰度值，分别获得对应的相位展开结果图，如图4(a)、图4(b)和图4(c)所示，这里明显能看出图4(a)的相位展开结果明显出现了跳变问题，图4(b)和图4(c)的相位展开结果就很平滑，但仍分不出优劣，然后对这些相位展开结果进行量化，以RMSE为评价标准，计算三种策略得到的展开阶段的RMSE，如表4所示：

表4 三种策略得到的展开阶段的RMSE

能够看出，CGC得到的解包相的RMSE最高，即最不理想，用偏振器的CGC得到的解包相的质量比CGC高69.9%。提出的PCPS提高了近90.5%。这表明，在处理HDR表面时，PCPS的相位展开更加稳定。

（3）三维重构

第二个实验被设计用来测量一个场景，其中包括一个三圆孔金属模具和一个双圆孔金属模具,为了评估PCPS方法在高光下的三维重构性能，同样与CGC和CGC withpolarizer进行比较。图5显示了由两个金属模具组成的测量场景，左边是新添的三圆孔金属模具，右边是竖立的双圆孔金属模具。红色虚线画圈区域就是高光显著的部分。

实施例2

本实施例提供一种基于条纹投影轮廓术的三维测量系统100，如图6所示，包括：

线性偏振模块1，获取偏振编码图；

其中，所述线性偏振模块可通过在相机前放置水平线性偏振器(例如型号为OPSP25.4的水平线性偏振器)实现。

相位计算模块2，根据偏振编码图进行N步相移得到N幅正弦条纹图，所述N为大于等于3的自然数；

本实施例中，相位计算模块2还用于实现：

利用所述N幅正弦条纹图计算每个位置的相位差；

根据所述相位差与深度的映射关系获取物体的深度信息。

在一些实施例中，所述N为4时，则4幅正弦条纹图I

，n=1,2,3,4；

其中，A(x,y)是背景强度，B(x,y)是强度调制参量，

所述偏振编码图I(x,y)表达式为：

，其中,R(x,y)是物体表面反射率；

通过4步相移得到包裹相位：

。

偏振图像编码和二值化模块3，将所述偏振编码图转换为灰度图像；将所述灰度图像进行二值化处理；所述二值化处理包括如下步骤：选取N幅正弦条纹图每个像素的均值作为二值化阈值得到阈值图像；将灰度图像与所述阈值图像的每个对应像素进行对比得到编码图像；

本实施例中，偏振图像编码和二值化模块3还用于：将相机捕获的DOLP图像转换为灰度图像，

，

其中，DOLP的定义如下：

，

其中，

与光强的阈值相似，DOLP的阈值也能消除对偏振调制响应较弱的点，线偏振编码的结构光图片具有强度均匀但不均匀的偏振状态。换句话说无论入射光的偏振状态如何，使入射偏振光强去偏振的点都倾向于保持同样的亮度。因此，具有低DOLP的点，即图片之间对比度低的点将被消除，从而使具有DOLP超过阈值的目标物体能通过提出的偏振编码结构光图案得到增强。

由于外界环境因素影响，P

在一些实施例中，所述阈值图像T

。

将灰度图像与所述阈值图像的每个对应像素进行对比得到编码图像，包括：

将灰度图像与所述阈值图像的每个对应像素进行对比，小于等于阈值赋值为0，大于阈值的赋值为1，得到的编码图像表达式为：

，

其中，

解码模块4，引入第N+1幅偏振编码图，得到与周期级次N

在一些实施例中，解码模块4还用于：

先找到经过二值化处理后的PC

，

其中，PC

相应的周期级次N

引入第N+1幅偏振编码图PC

，

其中，PC

i函数用于建立十进制数V

，

其中，INT是向下取整函数，i(V

相位展开模块5，根据获得的周期级次N

其中，相位展开模块5还用于：

截断相位被截断在(

，

其中，

实施例3

一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例1中的基于偏振条纹投影的三维测量方法。

本公开实施例3仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

电子设备可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备的组件可以包括但不限于：至少一个处理器、至少一个存储器、连接不同系统组件（包括存储器和处理器）的总线。

总线包括数据总线、地址总线和控制总线。

存储器可以包括易失性存储器，例如随机存取存储器（RAM）和/或高速缓存存储器，还可以进一步包括只读存储器（ROM）。

存储器还可以包括具有一组（至少一个）程序模块的程序工具，这样的程序模块包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

处理器通过运行存储在存储器中的计算机程序，从而执行各种功能应用以及数据处理。

电子设备也可以与一个或多个外部设备（例如键盘、指向设备等）通信。这种通信可以通过输入/输出（I/O）接口进行。并且，电子设备还可以通过网络适配器与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。网络适配器通过总线与电子设备的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID（磁盘阵列）系统、磁带驱动器以及数据备份存储系统等。

应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。

实施例4

一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述程序被处理器执行时实现实施例1中的基于偏振条纹投影的三维测量方法的步骤。

其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。

在可能的实施方式中，本公开还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现实施例1中所述的基于偏振条纹投影的三维测量方法的步骤。

其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。

尽管已经示出和描述了本公开的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本公开的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本公开的范围由所附权利要求及其等同物限定。