基于双目光栅投影的三维测量方法、系统、设备及其介质

技术领域

本发明涉及三维测量技术领域，尤其涉及一种基于双目光栅投影的三维测量方法、系统、设备及其介质。

背景技术

三维测量是指通过一定的方法和设备仪器获取物体的三维形貌特征的技术。光栅投影测量方法（又称相位测量轮廓术，Phase Measuring Profilometry, ）是通过将光栅条纹投影到被测物体的表面，采集带有光栅条纹的被测物体，变形条纹反映了被测物体表面，通过分析光栅条纹的变化，重建被测物体的三维模型，进行三维信息测量。因其具有成本低、测量速度快、测量精度高等优点，光栅投影测量方法是目前应用最为广泛的三维测量技术之一。由于双目光栅投影测量方法中，避免了单目光栅投影测量方法中需要标定投影仪的复杂问题，且在双目光栅投影测量方法中利用附加相位特征代替图像提取特征，解决了双目视觉中对于纹理稀疏区域的不适用性，双目光栅投影测量方法得到了广泛的应用。

双目光栅投影三维测量方法中的关键步骤是立体匹配，立体匹配的目的就是找到空间中某点在左右相机成像点的对应关系。根据多视图几何原理，立体匹配可将同名点的对应关系转换成视差的形式输出，即视差图，利用视差图结合相机标定参数即可还原出物体的三维坐标。目前，常用的立体匹配方法包括：

（1）基于区域特征的匹配方法，以参考图像中的某一个像素点为中心建立一个窗口，以窗口区域为单位提取该区域的某个特征（如：绝对差之和，平方差之和等）来构建代价体，然后在目标图像中寻找特征与最相似的窗口区域，再计算获得视差图。

（2）基于相位立体匹配方法，利用结构光等方法人为地给物体表面加上一些特征信息，如通过编码相移给待测物体表面加上相位信息。基于主动特征可实现各像素特征点间地特征互相独立且有规律可循，能够获得亚像素级地稠密视差图，匹配精度高。

双目光栅投影测量方法中，立体匹配的输入经过相位特征提取得到的左右绝对相位图，匹配基元为浮点型的绝对相位值，即相位立体匹配方法。虽然相位立体匹配方法相对于基于区域特征的匹配方法可以得到亚像素级地稠密视差图，匹配精度高，能够有效抑制高频噪声的影响等优点，但是相位立体匹配方法是64位的浮点数类型，而基于区域特征的匹配方法是8位的整型值，在同样的搜索区域和范围内，前者在构建代价体数组的内存消耗上是后者的8倍左右，这会使得在处理大视差立体图像匹配时，大大增加系统内存负担，提升内存占用率。同时，大量的内存使用意味着需要对应的快速内存释放，若没有进行内存释放，可能会影响其他并行计算的效率，从而导致系统内存的资源浪费。相位立体匹配方法对系统的内存容量提出了巨大挑战，普通的计算机系统无法满足，必须增加系统成本换用更大的内存容量，实现成本大。同时，在未知视差的前提下，前几次初始匹配必须要在经立体校正后图像的整行进行搜索计算，这样也会使得算法的计算效率变慢，整体算法耗时增加。现有的立体匹配方法无法完全适用于现有的双目光栅投影测量方法技术，尤其是在对大视野、大样品表面三维测量重构时，会增加系统内存成本，增加计算耗时，测量效率慢。

发明内容

本发明要解决的技术问题是：为了解决现有技术中双目光栅投影三维测量重构时内存消耗大、测量时间长以及测量效率慢的技术问题，本发明提供了一种基于双目光栅投影的三维测量方法，三维测量重构时内存消耗小，提高了测量时间以及测量效率。

本发明解决其技术问题所采用的技术方案是：一种基于双目光栅投影的三维测量方法，包括以下步骤：

S1，立体校正，通过双目相机获取左右视场图像，解算所述左右视场图像对应的左右视场解包裹相位图，对所述左右视场解包裹相位图进行立体校正，得到左右视场校正后的相位图；

S2，多阶降采样，对所述左右视场校正后的相位图进行多阶降采样，得到左右视场相位降采样图；

S3，低阶相位视差的计算，基于所述左右视场相位降采样图通过构建的第一代价结构体计算左右视场低阶相位视差值，获得左右视场低阶相位视差图；

S4，高阶相位视差的预测，基于所述左右视场低阶相位视差图，通过建立的视差关系预测左右视场高阶相位视差图，基于插值法对预测的左右视场高阶相位视差图插值处理，得到左右视场高阶相位视差图；

S5，立体匹配，根据预测的所述左右视场高阶相位视差图上的视差值确定所述左右视场校正后的相位图上的搜索匹配范围，并构建第二代价结构体进行立体匹配，获得所述左右视场图像的匹配视差图；

S6，点云计算，基于所述视差图进行点云坐标计算，根据计算的所有所述点云坐标对所述图像中的目标物进行三维重构。

进一步，具体地，所述左右视场的图像的尺寸为H*W，所述左右视场的图像的视差范围为D，在所述步骤S2中，设对所述左右视场校正后的相位图进行N阶次降采样，得到的所述左右视场相位降采样图的尺寸为[H/2^(N-1)]*[W/2^(N-1)]，所述左右视场相位降采样图的视差范围为D/2^(N-1)。

进一步，具体地，在所述步骤S3中，构建第一代价结构体包括以下步骤：

S311，将所述左右视场相位降采样图的左视场相位降采样图作为基准图形，遍历所述左视场相位降采样图上的点，获取任一像素点( x , y )的相位值；

S312，计算所述像素点( x , y )与所述右视场相位降采样图待匹配像素点的绝对相位差；

S313，基于所述绝对相位差构建第一代价结构体：

；

其中，d为视差索引系数，G

进一步，具体地，在所述步骤S3中，左右视场低阶相位视差图的计算公式为：

；

其中，MinDisp为起始视差，所述起始视差通过系统标定获得，所述第一代价结构体Cn（x,y,d）中各像素点在D维度上最小代价值位置索引即为其视差索引d，DispMapL表示为左右视场低阶相位视差图。

进一步，具体地，在所述步骤S4中，视差关系表示为：

DispMapL = DispMapG*2^(N-1)；

其中，DispMapG为左右视场高尺度匹配视差图，N为降采样阶数。

进一步，具体地，所述步骤S5具体包括以下步骤：

S51，将预测的所述左右视场高阶相位视差图的左视场高阶相位视差图作为匹配图像，获取预测的所述左视场高阶相位视差图上任一像素点(u,v)；

S52，根据所述像素点(u,v)确定所述右视场校正后的相位图上的搜索匹配范围(u+DispMapL(u,v)+k,v)，其中，k的取值范围为

S53，构建第二代价结构体；

S54，基于构建第二代价结构体进行双目立体匹配，以所述第二代价结构体的最小值计算出的所述左右视场图像的像素点坐标，通过视差计算获取视差匹配结果，得到左右视场图像的匹配视差图。

进一步，具体地，在所述步骤S54中，获得所述左右视场图像的匹配视差图前还会进行视差优化处理，包括：

（1）亚像素优化处理，对所述第二代价结构体的近邻值进行二次曲线拟合，获取拟合误差最小的视差值，将所述最小的视差值作为最终的所述视差匹配结果；

（2）误匹配剔除处理，将预测的所述右视场高阶相位视差图作为匹配图像，执行步骤S51~至步骤S54，获得以右相机为匹配图像的匹配视差图，并和以左相机为匹配图像的匹配视差图比较计算，得到同点位之间的视差值；

若所述视差值小于1，则对以左相机为匹配图像的匹配视差图保留；

若所述视差值大于1，则将所述视差值置0。

一种基于双目光栅投影的三维测量系统，包括：

投影仪，将光栅条纹投影到被测物体的表面；

双目相机，包括左侧位拍摄相机和右侧位拍摄相机，所述左侧位拍摄相机拍摄被测物体的表面的左视场图像，所述右侧位拍摄相机拍摄被测物体的表面的右视场图像；

以及终端设备，所述终端设备获取所述左视场图像和所述右视场图像，采用如上所述的基于双目光栅投影的三维测量方法对所述左视场图像和所述右视场图像处理。

一种计算机设备，包括：

处理器；

存储器，用于存储可执行指令；

其中，所述处理器用于从所述存储器中读取所述可执行指令，并执行所述可执行指令以实现如上所述的基于双目光栅投影的三维测量方法。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，使得处理器实现如上所述的基于双目光栅投影的三维测量方法。

本发明的有益效果是;

(1)本发明的基于双目光栅投影的三维测量方法，通过多阶降采样能够快速压缩图像，获取的相位降采样图便于后续步骤中对视差的快速计算，通过低阶相位视差图预测高阶相位视差图，缩小了搜索范围，减少了计算内存的占用，提高了匹配速度，能够快速计算出视差匹配结果，获得匹配视差图，提升了匹配效率，提高三维测量时间和测量效率;

(2)由于在计算过程中不需要占用大量的内存空间，进一步的节省了内存的消耗，降低了实现成本;

(3)适合对大视场以及大样品表面的三维测量重构;

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明实施例一的方法流程示意图。

图2是本发明实施例二的系统结构示意图。

图3是本发明实施例三的计算机设备结构示意图。

图中10、计算机设备；1002、处理器；1004存储器；1006、传输装置；21、投影仪；22、左侧位拍摄相机；23、右侧位拍摄相机；24、终端设备。

具体实施方式

现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。

实施例1：本申请实施例提供了一种基于双目光栅投影的三维测量方法，如图1所示，方法包括以下步骤：

S1，立体校正，通过双目相机获取左右视场图像，解算左右视场图像对应的左右视场解包裹相位图，对左右视场解包裹相位图进行立体校正，得到左右视场校正后的相位图。通过极限校正将光轴相交的双目结构转换为光轴平行的标准双目结构，使得左右视场图像上的匹配点位于同一水平，使得特征点匹配仅需在同一行像素上进行一维搜索，减小计算复杂度，提高测量时间和测量效率。

进一步的，极线校正如下所示：采用Bouguet算法来实现极线校正，该算法通过求解旋转矩阵将双目相机的左右相机坐标系处理到共面且平行的位置，这样就能够保证同名点处于同一行像素，具体包括：利用双目相机标定的参数，计算使左右相机坐标系共面且平行的旋转平移矩阵；再确定校正前后相位图像中左右坐标的对应关系，得到校正后的相位图。

在本实施例中，还可以采用Hartley双目立体校正算法来实现极线校正，相对于Bouguet算法，测量精度低，但是不需要相机标定的参数，提高了校正的处理速度。

S2，多阶降采样，对左右视场校正后的相位图进行多阶降采样，得到左右视场相位降采样图。

在本实施例中，左右视场的图像的尺寸为H*W，左右视场的图像的视差范围为D，设对左右视场校正后的相位图进行N阶次降采样，得到的左右视场相位降采样图的尺寸为[H/2^(N-1)]*[W/2^(N-1)]，左右视场相位降采样图的视差范围为D/2^(N-1)。

需要说明的是，如果降采样系数为k，则即是在左右视场校正后的相位图中的每行每列每隔k个像素点取一个像素点组成一幅相位降采样图，通过对左右视场校正后的相位图进行多阶降采样能够快速压缩图像，获取的相位降采样图便于后续步骤中对视差的快速计算以及减少立体匹配的搜索范围，降低内用占用率，提高测量时间和测量效率。

S3，低阶相位视差的计算，基于左右视场相位降采样图通过构建的第一代价结构体计算左右视场低阶相位视差值，获得左右视场低阶相位视差图。

第一代价结构体的尺度为[H/2^(N-1)]*[W/2^(N-1)]*[D/2^(N-1)]，N =0时，为左右视场校正后的相位图，N为降采样的阶数，如N=3时，降采样阶数为3。

构建第一代价结构体包括以下步骤：

S311，将左右视场相位降采样图的左视场相位降采样图作为基准图形，遍历左视场相位降采样图上的像素点，获取任一像素点( x , y )的相位值；

S312，计算像素点( x , y )与右视场相位降采样图待匹配像素点的绝对相位差；

S313，基于绝对相位差构建第一代价结构体：

；

其中，d为视差索引系数，G

在步骤S3中，左右视场低阶相位视差图的计算公式为：

；

其中，MinDisp为起始视差，起始视差通过系统标定获得，第一代价结构体Cn（x,y,d）中各像素点在D维度上最小代价值位置索引即为其视差索引d，DispMapL表示为左右视场低阶相位视差图。

S4，高阶相位视差的预测，基于左右视场低阶相位视差图，通过建立的视差关系预测左右视场高阶相位视差图，基于插值法对预测的左右视场高阶相位视差图插值处理，得到左右视场高阶相位视差图；

在本实施例中，在步骤S4中，视差关系表示为：

DispMapL = DispMapG*2^(N-1)；

其中，DispMapG为左右视场高尺度匹配视差图，N为降采样阶数。

插值法采用但不限于最近邻插值法、双线性插值法或双立方插值法，通过插值法扩充预测的左右视场高阶相位视差图，使得最终得到左右视场高阶相位视差图与降采样前图像尺寸相同。

S5，立体匹配，根据左右视场高阶相位视差图上的视差值确定左右视场校正后的相位图上的搜索匹配范围，并构建第二代价结构体进行立体匹配，获得左右视场图像的匹配视差图；

步骤S5具体包括以下步骤：

S51，将预测的左右视场高阶相位视差图的左视场高阶相位视差图作为匹配图像，获取预测的左视场高阶相位视差图上任一像素点(u,v)；

S52，根据像素点(u,v)确定右视场校正后的相位图上的搜索匹配范围(u+DispMapL(u,v)+k,v)，其中，k的取值范围为

S53，构建第二代价结构体，第二代价结构体的构建步骤和第一代价结构体的构建步骤相似，区别在于第二代价结构体是以左视场高阶相位视差图为基准图形，此处为了说明书简洁不在赘述，第二代价结构体的尺度为H*W*(2k0+1)。相对于现有技术中的搜索范围是图像中的整行像素点，如大视场、大样品的表面，获图像尺寸大，搜索所需的内存空间大，增加系统内存负担，提升内存占用率；本实施例通过立体匹配步骤调节搜索匹配范围，所需的内存空间小，减少了系统内存负担，降低了内存占用率。另外，构建的第二代价结构体的尺度小，且计算出数组容量小，即使不及时释放，也不会影响其他并行计算的效率，避免了资源浪费。

需要说明的是，第一代价结构体和第二代价结构体的构建不仅限于绝对相位差，还可以采用相位差值本身，相位差值的平方等来构建代价结构体，优选绝对相位差构建第一代价结构体和第二代价结构体，计算简单，构建效率高。

S54，基于构建第二代价结构体进行双目立体匹配，以第二代价结构体的最小值计算出的所述左右视场图像的像素点坐标，通过视差计算获取视差匹配结果，得到左右视场图像的匹配视差图。

在本实施例中，在步骤S54中，获得左右视场图像的匹配视差图前还会进行视差优化处理，包括：

（1）亚像素优化处理，对第二代价结构体的近邻值进行二次曲线拟合，获取拟合误差最小的视差值，将最小的视差值作为最终的视差匹配结果；

（2）误匹配剔除处理，将预测的右视场高阶相位视差图作为匹配图像，执行步骤S51~至步骤S54，获得以右相机为匹配图像的匹配视差图，并和以左相机为匹配图像的匹配视差图比较计算，得到同点位之间的视差值；

若视差值小于等于1，则保留以左相机为匹配图像的匹配视差图；

若视差值大于1，则将所述视差值置0，在本实施例，对于视差值为0不进行点云计算，可以有效剔除单个视场下的误匹配点，以提高测量精度。

通过视差优化处理，能够显著提升视差匹配结果的精度，提高对点云坐标的计算的准确率，从而提升三维表面重构精度，测量精度高。

S6，点云计算，基于视差图进行点云坐标（X，Y，Z）计算，根据计算出的点云坐标对图像中的目标物进行三维重构。

利用三角测距公式计算坐标（X，Y，Z），计算公式为：

；

；

；

其中，b为极线差，即立体校正后，两个相机光心的坐标差，disp为对应图像坐标处的视差值，xleft为左相机图像横轴坐标，f为相机焦距。

综上所述，本发明的基于双目光栅投影的三维测量方法，通过多阶降采样能够快速压缩图像，获取的相位降采样图便于后续步骤中对视差的快速计算，通过低阶相位视差图预测高阶相位视差图，缩小了搜索范围，减少了计算内存的占用，提高了匹配速度，能够快速计算出视差匹配结果，获得匹配视差图，提升了匹配效率，提高三维测量时间和测量效率；由于在计算过程中不需要占用大量的内存空间，进一步的节省了内存的消耗，降低了实现成本；适合对大视场以及大样品表面的三维测量重构。

实施例2：基于与前述实施例中一种基于双目光栅投影的三维测量方法同样发明构思，如图2所示，本申请实施例提供了一种基于双目光栅投影的三维测量系统，包括：

投影仪21，将光栅条纹投影到被测物体的表面；

双目相机，包括左侧位拍摄相机22和右侧位拍摄相机23，左侧位拍摄相机22拍摄被测物体的表面的左视场图像，右侧位拍摄相机23拍摄被测物体的表面的右视场图像；

以及终端设备24，终端设备获取左视场图像和右视场图像，采用如上的基于双目光栅投影的三维测量方法对左视场图像和右视场图像处理，终端设备为PC电脑或笔记本电脑或其他处理设备。

前述图1实施例一中的一种基于双目光栅投影的三维测量方法的各种变化方式和具体实例同样适用于本实施例的一种基于双目光栅投影的三维测量系统，通过前述对一种基于双目光栅投影的三维测量方法的详细描述，本领域技术人员可以清楚的知道本实施例中一种基于双目光栅投影的三维测量系统实施方法，所以为了说明书的简洁，此处不再详述。

实施例3：本申请实施例提供了一种计算机设备，该计算机设备包括处理器和存储器，该存储器中存储有至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的一种基于双目光栅投影的三维测量方法。

图3示出了一种用于实现本申请实施例所提供的一种基于双目光栅投影的三维测量方法的设备的硬件结构示意图，设备可以参与构成或包含本申请实施例所提供的装置或系统。如图3所示，计算机设备10可以包括一个或多个处理器1002(处理器可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器1004、以及用于通信功能的传输装置1006。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图3所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机设备10还可包括比图3中所示更多或者更少的组件，或者具有与图3所示不同的配置。

应当注意到的是上述一个或多个处理器和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机设备10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。

存储器1004可用于存储应用软件的软件程序以及模块，如本申请实施例中的一种基于双目光栅投影的三维测量方法对应的程序指令/数据存储装置，处理器通过运行存储在存储器1004内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的一种方法。存储器1004可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1004可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置1006用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机设备10的通信供应商提供的无线网络。在一个实例中，传输装置1006包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置1006可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机设备10(或移动设备)的用户界面进行交互。

实施例4：本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质可设置于服务器之中以保存用于实现方法实施例中一种基于双目光栅投影的三维测量方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述方法实施例提供的一种基于双目光栅投影的三维测量方法。

可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

实施例5：本发明实施例还提供了一种计算机程序产品或计算机程序，计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实施方式中提供的一种基于双目光栅投影的三维测量方法。

需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备和存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。