基于差分投影的立体视觉检测方法及检测装置

技术领域

本发明属于光学测量技术领域，可用于复杂光照和纹理背景条件下物体表面三维形貌的高精度测量，具体是一种基于差分投影的立体视觉检测方法及检测装置。

背景技术

三维检测技术作为一项重要的检测手段，被广泛应用于工业检测，物流分类，虚拟现实，智能机器人等领域。相对于传统的二维图像检测，三维检测技术增加了深度信息，能够直观反映出物体在三维空间中的位置与姿态，极大地提高了物体检测的能力。随着信息技术的发展，仪器自动化水平的提高，迫切需要测量速度快，测量精度高，并且能够在复杂环境下工作的三维形貌测量仪器。

随着计算机视觉的发展与微处理器性能的提升，基于立体视觉的三维形貌检测技术由于其非接触、速度快、精度高等优势得到了越来越多的应用。基于立体视觉的三维形貌测量技术主要包括飞行时间技术、被动立体视觉技术和主动立体视觉技术等。其中，飞行时间技术的帧率高、测量范围大，但是近距离精度受限，且空间分辨率较低；被动立体视觉技术系统简单，但是测量精度较低，且容易受到物体表面纹理和环境光照影响；主动立体视觉技术增加了投影系统，能够克服被测物体缺少纹理、拍摄环境光照不足等问题，但是在深度信息的提取上仍然容易受到复杂纹理背景、变化光照条件等影响。

综上可以发现，对于三维形貌测量，目前现有的基于立体视觉的三维检测技术无法同时满足测量精度高、测量速度快和能够在复杂环境下工作这几个特点。但在实际情况中，通常要求对待测样品表面做出快速且高精度的形貌检测，被测环境通常存在其他光源干扰，被测样品表面的可能存在复杂纹理。因此，上述这些基于立体视觉的三维形貌检测技术在实际生产应用中都存在一定限制，如何更大程度地拓展立体视觉技术的适用范围仍是目前亟待解决的重要问题。

发明内容

为解决上述问题，本发明提出了一种基于差分投影的立体视觉检测方法及检测装置，利用被测表面被投影前后拍摄得到的图像数据的差值，排除了背景和被测样品本身纹理的影响，解决了测量环境存在光源干扰、被测样品存在复杂纹理等不良因素导致无法完成立体匹配的问题，最终实现在复杂环境下的三维检测。

本发明是通过如下技术方案实现的：

本发明的第一种技术方案，提供了一种基于差分投影的立体视觉检测方法，包括如下步骤：

步骤a、将

步骤b、利用所述各拍摄模块拍摄投影前后的被测样品表面图像数据，得到不含投影图案的图像数据

步骤c、通过匹配算法得到不同拍摄模块对应的

进一步的，步骤a中所述的各拍摄模块的具体标定方法为：将标定板放置在系统的测试区域内，通过所述标定板定义世界坐标系；由所述各拍摄模块对所述标定板上的标记点进行拍摄并处理得到所述各拍摄模块坐标系和世界坐标系的转换关系、所述各拍摄模块之间的相对位姿关系、所述各拍摄模块的镜头参数。

进一步的，所述投影图案为随机图案，具体的三维形貌解算方法是：首先，建立能量函数来描述不同拍摄模块对应的

进一步的，所述投影图案为编码结构光图案，具体的三维形貌解算方法是：首先，根据所述投影图案对应的编码方式进行解码，得到不同拍摄模块对应的

本发明的第二种技术方案，提供了一种基于差分投影的立体视觉检测方法，包括如下步骤：

步骤a、将1个拍摄模块与1个投影模块安装在被测样品的同一侧，标定所述投影模块和所述拍摄模块，得到所述投影模块坐标系和世界坐标系的转换关系、所述拍摄模块坐标系和世界坐标系的转换关系、所述投影模块和所述拍摄模块的相对位姿关系、所述投影模块和所述拍摄模块的镜头参数；所述投影模块将投影图案投射到被测样品表面，所述投影图案记为

步骤b、利用所述拍摄模块拍摄投影前后的被测样品表面图像数据，得到不含投影图案的图像数据

步骤c、通过匹配算法得到

进一步的，步骤a所述的投影模块和拍摄模块的标定方法为：将标定板放置在系统的测试区域内，通过所述标定板定义世界坐标系；由所述拍摄模块对所述标定板上的标记点进行拍摄并处理得到所述拍摄模块坐标系和世界坐标系的转换关系、所述拍摄模块的镜头参数；

利用所述投影模块投射标定图案，利用已经标定完成的所述拍摄模块拍摄所述标定图案，解算出所述投影模块所投射的标定图案的空间坐标，结合投影模块中图案特征点与拍摄模块中图案特征点的对应关系，得到所述投影模块坐标系和世界坐标系的转换关系、所述投影模块和所述拍摄模块的相对位姿关系、所述投影模块的镜头参数。

进一步的，所述投影图案为随机图案，具体的三维形貌解算方法是：首先，通过建立能量函数描述

进一步的，所述投影图案为编码结构光，具体的三维形貌解算方法是：首先，根据所述投影图案对应的编码方式进行解码，估算

本发明的第三种技术方案，提供了一种基于差分投影的立体视觉检测装置，包括1套投影模块、

进一步的，所述投影模块的图像显示器为DLP、液晶显示器、激光显示器、静态图片显示器中的一种。

本发明首次将差分投影与立体视觉技术进行结合，具有测量速度快，测量精度高，可用于复杂光照和纹理背景条件下测量等优点，可用于复杂环境下的三维形貌测量。与现有技术相比，本发明具有如下有益效果：

1）通过差分投影技术，可以有效的避免环境光源干扰和被测样品表面纹理干扰，从而适用于具有复杂纹理的样品表面三维检测，能够在复杂环境下进行工作，并具备更高的立体匹配的效率与精度；

2）根据检测需求，可以采用匹配投影模块上的像素与拍摄模块上的像素的对应关系获取被测样品的三维形貌数据，该方案只需要一套投影模块和一套拍摄模块，系统集成度更高、成本更低；

3）根据被测样品的形貌特点和检测需求，可以选择随机图案投影三维检测方法或编码结构光三维检测方法，来获得更好的三维形貌测量效果；

4）本发明为非接触式测量，无需对表面进行任何处理，可直接对被测样品表面进行三维形貌测量，不会对被测样品表面造成损伤。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，此处的附图用来提供对本发明的进一步说明，构成本申请的一部分，本发明的示意性实施例及其说明用来解释本发明，并不构成对本发明的不当限定。

图1为基于差分投影的立体视觉检测方法示意图。

图2为主动式随机图案投影三维检测方法示意图。

图3为主动式编码结构光投影三维检测方法示意图。

图4为另一种基于差分投影的立体视觉检测方法示意图。

图5为另一种主动式随机图案投影三维检测方法示意图。

图6为另一种主动式编码结构光投影三维检测方法示意图。

图7为基于差分投影的立体视觉检测装置图。

图8为主动式随机图案投影三维检测实施例示意图。

图9为另一种主动式随机图案投影三维检测实施例示意图。

图中：1-一号拍摄模块、2-二号拍摄模块、3-投影模块、4-支撑架、5-平台被测样品、6-随机图案、7-编码结构光图案、8-微处理器、9-圆柱形被测样品。

具体实施方式

为了使本领域技术人员更好的理解本发明，以下结合参考附图并结合实施例对本发明作进一步清楚、完整的说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本发明将差分投影和立体视觉三维检测技术相结合，其基本思想是：首先使用拍摄模块分别采集被测样品表面被投影前后的图像数据并对其作差分处理，得到差分图像数据；然后利用立体匹配算法，建立差分图像之间的视差关系；最后基于三角测量原理，结合标定得到的光学系统内外参数，得到被测样品的三维形貌数据。

实施例1

如图8所示，一种基于差分投影的立体视觉检测装置，该检测装置是基于随机图案投影的立体视觉三维检测装置，包括：一号拍摄模块1，二号拍摄模块2，投影模块3，支撑架4，微处理器8和圆柱形被测样品9，投影模块3安装于支撑架4的中部，一号拍摄模块1和二号拍摄模块2安装于支撑架4的两侧；其中，投影模块3可投射随机图案6到圆柱形被测样品9表面。结合图1和图2的方法示意图以及图7的装置图，其具体测量步骤如下：

(a) 首先对一号拍摄模块1和二号拍摄模块2进行标定，具体的步骤是：将圆柱形被测样品9换为标定板，通过标定板定义世界坐标系；在标定过程中，由一号拍摄模块1和二号拍摄模块2同时拍摄标定板，每拍摄完成一组图像，随机改变标定板的位置与角度，再次由一号拍摄模块1和二号拍摄模块2同时拍摄标定板，重复十五次，得到十五组标定板图像数据；利用相机标定算法处理这十五组标定板图像数据解得一号拍摄模块1的内参矩阵为[4699.6, 0, 1232.5; 0, 4699.6, 943.6; 0, 0, 1]，畸变参数为[-0.0667, -0.1157, -0.0008, 0.0005]，二号拍摄模块2的内参矩阵为[4691.2, 0, 1181.8; 0, 4692.6,995.8; 0, 0, 1]，畸变参数为[-0.0716, 0.0287, 0.0015, 0.0002, 0.0000]，一号拍摄模块1和二号拍摄模块2的相对位姿旋转矩阵为[0.970, -0.020, 0.241; 0.021, 1.000,-0.002; -0.241, 0.007, 0.970]，相对位姿平移矩阵为[-12.20, -0.17, 1.60]。

(b) 其次获取差分图像数据，具体的步骤是：换上圆柱形被测样品9，由微处理器8控制一号拍摄模块1和二号拍摄模块2，拍摄圆柱形被测样品9表面，得到图像数据

(c) 最后进行立体匹配和三维检测，具体步骤为：首先建立能量函数描述

实施例2

与实施例1不同的是，本实施例的投影模块3向被测表面投射编码结构光图案7。结合图7的装置图以及图1和图3的方法示意图所示，编码结构光图案7可以选择颜色编码图案、空间编码图案和时间编码图案，对于颜色编码，微处理器8通过寻找

与实施例1相比，本实施例的编码结构光可以通过采用颜色编码方式、空间编码方式和时间编码方式等编码方式满足不同测量速度，不同测量精度的测量需求。

实施例3

与实施例1不同的是，本实施例所搭建的基于随机图案投影的立体视觉三维检测装置包括：一号拍摄模块1，投影模块3、支撑架4、微处理器8和圆柱形被测样品9，投影模块3安装于支撑架4的中部，一号拍摄模块1安装于支撑架4的一侧；其中，投影模块3可投射随机图案6到圆柱形被测样品9表面，装置图如图9所示，方法示意图如图4和图5所示。

本实施例与实施例1相比减小了三维检测系统的体积并降低了成本，其具体操作步骤如下：

(a) 首先对一号拍摄模块1进行标定，具体步骤为：将圆柱形被测样品9换为标定板，通过标定板定义世界坐标系；在标定过程中，由一号拍摄模块1拍摄标定板，每拍摄完成一组图像，随机改变标定板的位置与角度，然后再由一号拍摄模块拍摄标定板，重复十五次，得到十五张标定板图像数据；利用相机标定算法处理这十五张标定板图像数据解得一号拍摄模块1的内参矩阵为[4699.6, 0, 1232.5; 0, 4699.6, 943.6; 0, 0, 1]，畸变参数为[-0.0667, -0.1157, -0.0008, 0.0005]。

(b) 其次标定投影模块3，具体步骤为：利用投影模块3投射标定图案到平面上，由已经标定完成的一号拍摄模块1拍摄投影模块3所投射的标定图案，利用一号拍摄模块1的内外参数解算出平面上的标定图案的空间坐标，然后根据一号拍摄模块1拍摄得到的标定图案特征点与投影模块3的图像显示器中的标定图案特征点的对应关系，解算出投影模块3的内参矩阵为[4690.3, 0, 1932.5; 0, 4689.8, 1171.5; 0, 0, 1]，畸变参数为[-0.2062, 0.3230, -0.0004, 0.0005]，一号拍摄模块1与投影模块3的相对位姿旋转矩阵为[1.031, -0.018, 0.256; 0.012, 0.978, -0.001; -0.313, 0.005, 1.040]，相对位姿平移矩阵为[-11.43, -0.26, 2.60]。

(c) 然后获取差分图像数据，具体步骤为：换上圆柱形被测样品9，由微处理器8控制一号拍摄模块1拍摄圆柱形被测样品9表面，得到图像数据

(d) 最后进行立体匹配和三维重建，具体步骤为：首先建立能量函数描述

实施例4

与实施例1不同的是，本实施例所搭建的基于编码结构光投影的立体视觉三维检测装置包括：一号拍摄模块1，投影模块3、支撑架4、微处理器8和圆柱形被测样品9，投影模块3安装于支撑架4的中部，一号拍摄模块1安装于支撑架4的一侧；其中，投影模块3可投射编码结构光7到被测样品表面，方法示意图如图4和图6所示。

与实施例1相比，本实施例的编码结构光可以通过采用颜色编码方式、空间编码方式和时间编码方式等编码方式满足不同测量速度，不同测量精度的测量需求。与实施例2相比，本实施例的系统更加集成化，成本更低。

实施例5

与实施例1不同的是，本实施例采用1套投影模块3和5套拍摄模块，通过对5套拍摄模块的差分图像数据之间的立体匹配，或5套拍摄模块的差分图像数据与投影模块3中图像显示器的图像数据的立体匹配，可以获得更大的三维测量范围，提高测量准确度，消除视场遮挡等环境干扰。

上面是对本发明实施例中的技术方案进行了清楚、完整地描述，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。