深度相机及控制方法

技术领域

本发明涉及计算机视觉领域，更进一步地涉及一种深度相机及控制方法。

背景技术

随着科技的发展，深度相机得到了极大的发展，并且被广泛地应用到了大场景三维重建、机器人导航、工业检测、人机交互等领域。

需要指出的是，现有的深度相机无法同时兼容远距离和近距离的测量，当能够满足远距离测量的时候，在获取近距离场景的时候效果会减弱；当能够满足近距离测量需求的时候，又不能够满足远距离场景测量的需求。

比如，在室内机器人导航系统中，机器人导航系统需要获取的工作距离范围是0.05至10米，为了实现远距离的深度数据的获取，需要在人眼安全的适用范围内提升投射器的功率，以满足远距离的深度数据获取的需求，但是由于功率过大，在获取近距离场景的数据时，比如0.05-0.5米，会导致图片过曝，从而无法正常地获取近距离的深度数据；当降低深度相机的功率，以满足近距离场景数据获取的需求时，由于功率减小，探测距离也相应地减小，从而导致不能够获取远距离深度数据的需求。

为了能够兼容远距离的测量和近距离的测量，传统的做法是采用自适应曝光的机制，但是会导致相机的反应速度较慢，无法满足快速移动视觉机器人的使用。

综上所述，需要对传统深度相机进行改进。

发明内容

本发明的一个优势在于提供一深度相机及控制方法，其中所述深度相机能够兼容远距离测量和近距离测量的需求。

本发明的另一个优势在于提供一深度相机及控制方法，在所述控制方法中，当所采集的第一图像不满足预设要求时，控制更换投射器并采集第二图像，输出第一图像和第二图像中具有较大有效像素百分比的图像所对应的深度数据，以兼容远距离和近距离测量的需求。

本发明的另一个优势在于提供一深度相机及控制方法，其中在所述控制值方法中，当所获取的第一图像不满足预设要求时，获取第二图像

本发明的另一个优势在于提供一深度相机及控制方法，其中所述控制方法采用特定算法控制所述深度相机，与自曝光机制相比响应速度较快。

本发明的另一个优势在于提供一深度相机及控制方法，其中所述深度相机结构简单，经济成本低。

相应地，为了实现以上至少一个优势，本发明提供一深度相机的控制方法，所述深度相机包括至少一接收模组、第一投射器和第二投射器，所述控制方法包括：

控制开启第一投射器，并获取由所述接收模组采集的第一图像；

识别所述第一图像中的感兴趣区域，并计算所述感兴趣区域中的过曝部分占据的第一比例；

响应于所述第一比例小于预设阀值，基于第一深度算法获得所述第一图像对应的第一深度数据，并输出所述第一深度数据；

响应于所述第一比例大于或等于预设阀值，控制开启第二投射器，关闭所述第一投射器，并获取由所述接收模组采集的第二图像；

确定所述第一图像的第一有效百分比和所述第二图像的第二有效像素百分比；

响应于所述第二有效像素百分比小于或等于所述第一有效像素百分比，输出所述第一深度数据；以及

响应于所述第二有效像素百分比大于所述第一有效像素百分比，基于第二深度算法获得所述第二图像对应的第二深度数据，并输出所述第二深度数据。

在本发明的一些优选实施例中，所述第一深度算法和所述第二深度算法是相同的深度算法。

在本发明的一些优选实施例中，所述第一深度算法和所述第二深度算法是不同的深度算法。

在本发明的一些优选实施例中，所述第一投射器用于投射散斑图案，所述第二投射器用于投射编码结构光。

在本发明的一些优选实施例中，所述第一投射器的功率大于所述第二投射器的功率，所述第一投射器的功率适于的工作范围是1-10m，所述第二投射器的功率适于的工作范围是0.05-1m。

依本发明的另一方面，本发明进一步提供一种深度相机，包括：

至少一接收模组；

第一投射器；

第二投射器；以及

控制器，所述控制器用于：

控制开启第一投射器，并获取由所述接收模组采集的第一图像；

识别所述第一图像中的感兴趣区域，并计算所述感兴趣区域中的过曝部分占据的第一比例；

响应于所述第一比例小于预设阀值，基于第一深度算法获得所述第一图像对应的第一深度数据，并输出所述第一深度数据；

响应于所述第一比例大于或等于预设阀值，控制开启第二投射器，关闭所述第一投射器，并获取由所述接收模组采集的第二图像；

确定所述第一图像的第一有效百分比和所述第二图像的第二有效像素百分比；

响应于所述第二有效像素百分比小于或等于所述第一有效像素百分比，输出所述第一深度数据；以及

响应于所述第二有效像素百分比大于所述第一有效像素百分比，基于第二深度算法获得所述第二图像对应的第二深度数据，并输出所述第二深度数据。

在本发明的一些优选实施例中，所述接收模组的数量是两个，一所述接收模组被配置为当所述第一投射器开启时采集所述第一图像，另一所述接收模组被配置为当所述第二投射器开启时采集所述第二图像。

在本发明的一些优选实施例中，所述接收模组是红外接收模组。

在本发明的一些优选实施例中，所述第一投射器用于投射散斑图案，所述第二投射器用于投射编码结构光。

在本发明的一些优选实施例中，所述第一投射器的功率大于所述第二投射器的功率，所述第一投射器的功率适于的工作范围是1-10m，所述第二投射器的功率适于的工作范围是0.05-1m。

本发明的其他目的和优势将通过具体实施方式和权利要求的内容进一步体现。

附图说明

图1是根据本发明的一个优选实施例的深度相机的框图示意图。

图2A和2B是根据本发明的上述优选实施例的深度相机的深度图像的有效区域示意图。

图3是根据本发明的上述优选实施例的深度相机的一变形实施方式的框图示意图。

图4是根据本发明的上述优选实施例的深度相机的控制方法的流程示意图。

图5是根据本发明的一个优选实施例的深度相机的控制方法的流程框图示意图。

具体实施方式

以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。

本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。

可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。

参考本发明的说明书附图之附图1至图5，本发明所提供的深度相机100被阐述，所述深度相机100能够兼容远距离场景测量和近距离场景测量的需求，比如，即能够满足远距离测量的需求，又不会在获取近距离场景的图像时导致所获取的图片过曝光；在满足近距离场景获取需求的时候，又有足够的功率使用远距离场景获取所需要满足的条件。并且不会导致深度相机的反应速度变慢，满足快速移动视觉机器人应用的需求。

具体地，所述深度相机100包括至少一接收模组10、第一投射器20、第二投射器30以及控制器40，所述控制器40用于执行如下步骤：

控制开启第一投射器，并获取由所述接收模组采集的第一图像；

识别所述第一图像中的感兴趣区域，并计算所述感兴趣区域中的过曝部分占据的第一比例；

响应于所述第一比例小于预设阀值，基于第一深度算法获得所述第一图像对应的第一深度数据，并输出所述第一深度数据；

响应于所述第一比例大于或等于预设阀值，控制开启第二投射器，关闭所述第一投射器，并获取由所述接收模组采集的第二图像；

确定所述第一图像的第一有效百分比和所述第二图像的第二有效像素百分比；

响应于所述第二有效像素百分比小于或等于所述第一有效像素百分比，输出所述第一深度数据；以及

响应于所述第二有效像素百分比大于所述第一有效像素百分比，基于第二深度算法获得所述第二图像对应的第二深度数据，并输出所述第二深度数据。

进一步地，在控制开启所述第一投射器20，并获取由所述接收模组10采集的第一图像之前，需要完成对所述接收模组10的标定，以供获得满足预设条件的所述第一图像和所述第二图像。

需要指出的是，在对所述接收模组10进行标定的时候可以采用张正友标定方法，完成对所述接收模组10的标定。可以理解的是，还能够采用单目标定、双目标定或者多目标定的方式对所述接收模组10进行标定，只要能够达到本发明的发明目的，对所述接收模组10的具体标定方式不应当构成对本发明的限制。

需要指出的是，在本优选实施例中，所述控制器40默认控制所述第一投射器20开启，所述第二投射器30关闭，并控制所述接收模组10采集所述第一图像。可以理解的是，在另一些实施例中，所述控制器40还能够默认控制所述第一投射器20关闭，所述第二投射器30开启，并控制所述接收模组10采集所述第二图像。可以理解的是，只要能够达到本发明的发明目的，所述控制器40控制开启和关闭的具体控制器不应当构成对本发明的限制。

参考说明书附图2A和图2B，在获取所述第一图像后，所识别的所述第一图像中的感兴趣区域(ROI，Region Of Interest)可以是一个区域，也可以是多个区域，并且所选取的感兴趣区域的具体形状不应当构成对本发明的限制，比如，可以是圆形、矩形等。并且所选取的所述感兴趣区域的大小、位置和数量基于所述第一投射器20和所述第二投射器30所投射的散斑图案来确定。

进一步地，图像中的感兴趣区域中的过曝部分指的是感兴趣区域中灰度值大于预设像素的像素点，比如8bit接收模组的最大灰度值是255，预设像素点可以是250，当感兴趣区域中的灰度值大于250的像素点能够被标记为过曝点，并由多个过曝点组成过曝区域。可以理解的是，不同的所述接收模组10，所述预设像素点的数值能够是不同的像素点。可以理解的是，在获取过曝区域后将所述过曝区域与所述感兴趣区域相比，从而能够获得所述感兴趣区域中所述过曝部分的比例。

具体地，在识别所述第一图像中的感兴趣区域后，标记所述第一图像中的所述感兴趣区域中的过曝区域，并计算所述过曝区域占据所述第一图像中的所述感兴趣区域的比例，以获得所述第一比例。

在计算获得所述第一图像中的过曝区域占据所述感兴趣区域的所述第一比例后，比较所述第一比例与一预设阀值的大小，当所述第一比例小于所述预设阀值，调用第一深度算法对所述第一图像进行处理，以获得所述第一图像所对应的第一深度数据，并将所述第一图像的所述第一深度数据输出。

需要指出的是，当所述第一比例小于所述预设阀值，则能够说明所述第一图像没有过曝，也就是说，所述第一图像的图像数据能够满足使用需求，因此将所述第一图像的所述第一深度数据直接输出。

进一步地，当所述第一比例大于或等于所述预设阀值，则能够说明所述第一图像发生过曝，也就是说，所述第一图像的图像数据不能够满足使用需求，进一步地说明所述投射器的选择不当，。因此，当所述第一比例大于或等于所述预设阀值时，控制所述第二投射器开启，并控制所述第一投射器关闭，并由所述接收模组10采集所述第二图像。

在所述接收模组10采集所述第二图像后，计算所述第二图像中的有效像素百分比，也就是所述第二有效像素百分比，同时，计算所述第一图像中的有效像素百分比，也就是所述第一有效像素百分比，其中所述有效像素百分比是指在感兴趣区域范围内有深度数据的像素数量与感兴趣区域范围内所有像素数量的比值。

在计算获得所述第一图像的所述第一有效像素百分比和所述第二图像的所述第二有效像素百分比之后，比较所述第一有效像素百分比和所述第二有效像素百分比的大小，当所述第二有效像素百分比小于或等于所述第一有效像素百分比时，则表明所述第一图像的图像数据更能够满足需求，则输出所述第一图像所对应的所述第一深度数据；当所述第二有效像素百分比大于所述第一有效像素百分比时，调用所述第二深度算法计算获得所述第二图像所对应的第二深度数据，并输出所述第二深度数据。可以理解的是，当所述第二深度图像的所述第二有效像素百分比大于所述第一有效像素的所述第一有效像素百分比，则能够表明所述第二图像的图像数据更能够满足需求，因此输出所述第二图像的所述第二深度数据。

优选地，所述第一深度算法和所述第二深度算法是同一种算法，也就是：

其中，

Z—代表深度距离，单位m；

B—基线长度(相机与投射器间的距离或者是两相机间的距离),单位m；

Fx—镜头物理焦距除以像元大小，单位pixel；

Disp—视差，单位pixel；

Z0---单目算法中选择的标定平面的距离,单位m。

可以理解的是，在本发明的另一些实施例中，所述第一深度算法和所述第二深度算法还能够是不同类型的深度算法。可以理解的是，所述第一深度算法和所述第二深度算法的具体类型不应当构成对本发明的限制。

优选地，所述第一投射器20和所述第二投射器30是不同类型的投射器，所述第一投射器20投射的图案是散斑，用于获取远距离场景的深度数据，比如一米以上的场景的数据；所述第二投射器30投影的图案是条纹编码结构光，用于获取近距离场景的深度数据，比如1米以内的高精度数据。

进一步地，在默认情况下，所述控制器40控制开启所述第一投射器20，控制关闭所述第二投射器30，当工作距离小于1米时，也就是说，所述深度相机 100与所需要获取的场景之间的距离小于1米时，所述接收模组10所采集的图像中的感兴趣区域的过曝像素点数会大于预设的阀值；也就是说，所述第一图像中的感兴趣区域的中的过曝像素的点数会大于预设的阀值，此时，所述控制器 40控制关闭所述第一投射器20，控制开启所述第二投射器30，所述接收模组10 获取所述第二投射器30投射的调条纹图，以获得所述第二图像。经过相位解包裹，匹配求视差后，根据公式

可以理解的是，在工作过程中，所述深度相机100是在不断地运动的，当工作距离变远时，条纹的对比度下降低于阀值，所述控制器40控制关闭所述第二投射器30，控制开启所述第一投射器20，所述接收模组10再次采集所述第一投射器20投射的散斑图，经过极限矫正、匹配求视差后，根据公式

参考说明书附图3，进一步地，在本优选实施例中，所述接收模组10的数量是三个，分别是第一接收模组11、第二接收模组12以及第三接收模组13，其中所述第一接收模组11和所述第二接收模组12是红外接收模组(IR)，所述第三接收模组13是RGB接收模组，其中两个所述红外接收模组分别与两个投射器相对应，也就是说，所述第一接收模组11用于接收所述第一投射器20所投射并被外界物体所反射的光线，所述第二接收模组12用于接收所述第二投射器30所投射并被外界物体所反射的光线，所述第三接收模组13用于采集彩色数据，用于输出彩色数据，比如RGBD数据，彩色点云数据等。

在本发明的一变形实施例中，所述第一投射器20和所述第二投射器30是相同类型的投射器，并且所述第一投射器20和所述第二投射器30分别是投射散斑结构光的投射器，但是所述第一投射器20和所述第二投射器30的功率不相同，所述第一投射器20的投射功率大于所述第二投射器30的投射功率，所述第一投射器20的投射功率适于的工作范围是1-10米，所述第二投射器30的投射功率适于的工作范围是0.05-1米。

具体地，默认情况下，所述控制器40控制开启所述第一投射器20，控制关闭所述第二投射器30，当工作距离小于1米时，也就是说，所述接收模组10所采集到的所述第一投射器20所投射并被外界物体所反射的散斑图的感兴趣区域中的过曝像素点数大于预设的阀值，此时，控制关闭所述第一投射器20，开启所述第二投射器30，所述接收模组10再次采集所述第二投射器30投射并被外界物体所反射的散斑图，经过立体匹配求取视差后，根据公式

当所述深度相机100与所获取的场景中的物体之间的距离变远时，所述接收模组10所获取的散斑图中的感兴趣区域的灰度值和对比度下降并低于阀值时，控制关闭所述第二投射器30，开启所述第一投射器20，所述接收模组10再次采集所述第一投射器20投射的散斑图，经过立体匹配求取视差后，根据公式

在本发明的另一实施例中，所述第一投射器20和所述第二投射器30的种类相同，比如都是投射散斑结构光类型的投射器，并且所述第一投射器20和所述第二投射器30具有相同的功率。所述接收模组10是红外广角模组或红外鱼眼模组，所述第一投射器20和所述第二投射器30所投射的图案能够充满所述红外广角模组或所述红外鱼眼模组的视场，从而能够进一步地提升深度数据在接收模组视场内的百分比。

根据本发明的另一方面，本发明进一步提供一种深度相机的控制方法200，所述深度相机包括接收模组10、第一投射器20以及第二投射器30，所述控制方法包括：

201：控制开启第一投射器20，并获取由所述接收模组10采集的第一图像；

202：识别所述第一图像中的感兴趣区域，并计算所述感兴趣区域中的过曝部分占据的第一比例；

203：响应于所述第一比例小于预设阀值，基于第一深度算法获得所述第一图像对应的第一深度数据，并输出所述第一深度数据；

204：响应于所述第一比例大于或等于预设阀值，控制开启第二投射器30，关闭所述第一投射器20，并获取由所述接收模组10采集的第二图像；

205：确定所述第一图像的第一有效百分比和所述第二图像的第二有效像素百分比；

206：响应于所述第二有效像素百分比小于或等于所述第一有效像素百分比，输出所述第一深度数据；以及

207：响应于所述第二有效像素百分比大于所述第一有效像素百分比，基于第二深度算法获得所述第二图像对应的第二深度数据，并输出所述第二深度数据。

在获取所述第一图像后，所识别的所述第一图像中的感兴趣区域(ROI， RegionOf Interest)可以是一个区域，也可以是多个区域，并且所选取的感兴趣区域的具体形状不应当构成对本发明的限制，比如，可以是圆形、矩形等。并且所选取的所述感兴趣区域的大小、位置和数量基于所述第一投射器20和所述第二投射器30所投射的散斑图案来确定。

进一步地，图像中的感兴趣区域中的过曝部分指的是感兴趣区域中灰度值大于预设像素的像素点，比如8bit接收模组的最大灰度值是255，预设像素点可以是250，当感兴趣区域中的灰度值大于250的像素点能够被标记为过曝点，并由多个过曝点组成过曝区域。可以理解的是，不同的所述接收模组10，所述预设像素点的数值能够是不同的像素点。可以理解的是，在获取过曝区域后将所述过曝区域与所述感兴趣区域相比，从而能够获得所述感兴趣区域中所述过曝部分的比例。

具体地，在识别所述第一图像中的感兴趣区域后，标记所述第一图像中的所述感兴趣区域中的过曝区域，并计算所述过曝区域占据所述第一图像中的所述感兴趣区域的比例，以获得所述第一比例。

在计算获得所述第一图像中的过曝区域占据所述感兴趣区域的所述第一比例后，比较所述第一比例与一预设阀值的大小，当所述第一比例小于所述预设阀值，调用第一深度算法对所述第一图像进行处理，以获得所述第一图像所对应的第一深度数据，并将所述第一图像的所述第一深度数据输出。

需要指出的是，当所述第一比例小于所述预设阀值，则能够说明所述第一图像没有过曝，也就是说，所述第一图像的图像数据能够满足使用需求，因此将所述第一图像的所述第一深度数据直接输出。

进一步地，当所述第一比例大于或等于所述预设阀值，则能够说明所述第一图像发生过曝，也就是说，所述第一图像的图像数据不能够满足使用需求，进一步地说明所述投射器的选择不当，。因此，当所述第一比例大于或等于所述预设阀值时，控制所述第二投射器开启，并控制所述第一投射器关闭，并由所述接收模组10采集所述第二图像。

在所述接收模组10采集所述第二图像后，计算所述第二图像中的有效像素百分比，也就是所述第二有效像素百分比，同时，计算所述第一图像中的有效像素百分比，也就是所述第一有效像素百分比，其中所述有效像素百分比是指在感兴趣区域范围内有深度数据的像素数量与感兴趣区域范围内所有像素数量的比值。

在计算获得所述第一图像的所述第一有效像素百分比和所述第二图像的所述第二有效像素百分比之后，比较所述第一有效像素百分比和所述第二有效像素百分比的大小，当所述第二有效像素百分比小于或等于所述第一有效像素百分比时，则表明所述第一图像的图像数据更能够满足需求，则输出所述第一图像所对应的所述第一深度数据；当所述第二有效像素百分比大于所述第一有效像素百分比时，调用所述第二深度算法计算获得所述第二图像所对应的第二深度数据，并输出所述第二深度数据。可以理解的是，当所述第二深度图像的所述第二有效像素百分比大于所述第一有效像素的所述第一有效像素百分比，则能够表明所述第二图像的图像数据更能够满足需求，因此输出所述第二图像的所述第二深度数据。

优选地，所述第一深度算法和所述第二深度算法是同一种算法，也就是：

其中，

Z—代表深度距离，单位m；

B—基线长度(相机与投射器间的距离或者是两相机间的距离),单位m；

Fx—镜头物理焦距除以像元大小，单位pixel；

Disp—视差，单位pixel；

Z0---单目算法中选择的标定平面的距离,单位m。

可以理解的是，在本发明的另一些实施例中，所述第一深度算法和所述第二深度算法还能够是不同类型的深度算法。可以理解的是，所述第一深度算法和所述第二深度算法的具体类型不应当构成对本发明的限制。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述无须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。