一种消除时间飞行相机卷绕问题的方法

技术领域

本发明涉及深度相机领域，具体地，涉及一种消除时间飞行相机卷绕问题的方法。

背景技术

TOF(时间飞行)技术是3D视觉技术中一种非常重要的技术，并且具有广阔的应用前景。TOF技术根据技术原理分为dToF和iToF。dToF，即direct ToF，直接测量光脉冲的发射和接收的时间差，并利用。iToF，即indirect ToF，通过传感器在不同时间窗口采集到能量值的比例关系，解析出信号相位，间接测量发射信号和接收信号的时间差，进而得到深度。i-ToF根据调制方式的不同，可分为两种：连续波调制(CW-iToF)和脉冲调制(PL-iToF),分别发射连续的正弦信号和重复的脉冲信号；前者是通过解析正弦信号相位解析深度，而后者是解析脉冲信号相位来解析深度。iToF相机具有原理、集成技术简单成熟的优点，被广泛应用于3D测量领域。

iToF从原理上来看存在的主要局限是周期性的相位卷绕(Phase wrap)。量程方面，iToF可解析的相位范围为[0,2π],频率越高，精度越高，量程也越小。超过量程的深度，测量值错误的落在[0,最大量程]内。假设ToF的测量量程为0-5m，那么测量2.5m和7.5m的物体由于具有相同的相位，二者测量深度也相同。这会造成近景与远景混叠在一起，导致无法区分，影响ToF相机的使用。

发明内容

为此，本发明利用iToF和双目技术，同时获得同一位置的两个深度信息，并利用双目获得的深度信息对iToF获得的深度信息进行校正，以消除iToF技术中的相位卷绕问题，从而可以提高iToF技术的测量范围，并且在具有远景与近景的图像上消除远景景深对于近景测量的影响。

第一方面，本发明提供一种消除时间飞行相机卷绕问题的方法，其特征在于，包括如下步骤：

步骤S1:向目标物体投射激光；

步骤S2：使用第一接收器接收第一信号，并根据所述第一信号与发射信号的相位差获得第一深度数据；其中，所述第一信号是所述激光的反射信号；

步骤S3:使用第二接收器接收第二信号,并根据所述第一接收器和所述第二接收器的视差生成第二深度数据；其中，所述第二信号的类型可以与所述第一信号不同；

步骤S4：根据所述第二深度数据对所述第一深度数据进行校正。

可选地，所述的一种消除时间飞行相机卷绕问题的方法，其特征在于，所述步骤S4包括：

步骤S41：判断所述第一深度数据与所述第二深度数据的差值a是否大于阈值；

步骤S42：如果所述差值a大于所述阈值，则计算卷绕周期数；

步骤S43：根据所述卷绕周期数对所述第一深度数据进行恢复，得到第三深度数据。

可选地，所述的一种消除时间飞行相机卷绕问题的方法，其特征在于，在所述步骤S42包括：

S421：如果当前像素的所述差值a大于所述阈值，则将所述当前像素标记为操作像素；

S422：对所述当前像素的相邻像素是否发生卷绕进行判断，并在发生卷绕时标记为所述操作像素，直至相邻像素中没有卷绕；

S423：计算所述操作像素的卷绕周期数。

可选地，所述的一种消除时间飞行相机卷绕问题的方法，其特征在于，在所述步骤S43中，对相邻的所述操作像素的深度数据进行整体恢复，得到所述操作像素的第三深度数据。

可选地，所述的一种消除时间飞行相机卷绕问题的方法，其特征在于，在所述步骤S43中，恢复的顺序从最初的周期向后依次进行。

第二方面，本发明提供一种消除时间飞行相机卷绕问题的深度相机，其特征在于，包括：

第一投射器，用于向目标物体投射激光；

第一接收器，用于接收第一信号；其中，所述第一信号是所述激光的反射信号；

第二接收器，用于接收第二信号；其中，所述第二信号的类型可以与所述第一信号不同；

处理器，用于根据所述第一信号与发射信号的相位差获得第一深度数据，根据所述第一接收器和所述第二接收器的视差生成第二深度数据，并根据所述第二深度数据对所述第一深度数据进行校正。

可选地，所述的一种消除时间飞行相机卷绕问题的深度相机，其特征在于，所述处理器包括：

判断单元，用于判断所述第一深度数据与所述第二深度数据的差值a是否大于阈值；

计算单元，用于如果所述差值a大于所述阈值，则计算卷绕周期数；

恢复单元，用于根据所述卷绕周期数对所述第一深度数据进行恢复，得到第三深度数据。

可选地，所述的一种消除时间飞行相机卷绕问题的深度相机，其特征在于，所述计算单元包括：

标记子单元，用于如果当前像素的所述差值a大于所述阈值，则将所述当前像素标记为操作像素；

搜寻子单元，用于对所述当前像素的相邻像素是否发生卷绕进行判断，并在发生卷绕时标记为所述操作像素，直至相邻像素中没有卷绕；

计算子单元，用于计算所述操作像素的卷绕周期数。

可选地，所述的一种消除时间飞行相机卷绕问题的深度相机，其特征在于，所述计算子单元对相邻的所述操作像素的深度数据进行整体恢复，得到所述操作像素的第三深度数据。

可选地，所述的一种消除时间飞行相机卷绕问题的深度相机，其特征在于，所述恢复单元恢复的顺序从最初的周期向后依次进行。

与现有技术相比，本发明具有如下的有益效果：

本发明以双目技术获得的深度数据对iToF获得的数据进行校正，解决了iToF的相位卷绕问题，提升了iToF的测量距离，使得iToF在中长距离的优势更加明显。同时，由于双目技术对于iToF数据的校正，使得不同像素点间的信号干扰得到解决，提升了测量的精度，也可以提升信号频率。

本发明中的双目技术既可以采用主动双目，又可以采用被动双目，可以在不同的场景中采用不同的方案，因此具有更好的适应性。被动双目可以更好地降低成本，而主动双目可以保证数据的稳定性，可以依据不同的应用场景选择合适的方案。

相比于以单独采用双目技术和iToF技术进行数据测量，本实施例采用双目与iToF相结合的方案，利用两种方案各自的优势，可以测量更远距离的物体深度，并且具有更高的精度，实现了单独利用一种技术时无法实现的效果。

本发明采用双目技术对iToF数据进行校正，使得不同的数据类型得到相互印证，利用了双目技术与iToF技术各自的优点，结果更加准确。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例中一种iToF相机测量示意图；

图2为本发明实施例中一种消除时间飞行相机卷绕问题的方法的步骤流程图；

图3为本发明实施例中一种第二深度数据对第一深度数据进行校正的步骤流程图；

图4为本发明实施例中一种计算卷绕周期数的步骤流程图；

图5为本发明实施例中一种消除时间飞行相机卷绕问题的深度相机的结构示意图；

图6为本发明实施例中一种处理器结构示意图；

图7为本发明实施例中一种计算单元结构示意图；

图8为本发明实施例中一种实测效果图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

本发明实施例提供的一种消除时间飞行相机卷绕问题的方法，旨在解决现有技术中存在的问题。

下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。在本发明中，“相位卷绕”和“卷绕”具有相同的含义。下面将结合附图，对本发明的实施例进行描述。

图1为本发明实施例中一种iToF相机测量示意图。如图1所示，iToF的发射与接收存在一定的时间差。在TG1开始发射激光，而当距离越远时，接收的信号越晚。TG1、TG2、TG3和T4构成一个周期，当距离越远时，接收信号越靠后。当距离足够远时，接收信号会在当前周期之后的周期返回，会使得返回信号与其他周期的信号出现重叠，从而导致卷绕的发生。卷绕是iToF所特有的现象，而其他3D测量技术不存在这种问题。

在现有技术中，为了避免卷绕的发生，通常将iToF相机的最大有效测量范围设置为一个完整周期的测量距离。对于较大距离的测量需求，通过降低测量频率，增加周期长度，从而实现对长距离的测量，但是相应地，数据获取频率下降了。相应地，对于较高的数据获取频率，往往只能获得较短距离内的深度数据，并且容易发生卷绕。距离与频率的矛盾成为限制iToF应用范围的关键技术因素。

本发明采用双目技术对iToF的测量结果进行校正。当iToF发生卷绕时，其误差往往是以一个完整的周期为单位，数据跨度较大。由于双目技术在近距离获得的数据准确，而在较远距离误差大，但其与真实数据也较为接近，可以用于判断iToF的深度数据是否发生卷绕，并确认卷绕的范围。而在较远距离时，iToF的精度远高于双目技术，因此通过双目技术与iToF技术的结合，可以使得iToF在较远距离处识别出卷绕并进行有效恢复，从而提升测量距离与精度。

图2为本发明实施例中一种消除时间飞行相机卷绕问题的方法的步骤流程图。如图2所示，本发明实施例提供的一种消除时间飞行相机卷绕问题的方法，包括如下步骤：

步骤S1:向目标物体投射激光。

在本步骤中，所述激光为周期性投射，在近距离和远距离内都能够接收到较好的返回信号。激光具有较高的照射强度，经目标物体反射后返回，可以较容易被接收器接收，从而保证在较远距离内依然可以获得信号。

步骤S2：使用第一接收器接收第一信号，并根据所述第一信号与发射信号的相位差获得第一深度数据。

在本步骤中，所述第一信号是所述激光的反射信号。当接收到返回信号后，利用iToF技术获得第一深度数据，即通过在不同时间窗口采集到能量值的比例关系，解析出信号相位，间接测量发射信号和接收信号的时间差，进而得到第一深度数据。第一深度数据是依靠iToF技术获得的深度数据，其数据与现有技术中iToF的测量效果相同，在较近距离内，测量误差大；在中等距离内，测量效果好；当采集频率过高或较远距离时，因为相位卷绕问题而导致数据质量大幅下降。

步骤S3:使用第二接收器接收第二信号,并根据所述第一接收器和所述第二接收器的视差生成第二深度数据。

在本步骤中，所述第二信号的类型可以与所述第一信号不同。第二信号既可以采用主动光技术获得，又可以采用被动光技术获得。当第二信号采用主动光技术时，通常还具有一个额外主动光源，用于对目标物体进行照射，并由第二接收器接收额外主动光源的信号。此时，额外主动光源与步骤S1中的光源同时开始照射，而第一接收器与第二接收器分别的曝光时间则根据各自的技术特点选定，即第一接收器与第二接收器开始曝光时间可以不同。当第二信号采用被动光技术时，第一接收器与第二接收器同时开始曝光，并且各自的曝光时间因采用的技术而定。比如，第二接收器为RGB相机时，如果采用主动光技术，则需要额外配备一个闪光灯，并且闪光灯与步骤S1中的光源同时进行照射，再由第一接收器接收激光返回的信号，由第二接收器接收闪光灯返回的信号；如果采用被动光技术，则第二接收器与第一接收器同时开始曝光，第一接收器接收激光返回的信号，第二接收器接收自然光照射返回的信号。

当接收到返回信号后，利用双目技术获得第二深度数据，即通过视差原理获得第二深度数据。第二深度数据是依靠视差原理获得的深度数据，其数据与现有技术中双目技术的测量效果相同。在较近距离内，具有较高的精度；在较远距离内，精度下降，因此在较远距离内适合用于校正iToF技术的卷绕情况。

步骤S4：根据所述第二深度数据对所述第一深度数据进行校正。

在本步骤中，适用于较远距离，根据第二深度数据对第一深度数据进行校正，即识别第一深度数据是否存在相位卷绕，并进行恢复。比如，第一深度数据为0.5m，第二深度数据为2.4m，相差1.9m，明显超出合理范围，判断第一深度数据存在相位卷绕，则根据离散准直光束的周期为1m，将第一深度数据进行恢复，得到与第二深度数据最接近的值2.5m，即为该像素点的最终深度值。

图3为本发明实施例中一种第二深度数据对第一深度数据进行校正的步骤流程图。如图3所示，本发明实施例中一种第二深度数据对第一深度数据进行校正的步骤流程图包括如下步骤：

步骤S41：判断所述第一深度数据与所述第二深度数据的差值a是否大于阈值。

在本步骤中，第一深度数据和第二深度数据是同一数据的测量结果，因此在理想状况下，第一深度数据和第二深度数据与真实深度均较为接近，因此两者的相差会在一个合理的范围内。阈值小于光束发射时的一个完整周期的深度长度。因此，如果要增加测量距离，可以延长一个完整周期的时间，也就增加了测量的范围。

步骤S42：如果所述差值a大于所述阈值，则计算卷绕周期数。

在本步骤中，如果差值a大于阈值，则认为iToF发生了相位卷绕，第一深度数据是发生相位卷绕后的深度数据。由于发生相位卷绕时，不同时刻发射的激光的信号错位，导致最初的深度数据的信号丢失，而后的深度数据混乱，因此，可以在识别出错位的深度数据后，可以对之前和之后的深度数据计算。通过对最初的发送数据与之后最初接收到的信号进行匹配，可以得到卷绕周期数，即接收信号超出几个完整周期。比如，在第一个周期发射信号，而在第三个周期内接收到信号，则卷绕周期数是2。

在部分实施例中，通过第二深度数据直接计算出对应的第一深度数据的卷绕周期数。具体地说，第二深度数据除以一个完整周期传播的距离，得到第一深度数据的卷绕周期数。比如iToF的测量距离范围是【0，1m】，结构光的测量极限为【0.1.5m】，第一深度数据为0.3m，第二深度数据为1.5m，相差1.2m，明显超出合理范围，判断第一深度数据存在相位卷绕，而第一深度数据对应的一个完整周期传播的距离是1m，则根据第二深度数据，得到卷绕周期数是1。

步骤S43：根据所述卷绕周期数对所述第一深度数据进行恢复，得到第三深度数据。

在本步骤中，根据卷绕周期数，可以对第一深度数据进行逐步恢复，恢复后的数据是第三深度数据。第三深度数据是最终的深度数据。根据卷绕周期数，可以将信号的发射与接收对应关系进行重置，因此可以获得新的深度数据。比如，在第4周期内获得的深度数据，而该深度数据与双目获取的数据的差值a大于阈值，卷绕周期数为2，则该深度数据对应的发射信号是第2周期的发射信号，因此，通过第2周期的发射信号与第4周期的接收信号，得到第2周期新的深度数据，即为第三深度数据。同样的方法，对不同周期内的数据进行操作，得到各个周期内的第三深度数据。接上例，恢复第一深度数据，0.3m+1x1m＝1.3m，即第三深度数据为1.3m。

在部分实施例中，恢复的顺序从最初的周期向后依次进行。在确认最初的周期时，需要向搜寻最初的信号丢失的周期，并将信号丢失的周期与相位卷绕的信号依次匹配，从而可以计算出第三深度数据。

本实施例通过判断第一深度数据与第二深度数据的差值是否大于阈值，再计算卷绕周期数，从而可以进行深度数据恢复。本实施例过程简单，无需复杂计算就可以获得准确的结果，可以使得数据处理量较小，处理速度大大提高，从而可以用于深度数据的快速重建。

图4为本发明实施例中一种计算卷绕周期数的步骤流程图。如图4所示，本发明实施例中一种计算卷绕周期数的步骤流程图包括如下步骤：

S421：如果当前像素的所述差值a大于所述阈值，则将所述当前像素标记为操作像素。

在本步骤中，如果当前像素的所述差值a大于所述阈值，则认为当前像素的第一深度数据发生卷绕，将当前像素标记为操作像素。

S422：对所述当前像素的相邻像素是否发生卷绕进行判断，并在发生卷绕时标记为所述操作像素，直至相邻像素中没有卷绕。

在本步骤中，对步骤S421中标记的操作像素的相邻像素进行检索，判断是否发生卷绕。如果发生卷绕，则将其标记为操作像素，并继续向相邻像素进行检索判断，直至相邻像素中没有新的卷绕像素。在判断相邻像素是否发生卷绕时，如果相邻像素也有激光照射，则采用差值a进行判断；如果没有激光照射，则根据赋予其深度时的方法，对其进行相应的调整。

由于本实施例中采用激光光束进行投射，其获得的深度数据在图像上并非连续的，而本步骤扩展了像素的范围，可以对光束未照射到的像素进行深度判断，从而可以使得恢复的范围更广，恢复效果更好。

S423：计算所述操作像素的卷绕周期数。

在本步骤中，对所有标记为操作像素的像素进行计算，得到所有像素点的卷绕周期数。各个像素点的卷绕周期数可以相同，也可以不同。

在部分实施例中，在步骤S43中，对相邻的所述操作像素的深度数据进行整体恢复，得到所述操作像素的第三深度数据。

本实施例对发生卷绕的像素进行扩展，使得更多发生卷绕的像素被发现，使得对于卷绕像素的操作更加全面与准确，提升了深度数据恢复的效果。

图5为本发明实施例中一种消除时间飞行相机卷绕问题的深度相机的结构示意图。如图5所示，本发明实施例中一种消除时间飞行相机卷绕问题的深度相机包括：

第一投射器100，用于向目标物体投射激光；

第一接收器200，用于接收第一信号；其中，所述第一信号是所述激光的反射信号；

第二接收器300，用于接收第二信号；其中，所述第二信号的类型可以与所述第一信号不同；

处理器400，用于根据所述第一信号与发射信号的相位差获得第一深度数据，根据所述第一接收器和所述第二接收器的视差生成第二深度数据，并根据所述第二深度数据对所述第一深度数据进行校正。

具体地说，第一投射器100向目标物体投射激光，激光照射在目标物体上，会返回信号，由第一接收器200接收。处理器400根据在不同时间窗口采集到能量值的比例关系，解析出信号相位，间接测量发射信号和接收信号的时间差，进而得到第一深度数据。

第二接收器300接收第二信号，并与第一接收器200构成双目系统，处理器400利用第一接收器200和第二接收器300的视差生成第二深度数据。第二接收器300既可以采用主动光技术，也可以采用被动光技术。当第二接收器300采用主动光技术时，通常还设置有第二投射器500。第二投射器500发出特定波，照射在目标物体上，并由第二接收器300接收其反射信号。第一投射器100与第二投射器500同时开始投射。第二接收器300可以为红外摄像头、RGB摄像头等多种摄像头，只要能够获取目标对象的数据即可。当第二接收器300采用被动光技术时，则不需要设置额外的投射器，但第二接收器300与第一接收器200同时开始曝光。其他本部分未详细描述部分，参见本说明书前部分内容，本处不再赘述。

第一接收器200可以是一个接收器，也可以有两个或更多个接收器构成。第一投射器100与第一接收器200的数量比可以为1：1,也可以为1：2或2：1等其他比例。当第一投射器100与第一接收器200的数量比不了1：1时，可以根据多个第一投射器100与多个第一接收器200相互配合使用状态进行调整。第二接收器300可以是一个接收器，也可以有两个或更多个接收器构成，其数量可以与第一接收器200的数量相等，也可以不等。

处理器400通过对比第一深度数据和第二深度数据，在距离较远处时，根据第二深度数据对第一深度数据进行校正。

本实施例将iToF技术和双目技术集成，利用了iToF和双目技术的优点，具有更远的测量距离，达到了单一系统无法达到的技术效果。具体地，本实施例在更远的距离内通过双目技术获得的第二深度数据对iToF技术获得的第一深度数据进行校正，解决了相位卷绕问题，从而使得本实施例可以在更远的范围内获得精确的测量结果，提升了测量距离，并且可以减小不同像素间的干扰。

图6为本发明实施例中一种处理器结构示意图。如图6所示，与上一实施例相比，本发明实施例中处理器400进一步包括：

判断单元410，用于判断所述第一深度数据与所述第二深度数据的差值a是否大于阈值。

计算单元420，用于如果所述差值a大于所述阈值，则计算卷绕周期数。

恢复单元430，用于根据所述卷绕周期数对所述第一深度数据进行恢复，得到第三深度数据。

本实施例仅对相位卷绕的第一深度数据进行处理，得到恢复后的第三深度数据，从而提高了处理效率，使得处理器的计算量减小，提高了效率。

图7为本发明实施例中一种计算单元结构示意图。如图7所示，与上一实施例相比，本发明实施例中计算单元420进一步包括：

标记子单元421，用于如果当前像素的所述差值a大于所述阈值，则将所述当前像素标记为操作像素。

搜寻子单元422，用于对所述当前像素的相邻像素是否发生卷绕进行判断，并在发生卷绕时标记为所述操作像素，直至相邻像素中没有卷绕。

计算子单元423，用于计算所述操作像素的卷绕周期数。

本实施例扩展了相位卷绕的判断区域，使得对于深度数据的判断更加全面准确，从而使得图像整体的效果更好。

图8为本发明实施例中一种实测效果图。图8a为场景图，图8b为iToF原始结果，即由第一深度数据得到的深度图，图8c为经过本发明实施例卷绕校正后的结果，即第三深度数据得到的深度图。从图中可以看出，在iToF原始结果中，由于相位卷绕的存在，使得远景与近景混叠在一起，使得数据与真实数据偏离较远，而经过本发明实施例卷绕校正后的结果非常好地还原了真实数据，在有效区域内的数据更加准确有效，并将杂音过滤，使得三维重建效果大幅提升。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。