针对TOF相机中的相位折叠优化方法、装置、介质及设备

技术领域

本发明实施例涉及3D深度相机技术领域，尤其涉及一种针对TOF相机中的相位折叠优化方法、装置、介质及设备。

背景技术

3D深度相机是近年来兴起的新技术，相比较传统的相机，深度相机在功能上添加了一个深度测量，从而更方便准确的感知周围的环境及变化。

3D深度相机的应用领域广泛，比如手势识别、机器人平台、消费电子领域等。目前常见的深度相机有双目深度相机、结构光相机和飞行时间深度相机(Time-of-Flight，ToF)，其中ToF深度相机通过直接测量光飞行时间得到物体距离信息，运算量小，3D成像稳定，在三种深度成像技术中脱颖而出。但是，ToF相机仍然受到多种噪声的影响，存在比如运动模糊、多径、距离折叠等问题。而在现有技术中，对于ToF相机的距离折叠依旧存在算法鲁棒性差的问题。

发明内容

本发明实施例提供一种针对TOF相机中的相位折叠优化方法、装置、介质及设备，能够有效减小噪音的影响，提高深度图像质量。

第一方面，本发明实施例提供了一种针对TOF相机中的相位折叠优化方法，该方法包括：

设置双初始调制频率，以获取双深度图与双幅值图；

根据所述双深度图与双幅值图构建优化模型，确定模糊度组合解与模损值；

当所述模损值小于预设阈值时，根据所述模糊度组合解恢复深度图像。

可选的，还包括：

当所述模损值不小于预设阈值时，不断根据当前获取的深度图与幅值图，确定初解深度值；

根据所述初解深度值，不断更新初始调制频率与积分时间，以不断获取增项模糊值与模损更新值，直至所述模损更新值小于预设阈值，再根据所述模糊度组合解与所述增项模糊值恢复所述深度图像。

可选的，所述根据所述双深度图与双幅值图构建优化模型，确定模糊度组合解与模损值，包括：

根据所述双深度图d

根据所述双深度图d

根据邻域连续性原则，对每个像素点构建邻域约束项loss(i，N

根据上述公式，确定最优的模糊度组合解和与其相对应的模损值loss。

可选的，所述设置双初始调制频率，以获取双深度图与双幅值图，包括：

通过传感器设置双初始调制频率与初始积分时间；

基于I-ToF成像原理，以获取所述双深度图与所述双幅值图。

可选的，所述基于I-ToF成像原理，以获取所述双深度图与所述双幅值图，包括：

其中，c代表光速、f代表光信号的幅度调制频率、d代表物体到相机的距离，φ代表收发信号之间的相位差；

其中，收发信号之间的相位差φ的计算公式为：

其中，{Q

可选的，所述根据所述模糊度组合解与所述增项模糊值恢复所述深度图像，包括：

其中，d

第二方面，本发明实施例提供了一种针对TOF相机中的相位折叠优化装置，该装置包括：

双图获取模块，用于设置双初始调制频率，以获取双深度图与双幅值图；

解模型模块，用于根据所述双深度图与双幅值图构建优化模型，确定模糊度组合解与模损值；

恢复模块，用于当所述模损值小于预设阈值时，根据所述模糊度组合解恢复深度图像。

可选的，恢复模块还用于：

当所述模损值不小于预设阈值时，不断根据当前获取的深度图与幅值图，确定初解深度值；根据所述初解深度值，不断更新初始调制频率与积分时间，以不断获取增项模糊值与模损更新值，直至所述模损更新值小于预设阈值，再根据所述模糊度组合解与所述增项模糊值恢复所述深度图像。

可选的，所述解模型模块具体用于：

根据所述双深度图d

根据所述双深度图d

根据邻域连续性原则，对每个像素点构建邻域约束项loss(i，N

根据上述公式，确定最优的模糊度组合解和与其相对应的模损值loss。

可选的，所述双图获取模块具体用于：

通过传感器设置双初始调制频率与初始积分时间；

基于I-ToF成像原理，以获取所述双深度图与所述双幅值图。

可选的，所述双图获取模块内的基于I-ToF成像原理，以获取所述双深度图与所述双幅值图，具体为：

其中，c代表光速、f代表光信号的幅度调制频率、d代表物体到相机的距离，φ代表收发信号之间的相位差；

其中，收发信号之间的相位差φ的计算公式为：

其中，{Q

可选的，所述恢复模块具体用于：

其中，d

第三方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的针对TOF相机中的相位折叠优化方法。

第四方面，本发明实施例提供了一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如上述的针对TOF相机中的相位折叠优化方法。

本发明实施例通过设置双初始调制频率，以获取双深度图与双幅值图；根据所述双深度图与双幅值图构建优化模型，确定模糊度组合解与模损值；当所述模损值小于预设阈值时，根据所述模糊度组合解恢复深度图像，能够有效减小噪音的影响，提高深度图像质量。

附图说明

图1A是I-ToF的内部相关积分示意图；

图1B是本发明实施例一提供的一种针对TOF相机中的相位折叠优化方法的流程图；

图2是本发明实施例二提供的一种示例性的针对TOF相机中的相位折叠优化方法的流程图；

图3是本发明实施例三提供的一种针对TOF相机中的相位折叠优化装置的结构示意图；

图4是本发明实施例五提供的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

ToF相机利用(近)红外信号测量深度，根据深度计算原理的不同，可以分为直接光飞行时间深度相机(direct Time-of-Flight，D-ToF)和间接光飞行时间相机(indirectTime-of-Flight，I-ToF)。由于成像原理的不同，距离折叠的表现形式也不一样。本发明实施例讨论的算法针对ToF深度相机中的I-ToF相机。I-ToF相机是通过计算反射信号和入射信号的相位差，进而折算成飞行时间差，距离折叠现象通常也叫作相位折叠。

I-ToF相机工作时，先由传感器发出经过调制的红外光，接收来自物体的反射光，通过计算入射光与反射光的相位差得到目标物体的距离。如图1A所示，图1A是I-ToF的内部相关积分示意图。

具体来说，I-ToF相机内部通过电路计算接收到调制信号和特定参考信号的相关值，一般使用4相位的参考信号，即用和发生信号相位差分别为0°、90°、180°和270°的参考信号和接收信号进行相关积分：如图1A所示，4个积分值分别记作{Q

另外这4个相关积分值也能够通过计算能够得到接收光幅度a，即：

光信号的调制频率、收发信号的相位差和距离的关系为：

其中c代表光速、f代表光信号的幅度调制频率、φ代表收发信号之间的相位差、d代表物体到相机的距离。

I-ToF相机的相位差通常是利用反正切函数获得，由于反正切函数的周期性，当入射光与反射光之间的实际相位差超过2π时，会发生相位折叠现象，从而导致深度测量存在误差。实际相位(深度)和测量相位(深度)之间相差的整周数又称为模糊度。

φ

其中，d

但是，在现有的关于相位解折叠的算法中，大多是基于单频测量的方法，利用幅值和深度的约束和邻域像素深度约束构建优化模型。该方法简化了幅值的模型，对于高模糊度的场景，算法鲁棒性比较差。基于多频测量的方法通常都是固定频率，根据多频测量值之间的约束关系构建优化模型，求解最优的模糊度组合。但是，这一类方法都忽视了调制频率的选择对于优化模型求解复杂度和精度的影响。对于每一组给定的调制频率，由于噪声的存在，会导致在某个距离范围内的求解陷入局部最优。

实施例一

图1B为本发明实施例一提供的一种针对TOF相机中的相位折叠优化方法的流程图，该方法可以由本发明实施例提供的针对TOF相机中的相位折叠优化装置来执行，该装置可采用软件和/或硬件的方式实现。该方法具体包括：

S110、设置双初始调制频率，以获取双深度图与双幅值图。

其中，调制频率是一种以载波的瞬时频率变化来表示信息的调制方式，通过利用载波的不同频率来表达不同的信息。初始调制频率指的是在本发明实施例开始设置的调制频率。深度图和幅值图指的是根据输入的调制频率而生成的关于深度与幅值的图。

具体的，本发明实施例设置双初始调制频率，也即两个初始调制频率，设置值可以根据工作人员的先前经验进行输入，在输入双初始调制频率之后，就会获取双初始调制频率相对应的两个深度图与两个幅值图。例如，本实施例可以设置初始调制频率为f

可选的，所述设置双初始调制频率，以获取双深度图与双幅值图，包括：通过传感器设置双初始调制频率与初始积分时间；基于I-ToF成像原理，以获取所述双深度图与所述双幅值图。

可选的，所述基于I-ToF成像原理，以获取所述双深度图与所述双幅值图，包括：

其中，c代表光速、f代表光信号的幅度调制频率、d代表物体到相机的距离，φ代表收发信号之间的相位差；

其中，收发信号之间的相位差φ的计算公式为：

其中，{Q

S120、根据所述双深度图与双幅值图构建优化模型，确定模糊度组合解与模损值。

其中，模糊度指的是实际相位(深度)和测量相位(深度)之间相差的整周数，模糊度组合解指的是通过构建的优化模型而求解的关于模糊度的解值，模损值指的是模型损失值，也即在求解模糊度时由于引入模型产生的损失值。

可选的，所述根据所述双深度图与双幅值图构建优化模型，确定模糊度组合解与模损值，包括：

根据所述双深度图d

根据所述双深度图d

根据邻域连续性原则，对每个像素点构建邻域约束项loss(i，N

其中，λ表示的是权重系数，不同损失项所占的比例，λ

根据上述公式，确定最优的模糊度组合解和与其相对应的模损值loss。

S130、当所述模损值小于预设阈值时，根据所述模糊度组合解恢复深度图像。

其中，预设阈值可以设定为任意值，例如，预设阈值可以设置为0.05。

可选的，本发明实施例还包括：当所述模损值不小于预设阈值时，不断根据当前获取的深度图与幅值图，确定初解深度值；根据所述初解深度值，不断更新初始调制频率与积分时间，以不断获取增项模糊值与模损更新值，直至所述模损更新值小于预设阈值，再根据所述模糊度组合解与所述增项模糊值恢复所述深度图像。

其中，初解深度值指的是根据设定的双初始调制频率后，根据构建优化模型求解出的模糊度组合解而求解出的，例如，求解公式为：

其中，d

其中，增项模糊值指的是在设置双初始调制频率基础上，额外增加新的调制频率构建优化模型而计算出的模糊值。

具体的，本发明实施例当模损值小于预设阈值时，根据模糊度组合解恢复深度图像；当模损值不小于预设阈值时，不断根据当前获取的深度图与幅值图，确定初解深度值。工作人员再根据初解深度值调整初始调制频率与积分时间，具体例如，初解深度值小时，积分时间往小调整，初解深度值大时，积分时间往大调整。本发明实施例在双初始调制频率的基础上，再增加新的调制频率构建优化模型，以精确模糊度组合解与增项模糊值。

可选的，所述根据所述模糊度组合解与所述增项模糊值恢复所述深度图像，包括：

其中，d

具体的，K与设置的调制频率组数有关，例如，若设置双初始调制频率后的模损值小于预设阈值时，K为2，本实施例求解出的初解深度值d

本发明实施例通过设置双初始调制频率，以获取双深度图与双幅值图；根据所述双深度图与双幅值图构建优化模型，确定模糊度组合解与模损值；当所述模损值小于预设阈值时，根据所述模糊度组合解恢复深度图像，能够有效减小噪音的影响，提高深度图像质量。

实施例二

图2为本发明实施例二提供的一种示例性的针对TOF相机中的相位折叠优化方法的流程图。

本发明设置两个初始调制频率，根据双频的深度数据构建优化模型，得到真实深度的初始解，再根据初始解和对应的损失，确定新的调制频率和积分时间参数，结合新的深度测量值求解真实深度和模型损失，不断迭代，直到满足迭代结束的条件，从而实现基于多频测量和传感器在环控制的相位折叠修复。

方法包括下列步骤：

S1，初始化双调制频率，获取对应的双频深度图和幅值图。

S2，基于双频的测量数据，构建优化模型，求解模糊度k

S3，如果损失loss，执行步骤S6；否则，确定新的调制频率和积分时间参数，获取新的深度图和幅值图。

S4，结合新的深度数据和幅值数据，优化求解模型，求解模糊度和模型的损失。

S5，重复步骤(S3-S4)。

S6，基于多频的测量数据和求解模型，生成质量最高的真实深度图。

本发明实施例在上述步骤S1中，包括以下步骤：

步骤S11，设置初始调制频率为f

步骤S12，基于I-ToF成像原理，获取两个频率对应的深度图d

本发明实施例在上述步骤S2中，包括以下步骤：

步骤S21，根据双频深度数据，对每一个像素点构建数据约束项loss(d

步骤S22，根据幅值和深度数据，对每一个像素点构建幅值约束项loss(a

步骤S23，根据邻域连续性原则，对每一个像素点构建邻域约束项loss(i，N

步骤S24，求解下述式子，找到最优的模糊度组合和对应的loss；

本发明实施例在上述步骤S3中，包括以下步骤：

步骤S31，判断步骤S24求得的loss是否满足要求，其中，深度图像恢复遵循下述表达式；

步骤S32，如果loss满足loss＜loss

步骤S33，基于图像的整体深度，确定新的调制频率f

步骤S34，获取新的测量数据，深度图d

本发明实施例在上述步骤S4中，包括以下步骤：

步骤S41，基于最新的深度图和幅值图，更新loss function；

步骤S42，基于步骤S24的求解方法，更新模糊度组合和对应的loss；

本发明实施例在上述步骤S5中，包括以下步骤：

步骤S51，重复步骤S3-S4；

本发明实施例在上述步骤S6中，包括以下步骤：

步骤S61，基于步骤S5得到的模糊度，恢复深度图像；

本发明提供一种基于传感器在环解相位折叠的方法，利用多频的深度测量数据构建优化模型，求解解折叠后的相位。根据模型的优化结果，实时改变相机的调制频率和积分时间等参数，获得新的深度和幅度测量值加入优化模型，从而能够减小噪声的影响，提高恢复后的深度图像的质量。同时，基于传感器在环控制的方式对场景的先验依赖更低，相比较固定调制频率的方法，算法适用性更广。

实施例三

图3是本发明实施例提供的一种针对TOF相机中的相位折叠优化装置的结构示意图，该装置具体包括：

双图获取模块310，用于设置双初始调制频率，以获取双深度图与双幅值图；

解模型模块320，用于根据所述双深度图与双幅值图构建优化模型，确定模糊度组合解与模损值；

恢复模块330，用于当所述模损值小于预设阈值时，根据所述模糊度组合解恢复深度图像。

可选的，恢复模块330还用于：

当所述模损值不小于预设阈值时，不断根据当前获取的深度图与幅值图，确定初解深度值；根据所述初解深度值，不断更新初始调制频率与积分时间，以不断获取增项模糊值与模损更新值，直至所述模损更新值小于预设阈值，再根据所述模糊度组合解与所述增项模糊值恢复所述深度图像。

可选的，所述解模型模块320具体用于：

根据所述双深度图d

根据所述双深度图d

根据邻域连续性原则，对每个像素点构建邻域约束项loss(i，N

根据上述公式，确定最优的模糊度组合解和与其相对应的模损值loss。

可选的，所述双图获取模块310具体用于：

通过传感器设置双初始调制频率与初始积分时间；

基于I-ToF成像原理，以获取所述双深度图与所述双幅值图。

可选的，所述双图获取模块310内的基于I-ToF成像原理，以获取所述双深度图与所述双幅值图，具体为：

其中，c代表光速、f代表光信号的幅度调制频率、d代表物体到相机的距离，φ代表收发信号之间的相位差；

其中，收发信号之间的相位差φ的计算公式为：

其中，{Q

可选的，所述恢复模块330具体用于：

其中，d

本发明实施例通过设置双初始调制频率，以获取双深度图与双幅值图；根据所述双深度图与双幅值图构建优化模型，确定模糊度组合解与模损值；当所述模损值小于预设阈值时，根据所述模糊度组合解恢复深度图像，能够有效减小噪音的影响，提高深度图像质量。

实施例四

本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行：

设置双初始调制频率，以获取双深度图与双幅值图；

根据所述双深度图与双幅值图构建优化模型，确定模糊度组合解与模损值；

当所述模损值小于预设阈值时，根据所述模糊度组合解恢复深度图像。

存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到计算机系统。第二计算机系统可以提供程序指令给计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。

当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的针对TOF相机中的相位折叠优化操作，还可以执行本申请任意实施例所提供的针对TOF相机中的相位折叠优化方法中的相关操作。

实施例五

本申请实施例提供了一种电子设备，该电子设备中可集成本申请实施例提供的针对TOF相机中的相位折叠优化的同步装置。图4是本申请实施例五提供的一种电子设备的结构示意图。如图4所示，本实施例提供了一种电子设备400，其包括：一个或多个处理器420；存储装置410，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器420运行，使得所述一个或多个处理器420实现：

设置双初始调制频率，以获取双深度图与双幅值图；

根据所述双深度图与双幅值图构建优化模型，确定模糊度组合解与模损值；

当所述模损值小于预设阈值时，根据所述模糊度组合解恢复深度图像。

如图4所示，该电子设备400包括处理器420、存储装置410、输入装置430和输出装置440；电子设备中处理器420的数量可以是一个或多个，图4中以一个处理器420为例；电子设备中的处理器420、存储装置410、输入装置430和输出装置440可以通过总线或其他方式连接，图4中以通过总线450连接为例。

存储装置410作为一种计算机可读存储介质，可用于存储软件程序、计算机可运行程序以及模块单元，如本申请实施例中的针对TOF相机中的相位折叠优化方法对应的程序指令。

存储装置410可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置410可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置410可进一步包括相对于处理器420远程设置的存储器，这些远程存储器可以通过网络连接。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置430可用于接收输入的数字、字符信息或语音信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏、扬声器等设备。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。