基于双波长TOF相机的透散射介质深度恢复方法及装置

技术领域

本发明涉及涉及机器视觉中的深度信息测量领域，具体的是涉及一种基于双波长TOF相机的透散射介质深度恢复方法及装置。

背景技术

随着科学技术的发展，人们记录场景的维度从二维扩展到三维，记录和存储的场景信息得到极大丰富，深度作为三维场景中的重要信息其获取方式较为多样。TOF相机因其结构紧凑、体积小、成本低、能够实时获取深度图像等优势，吸引了众多国内外学者的关注，可广泛用于机器视觉、自动驾驶、人机交互、人脸识别等邻域。

TOF相机为典型的主动式成像系统，依据其工作原理的不同，可分为直接型TOF相机以及间接型TOF相机。间接型TOF相机通过解算探测器接受光信号与光源发射的振幅调制光信号间的相位变化间接计算待测目标各点的深度信息。其中，相位和振幅是TOF相机的主要输出数据。

然而，TOF相机在获取深度信息的过程中存在着各种干扰和噪声，如散粒噪声、热噪声、环境光干扰、多径干扰等。其中，多径干扰一直是困扰TOF相机准确深度测量的难题，其指TOF相机上单一像素接收到来自场景多条光路的反射信号，违反了TOF相机单一像素只接收来自场景单一条光路反射信号的前提假设，导致其深度测量值存在较大误差。多径干扰的产生原因较多，其一是TOF相机用于雾天、水下、生物组织等散射环境探测时，散射介质的后向散射与前向散射在很大程度上会引入多径干扰问题，导致在散射介质中TOF相机的深度测量准确度极大降低。

发明内容

本发明提供一种基于双波长TOF相机的透散射介质深度恢复方法及装置。本发明涉及一种在具有由散射介质后向散射引入的较大深度测量误差的TOF高精度深度恢复方法，主要用于解决散射介质导致的低准确度深度测量问题。

第一方面，本发明提供了一种基于双波长TOF相机的透散射介质深度恢复方法，包括：获取双波长TOF相机测量的在散射环境中的目标区域的第一信息和第二信息，所述第一信息对应第一波长，所述第二信息对应第二波长；获取双波长TOF相机测量的在所述散射环境中的预设点的第三信息和第四信息，所述第三信息对应第一波长，所述第四信息对应第二波长，所述目标区域包括至少一个待测点；根据所述第三信息和第四信息确定双波长TOF相机在散射环境中的散射分量幅值比；根据所述散射分量幅值比校正所述第二信息，根据所述第一信息和校正后的第二信息恢复对应所述目标区域的深度信息。

进一步地，所述根据所述第三信息和第四信息确定双波长TOF相机在散射环境中的散射分量幅值比，包括：将所述第三信息和第四信息分别进行标定和相量表示得到第三相量信息和第四相量信息；获取对应所述预设点的预设相位信息；根据所述预设相位信息、所述第三相量信息和所述第四相量信息确定双波长TOF相机在散射环境中的散射分量幅值比。

进一步地，所述根据所述散射分量幅值比校正所述第二信息，根据所述第一信息和校正后的第二信息恢复对应所述目标区域的深度信息，包括：将所述第一信息和第二信息分别进行标定和相量表示，得到第一相量信息和第二相量信息；在极坐标下，根据所述散射分量幅值比扩大所述第二相量信息，得到校正后的第二相量信息；根据所述第一相量信息和校正后的第二相量信息恢复对应所述目标区域的深度信息。

进一步地，所述根据所述第一相量信息和校正后的第二相量信息恢复对应所述目标区域的深度信息，包括：将所述第一相量信息和校正后的第二相量信息做差，根据差值恢复对应所述目标区域的深度信息。

进一步地，所述第一信息包括第一相位信息和第一振幅信息，所述第二信息包括第二相位信息和第二振幅信息，所述第三信息包括第三相位信息和第三振幅信息，所述第四信息包括第四相位信息和第四振幅信息。

第二方面，本发明还提供了一种基于双波长TOF相机的透散射介质深度恢复装置，包括：第一处理模块，用于获取双波长TOF相机测量的在散射环境中的目标区域的第一信息和第二信息，所述第一信息对应第一波长，所述第二信息对应第二波长；获取双波长TOF相机测量的在所述散射环境中的预设点的第三信息和第四信息，所述第三信息对应第一波长，所述第四信息对应第二波长，所述目标区域包括至少一个待测点；第二处理模块，用于根据所述第三信息和第四信息确定双波长TOF相机在散射环境中的散射分量幅值比；第三处理模块，用于根据所述散射分量幅值比校正所述第二信息，根据所述第一信息和校正后的第二信息恢复对应所述目标区域的深度信息。

第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于双波长TOF相机的透散射介质深度恢复方法的步骤。

第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于双波长TOF相机的透散射介质深度恢复方法的步骤。

第五方面，本发明实施例还提供了一种计算机程序产品，其上存储有可执行指令，该指令被处理器执行时使处理器实现第一方面所述基于双波长TOF相机的透散射介质深度恢复方法的步骤。

本发明提供的一种基于双波长TOF相机的透散射介质深度恢复方法及装置，通过从散射介质对不同波长光波的散射特性不同这一物理规律出发，采用双波长TOF相机进行深度测量。基于连续波TOF相机输出数据，依据不同波长TOF相机输出数据的特性差异，获得散射环境下的高准确度深度测量。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为根据本发明提供的基于双波长TOF相机的透散射介质深度恢复方法的一些实施例的流程示意图；

图2是散射环境中散射粒子引入的前向及后向散射导致多径干扰问题的出现，使得TOF相机的深度测量值存在较大误差的示意图；

图3是双波长TOF相机成像系统的的示意图；

图4是采用的极坐标系下散射场景中TOF相机输出相位及振幅信息的相量表示的示意图；

图5是采用的双波长TOF相机在散射场景中输出相位及振幅信息的相量表示的示意图；

图6是建立的散射分量幅值比参数求解过程，用于校正散射介质对不同波长调制光幅值影响的差异，将不同波长下测量结果中包含的散射分量振幅一致化的示意图；

图7是基于校正后不同波长下TOF相机测量数据在极坐标系下差值相量的深度恢复的示意图；

图8为根据本发明提供的基于双波长TOF相机的透散射介质深度恢复装置的一些实施例的结构示意图；

图9是根据本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

需要注意，本发明中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本发明中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

本发明实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。

下面将参考附图并结合实施例来详细说明本发明。

请参阅图1，图1是本发明提供的基于双波长TOF相机的透散射介质深度恢复方法的一些实施例的流程示意图。如图1所示，该方法，包括以下步骤：

步骤101，获取双波长TOF相机测量的在散射环境中的目标区域的第一信息和第二信息，第一信息对应第一波长，第二信息对应第二波长；获取双波长TOF相机测量的在散射环境中的预设点的第三信息和第四信息，第三信息对应第一波长，第四信息对应第二波长，目标区域包括至少一个待测点。

在一个实施例中，本发明的TOF透散射介质深度恢复方法应用场景及深度测量结果存在误差的原因如图2所示，由两个不同波长光源组成的TOF相机构成，光轴平行放置，对同一场景(利用不同波长的相机测量目标区域和预设点)进行深度测量。基于此应用场景，在测量得到第一信息、第二信息第三信息和第四信息后，还需要对不同视场的双波长TOF相机配准，以及对双波长TOF相机的深度测量值(第一信息、第二信息第三信息和第四信息)的配准与标定，包括双波长TOF相机的视场配准以及深度测量值标定(例如基于平行光轴相机导致的视场差异，对TOF成像系统获得的相位信息的标定；基于双波长相机光源功率、探测器量子效率等差异，对TOF成像系统的振幅信息的标定方法)。

在一些可选的实现方式中，第一信息包括第一相位信息和第一振幅信息，第二信息包括第二相位信息和第二振幅信息，第三信息包括第三相位信息和第三振幅信息，第四信息包括第四相位信息和第四振幅信息。

具体参见以下：

步骤11：建立双波长TOF成像系统

采用两个不同波长的TOF相机并排方式，光轴平行，如附图3所示，作为示例，选用的两个TOF相机采用的波长分别为940nm及850nm。

步骤12：两个TOF相机的视场配准

由步骤11，两个TOF相机对同一场景进行测量，存在视场差异，利用张正友标定法，对两个TOF相机的内外参分别标定，并建立两个相机间的变换矩阵，实现双波长TOF相机的视场配准，使两个相机输出图像中对应像素的信息来自场景中的同一点。

步骤13：双波长TOF相机相位测量值标定

如图3所示，由于两个相机的视场存在差异，两个相机对场景中同一点的深度解算结果也存在差异，需利用已知参数对两个相机的测量结果进行标定，使两个相机的相位测量数据保持一致，该标定方法为：

其中，

步骤14：双波长TOF相机振幅测量值标定

由于双波长TOF相机的光功率存在差异，即TOF相机解算所得振幅值存在较大差异，在运用双波长数据进行后续处理的过程中，需对两个TOF相机的振幅解算值进行标定，公式如下：

其中，a

步骤102，根据第三信息和第四信息确定双波长TOF相机在散射环境中的散射分量幅值比。

由于散射介质对不同波长光波的散射作用不同，主要体现在对散射及反射光光强的影响上，对光子传播路径即TOF成像过程中调制光的相位影响不显著，因此散射分量幅值比的计算主要用于校正不同波长下，散射介质对TOF相机解调后散射分量幅值的影响，利用该参数可将不同波长下，散射分量的幅值一致化，进而实现深度值的恢复。

在一些可选的实现方式中，根据第三信息和第四信息确定双波长TOF相机在散射环境中的散射分量幅值比，包括：将第三信息和第四信息分别进行标定和相量表示得到第三相量信息和第四相量信息；获取对应预设点的预设相位信息；根据预设相位信息、第三相量信息和第四相量信息确定双波长TOF相机在散射环境中的散射分量幅值比。

对于双波长TOF成像的相量表示，作为示例，由于连续波调制的TOF成像系统通常采用正弦信号或方波信号作为相机的调制光源，方波信号可视为一系列正弦信号的叠加，以正弦信号调制信号为例，根据欧拉公式，正弦信号可转化为复指数形式，而复指数可在极坐标系下由一系列相量表示，因此在散射环境下TOF相机最终接收到的振幅及相位信息可以由如下形式表示：

其中，u,v为表示像素位置，a(λ,u,v)为不同波长λ对应像素解调后的振幅信息，a(λ,u,v)＝I

如附图2所示，在透散射环境中，单一像素接收到的光信号为直接反射光以及多路后向散射与前向散射光的叠加，在相量表示中可以表示为多个相量的矢量相加，如附图4所示，其中多个散射分量经矢量叠加后可以表示为一个总散射相P

针对双波长TOF相机，由于同一目标对不同波长光波的反射率不同，同时散射介质对不同波长光波的散射作用不同，因此不同波长TOF相机接收到的光信号存在差异，在相量表示中如附图5所示，主要表现在目标相量以及散射相量的振幅差异，理论分析表明波长对相位信息的影响可忽略不计。

对于双波长散射分量幅值比的计算，作为示例，如附图5所示，不同波长对应的散射向量幅值存在差异，该步骤即用于求解双波长散射分量幅值比，实现双波长测量中散射相量一致化标定。首先，在散射环境中放置或选取一深度信息准确且已知的目标点(即预设点)，假设该点(即预设点)的像素坐标为(u

其中，

步骤103，根据散射分量幅值比校正第二信息，根据第一信息和校正后的第二信息恢复对应目标区域的深度信息。

在一些可选的实现方式中，根据散射分量幅值比校正第二信息，根据第一信息和校正后的第二信息恢复对应目标区域的深度信息，包括：将第一信息和第二信息分别进行标定和相量表示，得到第一相量信息和第二相量信息；在极坐标下，根据散射分量幅值比扩大第二相量信息，得到校正后的第二相量信息；根据第一相量信息和校正后的第二相量信息恢复对应目标区域的深度信息。

作为示例，在极坐标下，根据散射分量幅值比扩大第二相量信息，得到校正后的第二相量信息，即利用上述求解的双波长散射分量幅值比

另外，双波长散射分量幅值比会随着散射介质的浓度、粒子尺寸等相关参数发生变化(在一稳定不变的散射环境中，该散射分量幅值比不随待测目标距离的变化而变化，但该值会随散射介质浓度、粒子尺寸的变化而变化)，即当散射环境发生变化时，需重新求解对应的双波长散射分量幅值比，且该步骤适用于散射介质均一条件，当散射介质不均匀时，该方法的深度恢复能力会降低。

在一些可选的实现方式中，根据第一相量信息和校正后的第二相量信息恢复对应目标区域的深度信息，包括：将第一相量信息和校正后的第二相量信息做差，根据差值恢复对应目标区域的深度信息。

作为示例，将第一相量信息和校正后的第二相量信息做差，根据差值恢复对应目标区域的深度信息，即利用波长λ

ξ(λ

该差值相量即平行于目标直接反射相量，如附图7所示。

上述所得差值相量ξ对应斜率即为目标直接反射相量对应的相位信息，该相位信息的求解过程如下：

进而可以求出该相位变化对应的实际深度信息：

d

本发明通过通过从散射介质对不同波长光波的散射特性不同这一物理规律出发，采用双波长TOF相机进行深度测量。基于连续波TOF相机输出数据，依据不同波长TOF相机输出数据的特性差异，获得散射环境下的高准确度深度测量。

综上，基于TOF相机在散射环境中存在的多径干扰问题以及TOF相机的工作原理，本发明提供了一种基于双波长TOF相机的透散射介质深度恢复方法。利用光源为不同波长的两个平行光轴TOF相机对同一待测场景进行深度测量，针对TOF相机输出的相位信息以及振幅信息，结合TOF相机在极坐标系下的相量表示方法，利用散射场景中不同波长下的测量数据，实现由高误差散射场景的高准确度深度值恢复。对于平行光轴相机成像存在的视差问题，对来自不同相机的输出数据进行标定与配准。针对标定与配准后的数据，对双波长数据在极坐标系下进行逐像素表示。基于散射介质对不同波长调制光的能量吸收与反射特性的差异，建立不同波长、不同散射环境下散射分量振幅校正参数——散射分量幅值比。基于计算出的散射分量幅值比对各像素点的测量结果进行散射分量一致化校正，获得校正后的双波长测量数据。利用校正后的双波长测量数据，在极坐标系下对个像素点的双波长测量结果求取差值相量，获得不受散射介质影响的待测目标真实深度值，实现TOF透散射介质深度恢复。

请参阅图8，图8是根据本发明提供的基于双波长TOF相机的透散射介质深度恢复装置的一些实施例的结构示意图，作为对上述各图所示方法的实现，本发明还提供了一种基于双波长TOF相机的透散射介质深度恢复装置的一些实施例，这些装置实施例与图1所示的一些方法的实施例相对应，且该装置可以应用于各种电子设备中。

如图8所示，一些实施例的基于双波长TOF相机的透散射介质深度恢复装置包括第一处理模块801、第二处理模块802、第三处理模块803：第一处理模块801，用于获取双波长TOF相机测量的在散射环境中的目标区域的第一信息和第二信息，第一信息对应第一波长，第二信息对应第二波长；获取双波长TOF相机测量的在散射环境中的预设点的第三信息和第四信息，第三信息对应第一波长，第四信息对应第二波长，目标区域包括至少一个待测点；第二处理模块802，用于根据第三信息和第四信息确定双波长TOF相机在散射环境中的散射分量幅值比；第三处理模块803，用于根据散射分量幅值比校正第二信息，根据第一信息和校正后的第二信息恢复对应目标区域的深度信息。

在一些实施例的可选实现方式中，第二处理模块802，还用于：将第三信息和第四信息分别进行标定和相量表示得到第三相量信息和第四相量信息；获取对应预设点的预设相位信息；根据预设相位信息、第三相量信息和第四相量信息确定双波长TOF相机在散射环境中的散射分量幅值比。

在一些实施例的可选实现方式中，第三处理模块803，还用于：将第一信息和第二信息分别进行标定和相量表示，得到第一相量信息和第二相量信息；在极坐标下，根据散射分量幅值比扩大第二相量信息，得到校正后的第二相量信息；根据第一相量信息和校正后的第二相量信息恢复对应目标区域的深度信息。

在一些实施例的可选实现方式中，第三处理模块803，还用于：将第一相量信息和校正后的第二相量信息做差，根据差值恢复对应目标区域的深度信息。

在一些实施例的可选实现方式中，第一信息包括第一相位信息和第一振幅信息，第二信息包括第二相位信息和第二振幅信息，第三信息包括第三相位信息和第三振幅信息，第四信息包括第四相位信息和第四振幅信息。

在一些实施例的可选实现方式中，可以理解的是，该装置中记载的各模块与参考图1描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置及其中包含的模块、单元，在此不再赘述。

图9示例了一种电子设备的实体结构示意图，如图9所示，该电子设备可以包括：处理器(processor)910、通信接口(Communications Interface)920、存储器(memory)930和通信总线940，其中，处理器910，通信接口920，存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的逻辑指令，以执行基于双波长TOF相机的透散射介质深度恢复方法，该方法包括：获取双波长TOF相机测量的在散射环境中的目标区域的第一信息和第二信息，第一信息对应第一波长，第二信息对应第二波长；获取双波长TOF相机测量的在散射环境中的预设点的第三信息和第四信息，第三信息对应第一波长，第四信息对应第二波长，目标区域包括至少一个待测点；根据第三信息和第四信息确定双波长TOF相机在散射环境中的散射分量幅值比；根据散射分量幅值比校正第二信息，根据第一信息和校正后的第二信息恢复对应目标区域的深度信息。

此外，上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例上述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，上述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，上述计算机程序包括程序指令，当上述程序指令被计算机执行时，计算机能够执行上述各方法所提供的基于双波长TOF相机的透散射介质深度恢复方法，该方法包括：获取双波长TOF相机测量的在散射环境中的目标区域的第一信息和第二信息，第一信息对应第一波长，第二信息对应第二波长；获取双波长TOF相机测量的在散射环境中的预设点的第三信息和第四信息，第三信息对应第一波长，第四信息对应第二波长，目标区域包括至少一个待测点；根据第三信息和第四信息确定双波长TOF相机在散射环境中的散射分量幅值比；根据散射分量幅值比校正第二信息，根据第一信息和校正后的第二信息恢复对应目标区域的深度信息。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的基于双波长TOF相机的透散射介质深度恢复方法，该方法包括：获取双波长TOF相机测量的在散射环境中的目标区域的第一信息和第二信息，第一信息对应第一波长，第二信息对应第二波长；获取双波长TOF相机测量的在散射环境中的预设点的第三信息和第四信息，第三信息对应第一波长，第四信息对应第二波长，目标区域包括至少一个待测点；根据第三信息和第四信息确定双波长TOF相机在散射环境中的散射分量幅值比；根据散射分量幅值比校正第二信息，根据第一信息和校正后的第二信息恢复对应目标区域的深度信息。

以上所描述的装置实施例仅仅是示意性的，其中上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分上述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。