用于图像处理的设备和方法

技术领域

本发明涉及场景中的深度估计。场景可以用视觉图像表示。深度估计过程可以通过使用来自视觉图像的数据以及表示场景中至少一些位置的深度的其它数据来实现。场景可能位于一个或多个传感器的视场内。

背景技术

人们在计算机视觉领域开展了大量工作，来开发能够估计视觉图像中各位置深度的系统。例如，通过识别图像中的特征，经过适当训练的神经网络可以估计从基准点(例如，捕获图像的相机的位置)到图像中某个位置处所描绘项目的位置的距离。另一个研究领域是用于直接估计深度的传感器设备，例如，通过在选定方向上发射信号并估计该信号返回所需的时间。每种方法都依赖一些已知信息来推断深度信息。已知的数量是各种传感器设备方法的区别所在。已知信息的示例包括传感器对之间的空间距离(立体)、已知光模式(编码光或结构光)和光速(LiDAR、飞行时间测量)。在每种情况下，均使用已知变量来估计深度，例如与图像中事先并未获知深度数据的位置的距离。

对深度估计方法进行细分的一种常见方法是区分所谓的被动方法和所谓的主动方法。被动方法通常从可见光谱图像中检索深度信息，并考虑两视图图像(空间、“立体”)、多视图图像(也称为“立体”或“时间”，“当前时间”)，以执行图像对应匹配和三角测量/三边测量。立体深度相机具有两个通常间隔距离较小的传感器，系统可以比较来自这些传感器的两个图像，它们对相同或至少重叠的视场进行成像。由于捕获图像的传感器之间的距离是已知的，因此这些比较可以提供深度信息。

对于单视点的图像，可以确定到一条线的距离。对于第二视点的图像，可以通过比较图像内容来推断到其它位置的正确距离。立体装置能够可靠测量的最大距离与两个传感器的间距直接相关。基线越宽，系统越能可靠地推断距离。距离误差随距离呈二次曲线增大。人们已对立体技术领域开展几十年的深入研究，且该领域仍然是一个活跃的研究领域，但仍然存在阻碍实际应用的固有问题。这些问题包括需要精确的图像校正(即通过计算得到共面和水平对齐的图像平面)以及在场景的无纹理区域(图像空间的区域)中执行对应匹配的病态性质。

另一种深度估计形式是使用飞行时间。这称为主动方法。将光投射到场景中，然后可以根据回声信号测量深度信息。可以将基于飞行时间(time-of-flight，ToF)的技术视为主动深度感测的最新方法。ToF相机通过测量发射光和反射光之间的相位差或光从照明源往返场景所需的时间来确定深度信息。ToF设备通过比相当的激光距离扫描仪更快，并且能够实时捕获动态场景的深度信息。间接ToF测量：在照明源和接收传感器不存在空间入射的情况下，与消费类和高端可见光谱无源相机(可能具有数百万像素的分辨率)相比，通常噪声相对较大，且图像分辨率较低(例如，200×200像素)。根据光的功率和波长，飞行时间传感器可以在很远的距离测量深度。LiDAR传感器利用光速知识，本质上是使用激光进行深度计算的飞行时间相机。激光距离扫描仪设备是最早的主动方法，通常可以实现较高的精度。然而，由于激光扫描的逐层性质，它们非常耗时且通常不适用于动态场景。与其它ToF相机类似，这些设备发射光束并将光束扫过场景，以测量光返回相机上的传感器所需的时间。飞行时间相机(低功率)的一个缺点在于，它们容易受到同一空间中的其它相机的影响，并且在室外条件下可能无法正常工作。在室外条件下实现强大性能需要更高的能量，但通常只能提供稀疏的深度信号。如果可能出现在传感器上记录的光可能不是从特定相关相机(例如，来自某些其它来源，如太阳或其它相机)发出的光的情况，这将对所获得的深度估计质量产生不利影响。直接ToF最重要的误差源通常归结为多路径干扰(multi-pathinterference，MPI)，即光从正确的(原始)光源发射但在场景内多次反射后进行测量的情况，这严重影响距离测量。

另一类有源传感器基于结构光或编码光的原理。这些传感器依赖使用光发射器设备将光模式(通常来自光谱的不可见部分，例如红外)投射到场景中。投射的模式是视觉、当前时间模式或其组合。由于投射光构成设备已知的模式，因此相机传感器感知场景中的模式的性质可以提供深度信息。利用预期图像模式和实际图像(通过相机所看到的)之间的差异，可以计算每个像素(密集的“深度图”)到相机传感器的距离。结构光传感器现在可以视为一项相当成熟的技术，市场上可提供商用硬件和一系列消费类设备。该技术依赖准确捕捉投射到场景中的光，因此设备在室内相对较短的距离(受发光功率的影响)内表现最佳。如果环境中存在因其它相机或设备在光谱的公共部分(例如红外)发射光而产生的其它噪声，则性能也可能会受到影响。这些传感器生成的深度图也可能包含孔洞，这是由于光投影源和观察光的(红外)相机之间的相对位移造成的遮挡。

除强度、速度和颜色(波长)之外，另一种在深度光度恢复任务中较少得到广泛考虑的光信息来源是光偏振。光偏振受场景中的因素影响，例如表面形状、表面曲率、表面材料以及物体相对于光源的位置。因此，偏振可提供关于表面几何形状和场景深度的附加信息信号。特别是，偏振成像可以用于镜面反射和透明物体的形状确定，其中，反射的强度和波长不太明确(例如，透明物体将呈现其背后任何物体的颜色)。基本假设是场景被非偏振光照亮，因此可以假设检测到的任何偏振均由表面反射引起。相关的假设是观察到的物体具有光滑的反射表面。通过测量入射到相机上的光偏振度，可以获得表面法线的方向，然后，通过在场景中足够数量的点处获取这些表面法线可以重建场景表面。偏振相机提供的信号的性质有助于在表面法线方向的物理反演方面提供可靠的信息，并且通常可以提供对比度增强和反射去除。然而，该模式易受表面逐点绝对距离误差的影响。

有源距离传感器通常用于估计精度和稳健性非常重要的应用，例如机器人和其它自治系统。然而，很多因素使得在每种场景中仅依靠昂贵的有源传感器不可行，即：场景几何约束、尺寸、功率(有源照明)、散热、无源元件与有源元件的预期寿命/持续时间。当前基于学习的方法已与许多输入模式结合使用，但现在可以通过仅依靠无源传感器输入的方法来实现合理的性能。这些模型通常将RGB图像(单目或立体)视为输入，并利用最近的学习策略。最近开展的工作利用全监督卷积神经网络(convolutional neural network，CNN)根据无源立体图像对(参见J.

先前的工作也存在结合视觉模式。最近的立体相机装置(前面讨论过)也可以具有“有源”组件，并将红外光投射到场景中，以进一步提高深度估计精度。与结构光或编码光相机相比，立体相机可以使用光谱的任何部分来测量深度。由于这些装置使用任何视觉特征来测量深度，因此它们能够在大多数光照条件(包括室外)下工作。增加红外发射器，使得这些装置也能够在弱光条件下工作，因为相机仍然能够感知深度细节(参见Y.Zhang、S.Khamis、C.Rhemann、J.Valentin、A.Kowdle、V.Tankovich、M.Schoenberg、S.Izadi、T.Funkhouser和S.Fanello于2018年在欧洲计算机视觉国际会议(European Conferenceon Computer Vision，ECCV)论文集中发表的文章“面向主动立体系统的端到端自监督学习”(第784至801页))。

图1示出了逐点距离误差和表面方向误差。深度估计由表面表示。顶行说明逐点距离误差统计数据可以区分到相机传感器的距离(右上)，但在区分不同表面法线方向方面提供的信息很少(左上)。ToF传感器对这种深度估计误差很敏感。底行说明表面方向误差统计数据(左下)能够区分法线方向差异，但难以消除相机传感器距离差异(右下)的歧义。偏振传感器对这种深度估计误差更敏感。

总之，深度感知是计算机视觉领域的基本挑战之一。可以通过准确的场景深度估计来实现大量应用。在这些应用中，稳健、准确和实时的深度估计设备(及技术)将成为有用的使能组件。

现有方法通常存在以下问题。激光扫描仪速度太慢，无法实时使用。无源立体无法在无纹理场景中使用。飞行时间传感器可提供对每个像素的实时独立估计，但通常分辨率低、噪声大、校准差。光度立体容易产生低频失真，偏振信号可能很难获得准确的绝对距离。

当多种模式可用于捕获常见场景时，可以利用涉及传感器融合的策略来改进深度估计，即组合多个互补信号源以提高深度估计精度。

发明内容

根据一方面，本发明提供了一种用于在视场上估计景深的图像处理装置，所述装置包括一个或多个处理器，用于：接收捕获的偏振图像，所述偏振图像表示在所述视场上第一组多个位置处接收的光偏振；使用经过训练的第一神经网络处理所述捕获的偏振图像，以形成所述视场上一个或多个位置的第一深度估计值；接收测距数据，所述测距数据表示从基准点到所述视场上一个或多个位置的环境距离；使用经过训练的第二神经网络处理所述测距数据，以形成所述视场上第二组多个位置的第二深度估计值；通过使用第一解析公式处理所述第一深度估计值和所述第二深度估计值中的一个或两个，来形成合成偏振图像，所述合成偏振图像表示在所述视场上第三组多个位置处接收的光偏振估计值；通过使用第二解析公式处理所述第一深度估计值和所述第二深度估计值中的一个或两个，来形成合成测距数据，所述合成测距数据表示到所述视场上一个或多个位置的所述环境距离估计值。

与机器学习/神经网络等其它方法不同的是，使用解析公式形成所述合成数据可以降低相应任务的计算复杂度。这可以使它们更容易在小型设备上实现。

一旦形成所述合成偏振图像和所述合成测距数据，即可将它们分别与所述捕获的偏振图像和所述已接收测距数据进行比较。对于所述图像的区域，该比较可以用于选择所述合成测距数据或所述已接收测距数据，以表示所述图像的所述区域的深度估计。

所述第一组、第二组和第三组多个位置可以相同，也可以不同。如果它们都包括在一组共同的点或区域处，则非常方便，因为这可以轻松地比较数据。

所述偏振图像可以表示在一个或多个预定偏振下在所述视场上多个位置接收的光偏振。这可以允许选择优选的深度估计，而不考虑从所述视场的给定部分捕获的光的实际偏振。

所述图像处理装置可以包括用于形成所述测距数据的有源传感器装置。所述有源传感器装置可以包括飞行时间传感器。所述传感器可以位于同一位置。它们可以连接在一起，以对相同或重叠的场景进行成像。这有助于实现所述已捕获数据的主题之间的通用性。

所述装置可以用于形成多个合成偏振图像，所述合成偏振图像由所述第一解析公式针对多个假定反射特性来估计。这可以允许选择优选的深度估计，而不考虑从所述视场的给定部分捕获的光的实际偏振。

所述假定反射特性可以包括漫射性和镜面反射性。这可以允许对不同表面的行为进行建模。

所述装置可以用于形成多个合成偏振图像，所述合成偏振图像由所述第一解析公式针对多个假定偏振来估计。这可以使所述系统受益于在多个偏振下捕获图像的相机。

所述装置可以用于形成多个合成偏振图像，所述合成偏振图像由所述第一解析公式针对多个假定颜色来估计。这可以使所述系统适应所述已捕获图像中不同颜色的反射光。

将所述偏振图像与所述合成偏振图像进行比较的步骤可以包括：通过为所述视场中的每个位置选择保存估计偏振信息的所述多个合成偏振图像，将所述多个合成偏振图像缩减至所述合成偏振图像，该位置的所述偏振信息具有最小估计误差。这可以允许选择估计的优选深度。

所述第一解析公式可以用于根据所述相应位置处至少一个偏振图像的强度，来形成到所述视场上多个位置的距离估计值。这有助于改进距离估计。

所述第二解析公式可以用于根据相应相位偏移，为所述视场上多个位置中的每一个形成到所述相应位置的距离的多个估计值。这可以允许选择这些估计值中的优选值。

所述图像处理装置可以包括用于捕获所述捕获的偏振图像的相机。然后，可以根据上述计算来增强由所述相机捕获的图像。

所述捕获的偏振图像可以包括立体偏振图像。这有助于形成深度信息。

所述第一神经网络和所述第二神经网络相同。这可以降低计算复杂度和内存需求。

所述第一解析公式可以用于根据第一分角和第二分角形成的角度的三角函数来计算偏振估计值，所述第一分角根据相应表面的法线来计算，所述第二分角表示候选偏振角。通过这种方式，此类公式可以应用反射行为的模型。

所述第二解析公式可以用于根据相位值形成的角度的三角函数来计算距离估计值，所述相位值根据相应表面的深度来计算。通过这种方式，此类公式可以应用反射行为的模型。

根据第二方面，本发明提供了一种用于在视场上估计景深的计算机实现的方法，所述方法包括：接收捕获的偏振图像，所述偏振图像表示在所述视场上第一组多个位置处接收的光偏振；使用经过训练的第一神经网络处理所述捕获的偏振图像，以形成所述视场上一个或多个位置的第一深度估计值；接收测距数据，所述测距数据表示从基准点到所述视场上一个或多个环境位置的距离；使用经过训练的第二神经网络处理所述测距数据，以形成所述视场上第二组多个位置的第二深度估计值；通过使用第一解析公式处理所述第一深度估计值和所述第二深度估计值中的一个或两个，来形成合成偏振图像，所述合成偏振图像表示在所述视场上第三组多个位置处接收的光偏振估计值；通过使用第二解析公式处理所述第一深度估计值和所述第二深度估计值中的一个或两个，来形成合成测距数据，所述合成测距数据表示到所述视场上一个或多个环境位置的所述距离估计值。

附图说明

现将参考附图通过示例的方式对本发明进行描述。在附图中：

图1示出了深度估计技术；

图2为用于执行深度估计的设备的示意图；

图3示出了根据偏振、相关ToF输入图像模式进行深度估计的网络架构的第一个示意图；

图4示出了根据偏振、相关ToF输入图像模式进行深度估计的网络架构的第二个示意图。

具体实施方式

图2示出了用于实现本系统的设备。在该示例中，所述设备是手机，但它可以是任何合适的设备和/或可以在多个单独的设备之间划分所描述的功能。

图2中所示的设备包括容纳其它组件的壳体1。相机2和有源深度传感器3连接到所述壳体。所述相机2和所述传感器3相连，使得它们对相同或至少重叠的视场进行成像。处理器5(可以有多个处理器)以通信方式耦合至所述相机和所述深度传感器，以从所述相机和所述深度传感器接收数据。存储器6耦合至所述处理器。所述存储器以非瞬时形式存储代码，所述代码可由所述处理器执行，以执行本文描述的功能。通过使此类代码可用于执行，根据通用处理器调整所述处理器，以执行这些功能。图2中所示的设备为手持式，通过电池或其它本地能量存储器7供电。

图2中所示的相机2可以包括图像传感器和(可选地)一些板载处理能力。例如，所述有源深度传感器可以是ToF传感器。它还可以包括一些板载处理能力。

图2中所示的设备可以具有收发器8，所述收发器能够通过网络与其它实体通信。这些实体可以在物理上远离图2中所示的相机设备。所述网络可以是公共可访问网络，例如互联网。其它实体可以基于云。这些实体是逻辑实体。实际上，它们中的每一个都可以由一个或多个物理设备(例如，服务器和数据存储区)提供，并且两个或多个所述实体的功能可以由单个物理设备提供。实现这些实体的每个物理设备包括处理器和存储器。所述每个设备还可以包括收发器，用于向图2所示设备的收发器8发送数据并从该收发器接收数据。每个存储器以非瞬时方式存储代码，所述代码可由相应的处理器执行，以通过适当的方式实现相应实体。

在对图2所示设备有利的情况下执行处理时，该处理可以仅在该设备处进行，或者可以将其全部或部分卸载到上述其它实体。

下文描述的系统可以估计来自多个视觉信息源的场景深度。基于学习的流水线能够组合多个信息源，以恢复场景深度估计。人们已经发现，与使用来自单一模式的估计的情况相比，该架构可以提供更高的精度。

从图像中获取的深度信息本质上可以由指示以下两项的信息组成：(1)表面方向和(2)到捕获所述图像的传感器的逐点距离。此类传感器在捕获图像时的位置可以视为用于估计所述图像深度的基准点。下文描述的方法融合来自多个模式的信息。需要利用各个传感器的优势并从部件中获得一致信息。

在本系统中，使用基于学习的策略来执行深度估计，该策略涉及来自多个模式的自监督一致性数据。所述系统组合来自多个图像模式的信息。在下文描述的示例中，这些模式是(1)来自飞行时间(time-of-flight，ToF)传感器的直接测量深度数据和(2)来自视觉图像的偏振数据。下文描述的框架可以获知(或提供已获知的)深度估计模型。这种模型的学习可能基于这样一个概念，即输入信号表示一致的外部世界，因此必须在图像模式之间保持一致。因此，例如，如果所述图像的一部分的深度值都相同，则它们表示一个平面，并且在该区域中提取的法线需要相似。人们已经发现，这会产生一种能够估计深度的方法，该方法使用多个图像源进行训练，但在推断时仅需要单一模式。

可以利用空间、时间和物理模型一致性的信号对用于此目的的端到端流水线进行训练，而不需要地面真值注释标签。所生成的模型可以利用立体、时间信号以及来自不同模式(例如ToF和偏振图像)的数据。对于具体的示例，可以观察到，ToF数据在近距离时通常较清晰，并且可以提供关于场景表面(目标)和相机传感器(基准点)之间绝对深度距离的可靠信息。在这种情况下，有源传感器较为精确，因为没有对应匹配要求。相比之下，人们已经注意到，偏振数据虽然也较清晰，但在这方面不一定准确。然而，使用下文描述的方法，偏振数据可以在正确识别表面法线方向方面提供益处。使用该模式提供漫反射光的偏振状态信息，这反过来允许在无特征表面上建立对应关系，从而在通常具有挑战性的装置中实现基于立体的表面恢复。当前基于学习的策略允许隐式地利用这些模式(短程、长程)的不同优势。多种模式下的学习也会提高单一个体模式的质量。

基于学习的方法现在能够通过单个RGB图像获得深度估计，但是，大量现有方法将深度预测视为监督回归问题，因此需要大量相应的地面真值数据来进行模型训练。在一系列环境中获得高质量的深度数据以作为地面真值标签，可能被视为代价非常高昂，而且通常不可行。作为在一系列环境中收集地面真值深度数据这一具有挑战性的任务的替代方案，最近人们提出了自监督方法，取消了对每像素标签的要求。然后，使用(用于获取的)双目立体镜头或单目视频以及适当的图像重建训练损失的定义来定义自监督训练信号。通过这种方式，可以使用(1)两个传感器或(2)循环式重建方法来构建自监督损失，其中，可以考虑将原始输入数据与其重建版本进行比较。

自监督策略可以扩展到多个图像模式。对于一组所考虑图像模式(例如，偏振、ToF)中的每一个，本模型利用具有单个解码器网络头的自动编码器式架构来执行深度和表面法线预测任务。通过使用从预测深度到表面法线的解析(导数)转换，可以强制实现模式内任务头的一致性。通过比较和惩罚偏振和ToF图像网络输出之间缺乏(1)深度预测一致性和(2)表面法线预测一致性，还可以确保模式间输出一致性。使用左右立体图像对并在图像重投影之间进行左右一致性检查实现(自)监督。这使得能够训练具有几何一致性的模型，而无需地面真值标签。自监督空间一致性的自适应利用第二传感器，而自监督时间一致性的自适应利用视频数据。总之，结合使用的模式(偏振、ToF)的内在特性通过建立用于学习的物理一致性模型，来改进距离和几何形状估计。这使得我们能够为每个(两个)图像模式定义相同的模型学习策略。可以注意到，镜面反射和漫射掩模也被确定为偏振过程的附带结果。图3提供了当前模型架构的概览示意图。图4描述了如何组合多个架构。

图3示出了用于所述处理的模型的概览。所述模型输入为ToF相关图像或偏振图像，所述输出为深度图和法线图。所述架构由传统的“U-net”(参见O.Ronneberger、P.Fischer和T.Brox于2015年10月在国际医学图像计算与计算机辅助介入大会上发表的文章“Unet：用于生物医学图像分割的卷积网络”(第234至241页)，Springer，Cham.)和跳跃连接组成。所述编码器组件使用“Resnet”(参见K.He、X.Zhang、S.Ren和J.Sun于2016年在《IEEE国际计算机视觉与模式识别会议论文集》中发表的文章“深度残差学习的图像识别”(第770至778页))样式的块，而所述解码器是具有层大小调整的卷积级联。每个编码器有两个解码器。每个解码器输出不同的目标；一个用于深度图像，另一个用于正常图像。最后，对所述深度进行解析转换(例如，在每个位置处使用x和y方向上图像导数的交叉乘积)，以形成第二正常图像。然后，在训练时使用两个正常图像以加强一致性，而所述深度是输出(最终产品)。

图4示出了如何将其中两个U-Net架构组合在一起。使用所述解析公式(例如，参见下文)，可以根据预测深度形成对所述输入(ToF或偏振)的预测。然后将这些预测输入与实际输入进行比较，以帮助指导所述网络预测更准确的深度。因此，例如，使用来自ToF预测深度的预测ToF以及来自偏振预测深度的预测ToF，来指导将ToF作为输入并返回深度的所述网络，反之亦然。

解析公式用于(i)从测量的偏振数据(以一个或多个图像的形式，其可以适当的角度通过偏振滤波器捕获)估计合成深度数据，以及(ii)从测量的深度数据估计合成偏振数据。然后，可以将所述合成偏振数据与所述已测量偏振数据进行比较，并且可以将所述合成深度数据与所述已测量深度数据进行比较。可以识别相关视场的多个区域。对于每个此类区域，可以基于有关内部最具一致性的深度数据源的比较进行选择，并且该源指示的深度可以视为相应区域的深度。或者，可以使用融合来自多个源的数据的另一种手段，例如通过简单平均数、通过选择与相邻区域最一致的值或通过使用图像中的其它信息(例如亮度)。

第一解析公式可以用于根据测量或估计的深度数据形成合成偏振数据。

大多数光源发射非偏振光。当光发射到物体上，它会变成偏振光。偏振相机沿不同方向

其中，

偏振参数ρ和φ来自漫射表面(d)或镜面反射表面(s)，如下所示：

其中，

其中，α是法线

最后，得到所述方位角α和所述视角θ，如下所示：

其中，通过以下公式得到从所考虑的点指向所述相机的中心的视点矢量

且

其中，c

间接飞行时间传感器测量发送的已知信号和接收的测量信号之间的相关性。采用四桶采样策略，可以恢复所述传感器到物体的距离。四个相关性测量建模如下所示：

其中，i∈{0,1,2,3}(6)

其中，A为幅度，I为强度，φ为发射信号和接收信号之间的相位差：

等式6示出了所有i值的四个图像。

比较所述合成和测量深度和偏振数据时，可以选择来自所述第一公式的24个图像中每一个的最佳图像和来自所述第二公式的四个最佳图像，以保持一致性。

为训练合适的神经网络以实现本系统，可以通过输入格式形成训练数据，包括：视频速率I-ToF和立体偏振(同步)成像源。为获得这些数据，构建了概念验证实施例。它有一个硬件相机装置，通过真实世界(室内、室外)的图像数据来测试所提出的训练和推理概念。所述硬件装置由偏振立体相机、飞行时间(time-of-flight，ToF)传感器和结构光有源传感器组成。它能够捕获1280×720深度图像(来自有源传感器)、2448×2048彩色偏振原始图像(×2)、4×640×480 8位相关图像(ToF)。使用硬件触发器同步图像捕获模式，使得一个主相机通过其曝光有源电侧翼触发其它主相机，并且这使得能够以大约每秒10帧的速度捕获数据。其它手动控制可用于相机装置曝光、增益、对焦和光圈设置。

申请方在此单独公开本文描述的每一个体特征及两个或两个以上此类特征的任意组合。以本领域技术人员的普通知识，能够基于本说明书将此类特征或组合作为整体实现，而不考虑此类特征或特征的组合是否能解决本文所公开的任何问题，并且不限于权利要求的范围。本申请表明本发明的各方面可由任何这类单独特征或特征的组合构成。鉴于前文描述可在本发明的范围内进行各种修改对本领域技术人员来说是显而易见的。