具有结构光照明器的飞行时间传感器

相关申请的交叉引用

本申请要求2018年11月1日提交的美国专利申请No.16/177,626的优先权，其内容通过引用并入本文。

背景技术

飞行时间(ToF)传感器典型地提供关于场景的低分辨率深度信息，但可能在对高反射性或者高吸收性材料进行成像时经受杂散光“辉散(blooming)”和/或提供不准确深度信息。

结构光可以包含根据期望的或者预先确定的照明图案和/或照明安排发射的光。一些光源可以配置为用结构光照明场景。

发明内容

本公开有利地组合ToF传感器和结构光的方面，以提供更准确、更高分辨率的深度信息。

在第一方面，提供了一种传感器系统。传感器系统包含至少一个飞行时间(ToF)传感器，其配置为从场景接收光。传感器系统还包含至少一个光源，其配置为发射结构光图案。此外，传感器系统包含执行操作的控制器。操作包含使至少一个光源用结构光图案照明场景的至少一部分。操作还包含使至少一个ToF传感器基于结构光图案提供指示场景的深度图的信息。

在第二方面，提供了一种系统。系统包含多个传感器系统，其配置为耦接到交通工具。每个传感器系统包含至少一个飞行时间(ToF)传感器和至少一个成像传感器。至少一个ToF传感器和至少一个成像传感器配置为从场景接收光。每个传感器系统还包含配置为发射结构光图案的至少一个光源和执行操作的控制器。操作包含使至少一个光源用结构光图案照明场景的至少一部分。操作还包含使至少一个ToF传感器基于结构光图案提供指示场景的深度图的信息。操作附加地包含使成像传感器基于结构光图案提供指示场景的图像的信息。

在第三方面，提供了一种方法。方法包含使至少一个光源用结构光图案照明场景。方法附加地包含基于结构光图案从飞行时间(ToF)传感器接收关于场景的信息。方法还包含基于所接收的信息确定场景的深度图。方法还包含基于场景的深度图确定关于场景的至少一个推断。

在第四方面，提供了一种方法。方法包含提供先验信息。先验信息包含场景的三维信息。方法包含使至少一个光源用结构光图案照明场景。方法还包含使至少一个ToF传感器基于结构光图案提供指示场景的深度图的飞行时间信息。

通过阅读以下详细描述并适当参考附图，其他方面、实施例和实现方式对本领域普通技术人员将变得显而易见。

附图说明

图1图示了根据示例性实施例的系统。

图2图示了根据示例性实施例的系统的操作情景。

图3A图示了根据示例性实施例的交通工具。

图3B图示了根据示例性实施例的传感器单元。

图3C图示了根据示例性实施例的光源。

图4A图示了根据示例性实施例的感测情景。

图4B图示了根据示例性实施例的感测情景。

图4C图示了根据示例性实施例的各种结构光图案。

图4D图示了根据示例性实施例的结构光图案。

图5图示了根据示例性实施例的方法。

图6A图示了根据示例性实施例的感测情景。

图6B图示了根据示例性实施例的感测情景。

图7图示了根据示例性实施例的方法。

具体实施方式

在此描述了示例方法、装置和系统。应当理解，在此使用的“示例”和“示例性”的词表示“作为示例、实例或说明”。在此描述为“示例”或“示例性”的任何实施例或特征不一定被解释为优选或优于其他实施例或特征。在不脱离这里呈现的主题的范围的情况下，可以利用其他实施例，并且可以做出其他改变。

因此，这里描述的示例实施例并不意味着是限制性的。本公开的各方面，如在此总体描述的和在图中图示的，可以以多种不同的配置进行布置、替换、组合、分离和设计，所有这些在本文中都是预期的。

此外，除非上下文另有说明，否则每个附图中所示的特征可以相互组合使用。因此，应将附图大体上视为一个或多个整体实施例的组成方面，应理解并非所有图示的特征对于每个实施例都是必需的。

I.概述

成像传感器典型地提供场景的高质量高分辨率二维图像，但典型地不提供独立深度信息。飞行时间(ToF)传感器典型地提供关于场景的低分辨率深度信息，但在存在高反射性物体的情况下可能经受伪影(诸如图像辉散)或者在存在反射性和吸收性物体的混合场景的情况下经受不准确的深度测量。本公开有利地组合两种类型的传感器的符合期望的方面，以提供更准确更高分辨率的深度信息。

在一些示例中，当给定传感器像素吸收足够的光子使得光生载流子的数目超出满阱容量(FWC)时，可能发生辉散。在这样的情景中，在达到FWC时，过量的载流子可能“溢出”到相邻的传感器像素中，产生拖尾效应或者模糊效应，这可能降低图像质量和/或降低深度信息的置信度。

混合成像系统可以包含：1)至少一个ToF传感器；2)可选的成像传感器；3)至少一个光源，用于使用连续波(CW)、脉冲的或非周期性的照明用结构光照明场景；以及4)控制器，其可以包含计算机、处理器、和/或深度神经网络。ToF传感器和成像传感器可以在空间上彼此配准，并且可以采用相同光学路径的重叠部分。例如，ToF传感器和成像传感器可以空间上彼此配准，使得它们具有相似(例如，大致相同)视场，并且它们的相对位置和取向可以是已知的和/或关于彼此固定。

这样的混合成像系统的多个传感器单元中的每个传感器单元可以安装在交通工具的每侧(或角部)。相应的传感器单元还可以安装在交通工具上的各种位置处的一个或多个自转的平台中。在示例性实施例中，每个传感器单元可以包含交通工具周围的场景的180度视场。在一些实施例中，传感器单元可以定位在交通工具上，从而具有交通工具周围的环境的部分地重叠的视场。

在示例性实施例中，为避免辉散或其他深度信息伪影，多个ToF传感器可以与给定传感器单元中的一个或多个图像传感器相关联。相应的ToF传感器可以被铺开(例如，间隔开10cm或者更大)，从而降低来自镜面反射和其他明亮光源的辉散的效应。在一些实施例中，ToF传感器可以在10-100MHz之间操作，然而其他操作频率是预期的且是可能的。在一些实施例中，可以基于期望的最大深度感测范围来调整相应的ToF传感器的操作频率。例如，ToF传感器对近似7.5米的期望深度感测范围(例如，明确范围)可以在20MHz操作。在一些实施例中，ToF传感器可以具有100米或者更大的最大期望深度感测范围。

在一些实施例中，ToF传感器可以包含CMOS或者CCD感光元件(例如，硅PIN二极管)。然而，其他类型的ToF传感器和ToF传感器元件是预期的。在一些情况下，ToF传感器可以使用各种相移模式(例如，2x或者4x相移)操作。

在一些实施例中，成像传感器可以包含RGB成像传感器，诸如百万像素型相机传感器。成像传感器可以包含多个CMOS或者CCD感光元件。

在一些示例中，一个或多个光源可以用于照明场景(或场景的相应部分)。在这样的情景中，光源可以被调制为提供预先确定的光脉冲(或一系列光脉冲)，预先确定的光脉冲可以结合ToF传感器使用以提供深度信息。附加地或替代地，可以选择一系列光脉冲(例如，脉冲重复率、脉冲持续时间和/或占空比)，从而提供成像传感器的期望曝光。

一个或多个光源可以包含沿着交通工具的一部分设置的光带。附加地或替代地，一个或多个光源可以包含光面板的网格，其每个分段可以单独地提供不同的光脉冲。又另外，一个或多个光源可以提供可以以逐点和/或扫描方式移动的一个或多个光束。

一个或多个光源可以以CW和/或以脉冲的(例如，正弦波、锯齿或方波)操作模式操作。在没有限制的情况下，一个或多个光源可以包含以下中的至少一者：激光二极管、发光二极管、等离子体光源、闪光灯(strobe)、固态激光器、光纤激光器、或其他类型的光源。一个或多个光源可以配置为在红外波长范围(例如，850、905、940和/或1550纳米)发射光。在一些实施例中，可以使用多个照明光波长来消除多个光源之间的分歧等。附加地或替代地，可以基于环境中的环境光的量和/或当日时间调整照明波长。

在另一示例性实施例中，一个或多个光源可以将结构光图案发射到环境中。结构光图案可以提供改善的配准和/或对辉散效应的抗性。作为示例，结构光图案可以通过使光透射穿过衍射性光学元件而形成。在另一实施例中，激光光图案(例如，随机激光散斑或者预先确定的激光光图案)可以用于提供结构光图案。在又一些其他实施例中，可变形或者可调整的反射性、衍射性或折射性表面(例如，微反射镜阵列)可以用于提供结构光图案和/或使图案关于场景偏移。

附加地或替代地，一个或多个光源可以配置为发射一类或多类的结构光图案。例如，结构光图案的类别可以包含一个或多个空间类别，其中根据预先确定的空间光图案照明(或不照明)视场的一些区域。结构光图案的其他类别可以包含时间类别，其中根据预先确定的时间照明安排在不同的时间来照明视场的各种区域。结构光的又一些类别可以包含光谱类别，其中根据预先确定的光谱照明图案用不同的波长或者波段的光照明视场的各种区域。然而，在本文中形成结构光图案的其他方式是可能的且是预期的。

在一些实施例中，结构光图案可以用于消除场景内的空间位置的分歧。例如，结构光图案可以包含圆形和/或卵形光“斑”。基于例如光穿过衍射性光学元件的发射角或者关于光源在场景中的空间位置，每个斑可以具有不同的形状或者取向(例如，旋转、空间范围、曲率半径、伸长度(elongation)等)。在一些实施例中，光学元件的预先确定的像散可以用于消除结构光图案中的光点之间分歧。

控制器可以可操作以组合相应的传感器的输出(例如，使用传感器融合)和/或进行关于交通工具周围的三维场景的推断。例如，控制器可以进行推断以提供交通工具的周围的灰度或者色彩强度图。推断可以附加地或替代地提供关于交通工具的环境中的物体的信息。在示例性实施例中，物体信息可以被以60或者120Hz的刷新率提供。然而，其他刷新率是可能的且是预期的。

在示例性实施例中，系统可以包含一个或多个深度神经网络。可以使用(多个)深度神经网络来基于训练数据和/或交通工具的操作上下文提供推断。在一些情况下，可以将低分辨率深度信息和图像信息提供到深度神经网络。随后，深度神经网络可以基于所接收的信息进行推断和/或以高分辨率提供输出深度图(例如，点云)。

在一些实施例中，ToF传感器、图像传感器、光源和控制器中的两者或更多者可以耦接到相同的衬底。即，系统可以包含单片芯片或者衬底，从而提供较小的传感器封装体和/或提供其他性能改善。

II.示例性系统

图1图示了根据示例性实施例的系统100。系统100包含至少一个飞行时间(ToF)传感器110或ToF相机。在示例性实施例中，至少一个ToF传感器110可以包含多个互补金属氧化物半导体(CMOS)或电荷耦合装置(CCD)感光元件(例如，硅PIN二极管)。ToF传感器110可以采用其他类型的感光元件。

在一些实施例中，至少一个ToF传感器110可以配置为基于光速主动地估计到其相应的视场中的环境特征的距离。例如，ToF传感器110可以测量光信号(例如，光脉冲)在光源(例如，光源130)与场景中的物体之间行进的飞行时间。基于估计来自场景内的多个位置的光脉冲的飞行时间，可以基于ToF传感器的视场建立测距图像或者深度图。虽然距离分辨率可以为1厘米或者更小，但横向分辨率与标准2D成像的相机相比可能较低。

在一些实施例中，ToF传感器110可以以120Hz或者更快地获取图像。在没有限制的情况下，ToF传感器110可以包含测距选通成像器或者直接飞行时间成像器。

可选地，系统100还可以包含至少一个成像传感器120。在示例性实施例中，成像传感器120可以包含多个感光元件。在这样的情景中，多个感光元件可以包含至少一百万个感光元件。至少一个ToF传感器110和至少一个成像传感器120配置为从场景接收光。

系统100还包含至少一个光源130。在示例性实施例中，至少一个光源130可以包含以下中的至少一者：激光二极管、发光二极管、等离子体光源、闪光灯、固态激光器或光纤激光器。其他类型的光源是可能的且在本公开中是预期的。至少一个光源130可以包含光带(例如，沿着交通工具的一部分设置)。附加地或替代地，至少一个光源130可以包含例如光面板的网格，其每个分段可以单独地提供不同的光脉冲。又另外，至少一个光源130可以提供可以以逐点和/或扫描方式移动的一个或多个光束。至少一个光源130可以以连续波(CW)模式和/或以脉冲的(例如，正弦波、锯齿或方波)操作模式操作。

在示例性实施例中，至少一个光源130可以配置为发射红外光(例如，900-1600纳米)。然而，其他波长的光是可能的且是预期的。

在一些实施例中，至少一个光源130可以配置为根据期望的结构光图案将光发射到环境中。结构光图案可以包含由至少一个光源130的例如环境的非周期性和/或非均匀照明。例如，期望的结构光图案可以包含棋盘图案、点图案、条图案、散斑图案或另一预先确定的光图案。附加地或替代地，在一些实施例中，伪随机光图案是可能的且是预期的。期望的结构光图案可以由沿着预先确定的指向角和/或在预先确定的视场内发射的光脉冲或发射(shot)限定。在一些实施例中，可以基于期望的结构光图案以不同的时间和/或空间/角密度提供光脉冲。

至少一个光源130和ToF传感器110可以在时间上同步。即，使光源130发射光的触发信号也可以被提供到ToF成像器110作为时间参考信号。如此，ToF传感器110可以具有关于从光源130发射的光的实际开始时间的信息。附加地或替代地，可以基于距ToF传感器110已知距离的参考目标来校准ToF传感器110。

在具有多个光源和/或多个ToF成像器的情景中，多个光源可以采用时分复用或其他类型的信号复用(例如，频分复用或者码分复用)，从而消除由给定ToF成像器从各种光源获取的飞行时间信息(光脉冲)的分歧。

在一些实施例中，至少一个光源130可以配置为沿着朝向各种目标位置的多个发射矢量将光发射到环境中，从而提供期望的分辨率。在这样的情景中，至少一个光源130可以可操作以沿着多个发射矢量发射光，使得发射的光与系统100的外部环境相互作用。

在示例性实施例中，相应的发射矢量可以包含关于交通工具(例如，如参考图3A所图示和描述的交通工具300)的前进方向(heading)或者位置的方位角和/或仰角(和/或对应的角度范围)。在一些实施例中，可以通过调整可移动安装件和/或可移动反射镜沿着相应的发射矢量导向由至少一个光源130发射的光。

例如，至少一个光源130可以朝向可移动反射镜发射光。通过调整可移动反射镜的取向，光的发射矢量可以被可控地改变。应理解，可以使用许多不同的物理和光学技术来将光朝向给定目标位置导向。全部这样的用于调整光的发射矢量的物理和光学技术在本文中是预期的。

可选地，系统100可以包含其他传感器140。其他传感器140可以包含LIDAR传感器、雷达传感器或其他类型的传感器。例如，系统100可以包含全球定位系统(GPS)、惯性测量单元(IMU)、温度传感器、速度传感器、相机或麦克风。在这样的情景中，本文中所描述的任意操作情景和/或方法可以包含从其他传感器140接收信息以及至少部分地基于从其他传感器140接收的信息进行其他操作或者方法步骤。

在示例性实施例中，至少一个ToF传感器110、成像传感器120、和至少一个光源130中的至少两者可以耦接到公共衬底。例如，至少一个ToF传感器110、成像传感器120和至少一个光源130可以耦接到交通工具。在一些实施例中，系统100的一些或全部元件可以提供交通工具的物体检测和/或导航能力的至少一部分。交通工具可以是半自主或者完全自主的交通工具(例如，自动驾驶车辆)。例如，系统100可以并入到交通工具300中如参考图3A、图4A、图4B、图6A和图6B所图示和描述。

在一些实施例中，系统100可以是用于检测并潜在地识别附近交通工具、道路边界、天气条件、交通标志和信号和行人等围绕交通工具300的环境内的其他特征的交通工具控制系统的一部分。例如，交通工具控制系统可以使用深度图信息来帮助确定自主或者半自主导航的控制策略。在一些实施例中，深度图信息可以辅助交通工具控制系统来避免障碍，同时还辅助确定导航的适当路线。

尽管本文中所描述的一些示例包含当并入到交通工具中时的系统100，但应理解，其他应用是可能的。例如，系统100可以包含或并入到机器人系统、航空交通工具、智能家庭装置、智能基础设施系统等。

系统100包含控制器150。在一些实施例中，控制器150可以包含车载交通工具计算机、外部计算机或移动计算平台，诸如智能电话、平板装置、个人计算机、可穿戴装置等。附加地或替代地，控制器150可以包含或可以连接到位于远程的计算机系统，诸如云服务器网络。在示例性实施例中，控制器150可以配置为进行本文中所描述的操作、方法框或步骤中的一些或全部。在没有限制的情况下，控制器150可以附加地或替代地包含至少一个深度神经网络、另一类型的机器学习系统和/或人工智能系统。

控制器150可以包含一个或多个处理器152和至少一个存储器154。处理器152可以包含例如微处理器、专用集成电路(ASIC)或现场可编程门阵列(FPGA)。其他类型的处理器、电路、计算机或配置为进行软件指令的电子装置在本文中是预期的。

存储器154可以包含非暂时性计算机可读介质，诸如但不限于只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、非易失性随机存取存储器(例如，闪速存储器)、固态驱动器(SSD)、硬盘驱动器(HDD)、压缩盘(CD)、数字视频盘(DVD)、数字磁带、读/写(R/W)CD、R/W DVD等。

控制器150的一个或多个处理器152可以配置为执行储存在存储器154中的指令，从而进行本文中所描述的各种操作和方法步骤/框。指令可以以永久或者暂时性方式储存在存储器154中。

图2图示了根据示例性实施例的系统100的操作情景200。尽管操作情景200以某顺序图示了某些操作或者框且由系统100的某些元件进行，但应理解，其他功能、操作顺序和/或定时布置在本文中是预期的。

框210可以包含控制器150，控制器150使至少一个光源130根据结构光图案用照明光照明场景的至少一部分。结构光图案可以包含例如以下中的至少一者：预先确定的光脉冲重复率、预先确定的光脉冲持续时间、预先确定的光脉冲强度，或预先确定的光脉冲占空比。

在一些实施例中，结构光图案可以在一个或多个扫描上在给定视场内保持静态。替代地或者附加地，结构光图案可以改变动态地。例如，结构光图案可以基于以下来调整：环境内的物体、视场内的关注区域；当日时间、逆反射体的出现等。在一些实施例中，结构光图案可以包含棋盘图案、散斑图案，或条纹图案。

在一些示例性实施例中，响应于确定给定视场的一部分内的逆反射体，具有被照明的逆反射体的扇区的强度可以被“调低”(例如，降低前置放大器增益或以其他方式改变来自该扇区的光信号在模拟和/或数字域中被处理的方式)和/或完全地关闭或者忽略以避免辉散效应。以这样的方式，传感器可以能够更好地恢复场景的其余部分。

周期性地(例如，在最大时延内每几帧一次)，视场具有逆反射体的部分可以被再次照明以追踪逆反射体的出现。如果传感器响应于照明继续指示强烈饱和的像素(例如，指示逆反射物体仍存在于视场的该区域中)，则高能量照明将不被提供到给定区域，直到系统不再观察到该区域中的逆反射体的时间为止。这样的动态照明可以降低或者消除来自逆反射体的杂散光并更可靠地复原场景的其余部分，否则场景的其余部分可能无法产生可靠的深度值。在没有限制的情况下，其他类型的空间、时间和/或光谱光图案在本文中是预期的。

在示例性实施例中，指令212可以包含例如在时间t

响应于接收指令212，光源130可以进行框214以根据结构光图案照明场景。在一些示例中，光源130可以照明一个或多个发光体元件，发光体元件可以是发光二极管(LED)、激光器、闪光灯，或其他类型的光源。可以照明这样的发光体元件，从而提供期望的结构光图案(例如，沿着期望的一组指向/锥角来提供光、照明发光体元件达期望的时间、以期望的频率和占空比照明发光体元件等)。在一些实施例中，光源130可以包含光学元件，诸如一个或多个透镜，和/或挡板，从而朝向期望的一组指向角和/或锥角导向光。

框220包含使至少一个ToF传感器110基于由光源130提供的结构光图案而提供指示场景的深度图的信息(例如，飞行时间信息)。例如，在时间t

框224可以包含ToF传感器110至少部分地基于由光源130提供的结构光图案来获取深度图。即，响应于接收指令222，ToF传感器110可以进行场景的视场的深度绘图扫描。在示例性实施例中，ToF传感器110可以在10-100MHz之间操作，然而其他操作频率是可能的。在一些实施例中，ToF传感器110的操作频率可以基于期望的最大深度感测范围来调整。例如，ToF传感器110对近似7.5米的期望的深度感测范围可以在20MHz操作。在一些实施例中，ToF传感器110可以具有100米或者更大的最大期望的深度感测范围。在涉及多个ToF传感器的一些实施例中，ToF传感器可以配置为和/或被指令以进行场景的不同的视场的深度映射扫描和/或对不同的距离范围进行深度映射扫描。

在时间t

框230包含使成像传感器120基于由光源130提供的结构光图案来提供指示场景的图像的信息。作为示例，在时间t

框234包含，响应于接收指令232，成像传感器120获取由结构光图案照明的场景的图像。换言之，指令232可以触发物理快门机构或者数字快门，从而发起图像捕获过程。

一经捕获图像，在时间t

框240可以包含基于场景的深度图(例如，信息226)和场景的图像(例如，信息236)确定场景的高分辨率深度图。在示例性实施例中，深度图信息226和图像信息236可以使用各种图像处理算法被进行比较和/或关联。这样的算法可以包含(在没有限制的情况下)纹理合成、图像重采样算法、插值算法、图像锐化算法、边缘检测算法，以及图像模糊算法等。如此，高分辨率深度图可以包含具有比由ToF传感器110获取的深度图更高的空间分辨率的关于场景的深度信息。在一些实施例中，空间分辨率可以涉及在距系统100给定距离的目标分辨率。在本文中，其他空间分辨率(沿着二维表面和在三维空间内两者)是可能的且是预期的。作为示例，由ToF传感器110获取的深度图可以提供20米范围的10厘米的相邻采样点之间的空间分辨率。高分辨率深度图可以提供在20米范围的小于5厘米的空间分辨率。在其他实施例中，高分辨率深度图可以包含可以足以感测系统100的视场内的物体(例如，其他交通工具、行人、障碍物、标志、信号等)的其他空间分辨率。

框250可以包含基于场景的深度图和可选的场景的图像确定关于场景的至少一个推断。例如，控制器150可以基于在框240中确定的高分辨率深度图来确定关于场景的至少一个推断。在这样的情景中，至少一个推断可以包含关于交通工具的环境中的一个或多个物体或者交通工具的操作上下文的信息。在控制器150包含深度神经网络的情景中，框250可以至少部分地由深度神经网络进行。

尽管操作情景200将各种操作或者框210、220、230、240和250描述为由控制器150进行，但应理解，操作情景200的操作中的至少一些可以由一个或多个其他计算装置执行。

尽管操作情景200描述了各种操作，但应理解，更多或更少的操作是预期的。例如，操作可以还包含从多个可能的照明安排之中选择照明安排，从而为成像传感器120提供期望的曝光。

图3A、图3B和图3C图示了系统100及其元件的各种实施例。图3A图示了根据示例性实施例的交通工具300。交通工具300可以包含一个或多个传感器系统302、304、306、308、310、354a-d和356a-d。在一些示例中，一个或多个传感器系统302、304、306、308和310可以包含LIDAR和/或雷达传感器单元。传感器系统302、304、306、308和310中的一个或多个可以配置为绕垂直于给定平面的轴线(例如，z-轴)旋转，从而用光脉冲和/或雷达能量照明交通工具300周围的环境。附加地或替代地，传感器系统302、304、306、308和310中的一个或多个可以包含可移动反射镜，从而在交通工具300的环境中导向发射的光脉冲和/或雷达能量。对于基于LIDAR的传感器，确定反射的光脉冲的各方面(例如，经过的飞行时间、偏振等)可以提供如本文中所描述的关于环境的信息。相似地，基于雷达的传感器可以基于雷达能量如何与环境相互作用而确定关于给定场景的信息。

在示例性实施例中，传感器系统302、304、306、308和310可以配置为提供相应的点云信息或其他类型的信息(例如，地图、对象数据库等)，其可以涉及交通工具300的环境内的物理物体。尽管交通工具300和传感器系统302和304被图示为包含某些特征，但应理解，其他类型的传感器在本公开的范围内是预期的。

图3B图示了根据示例性实施例的传感器单元350的正视图。传感器单元350可以包含壳体352。在一些实施例中，壳体352可以耦接到或集成到交通工具300中。在示例性实施例中，传感器单元350可以可选地包含成像传感器354，成像传感器354可以相似于或者相同于如参考图1所图示和描述的成像传感器120。附加地，传感器单元350可以包含ToF传感器356，ToF传感器356可以相似于或者相同于如参考图1所图示和描述的ToF传感器110。尽管图3B将成像传感器354和ToF传感器356图示为设置在公共壳体352内，但成像传感器354和ToF传感器356可以设置在不同的位置中。应理解，在本文中这样的元件的其他布置是可能的且是预期的。

图3C图示了根据示例性实施例的光源370。光源370可以包含壳体372。在一些实施例中，壳体372可以耦接到或集成到交通工具300中。在示例性实施例中，光源370可以包含多个发光元件374a-h，其可以相似于或者相同于如参考图1所图示和描述的光源130。发光元件374a-h可以设置为阵列或者另一空间布置。在示例性实施例中，发光元件374a-h可以是发光二极管(LED)或激光二极管。其他类型的光源是可能的且是预期的。

发光元件374a-h可以配置为以红外(例如，近红外700-1050nm)波长范围发射光。然而，在一些实施例中，其他波长的光是预期的(例如，1550nm)。在一些实施例中，发光元件374a-h可以配置为发射彼此不同的波长的光。即，发光元件374a-h可以配置为发射八种不同的波长的光。在这样的情景中，系统100和/或交通工具300可以配置为基于其波长消除由离散发光元件(或在不同的光源370之间)发射的光信号的分歧。在一些实施例中，多色光可以由多色成像传感器和/或多色ToF传感器接收。

在一些实施例中，发光元件374a-h可以包含配置为与从发光元件374a-h发射的光相互作用的一个或多个光学元件。在没有限制的情况下，一个或多个光学元件可以配置为重导向、成形、衰减、放大或以其他方式调整发射的光。例如，一个或多个光学元件可以包含反射镜、光纤、衍射性光学元件、非球面透镜、柱透镜，或球面透镜。其他类型的光学元件是可能的且是预期的。

在一些示例性实施例中，发光元件374a-h可以是可操作的，从而朝向交通工具300周围的环境的不同空间扇区(例如，包含不同的方位角范围和/或仰角范围)发射光。此外，在一些实施例中，发光元件374a-h可以可操作以在给定时间周期期间在不同时间发射光。即，发光元件374a-h中的每一个可以被控制以在相应的时间周期期间在给定时间跨度上发射光。例如，发光元件374a-h可以以串行模式发射光(例如，发光元件以“追逐”模式一个接着一个地发光)。附加地或替代地，发光元件374a-h中的一个或多个可以以并行方式发射光(例如，若干发光元件同时地发射光)。

返回到图3A，交通工具300可以包含多个传感器单元，其可以相似于或者相同于如参考图3B所图示和描述的传感器单元350。此外，相应的传感器单元可以各自包含成像传感器354a-d和ToF传感器356a-d。如所示，相应对的成像传感器354a-d和ToF传感器356a-d可以耦接到或集成到交通工具300的前侧、右侧、左侧和后部分。成像传感器354a-d和ToF传感器356a-d的其他安装类型和安装位置是预期的。例如，在一些实施例中，成像传感器354a-d和ToF传感器356a-d可以设置在配置为绕z-轴旋转的可旋转安装件中，从而从交通工具300周围的环境获取成像信息和ToF信息。

尽管传感器系统354a/356a、354b/356b、354c/356c和354d/356d被图示为共位，但应理解，其他传感器布置是可能的且是预期的。此外，尽管在图3A-3C图示了传感器系统的某些位置和数目，但应理解，各种传感器系统的不同的安装位置和/或不同的数目是预期的。

交通工具300可以包含多个光源370a-d，其可以相似于或者相同于如参考图1所图示和描述的光源130。如所示，光源370a-d可以耦接到或集成到交通工具300的前侧、右侧、左侧和后部分。对于多个光源370a-d预期到其他安装类型和安装位置。例如，在一些实施例中，光源370可以设置在配置为绕z-轴旋转的可旋转安装件中，从而朝向可控制方位角范围发射光。

图4A-4B图示了各种感测情景400和420。在每种情况下，出于清楚的目的，感测情景400和420可以图示可能的空间扇区和传感器轮廓/范围的子集。应理解，其他空间扇区在本公开的范围内是可能的且是预期的。此外，但应理解，感测情景400和420可以仅图示时间中的单个“快照”，并且空间扇区和传感器轮廓/范围可以动态地调整，从而基于交通工具300的动态地改变的操作上下文以及其他因素周期性地或者连续地改变。

图4A图示了根据示例性实施例的感测情景400中的交通工具300的头顶/俯视图。感测情景400包含用结构光图案402照明交通工具300的环境的面向前方的扇区。例如，光源370a可以从一个或多个发光元件发射光，从而用结构光图案402照明交通工具300的面向前方的扇区。

可以根据脉冲的照明安排或者连续波照明安排提供结构光图案402。其他类型的照明安排是预期的。例如，可以“按需”从控制器150或者基于交通工具300的操作上下文提供结构光图案402。作为示例，可以在低光条件(例如，夜间)下或响应于确定交通工具300的环境中的物体提供结构光图案402。作为非限制性示例，交通工具300的另一传感器系统可以识别交通工具300前方的不清楚的或者未知物体(未示出)。不清楚的或者未知物体可以被识别以用于进一步分析。在这样的情景中，控制器150可以使光源370a向面向前方的扇区提供结构光图案402。

尽管图4A图示了面向前方的扇区被照明，但在一些实施例中，光源370a可以配置为调整结构光图案402的指向方向。还应理解，其他光源370b-d可以将相似的结构光图案提供到与它们的相应位置对应的各种空间扇区中。例如，光源370d可以根据结构光图案发射光到面向后方的空间扇区中。

应理解，尽管结构光图案402和空间扇区在图4A-4B中呈现为二维，但三维空间体积是预期的。例如，结构光图案402和/或空间扇区可以限定为在方位角范围之间并在最大仰角与最小仰角之间。

图4B图示了根据示例性实施例的感测情景420中的交通工具300的头顶/俯视图。感测情景420可以包含从视场404获取光的成像传感器354a。由成像传感器354a获取的光的至少一部分可以包含在结构光图案402与交通工具300的环境相互作用之后反射的或者折射的光。视场404可以包含交通工具300的面向前方的空间扇区。在一些实施例中，成像传感器354a的视场404可以与由结构光图案402照明的体积部分地或者完全重叠。基于从视场404获取的光，成像传感器354a可以至少部分地基于结构光图案402提供场景的图像。

感测情景420还图示了从视场406获取光的ToF传感器356a。由ToF传感器356a获取的光的至少一部分可以来自已经与交通工具300的环境相互作用的结构光图案402。视场406可以包含交通工具300的面向前方的空间扇区。在一些实施例中，ToF传感器356a的视场406可以与由结构光图案402照明的体积部分地或者完全重叠。基于从视场406获取的光，ToF传感器356a可以至少部分地基于结构光图案402提供场景的深度图。

图4C图示了根据示例性实施例的各种结构光图案430。各种结构光图案430可以包含例如垂直条纹结构光图案432、点阵列结构光图案434、棋盘结构光图案436、对角条纹结构光图案438、“丢失(dropout)”结构光图案440和/或散斑结构光图案442。

图4D图示了根据示例性实施例的结构光图案444。作为示例，结构光图案444可以包含水平条纹结构光图案446。应理解，其他结构光图案是可能的并且每个是预期的而没有限制。

在一些实施例中，结构光图案430的一些或全部部分的照明水平(例如，亮度)可以基于场景内的物体和/或关于场景的先验信息而动态地调整。作为示例，提供到场景的各种部分的照明的量可以是基于预测的或已知的高逆反射物体的出现。在情景中，ToF传感器可以在以相对低的照明水平照明场景时捕获场景的初始扫描。作为示例，初始扫描可以包含简短的(例如，10微秒)照明周期。这样的初始扫描可以提供关于场景内出现的逆反射体的信息。场景的后续扫描可以对场景未出现逆反射体的部分以相对高的照明水平(例如，100微秒照明周期或更长)进行。后续扫描可以包含以相对低的照明水平照明场景的具有逆反射体的部分，以确认出现高反射性物体。

例如，参考图4C，如果在初始扫描期间在给定场景内识别到逆反射区域435a，则可以在后续扫描期间相对于场景的其他区域435b降低该逆反射区域435a的照明。通过动态地调整场景内的照明水平，可以在接近实时的基础上避免或者降低潜在辉散问题和/或与逆反射体有关的其他问题。关于场景的其他部分区别地照明场景的某些部分的其他方式是预期的且是可能的。

III.示例性方法

图5图示了根据示例性实施例的方法500。应理解，方法500可以包含比明确阐述的或本文中以其他方式所描述的更少或更多的步骤或者框。此外，方法500的相应的步骤或者框可以以任意顺序进行，并且每个步骤或者框可以进行一次或多次。在一些实施例中，方法500的框或者步骤中的一些或全部可以由系统100的元件进行。例如，方法500中的一些或全部可以由关于图1所图示和描述的控制器150、(多个)ToF传感器110和/或(多个)成像传感器120进行。此外，方法500可以至少部分地由如关于图2所描述的操作情景200描述。又另外，方法500可以至少部分地由如关于图3A、图4A、图4B、图6A或图6B所图示和描述的交通工具300或者400进行。方法500可以在相似或者相同于如关于图4A、图4B和图4C所图示和描述的情景400的情景中进行。应理解，其他情景在本公开的上下文中是可能的且是预期的。

框502包含使至少一个光源用结构光图案照明场景。结构光图案可以相似于或者相同于如图4A、图4B和图4C中图示和描述的结构光图案402、432、434、436、438、440和442。在示例性实施例中，结构光图案可以包含以下中的至少一者：时间光图案、空间光图案、预先确定的光脉冲重复率、预先确定的光脉冲持续时间、预先确定的光脉冲强度，或预先确定的光脉冲占空比。

框504包含基于结构光图案从飞行时间(ToF)传感器接收关于场景的信息(例如，飞行时间信息)。在示例性实施例中，控制器150可以使ToF传感器基于结构光图案发起深度扫描。在一些实施例中，可以将时钟信号或者触发信号提供到ToF传感器以将其与发射到环境中的一个或多个光脉冲同步。一经获取深度图信息，ToF传感器可以向控制器150或者系统100的另一元件提供指示深度图的控制器150信息。

框506包含基于所接收的信息确定场景的深度图。例如，确定场景的深度图可以包含基于发射到环境中的光脉冲的飞行时间计算距环境中的物体的距离。基于所接收的信息确定场景的深度图的其他方式是预期的。

可选地，方法500可以包含使成像传感器基于结构光图案提供指示场景的图像的信息。在一些实施例中，控制器150可以将成像传感器的机械或者电子快门触发打开并获取场景的图像。附加地或替代地，控制器150可以提供关于场景的信息(例如，环境光水平、关注的特定扇区、期望的分辨率、当日时间等)。此外，控制器150或者光源130可以提供时钟信号或者触发信号，从而同步成像传感器和光源。一经获取场景的图像，成像传感器可以向控制器150或者系统100的另一元件提供指示图像的信息。

附加地或替代地，方法500可以包含从多个可能的结构光图案之中选择期望的结构光图案。在一些实施例中，可以选择期望的结构光图案，从而提供成像传感器的期望的曝光。附加地或替代地，选择期望的结构光图案可以是基于若干变量，包含外部光水平、其他光源、太阳的角度等。如此，方法500可以包含基于环境光的量(例如，如从环境光传感器所测量)、当日时间和/或天气条件来选择和/或调整结构光图案。

可选地，方法500可以包含基于场景的深度图和场景的图像来确定场景的高分辨率深度图(例如，具有比由ToF传感器单独地所提供的更高的分辨率的深度图)。

框508包含基于场景的深度图和可选的场景的图像确定关于场景的至少一个推断。在一些实施例中，至少一个推断可以包含关于交通工具的环境中的一个或多个物体或者交通工具的操作上下文的信息。

在示例性实施例中，确定至少一个推断可以由至少一个深度神经网络进行。附加地或替代地，方法500中的一些或全部框可以由实现其他类型的基于人工智能的算法的计算系统进行。

图6A和图6B图示了本公开的上下文中的感测情景。感测情景可以涉及系统100(例如，如参考图1所图示和描述)、交通工具300(例如，如参考图3A、图4A和图4B所图示和描述)，以及方法500(例如，如参考图5所图示和描述)。

图6A图示了根据示例性实施例的感测情景600。如图6A中所示，交通工具300可以在包含一个或多个物体的环境中操作。如所示，交通工具300包含传感器单元302、306、308和310。例如，传感器单元302可以包含第一LIDAR(未示出)和第二LIDAR(未示出)。另外，例如，传感器单元306、308和310中的每一个还可以包含LIDAR。如所示，交通工具300可以附加地包含成像传感器354a-d、ToF传感器356a-d和光源370a-d。应理解，交通工具300可以包含成像传感器354a-d、ToF传感器356a-d和/或光源370a-d的不同的数目和/或布置。

如所示，交通工具300的环境包含各种物体，诸如车辆614和616，道路标志618、树木620、建筑622、街道标志624、行人626、狗628、车辆630、车道632，以及包含车道线634的车道线。在一些实施例中，这些物体具有不同的反射率，其可能使得更难以获取准确深度图信息。根据本公开，交通工具300可以进行本文中的方法和过程，诸如方法500，以促进交通工具300的自主操作和/或由交通工具300的事故避免。

图6B图示了根据示例性实施例的感测情景650。在一些实施例中，交通工具300及其相关联的光源可以根据一个或多个结构光图案652和654发射光到其环境中。例如，如所示，面向右侧的光源可以用结构光图案654照明环境，结构光图案654可以包含棋盘图案。此外，面向前方的光源可以用结构光图案652照明环境。

其他情景也是可能的。因此，本方法和系统可以通过采用一个或多个ToF传感器结合配置为用结构光图案照明环境的光源来促进诸如交通工具300的交通工具的自主操作和/或事故避免。

本文中所描述的系统和方法可以涉及关于环境的先验信息。这样的先验信息可以包含交通工具的局部环境的高保真三维模型和/或ToF传感器的场景内的高保真三维模型。在这样的情景中，先验信息可以至少部分地驻留在交通工具和/或在中央或者区域服务器上。

在一些实施例中，可以采用先验信息结合ToF信息/深度图以更好地校准传感器和/或更好地定位交通工具。即，先验信息与至少一个深度图之间的比较可以帮助确定ToF传感器的内在和外在特性。在这样的情景中，确定的内在和/或外在特性可以用于校准ToF传感器。附加地或替代地，先验信息与至少一个深度图之间的比较可以包含将先验信息与至少一个深度图对准或者配准。这样做，对准/配准过程可以帮助确定交通工具的更准确的绝对位置、前进方向、速度或其他特性和/或其环境的其他方面。换言之，可以采用先验信息结合至少深度图以提供关于交通工具的比传感器信息单独取得的更准确的信息。在这样的情景中，先验信息可以表示可定位交通工具的参考帧。

图7图示了根据示例性实施例的方法700。方法700的框和/或元件可以相似于或者相同于如参考图5和图6所图示和描述的方法500或者600的对应元件。

框702包含提供先验信息，其包含场景的三维信息。先验信息可以包含之前获取的例如图像、ToF和/或LIDAR数据。先验信息可以附加地或替代地包含地图、点云或深度图或其他类型的信息。

框704包含使至少一个光源用结构光图案照明场景。结构光图案可以相似于或者相同于本文中所描述的其他结构光图案。

框706包含使至少一个ToF传感器基于结构光图案提供指示场景的深度图的飞行时间信息。如本文中所描述，ToF传感器可以在用结构光图案照明场景时操作。这样做可以提供关于场景中的物体的深度的更详细的信息。

附加地或替代地，可以采用先验信息以改善深度估计。在这样的情景中，先验信息可以被投射到(多个)深度图中。各种方法(例如，光线追踪、主分量排序(PrincipleComponents Ordination，PCoA)、非度量多维尺度(NMDS)或其他方法)可以用于将三维先验信息投射到深度图上，其中每一者在本文中是预期的。通过将先验信息投射到深度图中，深度信息可以被二次检查、校准、验证和/或更准确地估计。

又另外，可以采用先验信息以进行背景减去。在这样的情景中，先验信息可以包含关于在相对传感器深度之外(例如，远离交通工具)的物体的信息。在这样的情况下，与在相关传感器深度之外的物体对应的深度图信息可以忽略、不重视、删除和/或以比环境的其他更相关的区域更低的分辨率处理。

附加地，可以至少部分地使用先验信息，以确定逆反射物体可能在给定环境内的位置。当交通工具(及其(多个)ToF成像系统)进入这样的环境时，其可以调整系统的操作，从而减轻逆反射物体的效应。例如，系统可以以与环境的其他区域相比更低的强度水平来照明对应于已知逆反射物体的环境。在这样的情景中，混合成像系统可以避免可能由于逆反射物体而发生的“辉散”或者“眩目”效应。附加地或替代地，混合成像系统可以以不同的调制频率操作和/或使照明源以不同速率照明。在本文中减轻逆反射体的效应的其他方式是可能的且是预期的。

在一些实施例中，来自ToF传感器的多个帧/扫描可以被用于获取关于场景的信息，其可以与本公开中所描述的其他信息一起被使用。例如，可以由物体在两个连续ToF帧之间的表观运动的图案获取“光学流”。光学流可以包含例如二维矢量场，其包含对应的物体在场景中在第一ToF帧与第二ToF帧之间的位移。基于光学流，可以推断和/或预测到物体的距离。来自光学流的这样的距离信息可以用于约束使用ToF信息估计的深度的范围。即，光学流可以提供关于给定场景中的物体的范围的其他信息。粗略的深度信息可以用于确定ToF传感器和/或照明源的操作参数。附加地或替代地，粗略的深度信息可以用于限制或者约束更普遍地由系统使用的一组操作参数。

图中所示的特定布置不应是因为限制。应理解，其他实施例可以包含给定图中所示的更多或更少的每个元件。另外，所示元件中的一些可以被组合或者省略。又另外，说明性实施例可以包含图中未示出的元件。

表示信息的处理的步骤或者框可以对应于电路，电路可以配置为进行本文中所描述的方法或者技术的具体逻辑功能。替代地或者附加地，表示信息的处理的步骤或者框可以对应于模块、部分、物理计算机(例如，现场可编程门阵列(FPGA)或专用集成电路(ASIC))，或程序代码的部分(包含相关数据)。程序代码可以包含由处理器可执行的一个或多个指令，以实现方法或者技术中的具体逻辑功能或者动作。程序代码和/或相关数据可以储存在任意类型的计算机可读介质上，诸如包含磁盘、硬盘驱动器或其他储存介质的储存装置。

计算机可读介质还可以包含非暂时性计算机可读介质，诸如短时间储存数据的计算机可读介质，如寄存器存储器、处理器缓存，以及随机存取存储器(RAM)。计算机可读介质还可以包含非暂时性计算机可读介质，其长时间储存程序代码和/或数据。因此，计算机可读介质可以包含次级或者持久长期储存体，如只读存储器(ROM)、光盘或者磁盘、压缩盘只读存储器(CD-ROM)，作为示例。计算机可读介质还可以是任意其他易失性或者非易失性储存系统。计算机可读介质可以视为计算机可读储存介质，作为示例，或有形储存装置。

尽管已经公开了各种示例和实施例，但其他示例和实施例对本领域技术人员将是显而易见的。各种公开的示例和实施例处于说明目的且不意图限制，并且真实范围由所附权利要求指示。