用于车辆上的飞行时间相机的自适应照射

本专利文档要求于2018年9月10日提交的题为“用于车辆上的飞行时间相机的自适应照射”的美国专利申请号16/127,022的优先权和权益。前述专利申请的全部内容作为本专利文档的公开内容的一部分通过引用并入。

技术领域

该文档涉及图像捕获和处理。

背景技术

可以自主控制车辆以沿着去往目的地的路径导航。自主车辆控制使用传感器来感测车辆的位置和移动，并且基于来自传感器的数据来在存在静止对象和移动对象的情况下导航车辆。自主车辆导航可以在运输人员、货物和服务时具有重要应用。确保车辆及其乘客以及车辆附近人员和财产安全的自主车辆控制的一个方面是对由车辆上的图像传感器所生成的图像的分析。可以对图像进行分析，以确定车辆路径中或车辆附近的固定障碍物和移动障碍物。需要改进的图像捕获和分析以改善自主车辆导航和控制。

发明内容

公开了用于处理图像的设备、系统和方法。在一个方面中，电子相机装置包括：具有多个像素区域的图像传感器，该多个像素区域与多个图像区域相对应，其中多个图像区域合在一起构成图像；曝光控制器，被配置为针对多个像素区域中的每个像素区域控制对应曝光持续时间和对应曝光开始时间，其中每个像素区域在对应曝光开始时间开始收集入射图像信息，并且继续在对应曝光持续时间期间收集图像信息，并且其中针对多个像素区域，对应曝光持续时间中的至少两个曝光持续时间或对应曝光开始时间中的至少两个曝光开始时间是不同的。

该装置可以优选地包括以下特征中的任一特征。多个选通电路，针对多个像素区域中的每个像素区域有一个选通电路，其中每个选通电路在对应曝光开始时间处开始曝光多个像素区域中的一个像素区域，并且在对应曝光持续时间内持续曝光。估计距离处的对象与多个像素区域中的复数个像素区域相对应，并且其中复数个像素区域中的每个像素区域具有相同的对应曝光开始时间和相同的对应曝光持续时间。对应曝光持续时间与估计距离成反比。复数个像素区域具有多个对应开始时间。图像包括与图像传感器相距不同距离的多个对象，其中每个对象与不同的像素区域相对应，并且其中与不同对象相对应的像素区域具有不同的对应曝光开始时间。在多个像素区域中的每个像素区域处的所接收的光学信号强度确定对应曝光持续时间。估计距离由一个或多个传感器确定，该一个或多个传感器包括光检测和测距(LiDAR)传感器、无线电检测和测距(RADAR)传感器、或超声传感器。一个或多个传感器中包括的处理器确定移动对象在相机装置的视场内的位置。该装置还包括处理器，该处理器被配置为根据高清地图来对估计距离进行估计，其中高清地图包括用于道路车道的全球定位系统(GPS)坐标以及相机装置的视场。处理器还被配置为以下各项中的一项或多项：响应于相机装置的移动或对象在相机装置的视场中的移动，更新高清地图；通过由全球定位系统数据使用关于相机装置的速度信息来预测相机装置的下一位置，更新高清地图；或通过使用至少部分由移动对象的两个或更多个确定位置所确定的关于移动对象的速度信息来预测移动对象在相机装置的视场中的下一位置，更新高清地图。

在另一方面中，公开了在电子相机上生成图像的方法。该方法包括：从一个或多个距离传感器接收图像传感器与由该图像传感器所成像的对象之间的距离；使图像传感器的一个或多个像素区域与对象中的每个对象相关联，其中多个像素区域与多个图像区域相对应，其中多个图像区域合在一起构成图像；由所接收的距离以及一个或多个像素区域与对象的关联来确定像素区域中的每个像素区域开始暴露于传入光的对应曝光开始时间；并且针对每个像素区域确定对应曝光持续时间，其中每个像素区域从曝光开始时间开始继续暴露于传入光，并且在对应曝光持续时间内继续曝光，并且其中对应曝光持续时间中的至少两个曝光持续时间或对应曝光开始时间中的至少两个曝光开始时间在图像中是不同的。

该方法可以优选地包括以下特征中的任一特征。该方法还包括：通过与像素区域相关联的选通电路选通每个像素区域，其中每个选通电路在对应曝光开始时间处开始曝光像素区域中的一个像素区域，并且在对应曝光持续时间内继续曝光。估计距离处的对象与多个像素区域中的复数个像素区域相对应，并且其中复数个像素区域中的每个像素区域具有相同的曝光开始时间和相同的对应曝光时间。对应曝光持续时间与估计距离成反比。复数个像素区域具有多个对应开始时间。该图像代表与图像传感器相距不同距离的多个对象，其中每个对象与图像的不同部分相对应，并且其中图像的每个部分具有与不同距离中的一个距离相关联的不同的对应曝光开始时间。多个像素区域中的每个像素区域处的光强度确定对应曝光持续时间。估计距离由一个或多个距离传感器估计，该一个或多个距离传感器包括LiDAR传感器、RADAR传感器、或超声传感器。一个或多个距离传感器确定移动对象在电子相机的视场内的位置。该方法还包括以下各项中的一项或多项：响应于电子相机的移动或对象在相机装置的视场中的移动，更新高清地图；通过由全球定位系统数据使用关于电子相机的速度信息来预测电子相机的下一位置，更新高清地图；并且通过使用至少部分由移动对象的两个或更多个确定位置所确定的关于移动对象的速度信息来预测移动对象在电子相机的视场中的下一位置，更新高清地图。

在另一方面中，上文所描述的方法以计算机可读程序介质中存储的可执行代码的形式体现。

在又另一方面中，公开了一种设备，该设备被配置为或可操作为执行上文所描述的方法。该设备可以包括处理器，该处理器被编程为实现该方法。

在附图、说明书和权利要求书中，对所公开的技术的上述和其他方面以及特征进行更详细的描述。

附图说明

图1描绘了根据一些示例实施例的相机系统的示例框图。

图2描绘了根据一些示例实施例的示出了用于各个像素区域的电子快门的时间范围的说明性示例。

图3描绘了根据一些示例实施例的过程。

图4描绘了根据一些示例实施例的可以用于实现本文档中所描述的技术中的一些技术的装置的示例。

具体实施方式

自动驾驶车辆或自主车辆中的视觉感知在诸如从背后照亮、具有低照度等的环境之类的各种环境中需要高可靠性相机。由于光分布不平衡或光量不足，所以设置用于正在成像场景的整个图像传感器的全局快门速度并非可行。与所公开的主题一致的是飞行时间(ToF)相机，诸如互补金属氧化物半导体(CMOS)/电荷耦合器件(CCD)相机，其中可以控制暴露于个别像素或像素区域的光，以针对图像传感器的不同像素或区域实现不同曝光。可以以不同的曝光开始时间和/或曝光持续时间来生成结果图像中的不同区域。根据图像传感器与图像中的对象之间的不同距离，可以部分确定不同的曝光开始时间，这些距离根据预先构建的高清(HD)地图或诸如LiDAR、RADAR或超声波距离传感器之类的距离传感器确定。在一些示例实施例中，启动诸如闪光灯的光源。根据闪光灯的已知位置以及闪光灯与各种对象之间的距离，可以确定来自对象的光到达图像传感器的时间。其他传感器可以确定从不同对象接收的光强度。根据来自各种对象的光的强度，可以确定对于每个像素区域电子快门应当打开的时间量。

在该专利文档中描述的技术为个别像素或像素区域提供快门。电子快门控制结合了来自高清地图和/或距离传感器的信息，以在不良照明条件下提供更好的相机感知能力，从而改善自主驾驶应用中的相机性能。

图1描绘了根据一些示例实施例的相机系统100的示例框图。真实世界场景110是从自主车辆上的相机向前、向后或向侧面看的示例视图。图像传感器120捕获场景110的图像。像素区域控制器130控制图像传感器120的区域的曝光。曝光控制模块140确定图像传感器120的各个区域的曝光开始时间和曝光持续时间。为了确定曝光开始时间，曝光控制模块140可以从一个或多个距离传感器(诸如RADAR传感器154、LiDAR传感器152、超声传感器156和/或高清地图150)接收与场景110中的对象有关的距离信息。为了确定曝光持续时间，曝光控制模块140确定图像传感器120上的各个区域的亮度。

在场景110的示例中，包括诸如树114和块112之类的对象。树114比盒112更靠近图像传感器120。其他对象可能位于场景110(未示出)中，诸如道路、建筑物、其他车辆、道路标志、自行车、行人等。一些对象可以处于与图像传感器120相同的距离处，并且其他对象可以处于不同的距离处。由于一些对象与光源的接近度、与图像传感器的接近度和/或对象的反射率，所以与其他对象相比，这些对象可能被更明亮地照射。通常，较近和/或反射率较高的对象在图像传感器处显得更亮，并且较远和/或反射率较低的对象在图像传感器处显得不那么明亮。

图像传感器120捕获场景110的图像，该场景110包括盒112和树114以及与图像传感器120相距不同距离的其他对象。图像传感器120可以是二维像素阵列，其中每个像素生成与撞击在像素上的光强度有关的电信号。当组合在一起时，与个别像素相对应的电信号产生场景110的图像的电表示。图像传感器120可以包括1,000,000像素或任何其他数目的像素。尽管未示出，但是包括图像传感器120的相机中可以包括诸如透镜、光圈和/或机械快门的光学部件。图像传感器120可以提供用于将电子快门施加到个别像素或像素区域。电子快门是使能信号或门，其当电子快门打开(或使能信号或门活动)时，使得对应像素或像素区域能够捕获入射光，并且当电子快门关闭(或使能信号或门非活动)时，不能捕获入射光。以120示出的是包括像素区域122、124、126、128等的二维像素区域阵列。图像传感器120可以是电荷耦合设备或以电子方式进行选通或遮闭的任何其他类型的图像传感器。

像素区域控制器130控制图像传感器120的像素区域(或个别像素)的曝光。图1示出的是控制像素区域122的曝光的像素区域控制器132、控制像素区域124的曝光的像素区域控制器134、控制像素区域126的曝光的像素区域控制器136、以及控制像素区域128的曝光的像素区域控制器138。控制曝光包括：控制像素区域何时暴露于入射光，诸如曝光开始时间控制和曝光持续时间控制。例如，电荷耦合设备从曝光开始时间开始对由于入射光产生的电荷进行积分，并且在曝光持续时间内继续积分。

曝光控制模块140确定图像传感器120的各个像素区域的曝光开始时间，即，每个像素区域开始曝光的时间。曝光控制模块140可以从一个或多个传感器(诸如RADAR传感器154、LiDAR传感器152、超声传感器156和/或高清地图150)接收与场景110中的对象有关的距离信息，如下文所进一步详述的。例如，曝光控制模块140可以基于已知光速、相机传感器120与在每个像素区域处成像的对象之间的已知距离来确定在相机系统100处启动闪光灯之后应当何时针对每个像素区域打开电子快门。作为一个说明性示例，树114可以由一个或多个像素区域(诸如像素区域122)成像。在闪光灯(图1中未示出)之后，用于像素区域122的电子快门可以在闪光之后保持关闭，直到来自闪光灯的光传播到树114，从树114反射，并且传播回到像素区域122为止。电子快门被控制为在光到达像素区域122时打开。

曝光控制模块140可以从一个或多个传感器(诸如RADAR传感器154、LiDAR传感器152、超声传感器156和/或高清地图150)接收与场景110有关的距离信息。作为说明性示例，曝光控制模块140可以从LiDAR传感器152接收树114与图像传感器120相距的距离；曝光控制模块140可以从RADAR传感器154接收盒112与图像传感器120相距的距离；曝光控制模块140可以从超声传感器156接收盒112和树114与图像传感器120相距的距离。曝光控制模块140使用该距离信息来确定针对图像传感器120的像素区域的曝光开始时间。

曝光控制模块140确定针对各个像素区域中的每个像素区域的曝光持续时间，即，在每个对应曝光开始时间处打开之后，电子快门对于每个像素区域保持打开的时间长度。例如，当光从闪光灯传播到树112，被反射，并且传播回到像素区域126时，与像素区域126相对应的电子快门可以打开。在该示例中，与树114在像素区域122处的图像相比，盒112在像素区域126处的图像可能更明亮。因而，用于像素区域126的曝光持续时间可能比用于像素区域122的曝光持续时间更短。亮度可以根据最近在先图像中的像素或像素区域的信号电平来确定。作为说明性示例，当以每秒30帧的速度拍摄图像时，帧之间存在33毫秒，并且从自主车辆看到的图像在33毫秒内几乎没有改变。在这种情况下，与在先图像中的强度相对应的在先图像中的像素值可以用于确定同一像素区域在稍后图像中的曝光持续时间。例如，在第一图像中，像素区域可能由于太多曝光而饱和或以其他方式产生负面影响，其可以使用来自像素区域的值的图像处理来确定。在该示例中，在同一场景的下一图像上，可以基于在先图像中的值来减少曝光持续时间，以防止饱和或其他负面影响。在图像传感器120处显得更明亮的对象可以具有更短的曝光持续时间。可以在连续图像上调整用于每个像素区域的曝光持续时间，并且可以独立于其他像素区域来调整每个像素区域的曝光持续时间。这样，不同的像素区域可以具有不同的曝光持续时间，以生成包括针对所有像素区域的正确曝光的图像。

曝光控制模块140可以从高清地图150接收距离信息，该高清地图150可以包括提供给高清地图150的GPS位置附近的已知对象的地图。高清地图150可以包含关于道路、道路上的车道、交通信号灯、停车标志、建筑物等的详细信息。使用定位自主车辆和相机系统的GPS信息，车辆可以置于高清地图150中。因而，在车辆的位置处的存储在地图中的对象可以相对于车辆定位。与对象相距的距离可以根据地图和车辆位置确定。随着车辆移动，可以更新车辆在地图上的位置。在一些实施例中，车辆的位置可以使用在开始时间的该位置处的位置、速度和加速度信息前进到地图上的稍后时间。这样，确定车辆的位置的频率可以不太频繁，并且可以提高连续位置更新之间的车辆位置的准确性。

图2描绘了根据一些示例实施例的示出了用于各个像素区域的电子快门的时间范围的图200的说明性示例。水平轴上是时间，并且垂直轴上是与像素区域相对应的电子快门是在202处打开从而捕获图像、还是在204处关闭从而不能捕获图像的表示。在图2中，时间t

图3描绘了根据一些示例实施例的过程。在操作310处，该过程包括：接收图像传感器与图像传感器所成像的对象之间的距离。在操作320处，该过程包括：使图像传感器的一个或多个像素区域与对象中的每个对象相关联。在操作330处，该过程包括：根据所接收的距离和关联，确定像素区域中的每个像素区域开始暴露于传入光的曝光开始时间。在操作340处，该过程包括：针对每个像素区域确定对应曝光持续时间，其中每个像素区域从曝光开始时间开始继续暴露于传入光并且在曝光持续时间内继续曝光。

在操作310处，该过程包括：从图像传感器与图像传感器所成像的对象之间的一个或多个距离传感器接收距离。例如，LiDAR距离传感器可以确定图像传感器与第一对象之间的第一距离。超声距离传感器可以确定第二距离。RADAR距离传感器可以确定第三距离和/或可以向其距离还由另一距离传感器确定的对象提供另一距离测量结果。在一些示例实施例中，可以确定与同图像传感器相关联的固定对象相距的距离，并且该距离可以通过固定偏移距离来校正。

在操作320处，该过程包括：使图像传感器的一个或多个像素区域与对象中的每个对象相关联。作为说明性示例，图像传感器可以具有100,000个像素区域，每个区域包括100个像素，图像传感器中总共有10,000,000个像素。在该示例中，汽车在图像传感器上成像。汽车的图像占据了与汽车对象相关联的1,000个像素区域。汽车与图像传感器相距的距离由一个或多个距离传感器确定。其他对象可以在图像传感器上成像，从而依据对象的尺寸及其与图像传感器的接近度占据若干个不同像素区域。与其他对象相关联的、距图像传感器的各种距离由一个或多个距离传感器确定。

在操作330处，该过程包括：基于与对象相距的距离以及一个或多个像素区域与对象的关联，来确定针对像素区域中的每个像素区域的曝光开始时间。曝光开始时间是诸如从对象反射的光到达图像传感器时的闪光之类的照射事件之后的时间量。继续上述示例，距离传感器中的一个或多个距离传感器可以确定汽车与相机相距100英尺。如此，相机处的闪光灯所生成的光线的飞行时间是单向飞行时间的两倍。在该示例中，如果飞行时间为每英尺1ns，则光线由于闪光而可能在闪光之后200ns到达相机。因而，对于与汽车相关联的1000个像素区域，曝光开始时间可能被设置为闪光之后200ns。因为汽车具有复杂的形状以及相对于相机和图像传感器的定向，所以一些像素区域可能会根据不同的距离而具有不同的曝光开始时间。与其他对象关联的像素区域可能会由于该其他对象与相机相距的距离不同而具有不同的曝光开始时间。

在操作340处，该过程包括：确定针对每个像素区域的对应曝光持续时间。曝光持续时间是开始捕获图像的曝光开始时间之后的图像捕获持续的时间量。例如，曝光持续时间是电荷耦合设备的相机传感器由于入射光而对电荷进行积分的时间量。每个像素区域从其对应曝光开始时间开始继续暴露于传入光，并且在其对应曝光持续时间内继续曝光。对于图像具有不同光强度的像素区域，曝光持续时间可能会有所不同。例如，与图像的明亮区域相对应的像素区域的曝光持续时间比与不太明亮区域相对应的像素区域的曝光持续时间更短。这样，不同像素区域根据所关联的图像区域的亮度而具有不同的曝光持续时间，从而防止曝光不足的图像区域和曝光过度的图像区域。在一些示例图像中，对应曝光持续时间中的至少两个曝光持续时间或对应曝光开始时间中的至少两个曝光开始时间在图像中不同。

图4描绘了可以用于实现本文档中所描述的技术中的一些技术的装置400的示例。例如，硬件平台400可以实现过程300或可以实现本文中所描述的各个模块。硬件平台400可以包括可以执行代码以实现方法的处理器402。硬件平台400可以包括存储器404，该存储器404可以用于存储处理器可执行代码和/或存储数据。硬件平台400还可以包括通信接口406。例如，通信接口406可以实现一个或多个通信协议(LTE、Wi-Fi、蓝牙等)。

本专利文档中所描述的主题的实现方式和功能操作可以在各种系统、半导体器件、相机设备、数字电子电路系统中，或以包括本说明书中所公开的结构及其结构等同物在内的计算机软件、固件或硬件，或以它们中的一个或多个的组合实现。本说明书中所描述的主题的各方面的实现方式可以被实现为一个或多个计算机程序产品，例如，在有形计算机可读介质和非暂态计算机可读介质上编码的计算机程序指令的一个或多个模块，以供通过数据处理装置执行或控制该数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读传播信号的物质组成、或它们中的一个或多个的组合。术语“数据处理单元”或“数据处理装置”涵盖用于处理数据的所有装置、设备和机器，其例如包括可编程处理器、计算机或多处理器或计算机。除了硬件之外，该装置还可以包括创建用于正被讨论的计算机程序的执行环境的代码，例如，组成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。

计算机程序(也称为程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言编写，这些编程语言包括汇编语言或解释语言；并且该计算机程序可以以任何形式进行部署，这些形式包括作为独立程序或作为适合用于计算环境的模块、部件、子例程或其他单元。计算机程序不一定与文件系统中的文件相对应。程序可以存储在保存其他程序或数据的文件的一部分(例如，存储在标记语言文档中的一个或多个脚本)中、存储在专用于正被讨论的程序的单个文件中、或存储在复数个协调文件(例如，存储一个或多个模块、子程序或代码的各个部分的文件)中。计算机程序可以被部署为在一台计算机上执行，或在位于一个站点上或跨多个站点分布并且通过通信网络互连的多台计算机上执行。

本说明书中所描述的过程和逻辑流程可以由一个或多个可编程处理器来执行，该一个或多个可编程处理器执行一个或多个计算机程序以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流还可以由专用逻辑电路系统执行，并且装置还可以被实现为专用逻辑电路系统，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。

适用于执行计算机程序的处理器例如包括通用微处理器和专用微处理器、以及任何种类的数字计算机的任一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个海量存储设备，例如，磁性盘、磁光盘、或光学盘，或可操作地耦合以从该一个或多个海量存储设备接收数据或将数据传送到该一个或多个海量存储设备或两者皆有。然而，计算机不必具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储设备，其包括例如半导体存储器设备，例如，EPROM、EEPROM、以及闪存设备。处理器和存储器可以由专用逻辑电路系统补充或并入其中。

虽然本专利文档包含许多特定细节，但是这些细节不应被看作是对任何发明或者所要求保护的范围的限定，而应看作针对特定发明的特定实施例的特征的描述。在本专利文档中在单独实施例的上下文中描述的某些特征还可以以单个实施例的组合实现。相反，单个实施例的上下文中所描述的各个特征还可以在多个实施例中分开实现或以任何合适子组合实现。而且，尽管特征可能在上文被描述为在某些组合中起作用，如此甚至最初要求保护，但是在一些情况下来自所要求保护的组合的一个或多个特征可以从组合中删去，并且所要求保护的组合可以指向子组合或者子组合的变体。

同样，虽然在附图中按特定次序对操作进行了描绘，但是不应理解为这样的操作需要按所示的特定次序被执行或按连续次序被执行、或全部图示的操作要被执行，以实现期望结果。而且，在该专利文档中所描述的实施例中的各个系统部件的分开不应被理解为在全部实施例中都需要这种分开。

仅描述了一些实现方式和示例，并且可以基于本专利文档中所描述并示出的内容做出其他实现方式、增强和变体。