差分飞行时间传感器像素的较低功率操作

背景技术

二维(2D)相机可以依赖场景的环境照射来获取2D被动光图像。为处理和分析来自2D相机的数据而执行的数字计算可能相对较少。这些因素可以使2D相机相对省电。相反，三维(3D)相机，诸如飞行时间(ToF)相机，可以通过主动照射场景并通过测量主动照射的一个或多个参数来确定将主动照射反射回3D相机的场景中的对象的深度来操作。主动照射的生成和用于处理和分析来自3D相机的数据的计算可能相对耗资源。

发明内容

提供本发明内容是为了以简化的形式介绍以下在具体实施方式中进一步描述的概念的选择。本发明内容不旨在标识所要求保护的主题的关键特征或基本特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决本公开的任何部分中指出的任何或所有缺点的实现。

公开了涉及调节在操作ToF相机时所利用的功率的示例。一个示例提供了成像系统，其包括差分像素的传感器阵列。控制器在第一较低功率模式下操作传感器阵列的第一差分像素。控制器针对第一持续时间供应第一时钟信号以选择性地激活第一差分像素的第一采集端子，以及针对第二持续时间提供第二时钟信号以选择性地激活第一差分像素的第二采集端子。在模拟域中，在第一持续时间内在第一采集端子处累积的第一电荷量被读出，并与在第二持续时间内在第二采集端子处累积的第二电荷量的读出进行比较。响应于第一电荷量与第二电荷量相差超过阈值，传感器阵列的第一差分像素在第二较高功率模式下被操作。

附图说明

图1A-1C示意性地示出了示例成像系统。

图2示意性地示出了传输门飞行时间像素的示例电路。

图3示出了传输门飞行时间像素的全局快门操作的示例时序图。

图4示出了在全局快门操作下传输门飞行时间像素的单行的示例时序图。

图5示出了图示出用于操作差分飞行时间像素的示例方法的流程图。

图6示出了用于使用图5的方法操作差分飞行时间像素的示例时序图。

图7示出了环境中亮度变化的示例图表。

图8示意性地示出了示例比较器电路。

图9示意性地示出了示例差分电路。

图10A示意性地示出了以全分辨率操作的像素阵列。

图10B示意性地示出了抽取像素阵列。

图11示出了描绘用于操作包括差分飞行时间像素的区域的像素阵列的示例方法的流程图。

图12示出了描述用于检测差分像素处的亮度的阶跃变化的示例方法的流程图。

图13示出了用于使用图12的方法操作像素阵列的示例时序图。

图14示意性地示出了示例计算系统。

具体实施方式

在某些情况下，飞行时间(ToF)相机的操作可能既计算昂贵又耗电。特别是对于由电池供电的成像系统，可能需要能够在针对精确深度成像保持帧速率要求的同时降低功耗。

利用差分像素操作的ToF相机具有各种功率消耗，包括A和B差分之间的时钟切换、模数转换器(ADC)操作以及内部照射源(其可以包括激光器)的操作。然而，有时被成像的场景或场景的一部分可能以缓慢移动或静止对象为特征。因此，在某些情况下，连续照射整个场景并以相对较高的速率处理每个像素处的深度数据可能会浪费功率。

为了节省功率，相机可以被配置为对手边的场景做出反应，仅照射场景中直接感兴趣的部分。已经考虑了诸如“渐进尾迹”和按需深度之类的方案，仅在需要时才消耗计算资源和功率。然而，大多数这样的方案涉及读取一帧，将其存储在存储器中，然后读取另一帧并进行数字比较。这需要同时使用ADC和存储器。

因此，公开了用于提供基于场景的操作模式的系统和方法，当呈现相对静止的场景或场景的无趣部分时，该操作模式可以在像素、照射源和ADC处提供功率节省。

作为示例，像素在第一较低功率模式下被操作作为默认条件。获得像素的低频图像并在模拟域中进行比较，以确定像素的视场中是否存在亮度变化。大于阈值的亮度变化导致产生唤醒信号，从而导致像素在较高功率模式下操作。通过比较模拟电压，不需要调用ADC，并且可以省略先前图像在存储器中的存储。

如果在较高功率模式下操作期间，亮度变为静态，则像素可以返回到较低功率模式。在一些示例中，采样像素的子集可以在较低功率模式下操作，而其余像素被关闭。唤醒信号可以被施加到像素区域，从而实现额外的功率节省。通过交错对像素行的读取，可以检测场景亮度的阶跃变化，无论它们是在积分还是读出期间发生的。

图1A-1C示出了示例成像系统100的多个方面。成像系统100在本文中也可以称为相机。术语“相机”在本文中指的是具有至少一个光学孔径和传感器阵列的任何成像组件，其被配置为对场景或对象102成像。成像系统100包括可单独寻址的像素106的传感器阵列104。在一些实现中，像素可以是互补金属氧化物半导体(CMOS)元件，但是也设想了其他合适的架构。每个像素都对宽波段之上的光作出响应。例如，针对硅基(例如CMOS)像素，波长响应可以在300至1000nm的范围内。为了简单起见，传感器阵列104被示意性地示出为仅具有25个像素106，但是可以使用任何合适的其他数目的像素。

在一些实现中，传感器阵列104的像素106可以是差分像素。每个差分像素可以包括根据两个不同的时钟信号被激励的不同采集端子。在一个示例中，为了测量经调制的主动照射，两个时钟信号可以是基本互补的(例如，两个钟信号具有相位相差180度的50％占空比)。在其他示例中，两个不同的时钟信号可以具有不同的关系，诸如用于测量环境照射或未经调制的主动照射。

这种操作允许使用相同的传感器阵列来测量跨包括紫外线、可见光、近红外和红外光在内的宽光谱的主动光。此外，差分像素可以降低系统噪声，因为仅使用一个读取操作来执行主动光谱光和环境光的差分测量(即，主动光和环境光线的测量值与无主动光的环境光线的测量值之差)。特别地，每个像素读出/复位操作每次发生都会增加系统噪声。因此，与执行需要两个读出的两个单独测量(即，主动，被动)，并且然后将每个结果加到(或减去)到存储器不同，可以在像素内执行单个差分测量，并且可以将单个差分测量写入存储器。在本文中并且参照图3描述差分像素结构和操作的附加方面。

在不包括差分像素的传感器阵列的其他相机实现中，可以使用额外的时钟周期来执行差分测量。虽然差分像素提供了本文所述的优点，但应当理解，可以使用其他类型的传感器阵列，包括非差分传感器阵列。

微透镜阵列108可选地可以直接布置在传感器阵列104之上。微透镜阵列108包括多个微透镜元件110。微透镜阵列108的每个微透镜元件110可以被登记到传感器阵列104的差分像素106。当被包括时，微透镜阵列108可以在每个像素处提供更大的有效填充因子，以提高采集效率并减少像素之间的串扰。

光学快门112可选地可以布置在传感器阵列104之上，以便光学地覆盖传感器阵列。当被包括时，光学快门112可在不同的滤光状态之间进行电子切换。在一个示例中，光学快门112可以包括两个或更多个滤光状态。在一种滤波状态下，光学快门112可以透射IR光并阻挡IR波段之外的光(例如可见光)。在另一过滤状态下，光学快门112可以透射可见光并阻挡可见光子带之外的光(例如，IR光)。光学快门112可以被配置为透射电磁光谱的任何合适的选定子带中的光，并阻挡选定子带之外的光。光学快门112可以增加由传感器阵列104获取的IR图像和可见光图像的信噪比。光学快门114可以包括任何合适类型的滤光器，其透射窄带光，而不会显著降低由传感器阵列接收的带内信号的强度。在一个示例中，光学快门可以包括一个或多个液晶层。光学快门112可以被配置为全局快门，其中累积电荷基于每像素或每像素组被存储在遮光区域中。光学快门112可以附加地或备选地被配置为滚动快门，其中在不同时间执行图像帧的不同部分的读出，诸如在顺序的逐行基础上执行。

在一些实施方式中，光学快门可以从成像系统100中省略。例如，可以省略光学快门，以便降低成像光学堆叠的成本和/或复杂性。在一些情况下，省略光学快门可以允许成像光学堆叠有利地具有较小的总光轨长度(TTL)，因为可以在不增加成像光学堆叠中具有可调谐滤波器的复杂性的情况下设计成像透镜。

可操纵照射源114可以被配置为选择性地发射主动照射以照射场景102。可操纵照射源114可以发射任何合适的主动照射。在一些实施方式中，可操纵照射源114可以被调制。在其他实施方式中，可操纵照射源114可以是未经调制的。在一些示例中，可操纵照射源114可以包括在近红外或红外(IR)范围(约850nm)内操作以发射主动IR光的固态激光器或LED。

在其他实施方式中，可操纵照射源114可以被配置为发射可见光谱带中的主动照射光。在一些示例中，可操纵照射源114可以包括宽带照射源，例如白色光源。在一些示例中，可操纵照射源114可以包括多个光谱照射器(例如LED)。在一些这样的示例中，多个光谱照射器可以被配置为在相同光谱带中发射主动照射，但是这不是必需的。

在一些示例中，可操纵照射源114可以被配置为选择性地发射具有窄场的主动照射光，窄场的尺寸被确定为照射场景102中的主动照射区域。此外，可操纵照射源114包括操纵元件116，其被配置为操纵从可操纵照射源114发射的主动照射光，以单独地主动照射由传感器阵列104所查看的场景102中的多个照射区域124中的不同照射区域(图1B和1C中所示)。这样的分区布置产生具有比传感器阵列104的视场更小的角范围的主动照射光，并且由此相对于全场成像可以针对相同峰值功率的主动照射提供更大的功率密度。照射区域可以被配置为小于由传感器阵列104所查看的场景的整个视场的任何合适的尺寸。在一些示例中，每个照射区域的尺寸可以基于可操纵照射源114的特性。这些特性的非限制性示例包括尺寸、功耗、频率、角度、位置重复性、以及可操纵照射源114的驱动电压要求。

在一些实施方式中，可以对成像系统100执行校准过程以确定多个照射区域。校准过程还可以包括确定传感器阵列104的空间映射到每个照射区域的像素106。在一些示例中，所确定的照射区域可以共同覆盖由传感器阵列104查看的场景102的整个视场。在一些示例中，不同照射区域可以彼此重叠。可以确定任何合适数目的照射区域以共同覆盖传感器阵列104的视场。此外，可以将传感器阵列的任何合适数目的像素映射到每个照射区域。

操纵元件116可以包括任何适当的机械、电光、微机电系统(MEMS)、电润湿棱镜组件和/或其他操纵组件，其被配置为适当地操纵从可操纵照射源116发射的主动照射以照射指定的照射区域。在一些示例中，操纵元件116可以包括可移动的反射镜，提供机械操纵组件以操纵主动照射光以照射场景102中的照射区域。在一个示例中，多个反射镜中的至少一个包括可移动反射镜(例如，微反射镜)。在一些示例中，操纵元件116可以包括折射透镜(例如，菲涅耳、棱镜等)，该折射透镜具有非均匀表面，该非均匀表面基于输入光的横向位置在不同方向上引导或操纵光。在一些示例中，操纵元件116可以包括可切换偏振光栅，以提供电光操纵组件。在一些示例中，操纵元件116可以包括液晶透镜系统(例如一对液晶透镜)，提供用于通过电润湿操纵溶液(电润湿组件)进行操纵。在一些示例中，液晶透镜可以是悬浮在液晶中的微透镜阵列，其可以被电调节以操纵光。

在一些实施方式中，可操纵照射源114可选地可以包括一个或多个光学元件118。例如，光学元件118可以包括准直元件、漫射元件和聚焦元件中的一个或更多个。准直元件可操作为将从可操纵照射源114发射的光准直为准直光。漫射元件可操作为漫射从可操纵照射源114发射的光，从而将准直光转换为具有期望分布(例如，均匀或高斯功率分布)的漫射光。聚焦元件可操作为以指定焦距将漫射光聚焦。可以基于应用或任何其他合适的因素来选择这样的指定焦距。在一些实施方式中，这些光学元件中的任何一个或全部可以从可操纵照射源114中省略。

控制器120可以包括逻辑机器和相关联的存储机器。存储机器可以保存指令，该指令可由逻辑机器执行以执行本文公开的任何操作、算法、计算或转换。在一些实现中，逻辑机器可以采用专用集成电路(ASIC)或片上系统(SoC)的形式，其中一些或所有指令是硬件或固件编码的。

控制器120可以被配置为单独控制传感器阵列104的像素106和可操纵照射源114，以选择性地获取由传感器阵列104查看的场景102的至少一部分的不同类型的图像(例如，2D、3D)。在图1A所示的示例中，在时间T

控制器120可以被配置为控制传感器阵列104和可操纵照射源114，以基于场景102的各个照射区域的主动照射来获取图像数据。控制器120可以使用基于主动照射的这种图像数据来确定位于照射区域中的对象的深度值，如下面进一步详细描述的。在图1B所示的示例中，在时间T

此外，如图1C所示，在时间T

控制器120可以被配置为重复如上所述的成像操作，以基于任何适当数目的不同照射区域的主动照射来获取图像数据。例如，可以获取这样的图像数据用于不同照射区域的3D成像。在一些示例中，可以通过顺序地单独成像覆盖视场的多个照射区域来成像由传感器阵列104查看的场景的整个视场。在一些示例中，可以通过单独成像覆盖所标识的感兴趣区域的照射区域来仅成像由一个或多个照射区域覆盖的所标识的兴趣区域。

根据所描述的成像模式，应用于传感器阵列104的像素106的术语“寻址”可能具有稍微不同的含义。针对包括可见光和IR光的光谱光的平面成像，寻址像素106可以包括对在每个像素106处接收的环境光的强度进行积分，并将子带中的环境光积分强度与2D图像的对应于该像素的部分相关联。

针对深度和/或3D成像，像素106可以被不同地寻址。这里，寻址像素可以包括解析相对于IR光的调制强度的来自每个像素的相位偏移。可选地转换为深度域的相位偏移可以与图像的对应于所寻址的像素的部分相关联。换句话说，控制器120可以被配置为针对被寻址的传感器阵列104的每个像素106确定深度值。在一些实现中，可以使用快速连续的一系列IR图像获取(例如，6-9)来获得相位偏移。在组合2D/3D成像应用中，可以以时间复用的方式使用上述两种寻址模式。

上述相位鉴别飞行时间(ToF)方法是本公开所涵盖的几种深度成像技术之一。通常，深度成像相机可以被配置为获取场景或对象的一个或多个深度图。术语“深度图”是指登记到成像场景的对应区域(Xi，Yi)的像素阵列，深度值(Zi)针对每个像素指示对应区域的深度。在一些示例中，“深度”可以定义为平行于相机光轴的坐标，随着与相机的距离增加而增加。在其他示例中，深度可以定义为距相机的径向距离。术语“深度视频”在本文中指的是深度图的时间分辨序列。在ToF实现中，IR照射源(例如，可操纵照射源114)可以向场景投射脉冲IR照射或以其他方式调制的IR照射。深度成像相机的传感器阵列可以被配置为检测从场景反射回来的照射和经调制的发射之间的相位偏移。在一些实现中，每个像素的相位偏移可以被转换为脉冲照射的像素分辨飞行时间，从照射源到场景，然后返回到阵列。然后可以将ToF数据转换为深度数据。

控制器120可以被配置为以任何合适的形式输出2D图像数据和3D图像数据(或深度数据)。作为一个示例，控制器120可以配置为输出像素126的矩阵。矩阵中的每个像素包括深度值(Zi)和一个或多个可见光值(例如，单色或彩色值)。在一些示例中，控制器120可以将像素126的矩阵输出为数据结构，其中矩阵的每个元素对应于不同的像素，并且矩阵的每个元素包括对应于该像素的深度值和一个或多个可见光值的值阵列。控制器120可以被配置为将像素126的矩阵(和/或任何其他合适的参数值)输出到成像系统100内部或外部的任何合适的接收器。在一个示例中，控制器120可以配置为将该像素126的矩阵输出到另一个处理组件，以进行额外的图像处理(例如，滤波、计算机视觉)。在一些示例中，处理组件可以并入成像系统100中。在其他示例中，该处理组件可以被并入与成像系统100通信的远程计算设备中。在进一步的示例中，控制器120可以被配置为将像素矩阵126输出到外部显示设备，以作为图像进行视觉呈现。此外，在一些实现中，2D和3D图像数据可以使用不同的数据结构(例如，用于单色或彩色值的第一矩阵和用于深度值的第二矩阵)来表示。

在一些实现中，传感器阵列104的像素106可以是差分像素，例如传输门ToF像素和/或光电门ToF像素。图2示出了传输门ToF像素200的示例性示意图。虽然将主要使用传输门ToF像素作为示例来描述该详细描述，但本文所描述的系统和方法也适用于光电门ToF像素和其他差分ToF像素类型。ToF像素200包括“A”电路201a和“B”电路201b，当激活时，这两个电路都可以暴露于像素电压205(V

电路201a和201b中的每一个都包括无源元件，例如源极跟随器215a和215b(SF

在ToF模式下的正常操作期间，A电路201a和B电路201b被顺序地通电，并且在一些示例中可以以数百MHz量级的频率交替。在电路201a通电的时间段期间采集的所有电子在输出节点235a处被读出，并且当电路201b通电时撞击在像素上的所有光子在输出节点235b处被读出。

图3描绘了用于在全局快门下操作ToF像素阵列的示例时序图300。图300表示任意数目的N行。在本例中，针对2种不同调制频率和相位延迟捕获描绘了常规操作。虽然将主要使用全局快门操作下的ToF像素作为示例来描述该详细描述，但本文描述的系统和方法也适用于在滚动快门操作下操作的ToF像素。

在该示例中，在302处，针对积分时间，使用第一调制频率(F1)和第一相位延迟(Φ1)交替激励行1-N内的像素的A和B电路。在304处，顺序地读出行1-N。在306，针对积分时间，使用第一调制频率(F1)和第二相位延迟(Φ2)交替激励行1-N内的像素的A和B电路。在308处，顺序地读出行1-N。在310，针对积分时间，使用第二调制频率(F2)和第一相位延迟(Φ1)交替激励行1-N内的像素的A和B电路。在312处，依次读出行1-N。在314，针对积分时间，使用第二调制频率(F2)和第二相位延迟(Φ2)交替激励行1-N内的像素的A和B电路。在316处，顺序地读出行1-N。来自304、308、312和316的组合读出用于生成深度图像318。然后在320，阵列空闲一段持续时间。

在325，突出显示一行的一帧(虚线)。图4描绘了在全局快门下TOF像素操作的这种单行的示例时序图400。将关于差分像素200及其组件描述图400。图400包括图表410和图表420，图表410指示存储门A(SG

从时间t

图5示出了用于操作差分飞行时间像素的示例方法500的流程图。飞行时间成像设备可以使用方法500来减少功率消耗，例如在渐进唤醒操作模式中。

在510，方法500包括在第一较低功率模式下操作传感器阵列的第一差分像素。第一较低功率模式可以被指定为默认模式。例如，第一较低功率模式可以包括在积分周期(例如，200Hz)期间差分像素的A部分和差分像素的B部分之间的较低频率切换，而不是与深度成像相关联的较高频率切换(例如，200MHz)。

附加地或备选地，第一较低功率模式可以是被动模式，其中通常用于生成ToF数据的照射设备是不主动的。相反，差分像素可以被配置为积分环境中存在的环境光。此外，可以在不使用ADC的情况下执行从A和B部分读出的电压，从而实现额外的功率节省。

在520，方法500包括针对第一持续时间供应第一时钟信号以选择性地激活第一差分像素的第一采集端子。例如，A部分和B部分中的每一个可以被激活或通电单个持续时间(例如，5ms)，而不是在MHz频率(例如，10ns)的量级上来回切换。

在530，方法500包括针对第二持续时间供应第二时钟信号以选择性地激活第一差分像素的第二采集端子。在一些示例中，第二时钟信号可以基本上与第一时钟信号互补。第二持续时间可以在长度上等于第一持续时间，但在一些示例中也可以在持续时间上更短或更长。然而，在一些示例中，第一时钟信号和第二时钟信号可以被配置为使得第一采集端子和第二采集端子具有重叠的激活周期或间隔的激活周期。如关于图4所描述的，针对ToF应用，时钟信号可以以MHz频率在A和B部分之间切换。每次转换都消耗功率(CV^2F)。通过减少循环次数，例如从1000个循环减少到1-2个，实现了功率节省。此外，拍摄的图像的数目可以减少到1，而不是导出精确深度帧所需的多个图像(例如，4-6)。

以这种方式操作像素的示例在图6中示出。图6示出了在全局快门下TOF像素操作的单行的示例时序图600。将关于差分像素200及其组件描述图600。图600包括图表610和图表620，图表610指示存储门A(SG

从时间t

返回图5，在540，方法500包括读出在第一持续时间内在第一采集端子处累积的第一电荷量。第一电荷量可以在模拟域中被读出，而不被引导到ADC。在550处继续，方法500包括读出在第二持续时间内在第二采集端子处累积的第二电荷量。第一电荷量和第二电荷量可以在模拟域中被读出，而不被引导到ADC。可选地，可以以较低ADC位深度可用于进行比较的方式读出第一电荷量和第二电荷量。

取决于像素配置，在第一持续时间内在第一采集端子处累积的第一电荷量和在第二持续时间内在第二采集端子处累积的第二电荷量的读出可以同时或顺序发生。例如，返回图6，在时间t

返回到图5，一旦两个采集端子都被积分，方法500可以进行到560。在560，方法500包括在模拟域中比较第一电荷量和第二电荷量。如图7所示，运动导致亮度随时间变化，这可以通过第一和第二电荷量的比较来确定。然后可以使用该比较来决定是否将像素推进到较高功率模式。

图7示出了三个示例图表700、710和720。图表700描绘了具有静态亮度的场景。图表710描绘了亮度随时间增加的场景。图表720描绘了亮度随时间降低(例如，变暗)的场景。针对静态场景，例如由图表700表示的场景，Sig_A-Sig_B＝0；因此abs(Sig_A-Sig_B)＝0。针对亮度增加的场景，例如由图表710表示的场景，Sig_A_Sig_B＜0；并且因此abs(Sig_A-Sig_B)>0。针对亮度降低的场景，例如由图表720表示的场景，Sig_A_Sig_B>0；abs(Sig_A-Sig_B)>0。可以在模拟域中绕过ADC来确定abs(Sig_A-Sig_B)的值。像素视场中亮度的任何变化都将导致abs(Sig_A-Sig_B)增加。

返回图5，在570处，方法500包括响应于第一电荷量与第二电荷量相差超过阈值，在第二较高功率模式下操作传感器阵列的第一差分像素。

在一些示例中，阈值可以基于第一电荷量和第二电荷量。换句话说，阈值可以基于信号电平，使得由于噪声引起的波动不会导致阈值被突破。这样，阈值可以被连续更新，以便总是超过噪声水平。

当像素上的信号S低时，信号中的噪声N也小(例如散粒噪声)。这样，可以将相对较小的检测阈值T设置为大于N。然而，当像素上的信号S为高时，信号中的噪声N也为高(例如，由于散粒噪声)。为了避免假阳性，可以选择相对大的检测阈值。例如，在白天，明亮的图像本身就很嘈杂，用于相对黑暗的室内环境的阈值可能无效。

图8示出了用于确定第一和第二信号是否相差阈值的一个示例比较器电路800。比较器电路包括第一输入810和第二输入820，第一输入被配置为接收基于第一采集端子(V

随着信号电平的增加，噪声与信号的平方根成比例地增加。这样，可以基于信号的平方根来设置阈值信号。例如，阈值信号可以被设置为基于Sqrt(V

只要阈值T充分高于噪声N的水平，可以使用近似信号S的噪声N的阈值电路来设置阈值T。图9示意性地描绘了示例差分电路900，差分电路900可以用作比较器电路，其阈值基于信号电平而变化。差分电路900可以被配置为同时检测信号的变化并将信号差分应用于自动确定的阈值。差分电路900包括第一输入910和第二输入920，第一输入入910被配置为跨第一电阻器911(R1)施加基于第一采集端子(V

如果存在适当大的变化V

尽管差分电路900具有大的正增益，但在一些示例中，可以应用一定量的信号数字化和/或处理以去除信号极性。在一些示例中，这种电路可以与比较器800的不可调谐版本级联。

返回图5，如果第一电荷量在第二电荷量的阈值内，则第一差分像素可以保持在第一较低功率模式。如果读出信号具有低于阈值的信噪比，则第一差分像素可以在较高功率模式下操作一段持续时间。例如，可以针对传感器阵列中包括第一差分像素的像素区域激活主动照射，以便获得更高的信号数据。

如果确定在第一和第二采集端子之间累积的电荷存在阈值变化，则第一差分像素然后在第二较高功率模式下被操作。在一些示例中，第二较高功率模式可以包括采集端子之间的增加的切换频率、某种程度的数字处理和/或ADC激活、经由可操纵照射源激活主动照射和/或进入ToF模式。

在一些示例中，第二较高功率模式不是ToF模式。相反，第二较高功率模式可用于采集比通过第一较低功率模式可用的信息更高程度的信息。作为示例，第二较高功率模式可以是照片模式，其中照射源不被激活，并且第一和第二采集端子之间的切换增加到高于第一较低功率模式，但不增加到与ToF成像相关联的MHz电平。图像数据可以分流到ADC以进行评估。然后，可以使用在该第二较高功率模式下采集的照片信息来确定差分像素和/或整个像素阵列是否应该前进到附加的、更高的功率模式，诸如ToF。

作为示例，可以在像素阵列的区域内的两个或更多个像素中检测电荷变化。可以将像素区域移动到第二较高功率模式，在该模式下，拍摄并根据准则集合评估该区域的图片。准则集合可以包括指示图片是否指示该区域中的显著亮度变化和/或图片是否指示区域中正在进行的亮度变化的参数。如果图片不满足准则集合，则像素区域可以返回到第一较低功率模式。如果满足准则集合，则像素区域可以前进到第三功率模式，第三功率模式高于第二功率模式，诸如ToF成像。以这种方式，功率模式可以基于信号数据而快速地增量增加。然后，相机可以对场景中的实际变化做出响应，同时在不进入全功率ToF模式的情况下仔细检查噪声和波动。

通过选择性地停用或组合像素，可以在较低功率模式下实现额外的功率节省。图10A示意性地示出了以全分辨率操作的像素阵列1000。像素阵列1000包括区域1010，其被描绘为54个像素的9x6块，耦合到ADC块1012。在该示例中，区域1010内的54个像素中的每一个被激活。图10B示意性地示出了抽取(例如，二次采样)像素阵列1050。像素阵列1055包括区域1060，其被描绘为54个像素的9x6块，耦合到ADC块1062。在该示例中，区域1060被分成9像素的簇，例如簇1065。在该例中，簇1065内的9个像素之一被激活，因此区域1060内的54个像素中的6个被激活(例如通过因子1/9抽取)。基于由像素阵列内的激活像素生成的信号，非激活像素可以被激活，从而增加阵列的分辨率，作为渐进唤醒过程的第一阶段。这种过程可以应用于像素阵列的区域内，而不是应用于单个像素或整个阵列。这可以减少潜在的不必要的像素激活和通过较高功率模式的渐进。具体地，成像设备可以包括可操纵照射源，其被配置为单独地主动照射由传感器阵列查看的场景中的多个照射区域中的不同照射区域。可操纵照射源可以仅主动照射与指示亮度变化的像素阵列区域相对应的特定照射区域。其他像素阵列区域可以保持在被动检测模式中。

图11描绘了用于操作包括差分飞行时间像素的多个区域的像素阵列的示例方法1100。作为一个非限制性示例，像素阵列可以被划分为16个区域，但是可以使用更多或更少的区域。在一些示例中，多个区域中的每一个区域可以在尺寸和其中包括的像素数目上相等，而在其他示例中，这些区域可以是不一致的、重叠的或以其他方式配置的。

在1110，方法1100包括在降低的功率模式下操作像素阵列的第一区域。例如，第一区域可以包括一个以上的主动像素，每个主动像素被配置为在第一较低功率模式下操作，诸如关于图5和图6描述的较低功率模式，其中像素在被动低频模式下被操作。在一些示例中，在降低的功率模式下操作包括对区域进行二次采样，如关于图10B所述。因此，可以认为第一区域被抽取，具有一个或多个非主动像素。可以将两个或更多个像素分组为一个簇，并且读出一个或更多个像素来表示该簇。

在一些示例中，在降低的功率模式下操作包括将两个或更多像素的输出合并在一起。每个像素可以在所描述的低频、较低功率模式下操作，但是可以将两个或更多像素的输出信号组合在一起进行分析。例如，许多像素阵列包括放大器，其被配置为接受来自多个(例如，4个)像素的电压并执行电阻合并。来自多个第一采集端子的电压可以经由第一电阻器在公共节点处组合，并且来自多个第二采集端子的电压可以经由第二电阻器组合。然后可以比较组合的电压，例如关于图7至图9所述。通过同时读出多个像素，保持了读出单个像素的功耗。

在1120处，方法1100包括基于像素阵列的第一区域的电荷读出增加到高于阈值，在较高功率模式下操作像素阵列的第二区域。针对每个像素或像素簇的阈值处理可以如关于图8和图9所描述的那样执行。在一些示例中，在像素阵列的第一区域在较高功率模式下被操作之前，区域内的两个或更多像素或像素簇可以显示阈值变化。如关于图5所描述的，较高功率模式可以是相机模式、ToF模式或其他较高功率模式。

在一些示例中，较高功率模式可以包括单独激活区域内的所有像素，但在第一较低功率模式下操作像素。例如，诸如图10B中所示的区域1060的抽取区域可以被转换为诸如图10A中所示区域1010的完全激活区域。然而，每个像素然后可以在低频被动成像模式下操作。在一些示例中，基于像素阵列的第一区域的电荷读出增加到高于阈值，整个像素阵列可以在较高功率模式下操作。例如，突破第一阈值可以指示在较高功率模式下操作该区域，而突破第二较高阈值可以指示在较高功率模式下操作整个阵列，即使像素阵列的每个其他区域没有表现出可比的活动水平。

在1130处，方法1100包括在较高功率模式下针对像素阵列的区域采集环境的图像数据。如关于图5所描述的，采集图像数据可以包括使用像素阵列的区域获取环境的被动相机图像。在一些示例中，采集环境的图像数据可以包括从阵列区域的角度选择性地照射环境的照射区域。这样，针对该区域采集的图像数据可以是2D或3D图像数据。

在1140，方法1100包括基于所采集的图像数据调整像素阵列的功率模式。例如，如果图像数据指示检测到的亮度变化是噪声、瞬态的，或者以其他方式不指示更耗电的成像，则像素阵列的至少第一区域可以返回到降低的功率和/或低分辨率模式。如果图像数据指示至少第一区域的检测到的亮度变化，则可以针对至少第一区域激活可操纵照射源。然后，可以根据第一区域的像素采集主动照射的照射区域的主动成像数据。在一些示例中，当像素阵列的其他区域在较高功率模式下被操作时，可操纵照射源可以前进以顺序地照射一个或多个照射区域。

亮度的可检测阶跃函数变化可能发生在帧之内(帧内)或帧之间(帧间)。系统应检测帧内和帧间变化，以便本文描述的方法提供有效的检测方案。然而，与积分期间相比，检测读出期间发生的亮度变化可能更具挑战性。

图12示出了用于检测亮度的阶跃变化的示例方法1200，例如，在本文所述的低频、较低功率模式期间。在1210，方法1200包括在第一较低功率模式下操作传感器阵列的每个主动差分像素。在1220，方法1200包括针对第一积分持续时间供应第一时钟信号以选择性地激活每个主动差分像素的第一采集端子。在一些示例中，这些操作可以如本文所述并参照图5来执行。例如，图13示出了示例时序图1300，其显示了10行差分像素的操作，但是像素阵列可以具有更多或更少的像素行。第一时钟信号可以激活每个差分像素的“A”或第一采集端子。在时序图1300中，第一时钟信号在第1帧和第3帧的积分周期期间选择性地激活A端子。

返回图12，在1230处，方法1200包括，在第一积分持续时间之后的第一读取持续时间期间，针对差分像素行的第一子集，读出在第一积分时间内在第一采集端子处累积的第一电荷量，以及针对差分像素行的第二子集，在第一积分持续时间内保持在第一采集端子处累积的电荷量。例如，时序图1300示出了在第1帧和第3帧的读取持续时间部分期间读出的奇数行(例如，1、3、5、7和9)。在该读取持续时间期间不读出偶数行(如，2、4、6、8和10)。因此，当阵列进入第2帧时，偶数行保持其电荷。

返回图12，在1240，方法1200包括针对第二积分持续时间供应第二时钟信号，以选择性地激活每个主动差分像素的第二采集端子，第二时钟信号基本上与第一时钟信号互补。例如，如时序图1300所示，第二时钟信号可以在第2帧和第4帧的积分周期期间激活“B”或第二采集端子或每个差分。

返回图12，在1250处，方法1200包括在第二积分持续时间之后的第二读取持续时间期间，针对差分像素行的第二子集，读取在第一积分持续时间内在第一采集端子处累积的第一电荷量，读出在第二积分持续时间内在第二采集端子处累积的第二电荷量，并且针对差分像素行的第一子集，在第二累计持续时间内保持在第二采集端子处累积的电荷量。例如，时序图1300示出了在第2帧和4的读取持续时间部分期间读出偶数行(例如，2、4、6、8和10)。奇数行(如，1、3、5、7和9)在此读取持续时间期间不被读出。因此，当阵列进入第3帧时，奇数行保持其电荷。

返回图12，在1260处，方法1200包括针对每个差分像素，在模拟域中比较第一电荷量和第二电荷量，例如关于图8和图9所述。如果在积分持续时间期间发生阶跃变化(如1310所示)，则在随后的读取周期中偶数行将检测到该阶跃变化。例如，针对行2，在第1帧期间端子A处的积分保持直到第2帧期间的读出。在第2帧期间针对端子B的积分期间，当在第二帧的读出期间同时读出端子A和端子B时，阶跃变化将导致端子B处的读出高于端子A处的读出。如果在读出持续期间发生阶跃变化(如1320所示)，当奇数行在第3帧期间被读出时，奇数行从端子A的读出将比端子B的读出高。假设产生这种亮度变化的场景对象足够大，足以跨越至少一个奇数行和一个偶数行。

返回图12，方法1200包括，在1270处，针对第一差分像素，响应于第一电荷量与第二电荷量相差超过阈值，在第二较高功率模式下操作传感器阵列的第一差分像素。

在一些实施例中，本文描述的方法和过程可以被绑定到一个或多个计算设备的计算系统。特别地，这样的方法和过程可以被实现为计算机应用程序或服务、应用编程接口(API)、库和/或其他计算机程序产品。

图14示意性地示出了可以实施上述方法和过程中的一个或多个的计算系统1400的非限制性实施例。计算系统1400以简化形式示出。计算系统1400可以采取一个或多个个人计算机、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如，智能手机)和/或其他计算设备的形式。

计算系统1400包括逻辑机器1410和存储机器1420。计算系统1400可以可选地包括显示子系统1430、输入子系统1440、通信子系统1450和/或图14中未示出的其他组件。

逻辑机器1410包括被配置为执行指令的一个或多个物理设备。例如，逻辑机器可以被配置为执行作为一个或多个应用、服务、程序、例程、库、对象、组件、数据结构或其他逻辑构造的一部分的指令。这样的指令可以被实现为执行任务、实现数据类型、转换一个或多个组件的状态、实现技术效果或以其他方式获得期望的结果。

逻辑机器可以包括被配置为执行软件指令的一个或多个处理器。附加地或备选地，逻辑机器可以包括被配置为执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑机器的处理器可以是单核或多核，并且在其上执行的指令可以被配置用于顺序、并行和/或分布式处理。逻辑机器的各个组件可选地可以分布在两个或更多个单独的设备之间，这些设备可以远程定位和/或配置用于协调处理。逻辑机器的各方面可以由在云计算配置中配置的可远程访问的联网计算设备虚拟化和执行。

存储机器1420包括一个或多个物理设备，其被配置为保存可由逻辑机器执行的指令以实现本文描述的方法和过程。当实施这样的方法和过程时，可以变换存储机器1420的状态，例如，以保持不同的数据。

存储机器1420可以包括可移动和/或内置设备。存储机器1420可以包括光学存储器(例如CD、DVD、HD-DVD、蓝光光盘等)、半导体存储器(例如RAM、EPROM、EEPROM等)和/或磁存储器(例如硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等。存储机器1420可以包括易失性、非易失性的、动态的、静态的、读/写的、只读的、随机存取的、顺序存取的、位置可寻址的、文件可寻址的和/或内容可寻址的设备。

应当理解，存储机器1420包括一个或多个物理设备。然而，这里描述的指令的各方面可备选地可以由物理设备在有限持续时间内不保持的通信介质(例如，电磁信号、光信号等)传播。

逻辑机器1410和存储机器1420的方面可以一起积分到一个或多个硬件逻辑组件中。例如，这种硬件逻辑组件可以包括现场可编程门阵列(FPGA)、程序专用集成电路(PASIC/ASIC)、程序和应用专用准则产品(PSSP/ASSP)、片上系统(SOC)和复杂可编程逻辑器件(CPLD)。

当被包括时，显示子系统1430可用于呈现由存储机器1420保存的数据的视觉表示。该视觉表示可采取图形用户界面(GUI)的形式。由于本文描述的方法和过程改变了由存储机器保持的数据，并因此改变了存储机器的状态，显示子系统1430的状态同样可以被变换为可视地表示底层数据的变化。显示子系统1430可以包括利用几乎任何类型的技术的一个或多个显示设备。这样的显示设备可以与逻辑机器1410和/或存储机器1420组合在共享外壳中，或者这样的显示装置可以是外围显示设备。

当被包括时，输入子系统1440可以包括一个或多个用户输入设备，例如键盘、鼠标、触摸屏或游戏控制器，或与之接口连接。在一些实施例中，输入子系统可以包括选定的自然用户输入(NUI)组件或与之接口连接。这样的组件可以是集成的或外围的，输入动作的转导和/或处理可以在板上或板外处理。示例NUI组件可以包括用于语音和/或语音识别的麦克风；用于机器视觉和/或手势识别的红外、彩色、立体和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器，加速度计和/或陀螺仪；以及用于评估大脑主动的电场传感组件。

当被包括时，通信子系统1450可以被配置为将计算系统1450与一个或多个其他计算设备通信耦合。通信子系统1450可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可以被配置为经由无线电话网络或有线或无线局域网或广域网进行通信。在一些实施例中，通信子系统可以允许计算系统1400经由诸如因特网之类的网络向其他设备发送消息和/或从其他设备接收消息。

在一个示例中，成像系统包括传感器阵列，传感器阵列包括多个差分像素；以及控制器，其被配置为：在第一较低功率模式下操作传感器阵列的第一差分像素；针对第一持续时间供应第一时钟信号，以选择性地激活第一差分像素的第一采集端子；针对第二持续时间供应第二时钟信号，以选择性地激活第一差分像素的第二采集端子；读出在第一持续时间内在第一采集端子处累积的第一电荷量；读出在第二持续时间内在第二采集端子处累积的第二电荷量；在模拟域中比较第一电荷量和第二电荷量；以及响应于第一电荷量与第二电荷量相差超过阈值，在第二较高功率模式下操作传感器阵列的第一差分像素。在这样的示例或任何其他示例中，阈值附加地或备选地基于第一电荷量和第二电荷量。在任何前述示例或任何其它示例中，第一较低功率模式附加地或备选地包括在第一采集端子和第二采集端子的激活之间的低频切换。在任何前述示例或任何其他示例中，第二较高功率模式附加地或备选地包括飞行时间成像。在任何前述示例或任何其他示例中，第二较高功率模式附加地或备选地包括被动相机模式，该被动相机模式包括在像素处采集的图像数据的模数转换。在任何前述示例或任何其他示例中，控制器附加地或备选地进一步被配置为：根据准则集合评估在被动相机模式期间采集的数字图像数据；以及基于数字图像数据满足准则集合，在高于第二较高功率模式的第三功率模式下操作传感器阵列的第一差分像素。在任何前述示例或任何其他示例中，控制器被附加地或备选地进一步配置为：基于数字图像数据不满足准则集合，将第一差分像素返回到第一较低功率模式。在任何前述示例或任何其他示例中，控制器被附加地或备选地配置为基于第一电荷量与第二电荷量相差超过阈值而在第二较高功率模式下操作两个或更多个差分像素。在任何前述示例或任何其他示例中，传感器阵列被附加地或备选地划分为多个差分像素区域，其中第一差分像素附加地或备选地位于第一差分像素区域中，并且其中控制器被附加地或可备选地配置为基于第一电荷量与第二电荷量相差超过阈值而在第二较高功率模式下操作第一差分像素区域中的每个像素。

在另一示例中，一种用于操作包括多个差分像素的传感器阵列的方法包括：在第一较低功率模式下操作传感器阵列的第一差分像素；针对第一持续时间供应第一时钟信号，以选择性地激活第一差分像素的第一采集端子；针对第二持续时间供应第二时钟信号，以选择性地激活第一差分像素的第二采集端子；读出在第一持续时间内在第一采集端子处累积的第一电荷量；读出在第二持续时间内在第二采集端子处累积的第二电荷量；在模拟域中比较第一电荷量和第二电荷量；以及响应于第一电荷量与第二电荷量相差超过阈值，在第二较高功率模式下操作传感器阵列的第一差分像素。在这样的示例或任何其他示例中，阈值附加地或备选地基于第一电荷量和第二电荷量。在任何前述示例或任何其它示例中，第一较低功率模式附加地或备选地包括在第一采集端子和第二采集端子的激活之间的低频切换。在任何前述示例或任何其他示例中，第二较高功率模式附加地或备选地包括飞行时间成像。在任何前述示例或任何其他示例中，第二较高功率模式附加地或备选地包括被动相机模式，该被动相机模式包括在像素处采集的图像数据的模数转换。在任何前述示例或任何其他示例中，该方法附加地或备选地包括根据准则集合评估在被动相机模式期间采集的数字图像数据；以及基于数字图像数据满足准则集合，在高于第二较高功率模式的第三功率模式下操作传感器阵列的第一差分像素。在任何前述示例或任何其他示例中，该方法附加地或可备选地包括基于数字图像数据不满足准则集合，将第一差分像素返回到第一较低功率模式。在任何前述示例或任何其他示例中，该方法附加地或备选地包括基于第一电荷量与第二电荷量相差超过阈值而在第二较高功率模式下操作两个或更多个差分像素。在任何前述示例或任何其他示例中，传感器阵列被附加地或备选地划分为多个差分像素区域，其中第一差分像素附加地或备选地位于第一差分像素区域中，并且其中所述方法附加地或可备选地包括基于第一电荷量与第二电荷量相差超过阈值，在第二较高功率模式下操作第一差分像素区域中的每个像素。

在又一示例中，成像系统包括传感器阵列，传感器阵列包括多个差分像素行；以及控制器，其被配置为：在第一较低功率模式下操作传感器阵列的每个主动差分像素；针对第一积分持续时间供应第一时钟信号，以选择性地激活每个主动差分像素的第一采集端子；在第一积分持续时间之后的第一读取持续时间期间，针对差分像素行的第一子集，读出在第一积分持续时间内在第一采集端子处累积的第一电荷量，并且针对差分像素行的第二子集，在第一积分持续时间内保持在第一采集端子处累积的电荷量；针对第二积分持续时间供应第二时钟信号以选择性地激活每个主动差分像素的第二采集端子，第二时钟信号基本上与第一时钟信号互补；在第二积分持续时间之后的第二读取持续时间期间，针对差分像素行的第二子集，读出在第一积分持续时间内在第一采集端子处累积的第一电荷量，读出在第二积分持续时间内在第二采集端子处累积的第二电荷量，并且针对差分像素行的第一子集，在第二积分持续时间内保持在第二采集端子处累积的电荷量；针对每个差分像素，在模拟域中比较第一电荷量和第二电荷量；以及针对第一差分像素，响应于第一电荷量与第二电荷量相差超过阈值，在第二较高功率模式下操作传感器阵列的第一差分像素。在这样的示例或任何其他示例中，响应于第一电荷量与第二电荷量相差超过阈值，传感器阵列的两个或更多个差分像素附加地或备选地在第二较高功率模式下被操作。

将理解，这里描述的配置和/或方法本质上是示例性的，并且这些特定实施例或示例不应被认为是限制性的，因为许多变化是可能的。本文描述的特定例程或方法可以表示任何数目的处理策略中的一个或多个。因此，所示和/或所述的各种动作可以以所示的和/或描述的顺序、以其他顺序、并行或省略来执行。同样，上述处理的顺序可以改变。

本公开的主题包括本文公开的各种过程、系统和配置以及其他特征、功能、动作和/或特性的所有新颖和非显而易见的组合和子组合，以及其任何和所有等价物。