飞行时间传感器系统

领域

本发明涉及飞行时间传感器系统、针对飞行时间传感器系统感测从被摄体(subject)散射的光的方法、用于飞行时间传感器系统的致动装置以及用于飞行时间传感器系统中的致动装置的方法。

背景

飞行时间传感器系统使用飞行时间来针对图像的每个点解析传感器和被摄体之间的距离。例如，在直接飞行时间系统中，通过测量人工光信号或脉冲到被摄体然后从被摄体反射的往返时间来测量飞行时间。因此，到被摄体的距离是光速(3x10

不可见光波长可以用于飞行时间相机系统，以避免干扰正在成像的被摄体(其还可以利用可见光相机捕获)。由于具有良好分辨潜力的小型(便携式)激光器的可用性，通常选择近红外(NIR)波段(波长750nm至1.4μm)。

飞行时间三维(3D)传感器可以使用由泛光(flood)照明或束点(spot)照明形式的人工光提供的光。泛光照明是以下情形：在感兴趣的区域上提供散焦的、空间均匀的光。束点照明是以下情形：光被聚焦到感兴趣的区域上的束点阵列中，因此提供了空间上非均匀的光。泛光照明给出了高分辨率的深度图，但由于泛光照明的有限强度而具有有限的远距离(distal)范围。与泛光照明相比，束点照明给出了增加的远距离范围，但这将分辨率降低到从泛光照明散射的光所照明的像素数量。

飞行时间3D传感器可以在泛光照明模式和束点照明模式之间切换。在这样的布置中，透镜形式的聚焦光学元件由致动器沿着光轴移动，以使束点照明散焦以产生泛光照明，然后移动到聚焦位置以产生束点照明。

根据所期望的应用，这种已知的布置可以使用束点照明或泛光照明来操作。然而，鉴于泛光照明和束点照明的现有缺点(即分别为有限的范围和有限的分辨率)，针对现有系统并且特别是这些系统在广泛应用中的适用性，存在改进的空间。

已经进行尝试以改进束点照明技术，从而补偿由于使用聚焦光而导致的分辨率损失。例如，申请人先前已经提供了一种扫描方法，其中致动器接合光源以在感兴趣的区域上移动束点照明。致动器然后与光源接合以相对于场景移动束点。通过这种方式，该方法扫描场景以重建全分辨率图像。这在图6中示出。

虽然这种方法提供了优于传统的TOF系统的优势，但这种类型的扫描技术在由传统系统实现时可能遇到困难。例如，单个束点可能跨越图像传感器的检测器表面上的多个像素。在扫描过程期间，使束点80在传感器表面上移动，以照明更多的像素，从而提高分辨率，这在图6中通过虚线箭头示出。然而，每个帧包含许多像素81，这些像素81没有被照明，并且因此不包含深度信息。这可能是多达90％的像素，意味着读取的每个30万像素的帧可能存在例如多达约270000个像素不包含有用的信息。然而，它们仍然必须被读出。类似地，当束点照明在传感器表面上扫描时，可能遗漏一些像素，即扫描位置可能不会覆盖所有像素，意味着某些像素可能永远不会在所有扫描中贡献有用的信息。这在图6中示出。

概述

本发明的发明人已经意识到，可以提供一种多功能飞行时间传感器系统，其能够针对变化的条件提供最佳的3D感测。特别地，发明人已经意识到，可以提供一种3D成像系统，该3D成像系统能够在所有环境中通过在必要的情况下权衡(trade off)范围、分辨率和帧速率来提供最佳性能。

本发明由独立权利要求限定，现在应该参考独立权利要求。在从属权利要求中阐述了可选特征。

根据本发明的一个方面，提供了一种飞行时间传感器系统，包括：照明源，该照明源用于照明要测量飞行时间的被摄体；光学系统，该光学系统被配置为在提供束点照明和泛光照明之间转换照明源；以及包括传感器表面的传感器，该传感器被配置为感测由被摄体散射的来自照明源的光并根据感测的光提供数据，其中该束点照明在传感器表面上具有空间上非均匀的强度，并且光学系统被配置成使用至少一个致动器使束点照明在传感器表面的至少一部分上移动以生成输出帧，其中至少一个致动器包括至少一个形状记忆合金(SMA)部件。

本发明的飞行时间传感器系统能够提供束点照明和泛光照明两者。显著地，在提供束点照明时，传感器系统还能够使束点照明在传感器表面的至少一部分上移动以生成图像输出。在这样做时，本发明的传感器系统能够根据期望的应用提供最佳的3D成像。例如，典型地，与束点照明相比，泛光照明提供相对较高的分辨率，但与束点照明相比，泛光照明在相对较短的范围内是有效的。相比之下，束点照明能够在比泛光照明更大的距离上有效地起作用，但通常提供较低的分辨率。此外，使束点照明在传感器表面的至少一部分上移动提供了比不移动束点照明更高的分辨率。因此，根据给定的环境，可以对飞行时间传感器系统使用最佳配置或操作模式。

在单个飞行时间传感器系统中提供束点照明和泛光照明两者可以称为双分布(dual-profile)飞行时间传感器系统。使束点照明在传感器表面的至少一部分上移动以生成输出图像(在下面更详细地描述)可以被称为点扫描(dotscan)感测。本发明的发明人已经意识到，单个飞行时间传感器系统可以将双分布系统的概念与点扫描感测相结合，以提供多功能飞行时间传感器系统。

飞行时间传感器系统可以是任何兼容的装置或设备或可以设置在任何兼容的装置或设备中，该任何兼容的装置或设备包括智能手机、移动计算设备、膝上型计算机、平板计算设备、安全系统、游戏系统、增强现实系统、增强现实设备、可佩戴设备、无人机、航空器、航天器、车辆、自主车辆、机器人设备、消费电子设备、家用设备和家庭自动化设备。

泛光照明和束点照明可以由任何合适的光源提供或发射。例如，光源可以是非可见光源或近红外光源。光源可以包括至少一个激光器、激光器阵列(例如垂直腔面发射激光器(VCSEL)阵列)，或者可以包括至少一个发光二极管(LED)。

光学系统可以被配置为以扫描模式在传感器表面的至少一部分上使束点照明移动。扫描模式可以包括沿着第一方向使束点照明在传感器表面的至少一部分上移动。扫描模式还可以包括沿着第二方向使束点照明在传感器表面的至少一部分上移动。在一平面中，第一方向可以垂直于第二方向，或者与第二方向成角度。也就是说，第一方向可以与第二方向以非零角度成角度。扫描模式可以是光栅扫描模式。扫描模式可以是右行左行交互书写的(boustrophedonic)。增加扫描模式中的(扫描)点数可以导致更均匀的照明传感器表面或视场，这可以允许改善整个传感器表面上的分辨率。然而，扫描模式中的点越多，需要捕获和组合的帧就越多，以便生成输出帧。存在的帧越多，捕获帧进行组合所花费的时间就越多。因此，可以选择适合应用的扫描模式。

可以在扫描模式的不同周期中使用相同的扫描模式，或者可以在扫描模式的不同周期中使用不同的扫描模式。换句话说，扫描模式的周期可以包括以多个离散移动、或一个或更多个连续移动、或多个离散移动和一个或更多个连续移动的组合使束点照明在传感器表面的至少一部分上移动。扫描模式的随后周期然后可以使用与先前使用的相同的周期，或者可以使用不同的周期。例如，不同的周期可以允许在每个周期中的不同点进行扫描(例如，不同的感兴趣区域)，或者以不同的顺序扫描相同的点(例如，不同的扫描路径)。非均匀照明可以在传感器表面的至少一部分上以离散位置移动，或者可以在传感器表面的至少一部分上连续地移动。这是因为飞行时间测量技术只依赖于一段时间内的照明强度，而不需要为了对场景进行采样而将移动照明停下来。

可以基于要测量飞行时间的被摄体和接收/感测/检测的反射光的强度或信噪比来移动空间非均匀照明(束点照明)。例如，如果传感器检测到非常少的光，则系统可以确定被摄体距离太远，并且因此可以将照明移动到新的位置。类似地，如果反射光的强度非常高，则可以相对快速地收集关于视场的足够信息，使得照明可以相对快速地移动到新的位置(以捕获关于另一个区域的数据)，而如果反射光的强度较低，则照明可能需要在适当位置保持更长时间，以允许收集足够的数据以产生可靠的3D图像。因此，在一些实施例中，空间非均匀照明可以响应于感测的反射光的强度和/或信噪比而移动。

光学系统可以使用至少一个致动器在扫描模式中移动束点照明。至少一个致动器可以是用于并入传感器系统的任何合适的致动机构。例如，至少一个致动器可以包括形状记忆合金(SMA)致动器，该形状记忆合金(SMA)致动器可以包括至少一个SMA部件(例如SMA致动器导线)。SMA致动器导线可以耦合到装置或装置的每个元件，该装置可以移动以便在传感器表面的至少一部分上移动发射的非均匀照明。附加地或可替代地，至少一个致动器可以包括音圈电机(VCM)、光学图像稳定致动器、自动聚焦致动器、4导线SMA致动器或8导线SMA致动器、模块倾斜致动器或用于控制非均匀照明(束点照明)的自适应光束控制机构。至少一个致动器可以被布置为通过移动可以包括在呈现飞行时间传感器系统的装置中的以下部件中的任何一个来移动所发射的非均匀照明：透镜、棱镜、反射镜、点投影仪和光源。至少一个致动器可以提供至少一个自由度(例如两个自由度)以提供扫描模式。

光学系统可以被配置为使用至少一个致动器通过相对于支撑结构在相应的第一位置到第二位置之间或在第一位置到第二位置之间的任何位置移动可移动元件来聚焦和散焦照明源。也就是说，传感器系统可以包括支撑结构。通过相对于支撑结构将可移动元件移动到第一位置，照明源可以被聚焦；通过将可移动元件移动到第二位置，照明源可以被散焦。可移动元件可包括透镜元件、透镜、棱镜、反射镜或衍射光栅。可移动元件可以设置在照明源的“前面”，即在照明源和要测量飞行时间的被摄体之间。至少一个致动器可以提供至少一个自由度以用于聚焦和散焦照明源，例如通过沿着移动轴向可移动元件提供自由度。

至少一个致动器可以配置为在小于10ms(可选地小于5ms和可选地小于3ms)的时间内在第一位置和第二位置之间或在第二位置和第一位置之间移动可移动元件。这样的速度是有益的，因为可移动元件在第一位置和第二位置之间移动所花费的时间可以是针对ToF传感器的子帧积分周期之间的时间。因此，可移动元件在第一位置和第二位置之间的移动时间越快，损失的数据收集时间就越少(其中数据收集时间包括由照明源提供照明并且可以由传感器感测的时间)。

至少一个致动器可以包括连接在可移动元件和支撑结构之间的SMA部件，该SMA部件被配置为在收缩时将可移动元件从第一位置移动到第二位置。SMA部件可以被配置为在收缩时将可移动元件从第一位置移动到第一位置和第二位置之间的任何位置，例如，可移动元件可以移动到第一位置和第二位置之间的任何位置并保持在该任何位置。SMA部件可以通过加热(例如用电流加热)而引起收缩。当SMA部件引起收缩时，其与可移动元件和支撑结构的连接可以使得可移动元件从第一位置或从可移动元件的当前位置移动到第二位置。也就是说，SMA部件的收缩可以导致可移动元件从其当前位置移动到第二位置。至少一个致动器还可以包括连接在可移动元件和支撑结构之间的第二SMA部件，该第二SMA部件被配置为在收缩时将可移动元件从第二位置移动到第一位置。第二SMA部件可以被配置为在收缩时将可移动元件从第二位置移动到第二位置和第一位置之间的任何位置，例如，可移动元件可以移动到第二位置和第一位置之间的任何位置并保持在该任何位置。第二SMA部件可能会像上面那样引起收缩。当引起收缩时，第二SMA部件与可移动元件和支撑结构的连接可以使得可移动元件被引起移动到第二位置。可替代地，可移动元件可以使用诸如弹簧的弹性元件从第二位置移动或返回到第一位置。

至少一个致动器可以包括一个或更多个挠曲件，该挠曲件被配置为当SMA部件未被通电时将可移动元件保持在第一位置或第二位置。挠曲件可以是在特定自由度上柔顺的柔性元件。挠曲件可以是弹性元件，例如弹簧，例如双稳定弹簧。通过使用挠曲件将可移动元件保持在第一位置或第二位置，这允许当可移动元件处于第一位置或第二位置时从SMA部件中移除热量，从而在总体上降低至少一个致动器和系统的功率消耗。在一个实施例中，SMA部件可以与诸如双稳定弹簧的弹性元件连接，而不是与可移动元件连接，从而提供更简单的驱动系统。

可移动元件可以被配置为沿着移动轴移动，并且可以通过支撑结构的支撑部分防止移动超过第一位置或第二位置。支撑部分可以是端部止动件(endstop)或端部。支撑部分可以被配置为使得它们防止可移动元件的移动沿着移动轴比第一位置和第二位置移动得更远。也就是说，支撑部分可以对可移动元件上的移动提供限制或边界。支撑部分或端部止动件或端部可以使致动装置能够实现上述高速，以在第一位置和第二位置之间移动可移动元件。

可移动元件可以被取向为与支撑部分的取向成非零角，使得当可移动元件朝向第一位置或第二位置移动时，可移动元件的第一部分在可移动元件的第二部分之前接触支撑部分，导致可移动元件围绕旋转轴倾斜。通过这样做，减少了由接触支撑部分的可移动元件的脉冲产生的可听噪声输出。

至少一个致动器可以被配置为通过使用SMA部件或弹性元件来围绕旋转轴倾斜可移动元件。SMA部件可以是与用于在第一位置和第二位置之间移动可移动元件的至少一个致动器的SMA部件分离的SMA部件。可移动元件的旋转可以由SMA部件施加的力引起，在可移动元件首先在可移动元件的第一部分处接触支撑部分之后SMA部件在一个方向上继续施加力。可移动元件的旋转可以继续，直到可移动元件的第二部分接触支撑部分，或者直到可移动元件基本上与支撑部分平行。当位于第一位置或第二位置处时，可移动元件可以与一个支撑部分或多个支撑部分基本上平行。可移动元件的第一部分和第二部分可以各自包括用于接触相应支撑部分的接触面，其中第一部分的接触面与第二部分的接触面成角度。

支撑部分可以涂覆有润滑脂或hysteric凝胶。这有利地减少了当可移动元件接触支撑部分时引起的可听噪声输出。支撑部分可以包括接触部分，当移动到第一位置或第二位置时，在接触部分处可移动元件首先接触支撑部分，接触部分被配置为减少当可移动元件接触接触部分时产生的可听噪声输出。

空间上非均匀的强度可以对应于一组区域，其中峰值发射强度基本恒定和/或其中峰值发射强度至少为50％的最大强度水平。在给定的时刻，该组区域可以一起覆盖1％到50％之间的传感器表面。在给定的时刻，该组区域可以一起覆盖10％以上且50％以下、或10％以上且40％以下、或10％以上且30％以下、或10％以上且20％以下的传感器表面。在给定的时刻，该组区域可以一起覆盖20％以上且50％以下、或20％以上且40％以下、或20％以上且30％以下的传感器表面。在给定的时刻，该组区域可以一起覆盖30％以上且50％以下、或30％以上且40％以下的传感器表面。在给定的时刻，该组区域可以一起覆盖40％以上且50％以下的传感器表面。该组区域可以被布置为使得在扫描模式的周期期间，束点照明的移动导致该组区域覆盖75％以上或90％以上或基本上全部的传感器表面。该组区域可以被布置为使得在扫描模式的周期期间，束点照明的移动基本上避免了该组区域中的区域覆盖传感器表面的相同部分不止一次。

束点照明的移动可以导致空间上非均匀的强度中的特定点在扫描模式的周期期间移动50％以下或40％以下或30％以下或20％以下或10％以下或5％以下的传感器表面的宽度或高度。该组区域可以在传感器表面的至少一个方向上具有周期，并且束点照明的移动可以导致空间上非均匀的强度中的特定点在至少一个方向上以大约周期的倒数移动。该组区域可以包括周期，该周期包括在至少一个方向上的预定距离，并且空间上非均匀照明可以以在至少一个方向上的预定距离的倒数移动。例如，至少一个方向可以包括多个连续的方向，该多个连续的方向可以是不同的方向。

传感器可以包括多个像素，并且还可以被配置为提供来自散射光的数据，该散射光仅从传感器的多个像素中的那些像素感测，那些像素在给定的时刻具有该组区域内的视场。

束点照明可以具有任何形式或形状。例如，束点照明可以包括：具有被配置为网格化的光束投影的光束、具有圆形或多边形光束投影的光束、平行光条纹的图案、或光点或光圈的图案(例如均匀或非均匀光点或光圈的图案)。将理解，这些仅仅是照明的示例类型，并且是非限制性的。通过网格化，这意味着光束形状被配置为当移动束点照明时基本上覆盖传感器表面而没有光束形状重叠。这可能在投影之间没有间隙，或者可能在投影之间有间隙。

光学系统可以被配置为针对照明确定要提供束点照明或泛光照明中的哪一种。光学系统可以根据所需要的应用确定要提供的最佳照明类型。光学系统可以基于期望的照明范围、所生成图像的期望的分辨率或期望的帧速率中的一个或更多个来确定要提供束点照明或泛光照明中的哪一种。这样的期望参数可以由用户输入，可以是应用的选择，或者可以由传感器系统本身确定。光学系统可以基于飞行时间传感器系统的操作模式来确定要提供泛光照明或束点照明中的哪一种。例如，飞行时间传感器系统的操作模式可以由飞行时间传感器系统被并入其中或被用于其中的设备或系统来确定。例如，飞行时间传感器系统的操作模式可以基于在其中实现传感器系统的设备上运行的应用来确定。操作模式可以包括以下项之一：面部识别模式、应用的操作模式、虚拟现实游戏操作模式或人像摄影操作模式。例如，光学系统可以确定操作模式已经被设置或已经改变，而光学系统然后可以确定该操作模式的适当或最佳照明模式。光学系统然后可以使用至少一个致动器散焦或聚焦并可选地点扫描照明源以提供最佳照明模式。

束点照明可以包括一个或更多个束点，并且一个或更多个束点处的照明强度与一个或更多个束点之间的照明强度的比率可以是20或更大(例如30或更大)。泛光照明可以包括泛光照明的束点处的照明强度与泛光照明的束点之间的照明强度的比率为2或更小(例如1.5或更小)。

可选地，光学系统被配置为以连续的方式移动束点照明，在此期间传感器感测散射的光。例如，束点照明可以在传感器表面的至少一部分上以扫描模式沿着一个方向或多个方向以连续移动方式进行移动。

可替代地，光学系统被配置为沿着移动路径在多个预定位置或中间位置处暂停或停止束点照明移动，以便允许传感器感测预定位置处的散射光，并且一旦传感器完成感测散射光就恢复沿着移动路径的移动。可选地，束点照明沿着移动路径在多个预定位置上顺序地移动，其中需要感测的所有多个预定位置处的散射光来生成输出帧。例如，当以扫描模式沿着一个方向或多个方向中的每一个移动束点照明时，致动器可以在预定位置中的每一个(例如，对应于传感器表面上的像素或像素组的感兴趣的点或感兴趣的区域)处停止或暂停。这允许传感器当束点照明在预定位置而不是在所述预定位置之间保持静止时感测散射光。

有利地，这种布置可以通过最大化测量的信噪比来提高飞行时间测量的准确度。特别期望在远距离测量中最大化信噪比，因为它们更容易受到噪声的存在的影响。

更具体地，对于传感器上的给定像素，散射光来自信号源和任何噪声源。在已知的系统中，其中束点照明在移动路径上连续移动，例如在预定位置之间的位置处感测散射光，传感器可以在感测时间或曝光时间的很大一部分(例如曝光时间的一半以上)感测来自噪声源的高水平散射光(在某些情况下，散射光可以仅仅来自噪声源)，这可能对飞行时间测量的准确度产生负面影响。

为了最大化信噪比，期望感测来自信号源的散射光。因此，通过暂停束点照明的移动并在感测期间保持其静止，信噪比可以最大化。

有利的是，与诸如音圈电机(VCM)的其它类型的致动器相比，SMA致动器的使用可以特别适合于暂停和恢复束点照明的移动。

可选地，传感器被配置为仅当束点照明已经移动到预定位置并且在预定位置静止时感测散射光。可替代地，传感器被配置为以连续的方式感测散射光，并且其中仅仅当束点照明已经移动到预定位置并在预定位置保持静止时感测到的散射光被用于生成输出帧。也就是说，在后一种情况下，可以丢弃来自远离预定位置感测的散射光的数据。

本发明在应用于微型相机时具有特别的优点，例如在相机透镜元件包括具有不超过10mm的直径的一个或更多个透镜的情况下，例如在移动电话中具有特别的优点。

根据本发明的另一个方面，提供了一种飞行时间传感器系统，包括：照明源，该照明源用于照明要测量飞行时间的被摄体；包括传感器表面的传感器，该传感器被配置为感测由被摄体散射的来自照明源的光，并根据感测的光提供数据；以及光学系统，该光学系统被配置为聚焦照明源以提供束点照明，束点照明在传感器表面上具有空间上非均匀的强度，并且光学系统被配置为使束点照明在传感器表面的至少一部分上移动以生成输出帧；其中，在所述移动期间，光学系统被配置为沿着移动路径在多个预定位置处暂停或停止移动，以便允许传感器感测预定位置处的散射光，并且一旦传感器完成感测散射光就恢复沿着移动路径的移动。

根据本发明的另一个方面，提供了一种针对飞行时间传感器系统感测从被摄体散射的光的方法，该方法包括：对于照明源，确定要提供泛光照明或束点照明中的哪一种；照明源利用所确定的泛光照明或束点照明来照明被摄体；以及传感器感测被摄体散射的来自照明源的光并根据感测的光提供数据，传感器包括传感器表面，其中束点照明在传感器表面上具有空间上非均匀的强度，并且当照明源提供束点照明时，使束点照明在传感器表面的至少一部分上移动以生成输出帧。

可选地，该方法还包括：沿着移动路径在多个预定位置处暂停或停止束点照明的移动；感测预定位置处的散射光，并且一旦传感器完成感测散射光就恢复沿着移动路径的移动。

根据本发明的另一个方面，提供了一种针对飞行时间传感器系统感测从被摄体散射的光的方法，该方法包括：照明源利用束点照明来照明被摄体；以及传感器感测被摄体散射的来自照明源的光并根据感测的光提供数据，传感器包括传感器表面，其中束点照明在传感器表面上具有空间上非均匀的强度，并且当照明源提供束点照明时，使束点照明在传感器表面的至少一部分上移动以生成输出帧；其中，方法还包括沿着移动路径在多个预定位置暂停或停止束点照明的移动；感测预定位置的散射光，并且一旦传感器完成感测散射光就恢复沿着移动路径的移动。

根据本发明的另一个方面，提供了一种用于指示计算机执行上文阐述的方法的计算机程序。计算机程序代码可以用一种或更多种编程语言的任何组合来编写，这些编程语言包括面向对象编程语言和传统的过程编程语言。代码组件可以体现为过程、方法等，并且可以包括子组件，这些子组件可以采取在从本地指令集的直接机器指令到高级编译或解释语言结构的任何抽象级别的指令或指令序列的形式。

根据本发明的另一个方面，提供了一种包括用于执行上文阐述的方法的指令的非暂时性计算机可读介质。非暂时性计算机可读介质可以是例如固态存储器、微处理器、CD或DVD-ROM、诸如非易失性存储器(诸如闪存)或只读存储器(固件)的编程存储器或者在诸如光或电信号载体的数据载体上。

根据本发明的另一个方面，提供了一种用于飞行时间传感器系统的致动装置，致动装置包括：可移动元件，该可移动元件沿着第一位置和第二位置之间的移动轴相对于支撑结构可移动；以及形状记忆合金部件，该形状记忆合金部件连接在可移动元件和支撑结构之间，并且被配置为在收缩时在第一位置和第二位置之间移动可移动元件；其中，支撑结构包括支撑部分，该支撑部分被配置为防止可移动元件的移动移动超过第一位置和第二位置。

形状记忆合金致动装置可以是下列设备中的任一种或可以设置在下列设备中的任一种中：智能手机、相机、可折叠智能手机、可折叠智能手机相机、可折叠图像捕获设备、阵列相机、3D感测设备或系统、伺服电机、消费电子设备(包括家用电器，诸如真空吸尘器、洗衣机和割草机)、移动或便携式计算设备、移动或便携式电子设备、膝上型计算机、平板计算设备、电子阅读器(也称为电子书阅读器或电子书设备)、计算附件或计算外围设备(例如鼠标、键盘、头戴式耳机、耳机、耳塞式耳机等)、音频设备(例如头戴式耳机、头戴式装置(headset)、耳机等)、安全系统、游戏系统、游戏附件(例如控制器、头戴式装置、可佩戴控制器、操纵杆等)、机器人或机器人设备、医疗设备(例如内窥镜、吸入器、药物分配器等)、增强现实系统或设备、虚拟现实系统或设备、可佩戴设备、无人机(空中、水上、水下等)、航空器、航天器、潜水船、交通工具、自主交通工具(例如无人驾驶汽车)、工具、外科手术工具、显示屏和触摸屏。

根据本发明的另一个方面，提供了一种用于飞行时间传感器系统中的致动装置的方法，该方法包括：形状记忆合金部件在收缩时相对于支撑结构沿着移动轴在第一位置和第二位置之间移动可移动元件，其中通过支撑结构的支撑部分防止可移动元件的移动移动超过第一位置和第二位置。

与现有技术的教导相反，已经意识到，可以提供一种飞行时间(TOF)传感器系统，其中系统的传感器的每个像素具有大于由感测的光束点照明的传感器表面的区域的区域，并且其中，在扫描步骤中，照明传感器表面的每个感测的光束点可以由光学系统在传感器表面上移动小于由一个或更多个像素中的像素跨越的距离的距离。然而，来自多个扫描步骤的总距离可能跨越不止一个像素。

已经意识到，提供具有大于束点尺寸的像素以及具有能够将束点移动亚像素距离的光学系统的TOF系统允许更有效地收集传感器数据。例如，通过使用亚像素尺寸的束点，束点的数量可以与像素数量匹配。此外，提供被配置为将束点移动亚像素距离的光学系统提高了扫描过程的精度(其中束点可以在传感器表面上移动)。与现有技术方法相比，这两种方法都允许在每次扫描期间照明大比例(如果不是全部的话)的传感器像素，而且从扫描之间的照明不会遗漏像素或遗漏至少更少的像素。这导致系统读取的像素数量减少，这些像素不包含有用信息。这提高了效率。

与传统TOF系统相比，这种设置还允许使用更大的像素尺寸，而不会导致像素分辨率的不可接受的下降，即，当更有效地使用更少数量的像素时。大像素的使用进一步提高了效率，因为与更小的像素相比，更大的像素在收集光方面是优越的。

此外，上述设置允许束点照明来照明传感器的在像素边界内的区域，和移动到在该单个像素边界内的不同位置。在一个示例中，为像素内的每个束点位置生成单独的输出帧。然后组合这些帧以产生通过现有技术可实现的甚至更高分辨率的最终帧。在更具体的示例中，可以提供已经被校准以匹配像素阵列的束点网格(或阵列)，使得每个束点照明包含在相应像素的边界内的区域。然后可以将束点阵列移动到每个相应像素内的不同位置，以及为每个位置生成输出帧。这些帧然后被组合以产生更高分辨率的最终帧。在这种情况下，每个像素可能已经为每个扫描位置贡献了有意义的信息。这本身就提高了系统的效率。除了该效率增益之外，最终帧的分辨率也被提高，这是因为每个扫描位置的帧被组合以产生超分辨率图像。因此，上述系统允许对于给定数量的像素提高分辨率，或者允许减少像素数量(允许使用更大的像素)而不降低最终分辨率。

本发明在其各个方面在下面的独立权利要求中进行限定，现在应该参考该独立权利要求。在从属权利要求中阐述了可选特征。

下面更详细地描述了这些布置。根据另一个方面，提供了一种飞行时间传感器系统，其包括照明源、传感器和光学系统。照明源被配置为照明要测量飞行时间的被摄体。该照明是包括一个或更多个光束点的束点照明。该传感器包括具有一个或更多个像素的传感器表面。传感器被配置为感测由被摄体散射的来自照明源的一个或更多个光束点，每个光束点照明传感器表面的相应第一区域。一个或更多个像素中的每个像素具有比被感测的光束点照明的传感器表面的第一区域大的区域。传感器还被配置为根据一个或更多个感测的光束点提供数据集。所提供的数据集用于生成反映由一个或更多个感测的光束点照明的传感器表面的每个第一区域的输出帧。光学系统相对于照明源配置为使用至少一个致动器相对于被摄体移动束点照明，使得一个或更多个感测的光束点中的每一个移动以照明传感器表面的相应第二区域，其中至少一个致动器包括至少一个形状记忆合金(SMA)部件。由一个或更多个光束点中的每一个移动的距离小于由一个或更多个像素中的像素跨越的距离。

飞行时间传感器可以被配置为使用数据集来生成反映由一个或更多个感测的光束点照明的传感器表面的每个第一区域的输出帧。传感器可以被配置为，每当光学系统接合照明源以相对于被摄体移动束点照明时，根据移动的一个或更多个感测的光束点提供第二数据集。飞行时间传感器系统可以被配置为使用每个第二数据集生成第二输出帧，每个第二输出帧反映由相应移动的一个或更多个感测的光束点照明的传感器表面的第二区域。飞行时间传感器系统可以被配置为组合两个或更多个输出帧以产生最终输出帧。最终输出帧可以具有等于每个组合输出帧的分辨率之和的分辨率。

被感测的光束点照明的传感器表面的每个相应区域可以等于传感器表面的相应第一区域，并且可以在一个或更多个像素中的相应像素的边界内。光学系统可以被配置为接合照明源以相对于被摄体移动束点照明，使得由移动的光束点照明的每个相应的第二区域保持在相应像素的边界内，并且优选地使得相应的第一区域和第二区域不重叠。

一个或更多个像素可以包括像素阵列，并且由像素跨越的距离可以包括阵列的像素的像素间距。

一个或更多个感测的光束点可以包括由多个光束点组成的束点图案。在束点图案中感测的光束点的数量可以对应于像素数量。在一个特定示例中，一个或更多个像素包括像素阵列，而像素跨越的距离包括阵列的像素的像素间距，其中一个或更多个感测的光束点包括由对应于像素阵列的光束点网格组成的束点图案，使得每个感测的光束点照明在阵列中相应像素的边界内的传感器表面的区域。

光学系统被配置为以扫描模式使束点照明在传感器表面的至少一部分上移动。扫描模式可以包括沿着第一方向使束点照明在传感器表面的至少一部分上移动。扫描模式还可以包括沿着第二方向使束点照明在传感器表面的至少一部分上移动。在一平面中，第一方向可以垂直于第二方向或与第二方向成角度。

光学系统可以被配置为使用致动器相对于源来移动束点照明。该致动器可以包括形状记忆合金致动器、音圈电机或微机电系统磁性致动器。光学系统可以包括衍射元件(例如衍射光栅)，用于将输入光束分为例如图案3x3阵列。光学系统可以包括用于将一个或更多个光束点聚焦到被摄体上的透镜。光学系统可以被配置为通过以下方式相对于源移动束点照明：致动器接合透镜以相对于照明源移动透镜，从而相对于被摄体移动束点照明。

照明源可以包括点投影仪。飞行时间传感器系统包括处理器。

束点照明可以包括束点处的照明强度与束点之间的照明强度的比率，该比率为20或更大(例如30或更大)。光束点可以包括一组区域，其中峰值发射强度基本恒定和/或其中峰值发射强度至少为最大强度水平的50％。在给定的时刻，这组区域一起可以覆盖1％到50％之间的传感器表面，可选地，其中在给定的时刻，该组区域一起覆盖10％以上且50％以下、或10％以上且40％以下、或10％以上且30％以下、或10％以上且20％以下的传感器表面，可选地，其中在给定的时刻，该组区域一起覆盖20％以上且50％以下、或20％以上且40％以下、或20％以上且30％以下的传感器表面，可选地，其中在给定的时刻，该组区域一起覆盖30％以上且50％以下、或30％以上且40％以下的传感器表面，以及可选地，其中在给定的时刻，该组区域一起覆盖40％以上且50％以下的传感器表面。该组区域可以被布置为使得在扫描模式的周期期间，束点照明的移动导致该组区域覆盖75％以上或90％以上或基本上全部的传感器表面。

束点照明可以包括：具有被配置成网格化的光束投影的光束、具有圆形或多边形光束投影的光束、平行光条纹的图案、或光点或光圈的图案。

根据目前要求保护的本发明的另一个方面，提供了一种针对飞行时间传感器系统感测从被摄体散射的光的方法，该方法包括：利用照明源照明要测量飞行时间的被摄体，其中照明是包括一个或更多个光束点的束点照明；使用包括具有一个或更多个像素的传感器表面的传感器进行感测，传感器被配置为：感测由被摄体散射的来自照明源的一个或更多个光束点，每个光束点照明传感器表面的相应第一区域，其中一个或更多个像素中的每个像素具有大于由感测的光束点照明的传感器表面的第一区域的区域，并根据一个或更多个感测的光束点提供数据集，所提供的数据集用于生成反映由一个或更多个感测的光束点照明的传感器表面的每个区域的输出帧；以及使用至少一个致动器相对于照明源移动透镜以相对于被摄体移动束点照明，使得一个或更多个感测的光束点中的每一个移动以照明传感器表面的相应第二区域，一个或更多个光束点中的每一个移动的距离小于一个或更多个像素中的像素跨越的距离，其中至少一个致动器包括至少一个形状记忆合金(SMA)部件。

根据目前要求保护的本发明的另一个方面，提供了一种用于指示计算机执行第二方面的方法的计算机程序。根据目前要求保护的本发明的第四方面，提供了一种非暂时性计算机可读介质，其包括用于执行第二方面的方法的指令。非暂时性计算机可读介质可以是例如固态存储器。

根据另一个方面，提供了一种用于飞行时间传感器系统的传感器，该传感器包括具有一个或更多个像素的传感器表面，该传感器配置为：感测被摄体散射的来自照明源的第一组一个或更多个光束点，该第一组一个或更多个光束点照明传感器表面的第一组一个或更多个相应区域，其中一个或更多个像素中的每个像素具有大于由感测的光束点照明的传感器表面的区域的区域，根据第一组一个或更多个感测的光束点提供数据集，所提供的数据集用于生成第一输出帧，该第一输出帧反映由第一组一个或更多个感测的光束点照明的第一组一个或更多个相应区域的每个区域；以及感测被摄体散射的来自照明源的第二组一个或更多个光束点，该第二组一个或更多个光束点照明传感器表面的第二组一个或更多个相应区域，其中一个或更多个像素中的每个像素具有大于由感测的光束点照明的传感器表面的区域的区域；其中，第二组一个或更多个光束点相对于第一组一个或更多个光束点在传感器表面上移动了小于由一个或更多个像素中的像素跨越的距离的距离，根据第二组一个或更多个感测的光束点提供数据集，所提供的第二数据集用于生成第二输出帧，该第二输出帧反映由第二组一个或更多个感测的光束点照明的第二组一个或更多个相应区域的每个区域。在这里，第一输出帧和第二输出帧可以组合以产生最终输出帧，该最终输出帧具有等于第一输出帧和第二输出帧的分辨率之和的分辨率。用于提供第二数据集并因此用于生成第二输出帧的第二组一个或更多个光束点可以是用于提供第N数据集并因此用于生成第N输出帧的第N组一个或更多个光束点，其中N是用于与第N-1输出帧……以及第一输出帧组合的输出帧的数量。N可能至少是三。

根据另一个方面，提供了一种针对飞行时间传感器系统感测从被摄体散射的光的方法，该方法包括：使用包括具有一个或更多个像素的传感器表面的传感器进行感测，传感器被配置为：感测被摄体散射的来自照明源的第一组一个或更多个光束点，该第一组一个或更多个光束点照明传感器表面的第一组一个或更多个相应区域，其中一个或更多个像素中的每个像素具有大于由感测的光束点照明的传感器表面的区域的区域，根据第一组一个或更多个感测的光束点提供数据集，所提供的数据集用于生成第一输出帧，该第一输出帧反映由第一组一个或更多个感测的光束点照明的第一组一个或更多个相应区域的每个区域；以及感测被摄体散射的来自照明源的第二组一个或更多个光束点，该第二组一个或更多个光束点照明传感器表面的第二组一个或更多个相应区域，其中一个或更多个像素中的每个像素具有大于由感测的光束点照明的传感器表面的区域的区域；其中，第二组一个或更多个光束点相对于第一组一个或更多个光束点在传感器表面上移动了小于一个或更多个像素中的像素跨越的距离的距离，根据第二组一个或更多个感测的光束点提供数据集，所提供的第二数据集用于生成第二输出帧，该第二输出帧反映由第二组一个或更多个感测的光束点照明的第二组一个或更多个相应区域的每个区域。在这里，第一输出帧和第二输出帧可以组合以产生最终输出帧，该最终输出帧具有等于第一输出帧和第二输出帧的分辨率之和的分辨率。

根据另一个方面，提供了一种图像处理方法，其包括接收指示由传感器感测的第一组一个或更多个光束点的第一数据集，该第一组已经照明传感器的传感器表面的第一组一个或更多个相应区域；生成第一输出帧，该第一输出帧反映由第一组一个或更多个感测的光束点照明的第一组一个或更多个相应区域的每个区域；接收指示由传感器感测的第一组一个或更多个光束点的第二数据集，该第二组已经照明传感器表面的第二组一个或更多个相应区域；生成第二输出帧，该第二输出帧反映由第二组一个或更多个感测的光束点照明的第二组一个或更多个相应区域的每个区域；组合第一输出帧和第二输出帧以产生反映由第一组和第二组光束点照明的第一组和第二组区域的区域的最终帧，从而提供分辨率比第一输出帧和第二输出帧中的每一个更高的最终帧。

来自本发明的一个方面的特征可以与本发明的其他方面组合使用。

附图简述

现在将参考附图仅以示例的方式描述目前要求保护的本发明的某些实施例，在附图中：

图1a是体现本发明的一个方面的飞行时间传感器系统的示意图；

图1b是适合与图1a的飞行时间传感器一起使用的致动装置的分解透视图；

图2a和图2b是体现本发明的一个方面的各种照明模式的示意图；

图2c和图2d是示出了如图2b所示的束点照明中的速度变化的曲线图；

图3a是体现本发明的一个方面的致动装置的示意图；

图3b是体现本发明的一个方面的致动装置的示意图；

图3c是体现本发明的一个方面的致动装置的示意图；

图3d是体现本发明的一个方面的致动装置的示意图；

图4是体现本发明的一个方面的致动装置的示意图；

图5a是体现本发明的一个方面的致动装置的示意图；

图5b是体现本发明的一个方面的致动装置的示意图；和

图5c是体现本发明的一个方面的致动装置的示意图；

图6(现有技术)是利用束点照明扫描传感器表面的方法的示意表示；

图7是体现本发明的一个方面的飞行时间传感器系统的示意图；

图8是示出了束点图案在3D场景中的移动的示意图；

图9是体现本发明的一个方面的利用束点照明扫描传感器表面的方法的示意表示；和

图10是体现本发明的一个方面的图像处理方法的示意表示。

相似的特征通过相似的参考数字表示。

详细描述

现在将参考图1至图5c描述示例飞行时间传感器系统。

图1a示出了飞行时间传感器系统10。系统10包括照明源，该照明源在该示例中是由垂直腔面发射激光器(VCSEL)阵列11形成的点投影仪，用于照明要测量飞行时间的被摄体19。该系统还包括光学系统，该光学系统被配置为在提供束点照明和泛光照明之间转换VCSEL阵列11。在这个示例中，光学系统包括可移动元件，在这里其是透镜元件15。透镜元件15在第一位置13和与第一位置13间隔一定距离的第二位置14之间可移动，以分别聚焦和散焦照明源，从而提供相应的束点照明和泛光照明。该光学系统包括位于透镜元件15和被摄体19之间的衍射光栅(未示出)。衍射光栅衍射来自透镜部件15的光，并且特别是来自透镜部件15的聚焦光，以在照明源处于束点照明模式时在被摄体19上提供更多的束点。这增加了分辨率，其取决于束点的数量。

系统10还包括传感器12，该传感器12包括传感器表面。传感器12被配置为感测被摄体19散射的来自VCSEL阵列11的光，并根据感测的光提供数据。

图1a中示出的示例飞行时间系统10在智能手机设备中实现，但是将理解，飞行时间系统可以在任何适当的系统中实现。在图1a所示的示例中，透镜元件15已经从第二位置移动到第一位置，由此聚焦VCSEL阵列11，并因此提供束点照明以照明被摄体19。要提供的照明类型由光学系统确定。光学系统基于智能手机设备的操作模式确定要提供的照明类型。在本示例中，运行在智能手机设备上的应用需要能够实现远距离(相对于泛光照明能力)的照明。束点照明能够实现如此远的距离，并且因此透镜元件15被移动以聚焦照明源。

光17从VCSEL阵列11发射，并由透镜元件15聚焦到被摄体19上。由VCSEL阵列11提供的束点照明在传感器表面上具有空间上非均匀的强度。

图1B是适合与图1A的飞行时间传感器一起使用的致动装置70的透视图。图1B和1C示出致动器组件70的实施例，该致动器组件70包括将可移动元件(例如透镜元件15)连接到支撑结构9的八根SMA导线2。该布置可以驱动透镜元件15在沿着光轴的方向上的移动以在泛光照明和束点照明之间切换，并且另外在与光轴正交的方向上驱动透镜元件15的移动以使束点照明在被摄体19上移动。SMA导线2可以使用任何合适的方法连接到透镜元件15和支撑结构9。例如，SMA导线2可以使用压接件(crimp)来耦合以提供机械和电连接。两根SMA导线2连接到透镜元件的四个侧面中的每一个。图1A和图1B示出了8根SMA导线的可能布置。如国际专利公开号WO2011/104518、WO2012/066285、WO2014/076463和WO2017/098249中所详述的，八根SMA导线2的其他布置是可能的。

如图1B所示，透镜元件15可以包括其光轴处于平行于z方向的一个或更多个透镜。控制系统(例如，上面描述的控制模块)可以能够通过针对已知对应于透镜元件在z方向上的特定位置的SMA导线电阻的预定值来调整透镜元件10的位置。可以通过改变SMA导线的长度来改变z方向上的位置。作为示例，在图1B所示的布置中，可以通过增加四根SMA导线2的长度(通过降低它们的温度)和减小四根SMA导线2的长度(通过提高它们的温度)来执行正z方向上的移动。相反的操作将导致负z方向上的移动。在z方向上的移动允许飞行时间系统在泛光照明和束点照明之间切换。

另外，通过沿着垂直于z轴的x-y平面移动透镜元件15，束点照明可以在被摄体19上扫描。在国际专利公开号WO2011/104518、WO2012/066285、WO2014/076463和WO2017/098249中描述了用于允许所述横向移动的八根SMA致动器导线2的使用。

控制系统可以为所有SMA导线2设置目标SMA导线电阻值，并且该目标SMA导线电阻值对应于透镜元件的期望位置。可以使用目标SMA导线电阻值和实时SMA导线电阻测量结果来执行闭环反馈控制，以实时设置通过SMA导线2的电驱动功率。由控制系统设置的SMA导线电阻值的目标值可以从存储在控制系统的存储器内的预定的校准值的查找表中提取。这些预定值可以在制造期间或在SMA致动器的每次初始化之后执行的启动过程期间或在两者的组合期间确定。

本示例中使用的束点照明在图2a中示出。在这个示例中，束点照明包括光点的图案。然而，将理解，可以使用任何光束形状，如上所述。束点照明的空间上非均匀的强度对应于其中峰值发射强度基本恒定的一组区域18。在该示例中，在任何给定时间，该组区域18一起覆盖40％至50％之间的传感器表面。光点处的照明强度与光点之间的照明强度的比率大于30，并且可能取决于环境/背景噪声。

光学系统被配置为使束点照明在传感器表面的至少一部分上移动以生成输出帧。束点照明的移动由至少一个致动器引起，在该示例中，该致动器是单个致动器(未示出)。致动器在传感器表面的至少一部分上以扫描模式移动束点照明。在该示例中，扫描模式20包括在第一方向、第二方向和第三方向上移动束点照明，其中第一方向和第三方向平行并垂直于第二方向。扫描模式20可选地包括使束点照明返回其开始位置的第四方向。在三个(或四个)方向上的移动组成扫描模式的扫描周期。

该组区域18被布置为使得在扫描模式的周期期间，束点照明的移动导致该组区域18覆盖90％以上的传感器表面。该组区域18还被布置为使得在扫描模式的周期期间，束点照明的移动基本上避免了该组区域18的区域覆盖传感器表面的相同部分不止一次。

在同一飞行时间传感器系统10中，系统10能够适应不同的应用。虽然在该示例中，系统10提供包括点扫描感测(使束点照明在传感器表面的至少一部分上移动)的束点照明，但通过将透镜部件15移动到第二位置14，系统10同样能够提供泛光照明。

图2B是用于扫描3x3阵列的感兴趣区域的另一照明模式的示意图。如图所示，束点照明以光栅扫描模式移动，其中束点照明在第一方向上在第一行的区域50a、50b、50c上扫描，之后继续通过在其他方向上移动来扫描后续行的区域50d-50f、50g-50i。区域50a-50i中的每一个是预定位置，在该位置感测散射光以产生输出帧(例如单个输出帧)。

在根据本发明的一个实施例中，束点照明通过连续运动在区域50a-50i中的每一个上顺序地移动。因此，如图2c所示，移动速度在整个移动过程中保持基本恒定。这样的布置是具有时效性的(time-efficient)，例如，束点照明可以在所有区域50a-50i上迅速地移动。

在束点照明的连续移动期间，传感器12连续感测散射光，并且因此，当束点照明在区域50a-50i之间移动时，例如在束点照明可能不完全对齐区域50a-50i的位置处，传感器12可以感测散射光。因此，这样的技术可能具有缺点，即传感器12可以在感测时间或曝光时间的很大一部分(例如曝光时间的一半以上)感测来自除VCSEL阵列11之外的噪声源的大量散射光(在某些情况下散射光可以仅仅来自噪声源)，这可能对飞行时间测量的准确度产生负面影响。

可替代地，在根据本发明的另一个实施例中，束点照明的移动沿着移动路径在区域50a-50i中的每一个处暂停，以便允许传感器12感测区域50a-50i的每一个处的散射光，如图2d中的表示所示。例如，当束点照明在第一方向上从区域50a移动到区域50c时，束点照明的移动在区域50b处暂停以允许在那里感测散射光，而不是通过“即时(on the fly)”方法(例如通过连续移动)进行扫描(如在前面实施例中应用的)。类似地，在方向改变的情况下，例如当束点照明从区域50b移动到区域50d时，束点照明的移动在区域50c暂停以允许在那里感测散射光。

由于当束点照明基本上与目标区域对齐时感测散射光，因此与前面的实施例相比，感测散射光中的信噪比显著提高。一旦传感器完成感测散射光，束点照明就恢复移动。也就是说，束点照明在区域50a-50f中的每一个上顺序地移动，同时在区域50a-50f中的每一个处暂停。

在一些实施例中，传感器12被配置成仅当束点照明已经移动到区域50a-50i并在区域50a-50i处保持静止时才感测散射光。因此，传感器12和致动装置70是同步的，使得仅当束点照明的移动在区域50a-50i中的每一个处停止时传感器12才操作。

在其他实施例中，传感器12被配置为以连续的方式感测散射光，并且其中仅当束点照明已经移动到区域50a-50i并在区域50a-50i处保持静止时感测的散射光用于生成输出帧。例如，即使在束点照明未对齐时，传感器12也可以感测散射光。然而，这样的数据可以被丢弃并且不用于生成输出帧。这样的布置可以降低传感器12和致动装置70之间所需的同步程度。

图3a到图3d详细示出了正在使用中的致动装置22，包括透镜部件15从第二位置14移动到第一位置13，在第二位置14处照明源被散焦并提供泛光照明，在第一位置处照明源被聚焦并提供束点照明。

图3a示出了透镜部件15和包括支撑部分的支撑结构，在该示例中，支撑部分是端部止动件21、23。图3a示出了示例，其中透镜部件15最初位于第二位置从而使光源11散焦，使得照明源11提供泛光照明。在第二位置中，透镜部件15与端部止动件23接触，并且与端部止动件23基本上平行。在该示例中，透镜部件15通过挠曲件(未示出)紧靠端部止动件23保持在第二位置。然而，将理解，透镜部件15可以通过SMA部件保持在第二位置。

图3b示出了当光学系统已经确定照明源11必须提供束点照明而不是泛光照明并且因此透镜部件15必须从第二位置移动到第一位置时的情况。致动装置22包括SMA导线(如图4至图5c所示)。SMA导线被电流加热，导致其收缩。SMA导线连接在可移动元件和支撑结构之间，使得在收缩时，SMA导线将可移动元件从第二位置移动到第一位置。

透镜部件15被取向为与端部止动件21、23的取向成非零角，使得当透镜部件15在第二位置和第一位置之间移动时，透镜部件15的第一部分27在透镜部件15的第二部分之前接触端部止动件21，导致透镜部件15围绕旋转轴倾斜。

图3c示出了透镜部件15由于SMA导线的收缩而到达端部止动件21并且透镜部件的第一部分27接触端部止动件21的接触部分25的点。通过将透镜部件15取向为使得第一部分27首先接触端部止动件21的角度，可听噪声输出被减小。此外，当端部止动件21、23被以hysteric凝胶涂覆时，由接触端部止动件21的透镜部件15产生的可听噪声输出进一步减小。

图3d示出了已经到达第一位置的透镜部件15。SMA导线的收缩导致首先接触端部止动件21的透镜部件15围绕旋转轴旋转并接触端部止动件21，使得透镜部件15和端部止动件21基本上平行。在该示例中，类似于图3a所示的情况，透镜部件15通过挠曲件(未示出)保持在第一位置。当透镜部件15处于第一位置时，这因此使得能够从SMA导线上移除热量，从而降低了致动装置的功率消耗。

端部止动件21、23防止透镜部件15移动超过第一位置和第二位置。也就是说，它们对透镜部件15的移动提供限制。当SMA导线收缩时，透镜部件15移动位置，但不能移动超过端点21、23的限制。因此，SMA导线可以被配置为快速收缩，从而快速移动透镜部件。例如，透镜部件15可以在小于3ms的时间内在第二位置和第一位置之间移动。

图4示出了致动装置22的顶视图。致动装置22包括端部止动件21。装置22还包括与端部止动件21和透镜部件15连接的SMA导线31。如上所述，SMA导线31被配置为将透镜部件15从第二位置移动到第一位置。

致动装置22还包括另一根SMA导线33。SMA导线33还与透镜部件15连接，并且还与端部止动件23(未在顶视图中示出)连接。SMA导线33被配置为在收缩时将透镜部件15从第一位置移动到第二位置。也就是说，SMA导线33被配置为使照明源散焦，使得照明源提供泛光照明。透镜部件15从第一位置到第二位置的移动在工作上与透镜部件从第二位置到第一位置的移动相似且相对应。

图5a至图5c进一步详细地示出了透镜部件15向第一位置的移动。图5a示出了其中SMA导线31、33未张紧的致动装置22。致动装置22还包括挠曲件29，挠曲件29是柔性元件并且在特定自由度上是柔顺的。当SMA导线31、33中没有张力时，挠曲件29不弯曲。

在图5b，SMA导线31、33被张紧。如上所述，这导致挠曲件29弯曲，并导致透镜部件15取向为与端部止动件21、23的取向成非零角。

在图5c，如上文所阐述的，SMA导线31收缩，从而移动透镜部件15以与端部止动件21接触并移动到第一位置。挠曲件29弯曲以在一方向上提供力，从而将透镜部件15保持在第一位置。当透镜部件15处于第一位置时，SMA导线33冷却；也就是说，它不被利用电流加热，并且因此不会收缩。

现在将参考图7描述示例飞行时间传感器系统100和针对飞行时间传感器系统感测从被摄体散射的光的方法。飞行时间传感器系统用于感测从系统的照明源102到被摄体或三维场景104的飞行时间。

飞行时间传感器系统100具有照明源102；光学系统106和传感器108。照明源102用于照明要测量飞行时间的被摄体104。在该示例中，照明源102是由垂直腔面发射激光器(VCSEL)阵列形成的点投影仪，但可以使用其他适当的照明源。光学系统位于照明源和被摄体之间。

光学系统106包括具有聚焦照明源102的透镜110(这里是准直透镜)的光学组件或元件、致动器122和以衍射光栅126形式的衍射元件。透镜110可以包括沿着光轴设置的多个透镜100，或者它可以是包括沿着光轴基本上在同一平面上定位的多个微透镜的微透镜阵列。

透镜110相对于被摄体104是可移动的。例如，透镜可以沿着箭头112所指示的轴相对于被摄体横向——“从一侧到另一侧(side to side)”——移动。透镜还可以沿着三维场景的另外两个轴——朝向/远离被摄体并垂直或“上下(up and down)”——相对于被摄体移动，这取决于用例和所需要的运动范围(例如在束点照明和泛光照明之间切换或调整束点照明中的束点尺寸)。横向和轴向移动可以通过单个致动器实现，或者通过不同的致动器实现。这种移动可以通过沿着相关轴滑动透镜、倾斜透镜或使用控制电机来实现。

透镜110与光源102交互以在三维场景中产生与VCSEL阵列的腔的图案相匹配的图案。由光源102提供的该图案是非均匀强度的光图案，其可以被描述为束点照明。在该示例中，例如在不存在背景照明或干扰的情况下，束点处的照明强度与束点之间的照明强度的比率为30。然而，在没有背景照明或干扰的情况下，该比率可以是例如20或更大，或30或更大。

在该示例中，致动器122是形状记忆合金(SMA)致动器，其包括用于驱动透镜110中的移动的一个或更多个SMA部件。可以使用另一类型的致动器，例如音圈电机(VCM)或音圈致动器，或微机电系统(MEMS)磁性致动器。致动器122接合透镜110以如上所述(例如基本上沿着轴112)移动透镜。致动器包括到处理器或控制器125(特别是计算机控制器)的接口124。

衍射元件或衍射光栅126位于透镜110和被摄体104之间。衍射光栅衍射来自透镜的光(特别是来自透镜的准直光)，以在被摄体上提供更多的束点。这增加了分辨率，其取决于投影的束点的数量。

来自照明源102的人工光或照明128形成从被摄体104到飞行时间传感器系统100的传感器108的反射或散射光。传感器感测被摄体散射的来自照明源102的光。

系统处理器或控制器125与照明源102、致动器122和传感器108通信连接以控制它们，以及接收和处理来自它们的数据。控制器可以以硬件或以作为存储在非暂时性计算机可读介质中的计算机程序的软件实现，在该示例中，该非暂时性计算机可读介质是飞行时间传感器系统位于其上的设备的存储器，在该示例中，该设备是智能手机。尽管系统控制器125被示为单个单元，但它可以包括彼此通信的单独模块或单元。例如，系统控制器125可以包括致动器控制单元、传感器控制单元、光源控制单元和图像处理器。可替代地，代替包括每个单元的单个集成控制器，独立单元可以布置在它们相应的部件内。例如，致动器122本身可以包括致动器控制器，传感器可以包括传感器控制器，光源可以包括光源控制器。还可能有单独的图像处理器。

通过控制器125控制致动器122以移动透镜110来实现束点照明的扫描模式。透镜110朝向被摄体104引导照明源102。束点图案相对于被摄体的特定定位由控制致动器122的控制器125控制。控制器125能够控制致动器122以移动透镜110，该透镜110相对于被摄体移动束点图案。

本示例中使用的束点照明在图8中示出。在这个示例中，束点照明包括光点的图案。然而，将理解，可以使用任何光束形状，如上所述。束点照明的空间上非均匀强度对应于其中峰值发射强度基本恒定的一组区域202。光点处的照明强度与光点之间的照明强度的比率大于30。

如图8所示，对于给定的透镜放置，束点图案的每个束点201将照明被摄体/场景200的特定区域或多个区域。当致动器122移动透镜110时，束点201相应地在场景上移动以照明被摄体或场景的第二区域。单个束点移动的示例在图8A中示出。在图8B中示出了包括束点网格的束点图案，其中当致动器移动透镜时，每个束点在被摄体上移动。该移动可以被描述为扫描模式，因为束点照明在被摄体/视场上“扫描”。将理解，根据用例，可以使用多个不同的扫描模式。在如图8所示的示例中，所示的扫描模式包括在第一方向、第二方向和第三方向上移动束点照明，其中第一方向和第三方向在移动平面中平行并垂直于第二方向。广义地说，如图8所示的示例扫描模式可以被描述为“锯齿形(zig-zag)”移动。在三个方向上的移动组成扫描模式的扫描周期。

移动取决于所使用的致动器的类型；它们具有不同的特征。例如，VCM例如具有更高的最大速度，但是具有围绕目标位置的更长衰减振荡的特征振铃以最快地减速到目标位置。

如图9所示，从被摄体反射并被传感器108接收的每个束点201照明检测光的传感器表面302(从这里开始称为传感器表面)上的相应区域。传感器表面302表示该传感器的视场，并且因此是场景的表示(从传感器108的视点来看)。因此，传感器表面302上的束点201的位置对应于场景中的束点的位置，或者换句话说，被摄体104上的束点的位置。

因此，当束点图案(通过致动器122在透镜110上的接合)相对于被摄体104移动时，束点图案在传感器表面302上相应地移动，如虚线箭头所示的。

传感器表面302包括多个像素304，例如一个或更多个像素。在本实施例中，使用相对较大的像素。特别地，使用具有大约10000个像素的传感器(尽管可以使用其他传感器，例如300000像素传感器)。如前所述，与较小的像素相比，较大的像素在收集入射光方面是优越的。然而，使用的像素越少导致从传感器产生的输出帧的分辨率越低。

飞行时间传感器系统被配置为提供包括束点网格的束点图案。传感器表面302的每个像素304的区域大于由束点网格的束点201照明的传感器表面的区域。此外，每个束点包含在像素304的边界内，并且束点网格中的束点的数量对应于组成传感器表面302的像素304的数量。换句话说，束点网格与像素阵列对齐，使得每个像素包含一个束点，如图9所示。更具体地说，在图9所示的示例中，束点位于每个像素的左上角。然而，将理解，其他束点图案是可能的。例如，束点图案可以包括包含在像素内的单个束点。可替代地，束点图案可以包括一个或更多个束点，其中多个束点跨越像素边界。

用于确保传感器表面302上的束点的正确放置(例如，单独的束点与相应像素的正确对齐)的光源102、光学系统106和传感器108的相对校准可以在例如使用主动对齐或其他适当方法组装系统时执行。

当束点图案入射在传感器表面302上时，每个像素304的数据由传感器108读出并提供给处理器125用于图像处理。每个像素304的数据提供关于该像素接收的照明的信息。如上所述，如果像素根本没有被照明，则它就不能提供关于被摄体的有意义的信息。然而，在这里，每个像素被束点照明，所以每个像素贡献了有用的信息。

处理器125使用该信息来形成输出帧特别是深度图，其提供关于场景中的被摄体的飞行时间信息(例如深度信息)。输出帧包括帧像素，每个帧像素反映由传感器表面302上的相应像素捕获的照明数据。

一旦反映由一个或更多个感测的光束点照明的传感器表面的区域的第一组数据被传递到处理器，束点图案就相对于被摄体移动，使得一个或更多个感测的光束点中的每一个照明传感器表面的第二相应区域。由一个或更多个光束点中的每一个移动的距离小于由一个或更多个像素中的像素跨越的距离。像素在传感器表面上跨越的距离有时称为像素间距。在本实施例中，束点在它们相应的像素内移动。换句话说，致动器122精确地调整透镜110，以使每个束点201在其相应像素304的边界内在传感器表面302上移动。更具体地说，束点图案被移动，使得每个束点从它们相应像素的左上角移动到它们相应像素的右上角。这里，移动的距离小于像素间距，但足够远，使得由像素照明的第一区域和第二区域不重叠。如可以在图9中看到，单个束点照明其相应像素的区域，该区域小于50％的该像素总区域。在本实施例中，由束点对像素的照明区域大约为25％的像素总区域。在其它实施例中，由束点对像素的照明区域可以大约为33％、11.1％或6.25％的像素总区域。

反映被移动的束点照明的第二组区域的第二组数据被传递到处理器以产生第二输出帧。

此过程可以重复多次以产生更多的输出帧。例如，如图9的虚线箭头所示，可以对每个像素的右下角和每个像素201的左下角重复该过程。同样，对于每次扫描，移动的距离小于像素间距，但足够大，使得扫描之前和之后由像素照明的区域不重叠。由于束点照明其像素的大约25％，并且扫描模式使束点围绕像素的四个角移动，所以大比例(如果不是全部的话)的像素区域被扫描模式照明。在其他示例中，在束点照明大约6.25％的其像素的情况下，扫描模式可以使束点在像素中以4x4阵列四处移动。将理解，其他束点尺寸和扫描模式是可能的。例如，如果束点照明大约50％的像素，则束点可以仅移动到像素内的两个位置以实现足够的像素覆盖。类似地，如果束点照明大约33％的像素，则束点可以仅以线性方式移动到像素内的三个位置以实现足够的像素覆盖。如果束点相对于像素较小，则在扫描周期中可能有更多的扫描以实现类似的照明覆盖。

更一般地说，光束点包括一组区域，其中峰值发射强度基本恒定和/或其中峰值发射强度至少为50％的最大强度水平。在给定的时刻，该组区域可以一起覆盖1％至50％之间的传感器表面，这取决于相对于传感器表面和相对于其相应像素的束点的尺寸。例如，在给定的时刻，该组区域可以一起覆盖10％以上且50％以下、或10％以上且40％以下、或10％以上且30％以下、或10％以上且20％以下的传感器表面，或者在给定的时刻，该组区域一起覆盖20％以上且50％以下、或20％以上且40％以下、或20％以上且30％以下的传感器表面，或者在给定的时刻，该组区域一起覆盖30％以上且50％以下、或30％以上且40％以下的传感器表面，并且可选地，其中在给定的时刻，该组区域一起覆盖40％以上且50％以下的传感器表面。此外，该组区域被布置为使得在扫描模式的周期期间(即当束点相对于它们相应的像素移动或在它们相应的像素内移动时)，束点照明的移动导致该组区域覆盖75％以上或90％以上或基本上全部的传感器表面。

控制器125可以通过适当的校准技术确定在每个扫描周期内束点在给定像素内的位置(即，在传感器表面上提供束点图案，提供感测数据，以及将图案移动到新位置)。例如，在开始阶段期间，系统可以经历一个过程，在该过程中，确定零位置，该零位置对应于处于某些像素上的某些地方的束点。例如，考虑单个像素和单个束点，致动器可以将束点向左/向右移动，并观察和确定束点不再处于像素上的位置。这将给出使束点处于像素的左侧/右侧边缘所需要的致动器位置。这可以针对向上/向下的方向进行重复。一旦找到已知位置，则致动器控制可以定义像素上束点的位置。即，可以确定，通过移动致动器10um(例如)，一个束点(或多个束点)移动超过像素宽度的一半。

一旦产生了多个输出帧(这里是四个帧)，处理器就组合这些帧，以提供最终的超分辨率(高分辨率)帧。这在图10中示出。在这里，超分辨率帧的分辨率等于每个组合输出帧的分辨率之和。有效地，这产生具有分辨率的最终图像，该分辨率将通常由传感器产生，该传感器具有与本发明使用的像素的四倍一样多的像素。

处理器根据从致动器和传感器接收的数据确定如何组合输出帧。例如，如由系统确定的初始束点位置以及束点间距和束点在扫描周期内移动的距离可以被传送到处理器。处理器然后使用该信息来构建超分辨率帧。该信息可以在每次生成帧时被捕获，并被作为元数据与像素信息一起被传递给处理器。可替代地，在一些布置中，对于处理器构建超分辨率帧来说，该信息的一些或全部可能不是必要的。例如，可以采用算法来组合帧而不需要关于束点位置的先验知识。

如图10所示和上文所论述的，已经生成了四个帧。第一帧表示像素数据，该像素数据反映传感器的其相应像素的左上方的感测束点的束点图案。这产生帧，该帧具有在图10中标记为“A”帧像素的帧像素。第二帧表示反映它们相应像素的右上方的束点的束点图案的像素。这产生帧，该帧具有在图10中标记为“B”帧像素的帧像素。第三帧表示反映它们相应像素的左下方的束点的束点图案的像素。这产生帧，该帧具有在图10中标记为“C”帧像素的帧像素。第四帧表示反映它们相应像素的右下方的束点的束点图案的像素。这产生帧，该帧具有在图10中标记为“D”帧像素的帧像素。四个帧中的每个帧的像素数据在超分辨率帧中相应地组合，使得左上方束点图案的每个帧像素相对于右上方束点图案、左下方束点图案和右下方束点图案的相应帧像素布置在最终的帧中。换句话说，超分辨率帧中的每个A像素将在其右侧具有相应的B像素，在其正下方具有相应的C像素，以及在其右下方具有相应的D像素。

超分辨率帧为TOF计算提供了高分辨率深度图。通过组合输出帧，分辨率提高了四倍，而不必减小像素尺寸。此外，通过提供亚像素尺寸的束点，并在扫描期间使束点在它们相应像素的边界内移动，传感器面(face)的每个像素在帧生成期间贡献有用的像素数据。这提高了效率。

已经描述了本发明的实施例。将理解，可以在本发明的范围内对所描述的实施例进行变化和修改。例如，示例飞行时间传感器系统被描述为位于智能手机中，然而，飞行时间传感器系统可以位于诸如膝上型计算机、平板计算机或台式计算机的计算机中、交通工具或其他消费设备中。

此外，尽管已经将致动器描述为通过与准直透镜接合来移动束点照明，但将理解，可以使用不同的透镜。可替代地，或者此外，致动器可以与光源直接接合以移动束点照明，或者可以与衍射元件/光栅接合，或者可以相对于光源一起移动透镜和衍射元件/光栅以相对于被摄体移动束点照明。在其他布置中，可以根本不使用衍射元件光栅。

已经描述了本发明的实施例。将理解，可以在本发明的范围内对所描述的实施例进行变化和修改。例如，示例飞行时间传感器系统被描述为位于智能手机设备中，然而，飞行时间传感器系统可以位于诸如膝上型计算机、平板计算机或台式计算机的计算机中、交通工具或其他消费设备中。