包括具有可寻址照明块的照明源的飞行时间深度系统

相关申请的交叉引用

本申请要求2020年6月18日提交的美国临时申请第63/040,819号和2020年6月18日提交的美国临时申请第63/040,822号的权益，这两项申请均通过引用整体并入本文。

背景

本公开一般涉及深度感测，具体涉及提高直接飞行时间传感器的读出速度，以及降低背景光对直接飞行时间传感器操作的影响。

在增强现实(AR)中，置于用户环境中的数字内容必须与物理对象和表面进行真实的交互。例如，如果虚拟对象的一部分在真实对象后面，则遮挡应该被快速检测到，从而虚拟对象的该部分可以被遮蔽而不在用户的显示器上进行渲染。在这些情况下，稀疏深度估计仍然用于通知对象检测模型，并初始化和更新场景模型。

以高精度和高分辨率对环境进行映射，可生成更具沉浸感的虚拟现实(VR)或增强现实(AR)内容。精确地映射VR系统或AR系统周围的环境允许虚拟对象更真实地与VR或AR系统周围的环境中的真实对象交互。例如，VR或AR系统周围的环境的高精度映射允许虚拟环境中的虚拟对象与VR或AR系统周围的环境中的真实表面碰撞，或者当虚拟对象移动到VR或AR系统周围的环境中的不透明表面后面时显得被遮挡。作为另一个示例，VR或AR系统周围环境的精确映射允许被放置在用户环境中的虚拟或数字对象更真实地与用户环境中的物理对象或表面交互；例如，如果虚拟对象在物理对象后面，则物理对象对虚拟对象的遮挡的快速检测允许VR或AR系统遮蔽物理对象后面的虚拟对象的渲染。

概述

根据本公开的第一方面，提供了一种深度相机组件(DCA)，包括：可寻址照明源，该照明源被配置为用出射光照射局部区域，照明源包括多个照明块，每个照明块包括多个可寻址发射器，该可寻址发射器被配置为在激活时将光发射到局部区域中；主动深度传感器，该主动深度传感器被配置为捕获局部区域的一个或更多个图像，该图像包括反射光，该反射光包括出射光的从局部区域中的一个或更多个对象反射的部分，主动深度传感器包括检测器，该检测器包括：宏像素阵列，每个宏像素包括多个像素，每个像素被配置为捕获来自局部区域的光，包括出射光的从局部区域中的一个或更多个对象反射的部分，像素包括基于电荷的存储器元件，该存储器元件被配置为存储标识由像素捕获的光量的信息；一个或更多个访问模块，该访问模块被配置为接收标识宏像素阵列中的选定宏像素的一个或更多个控制信号；以及输出总线，该输出总线被配置为从在选定宏像素的像素中包括的每个存储器元件接收数据；控制器，该控制器耦合到主动深度传感器和相机，并且被配置为：向主动深度传感器提供标识选定宏像素的一个或更多个控制信号。

检测器还可以包括：定时参考，该定时参考包括耦合到在宏像素中包括的基于电荷的存储器元件中的每一个的行解码器，该定时参考被配置为向在宏像素中包括的每个基于电荷的存储器元件提供参考定时信号；以及耦合到在宏像素中包括的每个基于电荷的存储器元件的列解码器。

行解码器可以包括压控振荡器。

列解码器可以耦合至行解码器，并且列解码器可在由行解码器提供的参考定时信号的每个周期期间递增。

列解码器可包括移位寄存器，在该移位寄存器中，在参考定时信号的每个周期期间产生位移位。

基于电荷的存储器元件可以包括电荷共享存储器元件，该电荷共享存储器元件被配置为使用固定电荷转移函数以固定步长递增。

输出总线可耦合至模数转换器，该模数转换器包括被配置用于校正固定电荷转移函数中的非线性的查找表。

基于电荷的存储器元件可以是耦合至固定参考电流的电荷泵存储器元件。电荷泵存储器元件可以被配置为基于指定脉冲宽度在电荷方面递增，该指定脉冲宽度指定了在电荷泵存储器元件中包括的电容器被耦合到固定参考电流的时间量。

每个宏像素可以对应于可寻址照明源中包含的可寻址发射器中的一个或更多个。

每个发射器可以包括垂直腔面发射激光器。

可寻址照明源可以包括耦合至一个或更多个发射器的寻址逻辑。寻址逻辑可以被配置成接收控制信号并生成对应于标识的一个或更多个发射器的激活信号。所标识的一个或更多个发射器可以被配置成响应于接收到激活信号而将光发射到局部区域中。

未接收到激活信号的其他可寻址发射器不可以发射光到局部区域中。

可寻址发射器可以包括衍射光学元件，该衍射光学元件使可寻址发射器将多个光点发射到局部区域中。

可寻址照明源可以包括光学元件，该光学元件被定位成使得从多个可寻址发射器发射的光在到达局部区域之前穿过该光学元件。

光学元件可以被配置成使从多个可寻址发射器发射的光散焦。

可寻址发射器可以包括：准直器，该准直器被定位成使得由可寻址发射器发射的光在被发射到局部区域中之前穿过该准直器。

可寻址发射器还可以包括：致动器，该致动器被定位成使得来自准直器的光在被发射到局部区域中之前穿过该致动器，该致动器具有与准直器不同的折射率，使得来自准直器的准直光在被发射到局部区域中时被重新定位。

可寻址发射器还可以包括：致动器，该致动器被定位成使得来自准直器的光在被发射到局部区域中之前穿过该致动器。致动器可以被配置为响应于接收到控制信号而相对于准直器重新定位，使得来自准直器的准直光在被发射到局部区域中时被重新定位，致动器具有与准直器不同的折射率，使得来自准直器的准直光在被发射到局部区域中时被重新定位。

根据本公开的第二方面，提供了一种照明源，包括：多个照明块，每个照明块包括多个可寻址发射器，该可寻址发射器被配置为响应于接收到激活信号，将光发射到照明源周围的局部区域中；以及耦合到一个或更多个发射器的寻址逻辑，该寻址逻辑被配置成接收控制信号并基于接收到的控制信号生成对应于一个或更多个标识的发射器的激活信号。

可寻址照明源还可以包括：光学元件，该光学元件被定位成使得从多个可寻址发射器发射的光在到达局部区域之前穿过该光学元件。

光学元件可以被配置成使从多个可寻址发射器发射的光散焦。

可寻址发射器可以包括：准直器，该准直器被定位成使得由可寻址发射器发射的光在被发射到局部区域中之前穿过该准直器。

可寻址发射器还可以包括：致动器，该致动器被定位成使得来自准直器的光在被发射到局部区域中之前穿过该致动器。致动器可以具有与准直器不同的折射率，使得来自准直器的准直光在被发射到局部区域中时被重新定位。

可寻址发射器还可以包括：致动器，该致动器被定位成使得来自准直器的光在被发射到局部区域中之前穿过该致动器。致动器可以被配置为响应于接收到控制信号而相对于准直器重新定位，使得来自准直器的准直光在被发射到局部区域中时被重新定位，致动器具有与准直器不同的折射率，使得来自准直器的准直光在被发射到局部区域中时被重新定位。

根据本公开的第三方面，提供了一种深度传感器的检测器，包括：宏像素阵列，每个宏像素包括多个像素和用于对宏像素中的特定像素进行寻址的逻辑，以捕获从检测器周围局部区域中的一个或更多个对象反射的来自照明源的光，宏像素的每个像素被配置成捕获来自局部区域的光，包括出射光的从局部区域中的一个或更多个对象反射的部分，并且每个像素包括被配置成存储标识由像素捕获的光量的信息的存储器元件；一个或更多个访问模块，该访问模块被配置为接收标识宏像素阵列中的选定宏像素的一个或更多个控制信号；以及输出总线，该输出总线被配置为从在选定宏像素的像素中包括的每个存储器元件接收数据。

宏像素中包含的逻辑还可以包括：定时参考，该定时参考包括耦合到在宏像素中包括的像素中的每一个的行解码器，该定时参考配置为向在宏像素中包括的每个像素提供参考定时信号；以及耦合到在宏像素中包括的每个像素的列解码器，其中来自行解码器的行标识符和来自列解码器的列标识符标识宏像素内的特定像素。

行解码器可以包括压控振荡器。

列解码器可以耦合到行解码器，并且列解码器可以在由行解码器提供的参考定时信号的每个周期期间递增。

列解码器可包括移位寄存器，在该移位寄存器中，在参考定时信号的每个周期期间产生位移位。

像素中包含的存储器元件可以包括基于电荷的存储器元件。

基于电荷的存储器元件可以包括电荷共享存储器元件，该电荷共享存储器元件被配置为使用固定电荷转移函数以固定步长递增。

输出总线可耦合至模数转换器，该模数转换器包括被配置用于校正固定电荷转移函数中的非线性的查找表。

基于电荷的存储器元件可以是耦合至固定参考电流的电荷泵存储器元件。电荷泵存储器元件可以被配置为基于指定脉冲宽度在电荷方面递增，该指定脉冲宽度指定了在电荷泵存储器元件中包括的电容器被耦合到固定参考电流的时间量。

综述

深度相机组件(DCA)确定DCA周围局部区域中一个或更多个对象的深度信息。在各种示例和实施例中，DCA被包括在虚拟现实系统或增强现实系统的头戴式显示器(HMD)中。在各种示例和实施例中，DCA包括照明源、成像设备和控制器。在其他示例和实施例中，DCA是与HMD分离的独立设备。

为了精确映射VR系统或AR系统周围的环境，VR系统或AR系统包括深度相机。为了包含在VR系统或AR系统的头戴式显示器中，这样的深度相机应当具有小的形状因子和低功耗。常规的深度相机使用将已知图案投射到深度相机周围的环境中的结构光，或者间接飞行时间，该间接飞行时间基于投射到深度相机周围的环境中的照明图案(例如连续波照明图案或脉冲照明图案)的相位延迟来间接测量投射到深度相机周围的环境中并返回到传感器阵列上的像素的光的往返传播时间。

直接飞行时间(dTOF)深度感测配置测量由来自照明源的并与检测器同步的多个短光脉冲生成的光子的往返传播时间。在许多直接飞行时间配置中，使用单光子检测器，例如使用单光子雪崩二极管(SPAD)。根据d＝c/2·τ，可以从光速(c≈3·10

为了确定深度信息，稀疏主动深度系统包括耦合至头戴式显示器(HMD)的控制台和包含在HMD中的深度相机组件(DCA)。另外，HMD包括被配置为向用户显示内容的电子显示元件。在各种示例和实施例中，DCA包括包含多个可寻址照明块的照明源，允许选择单独的照明块。每个照明块包括被配置成发射光的一个或更多个发射器。例如，每个照明块包括一个或更多个垂直腔面发射激光器(VCSEL)。在一些示例和实施例中，每个照明块包括排列成3x3网格的9个VCSEL；然而，在其他示例和实施例中，照明块可以包括相对于彼此具有任何合适布置的任何合适数量的发射器。通过寻址逻辑，每个发射器可以被单独激活以发射光；替代地，经由寻址逻辑激活一组发射器。在一些示例和实施例中，照明源被配置成使得每个发射器将单个点发射到DCA周围的区域中。替代地，每个发射器包括衍射光学元件(DOE)，使得发射器将多个点发射到DCA周围的区域中；例如，发射器包括VCSEL和被配置为使得发射器在被激活时将4个点发射到DCA周围区域中的2x2拼块DOE。然而，在其他示例和实施例中，发射器可以被配置成在被激活时将任何合适数量的点发射到DCA周围的区域中。当HMD处于该HMD先前不在其中的局部区域时，或者当动态对象移动到HMD的视野中而虚拟对象正在被渲染时，可寻址照明源可以被激活。

在各种示例和实施例中，照明源包括透镜或其他光学元件，该透镜或其他光学元件被定位成使得来自发射器的光在到达局部区域之前穿过该透镜或其他光学元件。透镜或其他光学元件使来自发射器的光散焦。通过使来自发射器的光散焦，照明源使得来自发射器的光入射到成像设备中包括的检测器的大量像素上。这增加了检测器检测到来自照明源的，由DCA周围区域中的一个或更多个对象反射的光的概率。

在深度相机组件(DCA)的常规检测器中，检测器以固定的帧速率被读取。然而，在直接飞行时间配置中，以固定帧速率读取检测器数据导致传感器中的高活动性像素被读取的频率较低，这可能导致根据关于高活动性像素的光子检测的信息进行的低质量深度重建，该重建没有完全考虑到高活动性像素的光子检测的数量。此外，在直接飞行时间实现中以固定帧速率读取检测器数据导致来自低活动性像素的数据被较频繁地获取，这可能导致旧的光子检测被多次识别。

为了更有效地从主动深度传感器的检测器获得数据，DCA包括成像设备，该成像设备被配置为根据从控制器接收的指令，捕获局部区域的一个或更多个图像，该图像包括反射光，该反射光包括由可寻址照明源发射的光从局部区域中的对象反射的部分。由主动深度传感器捕获的反射光从局部区域中的一个或更多个对象反射。在各种示例和实施例中，检测器包括二维像素阵列。然而，在其他示例和实施例中，主动深度传感器包括单个检测器或相对于彼此定位的多个检测器(例如，一行检测器)。在各种示例和实施例中，每个像素包括单光子雪崩二极管(SPAD)。检测器的像素被分组为宏像素，宏像素包括多个像素行和多个像素列。在一些示例和实施例中，宏像素包括相等数量的像素行和像素列。例如，一个宏像素包括16个像素行和16个像素列，因此该宏像素包括256个像素。然而，在其他示例和实施例中，宏像素包括任意数量的像素行和像素列。在一些示例和实施例中，检测器的每个宏像素包括共同数量的像素行，并且包括共同数量的像素列。

因此，在各种示例和实施例中，检测器包括宏像素阵列。每个宏像素包括被配置成捕获来自检测器周围的局部区域的光的多个像素。在一些示例和实施例中，宏像素中的每个像素耦合到时间-数字转换器(TDC)，该时间-数字转换器被配置为当耦合到TDC的像素捕获来自局部区域的光时生成数字时间戳信号。在其他示例和实施例中，宏像素中的多个像素被配置为并行操作，以从逐一耦合到多个像素的TDC的阵列生成多个数字时间戳。耦合到各个宏像素的一根或更多根输出总线从包含在各个宏像素中的TDC接收数据。基于一个或更多个控制信号，选择阵列的宏像素。检测器可以在内部生成控制信号，或者从外部源(例如控制台)接收控制信号。耦合到选定宏像素的一根或更多根输出总线被配置为从耦合到选定宏像素中包括的像素的TDC接收数据。

多个宏像素可各自包括具有基于电荷的存储器元件的一个或更多个像素。这允许像素存储由像素捕获的光子检测事件的计数。多个像素中的基于电荷的存储器元件可以被排列成阵列，该阵列通过与照明源的光发射同步的定时参考来访问。定时参考的每个相位寻址在像素中包括的基于电荷的存储器元件，以表示该像素的光子检测事件直方图的仓。宏像素的多个像素并行操作，其中光子检测事件存储在被包括在不同像素中的基于电荷的存储器元件中，用于生成宏像素的像素的光子检测事件直方图，其中定时参考为存储在不同的基于电荷的存储器元件中的光子检测事件提供定时信息。在每个像素中使用基于电荷的存储器元件允许像素的光子检测事件的紧凑存储，使得检测器的整体尺寸保持紧凑。示例性的基于电荷的存储器元件包括电荷共享存储器元件和电荷泵存储器元件。

为了降低功耗，当检测器的像素包括基于电荷的存储器元件时，成像设备中的检测器使用检测器的不同宏像素中包括的定时参考，而不是使用耦合至不同像素的时间数字转换器(TDC)，来确定像素的光子检测直方图。当使用定时参考时，行解码器耦合到包含在检测器的宏像素中的每个存储器元件。例如，行解码器耦合到检测器的宏像素中包括存储器元件的每个像素。行解码器可以是提供参考定时信号的任何合适的设备，例如压控振荡器(VCO)。另外，列解码器也耦合到包含在检测器的宏像素中的每个存储器元件；例如，列解码器耦合到宏像素的包括存储器元件的每个像素。在各种示例和实施例中，列解码器是也耦合到行解码器的计数器。例如，列解码器是耦合到行解码器的移位寄存器，因此列解码器在行解码器的每个周期期间递增。行解码器和列解码器的组合选择对应于宏像素中的一行和一列的特定存储器元件，当宏像素检测到由可寻址照明源发射的光时，该特定存储器元件递增。

在各种示例和实施例中，可寻址照明源和主动深度传感器被配置为使得可寻址照明源的发射器与主动深度传感器的检测器的相应宏像素相匹配。这允许检测器的每个宏像素结合可寻址照明源的相应发射器进行单次直接飞行时间深度测量。由可寻址照明源发射的点的数量规定了空间分辨率，如果发射器使用多个点图案或者如果可寻址照明源使用光束扫描器，则允许深度的超分辨率。

DCA还包括可寻址深度传感器，当HMD处于该HMD先前不在其中的局部区域中时，或者当动态对象移动到HMD的视野中，同时虚拟对象正在被渲染时，该可寻址深度传感器可以被激活。来自可寻址深度传感器的数据被传感器处理以产生高保真稀疏深度。

该信息用于更新HMD周围的局部区域的现有模型(例如由控制台存储的模型)或添加到该模型中，这减少了对稀疏主动深度系统的未来依赖。当对象移动通过HMD的视野时，稀疏主动深度传感器是活动的，以提供对象检测掩模(例如手和身体)的绝对比例和/或经由更高分辨率的二维图像被上采样，以准备用作动态遮挡掩模。当局部区域的适当完整的模型被构建(或可从先前的模型中获得)时，在HMD周围的局部区域保持静态时，该模型可用于代替实时深度系统。在一些示例和实施例中，场景检测循环可用于评估HMD周围的局部区域的当前视图是否与HMD周围的局部区域的存储模型具有至少阈值量的差异。响应于确定局部区域与所存储的局部区域模型具有至少阈值量的差异，控制台生成激活图，并将其用于控制可寻址照明源和可寻址深度传感器。在一些示例和实施例中，DCA包括捕获HMD周围的局部区域的图像的二维相机，该图像用于检测DCA周围的局部区域的变化。二维相机是灰度或RGB相机，其捕获HMD周围的局部区域的图像。在一些示例和实施例中，二维相机可以以不同的帧速率捕获局部区域的图像。例如，二维相机以相对低的帧速率(例如，每秒10帧)捕获局部区域的图像，并以较高的帧速率捕获用于生成HMD周围的局部区域的遮挡掩模的图像。遮挡掩模是标识电子显示器的显示虚拟内容的区域或者电子显示器的不显示虚拟内容的区域的二维遮挡掩模。遮挡掩模取决于HMD周围的局部区域的视图，因此对应于局部区域内的不同位置，维持局部区域的不同遮挡掩模。

可将由二维相机捕获的图像提供给控制台，控制台识别捕获图像中的包括从先前图像或从HMD周围局部区域的存储模型发生变化的区域。基于所识别的区域，控制台生成激活图，该激活图激活对应于所识别的区域的可寻址照明源的部分和可寻址深度传感器的部分。

附图简述

图1是控制台和头戴式显示器(HMD)在其中操作的系统环境的框图。

图2是头戴式显示器(HMD)的示意图。

图3是图2中的头戴式显示器(HMD)的前刚性主体的横截面。

图4是可集成到深度相机组件(DCA)中的包括精细操纵(steering)元件和粗略操纵元件的光束操纵组件。

图5是深度相机组件(DCA)中包括的示例照明源。

图6A-图6C是深度相机组件(DCA)的照明源中包括的示例发射器。

图7是深度相机组件(DCA)的成像设备的包括宏像素的检测器的示例。

图8是示例电荷共享存储器元件。

图9是示例电荷泵存储器元件。

图10是深度相机组件的成像设备的示例检测器，其使用定时参考识别检测器的宏像素的光子检测。

附图仅为了说明的目的而描绘本公开的实施例。本领域中的技术人员从下面的描述中将容易认识到，本文示出的结构和方法的替代示例可以被采用而不偏离本文所述的本公开的原理或者所推崇的益处。

详细描述

本公开的实施例可以包括人工现实系统或结合人工现实系统来被实现。人工现实是一种在呈现给用户之前已经以某种方式进行了调整的现实形式，其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(mixed reality，MR)、混杂现实(hybrid reality)或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或者与所捕获的(例如，真实世界)内容组合地生成的内容。人工现实内容可以包括视频、音频、触觉反馈或其某种组合，以及其中的任何一个可以在单个通道中或在多个通道中被呈现(例如向观看者产生三维效果的立体视觉或“立体”视频)。此外，在一些实施例中，人工现实还可以与用于例如在人工现实中创建内容和/或在人工现实中以其他方式被使用(例如，在人工现实中执行活动)的应用、产品、附件、服务或其某种组合相关联。可以在各种平台(包括头戴装置、连接到主计算机系统的头戴式显示器(HMD)、独立的HMD、近眼显示器(NED)、移动设备或计算系统或者能够向一个或更多个观看者提供人工现实内容的任何其他硬件平台)上实现提供人工现实内容的人工现实系统。

系统环境

图1是HMD 110的系统环境100的一个示例的框图。系统环境100可以在人工现实环境(例如虚拟现实、增强现实、混合现实环境或其某种组合)中操作。图1所示的系统环境100包括HMD 110、映射服务器130和耦合到控制台180的输入/输出(I/O)接口170。虽然图1示出了包括一个HMD 110和一个I/O接口180的示例系统环境100，但是在其他示例中，系统环境100中可以包括任何数量的这些部件。例如，可以有多个头戴式装置110，每个头戴式装置110具有相关联的I/O接口170，每个HMD 110和I/O接口170与控制台180通信。在替代配置中，系统环境100中可以包括不同的和/或附加的部件。另外，在一些示例中，结合图1所示的一个或更多个部件描述的功能可以以与结合图1描述的方式不同的方式在部件之间分配。例如，控制台180的一些或全部功能可以由HMD 110提供。

HMD 110包括透镜105、光学块107、一个或更多个位置传感器115、惯性测量单元(IMU)120、深度相机组件(DCA)140、被动相机组件(PCA)150和音频系统160。HMD 110的一些示例具有与结合图1描述的部件不同的部件。另外，由结合图1所描述的各种部件提供的功能在其他示例中可以不同地分布在HMD 110的部件当中，或者可以在远离HMD 110的单独组件中被捕获。

透镜105可以包括根据从控制台180接收的数据来向用户显示2D或3D图像的电子显示器。在各种示例中，透镜105包括单个电子显示器或多个电子显示器(例如，针对用户的每只眼睛的显示器)。电子显示器的示例包括：液晶显示器(LCD)、有机发光二极管(OLED)显示器、有源矩阵有机发光二极管显示器(AMOLED)、某种其他显示器、或它们的某种组合。

光学块107放大从电子显示器接收的图像光、校正与图像光相关联的光学误差、并将校正的图像光呈现给HMD 110的用户。在多种示例中，光学块107包括一个或更多个光学元件。光学块107中包括的示例光学元件包括：光圈、菲涅耳透镜、凸透镜、凹透镜、滤光器、反射表面或影响图像光的任何其他合适的光学元件。此外，光学块107可以包括不同光学元件的组合。在一些示例中，光学块107中的一个或更多个光学元件可以具有一个或更多个涂层，例如部分反射涂层或抗反射涂层。

光学块107对图像光的放大和聚焦允许电子显示器比更大的显示器物理上更小、重量更轻并且消耗更少的功率。另外，放大可以增大电子显示器所呈现的内容的视场。例如，所显示内容的视场使得所显示内容使用用户的几乎所有视场(例如，大约110度对角线)、且在一些情况下使用所有视场来呈现。此外，在一些示例中，可以通过添加或移除光学元件来调整放大量。

在一些示例中，光学块107可以被设计成校正一种或更多种类型的光学误差。光学误差的示例包括桶形或枕形失真、纵向色差或横向色差。其他类型的光学误差还可以包括球面像差、色差(chromatic aberrations)或由于透镜像场弯曲(lens field curvature)、散光引起的误差或任何其他类型的光学误差。在一些示例中，被提供给电子显示器用于显示的内容被预失真，并且当光学块107从电子显示器接收基于内容生成的图像光时，光学块107校正失真。

IMU 120是电子设备，其基于从一个或更多个位置传感器115接收的测量信号生成指示HMD 110的位置的数据。位置传感器115响应于HMD110的运动而生成一个或更多个测量信号。位置传感器115的示例包括：一个或更多个加速度计、一个或更多个陀螺仪、一个或更多个磁力计、检测运动的另一种合适类型的传感器、用于IMU 120的误差校正的一类传感器或者其某种组合。位置传感器115可以位于IMU 120的外部、IMU 120的内部或者这两种位置的某种组合。

DCA 140生成诸如房间的局部区域的深度图像数据。深度图像数据包括定义离DCA140的距离的像素值，提供深度图像数据中捕获的位置的映射，例如深度图像数据中捕获的位置的三维映射。DCA 140包括照明源142、主动深度传感器144和控制器146。照明源142可以投射结构光图案或其他光，该结构光图案或其他光从局部区域中的对象反射，并由主动深度传感器144或由附加成像设备146捕获以生成深度图像数据。

例如，照明源142可将多种不同类型的结构光(SL)元素(例如线、网格或点)投射到HMD 110周围局部区域的一部分上。在各种示例中，照明源142包括发射器和图案板。发射器被配置成用光(例如，红外光)照射图案板。被照射的图案板将包括多个SL元素的结构光(SL)图案投射到局部区域中。例如，由被照射的图案板投射的每个SL元素是与图案板上的特定位置相关联的点。

由DCA 140投射的每个SL元素包括电磁光谱的红外光部分中的光。在一些示例中，照明源是激光器，其被配置成用红外光照射图案板使得它对于人是不可见的。在一些示例中，照明源可以是脉冲式的。在一些示例中，照明源可以是可见的并且是脉冲式的，使得光对于眼睛是不可见的。

由DCA 140投射到局部区域中的SL图案在遇到局部区域中的各种表面和对象时变形。主动深度传感器144被配置成捕获局部区域的一个或更多个图像。捕获的一个或更多个图像中的每一个可以包括由照明源142投射并由局部区域中的对象反射的多个SL元素(例如，点)。主动深度传感器144可以是检测器阵列、相机或摄像机。

主动深度传感器144包括检测器，如下文结合图5-图11所述。在各种示例中，检测器包括对检测器的像素执行时间选通的电路，以禁止远离局部区域中的目标位置的检测事件，来自照明源142的光在局部区域中从该目标位置反射。检测器像素的这种选择性禁用减少了背景光(即，不是由照明源142发射的检测光)的量。如下面结合图6-图11进一步描述的，在检测器中包括电路降低了主动深度传感器144的功耗，并且增加了描述由照明源142发射的、由局部区域中的一个或更多个对象反射的、以及由主动深度传感器144捕获的光的捕获的定时信息的信噪比。

DCA140的控制器耦合至照明源142和主动深度传感器144，并配置为生成用于照明源142的发射指令。DCA140的控制器提供照明源142的发射指令组成部分来引导由照明源142发射的光。另外，控制器146从主动深度传感器144接收信息，该信息标识主动深度传感器144检测到来自照明源142的被局部区域中的一个或更多个对象反射的光时的数字时间戳。根据数字时间戳和照明源142将光发射到局部区域中的时间，控制器146确定从DCA 140到局部区域中的对象的距离。在一些示例中，DCA 140识别局部区域中的对象或其他目标，并向主动深度传感器144提供控制信号，该控制信号标识主动深度传感器144确定检测到的光的数字时间戳时的时间间隔，如下面结合图6-图8进一步描述的。

PCA150包括生成彩色(例如RGB)图像数据的一个或更多个被动相机。与使用主动光发射和反射的DCA 140不同，PCA 150从局部区域的环境捕获光以生成图像数据。图像数据的像素值可以定义在成像数据中捕获的对象的可见颜色，而不是定义距离成像设备的深度或距离的像素值。在一些示例中，PCA 150包括控制器，该控制器基于由被动成像设备捕获的光生成彩色图像数据。在一些示例中，DCA140和PCA 150共享公共控制器。例如，公共控制器可以将在可见光谱(例如，图像数据)和红外光谱(例如，深度图像数据)中捕获的一个或更多个图像中的每一个映射到彼此。在一个或更多个示例中，公共控制器被配置成附加地或替代地向音频系统160、控制台180或任何其他合适的部件提供局部区域的一个或更多个图像。

音频系统160使用声学参数集合向HMD 110的用户呈现音频内容，该声学参数集合表示HMD 110所在的局部区域的声学属性。音频系统160将音频内容呈现为好像源自局部区域内的对象(例如，虚拟对象或真实对象)。音频系统160可以获得描述局部区域的至少一部分的信息。在一些示例中，音频系统160可以将信息传送到映射服务器130，用于在映射服务器130处确定声学参数集合。音频系统160还可以从映射服务器130接收该声学参数集合。

在一些示例中，响应于局部区域的声学条件的变化高于阈值变化，音频系统160选择性地将该声学参数集合外推至表示局部区域的特定配置的重建脉冲响应的调整后的声学参数集合。音频系统160可以至少部分基于重建的脉冲响应向HMD 110的用户呈现音频内容。

在一些示例中，音频系统160监控局部区域中的声音并生成相应的音频流。音频系统160可以至少部分基于音频流来调整声学参数集合。音频系统160还可以响应于确定局部区域的声学属性随时间的变化高于阈值变化，选择性地将音频流传送到映射服务器130，用于更新描述各种物理空间和这些空间的声学属性的虚拟模型。HMD 110的音频系统160和映射服务器130可以通过有线或无线通信信道进行通信。

I/O接口170是允许用户发送动作请求并从控制台180接收响应的设备。动作请求是执行特定动作的请求。例如，动作请求可以是开始或结束捕获图像或视频数据的指令，或者是在应用内执行特定动作的指令。I/O接口170可以包括一个或更多个输入设备。示例输入设备包括键盘、鼠标、游戏控制器、或者用于接收动作请求并将动作请求传送到控制台180的任何其他合适的设备。由I/O接口170接收的动作请求被传送到控制台180，控制台180执行对应于动作请求的动作。在一些示例中，如上文进一步描述的，I/O接口170包括IMU120，其捕获指示相对于I/O接口170的初始位置的I/O接口170的估计的位置的校准数据。在一些示例中，I/O接口170可以根据从控制台180接收的指令来向用户提供触觉反馈。例如，当动作请求被接收到时，或者当控制台180向I/O接口170传送指令时，触觉反馈被提供，该指令使I/O接口170在控制台180执行动作时生成触觉反馈。

控制台180向HMD 110提供内容，以根据从DCA 140、PCA 150、HMD110和I/O接口170中的一个或更多个接收的信息进行处理。在图1所示的示例中，控制台180包括应用储存器182、跟踪模块184和引擎186。控制台180的一些示例具有与结合图1描述的模块或部件不同的模块或部件。类似地，下面进一步描述的功能可以以不同于结合图1描述的方式分布在控制台180的部件当中。在一些示例中，本文参照控制台180讨论的功能可以在HMD 110或远程系统中实现。

应用储存器182存储用于由控制台180执行的一个或更多个应用。应用是一组指令，该一组指令在由处理器执行时生成用于呈现给用户的内容。由应用生成的内容可以响应于经由HMD 110的移动或I/O接口170而从用户接收的输入。应用的示例包括：游戏应用、会议应用、视频回放应用或其他合适的应用。

跟踪模块184使用一个或更多个校准参数来校准系统环境100的局部区域，并且可以调整一个或更多个校准参数以减少HMD 110或I/O接口170的位置确定中的误差。例如，跟踪模块184将校准参数传送到DCA 140来调整DCA 140的焦点，以更准确地确定由DCA 140捕获的SL元素的位置。由跟踪模块184执行的校准也可以考虑从HMD 110中的IMU 120和/或被包括在I/O接口640中的IMU 120接收的信息。另外，如果丢失对HMD 110的跟踪(例如，DCA140失去对至少阈值数量的投射的SL元素的视线)，则跟踪模块184可以重新校准部分或整个系统环境100。

跟踪模块184使用来自DCA 140、PCA 150、一个或更多个位置传感器115、IMU 120或其某种组合的信息来跟踪HMD 110或I/O接口170的移动。例如，跟踪模块184基于来自HMD110的信息来确定HMD 110的参考点在局部区域的映射中的位置。跟踪模块184还可以确定对象或虚拟对象的位置。另外，在一些示例中，跟踪模块184可以使用来自IMU 120的指示HMD 110的位置的数据部分以及来自DCA 140的局部区域的表示来预测HMD 110的未来定位。跟踪模块184向引擎186提供HMD 110或I/O接口170的估计的或预测的未来位置。

引擎186执行应用，并从跟踪模块184接收HMD 110的位置信息、加速度信息、速度信息、所预测的未来位置或它们的某种组合。基于接收到的信息，引擎186确定要提供给HMD110用于呈现给用户的内容。例如，如果接收到的信息指示用户已经向左看，则引擎186生成用于HMD 110的内容，该内容反映用户在虚拟局部区域中或在用附加内容增强局部区域的局部区域中的移动。另外，引擎186响应于从I/O接口170接收的动作请求来执行在控制台180上执行的应用内的动作，并且向用户提供动作被执行的反馈。所提供的反馈可以是经由HMD 110的视觉或听觉反馈或者经由I/O接口170的触觉反馈。

头戴式显示器

图2是头戴式显示器(HMD)110的透视图。在一些示例中(如图1所示)，HMD 110被实现为NED。在替代示例中(未在图1中示出)，头戴装置100被实现为HMD。通常，HMD 110可以戴在用户的脸上，使得使用HMD 110的一个或两个透镜105呈现内容(例如，媒体内容)。然而，也可以使用HMD 110使得以不同的方式向用户呈现媒体内容。HMD 110所呈现的媒体内容的示例包括一个或更多个图像、视频、音频或其某种组合。除了其他部件之外，HMD 110可以包括框架205、透镜105、DCA 140、PCA 150、位置传感器115和音频系统160。图2中所示的HMD110的音频系统包括左双耳麦克风210A、右双耳麦克风210B、声学传感器阵列225、音频控制器230、一个或更多个其他部件或其组合。HMD 110的音频系统是上面结合图1描述的音频系统160的示例。DCA 140和PCA 150可以是安装在HMD 110上的SLAM传感器的一部分，用于捕获部分或全部HMD110周围的局部区域的视觉信息。尽管图2示出了在HMD 110上的示例位置上的HMD 110的部件，但是这些部件可以位于HMD 110上的其他地方、与HMD 110配对的外围设备上，或者这两种位置的某种组合。

HMD 110可以矫正或增强用户的视力、保护用户的眼睛或向用户提供图像。HMD110可以是矫正用户视力缺陷的眼镜。HMD 110可以是保护用户眼睛免受阳光照射的太阳镜。HMD 110可以是保护用户眼睛免受撞击的安全眼镜。HMD 110可以是夜视装置或红外护目镜以增强用户在夜间的视力。HMD 110可以是为用户产生人工现实内容的近眼显示器。

框架205保持HMD 110的其他部件。框架205包括保持透镜105的前部和附接到用户头部的末端件(end piece)。框架205的前部架在(bridge)用户鼻子的顶部。末端件(例如，镜腿(temples))是框架205的部分，用户的鬓角(temples)附接到该部分。末端件的长度可以是可调的(例如，可调的镜腿长度)，以适合不同的用户。末端件也可以包括在用户耳朵后面弯曲(curl)的部分(例如，镜腿套(temple tip)、挂耳件(ear piece))。

透镜105向佩戴HMD 110的用户提供或传输光。透镜105可以是处方透镜(例如，单视觉(single vision)透镜、双焦和三焦或渐进透镜)以帮助矫正用户的视力缺陷。处方透镜将环境光传输给佩戴HMD 110的用户。透射的环境光可能会被处方透镜改变，以矫正用户视力的缺陷。透镜105可以是偏光透镜或有色镜片以保护用户的眼睛免受阳光照射。透镜105可以是作为波导显示器一部分的一个或更多个波导，其中图像光通过波导的末端或边缘耦合到用户的眼睛。透镜105可以包括用于提供图像光的电子显示器，并且还可以包括用于放大来自电子显示器的图像光的光学块，如上面结合图1进一步描述的。

DCA 140捕获描述HMD 110周围的局部区域(例如房间)的深度信息的深度图像数据。在一些示例中，DCA 140可以包括光投影仪142(例如，用于飞行时间的结构光和/或闪光照明)、多个成像设备(例如，图1中的主动深度传感器144和附加成像设备146)以及控制器148，如以上结合图1所述。捕获的数据可以是由成像设备捕获的由光投影仪投射到局部区域上的光的图像。在一个示例中，DCA 140可以包括控制器和两个或更多个成像设备，成像设备被定向成以立体方式捕获局部区域的部分。捕获的数据可以是由两个或更多个成像设备以立体方式捕获的局部区域的图像。DCA 140的控制器使用捕获的数据和深度确定技术(例如，结构光、飞行时间、立体成像等)来计算局部区域的深度信息。基于深度信息，DCA140的控制器148确定HMD 110在局部区域内的绝对位置信息。DCA 140的控制器148也可以生成局部区域的模型。DCA 140可以与HMD 110集成在一起，或者可以位于HMD 110外部的局部区域内。在一些示例中，DCA 140的控制器148可以经由网络或其他通信信道将深度图像数据传输到映射服务器130。

PCA 150包括生成彩色(例如RGB)图像数据的一个或更多个被动相机。与使用主动光发射和反射的DCA 140不同，PCA 150从局部区域的环境捕获光以生成彩色图像数据。彩色图像数据的像素值可以定义图像数据中捕获的对象的可见颜色，而不是像素值定义距成像设备的深度或距离。在一些示例中，PCA150包括控制器，该控制器基于由被动成像设备捕获的光生成彩色图像数据。PCA 150可以向DCA140的控制器148提供彩色图像数据，用于进一步处理或者用于传送到映射服务器130。

声学传感器阵列225监控和记录部分或全部HMD 110周围的局部区域中的声音。如图2所示，声学传感器阵列225包括多个声学传感器，这些声学传感器具有位于HMD 110上的多个声学检测定位。声学传感器阵列225可以将记录的声音作为音频流提供给音频控制器230。

位置传感器115响应于HMD 110的运动而生成一个或更多个测量信号。位置传感器115可以位于HMD 110的框架205的一部分上。位置传感器115可以包括位置传感器、惯性测量单元(IMU)或两者。HMD 110的一些示例可以包括或者不包括位置传感器115，或者可以包括一个以上的位置传感器115。在位置传感器115包括IMU的示例中，IMU基于来自位置传感器115的测量信号生成IMU数据。位置传感器115的示例包括：一个或更多个加速度计、一个或更多个陀螺仪、一个或更多个磁力计、检测运动的另一合适类型的传感器、用于IMU的误差校正的一种类型的传感器、或者它们的某种组合。位置传感器115可以位于IMU的外部、IMU的内部或者这两种位置的某种组合。

基于一个或更多个测量信号，位置传感器115估计HMD 110相对于HMD 110的初始位置的当前位置。估计位置可以包括HMD 110的位置和/或HMD 110或佩戴HMD 110的用户的头部的定向或其某种组合。定向可以对应于每只耳朵相对于参考点的位置。在一些示例中，位置传感器115使用来自DCA 140的深度信息和/或绝对位置信息来估计HMD 110的当前位置。位置传感器115可以包括测量平移运动(向前/向后、向上/向下、向左/向右)的多个加速度计和测量旋转运动(例如，俯仰、偏航、横滚)的多个陀螺仪。在一些示例中，上文结合图1进一步描述的IMU快速采样测量信号，并根据采样数据计算HMD 110的估计位置。例如，IMU对从加速度计接收到的测量信号在时间上求积分以估计速度矢量，并对速度矢量在时间上求积分以确定在HMD 110上的参考点的所估计的位置。参考点是可以用来描述HMD 110的位置的点。虽然参考点通常可以被定义为在空间中的点，然而，在实践中，参考点被定义为在HMD 110内的点。

音频控制器230向一个或更多个扬声器提供音频指令，用于通过使用声学参数(例如，房间脉冲响应)集合生成音频内容来产生声音。音频控制器230将音频内容呈现为好像源自局部区域内的对象(例如，虚拟对象或真实对象)，例如，通过使用针对局部区域的当前配置的声学参数集合来转换源音频信号。当HMD 110的扬声器从双耳麦克风210A和双耳麦克风210B向用户呈现音频数据时，音频控制器230接收描述用户耳道中的声压的信息。基于来自双耳麦克风210A、210B的信息，音频控制器2230校准一个或更多个扬声器，该扬声器从音频控制器230接收音频指令以产生声音。例如，左扬声器从音频控制器230获得左音频通道，而右扬声器从音频控制器230获得右音频通道。在各种示例中，每个扬声器被耦合到框架205的末端件，尽管在其他示例中，扬声器或扬声器阵列被集成到框架205中(例如，在框架205的镜腿中)以改善所呈现的音频内容的方向性。

音频控制器230可以例如从DCA 140和/或PCA 150获得描述局部区域的至少一部分的视觉信息。在音频控制器230处获得的视觉信息可以包括由DCA140捕获的深度图像数据。在音频控制器230处获得的视觉信息可以进一步包括由PCA 150捕获的彩色图像数据。音频控制器230可以将深度图像数据与彩色图像数据组合成视觉信息，该视觉信息(例如，经由耦合到音频控制器230的通信模块(未在图2中示出))被传送到映射服务器130，用于确定声学参数集合。在一个示例中，通信模块(例如，收发器)可以集成到音频控制器230中。在另一个示例中，通信模块可以在音频控制器230的外部，并且作为耦合到音频控制器230的独立模块集成到框架205中。在一些示例中，音频控制器230基于由例如声学传感器阵列225监控的局部区域中的声音生成音频流。耦合到音频控制器420的通信模块可以选择性地将音频流传送到映射服务器130，用于更新映射服务器130处的物理空间的视觉模型。

深度相机组件

图3是深度相机组件(DCA)340(例如图1所示的DCA 140)的一个示例的框图300。在其他示例中，DCA 340包括与图3所示部件不同的或附加的部件。此外，在一些示例中，DCA340将图3所示的一个或更多个部件的功能组合到更少的部件中。

DCA 340用于确定部分或全部HMD 110周围的局部区域345中的一个或更多个对象的深度信息。DCA 340包括照明源350、主动深度传感器355和控制器360，控制器360可以耦合到照明源350和主动深度传感器355。照明源350通过照明光圈325发射一个或更多个光束365。照明源350根据由控制器360生成的发射指令用一个或更多个光束365照射局部区域345。照明源350可以是结合到DCA 340中的光束操纵组件的照明源的一部分，如结合图4进一步描述的。

照明源350可包括多个发射器，每个发射器发射具有特定特征(例如，波长、偏振、相干性、脉冲宽度、时间特性等)的光。各发射器可以具有共同的特征或不同的特征，并且发射器可以同时操作或单独操作。示例发射器包括激光二极管(例如，边缘发射器)、无机或有机发光二极管(LED)、垂直腔面发射激光器(VCSEL)或某种其他源。在一些示例中，照明源350中的单个发射器或多个发射器可以发射形成结构光图案(例如，点图案)的一个或更多个光束365。在一些示例中，照明源350包括激光二极管(例如，红外激光二极管)和用于生成作为偏振光的一个或更多个光束365的偏振元件。

主动深度传感器355被配置为通过成像光圈320捕获一个或更多个光束365的从局部区域345反射的部分。主动深度传感器355包括检测器(图3中未示出)，该检测器被实现为单光子雪崩二极管(SPAD)像素的密集阵列，如下面结合图5-图10进一步描述的。主动深度传感器355还可以包括偏振敏感光检测器，该光检测器使用例如光学各向异性材料来检测特定偏振(例如线性、圆形、椭圆形等)的光子。主动深度传感器355捕获被一个或更多个光束365照射的局部区域345中的一个或更多个对象的一个或更多个图像。在各种示例中，主动深度传感器355具有焦点，该焦点在多个SPAD像素的子集上扩散所捕获的光；因此，主动深度传感器355的点扩散函数将由主动深度传感器355捕获的光扩散到多个SPAD像素，创建包括这些SPAD像素的感兴趣区域，主动深度传感器355将捕获的光引导到该感兴趣区域上；因此，感兴趣区域包括检测器中包含的SPAD像素的子集。在前面的示例中，SPAD像素的感兴趣区域的大小是基于DCA340的预期最大或最小范围来确定的，因此SPAD像素的感兴趣区域足以用于模拟信号处理或数字直方图处理。如下面结合图5进一步描述的，在各种示例中，主动深度传感器355的检测器包括一个或更多个宏像素。宏像素是包括多行像素和多列像素的一组像素。宏像素耦合到公共输出总线，经由行访问控制信号、列访问控制信号和宏像素内的像素地址(例如，宏像素内的行和列的标识符)来访问不同的宏像素，这增加了可以从检测器检索检测到的光子的速度。下面结合图5-图10进一步描述包括一个或更多个宏像素的检测器的示例架构。

控制器360可以基于发射指令控制照明源350的某些部件的操作。在一些示例中，控制器360可以向照明源350内的精细操纵元件(图3中未示出)和/或粗略操纵元件(图3中未示出)提供发射指令，以控制由一个或更多个光束365照射的局部区域345的视野。另外，控制器360耦合到主动深度传感器355，并向主动深度传感器355的检测器提供控制信号，以检索描述由检测器的不同像素检测到的光子的信息。如下面结合图5-图7进一步描述的，提供给检测器的控制信号包括标识检测器的宏像素的行访问控制信号或列访问控制信号，从该宏像素中检索描述由像素检测到的光子数量的信息。根据照明源350将光发射到局部区域345中时的时间以及来自主动深度传感器355的识别主动深度传感器355检测到由照明源350发射并从局部区域345中的一个或更多个对象反射的光时的时间的一个或更多个数字时间戳，可以确定局部区域345中反射来自照明源350的光的对象的深度信息。

控制器360被配置为至少部分基于一个或更多个反射光束的捕获部分来确定局部区域345中的一个或更多个对象的深度信息。在一些示例中，对于基于飞行时间的深度感测，控制器360基于在定义的时间量内存储在与主动深度传感器355的检测器中的一个或更多个SPAD像素相关联的一个或更多个累加器中的电荷来确定深度信息。在一些示例中，控制器360向控制台(图3中未示出)和/或HMD 110的适当模块(例如，变焦模块，图3中未示出)提供确定的深度信息。在各种示例中，控制台和/或HMD 110可以使用深度信息来生成用于在HMD 110的电子显示器上呈现的内容。

在各种示例中，控制器360根据为局部区域345中的一个或更多个对象确定的深度信息，生成HMD 110周围的局部区域345的遮挡图。遮挡图标识局部区域345内的位置，在该位置，由在HMD 110中包括的电子显示器显示的虚拟内容将不被显示。例如，遮挡掩模是标识HMD 110的电子显示器中示出虚拟内容的区域的二维遮挡掩模，而在其他示例中，遮挡掩模是标识HMD 110的电子显示器中不示出虚拟内容的区域的二维遮挡掩模。遮挡掩模取决于HMD 110周围的局部区域的视图，因此控制器360维护对应于局部区域内的不同位置的局部区域的不同遮挡掩模。在各种实现中，遮挡掩模标识电子显示器的区域，在该区域中，与电子显示器的一个区域相对应的局部区域中的对象的确定深度比要在电子显示器的该区域中显示的虚拟内容的深度更接近HMD 110。在前面的示例中，局部区域中的对象会遮挡该虚拟内容，因此控制器阻止在电子显示器的该区域中显示该虚拟内容。

在各种示例中，控制器360确定照明源350和主动深度传感器355何时被激活。例如，响应于确定HMD 110处于如下局部区域345中时：针对该局部区域345，关于局部区域345的信息(例如局部区域的模型)未被存储(即，当HMD 110处于HMD 110之前未处于的局部区域345中时)，控制器360激活照明源350和主动深度传感器355(或者包括在主动深度传感器355中的可寻址检测器)。作为另一个示例，响应于在虚拟对象正被渲染以供HMD 110的电子显示器显示时确定对象移动到HMD 110的视野中，控制器360激活照明源350和主动深度传感器355。来自主动深度传感器355的深度信息由控制器360处理，以生成关于局部区域345中的对象的高保真稀疏深度信息，该信息包括在由控制器360或控制台180存储的模型中。当HMD 110再次处于局部区域345中时，局部区域345的模型的存储减少了随后对由控制器360确定深度信息的依赖。当局部区域345的适当完整的模型被构建(或可从先前的模型中获得)时，在HMD 110周围的局部区域345保持静态时，可以检索并使用该模型，而不是使用照明源350和主动深度传感器355来确定深度信息。

在一些示例中，当对象移动通过HMD 110的视野时，控制器360激活照明源350和主动深度传感器355，允许控制器360为移动通过HMD 110的视野的对象确定对象检测掩模的绝对比例。在一些示例中，控制器360使得主动深度传感器355经由主动深度传感器355捕获更高分辨率的二维图像(或者使DCA 340中包括的附加二维相机比主动深度传感器355捕获局部区域345的更高分辨率的图像)，以用作基于移动通过HMD 110的视野的对象的动态遮挡掩模。在一些示例中，控制器360使用场景检测循环来评估HMD 110周围的局部区域345的当前视图是否与HMD 110周围的局部区域345的存储模型具有至少阈值量的差异。响应于确定局部区域345与局部区域345的存储模型具有至少阈值量的差异，控制器与控制台180通信以生成激活图。控制器360使用激活图来控制照明源350和主动深度传感器355。

在一些示例中，DCA 340包括捕获HMD 110周围局部区域345的图像的附加二维相机，这些图像被用于检测DCA 110周围局部区域345的变化。控制器360耦合到附加的二维相机，并向附加的二维相机提供一个或更多个控制信号。例如，附加的二维相机是灰度或红绿蓝(RGB)相机，其捕获HMD 110周围的局部区域345的图像。在一些示例中，附加的二维相机可以以不同的帧速率捕获局部区域的图像。例如，附加的二维相机以相对低的帧速率(例如，每秒10帧)捕获局部区域的图像，且以较高的帧速率捕获用于生成HMD 110周围局部区域345的遮挡掩模的图像。来自控制器360的一个或更多个控制信号调整附加的二维相机捕获局部区域345的图像的帧速率。替代地，来自控制器360的控制信号调整主动深度传感器355捕获局部区域345的图像的帧速率，使得主动深度传感器355捕获来自照明源350的被反射的光和局部区域345的图像。

图4示出了示例光束操纵组件400，其可以是图3中DCA 340的一部分。光束操纵组件400将精细操纵元件405和粗略操纵元件410级联。精细操纵元件405偏转从照明源(图4中未示出)发射的一个或更多个光束412，以生成一个或更多个一级(first order)偏转扫描光束414。精细操纵元件405可以被配置成部分基于来自控制器360的发射指令，在有限的范围内(例如，在-10度和+10度之间)快速改变一个或更多个一级偏转扫描光束414的扫描角度。精细操纵元件405因此被配置为以高速率操作，并且可以例如部分基于来自控制器360的发射指令而自适应地停顿或步进。应当理解，偏转相对于精细操纵元件405来说是一个通用术语，也可以指其他物理效应，例如折射、反射或衍射，这取决于用作精细操纵元件405的确切物理元件。

在一些示例中，精细操纵元件405可基于一个或更多个声光设备实现。在一个示例中，精细操纵元件405被实现为在布拉格机制(Bragg regime)下操作的声光偏转器。在另一示例中，精细操纵元件405被实现为声表面波(SAW)偏转器。在又一个示例中，精细操纵元件405被实现为在拉曼-纳特机制(Raman-Nath regime)下操作的薄光栅。作为另一个示例，使用一维或二维光学相控阵列发射器来实现精细操纵元件405，其中可以为不同的发射器单独引入相位延迟，从而允许控制光束偏转。通常，精细操纵元件405被配置为用作动态衍射光栅，其部分基于来自控制器360的发射指令衍射一个或更多个光束412以形成一个或更多个一级偏转扫描光束414。

粗略操纵元件410偏转一个或更多个一级偏转扫描光束414，以生成一个或更多个二级偏转扫描光束416，以允许在大角度范围内扫描，例如，沿x维度和y维度(水平维度和竖直维度)在-60度和+60度之间扫描。应当理解，偏转相对于粗略操纵元件410来说是一个通用术语，也可以指其他物理效应，例如折射、反射或衍射，这取决于用作粗略操纵元件410的确切物理元件。一个或更多个二级偏转扫描光束416代表由图3中的DCA340发射的一个或更多个光束465的示例。在一些示例中，一个或更多个二级偏转扫描光束416代表具有点图案、线图案或任何其他合适图案的结构光。通过将提供小角度扩展的精细操纵元件405与提供较大角度偏离的粗略操纵元件410组合，光束操纵组件400是灵活的，因为一个或更多个生成的二级偏转扫描光束416可以被投射在不同的体积区域中。应当理解，对精细操纵元件405和粗略操纵元件410的组合的实现要求可能取决于与光束操纵组件400相关的性能规格和约束。出于不同的原因，可能选择一种特定的实现方法而不选择另一种方法，这些原因包括从精细操纵元件405到粗略操纵元件410达到特定角度范围放大的能力(例如，放大六倍)、切换速度、功耗、光束操纵组件400的部件的尺寸/重量等。

在一些示例中，粗略操纵元件410覆盖宽范围的速率。例如，粗略操纵元件410的扫描速度从匹配基于一个或更多个声光设备实现的精细操纵元件405的扫描速度(例如，MHz扫描速度)变化到亚kHz扫描速度。在一个示例中，粗略操纵元件410基于扫描透镜来实现。在另一个示例中，粗略操纵元件410被实现为液体透镜偏转器。在又一示例中，粗略操纵元件410基于偏振光栅堆叠来实现。在2017年9月6日提交的第15/696，907号美国专利申请中进一步描述了光束操纵组件的示例，该申请通过引用整体结合于此。

照明源

图5示出了深度相机组件340的照明源350的一个示例。在图5所示的示例中，照明源350包括多个照明块505A、505B、505C、505C(使用附图标记505单独指代)。为了说明的目的，图5示出了照明源350包括四个照明块505A、505B、505C、505D的示例，但是在其他示例中，照明源350包括任何合适数量的照明块505。

每个照明块505包括一个或更多个发射器510，发射器被配置为发射光。例如，每个发射器510是垂直腔面发射激光器(VCSEL)；然而，在其他示例中，每个发射器510是能够发射光的任何合适的设备。在一些示例中，每个照明块505包括布置在3x3网格中的9个发射器510(例如，VCSEL)；然而，在其他示例中，照明块505可以包括相对于彼此具有任何合适布置的任何合适数量的发射器510。在各种示例中，每个照明块505包括共同数量的发射器510(例如，每个照明块505包括9个发射器510)。通过寻址逻辑，每个发射器510可以被单独激活以发射光；替代地，经由寻址逻辑激活一组发射器510。在一些示例中，照明源350被配置成使得每个发射器510将单个光点发射到DCA 340周围的局部区域中。替代地，每个发射器510包括衍射光学元件(DOE)，使得发射器510将多个点发射到DCA 340周围的区域中。例如，发射器510包括VCSEL和2x2拼块DOE，该2x2拼块DOE被配置为使得发射器510在被激活时，将4个光点发射到DCA 340周围的局部区域中。然而，在其他示例中，发射器510可以被配置成在被激活时将任何合适数量的点发射到DCA 340周围的区域中。

在各种示例中，照明源350还包括透镜或其他光学元件，该透镜或其他光学元件被定位成使得来自发射器510的光在到达DCA 340周围的局部区域之前穿过该透镜或其他光学元件。透镜或其他光学元件对来自发射器510的光散焦。通过使来自发射器的光散焦，照明源使得来自发射器的光入射到在DCA 340的主动深度传感器355中包含的检测器的大量像素上。这提高了检测器检测到来自照明源350的，由DCA 340周围区域中的一个或更多个对象反射的光的概率。

图6A是深度相机组件(DCA)340的照明源350中包括的示例发射器510。在图6A的示例中，发射器510包括耦合到寻址逻辑610的垂直腔面发射激光器(VCSEL)605。VCSEL被配置成响应于从寻址逻辑610接收到激活信号而发射光。寻址逻辑610接收控制信号，并响应于接收到控制信号而生成激活信号。因此，寻址逻辑610指定VCSEL 605何时发射光。另外，发射器510包括准直器615，该准直器615被配置成使得由VCSEL605发射的光在被发射到DCA340周围的局部区域中之前穿过准直器615。准直器615准直由VCSEL 605发射的光，使得准直的光从VCSEL 605发射到DCA 340周围的局部区域中。

图6B是包括在深度相机组件(DCA)340的照明源350中的替代发射器600的示例。在图6B的示例中，发射器510包括上面结合图6A描述的VCSEL 605、寻址逻辑610和准直器615。另外，发射器600包括衍射光学元件620，衍射光学元件620被定位成使得来自准直器610的光在到达DCA 340周围的局部区域之前穿过衍射光学元件620。衍射光学元件620增加了由发射器600发射到局部区域中的光点的数量。例如，衍射光学元件620是2x2拼块，其从离开准直器615的光生成四个光点，增加了由发射器600发射到DCA 340周围的局部区域中的光点数量。虽然这减少了发射到局部区域中的每个光点的功率量，但是这增加了DCA 340的空间密度，从而允许对DCA 340周围的局部区域中的对象的深度进行更高的空间密度确定。

图6C是包括在深度相机组件(DCA)340的照明源350中的替代发射器650的示例。在图6C的示例中，发射器510包括上面结合图6A描述的VCSEL 605、寻址逻辑610和准直器615。另外，图6C所示的发射器650包括致动器630，致动器630被定位成使得来自准直器610的光在到达DCA 340周围的局部区域之前穿过该致动器630。致动器630是具有与准直器615不同的折射率的可调谐光学部件，使得当光被发射到DCA 340周围的局部区域中时，致动器630重新定位从准直器615输出的光。在一些示例中，致动器630是微机电系统(MEMS)致动器，其基于接收到的控制信号相对于准直器615重新定位，以将来自准直器615的光重新定位在DCA 340周围的局部区域中。替代地，致动器630可以是液晶或能够重新定位从准直器615输出的光的其他部件。在其他示例中，致动器630改变来自准直器615的光被发射到DCA 340周围的局部区域中的时间。例如，当致动器630接收到控制信号时，致动器630允许来自准直器615的光进入DCA 340周围的局部区域，但是当致动器630接收到替代控制信号或者没有接收到控制信号时，致动器630阻止来自准直器615的光进入DCA 340周围的局部区域。发射器650中包括致动器630允许DCA获得更高的空间密度，同时限制发射器尺寸。

成像设备检测器

图7示出了深度相机组件(DCA)340的主动深度传感器355的检测器500的一个示例。在图7所示的示例中，检测器700包括宏像素705A-705D的二维阵列(也使用附图标记705单独和统一指代)。每个宏像素705包括一组像素，例如单光子雪崩二极管(SPAD)像素。此外，每个宏像素705包括多个像素行和多个像素列。在各种示例中，宏像素705包括等于像素列数的像素行数；例如，宏像素705包括16个像素行和16个像素列，因此宏像素705包括256个像素。然而，在其他示例中，宏像素705包括不同于像素列数的像素行数。宏像素705排列成行和列，以简化对不同宏像素705的访问。在图7的示例中，宏像素705A和宏像素705B在一行中，而宏像素705C和宏像素705D在另一行中。类似地，宏像素705A和宏像素705C在一列中，而宏像素705B和宏像素705D在另一列中。

此外，检测器700包括列访问模块710、访问模块715A、715B(也使用附图标记715单独和统一指代)、压缩模块720A、720B(也使用附图标记720单独和统一指代)和串行化模块730。列访问模块710接收列访问控制信号，该信号标识从中检索数据的宏像素705的列。列访问模块710接收列访问控制信号，该列访问控制信号包括包含从其检索信息的宏像素705的列的标识符，该信息标识由该宏像素705内的像素检测到的光子数量。列访问模块710通过对应于宏像素705的不同列的控制线耦合到每个宏像素705。

访问模块715A、715B接收标识从中检索数据的宏像素705的行的行访问控制信号。在图7所示的示例中，每行宏像素705耦合到不同的访问模块515。访问模块715A、715B通过行控制总线735A、735B耦合到在对应于访问模块715A、715B的行中的宏像素705。在图7的示例中，访问模块715A通过行控制总线735A耦合到宏像素705A、705B，而访问模块715B通过行控制总线735B耦合到宏像素705C、705D。访问模块715接收包括耦合到访问模块715的宏像素的行的标识符的行访问控制信号，以从中检索标识由宏像素705内的像素检测到的光子数量的信息。因此，由列访问模块710获得的列访问控制信号和由一个或更多个访问模块715获得的行访问控制信号分别标识包括宏像素705的列和行，从该宏像素705中检索标识由宏像素705内的像素检测到的光子数量的信息。输出线745A、745B(也使用附图标记745单独和统一指代)耦合到每个宏像素705A-705D，并且从对应于行访问信号和列访问信号的宏像素705检索的信息经由输出线745A、745B传送到耦合到包括宏像素705的行的访问模块715。虽然图7示出了单根输出线745A、745B耦合到宏像素705的示例实现，但是在其他示例中，宏像素705可以耦合到多根并行输出线。

每个访问模块715还通过像素地址总线740A、740B耦合至对应于访问模块715的行中的宏像素705。访问模块715经由与宏像素705内的像素相对应的地址来识别宏像素705内的像素，并将对包括该地址的数据的请求传输到宏像素705，使得来自与该地址相对应的像素的数据(该数据描述该像素的光子检测)经由耦合到宏像素705的输出线745被传送到访问模块715。因此，访问模块715基于宏像素705内的像素地址检索描述宏像素705内不同像素的光子检测的数据。在各种示例中，宏像素705内的像素的地址是位序列，不同的位序列对应于宏像素705内的不同像素。例如，宏像素705包括16个像素行和16个像素列，并且8位序列被用于标识宏像素705内的各个像素。在宏像素705中具有不同数量的像素行和像素列以及并行输出线的不同示例中，使用不同长度的位序列来标识宏像素705内的不同像素。例如，具有宏像素505中的行数和宏像素705中的列数的乘积的以2为底的对数长度的位序列被用于标识宏像素705内的各个像素。虽然图7示出了检测器包括列访问模块710和多个访问模块715的示例，但是在其他示例中，检测器700使用任何合适的方法基于一个或更多个控制信号来选择宏像素705。

每个访问模块715A、715B均耦合至压缩模块720A、720B。因此，每一行宏像素705经由耦合到包括宏像素705的行的访问模块715耦合到压缩模块720。压缩模块720移除从宏像素705中的一个或更多个像素获得的某些数据。例如，从像素提取的数据包括指示数据是最近的(从当前时间起发生不超过阈值时间量)还是旧的(从当前时间起发生超过阈值时间量)的标志，并且压缩模块720移除从宏像素705中的像素提取的如下数据：该数据具有指示从宏像素705中的像素提取的数据是旧的标志。这允许压缩模块720移除来自宏像素705中的像素的数据，该数据从该数据被从像素获得的时间起，被像素捕获超过了阈值时间量，从而减少了从检测器700传输的数据量，并提高了根据从宏像素705获得的数据确定的深度信息的准确性。例如，压缩模块720移除来自像素的，具有指示来自像素的数据是旧的标志的数据(例如，数字时间戳信号)。因此，压缩模块720输出指示来自像素的数据是旧的标志，而不是输出来自像素的数据。然而，如果标志指示来自像素的数据是最近的，则压缩模块720输出指示来自像素的数据是最近的标志和来自像素的数据(例如，数字时间戳)。这允许压缩模块720通过移除被指示为旧的数据并传输标识该数据为旧的标志来代替来自像素的旧数据，从而减少经由输出总线750传输的来自宏像素705的数据量。

在各种示例中，每个宏像素705包括一个计数器，该计数器保持宏像素705中的像素进行的具有指示光子检测为最近(即，指示光子检测发生在从当前时间起的阈值时间量内)的标志的光子检测的数量的计数。这允许宏像素705保持由宏像素705内的像素进行的最近光子检测的数量的计数。DCA的控制器360可以保持最近光子检测的阈值数量，并且将由宏像素505的计数器保持的最近光子检测的数量的计数与阈值数量进行比较。响应于存储在宏像素705的计数器中的最近光子检测的数量等于或超过阈值数量，控制器360向检测器700传输标识宏像素505的行访问控制信号和列访问控制信号，以获得描述宏像素505中的像素进行的光子检测的数据。在各种示例中，基于对功耗的约束或对从检测器700获得数据的速率的约束来指定最近光子检测的阈值数量。因此，在宏像素705中包括计数器允许DCA 340基于不同宏像素705的最近光子检测的数量，更有选择地从检测器700中的不同宏像素705获得数据。

串行化模块730耦合至压缩模块720和输出总线750。串行化模块730将来自多个像素的数据组合成串行数据流，该串行数据流经由输出总线550输出到控制器360或另一个处理器。例如，串行化模块730是双时钟先进先出元件，其填充有从宏像素705中的像素获得的数据；如上所述，来自压缩模块720的被包括在串行化模块730中的数据限于来自宏像素705中的像素的，具有指示从宏像素705中的像素提取的数据是最近的标志的数据。在各种示例中，输出总线750是低压差分信令(LVDS)通道，允许来自串行化模块750的数据的高速同步读出。

存储由检测器500的各个宏像素检测到的光子检测事件的直方图允许更快速地存储直方图。在一些示例中，每个像素中包括基于电荷的存储器，允许能够进行模拟读出的紧凑存储。例如，像素耦合到电荷共享存储器元件，该电荷共享存储器元件使用固定电荷转移函数以固定步长递增。图8示出了电荷共享存储器元件800的一个示例。在图8的示例中，固定输入电压805经由开关820耦合到保持电容器810。当开关820经由控制信号或其他方式被激活时，输入电压805对保持电容器820充电。随后，开关820被停用，将保持电容器820从输入电压805解耦。保持电容器820经由充电开关825耦合到共享电容器815。当充电开关825被激活时，由保持电容器810累积的电荷与共享电容器815共享。当经由控制信号激活耦合到共享电容器815的输出开关830时，获得来自共享电容器815的输出电压835。在各种示例中，输出开关830将共享电容器815耦合到输出总线，从该输出总线获得输出电压835。在一些配置中，电荷共享存储器元件800具有准线性转移函数，并且可以经由包括在耦合到输出总线的模数转换器中的查找表或其他合适的校正方法来校正非线性，共享电容器815经由输出开关830耦合到输出总线。复位开关840将共享电容器815耦合到地，并且当复位开关被复位信号激活840时，共享电容器815耦合到地，从共享电容器815排出存储的电荷。

替代地，像素耦合至电荷泵存储器元件，该电荷泵存储器元件使用固定电流和固定脉冲宽度来递增固定的电荷步长。图9示出了电荷泵存储器元件900的一个示例。在图9的示例中，固定参考电流905经由开关910耦合到共享电容器915。当开关910被激活时，共享电容器915被充电。在各种示例中，固定参考电流905和开关910被激活期间的特定脉冲宽度通过指定共享电容器915被充电的量来定义电荷泵存储器元件900的电荷(或电压)步长。在各种示例中，电荷步长是线性的。在各种实例中，固定参考电流905可以是多个电荷泵存储器元件900所共有的，因此电荷泵存储器元件900充当参考电流905的电流镜(currentmirror)。当耦合到共享电容器915的输出开关920经由控制信号被激活时，从共享电容器915获得输出电压925。在各种示例中，输出开关920将共享电容器915耦合到输出总线，从该输出总线获得输出电压925。在各种示例中，选择其相应的输出开关920被激活以获得输出电压925的电荷泵存储器元件900的控制信号是基于指示耦合到电荷泵存储器元件的像素的光子检测的事件信号和耦合到电荷泵存储器元件900的像素的地址(例如，耦合到电荷泵存储器元件的像素的列和行的标识符)。例如，事件信号和地址信息被输入到NAND门，并且NAND门的输出是用于选择特定电荷泵存储器元件900的控制信号。复位开关930将共享电容器915耦合到地，并且当复位开关被复位信号激活930时，共享电容器915耦合到地，从共享电容器915排出存储的电荷。使用基于电荷的存储器元件，例如电荷泵存储器元件900或电荷共享存储器元件800，可以允许检测器的顺序操作，其中检测器中的一行像素暴露于来自局部区域的光，并且读取由该行的不同像素累积的电荷，同时另一行暴露于来自局部区域的光。

为了降低功耗，不是将时间-数字转换器(TDC)耦合到宏像素中的像素，主动深度传感器355中的检测器使用定时参考，而不是耦合到宏像素内的不同像素的TDC，来确定像素的光子检测的直方图。图10是使用定时参考的主动深度传感器355中包括的示例宏像素1000。在图10的示例中，示出了包括多个像素的存储器元件1005A、1005B、1005C、1005D(使用附图标记1005来单独和统一指代)。在各种示例中，存储器元件1005被包括在宏像素的像素中，而在其他示例中，每个存储器元件1005耦合到宏像素1000的对应像素。如上文进一步描述的，存储器元件1005可以各自是基于电荷的存储器元件。

行解码器1010耦合至每个存储器元件1005。在各种示例中，行解码器1010是压控振荡器(VCO)，例如多相VCO。例如，行解码器1010是环形VCO。在图10的示例中，行解码器1010在多个存储器元件1005之间共享，因此在一些示例中，VCO在多个存储器元件1005之间共享。另外，当行解码器1010是VCO时，可以使用频率牵引来同步VCO，或者同步用作行解码器1010的多个VCO。

在各种示例中，列解码器1015也耦合至每个存储器元件1005，并包括计数器。例如，列解码器1015包括级联的触发器(flip-flop)，这些触发器具有由行解码器1010提供的公共时钟信号。在前面的示例中，当行解码器1010是VCO时，VCO的每个周期在列解码器1015中产生位移位。因此，行解码器1010和列解码器1015允许选择各个存储器元件1015。例如，行解码器1010和列解码器1015选择特定行和特定列的存储器元件1005，当宏像素1000检测到由可寻址照明源发射的光时，该存储器元件1005递增。如果存储器元件1005是基于电荷的存储器元件，行解码器1010和列解码器1015指定存储器元件1005的行和列，当宏像素1000检测到来自可寻址照明源的光时，该存储器元件1005存储电荷。

事件输出1020耦合至每个存储器元件1005。经由事件输出1020从存储器元件1005传输输出事件信号。在各种示例中，来自存储器元件1005的输出事件信号是由耦合到存储器元件1005或包括存储器元件1005的像素捕获的光子检测事件的组合。

附加的配置信息

本公开的示例和实施例的前述描述为了说明的目的被提出；它并不意图为无遗漏的或将本公开限制到所公开的精确形式。相关领域中的技术人员可以认识到，按照上面的公开，许多修改和变化是可能的。

公开的示例和实施例可以包括人工现实系统或结合人工现实系统来被实现。人工现实是一种在呈现给用户之前已经以某种方式进行了调整的现实形式，其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(mixed reality，MR)、混杂现实(hybrid reality)或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或者与所捕获的(例如，真实世界)内容组合地生成的内容。人工现实内容可以包括视频、音频、触觉反馈、或其某种组合，且其中任何一个都可以在单个通道中或在多个通道中被呈现(例如向观看者产生三维效果的立体视频)。另外，在一些示例和实施例中，人工现实还可以与用于例如在人工现实中创建内容和/或在人工现实中以其他方式被使用(例如，在人工现实中执行活动)的应用、产品、附件、服务或其某种组合相关联。提供人工现实内容的人工现实系统可以在各种平台上实现，这些平台包括连接到主计算机系统的头戴式显示器(HMD)、独立的HMD、移动设备或计算系统、或者能够向一个或更多个观看者提供人工现实内容的任何其他硬件平台。

本描述的一些部分从对信息的操作的算法和符号表示方面描述了本公开的示例和实施例。数据处理领域的技术人员通常使用这些算法描述和表示来向本领域的其他技术人员有效地传达他们工作的实质。这些操作虽然在功能上、计算上或逻辑上进行了描述，但应理解为将由计算机程序或等效电路、微代码等来实现。此外，将操作的这些布置视为模块有时也被证明是方便的而不失一般性。所描述的操作和它们的相关模块可以体现在软件、固件、硬件或它们的任何组合中。

可以利用一个或更多个硬件或软件模块单独地或与其他设备组合地来执行或实现本文描述的任何步骤、操作或过程。在一个示例中，利用包括计算机可读介质的计算机程序产品来实现软件模块，该计算机可读介质包含计算机程序代码，计算机程序代码可以由计算机处理器执行，用于执行所描述的任何或全部步骤、操作或过程。

本公开的示例和实施例也可以涉及用于执行本文的操作的装置。该装置可以被特别构造成用于所需的目的，和/或它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算设备。这种计算机程序可以存储在非暂时性的、有形的计算机可读存储介质中，或者适于存储电子指令的任何类型的介质中，其可以耦合到计算机系统总线。此外，说明书中提到的任何计算系统可以包括单个处理器，或者可以是采用多处理器设计来提高计算能力的架构。

本公开的示例和实施例也可以涉及由本文所述的计算过程产生的产品。这样的产品可以包括从计算过程得到的信息，其中信息被存储在非暂时性的、有形的计算机可读存储介质上且可以包括计算机程序产品或本文所述的其他数据组合的任何示例或实施例。

最后，在说明书中使用的语言主要为了可读性和指导目的而被选择，并且它可以不被选择来描绘或限制创造性主题。因此，意图是本公开的范围不由该详细描述限制，而是由在基于其的申请上发布的任何权利要求限制。因此，示例和实施例的公开意图对本公开的范围是说明性的，而不是限制性的，在所附权利要求中阐述了本公开的范围。