用于确定图像捕获设置的系统和方法

技术领域

本申请涉及图像捕获。具体地，本申请涉及用于基于显示缓冲器中的显示内容、由面向不同方向的第二图像传感器捕获的图像数据和/或面向该不同方向的该第二图像传感器的图像捕获设置来确定针对图像传感器的图像捕获设置的系统和方法。

背景技术

扩展现实(XR)设备是例如通过头戴式显示器(HMD)或其它设备向用户显示环境的设备。该环境至少部分地不同于用户所处的现实世界环境。用户通常可以例如通过倾斜或移动HMD或其它设备来交互式地改变他们对环境的视野。虚拟现实(VR)和增强现实(AR)是XR的示例。

在一些情况下，XR系统可以包括“透视”显示器，该“透视”显示器允许用户基于来自现实世界环境的光穿过显示器，而看到他们的现实世界环境。在一些情况下，XR系统可以包括“直通”显示器，该“直通”显示器允许用户基于由一个或多个相机捕获并在显示器上显示的对环境的视野，而看到他们的现实世界环境、或基于他们的现实世界环境的虚拟环境。当用户参与其现实世界环境中的活动时，用户可以佩戴“透视”或“直通”XR系统。

使用XR系统的用户的面部可以在不同的时间以不同的照明水平被照亮。在一些情况下，用户的面部可以被来自用户和XR系统周围的现实世界环境的光照亮。在一些情况下，用户的面部可以被来自XR系统的显示器的光照亮。

发明内容

在一些示例中，针对用于扩展现实(XR)系统的自动捕获设置配置，描述了系统和技术。XR系统从具有第一图像传感器的第一相机接收捕获信息。第一图像传感器面向第一方向，例如面向环境。捕获信息与由第一图像传感器对第一图像数据的捕获相关联，例如包括第一图像数据和/或被用以捕获第一图像数据的第一图像捕获设置。XR系统基于捕获信息来确定用于第二图像传感器的图像捕获设置，诸如曝光设置。第二图像传感器面向第二方向，例如面向XR系统的用户。在一些示例中，XR系统还基于来针对自面向第二方向的显示器的显示缓冲器的信息来确定图像捕获设置。在一些示例中，XR系统还基于来自第二相机的先前捕获信息来确定图像捕获设置，诸如在对第二图像数据的捕获之前由第二图像传感器捕获的先前图像数据和/或由第二相机用以捕获先前图像数据的先前图像捕获设置。

在一个示例中，提供了一种用于图像处理的装置。所述装置包括存储器和耦合到所述存储器的一个或多个处理器(例如，在电路中实现)。所述一个或多个处理器被配置为并且可以：从具有第一图像传感器的第一相机接收捕获信息，其中，所述捕获信息与由第一图像传感器对第一图像数据的捕获相关联，并且其中，所述第一图像传感器面向第一方向；接收被配置为使用显示器来显示的显示数据；基于所述捕获信息和所述显示数据来确定用于包括第二图像传感器的第二相机的图像捕获设置，其中，所述第二图像传感器面向第二方向；以及使所述第二图像传感器根据所述图像捕获设置来捕获第二图像数据。

在另一示例中，提供了一种图像处理的方法。所述方法包括：从具有第一图像传感器的第一相机接收捕获信息，其中，所述捕获信息与由所述第一图像传感器对第一图像数据的捕获相关联，并且其中，所述第一图像传感器面向第一方向；接收被配置为使用显示器来显示的显示数据；基于所述捕获信息和所述显示数据来确定用于包括第二图像传感器的第二相机的图像捕获设置，其中，所述第二图像传感器面向第二方向；以及使所述第二图像传感器根据所述图像捕获设置来捕获第二图像数据。

在另一示例中，提供一种非暂时性计算机可读介质，其上存储有指令，所述指令在由一个或多个处理器执行时使所述一个或多个处理器：从具有第一图像传感器的第一相机接收捕获信息，其中，所述捕获信息与由所述第一图像传感器对第一图像数据的捕获相关联，并且其中，所述第一图像传感器面向第一方向；接收被配置为使用显示器来显示的显示数据；基于所述捕获信息和所述显示数据来确定用于包括第二图像传感器的第二相机的图像捕获设置，其中，所述第二图像传感器面向第二方向；以及使所述第二图像传感器根据所述图像捕获设置来捕获第二图像数据。

在另一个示例中，提供了一种用于图像处理的装置。所述装置包括：用于从具有第一图像传感器的第一相机接收捕获信息的单元，其中，所述捕获信息与由所述第一图像传感器对第一图像数据的捕获相关联，并且其中，所述第一图像传感器面向第一方向；用于接收被配置为使用显示器来显示的显示数据的单元；用于基于所述捕获信息和所述显示数据来确定用于包括第二图像传感器的第二相机的图像捕获设置的单元，其中，所述第二图像传感器面向第二方向；以及用于使所述第二图像传感器根据所述图像捕获设置来捕获第二图像数据的单元。

在一些方面中，所述图像捕获设置包括曝光设置。在一些情况下，为了使所述第二图像传感器根据所述图像捕获设置捕获所述第二图像数据，上述方法、装置和计算机可读介质还包括根据所述曝光设置来设置与所述第二相机相关联的曝光参数。

在一些方面中，所述图像捕获设置包括基于与所述捕获信息相关联的颜色信息的白平衡设置。

在一些方面中，所述捕获信息包括所述第一图像数据。在一些方面中，上述方法、装置和计算机可读介质还包括确定对所述第一图像数据的至少一部分的亮度的度量。在一些情况下，为了基于所述捕获信息和所述显示数据来确定用于所述第二相机的所述图像捕获设置，上述方法、装置和计算机可读介质还包括基于所述对亮度的度量来确定用于所述第二相机的所述图像捕获设置。

在一些方面中，所述捕获信息包括第二图像捕获设置。在一些方面中，所述第一图像传感器被配置为根据所述第二图像捕获设置来捕获所述第一图像数据。

在一些方面中，所述第二图像捕获设置包括曝光设置。在一些方面中，所述第一图像传感器被配置为根据所述曝光设置利用所述第一相机的曝光参数来捕获所述第一图像数据。

在一些方面中，为了基于所述捕获信息和所述显示数据来确定用于所述第二相机的所述图像捕获设置，上述方法、装置和计算机可读介质还包括基于所述第二图像捕获设置和查找表来确定用于所述第二相机的所述图像捕获设置。在一些情况下，所述查找表映射在所述第一相机与所述第二相机之间的相应图像捕获设置。在一些方面中，所述图像捕获设置在所述查找表中对应于所述第二图像捕获设置。

在一些方面中，为了接收所述显示数据，上述方法、装置和计算机可读介质还包括在使用所述显示器来显示所述显示数据之前从存储所述显示数据的显示缓冲器接收所述显示数据。

在一些方面中，上述方法、装置和计算机可读介质还包括确定对所述显示数据的至少一部分的亮度的度量。在一些情况下，为了基于所述捕获信息和所述显示数据来确定用于所述第二相机的所述图像捕获设置，上述方法、装置和计算机可读介质还包括基于所述对亮度的度量来确定用于所述第二相机的所述图像捕获设置。

在一些方面中，所述装置包括被配置为显示所述显示数据的显示器。

在一些情况下，所述显示器被配置为将对应于所述显示数据的光朝向所述第二方向引导。

在一些方面中，所述显示数据包括由所述第一图像传感器捕获的图像内容。

在一些方面中，上述方法、装置和计算机可读介质还包括生成不同于由所述第一图像传感器捕获的内容的虚拟内容。在一些情况下，所述显示数据包括虚拟内容。

在一些方面中，所述显示器至少部分地透射从所述第一方向传递到所述第二方向的光。

在一些方面中，上述方法、装置和计算机可读介质还包括从所述第二相机接收第二图像捕获信息。在一些情况下，所述第二图像捕获信息与在由所述第二图像传感器对所述第二图像数据的捕获之前由所述第二图像传感器对第三图像数据的捕获相关联。在一些方面中，为了基于所述捕获信息和所述显示数据来确定用于所述第二相机的所述图像捕获设置，上述方法、装置和计算机可读介质还包括基于所述捕获信息和所述第二图像捕获信息以及所述显示数据来确定用于所述第二相机的所述图像捕获设置。

在一些方面中，所述第二图像捕获信息包括所述第三图像数据。

在一些方面中，上述方法、装置和计算机可读介质还包括确定对所述第三图像数据的至少一部分的亮度的度量。在一些情况下，为了基于所述捕获信息和所述第二图像捕获信息以及所述显示数据来确定用于所述第二相机的所述图像捕获设置，上述方法、装置和计算机可读介质还包括基于所述对亮度的度量来确定用于所述第二相机的所述图像捕获设置。

在一些方面中，所述第二图像捕获信息包括第二图像捕获设置。在一些情况下，所述第二图像传感器根据所述第二图像捕获设置来捕获所述第三图像数据。

在一些方面中，上述方法、装置和计算机可读介质还包括基于所述捕获信息和所述显示数据来确定用户的部分的照明水平。在一些情况下，为了基于所述捕获信息来确定用于所述第二相机的所述图像捕获设置，上述方法、装置和计算机可读介质还包括基于所述用户的所述部分的所述照明水平来确定用于所述第二图像传感器的所述图像捕获设置。

在一些方面中，为了确定所述用户的所述部分的所述照明水平，上述方法、装置和计算机可读介质还包括基于所述捕获信息以及基于所述第二图像捕获信息来确定所述用户的所述部分的所述照明水平，所述第二图像捕获信息与在由所述第二图像传感器对所述第二图像数据的捕获之前由所述第二图像传感器对第三图像数据的捕获相关联。

在一些方面中，上述方法、装置和计算机可读介质还包括：接收由所述第二图像传感器捕获的所述第二图像数据；以及输出所述第二图像数据。

在一些方面中，上述方法、装置和计算机可读介质还包括：接收由所述第二图像传感器捕获的所述第二图像数据；以及基于所述第二图像数据来确定用户的眼睛的位置。

在一些方面中，所述第一方向面向环境，并且所述第二方向面向用户的至少部分。

在一些方面中，所述第一方向与所述第二方向平行并且相反。

在一些方面中，所述第一图像数据包括对环境的至少部分的描绘，并且所述第二图像数据包括对用户的至少部分的描绘。

在一些方面中，所述第二图像数据包括对用户的一只或多只眼睛的描绘。

在一些方面中，所述装置包括所述第一图像传感器和所述第二图像传感器。

在一些方面中，所述装置是以下各项、是以下各项的一部分和/或包括以下各项：可穿戴设备、扩展现实设备(例如，虚拟现实(VR)设备、增强现实(AR)设备或混合现实(MR)设备)、头戴式显示器(HMD)设备、无线通信设备、移动设备(例如，移动电话和/或移动手持机和/或所谓的“智能手机”或其它移动设备)、相机、个人计算机、膝上型计算机、服务器计算机、车辆或车辆的计算设备或组件、另一设备或其组合。在一些方面中，所述装置包括用于捕获一个或多个图像的一个或多个相机。在一些方面中，所述装置还包括用于显示一个或多个图像、通知和/或其它可显示数据的显示器。在一些方面中，上述装置可以包括一个或多个传感器(例如，一个或多个惯性测量单元(IMU)，诸如一个或多个陀螺测试仪、一个或多个加速度计、其任何组合和/或其它传感器)。

该发明内容既不旨在标识所要求保护的主题的关键或必要特征，也不旨在单独用于确定所要求保护的主题的范围。应当通过参照本专利的整个说明书的适当部分、任何或全部附图以及每个权利要求来理解该主题。

参照以下说明书、权利要求和附图，前述内容连同其它特征和实施例将变得更加显而易见。

附图说明

下面参照以下附图来详细描述本申请的示出性实施例：

图1是示出根据一些示例的图像捕获和处理系统的示例架构的框图；

图2A是示出根据一些示例的扩展现实(XR)系统的示例架构的框图，该XR系统基于与显示缓冲器相关联的信息、与面向环境的传感器相关联的信息和/或与面向用户的传感器相关联的信息来生成用于面向用户的传感器的图像捕获设置；

图2B是示出根据一些示例的扩展现实(XR)系统的示例架构的框图，该XR系统基于与面向用户的传感器相关联的信息来生成用于面向用户的传感器的图像捕获设置；

图3A是示出根据一些示例的示例扩展现实(XR)过程的框图，该过程基于与面向用户的传感器相关联的信息来生成用于面向用户的传感器的被组合图像捕获设置；

图3B是示出根据一些示例的示例扩展现实(XR)过程的框图，该过程基于与显示缓冲器相关联的信息、与面向环境的传感器相关联的信息和/或与面向用户的传感器相关联的信息来生成用于面向用户的传感器的图像捕获设置；

图4是示出根据一些示例的与面向环境的传感器相关联的信息和与面向用户的传感器相关联的对应信息的示例的表；

图5是示出根据一些示例的示例扩展现实(XR)过程的框图，该过程基于与显示缓冲器相关联的信息来生成用于面向用户的传感器的图像捕获设置；

图6是示出根据一些示例的示例扩展现实(XR)过程的框图，该过程通过将基于显示缓冲器来确定的图像捕获设置与基于一个或多个面向环境的传感器来确定的图像捕获设置混合来生成用于面向用户的传感器的图像捕获设置；

图7A是示出根据一些示例的被用作扩展现实(XR)系统的头戴式显示器(HMD)的透视图；

图7B是根据一些示例示出图3A的头戴式显示器(HMD)被用户佩戴的透视图；

图8A是根据一些示例示出包括前置相机并且可以被用作扩展现实(XR)系统的移动手持机的前表面的透视图；

图8B是根据一些示例示出包括后置相机并且可以被用作扩展现实(XR)系统的移动手持机的后表面的透视图；

图9是根据一些示例示出用于自动捕获设置配置的过程的流程图；以及

图10是示出用于实现在本文中描述的某些方面的计算系统的示例的图。

具体实施方式

以下提供本公开内容的某些方面和实施例。如对于本领域技术人员将显而易见的，这些方面和实施例中的一些可以独立地被应用，并且它们中的一些可以相结合地被应用。在以下描述中，出于解释的目的，阐述了具体细节以便提供对本申请的各实施例的透彻理解。然而，将显而易见的是，可以在没有这些具体细节的情况下实行各个实施例。附图和描述不旨在是限制性的。

随后的描述仅提供了示例性实施例，并且不旨在限制本公开内容的保护范围、适用性或配置。而是，示例实施例的后续描述将向本领域技术人员提供用于实现示例实施例的启用描述。应当理解的是，在不脱离如在所附的权利要求中阐述的本申请的精神和范围的情况下，可以对元素的功能和布置进行各种改变。

相机是一种使用图像传感器接收光线并且捕获图像帧(诸如静态图像或视频帧)的设备。术语“图像”、“图像帧”和“帧”是在本文中可互换地使用的。相机可以被配置各种图像捕获和图像处理设置。不同的设置导致具有不同外观的图像。一些相机设置是在对一个或多个图像帧的捕获之前或期间确定并且应用的，诸如ISO、曝光时间、光圈大小、f/stop、快门速度、对焦和增益。例如，设置或参数可以被应用于图像传感器用于捕获一个或多个图像帧。其它相机设置可以配置对一个或多个图像帧的后处理，诸如关于对比度、亮度、饱和度、锐度、色阶、曲线或色彩的更改。例如，设置或参数可以被应用于处理器(例如，图像信号处理器或ISP)用于处理由图像传感器捕获的一个或多个图像帧。

扩展现实(XR)系统或设备可以向用户提供虚拟内容和/或可以合并现实世界或物理环境和虚拟环境(由虚拟内容构成)以向用户提供XR体验。现实世界环境可以包括现实世界对象(也称为物理对象)，诸如人、车辆、建筑物、桌子、椅子和/或其它现实世界或物理对象。XR系统或设备可以促进与不同类型的XR环境的交互(例如，用户可以使用XR系统或设备以与XR环境交互)。XR系统可以包括促进与虚拟现实(VR)环境交互的VR系统、促进与增强现实(AR)环境交互的AR系统、促进与混合现实(MR)环境交互的MR系统和/或其它XR系统。XR系统或设备的示例包括头戴式显示器(HMD)、智能眼镜等。在一些情况下，XR系统可以跟踪用户的部分(例如，用户的手和/或指尖)以允许用户与虚拟内容项交互。

在一些情况下，XR系统可以包括光学“透视”或“直通”显示器(例如，透视或直通ARHMD或AR眼镜)，从而允许XR系统将XR内容(例如，AR内容)直接显示到现实世界视图上而不显示视频内容。例如，用户可以通过显示器(例如，眼镜或透镜)观看物理对象，并且AR系统可以将AR内容显示到显示器上，以向用户提供对一个或多个现实世界对象的增强的视觉感知。在一个示例中，光学透视AR系统的显示器可以包括在每只眼睛前方的透镜或眼镜(或在两只眼睛上方的单个透镜或眼镜)。透视显示器可以允许用户直接看到现实世界或物理对象，并且可以显示(例如，投影或以其它方式显示)该对象或附加AR内容的增强图像以增强用户对现实世界的视觉感知。

使用XR系统的用户的面部可以在不同的时间以不同的照明水平被照亮。在一些情况下，用户的面部可以被来自用户和XR系统周围的现实世界环境的光照亮。在一些情况下，用户的面部可以被来自XR系统的显示器的光照亮。

XR系统可以包括面向用户的一个或多个面向用户的传感器，诸如面向用户的面向用户的图像传感器。例如，面向用户的传感器可以面向用户的面部、眼睛、用户身体的一个或多个其它部分或其组合。取决于对用户面部的照亮，不同的图像捕获设置可能适合于供面向用户的传感器使用。例如，如果用户的面部被其环境和/或被XR系统的显示器明亮地照亮，则对于面向用户的传感器使用具有低曝光设置(例如，短曝光时间、小光圈大小和/或低ISO)和/或低增益设置(例如，低模拟增益和/或低数字增益)的图像捕获设置可能是有用的。另一方面，如果用户的面部被其环境和/或被XR系统的显示器暗淡地照亮，则对于面向用户的传感器使用具有高曝光设置(例如，长曝光时间、大光圈大小和/或高ISO)和/或高增益设置(例如，高模拟增益和/或高数字增益)的图像捕获设置可能是有用的。

XR系统可以基于来自面向用户的传感器的先前捕获信息来确定用于面向用户的传感器的图像捕获设置。先前捕获信息可以包括例如由面向用户的传感器捕获的先前传感器数据(例如，先前图像)、由面向用户的传感器用以捕获先前传感器数据的先前图像捕获设置或其组合。然而，依赖于先前捕获信息以确定用于面向用户的传感器的图像捕获设置可能导致在改变图像捕获设置以适应光照状况上的变化时的延迟。例如，如果照亮用户的面部的光照状况快速地改变，则在一些情况下，如果XR系统依赖于先前捕获信息，则可能需要针对这样的XR系统的至少三个帧以确定并且设置用于面向用户的传感器的适合于所改变的照明条件的新图像捕获设置。

在本文中描述了用于扩展现实(XR)系统的自动图像捕获设置配置的系统和技术。XR系统从具有第一图像传感器的第一相机接收捕获信息。第一图像传感器面向第一方向，例如面向环境。捕获信息与由第一图像传感器对第一图像数据的捕获相关联。在一些示例中，捕获信息包括第一图像数据和/或第一图像传感器根据其来捕获第一图像数据的第一图像捕获设置。XR系统基于捕获信息来确定用于第二图像传感器的图像捕获设置，诸如曝光设置。第二图像传感器面向第二方向，例如面向XR系统的用户。在一些示例中，XR系统还基于来自针对XR系统的显示器的显示缓冲器的信息来确定图像捕获设置。在一些示例中，显示器面向第二方向(例如，面向用户)。在一些示例中，XR系统还基于来自第二相机的先前捕获信息来确定图像捕获设置。先前捕获信息可以包括例如由面向用户的传感器捕获的先前传感器数据(例如，先前图像)、由面向用户的传感器用以捕获先前传感器数据的先前图像捕获设置或其组合。XR系统可以从第二图像传感器接收第二图像数据。

在一些示例中，XR系统使用第二图像数据进行眼睛跟踪。在一些示例中，XR系统使用第二图像数据以确定用户的眼睛的眼睛位置，以跟踪用户的眼睛的眼睛位置，以跟踪用户的眼睛的眼睛运动，以跟踪用户的眼睛的瞳孔扩张，以跟踪用户的眼睛的扫视，以跟踪用户的眼睛的注视，以跟踪用户的眼睑的眨眼，以跟踪用户的眼睑的斜视，以跟踪用户的眼睛的视动反射，以跟踪用户的眼睛的前庭-眼动反射，以跟踪用户的眼睛的调节反射，以跟踪用户的面部表情，以跟踪用户的手势，或其组合。在上面列出的操作中，跟踪可以指跟踪定时、频率、程度、幅度、眼睛位置、眼睛运动或其组合。在一些示例中，XR系统例如通过显示第二图像数据和/或将第二图像数据发送给接收方设备来输出第二图像数据。

在一些示例中，在本文中描述的XR系统和技术基于来自第一传感器(例如，面向环境)的捕获信息、基于来自显示缓冲器的显示缓冲器数据和/或基于针对第二传感器的先前捕获信息来确定用于第二传感器(例如，面向用户)的图像捕获设置。在一些示例中，在本文中描述的XR系统和技术提供优于XR系统的许多技术优点和益处，所述XR系统仅基于针对第二传感器的先前捕获信息来确定用于第二传感器(例如，面向用户)的图像捕获设置。在一些示例中，在本文中描述的XR系统和技术提供了对XR系统可以利用其来确定用于第二传感器的图像捕获设置的速度的改进，例如因为对用于图像捕获设置确定的针对第二传感器的先前捕获信息的分析可能受由处理先前捕获信息和/或在XR系统的组件之间传递先前捕获信息引起的延迟阻碍。使用来自显示缓冲器的显示缓冲器数据作为用于对图像捕获设置的确定的基础可以加速对图像捕获设置的确定，并且允许图像捕获设置与由显示器对显示缓冲器数据的显示同时地被确定和/或被使用，或者在由显示器对显示缓冲器数据的显示之后的短延迟(例如，小于针对先前捕获信息的延迟)内被确定和/或被使用。使用来自第一传感器(例如，面向环境)的捕获信息作为用于对图像捕获设置的确定的基础可以加速对图像捕获设置的确定，并且允许基于用于第一传感器的图像捕获设置来确定和/或使用图像捕获设置，这可以是快速的，因为不需要图像捕获或处理。使用来自第一传感器(例如，面向环境)的捕获信息作为用于对图像捕获设置的确定的基础可以加速对图像捕获设置的确定，并且允许基于在用户的面部的照明水平改变之前检测到环境中的光水平的变化来确定和/或使用图像捕获设置。例如，如果用户正在接近环境的具有与用户先前所处的区域相比而言的不同光照的区域，则光照上的此不同可以是在使用要由第二传感器(例如，面向用户)捕获的第二图像数据可检测到用户照明上的对应不同之前，使用由第一传感器(例如，面向环境)捕获的第一图像数据可检测到的。这减少了在响应于环境中的光照状况上的变化和/或由于由显示器发射的光图案上的变化而调整第二传感器的图像捕获设置上的延迟和时延(例如，减少了2帧)。这使得在本文中描述的XR系统在响应于环境中的光照状况上的变化和/或由于由显示器发射的光图案上的变化而调整第二传感器的图像捕获设置时更有效、更自适应和反应更灵敏。这可以减少或消除在其中第二图像传感器利用不适当的图像捕获设置捕获图像数据的情况，所述情况可能导致例如过度曝光的或曝光不足的图像。这既而可以提高XR系统跟踪眼睛位置、眼睛移动、面部表情、手势等的能力的质量、一致性和准确性。在一些示例中，在本文中描述的XR系统还可以独立地控制用于面向用户的传感器的图像捕获设置，并且因此减少处理器负载。

将参照附图描述本申请的各个方面。图1是示出图像捕获和处理系统100的架构的框图。图像捕获和处理系统100包括被用以捕获和处理场景的图像(例如，场景110的图像)的各个组件。图像捕获和处理系统100可以捕获独立的图像(或照片)和/或可以捕获包括特定序列中的多个图像(或视频帧)的视频。系统100的透镜115面向场景110并且接收来自场景110的光。透镜115使光弯曲向图像传感器130。由透镜115接收的光穿过由一个或多个控制机构120控制的光圈，并且是由图像传感器130来接收的。

一个或多个控制机构120可以基于来自图像传感器130的信息和/或基于来自图像处理器150的信息来控制曝光、对焦和/或变焦。一个或多个控制机构120可以包括多个机构和组件；例如，控制机构120可以包括一个或多个曝光控制机构125A、一个或多个对焦控制机构125B和/或一个或多个变焦控制机构125C。一个或多个控制机构120还可以包括除了所示的那些之外的附加控制机构，诸如控制模拟增益、闪光、HDR、景深和/或其它图像捕获属性的控制机构。

控制机构120中的对焦控制机构125B可以获得对焦设置。在一些示例中，对焦控制机构125B将对焦设置存储在存储器寄存器中。基于对焦设置，对焦控制机构125B可以相对于图像传感器130的位置来调整透镜115的位置。例如，基于对焦设置，对焦控制机构125B可以通过开动电动机或伺服装置来使透镜115更靠近图像传感器130或更远离图像传感器130，从而调整对焦。在一些情况下，可以在系统100中包括附加透镜，诸如在图像传感器130的每个光电二极管上的一个或多个微透镜，该一个或多个微透镜各自在从透镜115接收的光到达对应的光电二极管之前将该光折向该光电二极管。对焦设置可以是经由对比度检测自动聚焦(CDAF)、相位检测自动聚焦(PDAF)或其某种组合来确定的。对焦设置可以是使用控制机构120、图像传感器130和/或图像处理器150来确定的。对焦设置可以称为图像捕获设置和/或图像处理设置。

控制机构120的曝光控制机构125A可以获得曝光设置。在一些情况下，曝光控制机构125A将曝光设置存储在存储器寄存器中。基于此曝光设置，曝光控制机构125A可以控制光圈的大小(例如，光圈大小或f/stop)、光圈开着的持续时间(例如，曝光时间或快门速度)、图像传感器130的灵敏度(例如，ISO速度或底片速度)、由图像传感器130施加的模拟增益或其任何组合。曝光设置可以称为图像捕获设置和/或图像处理设置。

控制机构120的变焦控制机构125C可以获得变焦设置。在一些示例中，变焦控制机构125C将变焦设置存储在存储器寄存器中。基于变焦设置，变焦控制机构125C可以控制透镜元件组合件(透镜组合件)的焦距，透镜元件组合件包括透镜115和一个或多个附加透镜。例如，变焦控制机构125C可以通过驱使一个或多个电动机或伺服装置以使这些透镜中的一个或多个相对于彼此移动来控制透镜组合件的焦距。变焦设置可以称为图像捕获设置和/或图像处理设置。在一些示例中，透镜组件可以包括齐焦变焦(parfocal zoom)透镜或变焦变焦(varifocal zoom)透镜。在一些示例中，透镜组合件可以包括聚焦透镜(其在一些情况下可以是透镜115)，所述聚焦透镜首先从场景110接收光，其中在光到达图像传感器130之前，光接着穿过在聚焦透镜(例如，透镜115)与图像传感器130之间的无焦变焦系统。在一些情况下，无焦变焦系统可以包括具有相等或相似的焦距(例如，在门限差内)的两个正(例如，会聚的、凸)透镜，在它们之间具有负(例如，发散的、凹)透镜。在一些情况下，变焦控制机构125C移动无焦变焦系统中的透镜中的一个或多个透镜，诸如负透镜以及正透镜中的一个或两个正透镜。

图像传感器130包括光电二极管或其它光敏元件的一个或多个阵列。每个光电二极管测量最终与由图像传感器130产生的图像中的特定像素对应的光的量。在一些情况下，不同的光电二极管被不同的色彩滤光片覆盖，并且从而可以测量与覆盖光电二极管的滤光片的色彩匹配的光。例如，Bayer色彩滤光片包括红色色彩滤光片、蓝色色彩滤光片和绿色色彩滤光片，其中，基于来自在红色色彩滤光片中覆盖的至少一个光电二极管的红光数据、来自在蓝色色彩滤光片中覆盖的至少一个光电二极管的蓝光数据和来自在绿色色彩滤光片中覆盖的至少一个光电二极管的绿光数据来生成图像的每个像素。其它类型的色彩滤光片可以使用黄色、洋红色和/或青色(还称为“翠绿色”)色彩滤光片以代替红色、蓝色和/或绿色色彩滤光片，或者除了红色、蓝色和/或绿色色彩滤光片之外还使用黄色、洋红色和/或青色(还称为“翠绿色”)色彩滤光片。一些图像传感器可以完全缺少色彩滤光片，并且可以替代地遍及像素阵列来使用不同的光电二极管(在一些情况下是垂直地堆叠的)。遍及像素阵列的不同的光电二极管可以具有不同的光谱灵敏度曲线，从而对不同波长的光进行响应。单色图像传感器也可能缺少色彩滤光片，并且因此缺少色彩深度。

在一些情况下，图像传感器130可以替代地或附加地包括不透明和/或反射性的掩模，其阻挡光在某些时间和/或从某些角度到达某些光电二极管或某些光电二极管的部分，这可以被用于相位检测自动聚焦(PDAF)。图像传感器130还可以包括用以放大由光电二极管输出的模拟信号的模拟增益放大器和/或用以将光电二极管的(和/或由模拟增益放大器放大的)模拟信号输出转换成数字信号的模数转换器(ADC)。在一些情况下，针对控制机构120中的一个或多个控制机构120讨论的某些组件或功能可以替代地或另外地被包括在图像传感器130中。图像传感器130可以是电荷耦合器件(CCD)传感器、电子倍增CCD(EMCCD)传感器、有源像素传感器(APS)、互补金属氧化物半导体(CMOS)、N型金属氧化物半导体(NMOS)、混合CCD/CMOS传感器(例如，sCMOS)、或其某个其它组合。

图像处理器150可以包括一个或多个处理器，诸如一个或多个图像信号处理器(ISP)(包括ISP 154)、一个或多个主机处理器(包括主机处理器152)和/或针对计算系统1000讨论的任何其它类型的处理器1010中的一种或多种。主机处理器152可以是数字信号处理器(DSP)和/或其它类型的处理器。在一些实现方式中，图像处理器150是单个集成电路或芯片(例如，称为片上系统或SoC)，其包括主机处理器152和ISP 154。在一些情况下，芯片还可以包括一个或多个输入/输出端口(例如，输入/输出(I/O)端口156)、中央处理单元(CPU)、图形处理单元(GPU)、宽带调制解调器(例如，3G、4G或LTE、5G等)、存储器、连接部件(例如，蓝牙

图像处理器150可以执行数个任务，诸如去马赛克、色彩空间转换、图像帧降采样、像素内插、自动曝光(AE)控制、自动增益控制(AGC)、CDAF、PDAF、自动白平衡、合并图像帧以形成HDR图像、图像辨识、对象辨识、特征辨识、接收输入、管理输出、管理存储器或其某个组合。图像处理器150可以将图像帧和/或被处理的图像存储在随机存取存储器(RAM)140和/或1020、只读存储器(ROM)145和/或1025、高速缓存、存储器单元、另一存储设备或其某个组合中。

各种输入/输出(I/O)设备160可以被连接到图像处理器150。I/O设备160可以包括显示屏、键盘、小键盘、触摸屏、触控板、触敏表面、打印机、任何其它输出设备1035、任何其它输入设备1045或其某个组合。在一些情况下，字幕可以通过I/O设备160的物理键盘或小键盘或者通过I/O设备160的触摸屏的虚拟键盘或小键盘被输入到图像处理设备105B中。I/O 160可以包括一个或多个端口、插孔或者其它连接器，其实现在系统100与一个或多个外围设备之间的有线连接，在该有线连接上，系统100可以从一个或多个外围设备接收数据和/或向一个或多个外围设备发送数据。I/O 160可以包括一个或多个无线收发机，其实现在系统100与一个或多个外围设备之间的无线连接，在该无线连接上，系统100可以从一个或多个外围设备接收数据和/或向一个或多个外围设备发送数据。外围设备可以包括先前讨论的类型的I/O设备160中的任何一者，并且一旦它们被耦合到端口、插孔、无线收发机或其它有线和/或无线连接器，它们本身就可以被认为是I/O设备160。

在一些情况下，图像捕获和处理系统100可以是单个设备。在一些情况下，图像捕获和处理系统100可以是两个或更多个分开的设备，包括图像捕获设备105A(例如，相机)和图像处理设备105B(例如，被耦合到相机的计算设备)。在一些实现方式中，图像捕获设备105A和图像处理设备105B可以例如经由一个或多个导线、电缆或其它电连接器被耦合在一起，和/或经由一个或多个无线收发机无线地被耦合在一起。在一些实现方式中，图像捕获设备105A和图像处理设备105B可彼此断开。

如图1所示，垂直虚线将图1的图像捕获和处理系统100划分为两个部分，其分别表示图像捕获设备105A和图像处理设备105B。图像捕获设备105A包括透镜115、控制机构120和图像传感器130。图像处理设备105B包括图像处理器150(包括ISP 154和主机处理器152)、RAM 140、ROM 145和I/O 160。在一些情况下，在图像捕获设备105A中示出的某些组件(诸如ISP 154和/或主机处理器152)可以被包括在图像捕获设备105A中。

图像捕获和处理系统100可以包括电子设备，诸如移动或固定电话手机(例如，智能电话、蜂窝电话等)、台式计算机、膝上型或笔记本计算机、平板计算机、机顶盒、电视、相机、显示器设备、数字媒体播放器、视频游戏机、视频流设备、互联网协议(IP)相机或任何其它合适的电子设备。在一些示例中，图像捕获和处理系统100可以包括用于无线通信(诸如蜂窝网络通信、802.11Wi-Fi通信、无线局域网(WLAN)通信或其某个组合)的一个或多个无线收发机。在一些实现方式中，图像捕获设备105A和图像处理设备105B可以是不同设备。例如，图像捕获设备105A可以包括相机设备，并且图像处理设备105B可以包括计算设备，诸如移动手持机、台式计算机或其它计算设备。

虽然图像捕获和处理系统100被示出为包括某些组件，但是一名普通技术人员将理解，图像捕获和处理系统100可以包括比图1中所示的组件多的组件。图像捕获和处理系统100的组件可以包括软件、硬件、或软件和硬件的一个或多个组合。例如，在一些实现方式中，图像捕获和处理系统100的组件可以包括电子电路或其它电子硬件，和/或可以是使用电子电路或其它电子硬件来实现的(所述电子电路或其它电子硬件可以包括一个或多个可编程电子电路(例如，微处理器、GPU、DSP、CPU、和/或其它合适的电子电路))，和/或图像捕获和处理系统100的组件可以包括计算机软件、固件或其任何组合，和/或是使用计算机软件、固件或其任何组合来实现的，以执行在本文中描述的各种操作。软件和/或固件可以包括被存储在计算机可读存储介质上并且可由实现图像捕获和处理系统100的电子设备的一个或多个处理器执行的一个或多个指令。

图2A是示出扩展现实(XR)系统200的示例架构的框图，该系统200基于与显示缓冲器260相关联的信息、与面向环境的传感器230相关联的信息和/或与面向用户的传感器210相关联的信息来生成用于面向用户的传感器210的图像捕获设置285。在一些示例中，XR系统200包括至少一个图像捕获和处理系统100、图像捕获设备105A、图像处理设备105B或其组合。在一些示例中，XR系统200包括至少一个计算系统1000。

XR系统200包括一个或多个面向用户的传感器210。一个或多个面向用户的传感器210面向一个方向。在一些示例中，一个或多个面向用户的传感器210面向的方向是用户205的方向。面向用户的传感器210捕获测量和/或跟踪关于用户的身体和/或用户的行为的各方面的信息的传感器数据。在一些示例中，面向用户的传感器210包括面向用户205的至少一部分的方向的一个或多个相机。面向用户的传感器210的一个或多个相机可以包括从用户205接收光207的一个或多个图像传感器。面向用户的传感器210的一个或多个图像传感器可以响应于从用户205接收到光207而捕获包括用户205的至少一部分的一个或多个图像(或其部分)的图像数据215。图像数据215可以描绘用户205的至少一部分。在一些示例中，一个或多个面向用户的传感器210包括面向用户205的面部的至少一部分的一个或多个相机。面向用户的传感器210的图像传感器可以捕获包括用户205的面部的至少一部分的一个或多个图像的图像数据215。在一些示例中，一个或多个面向用户的传感器210包括面向用户205的一只或两只眼睛(和/或眼睑)的至少一部分的一个或多个相机。面向用户的传感器210的图像传感器可以捕获图像数据215，该图像数据215包括用户205的一只或两只眼睛(和/或眼睑)的至少一部分的一个或多个图像。

一个或多个面向用户的传感器210的相机可以捕获图像数据215，该图像数据215包括随时间对一系列图像的捕获，在一些示例中，该一系列图像可以按时间顺序一起被排序，例如到视频中。这些系列图像可以描绘或以其方式指示例如用户205的眼睛的位置、用户205的眼睛的移动、用户205的眼睑的位置、用户205的眼睑的移动、用户205的眉毛的位置、用户205的眉毛的移动、用户205的眼睛的瞳孔扩张、用户205的眼睛的注视、用户205的眼睛的眼睛水分水平(eye moisture level)、用户205的眼睑的眨眼、用户205的眼睑的斜视、用户205的眼睛的扫视、用户205的眼睛的视动反射、用户205的眼睛的前庭-眼动反射、用户205的眼睛的调节反射或其组合。在图2A-2B内，一个或多个面向用户的传感器210被示为面向用户205的眼睛并且捕获用户205的眼睛的图像数据215的相机。面向用户的传感器210可以包括跟踪关于用户的身体和/或行为的信息的一个或多个传感器。面向用户的传感器210的一个或多个传感器可以包括一个或多个相机、环境光传感器、麦克风、心率监测器、血氧计、生物识别传感器、定位接收机、全球导航卫星系统(GNSS)接收机、惯性测量单元(IMU)、加速度计、陀螺仪、气压计、温度计、高度计、深度传感器、光检测和测距(LIDAR)传感器、无线电检测和测距(RADAR)传感器、声音检测和测距(SODAR)传感器、声音导航和测距(SONAR)传感器、飞行时间(ToF)传感器、结构化光传感器、在本文中讨论的其它传感器或其组合。在一些示例中，面向用户的传感器210包括针对用户205的每只眼睛的一个或多个相应的传感器。在一些示例中，面向用户的传感器210包括针对用户205的两只眼睛的一个或多个传感器。在一些示例中，一个或多个面向用户的传感器210包括至少一个图像捕获和处理系统100、图像捕获设备105A、图像处理设备105B或其组合。在一些示例中，一个或多个面向用户的传感器210包括计算系统1000的至少一个输入设备1045，或者它们本身是计算系统1000的输入设备1045。

XR系统200包括一个或多个面向环境的传感器230。XR系统200的一个或多个面向环境的传感器230包括面向与一个或多个面向用户的传感器210所面向的方向不同的方向的一个或多个传感器。例如，一个或多个面向环境的传感器230面向第一方向，而一个或多个面向用户的传感器210面向第二方向。在一些示例中，第一方向和第二方向彼此平行和/或彼此相对。例如，如图2A中所示，一个或多个面向环境的传感器230面向右，而一个或多个面向用户的传感器210面向左，其中左和右平行且方向相反。在一些示例中，XR系统200的一个或多个面向环境的传感器230面向环境220的至少一部分。环境220在图2A-2B中被示出为包括房屋。环境220可以包括用户205周围和/或XR系统200周围的现实世界环境。用户205和/或XR系统200周围可以在环境220中。在一些示例中，XR系统200的一个或多个面向环境的传感器230背对用户205的至少一部分。在一些示例中，一个或多个面向用户的传感器210远离环境220的一个或多个面向环境的传感器230所面向的至少一部分。在一些示例中，XR系统200的一个或多个面向环境的传感器230面向用户205和/或XR系统200的前侧正面向的方向。

一个或多个面向环境的传感器230捕获测量和/或跟踪关于环境220的信息的传感器数据。在一些示例中，面向环境的传感器230包括面向环境220的至少一部分的一个或多个相机。一个或多个相机可以包括可以面向环境220的至少一部分的一个或多个图像传感器。面向环境的传感器230的一个或多个相机可以包括从环境220接收光222的一个或多个图像传感器。响应于从环境220接收到光222，面向环境的传感器230中的一个或多个图像传感器可以捕获图像数据235，该图像数据235包括环境220的至少一部分的一个或多个图像(或其部分)。在一些示例中，一个或多个面向环境的传感器230中的一个或多个图像传感器捕获环境220的图像数据235。图像数据235可以包括一个或多个图像或其部分。一个或多个面向环境的传感器230中的图像传感器可以捕获图像数据235，该图像数据235包括随时间对一系列图像的捕获，在一些示例中，该系列图像可以按时间顺序一起被排序，例如到视频中。由一个或多个面向环境的传感器230捕获的图像数据235可以包括环境220的部分的图像和/或描绘环境220的部分的图像，例如包括诸如地板、地面、墙壁、天花板、天空、水、植物、除了用户205之外的其他人、用户205的身体的部分(例如，手臂或腿)、建筑物、车辆、动物、设备、其它对象或其组合的元素。在图2A内，一个或多个面向环境的传感器230被示为面向房屋(建筑物的示例)的相机。

面向环境的传感器230可以包括一个或多个传感器，诸如一个或多个相机、环境光传感器、麦克风、定位接收机、全球导航卫星系统(GNSS)接收机、惯性测量单元(IMU)、加速度计、陀螺仪、气压计、温度计、高度计、深度传感器、光检测和测距(LIDAR)传感器、无线电检测和测距(RADAR)传感器、声音检测和测距(SODAR)传感器、声音导航和测距(SONAR)传感器、飞行时间(ToF)传感器、结构化光传感器、在本文中讨论的其它传感器或其组合。在一些示例中，面向环境的传感器230包括针对用户205的每只眼睛的一个或多个相应的传感器。在一些示例中，面向环境的传感器230包括与用户205的两只眼睛对应的一个或多个传感器。在一些示例中，一个或多个面向环境的传感器230包括至少一个图像捕获和处理系统100、图像捕获设备105A、图像处理设备105B或其组合。在一些示例中，一个或多个面向环境的传感器230包括计算系统1000的至少一个输入设备1045，或者它们本身是计算系统1000的输入设备1045。

XR系统200可以包括一个或多个显示器270。显示器270可以包括任何类型的显示屏和/或投影仪。在一些示例中，显示器270可以包括针对用户205的每只眼睛的一个或多个相应的显示器。在一些示例中，显示器270可以包括针对用户205的两只眼睛的一个或多个显示器。显示器270可以显示显示图像数据265。显示图像数据265可以包括一个或多个图像和/或其部分。显示图像数据265可以在由显示器270对显示图像数据265的显示之前和/或期间(至少暂时地)被存储在显示缓冲器260中。在一些示例中，显示图像数据265包括由面向环境的传感器230捕获的图像数据235的至少一部分、由XR系统200的虚拟内容生成器250生成的虚拟内容255的至少一部分、由面向用户的传感器210捕获的图像数据215的至少一部分、由XR系统200的合成器240生成的合成图像数据245的至少一部分或其组合。

XR系统200的虚拟内容生成器250可以包括可以生成和/或渲染在环境220中不存在的视觉内容的内容渲染器。虚拟内容255可以包括一个或多个二维(2D)形状、三维(3D)形状、2D对象、3D对象、2D模型、3D模型、2D动画、3D动画、2D图像、3D图像、纹理、其它图像的部分、字母数字字符、字母数字字符串、在本文中讨论的其它虚拟内容或其组合。在图2A内，由虚拟内容生成器250生成的虚拟内容255是在对应于虚拟内容生成器250的框中被示为四面体的。在一些示例中，虚拟内容生成器250包括在处理器(诸如计算系统1000的处理器1010、图像处理器150、主机处理器152、ISP 154或其组合)上运行的软件元素，诸如对应于程序的指令集。在一些示例中，虚拟内容生成器250包括一个或多个硬件元素。例如，虚拟内容生成器250可以包括处理器，诸如计算系统1000的处理器1010、图像处理器150、主机处理器152、ISP 154或其组合。在一些示例中，虚拟内容生成器250包括一个或多个软件元素和一个或多个硬件元素的组合。

XR系统200的合成器240可以通过合并由面向环境的传感器230捕获的图像数据235、由虚拟内容生成器250生成的虚拟内容255、由面向用户的传感器210捕获的图像数据215或其组合的至少一部分来生成合成图像数据245。合成图像数据245可以包括一个或多个图像和/或其部分。在一些示例中，合成器240在图像数据235上和/或在图像数据215上合并虚拟内容255的至少一部分以生成合成图像数据245。在一些示例中，合成器240可以将虚拟内容255的至少一部分覆盖在图像数据235上和/或在图像数据215上，以生成合成图像数据245。在一些示例中，合成器240将虚拟内容255的至少一部分覆盖在图像数据235上和/或在图像数据215上，以生成合成图像数据245。合成器240可以确定用于相对于图像数据235和/或图像数据215定位虚拟内容255的位置和方式。在图2A内，由合成器240生成的合成图像数据245是在对应于合成器240的框中被示为表示环境220的房屋和表示虚拟内容255的四面体的组合的。在一些示例中，合成图像数据245被发送给显示缓冲器260，在这种情况下，显示图像数据265可以包括合成图像数据245。在图2A内，由显示缓冲器260存储的显示图像数据265是在对应于显示缓冲器260的框内被示为对表示环境220的房屋和表示虚拟内容255的四面体的组合进行描绘的图像的。在一些示例中，合成器240包括在处理器(诸如计算系统1000的处理器1010、图像处理器150、主机处理器152、ISP 154或其组合)上运行的软件元素，诸如对应于程序的指令集。在一些示例中，合成器240包括一个或多个硬件元素。例如，合成器240可以包括处理器，诸如计算系统1000的处理器1010、图像处理器150、主机处理器152、ISP 154或其组合。在一些示例中，合成器240包括一个或多个软件元素和一个或多个硬件元素的组合。

用户205或用户205的由面向用户的传感器210捕获的部分(例如，用户205的眼睛)可以被来自一个或多个光源的光照亮。例如，用户205的至少一部分可以被来自环境220的光222照亮。在一些情况下，来自环境220的光222可以照亮用户205的至少一部分，诸如用户205的眼睛、眼睑、眉毛、鼻子、嘴、耳朵和/或面部。来自环境220的光222可以通过从XR系统200周围接近用户205的至少一部分来到达用户205的至少一部分。在一些示例中，来自环境220的光222可以通过穿过XR系统200的至少一部分来到达用户205的至少一部分，如图2A中穿过XR系统200的整个宽度的虚线箭头所示。例如，在显示器270中的至少一个是透视的、透明的、半透明的、允许光的和/或透光的情况下，来自环境220的光222可以通过穿过XR系统200的显示器270中的一个或多个显示器的至少一部分来到达用户205的至少一部分。

当显示器270正在显示内容(诸如来自显示缓冲器260的显示图像数据265)时，用户205的至少一部分可以被来自显示器270的光275照亮。由显示器270对显示图像数据265的显示可以从显示器270朝向用户205的至少一部分发射光275。在一些情况下，来自显示器270的光275可以照亮用户205的至少一部分，诸如用户205的眼睛、眼睑、眉毛、鼻子、嘴、耳朵和/或面部。

XR系统200包括确定用于面向用户的传感器210的一个或多个图像捕获设置285的图像捕获设置引擎280。面向用户的传感器210根据图像捕获设置285来捕获图像数据215。在一些示例中，图像捕获设置引擎280基于将由面向用户的传感器210在图像数据215中捕获和/或描绘的用户205的至少一部分的照明水平或被估计的照明水平来确定用于面向用户的传感器210的图像捕获设置285。在一些示例中，图像捕获设置引擎280包括在处理器(诸如计算系统1000的处理器1010、图像处理器150、主机处理器152、ISP 154或其组合)上运行的软件元素，诸如对应于程序的指令集。在一些示例中，图像捕获设置引擎280包括一个或多个硬件元素。例如，图像捕获设置引擎280可以包括处理器，诸如计算系统1000的处理器1010、图像处理器150、主机处理器152、ISP 154或其组合。在一些示例中，合成器240包括一个或多个软件元素和一个或多个硬件元素的组合。

在图2A中，图像捕获引擎280从面向环境的传感器230和/或相关组件(诸如对应于面向环境的传感器230的第二图像捕获设置引擎)接收图像捕获信息。在一些示例中，图像捕获设置引擎280从面向环境的传感器230和/或相关组件接收的图像捕获信息包括由面向环境的传感器230捕获的图像数据235、由面向环境的传感器230根据其来捕获了图像数据235的图像捕获设置237或其组合。在一些示例中，图像捕获设置237包括曝光设置(例如，曝光时间、光圈大小和/或ISO)和/或增益设置(例如，模拟增益和/或数字增益)。在图2A中，图像捕获引擎280从显示缓冲器260接收显示图像数据265。在一些示例中，在由显示器270显示显示图像数据265之前，图像捕获引擎280从显示缓冲器260接收显示图像数据265。在一些示例中，当由显示器270正在显示显示图像数据265时，图像捕获引擎280从显示缓冲器260接收显示图像数据265。在一些示例中，在由显示器270显示显示图像数据265之后，图像捕获引擎280从显示缓冲器260接收显示图像数据265。在一些示例中，图像捕获引擎280接收和/或存储与面向用户的传感器210和/或图像捕获引擎280相关联的先前捕获信息。在一些示例中，在面向用户的传感器210捕获图像数据215之前，图像捕获引擎280接收和/或存储由面向用户的传感器210捕获的先前传感器数据(例如，先前图像数据)。在一些示例中，图像捕获引擎280存储在由图像捕获引擎280生成图像捕获设置285之前由图像捕获引擎280先前生成的先前图像捕获设置。在一些示例中，先前图像捕获设置包括曝光设置(例如，曝光时间、光圈大小和/或ISO)和/或增益设置(例如，模拟增益和/或数字增益)。与面向用户的传感器210和/或图像捕获引擎280相关联的先前捕获信息可以包括先前传感器数据和/或先前图像捕获设置。

图像捕获引擎280基于图像数据235、图像捕获设置237、显示图像数据265、来自面向用户的传感器210的先前传感器数据、来自图像捕获引擎280的先前图像捕获设置或其组合来生成图像捕获设置285。在一些示例中，图像捕获设置285包括曝光设置(例如，曝光时间、光圈大小和/或ISO)和/或增益设置(例如，模拟增益和/或数字增益)。图像捕获引擎280可以基于图像数据235、图像捕获设置237、显示图像数据265、来自面向用户的传感器210的先前传感器数据、来自图像捕获引擎280的先前图像捕获设置或其组合来确定和/或估计用户205的至少一部分(例如，用户205的面部的至少一部分)的照明水平。图像捕获引擎280可以基于照明水平来生成图像捕获设置285。例如，如果用户205的面部被来自环境220的光222和/或来自显示器270的光275明亮地照亮，这对应于用户205的面部的高照明水平，则图像捕获引擎280可以生成图像捕获设置285以包括低曝光设置(例如，短曝光时间、小光圈大小和/或低ISO)和/或低增益设置(例如，低模拟增益和/或低数字增益)，使得用户205的面部不在图像数据215中出现过度曝光。另一方面，如果用户205的面部被暗淡地照亮(例如，来自环境220的光222暗淡和/或来自显示器270的光275暗淡)，这对应于用户205的面部的低照明水平，则图像捕获引擎280可以生成图像捕获设置285以包括高曝光设置(例如，长曝光时间、大光圈大小和/或高ISO)和/或高增益设置(例如，高模拟增益和/或高数字增益)，使得用户205的面部在图像数据215中不出现曝光不足。至少在图3B、5和6中示出了用于由图2A的图像捕获引擎280生成图像捕获设置285的过程的示例或这样的过程的部分。

在一些示例中，XR系统200的显示器270包括“透视”显示器，该“透视”显示器允许来自XR系统200周围的现实世界环境的光穿过显示器270中的至少一个以到达用户205的一只或两只眼睛。例如，显示器270可以是至少部分地透明的、半透明的、允许光的、透光的或其组合。在示出性示例中，显示器270包括透明的、半透明的、允许光的和/或透光的透镜和投影仪。投影仪将显示图像数据265(例如，包括虚拟内容255)投影到透镜上。透镜可以是例如一副眼镜的透镜、护目镜的透镜、接触透镜、头戴式显示器(HMD)设备的透镜或其组合。来自环境220的光222穿过透镜并到达用户205的一只或两只眼睛。因为投影仪将显示图像数据265投影到透镜上，所以从用户205的一只或两只眼睛的角度来看，显示图像数据265看起来被覆盖在用户对环境220的视野上。可以通过显示设置来识别和/或指示如由投影仪投影到透镜上的显示图像数据265的定位。合成器240可以确定和/或修改显示设置。

在一些示例中，XR系统200的显示器270包括没有以上关于透视显示器讨论的透镜的投影仪。相反，显示器270可以使用其投影仪将显示图像数据265投影到用户205的一只或两只眼睛上。在这样的示例中，由投影仪投影到用户205的一只或两只眼睛上以将显示图像数据265投影到用户205的一只或两只眼睛上的光可以是来自显示器270的光275。在一些示例中，显示器270的投影仪可以将显示图像数据265投影到用户205的一只或两只眼睛的一个或两个视网膜上。这样的显示器270可以被称为透视显示器、虚拟视网膜显示器(VRD)、视网膜扫描显示器(RSD)或视网膜投影仪(RP)。来自环境220的光222仍然到达用户的一只或两只眼睛。因为投影仪将显示图像数据265投影到用户205的一只或两只眼睛上，所以从用户205的一只或两只眼睛的角度来看，显示图像数据265看起来被覆盖在用户205对环境220的视野上。可以通过显示设置来识别和/或指示如由投影仪投影到用户205的一只或两只眼睛上的显示图像数据265的定位。合成器240可以确定和/或修改显示设置。

在一些示例中，XR系统200是“直通”显示系统，其允许用户通过在显示器270上显示对环境220进行描绘的显示图像数据265而看到对环境220的视野。在显示图像数据265中描绘并在显示器270上显示的对环境220的视野可以是基于由面向环境的传感器230捕获的图像数据235的对环境220的准确视野的。在显示图像数据265中描绘并在显示器270上显示的对环境220的视野可以是对虚拟环境或混合环境的视野，该虚拟环境或混合环境不同于环境220但基于环境220(例如具有被并入到环境220中的虚拟内容255)。例如，虚拟环境或混合环境可以包括虚拟对象和/或背景，但是其可以被映射到具有维度的区域和/或空间体积，所述维度是基于用户和XR系统200所处的在现实世界环境内的区域和/或空间体积的维度的。XR系统200可以基于由XR系统200的面向环境的传感器230捕获的图像数据235和/或其它传感器(例如，基于环境220的图像数据235和/或基于环境220的深度数据)来确定用户205和XR系统200所处的在环境220内的区域和/或空间体积的维度。这可以确保：当用户探索在显示图像数据265中描绘并在显示器270上显示的虚拟环境或混合环境时，用户205不意外地下落一组楼梯，跑到墙壁或障碍物中，或者以其它方式与现实世界环境具有负面交互和/或潜在危险交互。

在一些示例中，XR系统200包括属性引擎287，其基于由面向用户的传感器210捕获的传感器数据(例如，基于图像数据215)来确定和/或跟踪用户205的一个或多个属性。基于由面向用户的传感器210捕获的传感器数据(例如，基于图像数据215)，属性引擎287可以确定用户205的眼睛的眼睛位置，跟踪用户205的眼睛的眼睛位置，跟踪用户205的眼睛的眼睛运动，跟踪用户205的眼睛的瞳孔扩张，跟踪用户205的眼睛的扫视，跟踪用户205的眼睛的注视，跟踪用户205的眼睑的眨眼，跟踪用户205的眼睑的斜视，跟踪用户205的眼睛的视动反射，跟踪用户205的眼睛的前庭-眼动反射，跟踪用户205的眼睛的调节反射，跟踪用户205的面部表情，跟踪用户205的手势或其组合。在上面列出的操作中，跟踪可以指跟踪定时、频率、程度、幅度、眼睛位置、眼睛运动或其组合。在一些示例中，XR系统200例如通过经由显示器270显示图像数据215和/或通过经由通信收发机(例如，通信接口1040)将图像数据215发送给接收方设备，来输出图像数据215。

图2B是示出扩展现实(XR)系统290的示例架构的框图，该系统基于与面向用户的传感器210相关联的信息来生成用于面向用户的传感器210(其可以提供图像数据292)的图像捕获设置295。XR系统290是XR系统200的变型，其中，图像捕获设置引擎280仅接收和/或使用与面向用户的传感器210和/或图像捕获设置引擎280相关联的先前捕获信息以确定用于面向用户的传感器210(例如，用于来自面向用户的传感器210的图像数据292)的图像捕获设置295。至少在图3A中示出了用于由图2B的图像捕获引擎280生成图像捕获设置295的过程的示例。在一些示例中，至少如关于图3A和3B所讨论的，图像捕获设置295可以不如图像捕获设置285最新。

图3A是示出基于与面向用户的传感器310相关联的信息来生成用于面向用户的传感器310的图像捕获设置330的示例扩展现实(XR)过程300的框图。图3A的XR过程300可以由图2B的XR系统290或图2A的XR系统200执行。基于执行相应的操作的组件来指示XR过程300的每个操作。XR过程300的每个操作包括关于在其处执行该操作的时间或由对该操作的执行引起的时间延迟的记号。在一些示例中，这些时间记号中的每个增量1可以对应于与由面向用户的传感器310对图像帧的捕获对应的持续时间。

在时间N处，来自用户(例如，用户205)的光305从用户行进到一个或多个面向用户的传感器310。光305可以是来自用户205的光207的示例。面向用户的传感器310可以是面向用户的传感器210的示例。在时间N+1处，面向用户的传感器310基于从用户接收到光305来捕获原始图像数据。

ISP 315处理由面向用户的传感器310捕获的原始图像数据以生成图像。例如，ISP315可以执行去马赛克、色彩空间转换、重采样、像素插值、自动曝光(AE)控制、自动增益控制(AGC)、CDAF、PDAF、自动白平衡、将图像合并以形成HDR图像、或其组合。ISP 315可以是ISP 154的示例。由ISP 315执行的处理可能花费在图3A和3B中由为1的延迟来指示的一些时间。

在时间N+2处，由ISP 315生成的图像由图像捕获设置引擎320接收，和/或图像捕获设置引擎320生成图像捕获设置330。图像捕获设置引擎320可以是图像捕获设置引擎280的示例。图像捕获设置引擎320基于来自ISP 315的图像来生成图像捕获设置330。在时间N+3处在面向用户的传感器310处应用图像捕获设置330以捕获另外的图像数据。从而，使用图3A的XR过程300，从来自用户的光305行进到面向用户的传感器310到在面向用户的传感器310处基于光305应用图像捕获设置330花费了三个时间帧。

图3B是示出基于与显示缓冲器355相关联的信息、与面向环境的传感器365相关联的信息和/或与面向用户的传感器310相关联的信息来生成用于面向用户的传感器310的图像捕获设置380的示例扩展现实(XR)过程350的框图。图3B的XR过程350可以由图2A的XR系统200执行。基于执行相应的操作的组件来指示XR过程350的每个操作。XR过程350的每个操作包括关于在其处执行该操作的时间或由对该操作的执行引起的时间延迟的记号。在一些示例中，这些时间记号中的每个增量1可以对应于与由面向用户的传感器310对图像帧的捕获和/或由面向环境的传感器365对图像帧的捕获对应的持续时间。

XR过程350包括XR过程300的组件和操作，并且还包括附加组件和操作。例如，XR过程350包括在时间N处来自用户的光305行进到面向用户的传感器310，面向用户的传感器310在时间N+1处基于光305捕获原始图像数据，并且ISP 315通过处理原始图像数据达为1的延迟来生成图像。XR过程350包括图像捕获设置引擎320从ISP 315接收图像。然而，图3B的图像捕获设置引擎320还接收附加数据，并且可以基于图像和/或附加数据来生成图3B的图像捕获设置380。图3B的图像捕获设置引擎320可以如在图3A中在时间N+2处至少基于来自ISP 315的图像来生成图像捕获设置380，并且可以如在图3A中在时间N+3处将图像捕获设置380应用于由面向用户的传感器310进行的新图像捕获。

XR过程350还包括在时间P处存储显示图像数据的显示缓冲器355。在一些示例中，被存储在显示缓冲器355中的显示图像数据被配置为被显示在面向用户的显示器上。显示缓冲器355可以是显示缓冲器260的示例。图3B的显示图像数据可以是显示图像数据265的示例。图3B的显示图像数据可以是显示图像数据265的示例。图3B的显示器可以是显示器270的示例。在时间P处，图3B的图像捕获设置引擎320可以接收被存储在显示缓冲器355中的显示图像数据。图3B的图像捕获设置引擎320可以至少基于在时间P处来自显示缓冲器355的显示图像数据来生成图像捕获设置380，并且可以在时间P+1处将图像捕获设置380应用于由面向用户的传感器310进行的新图像捕获。

XR过程350还包括来自环境(例如，环境220)的光370，其在时间M处从环境行进到一个或多个面向环境的传感器365。光370可以是来自环境220的光222的示例。面向环境的传感器365可以是面向环境的传感器230的示例。在时间M+1处，面向环境的传感器365基于从环境接收到光370来捕获原始图像数据。ISP 360处理由面向环境的传感器365捕获的原始图像数据以生成图像。例如，ISP 360可以执行去马赛克、色彩空间转换、重采样、像素插值、AE控制、AGC、CDAF、PDAF、自动白平衡、将图像合并以形成HDR图像、或其组合。ISP 360可以是ISP 154的示例。ISP 360和ISP 315可以是单个ISP或分别的ISP。由ISP 360执行的处理可能花费如在图3B中通过为1的延迟指示的一些时间。在时间M+2处，由ISP 360生成的图像可以由图像捕获设置引擎320接收，和/或图像捕获设置引擎320可以基于由ISP 360生成的图像来生成图像捕获设置380。在时间M+1处，一个或多个面向环境的传感器365在基于来自环境的光370捕获图像时应用的图像捕获设置可以由图像捕获设置引擎320接收，和/或图像捕获设置引擎320可以基于用于一个或多个面向环境的传感器365的图像捕获设置来生成图像捕获设置330。图像捕获设置引擎320可以在时间M+3处基于由ISP 360生成的图像来应用图像捕获设置380。图像捕获设置引擎320可以在时间M+2处基于面向环境的传感器365的图像捕获设置来应用图像捕获设置380。

图像捕获设置引擎320可以基于用于面向用户的传感器310的先前图像捕获设置、由ISP 315生成的图像、来自显示缓冲器355的显示图像数据、用于面向环境的传感器365的图像捕获设置、由ISP 360生成的图像或其组合来生成图像捕获设置380。在一些示例中，图像捕获设置引擎320通过基于由ISP 315生成的图像、来自显示缓冲器355的显示图像数据、用于面向环境的传感器365的图像捕获设置、由ISP 360生成的图像或其组合来修改用于面向用户的传感器310的先前图像捕获设置，来生成图像捕获设置380。在一些示例中，由图像捕获设置引擎320生成的图像捕获设置380可以比其他用户对于用户的照明上的某些变化反应更灵敏。例如，由图像捕获设置引擎320生成的图像捕获设置380可以与对于由ISP 315生成的图像中的变化或由ISP 360生成的图像中的变化相比，对于来自显示缓冲器355的显示图像数据中的变化反应更灵敏(例如，因为可以在时间P+1处应用对应的图像捕获设置380)。

使用来自显示缓冲器355的显示缓冲器数据作为用于确定图像捕获设置380的基础可以加速对图像捕获设置380的确定，并且允许图像捕获设置380与由显示器对显示缓冲器数据的显示同时地被确定和/或被使用，或者在由显示器对显示缓冲器数据的显示之后的短延迟(例如，小于针对先前捕获信息的延迟)内被确定和/或被使用。使用来自面向环境的传感器365的图像捕获设置作为用于确定图像捕获设置380的基础可以加速对图像捕获设置380的确定，并且允许图像捕获设置380，因为不需要由面向环境的传感器365进行图像捕获或由ISP 360进行处理。使用由ISP 360生成的图像作为用于确定图像捕获设置的基础可以加速对图像捕获设置380的确定，并且允许基于在用户的面部的照明水平改变之前检测到环境中的光水平的变化来确定和/或使用图像捕获设置380。例如，如果用户正在接近环境的具有与用户先前所处的区域相比而言的不同光照的区域，则光照上的此不同可以是在使用要由面向用户的传感器310捕获并由ISP 135生成的图像数据可检测到用户照明上的对应不同之前，使用由ISP 360生成的图像可检测到的。

在一些示例中，面向环境的传感器365和面向用户的传感器310可以以相同的帧速率捕获传感器数据(例如，图像数据)。在一些示例中，面向环境的传感器365和面向用户的传感器310可以以不同的相应帧速率捕获传感器数据(例如，图像数据)。在一些示例中，面向环境的传感器365以第一帧速率捕获其图像数据，而面向用户的传感器310以第二帧速率捕获其图像数据。在一些示例中，第一帧速率可以比第二帧速率快，例如因为面向环境的传感器365也可以被用于手跟踪，这对于许多XR应用可能非常重要。在这样的情况下，时间M+2和时间M+3可以各自对应于比时间N+3短的时间段，因为时间M+2和时间M+3中的帧短于针对时间N+3的帧。

与XR过程300相比，XR过程350从而减少了在响应于环境中的光照状况上的变化和/或由于由显示器发射的光图案上的变化而调整第二传感器的图像捕获设置时的延迟和时延。与XR过程300相比，XR过程350从而使得XR系统在响应于环境中的光照状况上的变化和/或由于由显示器发射的光图案上的变化而生成和/或调整用于面向用户的传感器310的图像捕获设置380时更有效、更自适应和反应更灵敏。XR过程350从而可以减少或消除在其中面向用户的传感器310和/或ISP 315利用不适当的图像捕获设置捕获和/或生成图像数据的情况，所述情况可能导致例如过度曝光或曝光不足的图像。XR过程350从而可以既而提高XR系统跟踪眼睛位置、眼睛移动、面部表情、手势等的能力的质量。

图4是示出与面向环境的传感器410相关联的信息和与面向用户的传感器415相关联的对应信息的示例的表400。表400包括对应于面向环境的传感器410和面向用户的传感器415两者的参数405。参数405包括图像特性，诸如对像素亮度的度量420(例如，平均像素亮度或其它对亮度的度量)。根据表400，使用平均像素亮度作为对像素亮度的度量420的示出性示例，当由面向环境的传感器410捕获的针对图像的对像素亮度的度量420为50时，针对由面向用户的传感器415捕获的对应图像的对像素亮度的度量420为60。在一些示例中，对像素亮度的度量420(例如，平均像素亮度或其它对亮度的度量)可以被称为平均像素明亮度或平均像素亮度。平均像素亮度将在本文中被用作对像素亮度的度量420的示出性示例(并且将被称作平均像素亮度420)。可以使用其它对像素亮度的度量，诸如加权平均、标准偏差、方差、其任何组合和/或其它对像素亮度的度量。参数405还包括针对曝光时间425的图像捕获设置。根据表400，当针对由面向环境的传感器410进行的图像捕获的曝光时间425是20ms时，针对由面向用户的传感器415进行的对应图像捕获的曝光时间425是30ms。参数405还包括针对增益430的图像捕获设置。根据表400，当针对由面向环境的传感器410进行的图像捕获的增益430是2时，针对由面向用户的传感器415进行的对应图像捕获的增益430是4。

表400中的值可以是使用外部传感器校准过程来确定的。在静态校准过程期间，一个或多个面向环境的传感器410和一个或多个面向用户的传感器415都可以被聚焦在具有均匀光照的相应的预定校准图案上。自动曝光(AE)控制收敛和/或自动增益控制(AGC)收敛可以被用以自动地确定针对面向环境的传感器410和面向用户的传感器415的曝光时间425和/或增益430，其示例在表400中。可以根据由面向环境的传感器410捕获的一个或多个图像来计算针对面向环境的传感器410的平均像素亮度420。可以根据由面向用户的传感器415捕获的一个或多个图像来计算针对面向用户的传感器415的平均像素亮度420。

可以使用外部传感器校准过程来确定对应于面向环境的传感器410的图像捕获设置值与对应于面向用户的传感器415的图像捕获设置值之间的映射因子。可以使用针对面向环境的传感器410的参数405的相应值与针对面向用户的传感器415的参数405的相应值的比率来计算针对参数405的映射因子。在一些示例中，映射因子可以是比率的乘积。

在示出性示例中，针对被组合的曝光和增益参数的映射因子可以被计算为：ratio

图5是示出基于与显示缓冲器505相关联的信息来生成用于面向用户的传感器540的图像捕获设置的示例扩展现实(XR)过程500的框图。图5的XR系统包括显示缓冲器505。显示缓冲器505可以是显示缓冲器260的示例。显示缓冲器505存储显示图像数据，诸如显示图像数据265。图5的XR系统包括预处理器510。预处理器510可以从显示缓冲器505接收显示图像数据，并且可以计算来自显示缓冲器505的显示图像数据的感兴趣区域(ROI)515。预处理器510可以使用对象检测引擎以计算ROI 515，例如通过计算ROI 515以包括由对象检测引擎检测到的一个或多个对象。预处理器510可以使用显著性映射引擎以计算ROI 515，例如通过计算ROI 515以包括在如由显著性映射引擎生成的对应显著性图中具有高显著性的一个或多个区域。在一些示例中，预处理器510可以计算ROI 515以包括显示图像数据的中心。在一些示例中，预处理器510可以计算ROI 515以包括显示图像数据的中心区域的至少一部分。在一些示例中，预处理器510可以是图像捕获设置引擎(诸如图像捕获设置引擎280和/或图像捕获设置引擎320)的一部分。在图5内，在对应于预处理器510的框中示出了表示显示图像数据的圆角矩形的中心的示例ROI 515。

对象检测引擎可以包括特征检测算法、特征提取算法、特征辨识算法、特征跟踪算法、对象检测算法、对象辨识算法、对象跟踪算法、面部检测算法、面部辨识算法、面部跟踪算法、人检测算法、人辨识算法、人跟踪算法、车辆检测算法、车辆辨识算法、车辆跟踪算法、分类器或其组合。对象检测引擎可以包括一个或多个人工智能(AI)算法和/或被训练的机器学习(ML)模型。例如，对象检测引擎可以包括一个或多个神经网络(NN)、一个或多个卷积神经网络(CNN)、一个或多个被训练的时间延迟神经网络(TDNN)、一个或多个深度网络、一个或多个自动编码器、一个或多个深度信念网(DBN)、一个或多个递归神经网络(RNN)、一个或多个生成对抗网络(GAN)、一个或多个其它类型的神经网络、一个或多个被训练的支持向量机(SVM)、一个或多个被训练的随机森林(RF)或其组合。

显著性映射引擎可以包括静态显著性算法、运动显著性算法、对象显著性算法、基于机器学习的显著性或其组合。显著性映射引擎可以包括一个或多个人工智能(AI)算法和/或被训练的机器学习(ML)模型。例如，显著性映射引擎可以包括一个或多个神经网络(NN)、一个或多个卷积神经网络(CNN)、一个或多个被训练的时间延迟神经网络(TDNN)、一个或多个深度网络、一个或多个自动编码器、一个或多个深度信念网(DBN)、一个或多个递归神经网络(RNN)、一个或多个生成对抗网络(GAN)、一个或多个其它类型的神经网络、一个或多个被训练的支持向量机(SVM)、一个或多个被训练的随机森林(RF)或其组合。

图5的XR系统包括权重表520。权重表520是将不同的权重应用于来自显示缓冲器505的显示图像数据的不同的像素的二维表。在一些示例中，权重表520包括沿着X轴(例如，在水平方向上)的行和沿着Y轴(例如，在垂直方向上)的列。在行和列的每个交叉点处，权重表520可以包括权重值。在一些实现方式中，权重表520具有与和显示图像数据相关联的图像相比的相同分辨率或大小。例如，权重表520的X轴可以具有与图像的X轴相比的相同维度或大小，并且权重表520的Y轴可以具有与图像的Y轴相比的相同维度或大小。在一些实现方式中，权重表520具有不同于与显示图像数据相关联的图像的分辨率或大小。例如，与图像相比，权重表520可以具有较小的分辨率。在这样的示例中，权重表520可以被缩放(例如，基于曝光数据和/或图像大小)，以便缩放权重表520以具有与图像相比的相同大小。在一些示例中，权重表520可以向图像的对应于ROI 515的某些区域提供较多的重要性(例如，通过应用或包括较高的权重)。例如，权重表520可以包括其最接近权重表520的中心的最高权重和其最远离权重表520的中心的最低权重，其中最高权重和最低权重之间逐渐过渡。在一个示出性示例中，权重表520可以是使用高斯分布来表示的，其中，权重表520的中心具有较高的权重。在这样的示例中，图像的中心将相比图像的其它区域而言以较多的重要性被加权。在一些示例中，权重表520使用图5的XR系统的权重应用元素570将权重(例如，作为乘数和/或偏移)应用于来自显示缓冲器505的显示图像数据的像素。权重应用元素570可以例如包括乘法器。在一些示例中，由权重应用元素570对权重表520的应用可以被用于基于ROI 515的校准和/或计量。例如，在一些情况下，可以基于权重表520的权重值，使用图像的特定区域(例如，中心区域)来计算曝光。在一个示例中，图像的区域可以包括图像的在ROI 515内的一部分。在这样的情况下，权重表520将向图像的权重值较高的区域(例如，图像的中心)提供较多的重要性。

图5的XR系统包括计算图像数据的平均亮度527(或其它对像素亮度的度量)的图像分析引擎525。在一些示例中，图像分析引擎525计算来自显示缓冲器的整个显示图像的平均亮度527。在一些示例中，图像分析引擎525计算来自显示缓冲器的显示图像的ROI 515的平均亮度527。在一些示例中，由图像分析引擎525计算的平均亮度527是基于权重表520和/或ROI 515来加权的加权平均。

图5的XR系统包括在亮度与曝光值(例如，曝光时间乘以增益)之间进行映射的亮度-曝光查找表530。在图5中示出了亮度-曝光查找表530的示例550，其具有针对亮度560的列和针对曝光565的列。在亮度-曝光查找表530的示例550中，亮度10映射到曝光1000，亮度50映射到曝光300，亮度100映射到曝光180，亮度200映射到曝光100，并且亮度250映射到曝光80。亮度-曝光查找表530可以在使用之前被预校准。例如，在一些示例中，在黑暗环境220中校准亮度-曝光查找表530，其中，用户205被来自显示来自显示缓冲器505的显示图像数据的显示器270的光275唯一地(或几乎唯一地)照亮。自动曝光(AE)控制收敛和/或自动增益控制(AGC)收敛可以被用以自动地确定针对亮度-曝光查找表530的曝光565的列的曝光时间和/或增益。

图5的XR系统包括图像捕获设置引擎535。图像捕获设置引擎535可以是图像捕获设置引擎280和/或图像捕获设置引擎320的示例。图像捕获设置引擎535通过找到在针对曝光565的列中的与针对亮度560的列中的亮度值匹配的曝光值，来生成图像捕获设置545(其可以例如包括曝光设置)，其中，该亮度值与平均亮度527(或其它对亮度的度量)最接近地匹配。图5的图像捕获设置引擎535将图像捕获设置545应用于面向用户的传感器540。

在一些示例中，图像捕获设置引擎280、图像捕获设置引擎320和/或图像捕获设置引擎535可以包括预处理器510、权重表520、权重应用元素570、图像分析引擎525和/或亮度-曝光查找表530中的至少一项。

图6是示出示例扩展现实(XR)过程600的框图，该过程600通过将基于显示缓冲器635确定的图像捕获设置630与基于一个或多个面向环境的传感器625(在图6中示出为组合645)确定的图像捕获设置620混合，来生成用于面向用户的传感器650的被组合图像捕获设置640。

例如，图6的XR系统可以使用关于图2A、3B或5中的至少一个描述的过程中的一个或多个过程，基于显示缓冲器635，来确定图像捕获设置630。基于显示缓冲器635的图像捕获设置630可以包括曝光设置632。图6的XR系统可以使用关于图2A或3B中的至少一个图和/或图4的表400描述的过程中的一个或多个过程，基于面向环境的传感器625，来确定图像捕获设置620。基于面向环境的传感器625的图像捕获设置620可以包括曝光设置622。

图6的XR系统例如基于来自面向环境的传感器(例如，面向环境的传感器230)和/或来自一个或多个环境光传感器(ALS)的图像数据(例如，图像数据235)，来确定环境(例如，环境220)的环境亮度605。例如，ALS可以被用以检测环境光并且被用以基于所检测到的环境光来控制显示器明亮度和/或曝光(例如，当环境光小于光门限时增加曝光，并且当环境光大于光门限时减少曝光)。在一个示出性示例中，光门限可以包括为50的照度值(例如，以lux单位)(例如，50lux)，但是可以包括任何其它合适的值(例如，49lux、40lux、30lux、20lux等)。环境亮度605可以是对亮度或像素亮度的度量，诸如平均亮度、平均明亮度、平均亮度、其任何组合和/或其它对亮度的度量。环境亮度605可以是对亮度或像素亮度的度量，诸如加权平均亮度、加权平均明亮度、加权平均亮度、其任何组合和/或其它对亮度的度量。

图6的XR系统包括混合权重查找表610。混合权重查找表610的示例660在图6中示出，并且包括针对亮度670的列和针对权重675的列。举例来说，在图6中示出的混合权重查找表610的示例660中，高(明亮)亮度对应于权重1，中(中间)亮度对应于权重0.7，低亮度对应于权重0.5，并且极低(暗)亮度对应于权重0.2。

图6的XR系统包括混合器680。混合器680例如通过根据来自混合权重查找表610的混合权重来混合图像捕获设置630(其是基于显示缓冲器635的)和图像捕获设置620(其是基于面向环境的传感器625的)，来生成被组合图像捕获设置640(其可以包括例如曝光设置642)。图6的XR系统通过选择针对权重675的列中与针对亮度670的列中的与环境亮度605最接近地匹配的亮度值匹配的权重值，从混合权重查找表610中选择混合权重。图5的图像捕获设置引擎535将被组合图像捕获设置640应用于面向用户的传感器650。

图7A是示出被用作扩展现实(XR)系统200的头戴式显示器(HMD)710的透视图700。HMD 710可以是例如增强现实(AR)耳机、虚拟现实(VR)耳机、混合现实(MR)耳机、扩展现实(XR)耳机或其某种组合。HMD 710可以是XR系统200的示例。HMD 710可以执行XR过程300、XR过程350、XR过程500、XR过程600和/或过程900。HMD 710包括沿着HMD 710的前部的第一相机730A和第二相机730B。第一相机730A和第二相机730B可以是XR系统200的面向环境的传感器230、面向环境的传感器365、面向环境的传感器410、面向环境的传感器625、操作905的第一相机、操作905的第一图像传感器或其组合的示例。HMD 710包括面向HMD 710的用户的眼睛的第三相机730C和第四相机730D，因为用户的眼睛面向显示器740。HMD 710的用户可以是用户205的示例。第三相机730C和第四相机730D可以是XR系统200的面向用户的传感器210、XR系统290的面向用户的传感器210、面向用户的传感器310、面向用户的传感器415、XR过程500的面向用户的传感器540、XR过程600的面向用户的传感器650、操作910和操作915的第二相机、操作910和操作915的第二图像传感器或其组合的示例。在一些示例中，HMD710可以仅具有带有单个图像传感器的单个相机。在一些示例中，除了第一相机730A、第二相机730B、第三相机730C和第四相机730D之外，HMD 710还可以包括一个或多个附加相机。在一些示例中，除了第一相机730A、第二相机730B、第三相机730C和第四相机730D之外，HMD710还可以包括一个或多个附加传感器，其还可以包括XR系统200的其它类型的面向用户的传感器210和/或面向环境的传感器230。在一些示例中，第一相机730A、第二相机730B、第三相机730C和/或第四相机730D可以是图像捕获和处理系统100、图像捕获设备105A、图像处理设备105B或其组合的示例。

HMD 710可以包括对于在用户720的头部的至少一部分上或周围佩戴HMD 710的用户720可见的一个或多个显示器740。HMD 710的一个或多个显示器740可以是XR系统200的一个或多个显示器270的示例。在一些示例中，HMD 710可以包括一个显示器740和两个取景器。两个取景器可以包括针对用户720的左眼的左取景器和针对用户720的右眼的右取景器。左取景器可以被定向成使得用户720的左眼看到显示器的左侧。右取景器可以被定向成使得用户720的左眼看到显示器的右侧。在一些示例中，HMD 710可以包括两个显示器740，包括向用户720的左眼显示内容的左显示器和向用户720的右眼显示内容的右显示器。HMD710的一个或多个显示器740可以是直通显示器或透视显示器。HMD 710的一个或多个显示器740可以显示来自显示缓冲器(诸如显示缓冲器260、显示缓冲器355、显示缓冲器505、显示缓冲器635或其组合)的显示图像。

HMD 710可以包括一个或多个耳机735，其可以用作向HMD 710的用户的一只或多只耳朵输出音频的扬声器和/或耳机。一个耳机735是在图7A和图7B中示出的，但是应当理解，HMD 710可以包括两个耳机，其中针对用户的每只耳朵(左耳和右耳)各有一个耳机。在一些示例中，HMD 710还可以包括一个或多个麦克风(未图示)。一个或多个麦克风可以是XR系统200的面向用户的传感器210和/或面向环境的传感器230的示例，例如取决于麦克风是正面向用户205还是正面向环境220。在一些示例中，由HMD 710通过一个或多个耳机735向用户输出的音频可以包括或基于使用一个或多个麦克风记录的音频。

图7B是示出由用户720佩戴图7A的头戴式显示器(HMD)的透视图750。用户720将HMD 710佩戴在用户720的眼睛上方在用户720的头部上或周围。HMD 710的用户720可以是用户205的示例。HMD 710可以利用第一相机730A和第二相机730B来捕获图像。在一些示例中，HMD 710使用显示器740来朝向用户720的眼睛显示一个或多个显示图像。在一些示例中，显示图像可以包括来自显示缓冲器的显示图像数据，诸如来自显示缓冲器260的显示图像数据265、来自显示缓冲器355的显示图像数据、来自显示缓冲器505的显示图像数据、来自显示缓冲器635的显示图像数据或其组合。显示图像可以基于由第一相机730A和第二相机730B捕获的图像(例如，图像数据235)，例如，所述图像(例如，使用合成器240)被覆盖有虚拟内容(例如，虚拟内容755)。显示图像可以提供对环境220的立体视野，在一些情况下，该立体视野被覆盖有虚拟内容和/或具有其它修改。例如，HMD 710可以向用户720的右眼显示第一显示图像，该第一显示图像是基于由第一相机730A捕获的图像的。HMD 710可以向用户720的左眼显示第二显示图像，该第二显示图像是基于由第二相机730B捕获的图像的。例如，HMD 710可以在被覆盖在由第一相机730A和第二相机730B捕获的图像(例如，图像数据235)上的显示图像中提供覆盖的虚拟内容(例如，虚拟内容255)。第三相机730C和第四相机730D可以在用户查看由显示器740显示的显示图像之前、期间和/或之后捕获眼睛的图像(例如，图像数据215)。这样，来自第三相机730C和/或第四相机730D的传感器数据(例如，图像数据215)可以捕获由用户的眼睛(和/或用户的其它部分)对显示图像数据的反应。HMD710的耳机735被示为在用户720的耳朵中。HMD 710可以通过耳机735和/或通过位于用户720的另一只耳朵(未图示)中的HMD 710的另一耳机(未示出)向用户720输出音频。

图8A是示出包括前置相机并且可以被用作扩展现实(XR)系统200的移动手持机810的前表面的透视图800。移动手持机810可以是XR系统200的示例。移动设备810可以是：例如，蜂窝电话、卫星电话、便携式游戏机、音乐播放器、健康跟踪设备、可穿戴设备、无线通信设备、膝上型计算机、移动设备、在本文中讨论的任何其它类型的计算设备或计算系统或其组合。

移动手持机810的前表面820包括显示器840。移动手持机810的前表面820包括第一相机830A和第二相机830B。第一相机830A和第二相机830B可以是XR系统200的面向用户的传感器210、XR系统290的面向用户的传感器210、面向用户的传感器310、面向用户的传感器415、XR过程500的面向用户的传感器540、XR过程600的面向用户的传感器650、操作910和915的第二相机、操作910和915的第二图像传感器或其组合的示例。第一相机830A和第二相机830B可以面向用户，包括用户的眼睛，而内容(例如，被覆盖在环境上的虚拟内容)被显示在显示器840上。移动手持机810的用户可以是用户205的示例。显示器840可以是XR系统200的显示器270的示例。

第一相机830A和第二相机830B被示出在移动手持机810的前表面820上的显示屏840周围的边框中。在一些示例中，第一相机830A和第二相机830B可以被定位在从移动手持机810的前表面820上的显示器840切出的凹口或切口中。在一些示例中，第一相机830A和第二相机830B可以被定位在显示器840与移动手持机810的其余部分之间的显示器下相机，使得光在到达第一相机830A和第二相机830B之前穿过显示器840的一部分。透视图800的第一相机830A和第二相机830B是前置相机。第一相机830A和第二相机830B面向垂直于移动手持机810的前表面820的平面表面的方向。第一相机830A和第二相机830B可以是移动手持机810的一个或多个相机中的两个相机。第一相机830A和第二相机830B可以分别是传感器805A和传感器805B。在一些示例中，移动手持机810的前表面820可以仅具有单个相机。

在一些示例中，除了第一相机830A和第二相机830B之外，移动手持机810的前表面820还可以包括一个或多个附加相机。一个或多个附加相机还可以是XR系统200的面向用户的传感器210、XR系统290的面向用户的传感器210、面向用户的传感器310、面向用户的传感器415、XR过程500的面向用户的传感器540、XR过程600的面向用户的传感器650、操作910和915的第二相机、操作910和915的第二图像传感器或其组合的示例。在一些示例中，除了第一相机830A和第二相机830B之外，移动手持机810的前表面820还可以包括一个或多个附加传感器。一个或多个附加传感器还可以是XR系统200的面向用户的传感器210、XR系统290的面向用户的传感器210、面向用户的传感器310、面向用户的传感器415、XR过程500的面向用户的传感器540、XR过程600的面向用户的传感器650、操作910和915的第二相机、操作910和915的第二图像传感器或其组合的示例。在一些情况下，移动手持机810的前表面820包括一个以上显示器840。移动手持机810的前表面820的一个或多个显示器840可以是XR系统200的显示器270的示例。例如，一个或多个显示器840可以包括一个或多个触摸屏显示器。移动手持机810的一个或多个显示器840可以显示来自显示缓冲器的显示图像数据，诸如来自显示缓冲器260的显示图像数据265、来自显示缓冲器355的显示图像数据、来自显示缓冲器505的显示图像数据、来自显示缓冲器635的显示图像数据或其组合。

移动手持机810可以包括一个或多个扬声器835A和/或其它音频输出设备(例如，耳机或头戴式耳机或其连接器)，其可以将音频输出给移动手持机810的用户的一个或多个耳朵。在图8A中示出一个扬声器835A，但是应理解，移动手持机810可以包括一个以上扬声器和/或其它音频设备。在一些示例中，移动手持机810还可以包括一个或多个麦克风(未图示)。一个或多个麦克风可以是XR系统200的面向用户的传感器210和/或面向环境的传感器230的示例。在一些示例中，移动手持机810可以包括沿着和/或邻近移动手持机810的前表面820的一个或多个麦克风，其中，这些麦克风是XR系统200的面向用户的传感器210的示例，例如取决于麦克风是正面向用户205还是正面向环境220。在一些示例中，由移动手持机810通过一个或多个扬声器835A和/或其它音频输出设备向用户输出的音频可以包括或基于使用一个或多个麦克风记录的音频。

图8B是示出包括后置相机并且可以被用作扩展现实(XR)系统200的移动手持机的后表面860的透视图850。移动手持机810包括在移动手持机810的后表面860上的第三相机830C和第四相机830D。透视图850的第三相机830C和第四相机830D是后向的。第三相机830C和第四相机830D可以是XR系统200的面向环境的传感器230、面向环境的传感器365、面向环境的传感器410、面向环境的传感器625、操作905的第一相机、操作905的第一图像传感器或其组合的示例。第三相机830C和第四相机830D面向垂直于移动手持机810的后表面860的平面表面的方向。

第三相机830C和第四相机830D可以是移动手持机810的一或多个相机中的两个相机。在一些示例中，移动手持机810的后表面860可以仅具有单个相机。在一些示例中，除了第三相机830C和第四相机830D之外，移动手持机810的后表面860还可以包括一个或多个附加相机。一个或多个附加相机还可以是XR系统200的面向环境的传感器230、面向环境的传感器365、面向环境的传感器410、面向环境的传感器625、操作905的第一相机、操作905的第一图像传感器或其组合的示例。在一些示例中，除了第三相机830C和第四相机830D之外，移动手持机810的后表面860还可以包括一个或多个附加传感器。一个或多个附加传感器还可以是XR系统200的面向环境的传感器230、面向环境的传感器365、面向环境的传感器410、面向环境的传感器625、操作905的第一相机、操作905的第一图像传感器或其组合的示例。在一些示例中，第一相机830A、第二相机830B、第三相机830C和/或第四相机830D可以是图像捕获和处理系统100、图像捕获设备105A、图像处理设备105B或其组合的示例。

移动手持机810可以包括一个或多个扬声器835B和/或其它音频输出设备(例如，耳机或头戴式耳机或其连接器)，其可以将音频输出给移动手持机810的用户的一个或多个耳朵。在图8B中示出了一个扬声器835B，但应理解，移动手持机810可以包括一个以上扬声器和/或其它音频设备。在一些示例中，移动手持机810还可以包括一个或多个麦克风(未图示)。一个或多个麦克风可以是XR系统200的面向用户的传感器210和/或面向环境的传感器230的示例，例如取决于麦克风是正面向用户205还是正面向环境220。在一些示例中，移动手持机810可以包括沿着和/或邻近移动手持机810的后表面860的一个或多个麦克风，其中，这些麦克风是XR系统200的面向环境的传感器230的示例。在一些示例中，由移动手持机810通过一个或多个扬声器835B和/或其它音频输出设备向用户输出的音频可以包括或基于使用一个或多个麦克风记录的音频。

移动手持机810可以使用前表面820上的显示器840作为直通显示器。例如，显示器840可以显示显示图像数据，诸如来自显示缓冲器260的显示图像数据265。显示图像数据可以基于由第三相机830C和/或第四相机830D捕获的图像(例如，图像数据235)，例如，所述图像被覆盖有虚拟内容。第一相机830A和/或第二相机830B可以在显示器840上对图像数据的显示之前、期间和/或之后捕获用户的眼睛(和/或用户的其它部分)的图像(例如，图像数据215)。这样，来自第一相机830A和/或第二相机830B的传感器数据(例如，图像数据215)可以捕获由用户的眼睛(和/或用户的其它部分)对显示图像数据的反应。

图9是示出用于自动捕获设置配置的过程900的流程图。过程900可以由成像系统执行。在一些示例中，成像系统可以包括例如图像捕获和处理系统100、图像捕获设备105A、图像处理设备105B、图像处理器150、ISP 154、主机处理器152、XR系统200、XR系统290、图像捕获设置引擎280、面向用户的传感器210、面向环境的传感器230、显示缓冲器260、执行XR过程300的XR系统、执行XR过程350的XR系统、图像捕获设置引擎320、面向用户的传感器310、面向环境的传感器365、显示缓冲器355、面向用户的传感器415、面向环境的传感器410、执行XR过程500的XR系统、面向用户的传感器540、显示缓冲器505、图像分析引擎525、执行XR过程600的XR系统、面向用户的传感器650、面向环境的传感器625、显示缓冲器635、HMD 710、移动手持机810、计算系统1000、处理器1010或其组合。

在操作905处，成像系统可以从具有第一图像传感器的第一相机接收捕获信息。在一些方面中，捕获信息与由第一图像传感器对第一图像数据的捕获相关联。在一些情况下，第一图像传感器面向第一方向。

在操作910处，成像系统可以接收被配置为使用显示器来显示的显示数据。在一些示例中，成像系统包括显示器。在一些情况下，显示器被配置为将对应于显示数据的光朝向第二方向引导。在一些方面中，显示器至少部分地透射从第一方向传递到第二方向的光。在一些示例中，成像系统可以在使用显示器来显示显示数据之前从存储显示数据的显示缓冲器接收显示数据。在一些方面中，显示数据包括由第一图像传感器捕获的图像内容。在一些示例中，显示数据包括虚拟内容。在一些情况下，成像系统可以生成与由第一图像传感器捕获的内容不同的虚拟内容。

在操作915处，成像系统可以基于捕获信息和显示数据来确定用于包括第二图像传感器的第二相机的图像捕获设置。在一些实现方式中，成像系统包括第一图像传感器和第二图像传感器。第二图像传感器面向第二方向，在一些情况下，第二方向可以不同于第一图像传感器面向的第一方向。例如，在一些情况下，第一方向面向环境，并且第二方向面向用户的至少一部分。在一些情况下，第一方向与第二方向平行并且相反。

在一些情况下，捕获信息包括第一图像数据。在一些方面中，成像系统可以确定对第一图像数据的至少一部分的亮度的度量。在一些示例中，为了基于捕获信息和显示数据来确定用于第二相机的图像捕获设置，成像系统可以基于对亮度的度量来确定用于第二相机的图像捕获设置。

在一些情况下，捕获信息包括第二图像捕获设置。在一些方面中，第一图像传感器被配置为根据第二图像捕获设置来捕获第一图像数据。在一些示例中，第二图像捕获设置包括曝光设置。在这样的示例中，第一图像传感器可以被配置为根据曝光设置利用第一相机的曝光参数来捕获第一图像数据。在一些方面中，为了基于捕获信息和显示数据来确定用于第二相机的图像捕获设置，成像系统可以基于第二图像捕获设置和查找表来确定用于第二相机的图像捕获设置。在一些情况下，查找表映射在第一相机与第二相机之间的相应的图像捕获设置。在一些方面中，图像捕获设置在查找表中对应于第二图像捕获设置。

在一些方面中，成像系统可以确定对显示数据的至少一部分的亮度的度量。在一些情况下，为了基于捕获信息和显示数据来确定用于第二相机的图像捕获设置，成像系统可以基于对亮度的度量来确定用于第二相机的图像捕获设置。

在一些示例中，成像系统可以从第二相机接收第二图像捕获信息。在一些情况下，第二图像捕获信息与在由第二图像传感器对第二图像数据的捕获之前由第二图像传感器对第三图像数据的捕获相关联。在一些方面中，为了基于捕获信息和显示数据来确定用于第二相机的图像捕获设置，成像系统可以基于捕获信息和第二图像捕获信息以及显示数据来确定用于第二相机的图像捕获设置。在一些示例中，第二图像捕获信息包括第三图像数据。在一些方面中，成像系统可以确定对第三图像数据的至少一部分的亮度的度量。在一些情况下，为了基于捕获信息和第二图像捕获信息以及显示数据来确定用于第二相机的图像捕获设置，成像系统可以基于对亮度的度量来确定用于第二相机的图像捕获设置。在一些方面中，第二图像捕获信息包括第二图像捕获设置。在一些情况下，第二图像传感器根据第二图像捕获设置来捕获第三图像数据。

在一些方面中，成像系统可以基于捕获信息和显示数据来确定用户的一部分的照明水平。在一些情况下，为了基于捕获信息来确定用于第二相机的图像捕获设置，成像系统可以基于用户的该部分的照明水平来确定用于第二图像传感器的图像捕获设置。在一些示例中，为了确定用户的该部分的照明水平，成像系统可以基于捕获信息和第二图像捕获信息来确定用户的该部分的照明水平，该第二图像捕获信息与在由第二图像传感器对第二图像数据的捕获之前由第二图像传感器对第三图像数据的捕获相关联。

在操作920处，成像系统可以使第二图像传感器根据图像捕获设置来捕获第二图像数据。在一些情况下，第一图像数据包括对环境的至少一部分的描绘，并且第二图像数据包括对用户的至少一部分的描绘。在一些示例中，第二图像数据包括对用户的一只或多只眼睛的描绘。图像捕获设置可以包括任何合适的设置，诸如曝光设置、白平衡设置。在一些情况下，白平衡设置可以基于与捕获信息相关联的色彩信息(例如，色偏、色温等)。例如，白平衡设置可以基于入射光的色偏或色温以及由显示器呈现的虚拟内容的色彩。

如上所述，在一些示例中，图像捕获设置包括曝光设置。在一些情况下，为了使第二图像传感器根据图像捕获设置来捕获第二图像数据，成像系统可以根据曝光设置来设置与第二相机相关联的曝光参数。

在一些情况下，成像系统可以接收由第二图像传感器捕获的第二图像数据。在一些示例中，成像系统可以输出第二图像数据。在一些示例中，成像系统可以基于第二图像数据来确定用户的眼睛的位置。

在一些示例中，在本文中描述的过程(例如，图1的过程、由图2A的XR系统200执行的过程、由图2B的XR系统290执行的过程、图3A的XR过程300、图3B的XR过程350、图5的XR过程500、图6的XR过程600、图9的过程900、由图10的计算系统1000执行的过程和/或在本文中描述的其它过程)可以由计算设备或装置执行。在一些示例中，在本文中描述的过程可以由图像捕获和处理系统100、图像捕获设备105A、图像处理设备105B、图像处理器150、ISP154、主机处理器152、XR系统200、XR系统290、HMD 710、移动手持机810、计算系统1000、处理器1010或其组合来执行。

计算设备可以包括任何合适的设备，诸如移动设备(例如，移动电话)、桌面计算设备、平板计算设备、可穿戴设备(例如，VR耳机、AR耳机、AR眼镜、联网手表或智能手表或其它可穿戴设备)、服务器计算机、自动驾驶汽车或自动驾驶汽车的计算设备、机器人设备、电视机和/或具有用以执行在本文中描述的过程(包括图1、2、8、9和/或10的过程)的资源能力的任何其它计算设备。在一些情况下，计算设备或装置可以包括各种组件，诸如一个或多个输入设备、一个或多个输出设备、一个或多个处理器、一个或多个微处理器、一个或多个微型计算机、一个或多个相机、一个或多个传感器、和/或被配置为执行在本文中描述的过程的步骤的其它组件。在一些示例中，计算设备可以包括显示器、被配置为传送和/或接收数据的网络接口、其任何组合、和/或其它组件。网络接口可以被配置为传送和/或接收基于互联网协议(IP)的数据或其它类型的数据。

计算设备的组件可以被实现在电路系统中。例如，组件可以包括电子电路或其它电子硬件，和/或可以是使用电子电路或其它电子硬件来实现的，所述电子电路或其它电子硬件可以包括一个或多个可编程电子电路(例如，微处理器、图形处理单元(GPU)、数字信号处理器(DSP)、中央处理单元(CPU)、和/或其它合适的电子电路)，和/或组件可以包括用于执行在本文描述的各种操作的计算机软件、固件或其组合，和/或可以是使用用于执行在本文描述的各种操作的计算机软件、固件或其组合来实现的。

在本文中描述的过程被示为逻辑流程图、框图或概念图，其操作表示可以用硬件、计算机指令或其组合来实现的一系列操作。在计算机指令的背景下，操作表示被存储在一个或多个计算机可读存储介质上的计算机可执行指令，所述计算机可执行指令在由一个或多个处理器执行时执行所记载的操作。通常，计算机可执行指令包括执行特定功能或实现特定数据类型的例程、程序、对象、组件、数据结构等等。操作按其被描述的顺序不旨在被解释为限制，并且任何数量个所描述的操作可以按任何顺序和/或并行地被合并以实现所述过程。

此外，在本文中描述的过程可以是在被配置有可执行指令的一个或多个计算机系统的控制下执行的，并且可以被实现为在一个或多个处理器上共同地执行的代码(例如，可执行指令、一个或多个计算机程序、或一个或多个应用)，是通过硬件来实现的，或其组合。如上文所提到，代码可以例如按包括可由一个或多个处理器执行的多个指令的计算机程序的形式被存储在计算机可读或机器可读存储介质上。计算机可读或机器可读存储介质可以是非暂时性的。

图10是示出用于实现本技术的某些方面的系统的示例的图。具体地，图10示出了计算系统1000的示例，其可以是例如构成内部计算系统、远程计算系统、相机或其任何组件的任何计算设备，其中系统的各组件使用连接1005彼此相通信。连接1005可以是使用总线的物理连接、或者到处理器1010中的直接连接(诸如在芯片组架构中)。连接1005还可以是虚拟连接、联网连接、或逻辑连接。

在一些实施例中，计算系统1000是分布式系统，其中，在本公开内容中描述的功能可以被分布在数据中心、多个数据中心、对等体网络等内。在一些实施例中，所描述的系统组件中的一个或多个表示许多这样的组件，每个这样的组件执行针对其描述该组件的功能中的一部分或全部。在一些实施例中，组件可以是物理设备或虚拟设备。

示例系统1000包括：至少一个处理单元(CPU或处理器)1010、以及将包括系统存储器1015(诸如，只读存储器(ROM)1020和随机存取存储器(RAM)1025)的各种系统组件耦合到处理器1010的连接1005。计算系统1000可以包括高速存储器的高速缓存1012，高速缓存1012与处理器1010直接地连接、紧密接近处理器1010或被集成为处理器1010的一部分。

处理器1010可以包括任何通用处理器以及被配置为控制处理器1010的硬件服务或软件服务(诸如被存储在存储设备1030中的服务1032、1034和1036)、以及在其中软件指令被并入实际处理器设计中的专用处理器。处理器1010可以基本上是完全独立的计算系统，包含多个核或处理器、总线、存储器控制器、高速缓存等。多核处理器可以是对称的或者非对称的。

为了实现用户交互，计算系统1000包括输入设备1045，其可以表示任何数量的输入机构，诸如用于语音的麦克风、用于手势或图形输入的触敏屏幕、键盘、鼠标、运动输入、语音等。计算系统1000还可以包括输出设备1035，输出设备1035可以是多个输出机构中的一个或多个。在一些实例中，多模态系统可以使用户能够提供多种类型的输入/输出，以便与计算系统1000进行通信。计算系统1000可以包括通信接口1040，通信接口640通常可以管控并且管理用户输入和系统输出。通信接口可以使用有线和/或无线收发机执行或促进对有线通信或无线通信的接收和/或发送，所述有线和/或无线收发机包括使用音频插孔/插头、麦克风插孔/插头、通用串行总线(USB)端口/插头、

存储设备1030可以是非易失性和/或非暂时性和/或计算机可读存储器设备，并且可以是硬盘、或可以存储由计算机可存取的数据的其它类型的计算机可读介质，诸如磁带盒、闪存卡、固态存储设备、数字多功能光盘、盒式磁带、软盘、软磁盘、硬盘、磁带、磁条/条带、任何其它磁存储介质、闪存、忆阻器存储器、任何其它固态存储器、压缩光盘只读存储器(CD-ROM)光盘、可重写压缩光盘(CD)光盘、数字视频光盘(DVD)光盘、蓝光光盘(BDD)光盘、全息光盘、另一光学介质、安全数字(SD)卡、微安全数字(微SD)卡、

存储设备1030可以包括软件服务、服务器、服务等等，当定义这种软件的代码由处理器1010执行时，其使系统执行功能。在一些实施例中，执行特定功能的硬件服务可以包括被存储在计算机可读介质中的软件组件，其与必要的硬件组件(诸如处理器1010、连接1005、输出设备1035等)连接以执行所述功能。

如在本文中使用的，术语“计算机可读介质”包括但不限于便携式或非便携式存储设备、光学存储设备以及能够存储、含有或携载指令和/或数据的各种其它介质。计算机可读介质可以包括可以在其中存储数据的非暂时性介质，该非暂时性介质不包括无线地或在有线连接上传播的载波和/或暂时性电子信号。非暂时性介质的示例可以包括但不限于：磁盘或磁带、光盘存储介质(诸如，压缩光盘(CD)或数字多用途光盘(DVD))、闪存、存储器、或存储设备。计算机可读介质可以具有在其上存储的代码和/或机器可执行指令(其可以表示过程、函数、子程序、程序、例程、子例程、模块、软件包、类、或者指令、数据结构或程序语句的任何组合)。通过传递和/或接收信息、数据、参量、参数、或存储器内容，代码段可以被耦合到另一代码段或硬件电路。信息、自变量、参数、数据等可以是使用包括存储器共享、消息传递、令牌传递、网络传输等的任何合适的方式来传递、转发或发送的。

在一些实施例中，计算机可读存储设备、介质和存储器可以包括电缆或包含比特流的无线信号等等。然而，当提及时，非暂时性计算机可读存储介质明确地排除诸如能量、载波信号、电磁波和信号本身的介质。

在上述描述中提供了特定的细节，以提供对在本文中提供的实施例和示例的透彻理解。然而，一名本领域普通技术人员将理解，在没有这些具体细节的情况下也可以实行实施例。为了解释清楚，在一些情况下，本申请技术可以被呈现为包括包含如下项的功能块的各个功能块：设备、设备组件、以软件实施的方法中的步骤或例程、或者硬件和软件的组合。除附图中所示和/或在本文中描述的组件之外，还可以使用附加组件。例如，电路、系统、网络、过程和其它组件可以以框图形式被示为组件，以便不会在不必要的细节上模糊这些实施例。在其它情况下，公知的电路、过程、算法、结构和技术可以被示为不具有不必要的细节，以便避免模糊这些实施例。

上文可以将各个实施例描述为过程或方法，该过程或方法被描绘为流程图、流程示意图、数据流程图、结构图或框图。尽管流程图可以将操作描述成了顺序过程，但操作中的很多操作可以是并行地或同时地执行的。另外地，可以对这些操作的次序进行重新布置。当过程的操作被完成时，过程被终止，但可以具有在附图中不包括的附加步骤。过程可以对应于方法、函数、过程、子例程、子程序等。当过程对应于函数时，该过程的终止可以对应于函数返回到调用函数或主函数。

根据上述示例的过程和方法可以是使用被存储或以其它方式可从计算机可读介质获取的计算机可执行指令来实现的。例如，这样的指令可以包括引起或以其它方式配置通用计算机、专用计算机或处理设备以执行特定功能或功能组的指令和数据。可以在网络上可访问使用的计算机资源的部分。计算机可执行指令可以是例如二进制文件、中间格式指令，诸如汇编语言、固件、源代码等。可以被用于存储指令、被使用的信息、和/或在根据所描述的示例的方法期间创建的信息的计算机可读介质的示例包括磁盘或光盘、闪存、提供有非易失性存储器的USB设备、联网存储设备等。

实现根据这些公开内容的过程和方法的设备可以包括硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合，以及可以采用多种形状因子中的任何形状因子。当被实现在软件、固件、中间件或微代码中时，用于执行必要任务的程序代码或代码段(例如，计算机程序产品)可以被存储在计算机可读或机器可读介质中。处理器可以执行必要任务。形状因子的典型示例包括膝上型计算机、智能电话、移动电话、平板设备或其它小型形状因子的个人计算机、个人数字助理、机架式设备、独立设备等。在本文中描述的功能还可以被实现在外围设备或附加卡中。通过进一步的示例，这样的功能也可以是在电路板上在不同的芯片或在单个设备中执行的不同的过程当中实现的。

指令、用于传送这样的指令的介质、用于执行它们的计算资源、以及用于支持这样的计算资源的其它结构是用于提供在本公开内容中描述的功能的示例单元。

在前面的描述中，参考本申请的特定实施例描述了本申请的各方面，但是本领域技术人员应当认识到，本申请并不受此限制。因此，尽管在本文中已经详细描述了本申请的示出性实施例，但是应当理解，这些发明构思可以用其它方式不同地被实施并被采用，并且所附权利要求旨在被解释为包括这样的变型，除了现有技术所限制的以外。上述申请的各种特征和方面可以单独地或联合地被使用。此外，在不脱离本说明书的更广泛的精神和范围的情况下，各实施例可以在除了在本文中描述的环境和应用之外的任何数量的环境和应用中使用。因此，说明书和附图应被认为是示出性的而不是限制性的。为了说明起见，以特定顺序描述了方法。应当认识到的是，在替代实施例中，可以以与所描述的次序不同的次序来执行所述方法。

一名普通技术人员将意识到：可以将在本文使用的小于(“<”)和大于(“>”)符号或术语分别替换为小于或等于(“≤”)和大于或等于(“≥”)符号，而不脱离本说明书的范围。

在将组件描述为“被配置为”执行特定操作的情况下，可以例如通过以下方式来达成这种配置：设计电子电路或其它硬件以执行操作，对可编程电子电路(例如，微处理器或其它适合的电子电路)进行编程以执行操作，或其任何组合。

短语“被耦合到”指直接地或间接地物理地被连接到另一组件的任何组件、和/或直接地或间接地与另一组件相通信的任何组件(例如，在有线或无线连接和/或其它合适的通信接口上被连接到另一组件)。

记载集合“中的至少一项”和/或集合中的“一项或多项”的权利要求语言或其它语言指示该集合中的一个成员或该集合中的多个成员(以任何组合)满足权利要求。例如，记载“A和B中的至少一项”的权利要求语言意指A、B、或A和B。在另一示例中，记载“A、B和C中的至少一项”的权利要求语言意指A、B、C、或A和B、或A和C、或B和C、或A和B和C。语言集合“中的至少一项”和/或集合中的“一项或多项”不将集合限于在集合中列出的项目。例如，记载“A和B中的至少一项”的权利要求语言意指A、B、或A和B，并且可以另外地包括在A和B的集合中没有列出的项。

结合在本文中公开的实施例描述的各种示出性的逻辑框、模块、电路和算法步骤可以被实现成电子硬件、计算机软件、固件或者其组合。为了清楚地示出硬件和软件的这种可互换性，已经在其功能性方面大致描述了各种示出性组件、框、模块、电路和步骤。将这种功能性实现为硬件还是软件取决于具体的应用和对整个系统施加的设计约束。技术人员可以针对每个特定应用以不同的方式来实现所描述的功能，但是这样的实现决策不应当被解释为导致脱离本申请的范围。

在本文中描述的技术还可以被实现在电子硬件、计算机软件、固件、或其任何组合中。这样的技术可以被实现在多种设备中的任何设备中，多种设备诸如通用计算机、无线通信设备手持设备、或具有多种用途的集成电路设备，多种用途包括在无线通信设备手持设备和其它设备中的应用。被描述为模块或组件的任何特征可以一起被实现在集成逻辑设备中，或者分开被实现为分立的但可互操作的逻辑设备。如果在软件中实现，则所述技术可以至少部分地由计算机可读数据存储介质来实现，计算机可读数据存储介质包括程序代码，程序代码包括在被执行时执行上述方法中的一种或多种方法的指令。计算机可读数据存储介质可以形成计算机程序产品的一部分，该计算机程序产品可以包括封装材料。计算机可读介质可以包括存储器或数据存储介质，诸如，随机存取存储器(RAM)(诸如同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、FLASH存储器、磁或光数据存储介质等。另外地或替代地，技术可以是至少部分地由计算机可读通信介质来实现的，该计算机可读通信介质携带或传送指令或数据结构形式的且可以由计算机存取、读取和/或执行的程序代码，诸如传播的信号或波。

程序代码可以由处理器执行，该处理器可以包括一个或多个处理器，诸如，一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或者其它等效的集成逻辑电路或分立逻辑电路。这种处理器可以被配置为执行在本公开内容中描述的任何技术。通用处理器可以是微处理器，但是，该处理器也可以是任何常规处理器、控制器、微控制器或状态机。处理器还可以被实现为计算设备的组合，例如，DSP与微处理器的组合、多个微处理器、一个或多个微处理器结合DSP核、或者任何其它这样的配置。因此，如在本文中使用的术语“处理器”可以指前述结构中的任何结构、前述结构的任何组合、或适合于实现在本文中描述的技术的任何其它结构或装置。此外，在一些方面中，在本文中描述的功能可以在被配置用于编码以及解码的专用软件模块和/或硬件模块内被提供，或者被并入组合式视频编解码器(CODEC)中。

本公开内容的示出性方面包括：

方面1：一种用于自动捕获设置配置的装置，所述装置包括：至少一个存储器；以及被耦合到所述至少一个存储器的一个或多个处理器，所述一个或多个处理器被配置为：从具有第一图像传感器的第一相机接收捕获信息，其中，所述捕获信息与由所述第一图像传感器对第一图像数据的捕获相关联，并且其中，所述第一图像传感器面向第一方向；接收被配置为使用显示器来显示的显示数据；基于所述捕获信息和所述显示数据来确定用于包括第二图像传感器的第二相机的图像捕获设置，其中，所述第二图像传感器面向第二方向；以及使所述第二图像传感器根据所述图像捕获设置来捕获第二图像数据。

方面2：根据方面1所述的装置，其中，所述图像捕获设置包括曝光设置，并且其中，为了使所述第二图像传感器根据所述图像捕获设置捕获所述第二图像数据，所述一个或多个处理器被配置为根据所述曝光设置来设置与所述第二相机相关联的曝光参数。

方面3：根据方面1至2中任一项所述的装置，其中，所述图像捕获设置包括基于与所述捕获信息相关联的色彩信息的白平衡设置。

方面4：根据方面1至3中任一项所述的装置，其中，所述捕获信息包括所述第一图像数据。

方面5：根据方面4所述的装置，其中，所述一个或多个处理器被配置为：确定对所述第一图像数据的至少一部分的亮度的度量，其中，为了基于所述捕获信息和所述显示数据来确定用于所述第二相机的所述图像捕获设置，所述一个或多个处理器被配置为基于所述对亮度的度量来确定用于所述第二相机的所述图像捕获设置。

方面6：根据方面1至5中任一项所述的装置，其中，所述捕获信息包括第二图像捕获设置，并且其中，所述第一图像传感器被配置为根据所述第二图像捕获设置来捕获所述第一图像数据。

方面7：根据方面1至6中任一项所述的装置，其中，所述第二图像捕获设置包括曝光设置，并且其中，所述第一图像传感器被配置为根据所述曝光设置，利用所述第一相机的曝光参数来捕获所述第一图像数据。

方面8：根据方面6或7中任一项所述的装置，其中，为了基于所述捕获信息和所述显示数据来确定用于所述第二相机的所述图像捕获设置，所述一个或多个处理器被配置为基于所述第二图像捕获设置和查找表来确定用于所述第二相机的所述图像捕获设置，所述查找表映射所述第一相机与所述第二相机之间的相应的图像捕获设置，并且其中，所述图像捕获设置在所述查找表中对应于所述第二图像捕获设置。

方面9：根据方面1至8中任一项所述的装置，其中，为了接收所述显示数据，所述一个或多个处理器被配置为在使用所述显示器来显示所述显示数据之前从存储所述显示数据的显示缓冲器接收所述显示数据。

方面10：根据方面1至9中任一项所述的装置，其中，所述一个或多个处理器被配置为：确定对所述显示数据的至少一部分的亮度的度量，其中，为了基于所述捕获信息和所述显示数据来确定用于所述第二相机的所述图像捕获设置，所述一个或多个处理器被配置为基于所述对亮度的度量来确定用于所述第二相机的所述图像捕获设置。

方面11：根据方面1至10中任一项所述的装置，还包括：显示器，被配置为显示所述显示数据。

方面12：根据方面1到11中任一项所述的装置，其中，所述显示器被配置为将对应于所述显示数据的光朝向所述第二方向引导。

方面13：根据方面1至12中任一项所述的装置，其中，显示数据包括由所述第一图像传感器捕获的图像内容。

方面14：根据方面1至13中任一项所述的装置，其中，所述一个或多个处理器被配置为：生成与由所述第一图像传感器捕获的内容不同的虚拟内容，其中，所述显示数据包括虚拟内容。

方面15：根据方面1到14中任一项所述的装置，其中，所述显示器至少部分地透射从所述第一方向传递到所述第二方向的光。

方面16：根据方面1到15中任一项所述的装置，其中，所述一个或多个处理器被配置为：从所述第二相机接收第二图像捕获信息，其中，所述第二图像捕获信息与在由所述第二图像传感器对所述第二图像数据的捕获之前由所述第二图像传感器对第三图像数据的捕获相关联，并且其中，为了基于所述捕获信息和所述显示数据来确定用于所述第二相机的所述图像捕获设置，所述一个或多个处理器被配置为基于所述捕获信息和所述第二图像捕获信息以及所述显示数据来确定用于所述第二相机的所述图像捕获设置。

方面17：根据方面16所述的装置，其中，所述第二图像捕获信息包括所述第三图像数据。

方面18：根据方面16或17中任一项所述的装置，其中，所述一个或多个处理器被配置为：确定对所述第三图像数据的至少一部分的亮度的度量，其中，为了基于所述捕获信息和所述第二图像捕获信息以及所述显示数据来确定用于所述第二相机的所述图像捕获设置，所述一个或多个处理器被配置为基于所述对亮度的度量来确定用于所述第二相机的所述图像捕获设置。

方面19：根据方面16至18中任一项所述的装置，其中，所述第二图像捕获信息包括第二图像捕获设置，其中，所述第二图像传感器根据所述第二图像捕获设置来捕获所述第三图像数据。

方面20：根据方面1至19中任一项所述的装置，其中，所述一个或多个处理器被配置为：基于所述捕获信息和所述显示数据来确定用户的一部分的照明水平，其中，为了基于所述捕获信息来确定用于所述第二相机的所述图像捕获设置，所述一个或多个处理器被配置为基于所述用户的所述部分的所述照明水平来确定用于所述第二图像传感器的所述图像捕获设置。

方面21：根据方面20所述的装置，其中，为了确定所述用户的所述部分的所述照明水平，所述一个或多个处理器被配置为基于所述捕获信息和第二图像捕获信息来确定所述用户的所述部分的所述照明水平，所述第二图像捕获信息与在由所述第二图像传感器对所述第二图像数据的捕获之前由所述第二图像传感器对第三图像数据的捕获相关联。

方面22：根据方面1至21中任一项所述的装置，其中，所述一个或多个处理器被配置为：接收由所述第二图像传感器捕获的所述第二图像数据；以及输出所述第二图像数据。

方面23：根据方面1至22中任一项所述的装置，其中，所述一个或多个处理器被配置为：接收由所述第二图像传感器捕获的所述第二图像数据；以及基于所述第二图像数据来确定用户的眼睛的位置。

方面24：根据方面1至23中任一项所述的装置，其中，所述第一方向面向环境，并且其中，所述第二方向面向用户的至少一部分。

方面25：根据方面1至24中任一项所述的装置，其中，所述第一方向与所述第二方向平行并且相反。

方面26：根据方面1至25中任一项所述的装置，其中，所述第一图像数据包括对环境的至少一部分的描绘，并且其中，所述第二图像数据包括对用户的至少一部分的描绘。

方面27：根据方面1至26中任一项所述的装置，其中，所述第二图像数据包括对用户的一只或多只眼睛的描绘。

方面28：根据方面1至27中任一项所述的装置，还包括：所述第一图像传感器；以及所述第二图像传感器。

方面29：根据方面1至28中任一项所述的装置，其中，所述装置包括头戴式显示器。

方面30：一种用于自动捕获设置配置的装置，所述装置包括：至少一个存储器；以及被耦合到所述至少一个存储器的一个或多个处理器，所述一个或多个处理器被配置为：从具有第一图像传感器的第一相机接收捕获信息，其中，所述捕获信息与由所述第一图像传感器对第一图像数据的捕获相关联，并且其中，所述第一图像传感器面向第一方向；接收被配置为使用显示器来显示的显示数据；基于所述捕获信息和所述显示数据来确定用于包括第二图像传感器的第二相机的图像捕获设置，其中，所述第二图像传感器面向第二方向；以及使所述第二图像传感器根据所述图像捕获设置来捕获第二图像数据。

方面31：根据方面30所述的装置，其中，所述图像捕获设置包括曝光设置，并且其中，为了使所述第二图像传感器根据所述图像捕获设置来捕获所述第二图像数据，所述一个或多个处理器被配置为根据所述曝光设置来设置与所述第二相机相关联的曝光参数。

方面32：根据方面30至31中任一项所述的装置，其中，所述图像捕获设置包括基于与所述捕获信息相关联的色彩信息的白平衡设置。

方面33：根据方面30至32中任一项所述的装置，其中，所述捕获信息包括所述第一图像数据。

方面34：根据方面33所述的装置，还包括：确定对所述第一图像数据的至少一部分的亮度的度量，其中，基于所述捕获信息和所述显示数据来确定用于所述第二相机的所述图像捕获设置包括基于所述对亮度的度量来确定用于所述第二相机的所述图像捕获设置。

方面35：根据方面30至34中任一项所述的装置，其中，所述捕获信息包括第二图像捕获设置，并且其中，所述第一图像传感器被配置为根据所述第二图像捕获设置来捕获所述第一图像数据。

方面36：根据方面30至35中任一项所述的装置，其中，所述第二图像捕获设置包括曝光设置，并且其中，所述第一图像传感器被配置为根据所述曝光设置，利用所述第一相机的曝光参数来捕获所述第一图像数据。

方面37：根据方面35或36中任一项所述的装置，其中，为了基于所述捕获信息和所述显示数据来确定用于所述第二相机的所述图像捕获设置，所述一个或多个处理器被配置为基于所述第二图像捕获设置和查找表来确定用于所述第二相机的所述图像捕获设置，所述查找表映射所述第一相机与所述第二相机之间的相应的图像捕获设置，并且其中，所述图像捕获设置在所述查找表中对应于所述第二图像捕获设置。

方面38：根据方面30至37中任一项所述的装置，其中，为了接收所述显示数据，所述一个或多个处理器被配置为在使用所述显示器来显示所述显示数据之前从存储所述显示数据的显示缓冲器接收所述显示数据。

方面39：根据方面30至38中任一项所述的装置，其中，所述一个或多个处理器被配置为：确定对所述显示数据的至少一部分的亮度的度量，其中，为了基于所述捕获信息和所述显示数据来确定用于所述第二相机的所述图像捕获设置，所述一个或多个处理器被配置为基于所述对亮度的度量来确定用于所述第二相机的所述图像捕获设置。

方面40：根据方面30至39中任一项所述的装置，还包括：显示器，被配置为显示所述显示数据。

方面41：根据方面30到40中任一项所述的装置，其中，所述显示器被配置为将对应于所述显示数据的光朝向所述第二方向引导。

方面42：根据方面30至41中任一项所述的装置，其中，显示数据包括由所述第一图像传感器捕获的图像内容。

方面43：根据方面30至42中任一项所述的装置，其中，所述一个或多个处理器被配置为：生成与由所述第一图像传感器捕获的内容不同的虚拟内容，其中，所述显示数据包括虚拟内容。

方面44：根据方面30到43中任一项所述的装置，其中，所述显示器至少部分地透射从所述第一方向传递到所述第二方向的光。

方面45：根据方面30到44中任一项所述的装置，其中，所述一个或多个处理器被配置为：从所述第二相机接收第二图像捕获信息，其中，所述第二图像捕获信息与在由所述第二图像传感器对所述第二图像数据的捕获之前由所述第二图像传感器对第三图像数据的捕获相关联，并且其中，为了基于所述捕获信息和所述显示数据来确定用于所述第二相机的所述图像捕获设置，所述一个或多个处理器被配置为基于所述捕获信息和所述第二图像捕获信息以及所述显示数据来确定用于所述第二相机的所述图像捕获设置。

方面46：根据方面45所述的装置，其中，所述第二图像捕获信息包括所述第三图像数据。

方面47：根据方面45或46中任一项所述的装置，其中，所述一个或多个处理器被配置为：确定对所述第三图像数据的至少一部分的亮度的度量，其中，为了基于所述捕获信息和所述第二图像捕获信息以及所述显示数据来确定用于所述第二相机的所述图像捕获设置，所述一个或多个处理器被配置为基于所述对亮度的度量来确定用于所述第二相机的所述图像捕获设置。

方面48：根据方面45至47中任一项所述的装置，其中，所述第二图像捕获信息包括第二图像捕获设置，其中，所述第二图像传感器根据所述第二图像捕获设置来捕获所述第三图像数据。

方面49：根据方面30至48中任一项所述的装置，其中，所述一个或多个处理器被配置为：基于所述捕获信息和所述显示数据来确定用户的一部分的照明水平，其中，为了基于所述捕获信息来确定用于所述第二相机的所述图像捕获设置，所述一个或多个处理器被配置为基于所述用户的所述部分的所述照明水平来确定用于所述第二图像传感器的所述图像捕获设置。

方面50：根据方面49所述的装置，其中，为了确定所述用户的所述部分的所述照明水平，所述一个或多个处理器被配置为基于所述捕获信息和第二图像捕获信息来确定所述用户的所述部分的所述照明水平，所述第二图像捕获信息与在由所述第二图像传感器对所述第二图像数据的捕获之前由所述第二图像传感器对第三图像数据的捕获相关联。

方面51：根据方面30至50中任一项所述的装置，其中，所述一个或多个处理器被配置为：接收由所述第二图像传感器捕获的所述第二图像数据；以及输出所述第二图像数据。

方面52：根据方面30至51中任一项所述的装置，其中，所述一个或多个处理器被配置为：接收由所述第二图像传感器捕获的所述第二图像数据；以及基于所述第二图像数据来确定用户的眼睛的位置。

方面53：根据方面30至52中任一项所述的装置，其中，所述第一方向面向环境，并且其中，所述第二方向面向用户的至少一部分。

方面54：根据方面30至53中任一项所述的装置，其中，所述第一方向与所述第二方向平行并且相反。

方面55：根据方面30至54中任一项所述的装置，其中，所述第一图像数据包括对环境的至少一部分的描绘，并且其中，所述第二图像数据包括对用户的至少一部分的描绘。

方面56：根据方面30至55中任一项所述的装置，其中，所述第二图像数据包括对用户的一只或多只眼睛的描绘。

方面57：根据方面30至56中任一项所述的装置，还包括：所述第一图像传感器；以及所述第二图像传感器。

方面58：根据方面30至57中任一项所述的装置，其中，所述装置包括头戴式显示器。

方面59：一种具有存储在其上的指令的非暂时性计算机可读介质，所述指令在由一个或多个处理器执行时使所述一个或多个处理器执行根据方面1至58中任一项所述的操作。

方面60：一种用于图像处理的装置，所述装置包括用于执行根据方面1至58中的任一项所述的操作的一个或多个单元。