屏下相机系统和方法

本申请要求2021年2月19日提交的美国专利申请号17/179,822的优先权，其全部内容通过引用并入本文。

技术领域

本公开一般涉及图像和相机处理。

背景技术

图像捕捉设备(例如，数码相机)通常被结合到多种设备中。在本公开中，图像捕捉设备是指能够捕捉一个或多个数字图像的任何设备，包括能够捕捉静止图像的设备和能够捕捉图像序列以记录视频的设备。举例来说，图像捕捉设备可以包括独立的数码相机或数字视频摄录机、配备有相机的无线通信设备手持机(诸如移动电话(包括蜂窝式或卫星无线电话))、配备有相机的平板电脑或个人数字助理(PDA)、包括相机(诸如所谓的“网络相机头”)的计算机设备或具有数字成像或视频能力的任何设备。

图像捕捉设备能够在各种照明条件(例如，光源)下产生图像。例如，图像捕捉设备可以在包括大量反射光或饱和光的环境中工作，也可以在包括高对比度的环境中工作。除了其他模块(例如，色调调整模块)之外，一些示例图像捕捉设备包括用于自动曝光控制、自动白平衡和自动聚焦的调整模块，以调整由成像信号处理器硬件执行的处理。

发明内容

总的来说，本公开描述了用于图像捕捉的技术，包括确定和应用屏下相机传感器的有效光圈，诸如用于前置相机中的传感器。最大化图像捕捉设备上的显示尺寸的一种方式是在显示器下方放置一个或多个相机传感器。当相机传感器被放置在显示器下方时，包括子像素电路的显示器层遮蔽了相机传感器，使得与相机传感器不在显示器下方的情况相比，相机传感器接收到的图像信息不太密集且不太准确。例如，显示器可以是液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、有源矩阵有机发光二极管(AMOLED)(其可以是OLED显示器的特定示例)或者其他显示器。例如，显示器层可能衰减到达相机传感器的环境光，并且相机传感器上方的子像素可能导致色差，诸如空间步长和阴影，这可能负面地影响由屏下相机传感器捕捉的图像的图像质量。

子像素包括构成像素的元素，诸如RGB像素的红色、蓝色和绿色元素。自然光穿过显示器到达相机传感器。自然光穿过的显示器区域可以具有带物理像素元素的区域和不带物理像素元素的区域。带物理像素元素的区域和不带物理像素元素的区域可能具有不同的透明率(或穿过显示器的光量)。

大多数相机传感器，尤其是那些用于移动电话(诸如智能手机)的传感器，都有固定的光圈。在相机传感器设置在显示器下方或至少一部分下方或邻近显示器的情况下，由于显示器色差，减少了到达相机传感器的光量，而当与可变光圈相机传感器相比时，相机传感器的固定光圈可能进一步负面地影响相机传感器所捕捉的图像的图像质量。本公开描述了用于确定有效光圈并将该有效光圈应用于显示器以补偿屏下相机的显示器色差的技术，该屏下相机诸如是设置在显示器下方、部分位于显示器下方或邻近显示器的相机传感器，使得光在被相机传感器接收之前穿过显示器层。附加地或可替代地，在一些示例中，本公开描述了用于确定有效光圈并将该有效光圈应用于显示器以实现诸如散景模式、柔焦模式、人像模式等效果模式的技术。

本公开还描述了用于提高显示器中的透射率的技术。这些用于提高透射率的技术是本公开的图像捕捉技术的补充或替代，并且可以与本文公开的图像捕捉技术一起使用，或者可以单独使用。在一个示例中，可以应用掩模来实现显示器中的有效光圈。在一些示例中，掩模可以改变其中像素在相机传感器上方被设置为黑色(例如，阿尔法值被设置为零)或不寻址的地方或区域的大小。在一些示例中，掩模可以改变相机传感器上方的地方或区域中的像素的阿尔法值。阿尔法值是对显示颜色的透明度的度量。在其他示例中，掩模可以改变其中像素在相机传感器上方被设置为变化的阿尔法值的地方或区域的大小。在一些示例中，图像捕捉设备可以使用诸如自动曝光控制、自动聚焦和/或自动白平衡之类的配置设置来确定期望的有效光圈。

在本公开的一个示例中，图像捕捉装置包括存储器；和耦接到存储器和相机传感器的一个或多个处理器，相机传感器被设置成接收通过显示器的至少一部分的光，一个或多个处理器被配置成：确定相机传感器的有效光圈；将掩模应用于显示器的至少一部分中的一个或多个像素，其中该掩模基于有效光圈；以及使用相机传感器捕捉图像。

在另一示例中，本公开描述了一种方法，该方法包括：确定相机传感器的有效光圈，该相机传感器被设置成接收通过显示器的至少一部分的光；将掩模应用于显示器的至少一部分中的一个或多个像素，其中该掩模基于有效光圈；以及使用相机传感器捕捉图像。

在另一示例中，本公开描述了一种图像捕捉装置，其包括用于确定相机传感器的有效光圈的部件，该相机传感器被设置成接收通过显示器的至少一部分的光；用于将掩模应用于显示器的至少一部分中的一个或多个像素的部件，其中该掩模基于有效光圈；和用于使用相机传感器捕捉图像的部件。

在另一示例中，本公开描述了一种存储指令的非暂时性计算机可读存储介质，当执行该指令时，使得一个或多个处理器：确定相机传感器的有效光圈，该相机传感器被设置成接收通过显示器的至少一部分的光；将掩模应用于显示器的至少一部分中的一个或多个像素，其中该掩模基于有效光圈；以及使用相机传感器捕捉图像。

在附图和下面的描述中阐述了本公开的一个或多个方面的细节。根据说明书、附图和权利要求书，本公开中描述的技术的其他特征、目的和优点将是显而易见的。

附图说明

图1是被配置成实施本公开的技术的示例性图像捕捉设备的框图。

图2A-图2D是示出具有前置相机传感器和显示器的图像捕捉设备的示例的框图。

图3是示出被配置成实施本公开的技术的示例图像捕捉设备的分解图的框图。

图4A-图4B是示出根据本公开的技术的不同示例OLED显示器的属性的框图。

图5A-图5C是示出显示器中RGB子像素的可能物理布局的概念图。

图6是可以实施本公开的技术的示例图像捕捉设备的框图。

图7是根据本公开的技术的示例图像捕捉设备的功能框图。

图8A-图8C是示出根据本公开的技术的屏下相机传感器上方的显示器的区域中的不同示例有效光圈的概念图。

图9A-图9C是示出根据本公开的技术的屏下相机传感器上方的显示器的区域中的有效光圈的进一步示例的概念图。

图10是示出根据本公开的示例有效光圈技术的流程图。

具体实施方式

本公开描述了与设置在显示器的至少一部分下方的相机传感器(例如，屏下相机传感器)一起使用的有效光圈技术。显示器可以使用具有像素结构的透明材料，其被设计成允许光穿过显示器到达相机传感器。以这种方式使用的相机传感器可能比其他前置“自拍”相机更大，并且可能具有更宽的固定光圈镜头。例如，相机传感器尺寸不必受到显示器周围的凹槽或边框空间的限制或约束。通过将相机传感器定位在设备上的显示器下方，使得相机传感器可以接收通过显示器的至少一部分的光，当与在正面具有专用于相机传感器的空间的类似大小的设备相比时，可以扩大可用显示空间的大小。可替代地，可以使用更小的外形尺寸来提供相同的可用显示尺寸。另外，将相机传感器定位在显示器下方可以是将相机传感器放置在显示器下方的任何地方。例如，相机传感器可以位于用户在“自拍”时眼睛可能看向的位置。这样，在由相机传感器捕捉的图像中，眼神可以看起来是在看相机，而不是相机下方，后者可能在相机传感器位于显示器上方或图像捕捉设备的顶部附近时发生。

在许多图像捕捉设备中，可能期望最大化图像捕捉设备上的显示器的尺寸。对于较小的图像捕捉设备，诸如移动电话和其他移动设备，尤其如此。许多图像捕捉设备(例如，移动设备)包括面向移动设备用户的前置相机(“自拍”相机)。最大化具有(一个或多个)前置相机的图像捕捉设备上的显示尺寸并非没有限制。前置相机通常位于图像捕捉设备的正面，在设备的边缘和显示器的边缘之间。为了使具有前置相机的图像捕捉设备上的显示尺寸最大化，一些制造商扩大了显示器并在显示器中引入凹口以避免显示器覆盖相机传感器。也有制造商扩大了显示器以基本覆盖图像捕捉设备的正面，并且添加了弹出式相机，而不是将相机传感器放置在图像捕捉设备的主体上。

最大化显示尺寸的一种方法是将相机传感器定位在显示器下方。然而，通过将相机传感器定位在显示器下方，显示器可能在相机传感器捕捉的图像信号中引起衰减、空间步长和阴影、光散射或漫射和/或其他不良影响。例如，薄雾、眩光和/或色偏可能会影响所捕捉图像的质量。一般而言，使用屏下相机的上述不良影响可被称为显示器色差。由于目前的高分辨率屏幕在给定区域中比旧的低分辨率屏幕放置更多的像素，由屏下相机传感器捕捉的光量可能显著减少，这可能导致捕捉的图像质量差。

为了实现更好的低光图像捕捉，可以使用具有更大像素尺寸的更大相机传感器。然而，在明亮的场景中，这种相机传感器可能产生过度曝光的图像。

许多图像捕捉设备，包括移动电话中的绝大多数相机传感器，具有固定光圈而不是可变光圈。这可能会增加在各种光线条件下拍摄高质量图像的难度。此外，固定光圈相机传感器更难以改变焦深从而产生不同的效果，诸如柔焦、人像或散景图像。本公开描述了用于确定和实现有效光圈的技术，即使相机传感器具有固定光圈并且存在显示器色差。有效光圈可以是位于屏下相机上方的显示器的区域中的可变光圈，其可以使用可以与要显示的内容混合的(一个或多个)软件掩模来创建和/或改变。本公开还描述了用于在不同光线情况和不同聚焦情况(诸如散景、柔焦或人像)下管理有效光圈的遮蔽技术。例如，在低光情况下，与高光情况相比，穿过显示器到达屏下相机传感器的光较少。本公开描述了实现自适应有效光圈的技术(即使屏下相机传感器可能具有固定的光圈)，从而使得相机传感器可以接收适量的光以捕捉美观的图像。

图1是示出可被配置成执行本公开的技术的设备2的框图。设备2可以形成图像捕捉设备或能够编码和发送和/或接收静止图像和/或视频序列的数字视频设备的一部分。举例来说，设备2可以形成无线移动通信设备的一部分，该无线移动通信设备诸如是蜂窝式电话或卫星无线电话、智能手机、独立数码相机或视频摄录机、个人数字助理(PDA)、平板电脑、膝上型电脑或需要图像处理的具有成像或视频能力的任何设备。

如图1所示，设备2包括图像处理装置4，用于存储原始图像数据并对这些数据执行各种处理技术。图像处理装置4可以包括一个或多个集成电路，该集成电路包括数字信号处理器(DSP)、片上存储器以及可能的硬件逻辑或电路。更一般地，图像处理装置4可以包括处理器、硬件、软件或固件的任意组合，并且图像处理装置4的各种组件可以如此实现。此外，如果需要，图像处理装置4可以包括单个集成芯片或编码器/解码器(CODEC)。

在图1所示的示例中，图像处理装置4包括本地存储器8、存储器控制器10和图像信号处理器6。图像信号处理器6可以是通用处理单元，或者可以是专门设计用于成像应用的处理器，例如用于手持电子设备。如图所示，图像信号处理器6经由存储器控制器10耦接到本地存储器8和外部存储器14。在一些示例中，本地存储器8可以并入图像信号处理器6中，例如作为高速缓冲存储器。

如图1中所示，图像信号处理器6可被配置成执行自动曝光控制(AEC)过程20、自动白平衡(AWB)过程22、自动聚焦(AF)过程24、镜头阴影补偿(LSC)过程28和/或固定模式噪声补偿(FPNC)过程30。在一些示例中，图像信号处理器6可以包括被配置成执行AEC过程20、AWB过程22、AF过程24、LSC过程28和/或FPNC过程30的硬件专用电路(例如，专用集成电路(ASIC))。在其他示例中，图像信号处理器6可被配置成执行软件和/或固件以执行AEC过程20、AWB过程22、AF过程24、LSC过程28和/或FPNC过程30。当以软件配置时，用于AEC过程20、AWB过程22、AF过程24、LSC过程28和/或FPNC过程30的代码可以存储在本地存储器8和/或外部存储器14中。在其他示例中，图像信号处理器6可以使用硬件、固件和/或软件的组合来执行AEC过程20、AWB过程22、AF过程24、LSC过程28和/或FPNC过程30。当配置成软件时，AEC过程20、AWB过程22、AF过程24、LSC过程28和/或FPNC过程30可以包括指令，该指令配置图像信号处理器6以执行各种图像处理和设备管理任务，包括本公开的有效光圈技术。

AEC过程20可以包括用于配置、计算、存储和/或应用相机模块12的曝光设置的指令。曝光设置可以包括用于捕捉图像的快门速度和光圈设置(诸如根据本公开的技术的有效光圈设置)。根据本公开的技术，图像信号处理器6可以使用由相机模块12捕捉的深度信息来更好地识别图像的主体并基于所识别的主体进行曝光设置。AF过程24可以包括用于配置、计算、存储和/或应用相机模块12的自动聚焦设置的指令。

AWB过程22可以包括用于配置、计算、存储和/或应用AWB设置(例如，AWB增益)的指令，该AWB设置可以应用于由相机模块12捕捉的一个或多个图像。在一些示例中，由AWB过程22确定的AWB增益可以应用于根据其确定AWB增益的图像。在其他示例中，由AWB过程22确定的AWB增益可以应用于在根据其确定AWB增益的图像之后捕捉的一个或多个图像。因此，AWB增益可以应用于在根据其确定AWB增益的第一图像之后捕捉的第二图像。在一个示例中，第二图像可以是紧接在根据其确定AWB增益的第一图像之后捕捉的图像。也就是说，如果第一图像是帧N，则应用AWB增益的第二图像是帧N+1。在其他示例中，第二图像可以是在根据其确定AWB增益的第一图像之后两个图像捕捉的图像。也就是说，如果第一图像是帧N，则应用AWB增益的第二图像是帧N+2。在其他示例中，AWB增益可以应用于在第一图像之后更晚捕捉的图像(例如，帧N+3、帧N+4等)。在其他示例中，AWB增益可以应用于根据其确定AWB增益的第一图像。

LSC过程28可以包括用于配置、计算、存储和/或应用镜头阴影补偿增益的指令。例如，LSC过程28可以补偿由于相机镜头而朝向图像边缘衰减的光。

FPNC过程30可以包括用于配置、计算、存储和/或应用FPN补偿过程的指令。例如，FPNC过程30可以从捕捉的图像中减去主暗帧以补偿FPN。

本地存储器8可以存储原始图像数据，也可以存储由图像信号处理器6执行的任何处理之后的经处理的图像数据。本地存储器8可以由各种非暂时性存储器设备中的任一者形成，诸如动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM)、磁阻RAM(MRAM)、电阻RAM(RRAM)或其他类型的存储器设备。存储器控制器10可以控制本地存储器8内的存储器组织。存储器控制器10还可以控制从本地存储器8到图像信号处理器6的存储器负载，以及从图像信号处理器6到本地存储器8的写回。将由图像信号处理器6处理的图像可以在图像捕捉之后从相机模块12直接加载到图像信号处理器6中，或者可以在图像处理期间存储在本地存储器8中。

如所提到的，设备2可以包括相机模块12以捕捉将被处理的图像，但本公开不一定局限于此。相机模块12可以包括固态传感器元件的阵列，诸如互补金属氧化物半导体(CMOS)传感器元件、电荷耦合器件(CCD)传感器元件等。可替代地或附加地，相机模块12可以包括一组图像或相机传感器，其包括布置在相应传感器的表面上的滤色器阵列(CFA)。相机模块12可以直接耦接到图像信号处理器6，以避免图像处理中的时延。相机模块12可被配置成捕捉静止图像或全运动视频序列，在第二种情况下，可以对视频序列的一个或多个图像帧执行图像处理。

相机模块12可以将描述捕捉的图像的像素值(例如，Bayer或RGB格式)和/或原始统计消息发送到图像信号处理器6。通常，图像信号处理器6可被配置成分析原始统计数据和深度信息，以计算和/或确定成像参数，诸如传感器增益、R/G/B增益、AWB增益、快门速度、有效光圈尺寸等。计算和/或确定的成像参数可以应用于捕捉的图像、应用于一个或多个随后捕捉的图像和/或发送回相机模块12，以调整有效光圈、曝光和/或焦点设置。

设备2可以包括显示器16，其显示遵循本发明中描述的图像处理的图像。在这样的图像处理之后，图像可以被写入本地存储器8或外部存储器14。经处理的图像然后可以被发送到显示器16以呈现给用户。显示器16可以显示其他信息，包括存储在存储器位置(例如，外部存储器14)中的文件的视觉呈现、安装在图像信号处理器6中的软件应用、用户界面、网络可访问的内容对象以及其他信息。

在一些示例中，设备2可以包括多个存储器。例如，设备2可以包括外部存储器14，其通常包括相对较大的存储空间。例如，外部存储器14可以包括DRAM或闪存。在其他示例中，外部存储器14可以包括非易失性存储器或任何其他类型的数据存储单元。与外部存储器14相比，本地存储器8可以包括更小且更快的存储空间，但本公开不一定局限于此。举例来说，本地存储器8可以包括SDRAM。在任何情况下，外部存储器14和本地存储器8仅仅是示例性的，并且可以被组合到相同的存储器部分中，或者可以以任何数量的其他配置来实现。

设备2还可以包括发送器(未示出)，以将经处理的图像或编码的图像序列发送到另一个设备。实际上，本公开的技术可以用于包括数码相机功能或数字视频能力的手持无线通信设备(诸如智能手机)。在这种情况下，该设备还将包括调制器-解调器(调制解调器)，以便于将基带信号无线调制到载波波形上，从而便于调制信息的无线通信。

本地存储器8、显示器16和外部存储器14(以及其他组件，如果需要的话)可以通过通信总线15耦接。许多其他元件也可以包括在设备2中，但是为了简洁和便于说明，在图1中没有具体示出。图1所示的架构仅仅是示例性的，本文描述的技术可以用各种其他架构来实现。

图2A-图2D是示出图像捕捉设备(诸如智能手机)的示例的框图。每个图像捕捉设备被描绘为具有显示器和前置相机传感器。在这种情况下，前置相机传感器是在典型操作中面向图像捕捉设备用户的相机传感器。例如，前置相机传感器通常与主显示器位于设备的同一侧。每个前置相机传感器可以是相机模块(诸如相机模块12)的一部分。例如，在图2A中，图像捕捉设备200包括显示器202、相机传感器204和按钮206。按钮206可以用于多种目的，诸如唤醒图像捕捉设备200、改变显示器202上显示的内容等。可以看出，按钮206和相机传感器204占用图像捕捉设备200前面的空间。通过将相机传感器204和按钮206定位在图像捕捉设备200的前面，显示器202可利用的区域更少。

而在图2B的示例中，图像捕捉设备210的前面没有按钮。在这种情况下，按钮可以在侧面，或者按钮的功能可以包括在显示器212中(例如，通过触摸显示界面)。图像捕捉设备210被描绘为具有相机传感器214和凹口216。凹口216可以是在组装图像捕捉设备210之前从显示器移除的区域。在该示例中，凹口216覆盖的区域因此不是显示器212的一部分，不显示内容。当与图2A的图像捕捉设备200相比时，可采用凹口216来增加显示器212占据的图像捕捉设备210正面的比率。

在图2C的示例中，图像捕捉设备220具有显示器222和弹出式相机226。相机传感器224可以包含在弹出式相机226中。在图像捕捉设备220的示例中，显示器222可以整体显示内容，没有凹口，诸如在图2B的图像捕捉设备210中。

在图2D的示例中，图像捕捉设备230具有显示器232和相机传感器234。在一些示例中，图像捕捉设备230可以具有不止一个相机传感器。例如，图像捕捉设备230可以具有相机传感器234和相机传感器238。在一些示例中，相机传感器234和相机传感器238可以是固定光圈相机传感器。图像捕捉设备230可以包括设备2或者是设备2的示例，并且显示器232可以是显示器16的示例。在图2D的图像捕捉设备230的示例中，与图2A-图2C的示例不同，相机传感器234和相机传感器238设置在显示器232下方。在一些示例中，相机传感器234或相机传感器238的一部分而不是全部可以设置在显示器232下方。显示器232可以包括透明层。显示器232的区域232A、显示器232的区域232B和显示器232的区域232C将参考图5、图7和图9进一步讨论。虽然本公开的技术通常参考具有放置在显示器下方的相机传感器的图像捕捉设备(诸如图像捕捉设备230)来描述，但本公开的技术可以用于其他图像捕捉设备，诸如图像捕捉设备200、210和220或具有部分放置在显示器下方的相机传感器的图像捕捉设备。

现在参考图2A-图2D中的每一个，图像捕捉设备200具有比图像捕捉设备210、220和230更大的外形尺寸，但是具有与图像捕捉设备220的显示器222和图像捕捉设备230的显示器232相同尺寸的显示器202，而由于凹口216，显示器202比图像捕捉设备210的显示器212稍大。图像捕捉设备210具有与图像捕捉设备220和230相同的外形尺寸，但是由于凹口216，它在显示器212上具有较少的可用显示空间。此外，凹口216可能对一些用户来说有分散注意力的影响。图像捕捉设备220具有与图像捕捉设备230相同的外形尺寸和可用显示尺寸，但是图像捕捉设备220在弹出式相机226中具有可移动部件。这些可移动部件可能由于重复使用或用户将图像捕捉设备220掉落在坚硬表面上而损坏或卡阻。因此，可能希望将相机传感器定位在显示器下方，因为将相机传感器定位在显示器下方可最大化显示空间，同时避免开凹口和移动机械部件。

另外，对于图2D的图像捕捉设备230，相机传感器234可以位于显示器232下方的任何地方。在该示例中，相机传感器被示为位于显示器232的中间。相对于图像捕捉设备200、图像捕捉设备210和图像捕捉设备220中的前置相机传感器的位置，这样的位置可能是更合适的。例如，“自拍”的用户可以在图像捕捉设备的显示器上观看自己的实时图像。相机传感器离用户眼睛看向的位置越远，即将被捕捉的图像越有可能显示眼神远离相机传感器。这种眼神现象可能导致不美观的图像，其中用户的眼神出现在人们可能期望他们看向的位置的下方(或上方)(例如，不是朝向图像观看者的眼睛，而是图像观看者的眼睛往下(或往上)，诸如在图像观看者的头部下方或上方)。

图3是图2D所示的图像捕捉设备230的示例的分解侧视图的框图。为了简洁起见，相机传感器238未在图3或其余附图中示出，其功能可以类似于本文所述的相机传感器234。在图3的示例中，图像捕捉设备230包括显示器232、相机传感器(CS)234和外壳236。外壳236可以包括电子电路板、处理器、存储器、电池、射频电路、天线和其他组件。如图所示，显示器232设置在相机传感器234上方，相机传感器234设置在显示器232下方。在该示例中，如图2D所示，相机传感器234是前置相机。相机传感器234被配置成通过捕捉穿过显示器232的环境光来捕捉图像。也就是说，相机传感器234可以接收环境光，该环境光在入射到相机传感器234上之前穿过显示器232的至少一部分。如本文所使用的，相机传感器在显示器下方或者显示器在相机传感器上方旨在描述相机传感器被配置和定位成通过捕捉穿过显示器(诸如显示器232)或者穿过显示器的至少一部分的环境光来捕捉图像。当显示内容时，显示器232可以向用户发射光，并且通常远离相机传感器234。当显示器232主动显示内容时，相机传感器234可以主动捕捉(一个或多个)图像。换句话说，相机传感器234可以接收穿过显示器232的至少一部分的环境光，而显示器232可以向用户发射光。

图4A和图4B是可以根据本公开的技术使用的示例OLED显示器的简化图。虽然图4A和图4B的显示器被描绘为OLED显示器，但是本公开的技术可以与被配置成允许光穿过显示器到达位于显示器下方的相机传感器的任何显示器一起使用，诸如LCD、LED、AMOLED或其他显示器。在图4A和图4B中，虽然示例OLED显示器被描绘为具有三层，但是OLED显示器可以包括更多层。

在图4A的示例中，OLED显示器250包括阴极层252、有机发光材料层254和阳极层256。例如，当电流通过有机发光材料层254在阴极层252和阳极层256之间流动时，OLED显示器250可以发光，使得(一个或多个)图像出现在OLED显示器250上。以这种方式，有机发光材料层254可以通过阴极层252向用户发射光。在一些示例中，相机传感器234可以在有机发光材料层254发光的同时接收环境光。在图4A的示例中，环境光可以照射到阴极层252的表面。该环境光的一部分可以穿过阴极层252、有机发光材料层254和阳极层256。在这个示例中，阴极层252和阳极层256可以不透明。另外，有机发光材料层254可以具有RGB、RGBW、WRGB(其中W是白色)、RGBG或其他子像素，这些子像素可以在环境光穿过有机发光材料层254时起阻挡、衰减或扭曲作用。因此，穿过OLED显示器250的环境光的量可能相对较小(显示为透射光)。这样，在OLED显示器250下方接收透射光的相机传感器234可能不会接收到太多的透射光，如细箭头所示。这可能导致相机传感器捕捉的图像的图像质量差。

在图4B的示例中，OLED显示器260包括透明阴极层262、有机发光材料层264和透明阳极层266。如同在图4A的示例中，当电流通过有机发光材料层264在透明阴极层262和透明阳极层266之间流动时，OLED显示器260可以发光，使得(一个或多个)图像出现在OLED显示器260上。以这种方式，有机发光材料层264可以通过透明阴极层262向用户发射光。在图4B的示例中，因为透明阴极层262和透明阳极层266都是透明的，所以更多的环境光可以透过OLED显示器260到达相机传感器234。相机传感器234可以接收环境光，该环境光在入射到相机传感器234上之前穿过OLED显示器260的至少一部分(显示为由粗箭头表示的透射光)。在一些示例中，相机传感器234可以在有机发光材料层264发光的同时接收环境光。在图4B的示例中，类似于图4A的示例，有机发光材料层264可以包含RGB、RGBW或WRGB子像素，这些子像素可以阻挡、衰减或扭曲穿过有机发光材料层264的环境光。总体而言，例如，由于透明阴极层262和透明阳极层266是透明的，图4B的示例中的衰减或扭曲程度可能低于图4A。

图5A-图5C是描绘根据本公开的技术的显示器中子像素的示例布局的概念图。如上所述，子像素是像素的元素，诸如RGB像素的红色、蓝色或绿色元素。虽然图5A-图5C的示例示出了RGB子像素，但是显示器可以包含RGBW、WRGB或另一种子像素布局。在图5A的示例中，布局276包括三列蓝色(B)子像素，如图所示。在每列蓝色子像素之间是一列交替的绿色(G)和红色(R)子像素。在子像素之间有空间277。在图5B的示例中，布局278包括两列绿色(G)子像素，如图所示。在绿色子像素列的任一侧是一列交替的蓝色(B)和红色(R)子像素。在子像素之间有空间279。在图5C的示例中，布局280包括多行圆形子像素。这些子像素中的每一个都可以是绿色(G)子像素。在绿色子像素行之间是菱形交替的红色(R)子像素和蓝色(B)子像素。子像素之间有空间281。图5A-图5C只是显示器中子像素的可能布局的几个示例。子像素的形状、尺寸和位置由显示器制造商的设计选择决定。因此，子像素的布局可能因制造商或显示器类型的不同而不同。关于子像素的布局(例如，形状、尺寸和位置)的信息可以从显示器的制造商处获得。

当诸如相机传感器234的相机传感器位于诸如显示器232的显示器下方时，相机传感器234可以通过子像素之间的空间(例如，空间277、空间279或空间281)接收环境光。例如，一个或多个相机传感器可以放置在显示层的至少一部分下方，使得光在被一个或多个传感器接收之前穿过显示层。尽管光在被诸如相机传感器234的一个或多个相机传感器接收之前可以穿过显示层，但是子像素可能遮蔽相机传感器234的一些部分，可能在捕捉的(一个或多个)图像中引起诸如薄雾、眩光和/或色偏的问题。

图6是可以实施本公开的技术的示例图像捕捉设备的框图。图像捕捉设备102可以是图1的设备2的示例。举例来说，图像捕捉设备102可以包括无线移动通信设备，诸如蜂窝式电话或卫星无线电话、智能手机、独立数码相机或视频摄录机、个人数字助理(PDA)、平板电脑、膝上型电脑或需要图像处理的具有成像或视频能力的任何设备。

图像捕捉设备102可以包括一个或多个处理器110、相机传感器112、图像信号处理器106、存储器114、显示器116、通信电路118、环境光传感器122、触摸传感器124、3D深度传感器126和显示驱动器132。相机传感器112可以是固定光圈相机传感器。显示器116可以包括位于相机传感器112上方的区域120(其可以是图2D的区域232B或区域232C的示例)，使得相机传感器112接收穿过区域120的光。在一些示例中，图像信号处理器106可以是一个或多个处理器110中的一个。在一些示例中，图像信号处理器106可以是一个或多个处理器110中的一个以上。在一些示例中，如图所示，图像信号处理器106可以与一个或多个处理器110分离。在一些示例中，一个或多个处理器110可以包括有效光圈生成器134(EAG)。

存储器114可以包括图像捕捉应用104、深度图128和查找表130。图像捕捉应用104可以是用户用来开启图像捕捉设备102的相机功能的应用。在一些示例中，图像捕捉应用104可以包括可以由一个或多个处理器110和/或图像信号处理器106执行的指令，以使得用户能够选择诸如散景、柔焦、人像之类的效果，或者使得用户能够选择有效光圈。在一些示例中，图像捕捉应用可以包括可以由一个或多个处理器110和/或图像信号处理器106执行的指令，以自动选择有效光圈并应用掩模来通过例如显示处理器实现有效光圈，该显示处理器可以是一个或多个处理器110中的一个或多个。存储器114还可以被配置成存储与相机传感器112捕捉的图像相关的像素值。存储器114可以存储指令，作为图像捕捉应用104的一部分、与图像捕捉应用104分离或者作为图像捕捉应用104和与图像捕捉应用104分离的组合，用于使一个或多个处理器110和/或图像信号处理器106执行本公开的技术。

在一些示例中，一个或多个处理器110可以使用深度图128来确定期望的焦深或景深。例如，一个或多个处理器110可以跟踪主要对象，并且基于来自深度图128的主要对象的位置来确定焦深或景深。可替代地或附加地，一个或多个处理器110可以使用3D深度传感器126来确定期望的焦深或景深。

在一些示例中，一个或多个处理器110可以使用查找表130来获得有效光圈的一个或多个参数。例如，查找表130可以存储不同的环境光水平和有效光圈的(一个或多个)相应参数，诸如光圈尺寸和/或阿尔法值。例如，查找表130可存储帧亮度(例如，由相机传感器捕捉的帧中的光强度)与目标亮度(例如，由图像信号处理器106的AEC过程或模块确定的光强度)之间的差以及有效光圈的(一个或多个)相应参数。在一些示例中，查找表130可以是存储有效光圈的直径和相关曝光信息的曝光/直径表。

当被激活时，相机传感器112可以捕捉图像的像素值。例如，当一个或多个处理器110执行图像捕捉应用104时，相机传感器112可以捕捉像素值。图像信号处理器106可以处理由相机传感器112捕捉的像素值。

一个或多个处理器110可以从图像信号处理器106获得像素值，并且可以将像素值提供给存储器114用于存储，提供给通信电路118用于传输到另一个设备，或者将像素值提供给显示器116用于显示给用户。当相机关闭时(例如，当一个或多个处理器110没有执行图像捕捉应用104时)，一个或多个处理器110可以例如从存储器114获得像素值，并将像素值提供给显示器116用于显示。

在一些示例中，根据本公开的技术，图像捕捉设备102、存储器114以及耦接到存储器114和相机传感器112的一个或多个处理器110。相机传感器112可以被设置成接收通过显示器116的至少一部分(例如，区域120)的光。一个或多个处理器110可以被配置成确定相机传感器112的有效光圈，基于有效光圈确定掩模，将掩模应用于显示器116的至少一部分(例如，区域120)中的一个或多个像素，并且使用相机传感器112捕捉图像。例如，掩模可以是软件层，其可以与要由显示驱动器132显示的内容混合，以在相机传感器112上方的区域120中实现有效光圈。

环境照度(例如，环境光)对于诸如相机传感器112的屏下相机传感器可能是重要的，因为环境照度可能影响图像捕捉设备102中的自动曝光控制、自动聚焦和自动白平衡。例如，在黑暗、低勒克斯的环境中，由较小的固定光圈相机传感器捕捉的图像可能质量相对较差，而在明亮、高勒克斯的环境中通过适当的图像处理捕捉的图像可能较美观。然而，在黑暗、低勒克斯的环境中，通过适当的图像处理，由较大的固定光圈相机传感器捕捉的图像可能较美观，而在明亮、高勒克斯的环境中捕捉的图像可能很暗淡。因此，可能需要确定并实现自适应有效光圈，该光圈可用于提高质量并将诸如散景、柔焦、人像之类的效果应用于由屏下相机传感器捕捉的图像。

根据本公开的技术，图像捕捉设备102可以在相机传感器112上方的区域120中显示自适应数目的黑色像素。这里使用的“黑色像素”包括灰度值为0、阿尔法值为0的像素、空白像素或不寻址像素。通过在相机传感器112上方的区域120中显示自适应数量的黑色像素，可以控制区域120中显示器116的透射率，从而有利于图像捕捉设备102的自动曝光控制、自动聚焦和自动白平衡(其可以是图像信号处理器106的一部分)。该自适应数量的黑色像素实际上可以形成光圈的“数字快门叶片”，以通过改变相机传感器112上方的区域120中的黑色像素区域的尺寸来调整有效光圈，从而改变到达相机传感器112的光量。

根据本公开的技术，图像捕捉设备102可以将自适应阿尔法值应用于相机传感器112上方的区域120中的像素。通过在相机传感器112上方的区域120中显示自适应阿尔法值的像素，可以控制区域120中显示器116的透射率，从而有利于图像捕捉设备102的自动曝光控制、自动聚焦和自动白平衡(其可以是图像信号处理器106的一部分)。相机传感器112上方的区域120中的像素的这些自适应阿尔法值实际上可以形成光圈的“数字叶片”，以通过改变相机传感器112上方的区域120的透射率来调整有效光圈，从而改变到达相机传感器112的光量。

在一些示例中，根据本公开的技术，图像捕捉设备102可以将自适应阿尔法值应用于相机传感器112上方的区域120中的自适应数量的像素。通过在相机传感器112上方的区域120中以自适应阿尔法值显示自适应数量的像素，可以控制区域120中显示器116的透射率。

例如，当相机打开时(例如，当一个或多个处理器110执行图像捕捉应用104时)，一个或多个处理器110可以确定环境光水平。例如，一个或多个处理器可以查询环境光传感器122以确定环境光水平。环境光传感器122可以被配置成感测环境光水平。一个或多个处理器110可以在查找表130中查找环境光水平，或者将公式应用于环境光水平以确定有效光圈。在一些示例中，一个或多个处理器110可以确定帧亮度、确定目标亮度并确定帧亮度和目标亮度之间的差。在这样的示例中，一个或多个处理器110可以在查找表130中查找帧亮度和目标亮度之间的差，或者将公式应用于帧亮度和目标亮度之间的差，以确定有效光圈。

在一些示例中，用户可以选择可能影响有效光圈的效果模式，诸如散景模式、柔焦模式或人像模式。例如，当启动图像捕捉应用104时，可以显示图标，该图标可以在例如经由触摸传感器124可供用户选择的不同效果模式之间切换。当用户轻击图标时，触摸传感器124可以向一个或多个处理器110发送信号，并且至少部分地基于该信号，一个或多个处理器110可以确定效果模式。例如，当用户选择散景模式时，一个或多个处理器110(和/或图像信号处理器106)可以将有效光圈放大到超出其正常水平。该较大的有效光圈可以使相机传感器捕捉到背景中的物体更模糊、前景中的物体更清晰的图像。

在一些示例中，一个或多个处理器可以对相机传感器112捕捉的图像执行场景分析，并且可以基于场景分析选择有效光圈。例如，如果图像的主体的脸部光线充足，但是背景是暗的，则一个或多个处理器可以选择与整个场景是暗的或者整个场景光线充足的情况不同的有效光圈。

在一些示例中，一个或多个处理器110可以至少部分地基于闪光灯是处于自动模式、被设置为开还是被设置为关来确定有效光圈。例如，如果闪光灯关闭，则一个或多个处理器110可以确定有效光圈应该大于闪光灯打开或设置为自动时的有效光圈。在一些示例中，一个或多个处理器可以进一步基于其他传感器信号，诸如相机传感器信号、深度传感器信号等，来确定有效光圈。

在一些示例中，图像捕捉设备102可以可选地转变或淡入和/或淡出区域120中的有效光圈，以提供更美观的视觉效果。例如，当图像捕捉应用104被激活时，图像捕捉设备102可以淡入在相机传感器112上方的区域120中的实现有效光圈的像素。换句话说，图像捕捉设备102可以在一段时间内将相机传感器112上方的区域120中的像素阿尔法值和/或像素数量从现有值转变为实现有效光圈的值。

图7是根据本公开的技术的示例图像捕捉设备的功能框图。根据本公开的技术，具有设置于显示器306下方的固定光圈相机传感器304的图像捕捉设备102可以确定并应用有效光圈以实现给定场景的目标亮度和/或目标焦距。

例如，设备310可以确定用于确定有效光圈的参数，该设备310可以是图像捕捉设备102的一部分，并且可以包括相机模块(例如，图1的相机模块12)、图像信号处理器(例如，图1的图像信号处理器6)、环境光传感器(例如，图6的环境光传感器122)和/或其他各种传感器。例如，设备310可以确定环境光水平、帧亮度、目标亮度、闪光灯是开、关还是设置为自动、用户是否选择了效果模式等。设备310可以将用于掩模生成的这些输入参数312发送给有效光圈生成器134。在一些示例中，有效光圈生成器134可以是图6的一个或多个处理器110中的一个或多个。有效光圈生成器134可以基于输入参数来确定有效光圈的有效光圈尺寸和/或(一个或多个)阿尔法水平。例如，有效光圈发生器134可以确定光圈直径、半径、像素数量、或要在掩模中使用的像素的面积或尺寸或其位置的其他度量，以实现有效光圈。附加地或可替代地，有效光圈生成器134可以确定要在掩模中使用的像素的(一个或多个)阿尔法值，以实现有效光圈。

例如，有效光圈生成器134可以确定单位距离(诸如毫米)直径的有效光圈。例如，有效光圈生成器134可以将透镜的焦距(例如，以mm为单位)除以f值(也称为f制光圈)。例如，有效光圈生成器134可以使用以下公式来确定有效光圈：

D＝F/N

其中D是有效光圈的直径，F是焦距，N是f值。

在一些示例中，基于帧亮度(例如，帧中的光强度)，可以通过为不同的帧亮度开发曝光/直径表(其可以是图6的查找表130的示例)来调整有效光圈的直径D。在一些示例中，该曝光/直径表可以通过实验在实验室中生成。在一些示例中，该曝光/直径表可以由有效光圈生成器134在操作期间生成。在一些示例中，曝光/直径表可以基于用户输入(诸如用户删除、不删除或图像处理)在操作期间生成。

例如，对于由相机传感器304捕捉的任何特定场景，AEC过程20、AWB过程22和/或AF24过程(图1)可以确定可包含在输入参数312中的帧亮度。另外，AEC过程20可以确定目标亮度，其也可包含在输入参数312中。有效光圈生成器134可以使用曝光/直径表或公式来确定有效光圈d。例如，有效光圈生成器134可以在查找表130(图6)中查找帧亮度和目标亮度之间的差，以确定要在掩模中使用的有效光圈的一个或多个属性。在其他示例中，有效光圈生成器134可以应用(一个或多个)公式来确定要在掩模中使用的有效光圈的一个或多个属性。在一些示例中，对于每个相机传感器，可以存在单独的曝光/直径表，并且对于每个相机传感器，可以单独调整该表。

掩模层可以是例如由图像捕捉设备102添加到显示器的软件定义的层。可以将掩模应用于相机传感器上方的区域，以调整有效光圈。在一些示例中，掩模可以在相机传感器上方形成“数字快门叶片”，以调整有效光圈。

在另一示例中，有效光圈生成器134可以通过使用人工智能和/或3D深度传感器126(图6)和/或深度图128(图6)来跟踪场景中的主要对象，从而确定期望的焦深或景深。

有效光圈生成器134可以确定有效光圈D，以实现期望的焦深或景深。所确定的有效光圈D可以被发送到显示驱动器132，以使相机传感器上方只有D大小的显示像素/区域透明。附加地或可替代地，有效光圈生成器134可以确定要在掩模324中使用的像素的(一个或多个)阿尔法值，以实现有效光圈。例如，有效光圈生成器134可以向显示驱动器132(其可以是图6的一个或多个处理器110中的一个或多个)发送具有(一个或多个)阿尔法值和/或尺寸信息322(诸如有效光圈的半径或直径)的掩模324。

在一些示例中，有效光圈生成器134可以使用来自Greenleaf，Allen R.，Photographic Optics，The MacMillan Company，New York，1950，pp.25-27的以下公式来确定期望的有效光圈D。

超焦距

可接受清晰度的近距离

可接受清晰度的远距离

其中H是以mm为单位的超焦距，f是以mm为单位的镜头焦距，s是焦距，Dn是可接受清晰度的近距离，Df是可接受清晰度的远距离，N是f值，C是以mm为单位的模糊圈。模糊圈是由于锥形光线没有完全聚焦而产生的光斑。f值通过定义N＝2i/2来计算，其中对于f/1.4、f/2、f/2.8，I＝1，2，3，…。为了实现期望的景深D，有效光圈生成器134可以基于上述公式计算期望的有效光圈。

许多屏幕制造商正尝试设计用于屏下相机特征的透明OLED显示面板，旨在实现无边框显示屏。目前，对于一些智能手机，显示剪切区域(可以与要显示的内容分开寻址或不寻址的区域)可以通过软件来配置。例如，可以使用Android Framework和SurfaceFlinger。显示剪切尺寸可以通过https://source.android.com/devices/tech/display/display-cutouts进行配置。剪切的掩模层像素可能仅具有阿尔法分量，通过该分量，对于透明OLED面板，剪切透明度可以从0x00(全透明和黑色)调整到0xFF(全不透明和白色)。

有效光圈生成器134可以动态地启用和禁用该掩模层。以这种方式，当屏下相机传感器未被使用时或者在屏下相机传感器未主动捕捉图像数据的消隐时段，显示器306可以在剪切区域中显示正常的屏幕内容。

应当注意，本公开的可变光圈技术可以取决于屏幕硬件的透明度以及由显示像素实现的不透明度。例如，OLED面板可以实现更高的透明度，但LCD面板可能更好地实现光圈直径以外区域的不透明像素，因为后者采用调制入射光(背光)的原理。

显示驱动器132可以将掩膜(例如，相机传感器上方的区域内的像素的像素值)与原本将被显示的像素值混合。显示驱动器132可以将混合的显示内容和掩膜发送到显示器306进行显示。例如，混合的显示内容可以通过例如改变像素值或者不从像素值原本应该是的位置寻址相机传感器304的至少一部分上方的像素，来在相机传感器304的至少一部分上方实现有效光圈。参考图8A-图8C和图9A-图9C更详细地示出和描述了有效光圈的不同示例。

图8A-图8C是示出根据本公开的技术的屏下相机传感器上方的显示器区域中的不同示例有效光圈的概念图。图8A描绘了包括相对较大的有效光圈404的图像捕捉设备402的示例(其可以是图像捕捉设备102的示例)。在该示例中，通过将相机传感器上方的区域(例如，图6的相机传感器112上方的区域120)中相对大量的像素指定为黑色或不寻址像素来实现有效光圈。这增加了可以到达相机传感器112的光量，从而有效地扩大了相机传感器112的光圈。虽然有效光圈404被示为圆形，但是有效光圈404可以是任何形状，并且有效光圈404中包括的像素不必是连续的。例如，相机传感器112上方的一行像素可以是黑色的，再往上一行不是黑色的，然后又是黑色的一行。在一些示例中，有效光圈404可以用在弱光环境中。在一些示例中，当用户选择诸如散景模式的效果模式时，有效光圈404可以用在相对较亮的光环境中。

图8B描绘了包括相对中等的有效光圈414的图像捕捉设备412的示例(其可以是图像捕捉设备102的示例)。在该示例中，通过将相机传感器上方的区域(例如，图6的相机传感器112上方的区域120)中相对中等数量的像素指定为黑色或不寻址像素来实现有效光圈。与有效光圈404相比，这减少了可能到达相机传感器112的光量，从而有效地减小了相机传感器112的光圈。虽然有效光圈414被示为圆形，但是有效光圈414可以是任何形状，并且有效光圈414中包括的像素不必是连续的。在一些示例中，有效光圈414可以用在相对正常或平均的光环境中。在一些示例中，当用户选择诸如散景模式的效果模式时，有效光圈414可以用在相对较亮的光环境中。

图8C描绘了包括相对较小的有效光圈424的图像捕捉设备422的示例(其可以是图像捕捉设备102的示例)。在该示例中，通过将相机传感器上方的区域(例如，图6的相机传感器112上方的区域120)中相对少量的像素指定为黑色或不寻址像素来实现有效光圈。与有效光圈404和有效光圈414相比，这减少了可能到达相机传感器112的光量，从而有效地进一步减小了相机传感器112的光圈。虽然有效光圈424被示为圆形，但是有效光圈424可以是任何形状，并且有效光圈424中包括的像素不必是连续的。在一些示例中，有效光圈424可以用在相对较亮的光环境中。在一些示例中，当用户选择特定效果模式时，有效光圈424可以用于相对较弱或平均的光环境中。

图9A-图9C是示出根据本公开的技术的屏下相机传感器上方的显示器区域中的有效光圈的进一步示例的概念图。图9A描绘了包括相对较暗(例如黑色)的有效光圈504的图像捕捉设备502的示例(其可以是图像捕捉设备102的示例)。在该示例中，通过将相对较暗的(一个或多个)阿尔法值分配给相机传感器上方的区域(例如，图6的相机传感器112上方的区域120)中的多个像素来实现有效光圈。这增加了可以到达相机传感器112的光量，从而有效地扩大了相机传感器112的光圈。虽然有效光圈504被示为圆形，但是有效光圈504可以是任何形状，并且有效光圈504中包括的像素不必是连续的。例如，相机传感器112上方的一行像素可以相对较暗，再往上一行不暗，然后又是相对较暗的一行。在一些示例中，有效光圈504可以用在弱光环境中。在一些示例中，当用户选择诸如散景模式的效果模式时，有效光圈504可以用在相对较亮的光环境中。

图9B描绘了包括相对中等的有效光圈514的图像捕捉设备512的示例(其可以是图像捕捉设备102的示例)。在该示例中，通过向相机传感器上方的区域(例如，图6的相机传感器112上方的区域120)中的多个像素分配相对中等的(一个或多个)阿尔法值(例如，至少一个阿尔法值高于有效光圈504的至少一个阿尔法值)来实现有效光圈。与有效光圈504相比，这减少了可能到达相机传感器112的光量，从而有效地减小了相机传感器112的光圈。虽然有效光圈514被示为圆形，但是有效光圈514可以是任何形状，并且有效光圈514中包括的像素不必是连续的。在一些示例中，有效光圈514可以用在相对正常或平均的光环境中。在一些示例中，当用户选择诸如散景模式的效果模式时，有效光圈514可以用在相对较亮的光环境中。

图9C描绘了包括相对较小的有效光圈524的图像捕捉设备522的示例(其可以是图像捕捉设备102的示例)。在该示例中，通过向相机传感器上方的区域(例如，图6的相机传感器112上方的区域120)中的像素分配相对较亮的(一个或多个)阿尔法值(例如，至少一个阿尔法值高于有效光圈504的至少一个阿尔法值和有效光圈514的至少一个阿尔法值)来实现有效光圈。与有效光圈504和有效光圈514相比，这减少了可能到达相机传感器112的光量，从而有效地进一步减小了相机传感器112的光圈。虽然有效光圈524被示为圆形，但是有效光圈524可以是任何形状，并且有效光圈524中包括的像素不必是连续的。在一些示例中，有效光圈524可以用在相对较亮的光环境中。在一些示例中，当用户选择特定效果模式时，有效光圈524可以用于相对较弱或平均的光环境中。

图10是示出根据本公开的示例有效光圈技术的流程图。图像捕捉设备102(图6)可以确定相机传感器(例如，相机传感器112)的有效光圈(132)。例如，图像捕捉设备102可以确定环境光水平、帧亮度、目标亮度、闪光灯是开启、关闭还是设定为自动、用户是否已选择效果模式等，以生成用于确定有效光圈的参数。图像捕捉设备102可以使用这些参数来确定有效光圈尺寸和/或(一个或多个)阿尔法水平(例如，有效光圈)。图像捕捉设备102可以将掩模应用于显示器的至少一部分中的一个或多个像素，其中该掩模基于有效光圈(332)。例如，图像捕捉设备102可以基于有效光圈产生软件定义的层，该有效光圈可以用于将相机传感器112上的区域120中的像素的像素值从在显示图像时可以使用的值改变为其他值。图像捕捉设备102可以在诸如图7的显示驱动器132之类的显示驱动器处应用该掩模，并且将该掩模与被提供给显示驱动器的像素值(诸如表示被捕捉的图像的像素值)混合。图像捕捉设备102可以使用相机传感器来捕捉图像(334)。例如，相机传感器112可以从穿过显示器的至少一部分的光中捕捉数据。

在一些示例中，作为应用掩模的一部分，一个或多个处理器110被配置成向显示器的至少一部分(例如，图6的区域120)中的一个或多个像素应用为零的阿尔法值，或者不寻址显示器的至少一部分(例如，区域120)中的一个或多个像素。在一些示例中，有效光圈是第一有效光圈，掩模是第一掩模，图像是第一图像，一个或多个像素是第一一个或多个像素，其中一个或多个处理器110还被配置成确定相机传感器的第二有效光圈，基于第二有效光圈确定第二掩模，将第二掩模应用于显示器的至少一部分中的第二一个或多个像素，并且使用相机传感器捕捉第二图像，其中第二一个或多个像素包括不同于第一一个或多个像素的至少一个像素。

在一些示例中，一个或多个处理器110还被配置成从相机传感器读出第一图像，其中作为应用第二掩模的一部分，一个或多个处理器110被配置成在读出第一图像期间应用第二掩模的至少一部分。在一些示例中，显示器的至少一部分(例如，区域120)是显示器的第一部分，并且其中掩模包括与显示器的第二部分(例如，显示器中不同于区域120的部分)中的一个或多个像素的阿尔法值不同的一个或多个阿尔法值。

在一些示例中，确定有效光圈是基于相机传感器的焦距和f值。例如，一个或多个处理器110可以将焦距除以f值。在一些示例中，一个或多个处理器110基于亮度值来确定有效光圈。在一些示例中，一个或多个处理器110基于自动曝光控制模块的输出来确定有效光圈。

在一些示例中，一个或多个处理器110还被配置成确定景深，其中一个或多个处理器110被配置成基于景深来确定有效光圈。在一些示例中，一个或多个处理器110基于深度数据来确定景深。例如，一个或多个处理器110可以被配置成在跟踪主要对象以获取深度数据时使用3D深度传感器126、深度图128等，并且可以在确定景深时使用深度数据。在一些示例中，一个或多个处理器110基于用户输入来确定景深，以调整景深效果。在一些示例中，调整景深效果的用户输入可以包括用户对触摸传感器124的输入，以选择散景模式、柔焦模式、人像模式、正常模式等。

在一些示例中，相机传感器是第一相机传感器，显示器的至少一部分是显示器的第一至少一部分，有效光圈是第一有效光圈，掩模是第一掩模，并且图像是第一图像。在一些示例中，一个或多个处理器110还耦接到第二相机传感器(例如，图2D的相机传感器238)，该第二相机传感器被设置成接收通过显示器的至少第二部分(例如，图2D的区域232C)的光。在一些示例中，一个或多个处理器110还被配置成确定第二相机传感器的第二有效光圈。在一些示例中，一个或多个处理器110还被配置成将第二掩模应用于显示器的至少第二部分中的一个或多个像素，其中第二掩模基于第二有效光圈。在一些示例中，一个或多个处理器110使用第二相机传感器捕捉第二图像。在一些示例中，第一有效光圈与第二有效光圈相同。在其他示例中，第一有效光圈不同于第二有效光圈。在一些示例中，一个或多个处理器110还被配置成融合第一图像和第二图像以创建合成图像。

通过确定有效光圈、基于有效光圈确定掩模并将掩模应用于相机传感器上方的显示器的至少一部分中的一个或多个像素，本公开的技术可以促进固定光圈相机传感器的焦距的有效改变，并且可以补偿将子像素电路设置于相机传感器上方引起的显示器色差。这些技术可以提高由屏下相机传感器捕捉的图像的图像质量，并且可以便于使用各种模式，诸如散景模式、柔焦模式、人像模式、正常模式等。

本公开包括以下条款。

条款1.一种图像捕捉设备，包括：存储器；和耦接到所述存储器和相机传感器的一个或多个处理器，所述相机传感器被设置成接收通过显示器的至少一部分的光，所述一个或多个处理器被配置成：确定所述相机传感器的有效光圈；将掩模应用于所述显示器的所述至少一部分中的一个或多个像素，其中所述掩模基于所述有效光圈；以及使用所述相机传感器捕捉图像。

条款2.根据条款1所述的图像捕捉设备，其中作为应用所述掩模的一部分，所述一个或多个处理器被配置成将为零的阿尔法值应用于所述显示器的所述至少一部分中的所述一个或多个像素，或者不寻址所述显示器的所述至少一部分中的所述一个或多个像素。

条款3.根据条款2所述的图像捕捉设备，其中所述有效光圈是第一有效光圈，所述掩模是第一掩模，所述图像是第一图像，以及所述一个或多个像素是第一一个或多个像素，并且其中所述一个或多个处理器还被配置成：确定所述相机传感器的第二有效光圈；基于所述第二有效光圈确定第二掩模；将所述第二掩模应用于所述显示器的所述至少一部分中的第二一个或多个像素；以及使用所述相机传感器捕捉第二图像，其中所述第二一个或多个像素包括不同于所述第一一个或多个像素的至少一个像素。

条款4.根据条款3所述的图像捕捉设备，其中所述一个或多个处理器还被配置成：从所述相机传感器读出所述第一图像，其中作为应用所述第二掩模的一部分，所述一个或多个处理器被配置成在读出所述第一图像期间应用所述第二掩模的至少一部分。

条款5.根据条款1-4中任一项所述的图像捕捉设备，其中所述显示器的所述至少一部分是所述显示器的第一部分，并且其中所述掩模包括不同于所述显示器的第二部分中的一个或多个像素的阿尔法值的一个或多个阿尔法值。

条款6.根据条款1-5中任一项所述的图像捕捉设备，其中确定所述有效光圈是基于所述相机传感器的焦距和f值。

条款7.根据条款1-6中任一项所述的图像捕捉设备，其中所述一个或多个处理器基于亮度值来确定所述有效光圈。

条款8.根据条款1-7中任一项所述的图像捕捉设备，其中所述一个或多个处理器基于自动曝光控制模块的输出来确定所述有效光圈。

条款9.根据条款1-8中任一项所述的图像捕捉设备，其中所述一个或多个处理器还被配置成：确定景深，其中所述一个或多个处理器被配置成基于所述景深来确定所述有效光圈。

条款10.根据条款9所述的图像捕捉设备，其中所述一个或多个处理器基于深度数据来确定所述景深。

条款11.根据条款9-10中任一项所述的图像捕捉设备，其中所述一个或多个处理器基于用户输入来确定所述景深以调整景深效果。

条款12.根据条款1-11中任一项所述的图像捕捉设备，其中所述图像捕捉设备是移动电话，包括所述显示器和所述相机传感器。

条款13.根据条款1-12中任一项所述的图像捕捉设备，其中所述相机传感器是第一相机传感器，所述显示器的所述至少一部分是所述显示器的第一至少一部分，所述有效光圈是第一有效光圈，所述掩模是第一掩模，所述图像是第一图像，所述一个或多个处理器还耦接到第二相机传感器，所述第二相机传感器被设置成接收通过显示器的至少第二部分的光，并且其中所述一个或多个处理器还被配置成：确定所述第二相机传感器的第二有效光圈；将第二掩模应用于所述显示器的所述至少第二部分中的一个或多个像素，其中所述第二掩模基于所述第二有效光圈；以及使用所述第二相机传感器捕捉第二图像。

条款14.根据条款13所述的图像捕捉设备，其中所述第一有效光圈不同于所述第二有效光圈，并且其中所述一个或多个处理器还被配置成：融合所述第一图像和所述第二图像以创建合成图像。

条款15.一种方法，包括：确定相机传感器的有效光圈，所述相机传感器被设置成接收通过显示器的至少一部分的光；将掩模应用于所述显示器的所述至少一部分中的一个或多个像素，其中所述掩模基于所述有效光圈；以及使用所述相机传感器捕捉图像。

条款16.根据条款15所述的方法，其中应用所述掩模包括将为零的阿尔法值应用于所述显示器的所述至少一部分中的所述一个或多个像素，或者不寻址所述显示器的所述至少一部分中的所述一个或多个像素。

条款17.根据条款16所述的方法，其中所述有效光圈是第一有效光圈，所述掩模是第一掩模，所述图像是第一图像，以及所述一个或多个像素是第一一个或多个像素，并且所述方法还包括：确定所述相机传感器的第二有效光圈；基于所述第二有效光圈确定第二掩模；将所述第二掩模应用于所述显示器的所述至少一部分中的第二一个或多个像素；以及使用所述相机传感器捕捉第二图像，其中所述第二一个或多个像素包括不同于所述第一一个或多个像素的至少一个像素。

条款18.根据条款17所述的方法，还包括：从所述相机传感器读出所述第一图像，其中应用所述第二掩模包括在读出所述第一图像期间应用所述第二掩模的至少一部分。

条款19.根据条款15-18中任一项所述的方法，其中所述显示器的所述至少一部分是所述显示器的第一部分，并且其中所述掩模包括不同于所述显示器的第二部分中的一个或多个像素的阿尔法值的一个或多个阿尔法值。

条款20.根据条款15-19中任一项所述的方法，其中确定所述有效光圈是基于所述相机传感器的焦距和f值。

条款21.根据条款15-20中任一项所述的方法，其中确定所述有效光圈基于亮度值。

条款22.根据条款15-21中任一项所述的方法，其中确定所述有效光圈基于自动曝光控制模块的输出。

条款23.根据条款15-22中任一项所述的方法，还包括：确定景深，其中确定所述有效光圈基于所述景深。

条款24.根据条款23所述的方法，其中确定所述景深是基于深度数据。

条款25.根据条款23-24中任一项所述的方法，其中确定所述景深是基于调整景深效果的用户输入。

条款26.根据条款15-25中任一项所述的方法，其中所述相机传感器是第一相机传感器，所述显示器的所述至少一部分是所述显示器的第一至少一部分，所述有效光圈是第一有效光圈，所述掩模是第一掩模，所述图像是第一图像，并且其中所述方法还包括：确定第二相机传感器的第二有效光圈，所述第二相机传感器被设置成接收通过所述显示器的至少第二部分的光；将第二掩模应用于所述显示器的所述至少第二部分中的一个或多个像素，其中所述第二掩模基于所述第二有效光圈；以及使用所述第二相机传感器捕捉第二图像。

条款27.根据条款26所述的方法，还包括：融合所述第一图像和所述第二图像以创建合成图像，其中所述第一有效光圈不同于所述第二有效光圈。

条款28.一种存储指令的非暂时性计算机可读存储介质，当执行所述指令时，使得一个或多个处理器：确定相机传感器的有效光圈，所述相机传感器被设置成接收通过显示器的至少一部分的光；将掩模应用于所述显示器的所述至少一部分中的一个或多个像素，其中所述掩模基于所述有效光圈；以及使用所述相机传感器捕捉图像。

条款29.一种图像捕捉设备，包括：用于确定相机传感器的有效光圈的部件，所述相机传感器被设置成接收通过显示器的至少一部分的光；用于将掩模应用于所述显示器的所述至少一部分中的一个或多个像素的部件，其中所述掩模基于所述有效光圈；和用于使用所述相机传感器捕捉图像的部件。

在一个或多个示例中，所描述的功能可以用硬件、软件、固件或其任意组合来实现。如果以软件实现，这些功能可以作为一个或多个指令或代码存储在计算机可读介质上或在其上传输，并由基于硬件的处理单元执行。计算机可读介质可以包括计算机可读存储介质，其对应于诸如数据存储介质之类的有形介质，或者通信介质，包括例如根据通信协议便于将计算机程序从一个地方传送到另一个地方的任何介质。这样，计算机可读介质通常可以对应于(1)有形的非暂时性的计算机可读存储介质，或者(2)诸如信号或载波的通信介质。数据存储介质可以是能够被一个或多个计算机或一个或多个处理器访问以检索用于实现本公开中描述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可以包括计算机可读介质。

作为示例而非限制，这种计算机可读存储介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储器、磁盘存储器或其他磁存储设备、闪存或可以用于存储指令或数据结构形式的所需程序代码并且可以由计算机访问的任何其他介质。同样，任何连接都被恰当地称为计算机可读介质。例如，如果使用同轴电缆、光纤电缆、双绞线、数字用户线路(DSL)或诸如红外线、无线电和微波的无线技术从网站、服务器或其他远程源传输指令，则同轴电缆、光纤电缆、双绞线、DSL或诸如红外线、无线电和微波的无线技术包括在介质的定义中。应当理解，计算机可读存储介质和数据存储介质不包括连接、载波、信号或其他暂态介质，而是指非暂态的有形存储介质。这里使用的磁盘和光盘包括压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中磁盘通常磁性地再现数据，而光盘用激光光学地再现数据。上述的组合也应该包括在计算机可读介质的范围内。

指令可以由一个或多个处理器执行，诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其他等效的集成或分立逻辑电路。因此，本文使用的术语“处理器”可以指任何前述结构或者适合于实现本文描述的技术的任何其他结构。这些技术也可以完全在一个或多个电路或逻辑元件中实现。

本公开的技术可以在多种设备或装置中实现，包括无线手机、集成电路(IC)或一组IC(例如，芯片组)。在本公开中描述了各种组件、模块或单元，以强调被配置成执行所公开的技术的设备的功能方面，但是不一定需要由不同的硬件单元来实现。相反，如上所述，各种单元可以结合适当的软件和/或固件由互操作硬件单元的集合来提供，包括如上所述的一个或多个处理器。

已经描述了各种示例。这些和其他示例在以下权利要求的范围内。