用于计算摄影的图像对齐

相关申请的交叉引用

本申请要求于2021年4月27日提交的标题为“IMAGE ALIGNMENT FORCOMPUTATIONAL PHOTOGRAPHY”的美国专利申请第17/241,742号的权益，其全部内容通过引用明确并入本文中。

技术领域

本公开的各方面总体上涉及图像处理。本公开的一些特征可以实现并提供计算摄影中的图像处理的改善。

背景技术

图像捕捉设备，即能够捕捉一个或多个数字图像(无论是静态图像照片还是视频的图像序列)的设备，可以被并入到各种设备中。通过示例的方式，图像捕捉设备可以包括独立数字相机或数字视频摄像机、配备相机的无线通信设备手机(handset)(诸如移动电话、蜂窝电话或卫星广播电话)、个人数字助理(PDA)、面板计算机或平板计算机、游戏设备、计算机设备(诸如网络相机、视频监控相机或具有数字成像或视频能力的其他设备)。

人眼具有大于一些电子图像捕捉设备的动态范围。也就是说，人眼可以看到比这些设备更大的黑暗(例如，黑色)到明亮(例如，白色)范围。在具有高对比度的场景中(例如，亮区和暗区之间的大差异)，由于设备的有限的动态范围，这些设备可以产生有明显缺陷的静态图像照片或视频。例如，场景的暗部的细节(诸如被阴影覆盖的人的脸)可能丢失并且看起来是没有面部细节的黑色像素，而场景的亮部的细节(诸如站在阳光下的人)可能被洗掉并且看起来是丢失或白色像素。

使用此类设备的图像捕捉的模式可以包括高动态范围(HDR)功能，以补偿设备的有限的动态范围。在HDR图像捕捉模式中，以不同的曝光长度捕捉场景的多个表示，并且不同的表示被组合。该组合可以包括在高光区域中从短曝光捕捉选择数据，以及在较暗区中从长曝光捕捉选择数据。多个曝光长度捕捉的组合改善了由图像捕捉设备捕捉的图像的所得动态范围。有了更高的动态范围，设备可以能够获得具有该场景低光部分的细节和该场景高光部分的细节的静态图像照片或视频。

在场景的多个表示的捕捉期间，物体可能移动(诸如当人从一侧移动到另一侧或鸟从头顶飞过时)，或者设备可能移动(诸如当用户摇晃设备时)。在不同时间捕捉的每一个表示可以具有位于这些表示内的不同位置处的该场景中的物体。对不同的曝光长度下的不同表示的图像帧进行组合，可以从物体在不同表示之间的位置不匹配而创造伪影(artifact)。一个此类伪影是使用高动态范围(HDR)功能生成的视频中的物体的晃动外观。

发明内容

问题的源头在于，对于不同的曝光时间捕捉的图像帧在时间上是分离的，并且可以具有带有不同斜坡(skew)的滚动快门。在对不同的表示进行融合之前，可以对图像帧应用校正，以针对全局对齐和滚动快门进行校正。此类校正可以减少在静态图像和视频两者中采用高动态范围(HDR)功能的摄影的输出中的伪影(诸如晃动)。在一个方面，在计算摄影(诸如高动态范围(HDR)处理和多帧降噪(MFNR)处理)中的图像帧的融合之前，电子图像稳定(EIS)可以对图像帧应用滚动快门校正(RSC)。涉及多个图像帧的计算摄影可以包括对于分别以第一和第二曝光时间捕捉的第一图像帧和第二图像帧的处理。对于对应于捕捉第一和第二图像帧的时间，可以分别确定有关图像捕捉设备的运动的第一和第二运动数据。可以使用第一和第二运动数据两者对第一和第二图像帧应用校正(诸如滚动快门校正(RSC))。经校正(例如，减少失真或不失真)的第一和第二图像帧然后可以被对齐和融合，以获得单个输出图像帧。输出图像帧可以具有由多个图像帧的融合得到的改善的外观，诸如输出图像帧具有高于单独的第一或第二图像帧中的任一个的动态范围(如在HDR处理中)，和/或低于单独的第一或第二图像帧中的任一个的噪声(如在MFNR处理中)。在一些方面，EIS可以应用于第一或第二图像帧中的任一个。在一些方面，HDR摄影可以包括在以不同曝光时间捕捉的三个或更多个图像帧中捕捉场景的三个或更多个表示，并且本文中所描述的方面适用于两个以上图像帧的处理。例如，可以基于第一、第二和第三运动数据对第三图像帧应用RSC校正，以形成第三经校正的图像帧，并且在融合处理中组合第一、第二和第三经校正的图像帧(每个是基于对应于在HDR处理中使用的所有图像帧的捕捉的运动数据而校正的)，用于生成HDR增强图像帧。

在一些方面，在图像帧捕捉的序列中，具有较短曝光时间的图像帧比具有较长曝光时间的图像帧更早地被捕捉。按照从较短曝光时间到较长曝光时间的顺序捕捉的两个或更多个图像帧可以通过使用运动数据的校正以及随后的经校正的图像帧的融合进行处理，以获得用于HDR摄影的输出。当在图像捕捉期间发生摇摄(panning)运动时，较早捕捉较短曝光帧可以是有用的。在摇摄期间(诸如从左到右)，短读出和摇摄移动的延迟导致短曝光图像帧反映与长曝光图像帧相比不同的场景。当此类图像帧被融合时，由于较长曝光图像帧和较短曝光图像帧在传感器的边缘没有重叠，这种不匹配导致边缘问题。首先捕捉较短曝光时间的图像帧以加速处理并且在EIS边缘裁剪后减少重叠不匹配，可以通过进一步减少晃动和其他伪影，进一步改善HDR增强图像帧的外观。

以下概述了本公开的一些方面，以提供对所讨论的技术的基本理解。本摘要并非对本公开的所有预期特征的广泛概述，并且既不旨在为了确定本公开所有方面的关键或重要元素，也不是旨在划定本公开的任何或所有方面的范围。其唯一目的是以摘要的形式呈现本公开的一个或多个方面的一些概念，作为后面呈现的更详细描述的前奏。

总体上，本公开描述了涉及具有图像传感器和图像信号处理器(ISP)的数字相机的图像处理技术。图像信号处理器可以被配置为控制来自一个或多个图像传感器图像帧的捕捉，并且处理来自一个或多个图像传感器的图像帧以在经校正的图像帧和/或HDR增强图像帧中生成场景的视图。在示例中，图像信号处理器可以响应于CPU上软件(诸如相机应用程序)的加载来接收捕捉图像帧序列的指令。图像信号处理器可以被配置为基于来自图像传感器的相应的校正图像产生单个输出帧流。单个输出帧流可以包括包含来自图像传感器的图像数据的图像帧，这些图像数据已经过校正(诸如通过滚动快门校正)以将图像帧与输出帧流中的其他图像帧(例如，由相同或不同图像传感器捕捉的先前帧)相匹配。根据本公开的方面，以HDR处理模式从一个或多个图像传感器捕捉具有不同曝光时间的图像帧进行融合，可以导致减少伪影。在以HDR处理模式捕捉图像帧期间切换图像传感器也可能生成伪影的外观，这同样可以通过采用本公开的技术的图像信号处理器或其他处理器来减少。

在表示场景的输出帧由图像信号处理器生成之后，场景的视图可以显示在设备显示器上，保存到存储设备中作为图片或作为视频的图片序列，通过网络发送，和/或打印到输出介质。例如，图像信号处理器可以被配置为从不同的图像传感器获得图像数据的输入帧(例如，像素值)，并且进而产生图像数据的对应的输出帧(例如，预览显示帧、静态图像捕捉、视频帧等)。在其他示例中，图像信号处理器可以将图像数据帧输出到各种输出设备和/或相机模块，以用于进一步处理，诸如用于3A参数同步(例如，自动聚焦(AF)、自动白平衡(AWB)和自动曝光控制(AEC))、经由输出帧产生视频文件、配置帧用于显示、配置帧用于存储等。也就是说，图像信号处理器可以从一个或多个图像传感器获得传入帧，每个图像传感器耦合到一个或多个相机镜头，并且进而可以产生输出帧流并将输出帧流输出到各个输出目的地。在此类示例中，图像信号处理器可以被配置为产生输出帧流，该输出帧流可以具有减少的由于图像捕捉设备的运动而造成的伪影。

在本公开的一个方面中，一种用于图像处理的方法，例如在相机应用的HDR或MFNR摄影模式中，或者在使用计算摄影对先前捕捉的图像帧进行后处理中，包括接收第一图像帧和第二图像帧；基于第一图像帧、对应于第一图像帧的第一运动数据和对应于第二图像帧的第二运动数据确定经校正的第一图像帧；基于第二图像帧、第一运动数据和第二运动数据确定经校正的第二图像帧；确定用以将经校正的第一图像帧对齐到经校正的第二图像帧的对齐校正；和/或基于第一图像帧、第二图像帧和对齐校正确定经融合的图像帧。在一些方面，该方法可以被执行用于HDR摄影，其中第一图像帧和第二图像帧是使用不同的曝光时间、不同的光圈、不同的镜头或其他不同的特性捕捉的，当两个图像帧被组合时，这些其他不同的特性可以导致经融合的图像的改善的动态范围。在一些方面，该方法可以被执行用于MFNR摄影，其中第一图像帧和第二图像帧是使用相同或不同的曝光时间来捕捉的。在某些方面，用于计算处理的方法可以包括接收以第一曝光时间捕捉的第一图像帧和以不同于第一曝光时间的第二曝光时间捕捉的第二图像帧；基于第一图像帧、对应于捕捉第一图像帧的第一图像传感器的运动的第一运动数据和对应于捕捉第二图像帧的第二图像传感器的运动的第二运动数据确定经校正的第一图像帧；基于第二图像帧、第一运动数据和第二运动数据确定经校正的第二图像帧；确定用以将经校正的第一图像帧对齐到经校正的第二图像帧的对齐校正；和/或基于第一图像帧、第二图像帧和对齐校正确定经融合的图像帧。经校正的第一和第二图像帧可以在对齐和融合之前被校正，以减少图像帧中的失真(诸如通过减少运动模糊、减少滚动快门失真和/或以其他方式减少失真)。第一和第二图像传感器可以是相同或不同的图像传感器。在一些方面，其中第一和第二图像传感器是不同的，图像传感器可以是移动设备上的镜头集群的一部分。

在本公开的附加的方面，公开了一种装置，该装置包括至少一个处理器和耦合到该至少一个处理器的存储器。至少一个处理器被配置为执行本文中所述的任何方法或技术。例如，至少一个处理器可以被配置为执行步骤，包括接收捕捉的第一图像帧(诸如使用第一曝光时间)和第二图像帧(诸如使用与第一曝光时间不同或相同的第二曝光时间)；基于第一图像帧、对应于第一图像帧的第一运动数据和对应于第二图像帧的第二运动数据确定经校正的第一图像帧；基于第二图像帧、第一运动数据和第二运动数据确定经校正的第二图像帧；确定用以将经校正的第一图像帧对齐到经校正的第二图像帧的对齐校正；和/或基于第一图像帧、第二图像帧和对齐校正确定经融合的图像帧。在一些方面，装置被配置为执行步骤，包括接收以第一曝光时间捕捉的第一图像帧和以不同于第一曝光时间的第二曝光时间捕捉的第二图像帧；基于第一图像帧、对应于捕捉第一图像帧的第一图像传感器的运动的第一运动数据和对应于捕捉第二图像帧的第二图像传感器的运动的第二运动数据确定经校正的第一图像帧；基于第二图像帧、第一运动数据和第二运动数据确定经校正的第二图像帧；确定用以将经校正的第一图像帧对齐到经校正的第二图像帧的对齐校正；和/或基于第一图像帧、第二图像帧和对齐校正确定经融合的图像帧。

至少一个处理器可以包括图像信号处理器或处理器，其包括用于相机控制和/或处理的特定功能(诸如确定第一图像帧和/或第二图像帧的第一曝光时间和/或第二曝光时间的持续时间)。至少一个处理器还可以包括或替代地包括应用处理器。本文中所描述的方法和技术可以完全地由图像信号处理器或应用处理器执行，或者各种操作可以在图像信号处理器和应用处理器之间分开，并且在一些方面，还可以跨附加的处理器分开。

装置可以包括一个、两个或更多个图像传感器(诸如包括第一图像传感器)。当存在多个图像传感器时，第一图像传感器可以具有比第二图像传感器更大的视场(FOV)，或者第一图像传感器可以具有与第二图像传感器不同的灵敏度或不同的动态范围。在一个示例中，第一图像传感器可以是广角图像传感器，以及第二图像传感器可以是远距图像传感器(tele image sensor)。在另一个示例中，第一传感器被配置为通过具有第一光轴的第一镜头获得图像，第二传感器被配置为通过具有不同于第一光轴的第二光轴的第二镜头获得图像。附加地或替代地，第一镜头可以具有第一放大倍率，第二镜头可以具有不同于第一放大倍率的第二放大倍率。此配置可以与移动设备上的镜头群集一起出现(诸如其中多个图像传感器和相关联的镜头位于移动设备的前侧或后侧上的偏移位置)。可以包括具有更大、更小或相同视场的附加的图像传感器。本文中所描述的图像校正技术可以被应用于从多传感器设备中的图像传感器中的任一个捕捉的图像帧。

在本公开的附加的方面，公开了一种被配置用于图像处理和/或图像捕捉的设备。装置包括用于捕捉图像帧的部件。该装置还包括用于捕捉表示场景的数据的一个或多个部件(诸如图像传感器(包括电荷耦合器件(CCD)、拜尔滤波器传感器、红外(IR)检测器、紫外(UV)检测器、互补金属氧化物半导体(CMOS)传感器)、飞行时间检测器)。该装置还可以包括用于将光线累积和/或聚焦到一个或多个图像传感器中的一个或多个部件(包括简单镜头、复合镜头、球面镜头和非球面镜头)。这些组件可以被控制以捕捉输入到本文中所描述的图像处理技术的第一和/或第二图像帧。

在本公开的附加的方面，一种非暂时性计算机可读介质存储指令，当该指令由处理器执行时，使处理器执行操作，包括本文中所描述的方法和技术中描述的那些操作。例如，操作可以包括接收捕捉的第一图像帧(诸如使用第一曝光时间)和第二图像帧(诸如使用与第一曝光时间相同或不同的第二曝光时间)；基于第一图像帧、对应于第一图像帧的第一运动数据和对应于第二图像帧的第二运动数据确定经校正的第一图像帧；基于第二图像帧、第一运动数据和第二运动数据确定经校正的第二图像帧；确定用以将经校正的第一图像帧对齐到经校正的第二图像帧的对齐校正；和/或基于第一图像帧、第二图像帧和对齐校正确定经融合的图像帧。在一些方面，操作可以包括接收以第一曝光时间捕捉的第一图像帧和以不同于第一曝光时间的第二曝光时间捕捉的第二图像帧；基于第一图像帧、对应于捕捉第一图像帧的第一图像传感器的运动的第一运动数据和对应于捕捉第二图像帧的第二图像传感器的运动的第二运动数据确定经校正的第一图像帧；基于第二图像帧、第一运动数据和第二运动数据确定经校正的第二图像帧；确定用以将经校正的第一图像帧对齐到经校正的第二图像帧的对齐校正；和/或基于第一图像帧、第二图像帧和对齐校正确定经融合的图像帧。第一和第二图像传感器可以是相同的或不同的图像传感器。

通过结合附图阅读以下对具体示例性方面的描述，其他方面、特征和实施方案对于本领域普通技术人员将变得显而易见。虽然可以相对于以下的某些方面和附图来讨论特征，但是各个方面可以包括本文中所讨论的有利特征中的一个或多个。换言之，虽然一个或多个方面可以被讨论为具有某些有利的特征，但是根据各个方面也可以使用此类特征中的一个或多个。以类似的方式，虽然示例性方面可以在下面作为设备、系统或方法方面来讨论，但是示例性方面可以在各种设备、系统和方法中实施。

方法可以作为计算机程序代码嵌入在计算机可读介质中，该计算机程序代码包括使处理器执行该方法的步骤的指令。在一些实施例中，处理器可以是移动设备的一部分，该移动设备包括被配置为通过多个网络连接中的第一网络连接发送数据的第一网络适配器；以及耦合到第一网络适配器和存储器的处理器。

上文已经对本发明实施例的某些特征和技术优点进行了相当广泛的概述，以便可以更好地理解下面的详细描述。下文将描述形成本发明权利要求的主题的附加的特征和优点。本领域普通技术人员应该理解，所公开的概念和具体实施例可以容易地用作修改或设计用于实现相同或相似目的的其他结构的基础。本领域的普通技术人员还应该认识到，这种等同的结构并不脱离所附权利要求中阐述的本发明的精神和范围。当结合附图考虑时，从以下描述中将更好地理解附加的特征。然而，应该清楚地理解，附图中的每一个仅仅是为了例示和描述的目的而提供的，并不旨在限制本发明。

附图说明

通过参照以下附图，可以实现对本公开的本质和优点的进一步理解。在附图中，相似的组件或特征可以具有相同的附图标记。此外，相同类型的各个组件可以通过在附图标记后加上破折号和第二标记来区分，第二标记用于区分相似的组件。如果在说明书中仅使用第一附图标记，则该描述适用于具有相同第一附图标记的类似组件中的任何一个，而不管第二附图标记如何。

图1是被配置为执行本公开中所描述示例技术中的一个或多个的计算设备的框图。

图2A示出了根据本公开的一些方面捕捉用于高动态范围(HDR)处理的图像帧的框图。

图2B示出了根据本公开的一些方面捕捉用于高动态范围(HDR)处理的图像帧的框图。

图3是示出根据本公开的一些方面使用交错HDR(sHDR)读出来捕捉用于HDR摄影的多个图像帧的时序图。

图4是示出根据本公开的一些方面使用交错HDR(sHDR)读出来捕捉用于HDR摄影的多个图像帧的时序图。

图5A是示出根据本公开的一些方面的在对齐和融合之前进行校正的计算处理的框图。

图5B是示出根据本公开的一些方面的在对齐和融合之前进行校正的高动态范围(HDR)处理的框图。

图6A是示出根据本公开的一些方面的捕捉用于计算处理的图像帧的时序图。

图6B是示出根据本公开的一些方面的具有在较长曝光图像帧之前捕捉的较短曝光图像帧的两个图像捕捉帧的计算处理的框图。

图7是示出根据本公开的一些方面的在对齐和融合之前对图像帧进行校正的计算处理的方法的流程图。

图8是示出根据本公开的一些方面的确定运动数据以用于在计算处理中对齐输入图像帧的方法的流程图。

图9是示出根据本公开的一些方面的用于支持高动态范围(HDR)摄影的图像信号处理器的模块的框图。

图10是示出根据本公开的一些方面的用于支持高动态范围(HDR)摄影的图像捕捉设备的模块的框图。

各个附图中相似的附图标记和名称指示相似的元素。

具体实施方式

下面结合附图阐述的详细描述旨在作为对各种配置的描述，并不旨在限制本公开的范围。相反，为了提供对本发明主题的透彻理解的目的，详细描述包括具体细节。对于本领域技术人员将显而易见，并非在每种情况下都需要这些具体细节，并且在一些实例中，为了呈现的清晰，众所周知的结构和组件以框图形式示出。

本公开提供了支持用于摄影和视频的捕捉图像帧的图像处理的系统、装置、方法和计算机可读介质。在本公开中描述的主题的特定实施方案可以被实施以实现潜在的优点或益处，诸如通过减少在HDR摄影模式或捕捉多个图像帧的其他摄影模式(其中物体可能在图像帧之间未对齐)下获得的图像帧序列中的伪影，来改善图像质量。该系统、装置、方法和计算机可读介质可以嵌入图像捕捉设备中(诸如移动电话、平板计算设备、膝上型计算设备、其他计算设备或数字相机)。

用于使用多个图像传感器来捕捉图像帧的示例设备(诸如智能电话)，可以包括在设备的背面(例如，与用户显示器相对的一侧)或正面(例如，与用户显示器相同的一侧)上的两个、三个、四个或更多个相机的配置。具有多个图像传感器的设备包括一个或多个图像信号处理器(ISP)、计算机视觉处理器(CVP)或用于处理由图像传感器捕捉的图像的其他合适的电路。一个或多个图像信号处理器可以向存储器和/或处理器(诸如应用处理器、图像前端(IFE)、图像处理引擎(IPE)或其他合适的处理电路)提供经处理的图像帧，用于进一步处理(诸如编码、存储、传输或其他操纵)。

如本文中所使用的，图像传感器可以指图像传感器本身和耦合到图像传感器用于生成图像帧的任何特定其他组件，以用于由图像信号处理器或其他逻辑电路处理或存储在存储器中，无论是短期缓冲器还是长期非易失性存储器。例如，图像传感器可以包括相机的其它组件，包括快门、缓冲器或用于访问图像传感器的单独像素的其它读出电路。图像传感器还可以指用于将模拟信号转换成用于图像帧的数字表示的模拟前端或其他电路。

在以下描述中，阐述了许多具体细节，例如具体组件、电路和处理的示例，以提供对本公开的透彻理解。如本文中所使用的术语“耦合”意味着直接连接到或通过一个或多个中间组件或电路连接。此外，在下面的描述中，用于解释的目的，阐述了特定的术语，以提供对本公开的透彻理解。然而，对于本领域技术人员将显而易见的，可以并不需要这些具体细节来实践本文中所公开的教导。在其他实例中，众所周知的电路和设备以框图形式示出，以避免模糊本公开的教导。以下详细描述的一些部分是按照程序、逻辑块、处理以及对计算机存储器内的数据位的操作的其他符号表示来呈现的。在本公开中，程序、逻辑块、处理等被认为是导致所需结果的步骤或指令的自一致序列。这些步骤是需要对物理量进行物理操纵的步骤。通常，尽管不是必须的，这些量采用能够在计算机系统中存储、传输、组合、比较和以其他方式操纵的电或磁信号的形式。

然而，应该记住，所有这些和类似的术语都与适当的物理量相关联，并且仅仅是应用于这些量的方便的标签。除非特别声明，否则从下面的讨论中显而易见的是，在整个本申请中，使用诸如“访问”、“接收”、“发送”、“使用”、“选择”、“确定”、“归一化”、“相乘”、“平均”、“监控”、“比较”、“应用”、“更新”、“测量”、“导出”、“解决”、“生成”等术语的讨论指的是计算机系统或类似的电子计算设备的动作和处理，其操纵并将表示为计算机系统的寄存器和存储器内以物理(电子)量的数据转换为类似地表示为计算机系统寄存器、存储器或其他此类信息存储、传输或显示设备内以物理量表示的其他数据。

在附图中，单个块可以被描述为执行一个或多个功能。由该块执行一个或多个功能可以在单个组件中或跨多个组件来执行，和/或可以使用硬件、软件或硬件和软件的组合来执行。为了清楚地示出硬件和软件的这种可互换性，下文通常根据它们的功能来描述各种例示性的组件、块、模块、电路和步骤。这种功能实施为硬件还是软件取决于特定的应用和施加在整个系统上的设计约束。熟练的技术人员可以针对每个特定的应用以不同的方式实施所描述的功能，但是这样的实施方案决定不应该被解释为导致脱离本公开的范围。此外，示例设备可以包括除了所示的那些组件之外的组件，包括众所周知的组件(诸如处理器、存储器等)。

本公开的方面适用于任何合适的电子设备，包括或耦合到能够捕捉图像帧(或“帧”)的两个或更多个图像传感器。此外，本公开的方面可以在具有或耦合到相同或不同能力和特性(诸如分辨率、快门速度、传感器类型等)的图像传感器的设备中实施。此外，本公开的方面可以在用于处理图像帧的设备中实施，无论该设备是否包括或耦合到图像传感器(诸如可以检索存储的图像以进行处理的处理设备，包括云计算系统中存在的处理设备)。

术语“设备”和“装置”不限于一个或特定数量的物理物体(诸如一个智能电话、一个相机控制器、一个处理系统等)。如本文中所使用的，设备可以是具有一个或多个零部件的任何电子设备，这些零部件可以实现本公开的至少一些部分。虽然以下描述和示例使用术语“设备”来描述本公开的各个方面，但是术语“设备”不限于特定的配置、类型或物体的数量。如本文中所使用的，装置可以包括用于执行所描述的操作的设备或设备的一部分。

图1示出了用于从一个或多个图像传感器执行图像捕捉的示例设备100的框图。设备100可以包括或以其他方式耦合到图像信号处理器112，图像信号处理器112用于处理来自一个或多个图像传感器(诸如第一图像传感器101、第二图像传感器102和深度传感器140)的图像帧。在一些实施方案中，设备100还包括或耦合到处理器104和存储指令108的存储器106。设备100还可以包括或耦合到显示器114和多个输入/输出(I/O)组件116(诸如触摸屏界面和/或物理按钮)。设备100还可以包括或耦合到设备100的电源118(诸如电池或将设备100耦合到能源的组件)。设备100还可以包括或耦合到图1中未示出的附加的特征或组件。在一个示例中，可以包括用于无线通信设备的无线接口，该无线接口可以包括多个收发器和基带处理器。在另一个示例中，一个或多个其他传感器(诸如全球定位系统(GPS)接收器)可以被包括在该设备中或者耦合到该设备。在进一步的示例中，将模拟图像帧数据转换成数字图像帧数据的模拟前端可以耦合在图像传感器101和102与图像信号处理器112之间。

该设备可以包括或耦合到传感器集线器150，用于与传感器相接以接收关于设备100的移动的数据、关于设备100周围的环境的数据和/或其他非相机传感器数据。此类非相机传感器可以集成在设备100中和/或耦合到设备100。一个示例非相机传感器是陀螺仪，一种被配置为用于测量旋转、定向和/或角速度以生成运动数据的设备。另一个示例非相机传感器是加速度计，一种被配置为用于测量加速度的设备，其也可以用于通过适当地积分测量的加速度来确定速度和行进的距离，并且加速度、速度和/或距离中的一个或多个可以被包括在生成的运动数据中。在一些方面，电子图像稳定系统(EIS)中的陀螺仪可以耦合到传感器集线器或者直接耦合到图像信号处理器112。

图像信号处理器112可以从到图像传感器101、102的本地总线连接或通过其它连接(诸如到外部图像传感器的有线接口或到远处图像传感器的无线接口)接收图像数据，例如用于形成图像帧。在一些实施例中，设备100可以包括包含第一图像传感器101和对应的第一镜头131的第一相机，以及包含第二图像传感器102和对应的第二镜头132的第二相机。镜头131和132中的每一个可以分别具有相关联的自动聚焦(AF)系统133和134，AF系统133和134调整镜头131和132以在距传感器101和102一定场景深度的特定焦平面上聚焦。AF系统133和134可以由深度传感器140辅助和/或通过与传感器101和102捕捉的图像帧相关联的元数据向设备100的其他组件(诸如ISP 112)提供深度信息。在一些方面，设备100可以包括从位于远离设备100的图像传感器101和102接收图像数据的接口。设备100可以对来自位于设备100内或与设备100分离的图像传感器的组合的图像数据执行图像处理。

第一图像传感器101和第二图像传感器102被配置为捕捉一个或多个图像帧。图像传感器101和102还可以分别包括或耦合到用于聚焦光的一个或多个镜头131和132、用于接收光的一个或多个光圈、用于在曝光窗口之外时阻挡光的一个或多个快门、用于过滤特定频率范围之外的光的一个或多个色彩滤波器阵列(CFA)、用于将模拟测量转换成数字信息的一个或多个模拟前端、或用于成像的其他合适的组件。例如，第一图像传感器101可以耦合到第一镜头131，并且第二图像传感器102可以耦合到第二镜头132。第一镜头131和第二镜头132可以具有不同的视场(诸如当第一镜头131是超广角(UW)镜头而第二镜头132是广角(W)镜头时)。设备100还可以包括闪光灯、深度传感器、GPS或用于成像或支持成像应用的其他合适的组件或诸如通过传感器集线器150和/或输入/输出组件116耦合到闪光灯、深度传感器、GPS或用于成像或支持成像应用的其他合适的组件。

多个图像传感器可以包括超广角(高视场(FOV))、广角、远距(tele)和超远距(ultra-tele)(低FOV)传感器的组合。也就是说，每个图像传感器可以通过硬件配置和/或软件设置来配置，以获得不同但重叠的视场。在一个配置中，图像传感器配置有不同的镜头，这些镜头具有不同的放大倍率，从而产生不同的视场。传感器可以被配置为使得UW传感器具有比W传感器更大的FOV，W传感器具有比T传感器更大的FOV，T传感器具有比UT传感器更大的FOV。例如，被配置用于广角FOV的传感器可以捕捉64-84度的范围内的视场，被配置用于超广角FOV的传感器可以捕捉100-140度的范围内的视场，被配置用于远距FOV的传感器可以捕捉10-30度的范围内的视场，被配置用于超远距FOV的传感器可以捕捉1-8度的范围内的视场。

图像信号处理器112处理由图像传感器101和102捕捉的图像帧。虽然图1将设备100示出为包括耦合到图像信号处理器112的两个图像传感器101和102，但是任意数量的图像传感器都可以耦合到图像信号处理器112。在一些方面，深度传感器(诸如深度传感器140)可以耦合到图像信号处理器112，并且来自深度传感器的输出以与图像传感器101和102的输出类似的方式被处理。此外，对于设备100，可以存在任意数量的附加图像传感器或图像信号处理器。在一些实施例中，图像信号处理器112可以执行来自存储器的指令(诸如来自存储器106的指令108、存储在耦合到图像信号处理器112或包括在图像信号处理器112中的单独存储器中的指令、或由处理器104提供的指令)。此外，或者替代地，图像信号处理器112可以执行软件和/或可以包括特定的硬件(诸如一个或多个集成电路(IC))来执行本公开中描述的一个或多个操作。

在一些实施方案中，存储器106可以包括存储计算机可执行指令108的非瞬态或非暂时性计算机可读介质，以执行本公开中所描述的一个或多个操作的全部或一部分。在一些实施方案中，指令108包括要由设备100执行的用于生成图像或视频的相机应用(或其他合适的应用)。指令108还可以包括由设备100执行的其他应用或程序(诸如操作系统和除了图像或视频生成之外的特定应用)。相机应用的执行(诸如由处理器104执行)可以使设备100使用图像传感器101和102和图像信号处理器112来生成图像。图像信号处理器112也可以访问存储器106以存储经处理的帧，或者处理器104可以访问存储器106以获得经处理的帧。在一些实施例中，设备100不包括存储器106。例如，设备100可以是包括图像信号处理器112的电路，并且存储器可以在设备100的外部。设备100可以耦合到存储器，并且被配置为访问存储器，以写入用于显示或长期存储的输出帧。

在一些实施例中，图像信号处理器112或处理器104中的至少一个执行指令以执行本文中所描述的各个操作。例如，指令的执行可以指示图像信号处理器112开始或结束捕捉图像帧或图像帧序列，其中该捕捉包括从如本文中所描述的捕捉图像帧生成的HDR增强图像帧。在一些实施例中，处理器104可以包括能够执行一个或多个软件程序的脚本或指令(诸如存储在存储器106中的指令108)的一个或多个通用处理器。例如，处理器104可以包括被配置为执行存储在存储器106中的相机应用(或用于生成图像或视频的其他合适的应用)的一个或多个应用处理器。在执行相机应用时，处理器104可以被配置为指示图像信号处理器112参考图像传感器101或102执行一个或多个操作。例如，相机应用可以接收捕捉命令，基于该命令，包括图像帧序列的视频被捕捉并通过本文中所描述的一个或多个方法进行处理，以通过在融合之前对图像帧应用滚动快门校正来减少伪影，以生成HDR增强图像帧。相机应用可以允许启用和禁用HDR摄影模式，其中当启用HDR摄影时，可以应用本文中所公开的技术。相机应用可以额外地或替代地包括基于某些标准，诸如通过检测高于亮光强度阈值的像素数量超过第一阈值和/或检测低于暗光强度阈值的像素数量超过第二阈值来检测场景中的高动态范围，以自动确定何时启用或禁用HDR摄影，包括本文中所公开的技术。处理器104执行相机应用之外的指令108也可以使设备100执行任意数量的功能或操作。在一些实施例中，除了执行软件以使设备100执行多个功能或操作(诸如本文中所描述的操作)的能力之外，处理器104还可以包括IC或其他硬件。在一些其他实施例中，设备100不包括处理器104，诸如当所有描述的功能都被配置在图像信号处理器112中时。

在一些实施例中，显示器114可以包括一个或多个合适的显示器或屏幕，允许用户交互和/或向用户呈现项目(诸如由图像传感器101和102捕捉的图像帧的预览)。在一些实施例中，显示器114是触摸敏感显示器。I/O组件116可以是或包括从用户接收输入(诸如命令)并向用户提供输出的任何合适的机制、接口或设备。例如，I/O组件116可以包括(但不限于)图形用户界面(GUI)、键盘、鼠标、麦克风、扬声器、可挤压边框(squeezable bezel)、一个或多个按钮(诸如电源按钮)、滑块、开关等。

虽然被示为经由处理器104彼此耦合，但是处理器104、存储器106、图像信号处理器112、显示器114和I/O组件116可以以其他各种布置彼此耦合(诸如经由一个或多个本地总线，为了简单起见未示出)。虽然图像信号处理器112被示出为与处理器104分离，但是图像信号处理器112可以是处理器104的核心，该核心是包括在片上系统(SoC)中的应用处理器单元(APU)或者以其他方式包括在处理器104中。虽然在本文的示例中提及设备100用于执行本公开的各方面，但是一些设备组件可能没有在图1中示出以防止模糊本公开的方面。附加地，其他组件、多个组件或组件的组合可以被包括在用于执行本公开的各方面的合适的设备中(诸如参考图9和图10所描述的)。因此，本公开不限于特定的设备或组件配置，包括设备100。

多传感器设备(诸如装置100)可以基于用户请求或满足的特定标准，从一个图像传感器切换到另一个图像传感器(诸如在传感器101和102之间)。例如，用户可以通过在正访问传感器101和102的相机应用中启动肖像模式来指示从对应于传感器101的广角(W)镜头切换到对应于传感器102的远距镜头(T)的请求。作为另一个示例，用户可以改变相机应用中的缩放(zoom)水平，这使图像信号处理器112基于对应于传感器101和102的镜头的特性从传感器101切换到传感器102。作为进一步的示例，改变场景特征(诸如光水平)可以使图像信号处理器112从传感器101切换到传感器102，以实现更好的光灵敏度。在一些方面，HDR摄影模式的激活可以引起切换到图像传感器101或102中具有最高动态范围的特定一个。

在这些示例的任何一个中，伪影可能出现在所捕捉的图像帧的融合输出中，其中图像中的特征在被融合的图像帧之间存在一些移动。这里提及的缺点仅仅是代表性的，并且被包括以突出发明人已经识别的关于现有设备并且寻求改进的问题。下文所描述的设备的方面可以解决缺点以及本领域中已知的其它缺点中的一些或全部。本文中所描述的改进的设备的各方面可以呈现不同于以上所描述的那些优点的其它优点，并且用在不同于以上所描述的那些优点的其它应用中。

在设备100的一个方面，从图像传感器101和102中的一个或多个捕捉的图像帧可以在被融合以形成HDR增强图像帧之前被校正(诸如利用滚动快门校正(RSC))。例如，在由传感器101和102捕捉图像帧期间，来自一个传感器的输入图像帧可以基于表示图像捕捉设备100的运动的运动数据来校正。使用参照图2A-图2B的HDR图像传感器并且使用参照图3-图4通用图像传感器来描述用于输入到HDR处理技术的图像帧的捕捉。

图2A示出根据本公开的一些方面的被捕捉用于高动态范围(HDR)处理的图像帧的框图。在一些方面，设备可以捕捉具有交错行的图像帧205a，其中每一行对应于不同的曝光。例如，第一像素阵列215可以对应于第一曝光长度，第二像素阵列220可以对应于第二曝光长度。设备可以使用第一和第二像素阵列的不同图案用于从单个图像传感器捕捉多个图像帧，并且在图2B中示出了另一个这样的示例。图2B示出根据本公开的一些方面的被捕捉用于高动态范围(HDR)处理的图像帧的框图。可以使用可对应于第一曝光长度的第一像素阵列215与可对应于第二曝光长度的第二像素阵列220之间的之字形(zig-zag)图案来捕捉图像帧205b。在一些方面，设备可以支持具有多于两个曝光长度的图像捕捉。例如，图像帧205可以作为具有不同曝光长度的三个像素阵列被捕捉(诸如通过包括图像传感器中每第三行的像素阵列捕捉)。

在使用两个或更多个曝光长度捕捉图像时，设备(诸如具有HDR传感器的设备)可以使用对应于不同曝光长度的像素阵列来构建最终图像。在一些示例中，这种重建可以被称为动态范围补偿(DRC)。例如，具有不同曝光的两个或更多个快照可以经由图像处理来组合(诸如在图像信号处理器112中)。在一些方面，设备可以包括HDR重建模块，以组合捕捉的图像帧或具有不同曝光长度的多个像素阵列的图像帧，如图2A-图2B所示。例如，应用HDR重建的设备可以以较短曝光捕捉第一像素阵列215，并且可以以较长曝光捕捉第二像素阵列220。当构建用于HDR摄影输出的最终图像时，设备可以确定来自第一像素阵列215的第一像素曝光不足，并且基于该确定，可以换为使用来自第二像素阵列220的以较长曝光捕捉的第二像素。

图2A-图2B示出了从HDR图像传感器同时捕捉多个图像帧。用于HDR摄影的多个图像帧的捕捉可以替代地在不同时间从图像传感器进行，如参照图3-图4所描述的。图3是示出根据本公开的一些方面使用交错HDR(sHDR)读出，来捕捉用于HDR摄影的多个图像帧的时序图。HDR图像捕捉在时间302以重置图像传感器开始，在时间304执行第一读出，在时间306再次重置，并在时间308执行第二读出。在时间304的读出发生在时间302的重置之后的第一曝光时间N。在时间308的读出发生在时间306的重置之后的第二曝光时间S。曝光时间N和S可以是不同的，并且从在时间304和308的读出中得到的图像帧融合成用于HDR摄影的输出帧。在时间304和308的读出可以跨越对应于图像传感器的不同部分的滚动读出的持续时间。例如，在304A处的时间304的开始可以对应于图像传感器的第一行的读出，此后后续行被顺序地读出，直到图像传感器的最后一行在时间304B处被读出。整个图像传感器的读出不是瞬间执行的，而是跨与图像传感器的单独部分的读出的速度成比例的持续时间。

图4中示出根据本公开的方面的用于获得用于HDR处理的图像帧的替代的捕捉技术。图4是示出根据本公开的一些方面，使用多帧高动态范围(MFHDR)读出，来捕捉用于HDR摄影的多个图像帧的时序图。HDR图像捕捉在时间402以重置图像传感器开始，在时间404执行第一读出，在时间406再次重置，并在时间408执行第二读出。在时间404的读出发生在时间402的重置之后的第一曝光时间N。在时间408的读出发生在时间406的重置之后的第二曝光时间S。曝光时间N和S可以是不同的，并且从在时间404和408的读出中得到的图像帧融合成用于HDR摄影的HDR增强图像帧。

全局运动可以存在于如图2A、图2B、图3和图4中所描述的捕捉的图像帧中，并且该运动可以在所确定的HDR增强图像帧中引起伪影。参照图3，运动(全局和局部)的一个示例可以由物体的运动引起，其改变物体在场景中在时间304和308之间的位置。再次参照图3，运动的另一个示例可以由图像传感器在时间304和308之间的运动引起，该运动引起场景中物体的外观运动。滚动快门运动也可以生成运动。滚动快门指的是在图像传感器的单独部分(例如单独的行)的读出期间由于场景变化而产生的伪影。再次参照图3，滚动快门误差可以由在时间304A和304B之间的图像传感器的移动或场景中物体的移动引起。

可以使用电子图像稳定(EIS)，基于关于的图像捕捉设备的运动的运动数据，将从图像传感器输出用于HDR摄影的图像帧序列彼此对齐。一种示例的帧序列可以包括交替的长曝光和短曝光图像帧。然而，如果EIS基于长曝光时间戳对齐图像帧，则两个相邻短帧之间的空间位置差可能更大。类似地，如果EIS基于短曝光时间戳对齐图像帧，则两个相邻长帧之间的空间位置差可能更大。这些差在记录的视频中表现为晃动伪影，时间点之间的空间运动差基于滚动快门差而被进一步放大。

通过使用对应于长曝光和短曝光捕捉两者期间的运动的运动数据在长曝光和短曝光帧之间应用校正(诸如滚动快门校正(RSC))，可以减少由运动引起的伪影。更一般地，应用于帧序列中的一个图像帧的RSC可以基于对应于正被校正的图像帧的运动数据以及基于关于图像帧序列中的一个或多个其他图像帧的运动数据。运动信息可以从基于特征点的图像内容分析(诸如从计算机视觉处理)、从陀螺仪数据或从运动检测器中提取。然后，在融合形成HDR增强图像帧之前，可以对齐校正的图像帧。在一些方面，EIS可以应用于图像帧(诸如较长曝光或较短曝光图像帧)中一些或全部，以进一步平滑稳定。

图5A示出了用于在对齐和融合之前对图像帧应用滚动快门校正(RSC)的一个示例系统。图5A是示出根据本公开的一些方面的在对齐和融合之前进行校正的高动态范围(HDR)处理的框图。第一图像帧502和第二图像帧504可以被输入到HDR处理500。图像帧502和504的缩放版本可以分别被输入到滚动快门校正块512A和512B。RSC块512A-B可以基于从电子图像稳定(EIS)块510接收的运动数据应用校正，以产生第一经校正的图像帧514A和第二经校正的图像帧514B。在一些方面，可替代地或除了EIS陀螺仪之外，还可以在RSC块512A-B中使用其他运动数据。对齐校正516确定对齐校正(诸如对齐矩阵和/或对齐网格(grid))，以基于第一和第二经校正的图像帧514A和514B来对齐第一和第二图像帧502和504。在一些方面，对齐可以包括确定全局运动的第一方向以及确定对齐校正，该对齐校正通过在与第一方向相反的第二方向上和运动量成比例地移动(shift)经校正的第一图像帧，来将经校正的第一图像帧对齐到经校正的第二图像帧。

可以在校正块518A处将对齐校正应用于图像帧502，以生成经校正的图像帧520A。在校正块518A中应用的全局和局部对齐校正还可以包括滚动快门校正(RSC)。可以将校正块518B应用于图像帧504，以生成经校正的图像帧520B。经校正的图像帧520A和520B可以被输入到融合处理块522，以生成HDR增强图像帧524。在一些方面，在校正块518A处被应用对齐校正的图像帧502是如图5A所示的较短曝光图像帧，尽管图像帧502可以替代地是较长曝光图像帧。在一些方面，用于块512A-B中的处理的图像帧502和504的缩放是1:2、1:4、1:8、1:16或1:32缩放。在一些方面，可以对图像帧502和504应用其他缩放因子或不进行缩放，以通过框512A、512B和516进行处理。

图5A的示例系统可以基于关于图像捕捉设备运动的任何可用运动数据应用校正。图5B示出了将陀螺仪数据和计算机视觉处理(CVP)数据的组合用于运动数据的图5A的一个示例系统。图5B是示出根据本公开的一些方面的在对齐和融合之前进行校正的高动态范围(HDR)处理的框图。来自电子图像稳定(EIS)块510的陀螺仪的运动数据可以用于通过对齐校正516和/或对齐校正逻辑550来确定在校正块518A处应用的对齐校正。对齐校正逻辑块550可以接收由对齐校正516生成的估计对齐以及来自陀螺仪和/或来自计算机视觉处理器(CVP)的运动数据。计算机视觉处理器(CVP)可以执行图像帧502和504之间的特征匹配、确定帧502和504中对应的匹配特征之间的特征距离，并且基于特征距离确定运动数据。运动数据可以包括距离分量和特征点偏移分量。CVP还可以生成对应于运动数据的元数据(诸如运动数据的置信度)。

对齐检测逻辑块550可以基于可用的运动数据中的一个或组合确定对齐校正。例如，对齐检测逻辑块550可以默认基于陀螺仪数据确定对齐校正，除非满足某些标准，因为陀螺仪数据通常对局部运动具有弹性(resilient)。根据一些方面，对齐检测逻辑块550可以从对齐校正516接收第一校正值，可以基于CVP处理中的特征匹配确定第二校正值，并且可以确定将对齐校正基于CVP处理数据或陀螺仪数据或这些数据的组合。

在一些方面，对齐检测逻辑块550可以基于第一标准，基于第一校正值确定对齐校正，以及基于第二标准，基于第二校正值确定对齐校正。在第一和第二标准的一个示例中，对齐检测逻辑块550可以确定与匹配的特征距离相关联的特征点偏移分量低于第一阈值，当特征点偏移分量不低于第一阈值时，基于第二校正值确定对齐校正，以及当特征点偏移分量低于第一阈值时，基于第一校正值确定对齐校正。在一些方面，其他数据可以用于确定对齐校正。例如，对齐检测逻辑块550可以确定第一图像帧中到物体的距离低于第一深度阈值，并且当到物体的距离低于第一深度阈值时，基于第一校正值和第二校正值确定对齐校正。第一校正值(来自对齐校正516)和第二校正值(来自计算机视觉处理)可以基于前景和/或背景物体距离(诸如前景和背景物体距离之间的差)来进行加权。加权可以取决于几个因素:(1)陀螺仪指标，这意味着如果全局运动小于某个阈值，则对第一对齐校正516的更多加权可以用于实现鲁棒的图像对齐；(2)特征点偏移，这意味着如果特征点偏移大于某个阈值(诸如在摇摄或抖动场景中)，可以对来自CVP的第二对齐校正应用更多加权；以及(3)前景物体和背景物体之间的距离，这意味着如果前景对象远比背景对象近，并且距离差大于特定阈值，则可以对第一对齐校正516应用更多加权。到物体的距离可以基于来自自动聚焦(AF)系统133或134和/或深度传感器140的数据来确定。

在一些方面，在图像帧捕捉序列中，具有较短曝光时间的图像帧比具有较长曝光时间的图像帧更早或更晚被捕捉。按照从较短曝光时间到较长曝光时间的顺序捕捉的两个或更多个图像帧可以通过使用运动数据的校正以及随后的经校正的图像帧的融合进行处理，以获得用于HDR摄影的输出。当摇摄运动发生在图像捕捉期间时，较早捕捉较短曝光帧可以是有用的。在摇摄期间(诸如从左到右)，短读出和摇摄移动的延迟导致较短曝光图像帧反映与较长曝光图像帧相比不同的场景。当这样的图像帧被融合时，不匹配会导致边缘(margin)问题，因为较长曝光和较短曝光图像帧在传感器的边缘中不重叠。首先捕捉较短曝光时间图像帧可以加速处理并且在EIS边缘裁剪后减少重叠不匹配。

参照图6A-6B描述了首先捕捉较短曝光图像帧的HDR处理的示例。图6A是示出根据本公开的一些方面的捕捉用于高动态范围(HDR)处理的图像帧的时序图。图像传感器可以在时间602重置，并且在时间604读出较短曝光图像帧，随后在时间606再次重置，并且在时间608读出较长曝光图像帧。该序列可以重复多次以捕捉一系列图像作为HDR增强视频序列的一部分。

图6B是示出根据本公开的一些方面的较短曝光图像帧在较长曝光图像帧之前捕捉的两个图像捕捉帧的高动态范围(HDR)处理的框图。包括帧S

参照图7描述了采用本文中所描述的技术的HDR处理方法。图7是示出根据本公开的一些方面的在对齐和融合之前对图像帧进行校正的高动态范围(HDR)处理的方法的流程图。方法700在块702处开始，接收以第一曝光时间捕捉的第一图像帧，并且接收以不同于第一曝光时间的第二曝光时间捕捉的第二图像帧。可以从一个或多个图像传感器捕捉图像，例如根据上面参照图2A、图2B、图3或图4所描述的技术。在一些方面，块702的接收可以来自存储的文件(诸如当HDR处理在不同于捕捉图像的设备或时间的不同设备或不同时间对图像帧执行时，或者当对生成的内容执行HDR处理时)。

在块704处，方法700继续，基于第一图像帧、第一运动数据和第二运动数据确定经校正的第一图像帧。第一运动数据可以对应于捕捉第一图像帧时第一图像传感器的运动，以及第二运动数据可以对应于捕捉第二图像帧时第二图像传感器的运动。运动数据可以从图像捕捉设备的电子图像稳定(EIS)块中的陀螺仪、从单独的陀螺仪、加速度计或其他传感器获得，基于由相同或不同传感器捕捉的两个图像帧之间的差异来确定。在一些方面，该校正基于对应于捕捉在HDR处理中被融合的所有图像帧的运动数据，其可以是三个或更多个图像帧。在块706，方法700继续，基于第二图像帧、第一运动数据和第二运动数据确定经校正的第二图像帧。

RSC校正图像帧可以被对齐和融合以生成HDR增强图像帧作为输出图像帧。在块708处，方法700继续，确定用以将经校正的第一图像帧对齐到经校正的第二图像帧的对齐校正。所确定的对齐校正可以基于来自EIS陀螺仪、计算机视觉处理和/或其他传感器的运动数据。在块710处，方法700继续，基于第一图像帧、第二图像帧和对齐校正确定输出图像帧。

在块708处的对齐校正可以基于预定标准而基于一个或多个确定。参照图8描述用于确定对齐校正的一个示例标准。图8是示出根据本公开的一些方面确定运动数据以用于在高动态范围(HDR)处理中对齐输入图像帧的方法的流程图。方法800在块802处开始，接收来自计算机视觉处理(CVP)的特征匹配结果，包括陀螺仪指标分量(例如，确定从陀螺仪数据确定的全局运动是否小到移动低于阈值的指标)、特征点偏移分量和距离检测分量。在块804处，基于这些分量中的一个或多个的值，例如基于这些分量是否低于或不低于阈值水平的结果，确定对齐校正。在一些方面，在特征匹配期间确定的特征点偏移分量的置信度也可以是用于确定如何确定对齐校正的标准。在块804处，如果特征点偏移分量不大于阈值水平或CVP置信度低于阈值水平，则基于陀螺仪数据确定对齐校正。在块806处，如果特征点偏移分量不低于阈值水平，并且在一些方面，CVP置信度也高于阈值水平，则基于包括距离分量的特征匹配结果确定对齐校正。方法800可以由图5B的系统中的对齐校正逻辑550执行。

本文中所描述的HDR摄影的技术的方面可以纳入图像信号处理器(诸如参照图9所描述的)或其他处理设备中。图9是示出根据本公开的一些方面用于支持高动态范围(HDR)摄影的图像信号处理器的模块的框图。系统900包括根据本公开的方面支持HDR摄影的设备901，其包括捕捉静态HDR增强图像帧或HDR增强图像帧的视频序列。设备901可以是本文中所描述的设备方面的示例。设备901可以包括图像传感器905、图像信号处理器590和显示器965。设备901还可以包括中央处理单元(CPU)。这些组件中的每个组件都可以相互通信(例如，经由一个或多个总线)。图像传感器905可以使用初始曝光捕捉第一图像帧。如下文所描述的，图像传感器905可以由传感器管理器910、曝光长度管理器915、HDR管理器930和/或图像捕捉管理器950控制。图像传感器905可以用于捕捉图像帧(诸如图像帧205a或205b)和像素阵列(诸如如参照图2所描述的第一像素阵列215或第二像素阵列220，)。

图像信号处理器970可以是具有关于图3、图4、图5A、图5B、图6A、图6B、图7和/或图8所描述的图像捕捉能力的设备的示例。图像信号处理器970可以包括传感器管理器910、曝光长度管理器915、显示管理器920、组合器925、HDR管理器930、比较器935、补偿管理器940、计算管理器945、图像捕捉管理器950、选择管理器955和剪裁状态管理器960。这些模块中的每个模块都可以直接或间接地相互通信(例如，经由一个或多个总线)。

图像信号处理器970或其子组件可以在硬件、由处理器执行的代码(例如，软件或固件)或其任意组合中实施。如果在由处理器执行的代码中实施，图像信号处理器970或其子组件的功能可以由通用处理器、DSP、专用集成电路(ASIC)、FPGA或其他可编程逻辑器件、离散门或晶体管逻辑、离散硬件组件或它们的任意组合来执行本公开中描述的功能。

图像信号处理器970或其子组件可以物理地位于各个位置，包括被分布使得功能的部分由一个或多个物理组件在不同的物理位置实施。在一些示例中，根据本公开的各个方面，图像信号处理器970或其子组件可以是单独且不同的组件。在一些示例中，根据本公开的各个方面，图像信号处理器970或其子组件可以与一个或多个其他硬件组件组合，包括但不限于输入/输出(I/O)组件、收发器、网络服务器、另一个计算设备、本公开中所描述的一个或多个其他组件或其组合。

传感器管理器910和曝光长度管理器915可以确定曝光时间以捕捉多个图像帧，这些图像帧要在图像信号处理器970上执行的HDR处理中被融合。传感器管理器910可以使用初始曝光长度从图像传感器捕捉第一图像帧。在一些方面，传感器管理器910可以确定剪裁状态指示第一图像帧曝光过度、预测曝光长度短于初始曝光长度，以及修正(hedged)曝光长度短于预测长度。在一些方面，传感器管理器910可以确定剪裁状态指示第一图像帧曝光不足，预测曝光长度长于初始曝光长度，修正曝光长度长于预测长度。曝光长度管理器915可以基于第一图像帧的一组一个或多个像素的剪裁状态，计算预测曝光长度和修正曝光长度，其中预测曝光长度与修正曝光长度至少相差一个阈值。在一些方面，曝光长度管理器915可以使用预测曝光长度从传感器捕捉第一像素阵列，并使用修正曝光长度捕捉第二像素阵列。在一些示例中，曝光长度管理器915可以使用收敛曝光长度从传感器捕捉第二图像帧，其中收敛曝光长度基于第一像素阵列的饱和度与第二像素阵列的饱和度的比较。在一些示例中，曝光长度管理器915可以确定收敛曝光长度，使收敛曝光长度具有介于预测曝光长度和修正曝光长度之间的曝光长度。在一些方面，曝光长度管理器915可以基于检测第一像素阵列或第二像素阵列中的剪裁确定收敛曝光长度等于预测曝光长度或等于修正曝光长度。在一些方面，曝光长度管理器915可以基于所确定的平均像素值确定收敛曝光长度等于预测曝光长度或等于修正曝光长度。在一些方面，曝光长度管理器915可以确定修正曝光长度不是曝光不足，其中选择第二曝光长度还包括将第二曝光长度设置为等于修正曝光长度。在一些方面，曝光长度管理器915可以确定收敛曝光长度等于预测曝光长度或等于修正曝光长度。

计算管理器945可以基于与第一曝光长度相关联的第一图像帧的一组一个或多个像素的剪裁状态，计算曝光校正方向、预测曝光长度校正，以及在曝光校正方向上大于预测曝光长度校正至少一个阈值的修正曝光长度校正。

图像捕捉管理器950可以使用预测曝光长度校正从传感器捕捉第一像素阵列，并且使用修正曝光长度校正捕捉第二像素阵列。选择管理器955可以基于第一像素阵列与第二像素阵列的比较选择第二曝光长度。

HDR管理器930可以在确定图像传感器905是能够支持多个曝光长度的HDR传感器时，并行捕捉第一像素阵列和第二像素阵列，诸如图2A和图2B中所描述的。否则，当确定图像传感器905时，HDR管理器930可以串行捕捉两个图像帧，诸如图3和图中所描述的。

比较器935可以检测第一像素阵列或第二像素阵列中的剪裁，其中第一像素阵列的饱和度与第二像素阵列的饱和度的比较基于检测到的剪裁。在一些方面，比较器935可以确定第一像素阵列和第二像素阵列中的平均像素值，其中第一像素阵列的饱和度与第二像素阵列的饱和度的比较基于平均像素值。

补偿管理器940可以对第一像素阵列应用数字增益补偿。在一些方面，修正曝光长度校正曝光过度，并且其中捕捉第二像素阵列包括对第一像素阵列应用数字增益补偿。

剪裁状态管理器960可以确定第一图像帧的该组一个或多个像素的剪裁状态指示第一曝光长度曝光不足，并且曝光校正方向可以是增加曝光。

组合器925可以融合根据由曝光长度管理器915和传感器管理器910的确定而捕捉的多个图像帧(诸如通过组合第一像素阵列和第二像素阵列)。

显示管理器920可以输出输入图像帧或由组合器925生成的HDR增强图像帧中的一个或多个。

图像信号处理器970可以在设备中实施，诸如无线网络上的用户设备(UE)设备。参照图10描述了具有图像信号处理器970的用户设备(UE)设备的一个示例方面。图10是示出根据本公开的一些方面用于支持高动态范围(HDR)摄影的图像捕捉设备的模块的框图。系统1000包括根据本公开的方面支持HDR摄影的设备1005。设备1005可以是设备1001的组件的示例或包括设备1001的组件，或者是本文中所描述的设备。设备1005可以包括用于双向语音和数据通信的组件，其中包括用于发送和接收通信的组件，包括图像信号处理器1010、I/O控制器1015、收发器1020、天线1025、存储器1030和处理器1040。这些组件可以经由一个或多个总线(例如，总线1055)进行电子通信。

图像传感器1045可以使用初始曝光捕捉第一图像帧。传感器1045可以用于捕捉图像帧(诸如图像帧205)和像素阵列(诸如如参照图2所描述的第一像素阵列215或第二像素阵列120)。图像传感器1045还可以使用修正曝光和/或预测曝光捕捉后续图像。

图像信号处理器1010可以使用初始曝光长度管理或触发从传感器1045捕捉第一图像帧，基于第一图像帧的一组一个或多个像素的剪裁状态计算预测曝光长度和修正曝光长度，其中预测曝光长度与修正曝光长度至少相差一个阈值，并且可以使用预测曝光长度管理或触发从图像传感器1045捕捉第一像素阵列，以及使用修正曝光长度管理或触发从图像传感器1045捕捉第二像素阵列。图像信号处理器1010可以使用收敛曝光长度管理或触发从图像传感器1045捕捉第二图像帧，其中收敛曝光长度基于第一像素阵列的饱和度与第二像素阵列的饱和度的比较，并且输出第二图像帧。图像信号处理器1010还可以确定收敛曝光长度，使收敛曝光长度具有介于预测曝光长度和修正曝光长度之间的曝光长度，并且其中基于确定组合第一像素阵列和第二像素阵列。

图像信号处理器1010还可以基于与第一曝光长度相关联的第一图像帧的一组一个或多个像素的剪裁状态，计算曝光校正方向、预测曝光长度校正，以及在曝光校正方向上大于预测曝光长度校正至少一个阈值的修正曝光长度校正。图像信号处理器1010可以使用预测曝光长度校正从图像传感器1045捕捉第一像素阵列和使用修正曝光长度校正从图像传感器1045捕捉第二像素阵列，基于第一像素阵列与第二像素阵列的比较选择第二曝光长度，并且基于第二曝光长度向显示器1050输出第二图像帧。在一些方面，收敛曝光长度等于预测曝光长度或等于修正曝光长度。

显示器1050可以输出一个或多个捕捉的图像帧(诸如第二图像帧)。在一些方面，第二图像帧可以基于第二曝光长度。

I/O控制器1015可以管理设备1005的输入和输出信号。I/O控制器1015还可以管理未集成到设备1005中的外围设备。在一些方面，I/O控制器1015可以表示与外部外围设备的物理连接或端口。在一些方面，I/O控制器1015可以使用操作系统，例如

如上所述，收发器1020可以经由一个或多个天线、有线或无线链路进行双向通信。例如，收发器1020可以表示无线收发器，并且可以与另一个无线收发器进行双向通信。收发器1020还可以包括调制解调器，以调制分组并将经调制的分组提供给天线用于发送，以及解调从天线接收的分组。在一些情况下，无线设备可以包括单个天线1025。然而，在一些方面，设备可以具有一个以上的天线1025，其可以同时发送或接收多个无线传输。

存储器1030可以包括RAM和ROM。存储器1030可以存储计算机可读、计算机可执行代码1035，其中包括指令，当指令被执行时，使处理器执行本文中所描述的各个功能。在一些方面，存储器1030可以包含BIOS等，BIOS可以控制基本的硬件或软件操作(诸如与外围设备组件或设备的交互)。

处理器1040可以包括智能硬件设备(例如，通用处理器、DSP、CPU、微控制器、ASIC、FPGA、可编程逻辑器件、离散门或晶体管逻辑组件、离散硬件组件或其任意组合)。在一些方面，处理器1040可以被配置为使用存储器控制器操作存储器阵列。在其他方面，存储器控制器可以集成到处理器1040中。处理器1040可以配置为执行存储在存储器(例如，存储器1030)中的计算机可读指令，以使设备1005执行各个功能(例如，支持AEC预测收敛的功能或任务)。

代码1035可以包括用于实施本公开的方面的指令，包括支持图像处理的指令。代码1035可以存储在非暂时性计算机可读介质中(诸如系统存储器或其他类型的存储器)。在一些方面，代码1035可以不直接由处理器1040执行，但可以使计算机(例如，当被编译和被执行时)执行本文中所描述的功能。

在一个或多个方面，支持减少模糊的图像捕捉的技术可以包括附加的方面，诸如下文所描述的任何单一方面或任何方面的组合或与本文其他地方所描述的一个或多个其他处理或设备相关的任何单一方面或任何方面的组合。在一个或多个方面中，在形成视频的计算增强图像帧序列中支持帧对齐可以包括执行一种方法，该方法包括接收第一图像帧(诸如使用第一曝光时间捕捉的)和第二图像帧(诸如使用可以与第一曝光时间相同或不同的第二曝光时间)。该方法还可以包括基于第一图像帧、对应于第一图像帧的第一运动数据和对应于第二图像帧的第二运动数据确定经校正的第一图像帧。该方法还可以包括基于第二图像帧、第一运动数据和第二运动数据确定经校正的第二图像帧。该方法还可以包括确定用以将经校正的第一图像帧对齐到经校正的第二图像帧的对齐校正。该方法还可以包括基于第一图像帧、第二图像帧和对齐校正确定经融合的图像帧。附加地，该方法可以由包括无线设备(诸如UE)的装置执行。在一些实施方案中，装置可以包括至少一个处理器和耦合到处理器的存储器。处理器可以被配置为执行本文中所描述的与装置相关的操作。在一些其他实施方案中，该方法可以嵌入到其上记录有程序代码的非暂时性计算机可读介质中，并且程序代码可以由计算机执行，用于使计算机执行本文中参照装置所描述的操作。在一些实施方案中，方法可以由被配置为执行本文中所描述的操作的一个或多个部件执行。在一些实施方案中，无线通信的方法可以包括本文中参照装置所描述的一个或多个操作。

在第二方面，与第一方面结合，确定经校正的第一图像帧包括对第一图像帧应用第一滚动快门校正(RSC)。确定经校正的第二图像帧包括对第二图像帧应用第二滚动快门校正(RSC)，第一滚动快门校正(RSC)和第二滚动快门校正(RSC)基于第一运动数据和第二运动数据两者。

在第三方面，与第一方面或第二方面中的一个或多个方面结合，第一运动数据和第二运动数据包括陀螺仪数据。

在第四方面，与第一方面到第三方面中的一个或多个方面结合，确定对齐校正包括基于第一运动数据和第二运动数据确定第一校正值。

在第五方面，与第四方面结合，确定对齐校正包括确定第一图像帧和第二图像帧之间的匹配特征，并且基于匹配特征之间的匹配特征距离确定第二校正值。对齐校正基于确定第一图像帧和第二图像帧之间的匹配特征。匹配特征可以由在处理器、计算机视觉处理器或被配置为比较两个或多个图像帧并识别相似性(诸如使用计算机视觉操作来识别两个或多个图像帧中的共同物体、位置或面部)的其他硬件上执行的匹配算法来确定。

在第六方面，与第五方面结合，确定对齐校正还包括当满足第一标准时，基于第一校正值确定对齐校正，以及当满足第二标准时，基于第二校正值确定对齐校正。在一些方面，通过基于一个或多个标准对两个校正值对对齐校正的贡献进行加权，可以在确定校正时使用两个校正值。

在第七方面，与第五方面到第六方面中的一个或多个方面结合，确定对齐校正还包括确定与匹配特征距离相关联的特征点偏移分量，当特征点偏移分量不低于第一阈值时，基于第二校正值确定对齐校正，以及当特征点偏移分量低于第一阈值时，基于第一校正值确定对齐校正。

在第八方面，与第五方面到第七方面中的一个或多个方面结合，确定对齐校正还包括确定第一图像帧中前景物体和背景物体之间的距离差是否低于第一深度阈值，当距离差不低于第一深度阈值时，基于第一校正值确定对齐校正，以及当距离差低于第一深度阈值时，基于第二校正值确定对齐校正。

在第九方面，与第一方面到第八个方面中的一个或多个方面结合，装置被配置为以第一曝光时间捕捉第一图像帧，并且在捕捉第一图像帧后以第二曝光时间捕捉第二图像帧。第二曝光时间长于第一曝光时间。捕捉可以使用诸如本文中所描述的那些图像传感器执行。

在第十方面，与第一方面到第九方面中的一个或多个方面结合，确定对齐校正包括确定全局运动的第一方向，并且在与第一方向相反的第二方向上将经校正的第一图像帧对齐到经校正的第二图像帧。

在一个或多个方面，支持设备的技术包括处理器；以及耦合到处理器并存储指令的存储器，当指令由处理器执行时，使设备执行操作，操作可以包括附加的方面，诸如下文所描述的任何单一方面或任何方面的组合或与本文其他地方所描述的一个或多个其他处理或设备相关的任何单一方面或任何方面的组合。在第十一方面，在形成视频的计算增强图像帧序列中支持帧对齐可以包括被配置为接收第一图像帧(诸如使用第一曝光时间捕捉的)和第二图像帧(诸如使用可以与第一曝光时间相同或不同的第二曝光时间)的装置。装置还可以被配置为基于第一图像帧、对应于第一图像帧的第一运动数据和对应于第二图像帧的第二运动数据确定经校正的第一图像帧。装置还可以被配置为基于第二图像帧、第一运动数据和第二运动数据确定经校正的第二图像帧。装置还可以被配置为确定用以将经校正的第一图像帧对齐到经校正的第二图像帧的对齐校正。装置还可以被配置为基于第一图像帧、第二图像帧和对齐校正确定经融合的图像帧。附加地，装置可以根据如下文所描述的一个或多个方面执行或操作。在一些实施方案中，装置包括无线设备(诸如用户设备(UE)或基站(BS))。在一些实施方案中，装置可以包括至少一个处理器和耦合到处理器的存储器。处理器可以配置为执行本文中所描述的与装置相关的操作。在一些其他实施方案中，装置可以包括其上记录有程序代码的非暂时性计算机可读介质，并且程序代码可由计算机执行，用于使计算机执行本文中参照装置所描述的操作。在一些实施方案中，装置可以包括被配置为执行本文中所描述的操作的一个或多个部件。

在第十二方面，与第十一方面结合，确定经校正的第一图像帧包括对第一图像帧应用第一滚动快门校正(RSC)。确定经校正的第二图像帧包括对第二图像帧应用第二滚动快门校正(RSC)，第一滚动快门校正(RSC)和第二滚动快门校正(RSC)基于第一运动数据和第二运动数据两者。

在第十三方面，与第十一方面到第十二方面中的一个或多个方面结合，第一运动数据和第二运动数据包括陀螺仪数据。

在第十四方面，与第十一方面到第十三方面中的一个或多个方面结合，确定对齐校正包括基于第一运动数据和第二运动数据确定第一校正值。

在第十五方面，与第十四方面结合，确定对齐校正包括确定第一图像帧和第二图像帧之间的匹配特征，并且基于匹配特征之间的匹配特征距离确定第二校正值。对齐校正基于确定第一图像帧和第二图像帧之间的匹配特征。

在第十六方面，与第十五方面结合，确定对齐校正还包括当满足第一标准时，基于第一校正值确定对齐校正，以及当满足第二标准时，基于第二校正值确定对齐校正。

在第十七方面，与第十五方面到第十六方面中的一个或多个方面结合，确定对齐校正还包括确定与匹配特征距离相关联的特征点偏移分量，当特征点偏移分量不低于第一阈值时，基于第二校正值确定对齐校正，以及当特征点偏移分量低于第一阈值时，基于第一校正值确定对齐校正。

在第十八方面，与第十五方面到第十七方面中的一个或多个方面结合，确定对齐校正还包括确定第一图像帧中前景物体和背景物体之间的距离差是否低于第一深度阈值，当距离差不低于第一深度阈值时，基于第一校正值确定对齐校正，以及当距离差低于第二深度阈值时，基于第二校正值确定对齐校正。

在第十九方面，与第十一方面到第十八方面中的一个或多个方面结合，指令，当由处理器执行时使设备执行进一步的操作，包括以第一曝光时间捕捉第一图像帧，并且在捕捉第一图像帧后以第二曝光时间捕捉第二图像帧。第二曝光时间长于第一曝光时间。

在第二十方面，与第十一方面到第十八方面中的一个或多个方面结合，确定对齐校正包括确定全局运动的第一方向，并且在与第一方向相反的第二方向上将经校正的第一图像帧对齐到经校正的第二图像帧。

在一个或多个方面，支持存储指令的非暂时性计算机可读介质的技术可以包括附加的方面，当指令由设备的处理器执行时，使设备执行操作，诸如下文所描述的任何单一方面或任何方面的组合或与本文其他地方所描述的一个或多个其他处理或设备相关的任何单一方面或任何方面的组合。在第二十一方面，在形成视频的计算增强图像帧序列中支持帧对齐可以包括存储指令的非暂时性计算机可读介质，当指令由设备的处理器执行时，使设备执行操作，包括接收第一图像帧(诸如使用第一曝光时间捕捉的)和第二图像帧(诸如使用可以与第一曝光时间相同或不同的第二曝光时间)；基于第一图像帧、对应于第一图像帧的第一运动数据和对应于第二图像帧的第二运动数据确定经校正的第一图像帧；基于第二图像帧、第一运动数据和第二运动数据确定经校正的第二图像帧；确定用以将经校正的第一图像帧对齐到经校正的第二图像帧的对齐校正；和/或基于第一图像帧、第二图像帧和对齐校正确定经融合的图像帧。附加地，指令使装置根据如下文所描述的一个或多个方面执行或操作。在一些实施方案中，装置包括无线设备(诸如基站(BS)或用户设备(UE))。在一些实施方案中，装置可以包括至少一个处理器和耦合到处理器的存储器。在一些方面，处理器是图像信号处理器，其还包括被配置为执行本文中所描述的其他图像功能的电路。处理器可以被配置为执行本文中所描述的与装置相关的操作。在一些其他实施方案中，非暂时性计算机可读介质其上记录有程序代码，程序代码可由计算机执行，用于使计算机执行本文中参照装置所描述的操作。

在第二十二方面，与第二十一方面结合，确定经校正的第一图像帧包括对第一图像帧应用第一滚动快门校正(RSC)。确定经校正的第二图像帧包括对第二图像帧应用第二滚动快门校正(RSC)，第一滚动快门校正(RSC)和第二滚动快门校正(RSC)基于第一运动数据和第二运动数据两者。

在第二十三方面，与第二十一方面到第二十二方面中的一个或多个方面结合，第一运动数据和第二运动数据包括陀螺仪数据。

在第二十四方面，与第二十一方面到第二十三方面中的一个或多个方面结合，确定对齐校正包括基于第一运动数据和第二运动数据确定第一校正值。

在第二十五方面，与第二十四方面结合，确定对齐校正包括确定第一图像帧和第二图像帧之间的匹配特征，并且基于匹配特征之间的匹配特征距离确定第二校正值。对齐校正基于确定第一图像帧和第二图像帧之间的匹配特征。

在第二十六方面，与第二十五方面结合，确定对齐校正还包括当满足第一标准时，基于第一校正值确定对齐校正，以及当满足第二标准时，基于第二校正值确定对齐校正。

在第二十七方面，与第二十五方面到第二十六方面中的一个或多个方面结合，确定对齐校正还包括确定与匹配特征距离相关联的特征点偏移分量，当特征点偏移分量低于第一阈值时，基于第一校正值确定对齐校正，以及当特征点偏移分量不低于第一阈值时，基于第二校正值确定对齐校正。

在第二十八方面，与第二十五方面到第二十七方面中的一个或多个方面结合，确定对齐校正还包括确定第一图像帧中前景物体和背景物体之间的距离差是否低于第一深度阈值，当距离差不低于第一深度阈值时，基于第一校正值确定对齐校正，以及当距离差低于第一深度阈值时，基于第二校正值确定对齐校正。

在第二十九方面，与第二十一方面到第二十八方面中的一个或多个方面结合，当指令由处理器执行时，使设备执行进一步的操作，包括以第一曝光时间捕捉第一图像帧，并且在捕捉第一图像帧后以第二曝光时间捕捉第二图像帧。第二曝光时间长于第一曝光时间。在代码由图像信号处理器执行的实施方案中，代码可以通过激活各个电路来实现捕捉，电路包括图像传感器、电源、镜头、自动聚焦(AF)系统、自动曝光(AE)系统、快门、闪光灯、存储器、模数转换器(ADC)或图像前端(IFE)中的一个或多个。

在第三十方面，与第二十一方面到第二十九方面中的一个或多个方面结合，确定对齐校正包括确定全局运动的第一方向，并且在与第一方向相反的第二方向上将经校正的第一图像帧对齐到经校正的第二图像帧。

在一个或多个方面，在形成视频的计算增强图像帧序列中支持帧对齐的技术可以在设备中实施或由设备实施，设备包括配置有具有第一视场的第一图像传感器、耦合到第一图像传感器的处理器，以及耦合到处理器的存储器。处理器被配置为执行步骤，包括附加的方面，诸如下文所描述的任何单一方面或任何方面的组合或与本文其他地方所描述的一个或多个其他处理或设备相关的任何单一方面或任何方面的组合。在第三十一方面，在形成视频的计算增强图像帧序列中支持帧对齐可以包括被配置为接收以第一曝光时间捕捉的第一图像帧和以不同于第一曝光时间的第二曝光时间捕捉的第二图像帧的设备。设备还被配置为接收使用第一曝光时间捕捉的第一图像帧和使用不同于第一曝光时间的第二曝光时间的第二图像帧；基于第一图像帧、对应于第一图像帧的第一运动数据和对应于第二图像帧的第二运动数据确定经校正的第一图像帧；基于第二图像帧、第一运动数据和第二运动数据确定经校正的第二图像帧；确定用以将经校正的第一图像帧对齐到经校正的第二图像帧的对齐校正；和/或基于第一图像帧、第二图像帧和对齐校正确定经融合的图像帧。附加地，设备还可以根据下文所述的一个或多个方面执行或操作。在一些实施方案中，设备包括无线设备(诸如基站(BS)或用户设备(UE))。在一些实施方案中，设备可以包括至少一个处理器和耦合到处理器的存储器，其中处理器可以被配置为执行本文中所描述的与设备相关的操作。在一些其他实施方案中，设备可以包括非暂时性计算机可读介质，该介质其上记录有程序代码，程序代码可由设备执行，用于使设备执行本文中参照设备所描述的操作。在一些实施方案中，设备可以包括被配置为执行本文中所描述的操作的一个或多个部件。

在第三十二方面，与第三十一方面结合，确定经校正的第一图像帧包括对第一图像帧应用第一滚动快门校正(RSC)。确定经校正的第二图像帧包括对第二图像帧应用第二滚动快门校正(RSC)，第一滚动快门校正(RSC)和第二滚动快门校正(RSC)基于第一运动数据和第二运动数据两者。

在第三十三方面，与第三十一方面到第三十二方面中的一个或多个方面结合，第一运动数据和第二运动数据包括陀螺仪数据。

在第三十四方面，与第三十一方面到第三十三方面中的一个或多个方面结合，确定对齐校正包括基于第一运动数据和第二运动数据确定第一校正值。

在第三十五方面，与第三十四方面结合，确定对齐校正包括确定第一图像帧和第二图像帧之间的匹配特征，并且基于匹配特征之间的匹配特征距离确定第二校正值。对齐校正基于确定第一图像帧和第二图像帧之间的匹配特征。

在第三十六方面，与第三十五方面结合，确定对齐校正还包括当满足第一标准时，基于第一校正值确定对齐校正，以及当满足第二标准时，基于第二校正值确定对齐校正。

在第三十七方面，与第三十五方面到第三十六方面中的一个或多个方面结合，确定对齐校正还包括确定与匹配特征距离相关联的特征点偏移分量，当特征点偏移分量低于第一阈值时，基于第一校正值确定对齐校正，以及当特征点偏移分量不低于第一阈值时，基于第二校正值确定对齐校正。

在第三十八方面，与第三十五方面到第三十七方面中的一个或多个方面结合，确定对齐校正还包括确定第一图像帧中前景物体和背景物体之间的距离差是否低于第一深度阈值，当距离差不低于第一深度阈值时，基于第一校正值确定对齐校正，以及当距离差低于第一深度阈值时，基于第二校正值确定对齐校正。

在第三十九方面，与第三十一方面到第三十八方面中的一个或多个方面结合，处理器被配置为执行进一步的操作，包括以第一曝光时间捕捉第一图像帧，并且在捕捉第一图像帧后以第二曝光时间捕捉第二图像帧。第二曝光时间长于第一曝光时间。

在第四十方面，与第三十一方面到第三十九方面中的一个或多个方面结合，确定对齐校正包括确定全局运动的第一方向，并且在与第一方向相反的第二方向上将经校正的第一图像帧对齐到经校正的第二图像帧。

本领域的技术人员将理解，信息和信号可以使用各种不同技术和工艺中的任何一种来表示。例如，可以由电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任意组合来表示可以在整个上述描述中引用的数据、指令、命令、信息、信号、比特、符号和码片。

本文所描述的与图1、图5A、图5B、图9和图10相关的组件、功能块和模块包括处理器、电子设备、硬件设备、电子组件、逻辑电路、存储器、软件代码、固件代码等，或其任意组合。此外，本文中所讨论的功能可以经由专用处理器电路、经由可执行指令或其组合来实施。

技术人员会进一步认识到，与本文公开相关的各种例示性逻辑块、模块、电路和算法步骤可以作为电子硬件、计算机软件或两者的组合来实施。为了清楚地示出硬件和软件的这种可互换性，上文已经对各种例示性组件、模块、电路和步骤的功能进行了一般性描述。这些功能是实施作为硬件还是软件，取决于特定的应用和施加在整个系统上的设计约束。熟练技工可以针对每个特定应用以不同方式实施所述功能，但这种实施方案决定不应被解释为使得脱离本公开的范围。熟练技工也将很容易认识到，本文中所描述的组件、方法或交互的顺序或组合仅仅是示例，并且本公开各方面的组件、方法或交互可以以本文所示出和描述之外的方式组合或执行。

与本文所公开的实施方案相关的各种例示性逻辑、逻辑块、模块、电路和算法过程可以实施作为电子硬件、计算机软件或两者的组合。硬件和软件的可互换性已经在功能方面进行了一般性描述，并且在上文所描述的各种例示性组件、模块、电路和处理中进行了示出。这些功能是在硬件还是软件中实施，取决于特定的应用和施加在整个系统上的设计约束。

用于实施与本文所公开的各方面相关的各种示例逻辑、逻辑块、模块和电路的硬件和数据处理装置，可以用通用单芯片或多芯片处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、离散门或晶体管逻辑、离散硬件组件或其任意组合来实施或执行本文中所描述的功能。通用处理器可以是微处理器，也可以是任何常规处理器、控制器、微控制器或状态机。在一些实施方案中，处理器可以实施作为计算设备的组合，诸如DSP和微处理器的组合、多个微处理器、结合DSP核心的一个或多个微处理器，或任何其他此类配置。在一些实施方案中，特定处理和方法可以由特定与给定的功能的电路执行。

在一个或多个方面，所描述的功能可以在硬件、数字电子电路、计算机软件、固件(包括本说明书中公开的结构及其结构等效物)或其任意组合中实施。本说明书所描述的主题的实施方案也可以被实施为一个或多个计算机程序，即计算机程序指令的一个或多个模块，编码在计算机存储介质上，用于由数据处理装置执行或控制数据处理装置的操作。

如果在软件中实施，这些功能可以作为计算机可读介质上的一个或多个指令或代码存储或发送。本文公开的方法或算法的处理可以在处理器可执行软件模块中实施，该软件模块可以驻留在计算机可读介质上。计算机可读介质包括计算机存储介质和通信介质两者，其中通信介质包括可将计算机程序从一个地方传送到另一个地方的任何介质。存储介质可以是可以由计算机访问的任何可用介质。通过示例的方式，而并非限制，此类计算机可读介质可以包括随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、CD-ROM或其他光盘存储设备、磁盘存储设备或其他磁性存储设备，或者可以用于以指令或数据结构的形式存储所需程序代码并且可以由计算机访问的任何其他介质。此外，任何连接都可以适当地称为计算机可读介质。如本文中所使用的磁盘(disk)和光盘(disc)包括压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘和蓝光光盘，其中磁盘通常磁性地复制数据，而光盘则以激光光学地复制数据。上述的组合也应包括在计算机可读介质的范围内。附加地，方法或算法的操作可以驻留作为机器可读介质和计算机可读介质上的代码和指令的一种或任何组合或集合，其可以被并入计算机程序产品中。

对本公开所描述的实施方案的各种修改对于本领域的技术人员可以是显而易见的，并且本文中所定义的通用原理也可以应用于一些其他实施方案，而不会脱离本公开的精神或范围。因此，权利要求并不旨在限于本文中所示的实施方案，而是要被赋予与本公开、本文中所公开的原理和新颖特征相一致的最广泛的范围。

附加地，本领域的普通技术人员将易于理解，术语“上”和“下”有时是为了便于描述图像，并且指示对应于正确朝向的页面上的图像的朝向的相对位置，并且可以不反映所实施的任何设备的正确朝向。

在本说明书中在单独实施方案中的上下文描述的某些功能也可以在单个实施方案中组合实施。相反地，在单个实施方案中的上下文中描述的各个功能也可以在多个实施方案中分别地实施或在任何合适的子组合中实施。此外，尽管特征可以在上面被描述为在某些组合起作用，并且甚至最初也是这样要求保护的，但在一些情况下，来自所要求保护组合中的一个或多个特征可以从组合中删除，并且所要求保护的组合可以针对子组合或子组合的变体。

类似地，虽然附图中以特定顺序描绘了操作，但这不应被理解为要求以所示的特定顺序或先后顺序执行这些操作，或执行所有所示出的操作以达到理想效果。此外，附图可以以流程图的形式示意性地描绘多个示例处理。然而，未描绘的其他操作可以被并入到示意性示出的示例处理中。例如，可以在任何所示出的操作之前、之后、同时或之间执行一个或多个附加的操作。在某些情况下，多任务和并行处理可能是有利的。此外，以上所描述的实施方案中各个系统组件的分离不应该被理解为所有实施方案都需要这种分离，并且应该理解的是，所描述的程序组件和系统通常可以一起集成在单个软件产品中或打包成多个软件产品。附加地，一些其他实施方案也在以下权利要求的范围内。在一些情况下，权利要求中记载的动作可以以不同的顺序执行，并且仍然可以实现理想的结果。

如本文中所使用的，包括在权利要求书中，术语“或”，当用于两个或更多个项目的列表中时，意指所列项目中的任何一个可以单独采用，或者可以采用所列项目中两个或更多个项目的任何组合。例如，如果组合物被描述为包含成分A、B或C，则该组合物可以单独包含A；单独包含B；单独包含C；A和B组合；A和C组合；B和C组合；或A、B和C组合。此外，如本文中所使用的，包括在权利要求书中，在以“…中的至少一个”为前缀的项目的列表中使用的“或”指示分隔列表，例如，“A、B或C中至少一个”的列表意指A或B或C或AB或AC或BC或ABC(即A和B和C)或其中任何一种的任何组合。术语“实质上”被定义为大体上但不一定完全是所指定的内容(并且包括所指定的内容；例如，实质上90度包括90度，以及实质上平行包括平行)，如本领域普通技术人员所理解的。在任何公开的实施方案中，术语“实质上”可以用“在…的[百分比]范围内”代替，其中百分比包括.1％、1％、5％或10％。

提供本公开的先前的描述是为了使得本领域技术人员能够制造或使用本公开。对本公开的各种修改对于本领域的技术人员是显而易见的，并且本文中所定义的通用原理可以应用于其他变体，而不脱离本公开的精神或范围。因此，本公开并不旨在限制于本文中所描述的示例和设计，而是应赋予与本文中所公开的原理和新颖特征相一致的最广泛的范围。