用于处理图像的方法和系统

本申请是申请号为201610159268.9、申请日为2016年3月18 日、发明名称为“用于处理图像的方法和系统”的发明专利申请的分案申请。

技术领域

本发明的各实施方式总体上涉及图像处理，具体地涉及基于图像梯度的图像滤波。

背景技术

相机被用于捕获图像。对数字相机中的光传感器的基本限制之一是它们的动态范围，其描述可由光传感器检测到的最小光强度与最大光强度之间的比率。尽管量化在可实现的动态范围中发挥重要作用，但是限制本质上常常主要是物理方面的。最小可检测光强度取决于传感器元件尺寸、效率和噪声基底。单个像素在紧凑设备中常常是极小的，导致在低光照条件中捕获光子的低可能性和对来自各种噪声源和相邻像素的干扰的高易感性。最大可检测光强度可以由传感器元件能够根据光生成的电荷的最大量确定，这可以导致饱和效应。图像的曝光水平能够例如通过调节曝光时间、光圈尺寸或传感器灵敏度来调节。图像的曝光水平可以被调节以适合要捕获图像的场景的光照条件，例如针对暗场景，可以增大曝光水平，而针对亮场景，可以减小曝光水平。调节图像之间的曝光水平允许更宽的操作范围，但是不影响单个曝光或图像的动态范围。

高动态范围(HDR)图像能够通过将具有不同曝光水平，例如具有不同曝光时间和/或传感器灵敏度设置的不同曝光水平的多幅图像合并(即，融合)来构建。例如，可以顺序地捕获场景的两幅或更多幅图像，并且之后经顺序捕获的图像可以被融合以形成HDR图像。例如，可以捕获两幅图像：第一幅图像具有高曝光水平(其在本文中可以被称为“长曝光”)，并且第二幅图像具有低曝光水平(其在本文中可以被称为“短曝光”)。两幅图像能够被组合使得在暗图像区域中(例如，在阴影中)长曝光主要(例如，仅仅)被用于形成经融合的HDR图像，因为长曝光很可能比短曝光具有更少噪声。然而，在亮图像区域(例如，天空)中，长曝光可以是饱和的并且因此短曝光主要(例如，仅仅)被用于形成经融合的HDR图像，以避免这些图像中的来自长曝光的不想要的饱和效应。如果被用于形成HDR图像的图像之间的过渡是尖锐的，则它们可能在HDR图像中是引人注目的，这可能是在感知上不利的。因此，使过渡在一系列像素上平滑使得过渡不是如此尖锐的，并且因此在HDR图像中不是如此引人注目的。即使对于最快的传感器，在经顺序捕获的图像之间也可能存在明显的延迟。图像之间的延迟可以在其足够长以至于由于捕获图像的时刻之间的时间差，例如由于场景内的运动或相机的运动(例如，在相机被实施在手持设备中的情况下)而在图像中出现变化的情况下被认为是“明显”的。出于许多原因，能够证明在图像之间存在运动的情况下对两幅图像进行融合是有挑战的。例如，如果对象在之后被融合的两幅图像之间移动，则诸如鬼影效应的伪影可以由于两幅图像中的对象的位置的差异而出现在HDR图像中。场景中的由于动态对象或视差的运动能够可以想象地被跟踪，但是这将需要复杂的流程，其通常将需要太多时间和处理功率以被实时实施在移动设备上，移动设备例如智能电话、平板电脑、智能手表或HDR处理可以被执行在其上并且其中处理功率可以受到限制的其他适当的移动设备。其将对具有一种在将图像组合以形成HDR 图像时处理运动的方法有用，该方法足够简单以实时实施在移动设备上。

发明内容

提供本发明内容从而以简化的形式介绍下面在具体实施方式中进一步描述的一系列概念。本发明内容不旨在确定要求保护的主体的关键特征或必要特征，也不旨在用于限制要求保护的主体的范围。

提供了一种图像处理方法，其包括：确定针对至少一幅图像的图像梯度指示；基于针对至少一幅图像的所确定的图像梯度指示来确定针对图像区域的滤波代价；并且使用针对图像区域的所确定的滤波代价来处理与至少一幅图像相关的数据，包括应用滤波操作，使得取决于至少一幅图像的图像梯度而执行针对图像区域的处理。

方法还可以包括：确定类型掩码，类型掩码包括针对图像区域的类型指示符以由此将图像区域中的每个分类成多种类型中的一种；其中，与至少一幅图像相关的处理数据可以包括，针对多个图像区域中的每个：使用滤波操作来确定沿着从图像区域到根据类型指示符的特定类型的图像区域的路径的最低累积代价；并且取决于所确定的最低累积代价与阈值的比较来选择性地设置针对图像区域的类型指示符以指示特定类型。

至少一幅图像可以包括多幅图像，其中，至少一个初始融合掩码可以指示用于在将两幅图像进行组合时使用的初始融合因子，并且其中，的处理与至少一幅图像相关的数据可以包括以根据针对在至少一个初始融合掩码中的过渡处的图像区域的滤波代价的平滑速率使相应过渡平滑。

对与至少一幅图像相关的数据的处理包括使用滤波操作来对至少一幅图像应用去噪，使得被应用到图像区域的去噪的范围取决于针对图像区域的滤波代价。

至少一幅图像可以包括利用不同聚焦捕获的多幅图像。

处理与至少一幅图像相关的数据包括使用滤波操作来对至少一幅图像应用去噪，使得被应用到图像区域的去噪的范围取决于针对图像区域的滤波代价。

提供了一种图像处理系统，其包括：梯度确定逻辑，其被配置为确定针对至少一幅图像的图像梯度指示；滤波代价确定逻辑，其被配置为基于针对至少一幅图像的所确定的图像梯度指示来确定针对图像区域的滤波代价；以及处理逻辑，其被配置为使用针对图像区域的所确定的滤波代价来处理与至少一幅图像相关的数据，处理逻辑包括滤波逻辑，滤波逻辑被配置为应用滤波操作，使得处理逻辑被配置为取决于至少一幅图像的图像梯度来执行针对图像区域的处理。

可以提供一种计算机可读代码，当代码运行在计算机上时计算机可读代码适于执行本文中描述的方法中的任何的步骤。另外，计算机可读代码可以被提供用于生成根据本文中描述的示例中的任何的图像处理系统。计算机可读代码可以被编码在计算机可读存储介质上。

本领域技术人员容易理解，以上特征可以在适当的情况下被组合，并且可以与本文中描述的示例的方面中的任何进行组合。

附图说明

现在将参考附图详细描述示例，在附图中：

图1是用于处理图像的系统的高级图；

图2是HDR处理单元的功能框图；

图3是用于在图像上执行HDR处理的方法的流程图；

图4是示出了滤波步骤的详细视图的流程图；

图5表示针对图像区域的类型掩码；

图6示出了利用连通性滤波器处理类型掩码的第一示例；

图7示出了利用连通性滤波器处理类型掩码的第二示例；

图8图示了使融合掩码平滑的过程；以及

图9是HDR处理单元被实施在其中的计算机系统的示意图。

附图图示了各种示例。技术人员将认识到附图中的图示的元件边界(例如，框、框的组或者其他形状)表示边界的一个示例。可能的是，在一些示例中，一个元件可以被设计为多个元件或者多个元件可以被设计为一个元件。在合适的情况下，在整个附图中使用共同的附图标记来指示相似的特征。

具体实施方式

以上提到了在将图像组合以形成HDR图像时处理运动的问题。如以上所提到的，如果被用于形成HDR图像的图像之间的过渡是尖锐的，则它们可能在HDR图像中是引人注目的，这可能是在感知上不利的。为了解决这个问题，可以使过渡在一系列像素上平滑使得过渡不是如此尖锐的。本发明人已经认识到为了避免创建经组合的图像中的可见(即，引人注目的)缝，源图像之间的过渡优选大致与局部图像纹理一样平滑。即，过渡出现的速率优选与过渡出现在其上的图像区域的图像梯度相关。例如，在诸如示出天空或诸如墙壁的经粉刷的表面的图像区域的平滑图像区域(即，具有小图像梯度的图像区域)中，被用于形成经融合的图像的图像之间的过渡优选在相对大的距离上逐渐地出现；然而在诸如示出文本或一群人或一系列小商品的图像区域的详细图像区域(即，具有大图像梯度的图像区域)中，被用于形成经融合的图像的图像之间的过渡可以在相对短的距离上相对快速地出现，而没有创建在经融合的图像中的这样的引人注目的缝。如果过渡将需要以在不同类型的两个图像区域之间将是引人注目的速率出现，则图像区域可能是连通的使得过渡不被实施在那两个图像区域之间。

因此，在本文中描述的示例中，确定针对要被组合的图像的图像梯度。能够执行滤波操作，其基于图像梯度使用滤波代价以便取决于针对图像区域的图像梯度来对与图像的图像区域相关的图像数据进行滤波。例如，如下面更详细地描述的，滤波操作可以被用作连通性单元的一部分，连通性单元确定连通的图像区域，并且/或者滤波操作可以被用作融合单元的一部分，融合单元将两幅或更多幅图像融合在一起以形成经融合的图像。在其他示例中，滤波操作可以被用于其他类型的滤波，其可以适当地取决于图像中的图像梯度。例如，滤波操作能够被用于对图像应用去噪，使得被应用到图像区域的去噪的范围取决于图像区域中的图像梯度。

现在将通过举例的方式在帧序列高动态范围图像合成的上下文中描述实施例，帧序列高动态范围图像合成是将快速连续拍摄的具有变化的曝光时间或传感器灵敏度(例如，来自手持设备)一系列图像进行合成以便以重建场景的具有比相机能够在一个曝光中捕获的更高的动态范围的图像的过程。对应的方法能够被应用在其他示例中，例如，用于将具有利用不同聚焦捕获的多幅图像进行组合，其中，一些图像区域可以在一幅图像中处于较好的焦点中，而其他图像区域可以在另一图像中处于较好的焦点中，并且为了合并来自多幅图像的最好焦点中的图像区域而不引入图像之间的引人注目的过渡的目的，这些图像被融合。

图1是用于处理图像的系统的高级图，其中，HDR处理被应用到图像。系统包括传感器阵列102、图像处理块104、HDR处理单元 106和存储器108。系统可以例如被实施在如下设备内，诸如相机、智能电话、平板电脑、笔记本电脑、智能手表或任何其他适当的设备。传感器阵列102包括用于捕获原始图像数据的多个光传感器。原始图像数据可以例如指示在特定像素处的光强度以由此表示图像。原始图像数据被传递到图像处理块104，图像处理块104执行对原始图像数据的图像处理以由此确定图像的像素值。由图像处理块 104执行的图像处理操作可以是标准操作，例如，白平衡、去噪、缺陷像素修复、色域映射、彩色增强、等等。图像处理块104可以以硬件或软件、或它们的组合来实施。例如，图像处理块104可以以硬件被实施为相机流水线，其以光栅扫描顺序从传感器阵列102接收原始图像数据(例如，针对以逐行的顺序的像素的图像数据)。在图像处理块104的处理流水线中的某个时间点处，针对图像的图像数据能够被传递到HDR处理单元106。HDR处理单元106执行HDR 处理并将HDR图像提供回到图像处理块104，图像处理块104可以执行对HDR图像的进一步处理。经处理的图像能够之后从图像处理块104输出并可以被存储在存储器108中。经处理的图像可以被用于其他目的，例如经处理的图像可以被传递到显示器以用于显示在其上，或者可以被发送到另一设备，等等。在其他示例中，HDR处理单元106可以被实施为图像处理块104的一部分。另外，在其他示例中，HDR处理可以是在图像数据上执行的最后的处理，使得从 HDR处理单元106提高的HDR图像可以不传递回到图像处理块104 并且相反可以被用作输出，使得其例如被提供给存储器108或被提供给显示器以用于显示在其上或被提供给发送模块以用于发送到另一设备。

图2提供了HDR处理单元106的更详细视图。HDR处理单元 106包括图像配准逻辑202、梯度确定逻辑204、饱和确定逻辑206、运动确定逻辑208、滤波代价确定逻辑210、类型掩码确定逻辑212 和包括连通性滤波逻辑216和联合查找逻辑218的连通性单元214。 HDR处理单元106还包括融合单元220，融合单元220包括初始融合掩码确定逻辑222、融合滤波逻辑224、图像融合掩码确定逻辑226 以及图像融合逻辑228。连通性单元214和融合单元220可以在本文中共同地被称为处理逻辑230。HDR处理单元106的部件(例如，图2中示出的逻辑块和单元)旨在与许多功能块相对应。这仅仅是出于说明的目的。图2不旨在限定芯片上的硬件的不同部分之间或软件中的不同程序、流程或功能之间的严格划分。在一些实施例中，本文中描述的算法中的一些或全部可以整体地或部分地以硬件来执行。在一些实施方式中，HDR处理单元106的至少部分可以由在软件控制下起作用的处理器(例如，图形处理单元(GPU)或中央处理单元(CPU)来实施。任何这样的软件优选被存储在非暂态计算机可读介质上，非暂态计算机可读介质例如存储器(RAM、缓存、硬盘、等等)或其他存储装置(USB棒、CD、磁盘、等等)。

参考图3和图4中的流程图描述HDR处理单元106的操作。本文中描述的HDR方法以比尝试跟踪运动简单得多的方式来处置其中在两幅图像之间出现运动的情形，使得本文中描述的方法适合用于在其中处理资源大大受到限制的诸如移动设备的计算机系统上使用。通过识别其中(例如，基于图像之间的差异)运动出现的图像区域并将这些图像区域处置为其中融合不应当出现的“不一致”区域来处置运动，因此在这些不一致区域中，HDR图像仅仅由图像中的一幅形成。这避免由诸如鬼影效应的运动引起的伪影。

在步骤S302中，HDR处理单元106例如从图像处理块104接收多幅图像。可以例如在如图2中示出的图像配准逻辑202处接收图像。图像具有不同曝光水平，使得HDR处理单元106能够将具有不同曝光水平的图像组合以由此形成HDR图像。例如，图2示出了在 HDR处理单元106处接收到的两幅图像(I

在步骤S304中，图像配准逻辑202执行图像配准以将图像相对于彼此对准。以这种方式，图像配准逻辑202以几何方式和以辐射度计量的方式将图像相对于彼此对准以促进后续HDR处理。图像中的第一幅被当作参考图像并且之后其他图像以几何方式和以辐射度计量的方式与参考图像对准。在一些示例中，长曝光图像(I

图像I

几何对准试图处置在捕获不同图像的时刻之间可能出现的运动 (场景中的对象的运动或者相机的运动)，但是缺陷然而可能出现在对准过程中，使得图像没有被完全对准。作为示例，几何配准可以基于如下假设：相机在捕获图像的时刻之间被保持大致静止。相机运动可以归因于用户未能保持相机完全静止并且显著地包括大约高达视场的5％的旋转。投影单应性矩阵模型可以被用于描述能够将图像对准的变换。作为示例，投影单应性矩阵可以以由粗到细的金字塔配置使用局部的基于Lucas-Kanade(LK)的图像配准方法来估计。尽管其可以有可能估计和补偿局部场景运动，但是密集的运动补偿是计算上开销很大的并且运动补偿的误差将仍然必须被掩盖。因此这样的运动补偿没有被实施在本文中描述的方法中，本文中描述的方法适合于使用在具有有限的处理资源的设备(例如，移动设备)上。作为示例，为了减少计算代价，几何配准过程可以以完整图像的分辨率的一半被应用到仅仅图像的绿色通道。对准可以以不同的尺度来应用，例如以粗尺度开始并且之后前进到较细尺度，由此在粗尺度的结果被用于初始化在较细尺度的对准过程。

如以上所提到的，缺陷可能在几何对准过程中出现，使得可能在经对准的图像中存在不一致。这些不一致能够如下面所描述的被掩盖使得在出现不一致的图像区域中，融合过程在形成经融合的图像时对来自图像中的仅仅一幅的图像值进行采样。

当将短曝光图像(I

(i)针对饱和的图像区域，短曝光图像被使用(并且长曝光图像不被使用)以形成HDR图像的对应图像区域，以由此减少不想要的饱和效应。

(ii)为了避免鬼影效应，包含运动的任何连通区域从图像中的仅仅一幅(I

(iii)如果其与以上的两个要求兼容，则HDR图像的图像区域优选使用长曝光图像而非短曝光图像来形成，因为长曝光图像通常具有比短曝光图像更高的SNR。

(iv)使被用于形成HDR图像中的图像区域的图像之间的过渡在一系列图像区域上平滑。以这种方式，过渡是渐变的。这是因为源图像之间的骤然过渡可以导致HDR图像中的引人注目的缝并且将披露小的配准缺陷和图像特性的差异。因此，图像被平滑地融合以隐藏过渡。

将经对准的图像从图像配准逻辑202传递到梯度确定逻辑204、饱和确定逻辑206、运动确定逻辑208和图像融合逻辑228。

在步骤S306中，饱和确定逻辑206确定图像中的一幅或两幅中的哪些图像区域是饱和的。长曝光图像具有比短曝光图像更高的曝光水平，因此考虑长曝光图像(而非短曝光图像)以便确定哪些图像区域是饱和的是足够的。这是因为能够做出如下假设：短曝光图像中的任何饱和区域也将在长曝光图像中为饱和区域。因此，作为示例，饱和图像区域通过确定针对长曝光图像(I

在步骤中S308运动确定逻辑208确定其中在两幅图像I

从图像去除噪声均值。稍后将使用低通滤波器来防止将噪声检测为运动。为了使这个有效，噪声均值优选为零使得局部平均(经滤波的)噪声为零。图像噪声通常不具有均值零，或者元数据中的暗点可以是不正确的。传感器噪声均值能够通过捕获图像而不使传感器暴露于光来测得。在一些示例中，传感器阵列102可以提供未暴露的传感器区域以用于测量针对每个捕获到的帧的暗水平和噪声。得到的暗图像I

在优选示例中，根据颜色通道的视觉重要性来对颜色通道进行加权并且以补偿针对每个通道的传感器阵列102的图像传感器的不同灵敏度。加权矩阵W可以例如根据用于计算来自RGB的亮度的 ITU-R BT.2020权重和通道增益{g

使用以下等式来找到亮度归一化差异图像D(x)：

I′

I′

其中，I′

低通滤波器被应用到不同图像D(x)以减少图像噪声的效应。递归重采样滤波器被用于确定差异图像的经滤波的版本D

通过对平方误差图像和(e

在步骤S310中，类型掩码确定逻辑212将饱和掩码和运动掩码组合成一个3级掩码，其在本文中被称为“类型掩码”m(x)。在本文中描述的示例中，在类型掩码中，饱和图像区域具有值2，运动图像区域具有值1，并且既不具有饱和也不具有运动的图像区域具有值0。因此，类型掩码包括针对图像区域的类型指示符以由此将图像区域中的每个分类成多种类型中的一种：例如，饱和、运动或空。饱和图像区域常常在运动掩码中被检测为运动，这是因为饱和能够引起两幅图像之间的差异，该差异高于以上描述的运动阈值。如果图像区域根据饱和掩码和运动掩码具有饱和与运动两者，则类型掩码将该图像区域指示为饱和图像区域(在类型掩码中给予其值2)。即，饱和在类型掩码中比运动优先。因此，类型掩码指示其中运动和饱和重叠的两个值中的最大值。

图5示出了包括(以交叉阴影线示出的)饱和区域504

在步骤S312中，梯度确定逻辑204确定例如针对图像I

针对长曝光图像I

在步骤S314中，滤波代价确定逻辑210基于针对短曝光图像I

如下面更详细地描述的，滤波代价被使用在滤波操作中以由此取决于图像I

B＝b

b

为了运动掩盖以得到令人信服的结果，全部对象必须以一致的方式来对待。不是执行高水平对象分割(其是非常复杂的计算机视觉问题)，饱和像素和运动像素被归类成连通集。由于目的在于将全部移动对象分配给短曝光图像(其中对象的一部分是饱和的)或分配给长曝光图像(其中没有对象的一部分是饱和的)，所以问题能够被简化为将饱和状态填充到连通运动区域中的一项。

运动掩码常常包含归因于噪声滤波步骤和巧合的图像相似度的能够划分对象的许多小洞和线。为了在类型掩码中使这些间隙桥接，出于确定连通性单元214中的连通性的目的，连通性单元214可以通过2的倍数来对类型掩码进行降采样以减少类型掩码的分辨率，例如减少到大致512个像素。经减小分辨率的类型掩码m

找到经减小分辨率的掩码的值使得：

以这种方式，如果原始类型掩码m(x)中的c×c图像区域块包含指示一个饱和图像区域，则经减小分辨率的类型掩码m

通过在对应区上进行加和来将滤波代价B(x)降采样到与经减小分辨率的类型掩码m

低分辨率的3级类型掩码从类型掩码确定逻辑212被传递到连通性单元214。另外，滤波代价从滤波代价确定逻辑210被传递到连通性单元214。连通性单元214对低分辨率的类型掩码应用两个过程 (在步骤S316和步骤S318中)以在连通运动区域上填充饱和状态。第一个是由连通性滤波逻辑216应用的能够将图像区域跨平滑图像区连通的滤波操作，并且第二个是由联合查找逻辑218实施的基于它们的类型指示符来将相邻像素连通的联合查找填充算法。在对连通性单元214的操作的以下描述中，对类型掩码m(x)的引用可以被理解为指代在其中类型掩码的分辨率被减小的优选示例中的经减小分辨率的类型掩码m

在步骤S316中，连通性滤波逻辑216使用针对图像区域的所确定的滤波代价来对类型掩码应用滤波操作。通过使用如以上所描述的滤波代价，连通性滤波逻辑216取决于图像I

图6示出了在连通性滤波操作之前的类型掩码602和在针对具有显著低的图像梯度(例如，多云的天空的图像)的连通性滤波操作之后的类型掩码604的示例。在图6中，白色图像区域具有饱和类型指示符，有图案的图像区域具有运动类型指示符，并且黑色图像区域具有空类型指示符。在602中能够看到在两幅图像之间检测到运动，并且运动区域是分散的(即，没有完全连通)，因此联合查找流程不能够将图像中的全部运动图像区域连通。然而，因为图像 (I

图4示出了作为步骤S316的一部分执行的以便对类型掩码m(x) 进行滤波的步骤的示例。连通性滤波逻辑216接收具有用于根据以下来指示图像区域的类型的类型指示符的类型掩码：

使用滤波代价B(x)来确定针对图像区域的累积代价。累积代价可以被称为“距离”d(x)，但是应当注意这些“距离”由滤波代价进行加权并且不必一定指示图像区域与饱和区域之间的实际物理距离。在概念上，距离d(x)的距离映射被递归地计算以将距离映射到最近的饱和图像区域。在步骤S402中，如果第一图像区域是饱和的，即如果m(0)＝2，则针对第一图像区域的累积代价(或“距离”)d(0)被设置为值0，否则即如果m(0)≠2，则针对第一图像区域的累积代价d(0) 被设置为值1。累积代价的剩余部分通过如图4中图示的连通性滤波逻辑216来确定。

针对每个图像区域以递归的方式实施图4中示出的步骤S404到S418。即，由连通性滤波逻辑216应用的滤波操作是递归滤波操作。如下面更详细地描述的，在本文中描述的示例中，在向前方向上和在反向方向上执行递归滤波操作。图像区域被处理的顺序可以在不同示例中是不同的并且可以例如以对角方式跨图像前进。在步骤 S404中，针对图像区域x的最低累积代价d(x)通过将区域x的滤波代价 B(x)增加到先前处理过的图像区域的最低累积代价来确定。例如，先前处理过的图像区域的可以是在图像区域x正上方或图像区域x的正左边的图像区域中具有较低累积代价的任何一个。这能够被表示为：

在步骤S406中，确定图像区域x是否具有运动类型。即，确定类型指示符是否满足m(x)＝1。如果是的话，方法传递到步骤S408，在步骤S408中确定针对图像区域x的累积代价d(x)是否小于阈值T。在示例中，阈值T被设置在

因此，步骤S406到步骤S410意味着如果最初为运动区域(其中，m(x)＝1)的图像区域“靠近”饱和区域，则针对图像区域的类型指示符被设置为指示饱和类型(即，m(x)被设置为具有值2)，由此将运动区域连通到附近的饱和区域。“靠近度”通过确定针对图像区域的累积代价是否小于阈值来确定，使得靠近度考虑图像中的图像梯度。以这种方式，运动区域可以在图像梯度在大的物理距离上很低的情况下在该距离上被连通到饱和区域。这可以是有益的，因为被用于形成HDR图像的图像在两个区域之间的过渡可以归因于过渡区域中的低图像梯度而是引人注目的。相反，运动区域可以在图像梯度在小的物理距离上很高的情况下在该距离上不被连通到饱和区域。这是有益的，因为被用于形成HDR图像的图像在两个区域之间的过渡可以归因于过渡区域中的高图像梯度而不是引人注目的。

在步骤S412中，确定图像区域x是否具有饱和类型，即m(x)＝2是否成立。如果是的话，方法传递到步骤S414，在步骤S414中，针对图像区域x的累积代价d(x)被设置为零。方法从步骤S414传递到步骤S416。另外，如果确定在步骤中S412图像区域x不具有饱和类型，即m(x)≠2，则方法从步骤S412传递到步骤S416而不执行步骤S414。

在步骤S416中确定是否还存在更多的图像区域要考虑，并且如果是的话，方法传递到步骤S418，在步骤S418中将x增一。如以上所描述的，图像区域被处理的顺序可以在不同示例中是不同的并且x 被增一的方式确定图像区域被处理的顺序。例如，图像区域可以以对角方式被处理，从图像的角落开始并且以递增地进一步远离开始角落的对角线前进。方法之后传递回到步骤S404以针对下一图像区域重复步骤S404到S418。如果在步骤S416中确定不再有图像区域要考虑，则方法传递到步骤S420，在步骤S420中确定方法是否应当针对图像重复，并且如果是的话，方法传递回到步骤S404。例如，方法可以首先在向前方向上执行(例如，在左上方图像区域中开始并前进向右下方图像区域)，并且之后方法可以以反向方向重复(例如，在右下方图像区域中开始并前进向左上方图像区域)。

步骤中的一些可以在方法以反向执行时稍微不同。例如，在反向方向中，方法首先考虑最终图像区域(d(N)，其中，N是图像区域的数目)并且之后向后朝向第一图像区域进行以确定累积代价。以x 的递减顺序的该第二经过使过程对称。当以反向顺序处理时，利用等式12来替换在步骤S404中使用的等式11：

另外，在步骤中S418，在以反向顺序处理时x被减一而非增一。如果连通性滤波逻辑216被应用多次，则可以收敛于稳定的结果，然而两次经过(例如，一次在向前方向上并且一次在反向方向上) 倾向于足够用于连通性滤波逻辑216所打算的处理平滑图像区。

在其他示例中，不是以对角方式处理图形区域，方法可以被分解成分别通过一次使用等式11和12中的邻域中的仅仅一个来处理x 方向和y方向。在这些示例中，在图像上的两倍之多的经过被实施，但是这些方法可以对于某些实施方式是有益的。例如，GPU可以更高效地并行地处理许多行或列，其(归因于序列依赖性)防止同时在两个方向上传输信息，但是可以快许多倍。

当(如在步骤S420中所确定的)方法不再要重复时，例如，在两次经过之后，步骤S316则是完整的并且方法继续到步骤S318。

在步骤S318中，联合查找逻辑218实施联合查找流程以选择性地设置类型指示符以针对具有运动类型并且连通到具有饱和类型的图像区域的图像区域指示饱和类型。以这种方式，联合查找填充流程被用于考虑精心设计的结构中的连通性。本领域技术人员将理解如何实施联合查找流程。例如，联合查找流程可以被用于找到由8 邻域邻接连通的图像区域的集合。如果连通区域包含任何饱和图像区域，则连通区域中的所有图像区域被标记为饱和。

图7示出了包括图像702的示例，图像702包括靠近精心设计的高对比度边缘的饱和区域，在一些区域中具有运动。示出了(例如，如由类型掩码确定逻辑212在步骤S310中输出的)经初始降采样的类型掩码704，其指示饱和区域(如白色区域)，运动区域(如有阴影线的区域)以及空区域(如黑色区域)。在已经应用了连通性滤波逻辑216之后的类型掩码被示出为706，并且能够看到大量运动区域已经被转变为饱和区域，但是运动区域中的一些还没有与高图像细节的区中的饱和区域(例如，在图像702中的树枝之间)连通。在已经应用了联合查找逻辑218之后的类型掩码被示出为708，并且能够看到来自掩码706的连通运动区域已经被设置为饱和类型，其中仅仅剩余的两个不连通运动区域为运动区域。联合查找方法能够在连通性滤波逻辑216归因于高图像梯度而不能够连通的情况下将高图像细节的区中的图像区域(例如，在树枝之间)连通。

在步骤S318之后，使用经修改的经减小分辨率的类型掩码m

将类型掩码从连通性单元214传递到融合单元220。为清楚起见，图8a示出了表示针对类型掩码m(x)的图像区域的仅仅一行的类型指示符802的值的图形。在步骤S320中，初始融合掩码确定逻辑222 基于来自类型掩码m(x)的类型指示符来确定两个初始融合掩码n

图8b将初始二元融合掩码n

使用二元掩码来合并图像将在最终图像中引入尖锐的边缘。这些在诸如面部和云彩的平滑的移动场景区域中尤其是侵入的。具体地，融合单元220优选地仅仅将多于一幅图像融合以形成在未饱和且不具有运动的图像区域中的HDR图像的像素。在饱和图像区域中仅仅使用短曝光图像，而在连通运动区域中仅仅使用输入图像中的一幅，其优选但不必一定是长曝光图像。两个初始融合掩码被用于形成图像融合掩码，图像融合掩码被用于将长曝光图像与短曝光图像组合以形成HDR图像。图像融合掩码优选大致与图像一样平滑。即，图像融合掩码应当具有与图像一样平滑的过渡。例如，在图像包含尖锐边缘的情况下，该边缘能够被利用以隐藏图像融合掩码中的过渡。另外，在饱和区域和未饱和区域彼此靠近的情况下，从一个到另一个的过渡优选是平滑且单调的。

掩码n

在其中类型掩码为非零的图像区域中将融合速率设置为1防止一个掩码中的融合过程延伸到其他掩码中的相邻区域以外。

图像区域x的滤波代价B′(x)提供图像区域的平滑度的指示。在步骤S322中，融合滤波逻辑224使用滤波代价B′(x)对初始二元融合掩码(n

向后滤波操作能够之后由融合滤波逻辑224根据以下等式在初始融合掩码n(x)中的每个上执行(以最终图像区域开始，x＝N)：

以这种方式，图8b中利用线804

在优选示例中，针对初始融合掩码中的每个应用向前滤波经过和向后滤波经过两次，以确保融合能够传播到角落周围。使用两次重复可能对于掩码完全收敛到稳定结果是不够的，但是经平滑的融合掩码与经完全收敛的融合掩码之间的差异在两次重复之后在视觉上变得不明显，因此这是不足够的。

在步骤S324中，图像融合掩码确定逻辑226基于经平滑的融合掩码n

图像融合因子α(x)可以根据以下等式来确定：

根据等式15，图像融合因子α(x)遵循经平滑的融合因子n

图像融合掩码α(x)被传递到图像融合逻辑228，图像融合逻辑228 还接收输入图像I

具体地，在步骤S326中，图像融合逻辑228例如通过以因子2 的插值来对图像融合掩码α(x)进行上采样，使得其以与输入图像(I

I

如以上所描述的，输入图像I

例如，如果以曝光值的递减顺序来处理图像，则头两幅图像能够被组合以形成被分配以两个曝光中的较短者的曝光值的参考图像，并且之后参考图像与图像中的另一幅进行融合，等等，直到最终经融合的HDR图像被形成。如果以曝光值的递增顺序来处理图像，则参考图像被分配以被用于形成参考图像的两个曝光中的较长者的曝光值。

因此，如果多于两幅图像要被组合，则图像以曝光水平的单调顺序(例如，以(曝光时间)×(灵敏度)的单调顺序)被处理，使得易于确定参考图像和新图像中的哪幅是较长的曝光和较短的曝光。第一幅图像被用作初始参考图像并限定参考坐标空间。每幅新图像轮流以几何方式和以辐射度计量方式与参考图像对准并与参考图像融合，以产生经更新的参考图像。新图像与参考图像之间的不一致通过修改alpha掩码来掩盖使得不一致区域仅仅从一幅图像来采样。顺序处理流水线可以被选择以避免在存储器中一次具有全部图像的需要。

从HDR处理单元106输出经融合的HDR图像(IR)并且可以将其提供回到图像处理单元104，图像处理单元104可以执行对图像的进一步处理以便确定经处理的图像。经处理的图像可以被用于任何适当的目的，例如，被显示在显示器上、被发送到另一设备或被存储在存储器108上等等。

在以上描述的示例中，两幅或更多幅图像被组合以形成经混合的HDR图像以用于在高动态范围图像处理中使用。更一般地，上述方法能够被用于将图像进行组合以用于任何适当的目的，其中，应用使用指示图像中的图像梯度的滤波代价的滤波操作可以是有益的。例如，根据本文中描述的示例来将具有不同聚焦的多幅图像进行组合。可以连续地捕获多幅图像，其中，针对对每幅图像的捕获不同地设置焦点设置，但是针对图像中的每幅，曝光水平可以是相同的。注意，如果连续地(即，在不同时间)捕获图像，则可能在不同图像之间存在运动，类似于如以上关于对用于在形成HDR图像中使用的不同图像的捕获所描述的。在具有不同聚焦的多幅图像的示例中，不同图像区域可以在不同图像中处于较好焦点中，并且图像能够被组合以形成经混合的图像，其中，较好聚焦的图像区域优先从图像中选择。从不同图像获取的图像区域之间的过渡能够根据取决于图像中的图像梯度的滤波代价来进行平滑。例如，类似于如以上所描述的，滤波代价可以被使用在滤波操作中，例如(i)在用于确定从相同图像获取的连通图像区域的连通性滤波操作中(注意，如以上所描述的，针对其中存在运动的图像区域，单幅图像应当被用于形成经融合的图像以避免运动伪影)，和/或(ii)在用于将两幅或更多幅图像融合一起以形成经融合的图像的融合滤波操作中，使得被用于形成经融合的图像的图像之间的过渡被平滑。

在其他示例中，以上描述的方法的滤波原理能够被用于除了将图像进行组合的目的。例如，使用指示图像中的图像梯度的滤波代价的滤波操作能够对单幅图像进行滤波有用。例如，滤波操作可以被用于对图像应用去噪，使得被应用到图像区域的去噪的范围取决于针对图像区域的滤波代价。这能够是有用的，因为滤波是引人注目的程度如何可以取决于图像中的图像梯度。例如，去噪滤波可以在高度详细的图像区域中更明显并且在较不详细的图像区域中较不明显，因此可以相较于具有低水平细节的图像区域针对具有高水平细节的图像区域增大去噪的量。

图9示出了HDR处理单元106可以被实施在其中的计算机系统。计算机系统可以包括GPU 902、CPU 904、存储器906和其他设备 908，例如显示器910、扬声器912和麦克风914。计算机系统还可以包括相机传感器916，相机传感器916包括传感器阵列102和包括图像处理单元104的相机流水线。如以上所描述的，HDR处理单元 106可以被实施在GPU 902上。计算机系统的部件可以经由通信总线920彼此通信。HDR处理单元106可以(例如，以硬件)被实施为如图9中示出的GPU 902的一部分。备选地，HDR处理单元106 可以被实施在CPU 904上。如果HDR处理单元106以软件来实施，则其可以作为计算机程序代码被存储在存储器906中并且可以在计算机系统中的处理单元上(例如，在GPU 902或CPU 904上)被执行。

一般地，以上描述的功能、方法、技术或部件中的任何(例如， HDR处理单元106和其部件)能够被实施在使用软件、固件、硬件 (例如，固定逻辑电路)或者这些实施方式中的任何组合的模块中。术语“模块”、“功能”、“部件”、“块”、“单元”和“逻辑”在本文中被用于总体上表示软件、固件、硬件或其任何组合。

在软件实施方式的情况下，模块、功能、部件、块、单元或逻辑表示当运行在处理器(例如，一个或多个CPU)上时执行指定任务的程序代码。在一个示例中，描述的方法可以通过被配置具有以机器可读形式存储在计算机可读介质上的软件的计算机来执行。计算机可读介质的一个这样的配置是信号承载介质并且因此被配置为将指令(例如，作为载波)例如经由网络发送到计算设备。计算机可读介质还可以被配置为非暂态计算机可读存储介质并且因此不是信号承载介质。计算机可读存储介质的示例包括随机存取存储器 (RAM)、只读存储器(ROM)、光盘、闪速存储器、硬盘存储器和可以使用磁性技术、光学技术和其他技术来存储指令或其他数据并且能够由机器访问的其他存储器设备。

所述软件可以以包括用于将计算机配置为执行描述的方法的构成部分的计算机程序代码的计算机程序的形式或者以包括适于在程序在计算机上运行时执行本文中描述的方法中的任何的全部步骤的计算机程序代码模块的计算机程序的形式，并且其中所述计算机程序可以被实现在计算机可读介质上。程序代码能够被存储在一个或多个计算机可读介质中。本文中描述的技术的特征是平台无关的，意味着所述技术可以被实施在具有各种处理器的各种计算平台上。

本领域技术人员还将意识到，所述功能、技术或方法中的全部或部分可以由专用电路、专用集成电路、可编程逻辑阵列、现场可编程门阵列等等来实现。例如，所述模块、功能、部件、块、单元或逻辑(例如，HDR处理单元106和其部件)可以包括以电路的形式的硬件。这样的电路可以包括在制造工艺中可用的晶体管和/或其他硬件元件。这样的晶体管和/或其他元件可以被用于形成实施和/ 或包含通过举例的方式诸如寄存器、触发器或锁存器的存储器、诸如布尔运算的逻辑运算符、诸如加法器、乘法器或移位器的数学运算符以及互连件的电路或结构。这样的元件可以被提供为经典电路或标准单元库、宏、或者在其他级别的抽象。这样的元件可以被相互连接在特定布置中。所述模块、功能、部件、块、单元或逻辑(例如，HDR处理单元106和其部件)可以包括为固定功能的电路和能够被编程为执行一个或多个功能的电路；这样的编程可以根据固件或软件更新或控制机制来提供。在示例中，硬件逻辑具有实施固定功能操作、状态机或过程的电路。

还意图包含“描述”或定义实施以上描述的模块、功能、部件、块、单元或逻辑的硬件的配置的软件，例如HDL(硬件描述语言) 软件，如被用于设计集成电路或者用于将可编程芯片配置为实现期望功能。即，可以提供一种计算机可读存储介质，其具有编码在其上的计算机可读程序代码，该计算机可读程序代码用于生成被配置为执行本文中描述的方法中的任何的图像处理系统或者用于生成包括本文中描述的任何装置的图像处理系统。即，一种计算机系统可以被配置为根据电路元件的定义和用于将那些电路元件进行组合的数据定义规则来生成数字电路的表示，其中，非暂态计算机可读存储介质可以具有存储在其上的处理器可执行指令，该处理器可执行指令当在这样的计算机系统处被执行时，使计算机系统生成如本文中所描述的图像处理系统。

术语‘处理器’和‘计算机’在本文中用于指代具有使得其能够运行指令的处理能力的任何设备或其部分或者能够执行所述功能或方法中的全部或部分的专用电路、或者其任何组合。

尽管本主题已经以特定于结构特征和/或方法动作的语言进行描述，但是要理解权利要求中限定的主题不必一定限于以上描述的具体特征或动作。相反，以上描述的具体特征和动作被公开为实施权利要求的示例形式。将理解，以上描述的益处和优点可以涉及一个示例或可以涉及若干示例。

本领域技术人员容易理解，可以在不丧失寻求的效果的情况下扩展或更改本文中给出的任何范围或值。本文中描述的方法步骤可以以任何适当的顺序或者在合适的情况下同时地来执行。在不丧失寻求的效果的情况下，以上描述的示例中的任何的方面可以与描述的其他示例中的任何的方面进行组合以形成另一示例。