提升低亮度图像的质量的方法、系统和计算机可读介质

相关申请的交叉引用

本申请要求于2018年11月26日提交的美国申请第62/771,342号的优先权。

本公开内容的背景

1.技术领域

本文公开的内容涉及图像处理领域，更具体地，涉及提升低亮度图像的质量的方法、系统和计算机可读介质。

2.相关技术的描述

由于低信噪比(signal-to-noise,SNR)的缘故，在低照明条件下要拍摄在感知上有良好质量的照片极具挑战性。延长曝光时间可以获得视觉上良好的图像；然而，这很容易造成运动模糊，且在现实生活中并不总是可行。

为了使曝光时间短的低亮度图像在视觉上清晰可辩，这个领域中已经进行了广泛的研究，这包括去噪(denoising)技术，该技术着重在去除图像中因低亮度环境而产生的噪声，另外还包括增强(enhancement)技术，该技术的发展提升了数字图像在感知上的质量。

然而，现行的去噪方法通常通过合成的数据进行评估，这种方式并不能很好地泛用到真实的图像，而且低亮度增强技术没有考虑到噪声的部分。再者，由于训练数据集的数量有限，对这些训练数据，学习网络很容易变得过度拟合(overfitted)。

发明内容

本公开内容的一个目的在于提供一种提升低亮度图像的质量的方法、系统和计算机可读介质。

在本公开的第一个方面中，一种方法包括：

接收数字图像；

利用至少一处理器，通过编码器-解码器神经网络处理所述数字图像，来生成一得出的数字图像，所述编码器-解码器神经网络包括多个卷积层，其被分类为下采样阶段和上采样阶段，并包括多尺度上下文聚合块，其被配置用来聚合所述数字图像的多尺度上下文信息，并设置在所述下采样阶段和所述上采样阶段之间；以及

利用所述至少一处理器，输出所述得出的数字图像到输出装置，

其中所述生成所述得出的数字图像包括：

在所述下采样阶段中每隔几个卷积层之后执行一次池化操作，以降低空间分辨率；

在所述上采样阶段中每隔几个卷积层之前执行一次升尺度操作，以提高空间分辨率；以及

在所述下采样阶段和所述上采样阶段中的每个卷积层之后执行一个基于通道的弃置操作。

根据本公开的第一个方面中的一个实施例，在所述执行基于通道的弃置操作中，每个卷积层中的每个通道或特征图被赋予了要被移除的预定义的概率。

根据本公开的第一个方面中的一个实施例，在所述执行基于通道的弃置操作中，每个卷积层中单个通道或特征图中的所有像素都被归零。

根据本公开的第一个方面中的一个实施例，在所述生成所述得出的数字图像之前，所述方法还包括：

判断所述数字图像的对比度值、动态范围和信噪比中的任何一个是否低于阈值；为了回应判断出所述对比度值、所述动态范围和所述信噪比中的任何一个低于所述阈值，执行所述生成所述得出的数字图像。

根据本公开的第一个方面中的一个实施例，所述生成所述得出的数字图像还包括：

将所述下采样阶段的卷积层以及具有与所述下采样阶段的卷积层相同分辨率的上采样阶段的卷积层联结在一起；

通过所述多尺度上下文聚合块的一全域池化层，来提取所述数字图像的全域上下文信息；以及

通过所述多尺度上下文聚合块中不同各种扩张速率的多个扩展层，来提取所述数字图像在不同尺度下的上下文信息。

根据本公开的第一个方面中的一个实施例，所述全域池化层和所述多个扩展层中的其中一个联结在一起，并且其他的扩展层依据相应的尺度以级联方式联结在一起。

根据本公开的第一个方面中的一个实施例，所述生成所述得出的数字图像还包括：

对所述全域池化层执行双线性插值操作。

根据本公开的第一个方面中的一个实施例，所述多尺度上下文聚合块包括：

连接在所述全域池化层和所述多个扩展层之后的1×1卷积层。

在本公开的第二方面中，一种系统包括：

至少一存储器，被配置用来存储程序指令；

至少一处理器，被配置用来执行所述程序指令，其使得所述至少一处理器执行以下步骤：

接收数字图像；

通过编码器-解码器神经网络处理所述数字图像，来生成一得出的数字图像，所述编码器-解码器神经网络包括多个卷积层，其被分类为下采样阶段和上采样阶段，并包括多尺度上下文聚合块，其被配置用来聚合所述数字图像的多尺度上下文信息，并设置在所述下采样阶段和所述上采样阶段之间；以及

输出所述得出的数字图像到输出装置，

其中所述生成所述得出的数字图像包括：

在所述下采样阶段中每隔几个卷积层之后执行一次池化操作，以降低空间分辨率；

在所述上采样阶段中每隔几个卷积层之前执行一次升尺度操作，以提高空间分辨率；以及

在所述下采样阶段和所述上采样阶段中的每个卷积层之后执行一个基于通道的弃置操作。

根据本公开的第二个方面中的一个实施例，在所述执行基于通道的弃置操作中，每个卷积层中的每个通道或特征图被赋予了要被移除的预定义的概率。

根据本公开的第一个方面中的一个实施例，在所述执行基于通道的弃置操作中，每个卷积层中单个通道或特征图中的所有像素都被归零。

根据本公开的第二个方面中的一个实施例，所述生成所述得出的数字图像还包括：

将所述下采样阶段的卷积层以及具有与所述下采样阶段的卷积层相同分辨率的上采样阶段的卷积层联结在一起；

通过所述多尺度上下文聚合块的一全域池化层，来提取所述数字图像的全域上下文信息；以及

通过所述多尺度上下文聚合块中具有不同扩张速率的多个扩展层，来提取所述数字图像在不同尺度下的上下文信息。

根据本公开的第二个方面中的一个实施例，所述全域池化层和所述多个扩展层中的其中一个联结在一起，并且其他的扩展层依据相应的尺度以级联方式联结在一起，所述多尺度上下文聚合块包括连接在所述全域池化层和所述多个扩展层之后的1×1卷积层。

根据本公开的第二个方面中的一个实施例，所述生成所述得出的数字图像还包括：

对所述全域池化层执行双线性插值操作。

在本公开的第三方面中，一种非暂态计算机可读介质，具有存储于其内的程序指令，但所述程序指令被至少一处理器执行时，使得所述至少一处理器执行以下步骤：

接收数字图像；

通过编码器-解码器神经网络处理所述数字图像，来生成一得出的数字图像，所述编码器-解码器神经网络包括多个卷积层，其被分类为下采样阶段和上采样阶段，并包括多尺度上下文聚合块，其被配置用来聚合所述数字图像的多尺度上下文信息，并设置在所述下采样阶段和所述上采样阶段之间；以及

输出所述得出的数字图像到输出装置，

其中所述生成所述得出的数字图像包括：

在所述下采样阶段中每隔几个卷积层之后执行一次池化操作，以降低空间分辨率；

在所述上采样阶段中每隔几个卷积层之前执行一次升尺度操作，以提高空间分辨率；以及

在所述下采样阶段和所述上采样阶段中的每个卷积层之后执行一个基于通道的弃置操作。

根据本公开的第一个方面中的一个实施例，在所述执行基于通道的弃置操作中，每个卷积层中的每个通道或特征图被赋予了要被移除的预定义的概率。

根据本公开的第一个方面中的一个实施例，在所述执行基于通道的弃置操作中，每个卷积层中单个通道或特征图中的所有像素都被归零。

根据本公开的第三个方面中的一个实施例，所述生成所述得出的数字图像还包括：

将所述下采样阶段的卷积层以及具有与所述下采样阶段的卷积层相同分辨率的上采样阶段的卷积层联结在一起；

通过所述多尺度上下文聚合块的一全域池化层，来提取所述数字图像的全域上下文信息；以及

通过所述多尺度上下文聚合块中具有不同扩张速率的多个扩展层，来提取所述数字图像在不同尺度下的上下文信息。

根据本公开的第三个方面中的一个实施例，所述全域池化层和所述多个扩展层中的其中一个联结在一起，并且其他的扩展层依据相应的尺度以级联方式联结在一起，所述多尺度上下文聚合块包括连接在所述全域池化层和所述多个扩展层之后的1×1卷积层。

根据本公开的第三个方面中的一个实施例，所述生成所述得出的数字图像还包括：

对所述全域池化层执行双线性插值操作。

在本公开内容中，使用了编码器-解码器神经网络来处理数字图像。所述网络包括多个卷积层，其被分类为下采样阶段和上采样阶段，并包括多尺度上下文聚合块，其被配置用来聚合低亮度的数字图像的多尺度上下文信息，并设置在所述下采样阶段和所述上采样阶段之间。与现有技术相比，本公开考虑了数字图像的局域和全域上下文/颜色信息。因此，可以彻底移除噪声，且图像被大大增强了，以致能够更好地以丰富的细节和鲜明的色彩呈现。再者，通过采用基于通道的弃置操作，提高了所述网络的泛化表现。

附图简要说明

为了更清楚地说明本公开或相关技术的实施例，以下附图将于实施例中进行描述，并简要介绍如下。显而易见的是，附图仅仅代表本公开中的一些实施例，本技术领域的普通技术人员可以根据这些附图在不作出预设前提下得出其他附图。

图1显示根据本公开的实施例的终端的示意图。

图2显示根据本公开的实施例的终端的软件模块和相关联的硬件的方块图。

图3显示根据本公开的实施例的编码器-解码器神经网络的图形描述的示意图。

图4显示图3中所示的编码器-解码器神经网络的U-net架构的图形描述的示意图。

图5显示图3中所示的多尺度上下文聚合块的图形描述的示意图。

图6显示根据本公开的另一实施例的编码器-解码器神经网络的图形描述的示意图。

图7A显示传统的弃置操作的示意图。

图7B显示根据本公开的基于通道的弃置操作的示意图。

图8显示根据本公开的实施例的提升低亮度图像的质量的方法的流程图。

具体实施方式

下面将结合本公开的附图，在技术方案、结构特征、达到的目的及效果方面，对本公开的实施例进行详细说明。具体地，本公开的实施例中的术语仅用于描述某些实施例，而不用于限定本发明。

图1显示根据本公开的实施例的终端100的示意图。参考图1，终端100包括摄像装置110、处理器模块120、存储器模块130、输出装置140和连接到这些模块和装置的总线150。终端100具有执行低亮度(low-light)图像的去噪(denoising)和增强(enhancement)的能力。终端100可以将低亮度图像转换成在感知上具有良好质量的图像。终端100可以实现为手机、智能手机、平板电脑、笔记本电脑，台式电脑或任何具有足够的计算能力以执行图像处理程序的电子装置。

摄像装置110被配置用来撷取数字图像。当在低照明条件下或以不足的曝光时间撷取数字图像时，可能很难识别所撷取的数字图像的内容。这些数字图像可能具有低的信噪比(signal-to-noise,SNR)，因而被归类为低亮度图像。摄像装置110可以实现为RGB相机或CMYK相机。可选地，摄像装置110被包括在终端100中。终端100可以对从包括在终端100中的摄像装置110取得的、或从终端100之外的任何图像撷取设备取得的、或从内部或外部存储器取得的、或通过有线或无线通信获得的低SNR的图像进行图像处理。

存储器模块130可以是暂态或非暂态计算机可读介质，其包括多个存储器存储的、可由处理器模块120执行的程序指令。处理器模块120包括至少一个处理器，其通过总线150直接或间接发送信号到摄像装置110、存储器模块130和输出装置140及/或通过总线150直接或间接从摄像装置110、存储器模块130和输出装置140接收信号。处理器模块120被配置用来利用对应存储器存储的程序指令的一些部分的神经网络模型来处理低SNR的(亦即，由摄像装置110撷取到的)数字图像，以产生噪声降低了的、质量获得提升的图像。所述神经网络模型是在单一程序中实现图像去噪和图像增强的关键，其将在后文作进一步描述。

处理器模块120使用所述神经网络模型而生成的图像被处理器模块120输出到输出装置140。输出装置140可以是用来从处理器模块120接收其所输出的图像数据的存储器、显示装置或有线或无线通信模块。也就是，利用所述神经网络模型而生成的噪声降低了的、质量获得提升的图像可以被存储于所述存储器中、显示于所述显示装置上、或发送到终端10以外的、使用外部的有线或无线通信模块的外部设备。

图2显示根据本公开的实施例的终端100的软件模块200和相关联的硬件的方块图。终端100包括存储在存储器模块130中并可由处理器模块120执行的软件模块200。软件模块200包括摄像控制模块202、低亮度图像判定模块204、神经网络模型206和输出控制模块208。摄像控制模块202被配置用来控制摄像装置110拍摄照片以产生数字图像。低亮度图像判定模块204被配置用来判断摄像装置110所撷取到的数字图像是否为低亮度的数字图像。例如，可以使用数字图像的对比度值、动态范围和SNR来判断它是否为低亮度的数字图像。如果对比度值太低、动态范围太窄或SNR太小，则这样的数字图像很可能被判定为低亮度的数字图像。如果对比度值、动态范围和SNR的任何一个或任意的组合低于阈值，则低亮度图像确定模块204可以将所述撷取到的数字图像归类为低亮度的数字图像。然后，将此低亮度的数字图像馈送到神经网络模型206，以便进行去噪和增强处理。所得出的数字图像被输出到输出控制模块208。输出控制模块208控制该所得出的数字图像的传输，并根据用户选择或默认的设置，来决定该所得出的数字图像要输出到那个装置。输出控制模块208将该所得出的数字图像输出到诸如显示装置、存储器和有线或无线通信装置之类的输出装置140。

图3显示根据本公开的实施例的编码器-解码器神经网络300的图形描述的示意图。如图3所示，神经网络模型206包括一编码器-解码器神经网络300。低亮度的数字图像从编码器-解码器神经网络300的左侧输入，而所得出的数字图像从编码器-解码器神经网络300的右侧输出。针对一张给定的低亮度的数字图像I，利用编码器-解码器神经网络300来学习如下的映射：I’＝f(I:w)，从而以端到端(end-to-end)的方式生成该所得出的数字图像I’，其中w为编码器-解码器神经网络300中的一组可学习到的参数。为了进行图像的去噪和增强，所学习到的参数和编码器-解码器神经网络300被布建到终端100上。在曝光短暂的低曝光条件下拍摄到的图像在视觉上是不友善的，因为这类图像非常暗、参杂非常多噪声，颜色和细节对用户来说是不可辩的。利用编码器-解码器神经网络300和所学习到的参数，可以增强图像，而且噪声可被彻底地去除，从而更好地将丰富的细节和鲜明的颜色呈现在终端100上。

编码器-解码器神经网络300的具体组成显示于图3中。编码器-解码器神经网络300的架构可以被分成两个部分，亦即U-net架构和多尺度上下文聚合块(multi-scalecontext aggregating block)350。图4显示图3中所示的编码器-解码器神经网络300的U-net架构的图形描述的示意图。图5显示图3中所示的多尺度上下文聚合块350的图形描述的示意图。该U-net架构包括下采样(downsampling)阶段和上(upsampling)采样阶段，而多尺度上下文聚合块350则配置在所述下采样阶段和所述上采样阶段之间的瓶颈结构(bottleneck)处。

(1)U-net架构

参见图3和图4，所述U-net架构包括在下采样阶段和上采样阶段的多个卷积层302。这些卷积层302可以指向多通道特征图(feature map)的操作。在一个示例中，每个卷积层302可以代表一个3×3卷积操作(具有3×3滤波器)和一个Leaky Relu操作。在一个示例中，所述U-net架构总共包括18个卷积层。以下采样阶段的卷积层来说，分辨率逐渐降低，通道的数量逐渐增加。以上采样阶段的卷积层来说，分辨率逐渐增加，通道的数量逐渐减少。低亮度的数字图像首先进行下采样操作以提取抽象特征，同时降低空间分辨率。在瓶颈结构之后，特征图会接着进行升尺度(upscaling)操作。

在下采样阶段，于几个卷积层302之后配置了一个池化层(pooling layer)(例如，最大池化层)304。例如，池化层304设置在每两个卷积层302之后。在下采样阶段的每隔几个卷积层302之后，执行池化操作(例如，最大池化操作)。所述池化操作降低了相应的特征图的分辨率。在上采样阶段，于几个卷积层302之前配置了一个升尺度层306。例如，升尺度层306设置在每两个卷积层302之前。在上采样阶段的每隔几个卷积层302之前，执行升尺度操作。所述升尺度操作提高了相应的特征图的分辨率。例如，升尺度层306为解卷积(deconvolutional)层或反(transposed)卷积层。

再者，下采样阶段的卷积层302以及具有与所述下采样阶段的卷积层302(基本上)相同分辨率(或基本上在同一下采样和上采样层级)的上采样阶段的卷积层302联结(concatenated)在一起。为了描述的更清楚一点，升尺度层304可以通过以下操作来形成：利用所需的复制和裁剪操作，对升尺度层304旁边的上一个特征图进行升尺度操作，并将升尺度操作后的特征图结合到下采样阶段中与所述升尺度操作后的特征图位在同一层级的特征图。所述联结操作以图4所示的符号

由O.Ronneberger、P.Fischer和T.Brox于2015年在MICCAI,4,5,7所发表的、题名为“U-net:Convolutional networks for biomedical image segmentation”的论文更详细地描述了U-net架构的示例，其提出了为生物医学图像进行分割的方法。具有相似结构的编码器和解码器的编码器-解码器网络的其他架构是在本公开文本意欲保护的范围之内。

然而，仅使用此U-net架构来处理低亮度的数字图像所得出的图像可能导致不同位置处有不一致的颜色，这是因为其没有将全域上下文/颜色信息列入考虑。将如下文所述的，本公开中全域上下文/颜色信息被导入到编码器-解码器神经网络300中。

(2)多尺度上下文聚合块

参见图3和图5，多尺度上下文聚合块350配置在编码器-解码器神经网络300的下采样阶段和上采样阶段之间的瓶颈结构处。多尺度上下文聚合块350包括一全域池化层352，其被配置用来提取低亮度的数字图像全域的上下文/颜色信息。全域池化层352可以通过对前一个卷积层302执行池化操作或对全域池化层352旁边的前一张特征图执行池化操作来获得。多尺度上下文聚合块350还包括多个具有各种扩张速率的扩展层(dilationlayers)354，其被配置用来提取低亮度的数字图像在不同尺度下的局域上下文/颜色信息。也就是说，一组具有各种扩张速率的扩展的卷积操作被用来提取不同尺度下的局域上下文/颜色信息。每个扩展层354可以通过对前一个卷积层302执行扩展操作或对相应的扩展层354旁边的前一张特征图执行扩展操作来获得。例如，对前一张特征图执行2倍扩展的卷积操作，以获得一个扩展层；对同一张特征图执行4倍扩展的卷积操作，以获得另一个扩展层。扩展操作是一个用来增加特征图的感受野(receptive field)的大小的操作，其为本领域已知的操作。

由F.Yu,V.Koltun于2016年在Proc.Int.Conf.Learn.Representations所发表的、题名为“Multi-scale context aggregation by dilated convolutions”的论文更详细地描述了多尺度上下文聚合的示例，其被用于图像分割。具有相似结构的编码器和解码器的其他架构是在本公开文本意欲保护的范围之内。

如图5所示。全域池化层352和扩展层354联结(concatenated)在一起。更详细地，全域池化层352和多个扩展层354中的其中一个联结在一起，并且其他的扩展层354依据相应的尺度以级联方式联结在一起。例如，全域池化层352与利用2倍扩展的卷积操作而获得的第一扩展层联结在一起，第一扩展层与利用4倍扩展的卷积操作而获得的第二扩展层联结在一起，第二扩展层与利用8倍扩展的卷积操作而获得的第三扩展层联结在一起，第三扩展层与利用16倍扩展的卷积操作而获得的第四扩展层联结在一起，如此等等。

多尺度上下文聚集块350还包括连接在全域池化层352和扩展层354之后的卷积层(例如，1×1卷积层)358。更详细地，被卷积层358跟随在后的全域池化层352和扩展层354是以基于通道的方式(channel-wisely)联结在一起，以产生低亮度的数字图像的多尺度信息的最终表示。

所输入的低亮度的数字图像可能具有任意尺寸或分辨率，这意味着瓶颈结构处的特征图可能为任意尺寸。如果在全域池化层352之后施以解卷积层(deconvolutionallayer)，则解卷积层中内核的尺寸将会是变动的，该尺寸几乎无法被控制，也不是我们所乐见的。因此，在此不使用解卷积层，取而代之的是使用双线性升尺度层356，其利用了双线性插值操作，以将特征图重新拉伸(rescale)回到与输入的特征图相同的尺寸，来执行全域池化层352和扩展层之间的联结操作以及接续的卷积操作。更详细地，全域池化层352中特征图的尺寸相对于前一层中的特征图来说是缩小的。双线性插值操作可以重新拉伸全域池化层352中特征图的尺寸，使其具有与所述前一层中的特征图相同的尺寸。

由于所输入的低亮度的数字图像可能具有任何一种分辨率，故图3所示的编码器-解码器神经网络300的瓶颈结构中的特征图的尺寸可能依然很大。通过编码器-解码器神经网络300可能不容易观察到全域上下文/颜色信息。因此，针对大尺寸的输入图像，所得出的数字图像可能在不同位置处的颜色不一致。再者，编码器-解码器神经网络300的各个个别的层中的特征图可能变得强烈相关，这可能导致过度拟合的情形，其可能会影响已训练完成的网络的泛化表现。为了克服这些问题，这里采用了一种用于提升泛化能力的基于通道的弃置(dropout)操作，如下所述。

图6显示根据本公开的另一实施例的编码器-解码器神经网络400的图形描述的示意图。与图3所示的实施例相比，图6所示的实施例中在每个卷积层302之后导入了一个基于通道的弃置操作，以提升所述网络的泛化能力。如图6所示，在下采样阶段和上采样阶段的每个卷积层302之后配置了一个基于通道的弃置操作。卷积层302的通道或特征图被随机地弃置。更具体地，在基于通道的弃置操作中，每个卷积层302中的每个通道或特征图被赋予了预定义的概率，以在训练所述网络时暂时移除。也就是说，一个通道或特征图中的所有像素都被归零(zeroed out)。

图7A显示传统的弃置操作的示意图。图7B显示根据本公开的基于通道的弃置操作的示意图。在如图7A所示的传统的弃置操作中，两张特征图上的单个像素被随机地归零。被归零的像素以填充有斜线的块来表示。在如图7B所示的基于通道的弃置操作中，一个卷积层中的一个通道或特征图被随机地归零，更具体地，一个通道或特征图上的像素都被归零了。例如，图7B中左侧的图表示一个特征图，图7B中右侧的图表示一个被归零的特征图，该特征图上所有的像素都被归零。

从图7A和图7B可以看出，传统的弃置操作在单个特征图中破坏了空间相关性，然而这在图像增强方面是相当重要的。相反地，基于通道的弃置操作可以保留空间相关性，同时防止单个层中的特征图变得强烈相关。因此，图6所示的实施例可以避免过度拟合的情形，并提升所述网络的泛化能力。

由于本公开在低亮度图像的去噪和增强方面考虑了局域和全域的上下文/颜色信息，因此可以彻底移除噪声，且可以端到端的方式大大增强图像，故能够更好地以丰富的细节和鲜明的色彩呈现。再者，通过采用基于通道的弃置操作，提高了所述网络的泛化表现。

成本函数(cost function)

在训练过程中，将低亮度的数字图像馈送到网络300以作为输入，并计算系统输出与相应的长时间曝光图像之间的损耗函数(loss function)。损耗函数是一个

其中λ可凭经验地设定为0.16，

对于像素i，MS-SSIM被定义为：

其中(x,y)表示像素i的坐标；使用具有零均值和标准差σ

图8显示根据本公开的实施例的提升低亮度图像的质量的方法的流程图。参见图1至图8，该方法包括以下区块。

于方块800中，处理器模块120接收数字图像。优选地，可以从终端100的摄像装置110来接收数字图像。在其他情况下，可以从外部的图像撷取设备传来数字图像，或通过有线或无线通信获得数字图像，或从内部或外部存储器读取出数字图像。

于方块810中，低亮度图像判定模块204判断由摄像装置110撷取到的数字图像是否为低亮度的数字图像。如果数字图像的对比度值、动态范围和SNR的任何一个或任意的组合低于阈值，则所述数字图像被判定为低亮度的数字图像，并进入方块820，以利用编码器-解码器神经网络以图像去噪及增强的方式来处理所述低亮度的数字图像。如果不是，则终止该流程。

于方块820中，编码器-解码器神经网络包括多个卷积层302，其被分类为下采样阶段和上采样阶段，并包括多尺度上下文聚合块350，其被配置用来聚合低亮度的数字图像的多尺度上下文信息，并设置在所述下采样阶段和所述上采样阶段之间。编码器-解码器神经网络包括U-net架构。

于方块822中，在U-net架构中，在下采样阶段中每隔几个卷积层302之后执行一次池化操作，以降低空间分辨率，在上采样阶段中每隔几个卷积层302之前执行一次升尺度操作，以提高空间分辨率。

于方块824中，在下采样阶段和上采样阶段的每个卷积层302之后执行一个基于通道的弃置操作。在基于通道的弃置操作中，一个卷积层302中单个通道或特征图中的所有像素都被归零。更具体地，每个卷积层302中的每个通道或特征图被赋予了要被移除的预定义的概率。

于方块826中，在U-net架构中，下采样阶段的卷积层302以及具有与所述下采样阶段的卷积层302(基本上)相同的分辨率(或基本上在同一下采样和上采样层级)的上采样阶段的卷积层302联结在一起。这个联结意味着特征图通过所需的复制和裁剪操作组合在一起。

于方块828中，多尺度上下文聚合块350包括全域池化层352、多个扩展层354和卷积层(例如，1×1卷积层)358。全域池化层352提取低亮度的数字图像的全域上下文/颜色信息；多个具有各种扩张速率的扩展层354提取低亮度的数字图像在不同尺度下的局域上下文/颜色信息。全域池化层352和多个扩展层354中的其中一个联结在一起，并且其他的扩展层354依据相应的尺度以级联方式联结在一起。在全域池化层352和扩展层354之后连接卷积层358，以产生低亮度的数字图像的多尺度信息的最终表示。可以对全域池化层352执行一个双线性插值操作，以重新拉伸全域池化层352中特征图的尺寸，使其具有与输入的特征图(基本上)相同的尺寸。

编码器-解码器神经网络的其他细节请参考上文的相关描述，在此不再赘述。

于方块830中，编码器-解码器神经网络输出所得出的数字图像，处理器模块120将所得出的数字图像输出到诸如显示装置、存储器和有线或无线通信装置之类的输出装置140。

提升低亮度图像的质量的方法的其他细节请参考上文的相关描述，在此不再赘述。

在本公开内容中，使用编码器-解码器神经网络处理数字图像。所述网络包括多个卷积层，其被分类为下采样阶段和上采样阶段，并包括多尺度上下文聚合块，其被配置用来聚合低亮度的数字图像的多尺度上下文信息，并设置在所述下采样阶段和所述上采样阶段之间。与现有技术相比，本公开考虑了数字图像的局域和全域上下文/颜色信息。因此，可以彻底移除噪声，且图像被大大增强了，以致能够更好地以丰富的细节和鲜明的色彩呈现。再者，通过采用基于通道的弃置操作，提高了所述网络的泛化表现。

本领域普通技术人员可以理解，本公开内容的实施例中描述和揭露的每个单元、模块、算法和步骤可以使用电子硬件或计算机和电子硬件的软件组合来实现。在硬件或软件中运行这些功能取决于技术方案的应用情况和设计要求。本领域普通技术人员可以采用不同的方式来实现每个特定应用的功能，而这些实现方式不应超出本公开的范围。

本领域普通技术人员可以理解，他/她可以参考上文提及的实施例中的系统、装置和模块的工作流程，因为上文提及的系统、装置和模块的工作流程基本相同。为了简单描述和简洁起见，这些工作流程将不会详细说明。

应当理解，可以以其他方式来实现本公开的实施例中所公开的系统、装置和方法。上文提及的实施例仅是示例性的。这些模块的划分仅是基于逻辑功能，而在实现上还存在其他的划分方式。多个模块或组件可能可以组合或集成在另一个系统中。也可能可以省略或跳过一些特征。另一方面，所示出的或所讨论的相互耦合、直接耦合或通信耦合通过一些端口、装置或模块进行操作，不管是通过电气、机械或其他类型的方式进行的间接或通信地操作。

用于解释为目的作为分离组件的模块是或不是物理上分隔的。所显示的模块是或不是物理模块，也就是，位于一个地方或分布在多个网络模块上。一些或所有的模块根据这些实施例的目而被使用。

再者，每个实施例中的每个功能模块可以集成在一个处理模块中，其为物理上独立的，或者集成在具有两个或多于两个模块的一个处理模块中。

如果将软件功能模块作为产品实现、使用和销售，则它可以被存储在计算机中的可读存储介质中。基于这种理解，本公开提出的技术方案可以基本上或部分地实现为软件产品的形式。或者，对现有技术有所贡献的技术方案的一部分可以实现为软件产品的形式。计算机中的软件产品存储在存储介质中，包括用于计算装置(例如个人计算机、服务器或网络装置)的多个命令，以运行本公开的实施例所公开的所有或某些步骤。存储介质包括USB硬盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random accessmemory,RAM)、软碟或能够存储程序代码的其他类型的媒体。

虽然本公开内容已经结合所考虑的最实用和优选的实施例描述如上，但应当理解，本公开不限于所公开的实施例，而是旨在在不脱离所附权利要求的最广泛的揭示的范围内，涵盖各种可能的配置。