一种面向低照度图像的增强方法及系统

技术领域

本发明涉及图像增强技术领域，特别是涉及一种面向低照度图像的增强方法及系统。

背景技术

图像作为一种方便、易懂的信息采集和传输手段，早已应用于人类日常生活的各个方面。在光照不足的环境下，捕获的图像存在信噪比、对比度、分别率均较低的特点。为改善这种情况，在硬件方面借助低照度照相机拍摄，直接从获取端改善低照度问题，但此硬件设备价格昂贵，使得此方法无法普及。目前也发开出多种低照度增强算法，并取得了一定效果。该算法为单阶段增强策略，即直接从低照度图像生成增强光图像，但是此类方法的增强范围松散。

发明内容

本发明的目的是提供一种面向低照度图像的增强方法及系统，可同时有效的实现降噪和增强，弥补成像设备在硬件上的不足，从而改善弱光环境下所拍摄的照片清晰度，全面提升图像质量。

为实现上述目的，本发明提供了如下方案：

一种面向低照度图像的增强方法，包括：

获取低照度图像；

将所述低照度图像输入到视觉注意力网络中以进行亮度信息提取处理，进而生成通道注意力图像；所述视觉注意力网络内置有视觉注意力机制；所述通道注意力图像包括高亮度区域和低亮度区域；

将所述通道注意力图像输入到降噪网路中以进行降噪处理，进而生成去噪图像；

将所述低照度图像、所述通道注意力图像以及所述去噪图像输入到增强网路中，以生成增强图像；所述增强网路的损失函数包括亮度损失子函数、结构性损失子函数、知觉损失子函数以及区域性损失子函数。

可选的，所述将所述低照度图像输入到视觉注意力网络中以进行亮度信息提取处理，进而生成通道注意力图像，具体包括：

将所述低照度图像转换到HSI特征空间内，以获取多通道特征图；

将所述多通道特征图输入到平均池化层中，以获取每个通道的平均像素值；

将所述多通道特征图输入到最大池化层中，以获取每个通道的最大像素值；

将每个通道的所述平均像素值和所述最大像素值输入到多层感知器中，以生成高亮度区域特征向量和低亮度区域特征向量；

分别对所述高亮度区域特征向量和所述低亮度区域特征向量元素进行求和操作，得到第一特征向量和第二特征向量；

采用sigmoid函数对所述第一特征向量和所述第二特征向量进行处理以得到通道注意力图像。

可选的，所述将所述通道注意力图像输入到降噪网路中以进行降噪处理，进而生成去噪图像，具体包括：

采取跳跃链接的方式，将所述通道注意力图像输入到降噪网路中以进行降噪处理，进而生成去噪图像；

其中，所述降噪网络为5层网路，前4层网络均由Conv+BN+Relu组成，前4层网络使用的滤波器的数量均为128，第5层网络为Conv+BN组成，第5层网路使用的滤波器的数量为1，所述滤波器为卷积核滤波器，所述滤波器的尺寸为7*7。

可选的，所述将所述低照度图像、所述通道注意力图像以及所述去噪图像输入到增强网路中，以生成增强图像，具体包括：

将所述低照度图像、所述通道注意力图像以及所述去噪图像输入到特征提取子网络，以提取明亮信息特征、结构性信息特征、知觉信息特征以及区域性信息特征；所述增强网路包括依次连接的特征提取子网络、增强子网络以及融合子网络；

将所述明亮信息特征、所述结构性信息特征、所述知觉信息特征以及所述区域性信息特征输入到所述增强子网络，以获取多个增强特征信息；

将所有所述增强特征信息输入到所述融合子网络，以获取增强图像。

可选的，所述将所述明亮信息特征、所述结构性信息特征、所述知觉信息特征以及所述区域性信息特征输入到所述增强子网络，以获取多个增强特征信息，具体包括：

将所述明亮信息特征输入到第一增强子网络中，以获取第一增强特征信息；所述增强子网络包括第一增强子网络、第二增强子网络、第三增强子网络和第四增强子网络；所述第一增强子网络的损失函数为亮度损失子函数；

将所述结构性信息特征输入到所述第二增强子网络中，以获取第二增强特征信息；所述第二增强子网络的损失函数为结构性损失子函数；

将所述知觉信息特征输入到所述第三增强子网络中，以获取第三增强特征信息；所述第三增强子网络的损失函数为知觉损失子函数；

将所述区域性信息特征输入到所述第四增强子网络中，以获取第四增强特征信息；所述第四增强子网络的损失函数为区域性损失子函数。

一种面向低照度图像的增强系统，包括：

图像获取模块，用于获取低照度图像；

通道注意力图像生成模块，用于将所述低照度图像输入到视觉注意力网络中以进行亮度信息提取处理，进而生成通道注意力图像；所述视觉注意力网络内置有视觉注意力机制；所述通道注意力图像包括高亮度区域和低亮度区域；

去噪图像生成模块，用于将所述通道注意力图像输入到降噪网路中以进行降噪处理，进而生成去噪图像；

增强图像生成模块，用于将所述低照度图像、所述通道注意力图像以及所述去噪图像输入到增强网路中，以生成增强图像；所述增强网路的损失函数包括亮度损失子函数、结构性损失子函数、知觉损失子函数以及区域性损失子函数。

可选的，所述通道注意力图像生成模块，具体包括：

转换单元，用于将所述低照度图像转换到HSI特征空间内，以获取多通道特征图；

平均像素值计算单元，用于将所述多通道特征图输入到平均池化层中，以获取每个通道的平均像素值；

最大像素值计算单元，用于将所述多通道特征图输入到最大池化层中，以获取每个通道的最大像素值；

特征向量确定单元，用于将每个通道的所述平均像素值和所述最大像素值输入到多层感知器中，以生成高亮度区域特征向量和低亮度区域特征向量；

融合单元，用于分别对所述高亮度区域特征向量和所述低亮度区域特征向量元素进行求和操作，得到第一特征向量和第二特征向量；

通道注意力图像生成单元，用于采用sigmoid函数对所述第一特征向量和所述第二特征向量进行处理以得到通道注意力图像。

可选的，所述去噪图像生成模块，具体包括：

去噪图像生成单元，用于采取跳跃链接的方式，将所述通道注意力图像输入到降噪网路中以进行降噪处理，进而生成去噪图像；

其中，所述降噪网络为5层网路，前4层网络均由Conv+BN+Relu组成，前4层网络使用的滤波器的数量均为128，第5层网络为Conv+BN组成，第5层网路使用的滤波器的数量为1，所述滤波器为卷积核滤波器，所述滤波器的尺寸为7*7。

可选的，所述增强图像生成模块，具体包括：

特征提取单元，用于将所述低照度图像、所述通道注意力图像以及所述去噪图像输入到特征提取子网络，以提取明亮信息特征、结构性信息特征、知觉信息特征以及区域性信息特征；所述增强网路包括依次连接的特征提取子网络、增强子网络以及融合子网络；

增强特征信息确定单元，用于将所述明亮信息特征、所述结构性信息特征、所述知觉信息特征以及所述区域性信息特征输入到所述增强子网络，以获取多个增强特征信息；

增强图像生成单元，用于将所有所述增强特征信息输入到所述融合子网络，以获取增强图像。

可选的，所述增强特征信息确定单元，具体包括：

第一增强特征信息确定子单元，用于将所述明亮信息特征输入到第一增强子网络中，以获取第一增强特征信息；所述增强子网络包括第一增强子网络、第二增强子网络、第三增强子网络和第四增强子网络；所述第一增强子网络的损失函数为亮度损失子函数；

第二增强特征信息确定子单元，用于将所述结构性信息特征输入到所述第二增强子网络中，以获取第二增强特征信息；所述第二增强子网络的损失函数为结构性损失子函数；

第三增强特征信息确定子单元，用于将所述知觉信息特征输入到所述第三增强子网络中，以获取第三增强特征信息；所述第三增强子网络的损失函数为知觉损失子函数；

第四增强特征信息确定子单元，用于将所述区域性信息特征输入到所述第四增强子网络中，以获取第四增强特征信息；所述第四增强子网络的损失函数为区域性损失子函数。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

为了提高低照度图像的清晰度和避免颜色失真，本发明提供了一种面向低照度图像的增强方法及系统，即一种基于注意力机制的稠密低照度增强网络方法及系统。首先引入能够提取空间信息、局部物体特征的视觉注意力机制，然后利用该网络学习从低照度图像到正常照度图像的特征映射，通过融合网络最终实现低照度图像增强。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种面向低照度图像的增强方法的流程图；

图2为本发明一种面向低照度图像的增强系统的结构图；

图3为本发明一种面向低照度图像的增强方法的网络结构示意图；

图4为本发明视觉注意力网络的流程示意图；

图5为本发明降噪网络的流程示意图；

图6为本发明特征提取子网络的流程示意图；

图7为本发明融合子网络的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种面向低照度图像的增强方法及系统，可同时有效的实现降噪和增强，弥补成像设备在硬件上的不足，从而改善弱光环境下所拍摄的照片清晰度，全面提升图像质量。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例一

如图1所示，本实施例提供的一种面向低照度图像的增强方法，包括如下步骤。

步骤101：获取低照度图像。

步骤102：将所述低照度图像输入到视觉注意力网络中以进行亮度信息提取处理，进而生成通道注意力图像；所述视觉注意力网络内置有视觉注意力机制；所述通道注意力图像包括高亮度区域和低亮度区域。

步骤103：将所述通道注意力图像输入到降噪网路中以进行降噪处理，进而生成去噪图像。

步骤104：将所述低照度图像、所述通道注意力图像以及所述去噪图像输入到增强网路中，以生成增强图像；所述增强网路的损失函数包括亮度损失子函数、结构性损失子函数、知觉损失子函数以及区域性损失子函数。

其中，步骤102具体包括：

将所述低照度图像转换到HSI特征空间内，以获取多通道特征图；将所述多通道特征图输入到平均池化层中，以获取每个通道的平均像素值；将所述多通道特征图输入到最大池化层中，以获取每个通道的最大像素值；将每个通道的所述平均像素值和所述最大像素值输入到多层感知器中，以生成高亮度区域特征向量和低亮度区域特征向量；分别对所述高亮度区域特征向量和所述低亮度区域特征向量元素进行求和操作，得到第一特征向量和第二特征向量；采用sigmoid函数对所述第一特征向量和所述第二特征向量进行处理以得到通道注意力图像。

步骤103具体包括：

采取跳跃链接的方式，将所述通道注意力图像输入到降噪网路中以进行降噪处理，进而生成去噪图像；其中，所述降噪网络为5层网路，前4层网络均由Conv+BN+Relu组成，前4层网络使用的滤波器的数量均为128，第5层网络为Conv+BN组成，第5层网路使用的滤波器的数量为1，所述滤波器为卷积核滤波器，所述滤波器的尺寸为7*7。

步骤104具体包括：

将所述低照度图像、所述通道注意力图像以及所述去噪图像输入到特征提取子网络，以提取明亮信息特征、结构性信息特征、知觉信息特征以及区域性信息特征；所述增强网路包括依次连接的特征提取子网络、增强子网络以及融合子网络；将所述明亮信息特征、所述结构性信息特征、所述知觉信息特征以及所述区域性信息特征输入到所述增强子网络，以获取多个增强特征信息；将所有所述增强特征信息输入到所述融合子网络，以获取增强图像。

其中，所述将所述明亮信息特征、所述结构性信息特征、所述知觉信息特征以及所述区域性信息特征输入到所述增强子网络，以获取多个增强特征信息，具体包括：

将所述明亮信息特征输入到第一增强子网络中，以获取第一增强特征信息；所述增强子网络包括第一增强子网络、第二增强子网络、第三增强子网络和第四增强子网络；所述第一增强子网络的损失函数为亮度损失子函数；将所述结构性信息特征输入到所述第二增强子网络中，以获取第二增强特征信息；所述第二增强子网络的损失函数为结构性损失子函数；将所述知觉信息特征输入到所述第三增强子网络中，以获取第三增强特征信息；所述第三增强子网络的损失函数为知觉损失子函数；将所述区域性信息特征输入到所述第四增强子网络中，以获取第四增强特征信息；所述第四增强子网络的损失函数为区域性损失子函数。

实施例二

如图2所示，本实施例提供的一种面向低照度图像的增强系统，包括：

图像获取模块201，用于获取低照度图像。

通道注意力图像生成模块202，用于将所述低照度图像输入到视觉注意力网络中以进行亮度信息提取处理，进而生成通道注意力图像；所述视觉注意力网络内置有视觉注意力机制；所述通道注意力图像包括高亮度区域和低亮度区域。

去噪图像生成模块203，用于将所述通道注意力图像输入到降噪网路中以进行降噪处理，进而生成去噪图像。

增强图像生成模块204，用于将所述低照度图像、所述通道注意力图像以及所述去噪图像输入到增强网路中，以生成增强图像；所述增强网路的损失函数包括亮度损失子函数、结构性损失子函数、知觉损失子函数以及区域性损失子函数。

所述通道注意力图像生成模块202，具体包括：

转换单元，用于将所述低照度图像转换到HSI特征空间内，以获取多通道特征图；平均像素值计算单元，用于将所述多通道特征图输入到平均池化层中，以获取每个通道的平均像素值；最大像素值计算单元，用于将所述多通道特征图输入到最大池化层中，以获取每个通道的最大像素值；特征向量确定单元，用于将每个通道的所述平均像素值和所述最大像素值输入到多层感知器中，以生成高亮度区域特征向量和低亮度区域特征向量；融合单元，用于分别对所述高亮度区域特征向量和所述低亮度区域特征向量元素进行求和操作，得到第一特征向量和第二特征向量；通道注意力图像生成单元，用于采用sigmoid函数对所述第一特征向量和所述第二特征向量进行处理以得到通道注意力图像。

所述去噪图像生成模块203，具体包括：

去噪图像生成单元，用于采取跳跃链接的方式，将所述通道注意力图像输入到降噪网路中以进行降噪处理，进而生成去噪图像；其中，所述降噪网络为5层网路，前4层网络均由Conv+BN+Relu组成，前4层网络使用的滤波器的数量均为128，第5层网络为Conv+BN组成，第5层网路使用的滤波器的数量为1，所述滤波器为卷积核滤波器，所述滤波器的尺寸为7*7。

所述增强图像生成模块204，具体包括：

特征提取单元，用于将所述低照度图像、所述通道注意力图像以及所述去噪图像输入到特征提取子网络，以提取明亮信息特征、结构性信息特征、知觉信息特征以及区域性信息特征；所述增强网路包括依次连接的特征提取子网络、增强子网络以及融合子网络；增强特征信息确定单元，用于将所述明亮信息特征、所述结构性信息特征、所述知觉信息特征以及所述区域性信息特征输入到所述增强子网络，以获取多个增强特征信息；增强图像生成单元，用于将所有所述增强特征信息输入到所述融合子网络，以获取增强图像。

其中，所述增强特征信息确定单元，具体包括：

第一增强特征信息确定子单元，用于将所述明亮信息特征输入到第一增强子网络中，以获取第一增强特征信息；所述增强子网络包括第一增强子网络、第二增强子网络、第三增强子网络和第四增强子网络；所述第一增强子网络的损失函数为亮度损失子函数；第二增强特征信息确定子单元，用于将所述结构性信息特征输入到所述第二增强子网络中，以获取第二增强特征信息；所述第二增强子网络的损失函数为结构性损失子函数；第三增强特征信息确定子单元，用于将所述知觉信息特征输入到所述第三增强子网络中，以获取第三增强特征信息；所述第三增强子网络的损失函数为知觉损失子函数；第四增强特征信息确定子单元，用于将所述区域性信息特征输入到所述第四增强子网络中，以获取第四增强特征信息；所述第四增强子网络的损失函数为区域性损失子函数。

实施例三

本实施例提供的一种面向低照度图像的增强方法，由三个模块组成，分别是视觉注意力网络、降噪网络、增强网络。其网络结构如图3所示。

为了提高图像质量和网络稳定性，且进一步考虑图像的结构信息，性能和区域差异，本实施例提供了一种新的损失函数。

L＝ω

其中，L

第一步：首先将输入图像(即低照度图像)输入到视觉注意力网络中以进行亮度信息提取处理，进而生成通道注意力图像。

视觉注意力机制是人眼视觉在进化过程中形成的一种特殊机制，该机制可以针对人眼输入的全局图像，有意识地消除无关信息，投入更多的注意力在感兴趣的目标区域。在光照不足的环境下捕获的图像通常可见度差，对比度低，并且含有大量噪声。为了解决低照度图像中亮度的不均匀分布，传统的图像增强方法通常会增强整个图像，但是忽略了低照度图像中每个区域的亮度不一致，这很容易导致高亮度区域的过度曝光和低亮度区域的曝光不足。本实施例采用了视觉注意力网络(该网络内置有视觉注意力机制)，主要用来估计低照度图像中弱光区域的分布，并分配给相应区域更高的权值用来增强弱光区域表达，从而促进增强网络对弱光区域给予更多关注。视觉注意力网络的具体流程如图4所示。

本实施例提供的视觉注意力网络先将给定的低照度图像生成一副多通道的特征图F＝R

本实施例首先将低照度图像分别输入最大池化层和平均池化层来聚合空间维度信息，如图4所示。将低照度图像转换到HSI空间后进行平均池化层(AVP)操作，计算公式如下：

其中，i表示特征图的当前通道，k表示当前通道的像素个数，f

MAX＝max(sort(abs(f

其中，f

W

为了正确获得注意力特征以指导增强网络，本实施例采用L2损失函数来预测误差。

L

其中，I是输入图像(即低照度图像)，F(I)(W

第二步：将通道注意力图像输入到降噪网路中以进行降噪处理，进而生成去噪图像。

经过第一步处理后的低照度图像很容易放大原有图像的噪声，并且图像噪声很容易与图像原有纹理混淆，在应用简单的降噪方法后会导致不必要的模糊效果，本实施例创新性的提出预估计噪声分布，并且这种自适应性的降噪方法有助于减少噪声对图像的影响。因为噪声分布与曝光分布相关，因此采用通道注意力图像来引导生成噪声图像，在此引导下增强网络能够有效进行去噪。

降噪网络采用的是类DnCNN网络，在卷积过后加入BN算法，BN算法首先对预处理的图像求均值和方差，公式如下：

其中，k表示当前通道像素个数，x

其中，λ是偏置常数，防止分母为0，

本实施例提供的降噪网络如图5所示，该网络设计为5层，前4层网络由Conv+BN+Relu组成，使用卷积核滤波器的尺寸7×7，滤波器数量为128，第5层为Conv+BN，使用卷积核滤波器的尺寸为7×7，滤波器数量为1。经过训练后，采取跳跃链接的方式输入通道注意力图像，将通道注意力图像与降噪网络的输出的噪声图像进行信息相减，最终得到去噪图像，并输入到增强网络。

使用L1损失函数来测量降噪网络预测误差。

L

其中，F′和I分别是预测噪声图像和输入图像。

第三步，将视觉注意力网络生成的通道注意力图像和降噪网络生成的去噪图像与原始低照度图像合并输入到增强网络。

增强网络是本实施例的核心部分，其目的是将增强问题分解为不同方面的几个子问题(例如噪声消除，纹理保留，颜色校正等)，本实施例提供的增强网络由三种类型的模块组成：特征提取子网络(FEN)、增强子网络(EN)和融合子网络(FN)。

其中，特征提取子网络，如图6所示，具有多个卷积层的单流网络，每个卷积层使用3*3内核，步长为1，并且使用ReLU激活函数，每层的输出即是下一层的输入并且输入尺寸和输出尺寸相同。增强子网络是由4个子模块构成，其中，EM-1网路是采用具有大卷积内核和反卷积层的堆栈，U-net网络能够从不同深度层提取多级信息，并且能够保留丰富的纹理信息。EM-2网络采用跳跃式U-net结构，使用多尺度上下文信息合成高质量图；EM-3网络采用类似Res-net结构，仅使用几个res块进行增强，减少模型参数；EM-4网络采用膨胀卷积层，其输入大小始终保持与输出大小相同。

融合子网络，如图7所示，是接收所有增强子网络的输出后产生最终的增强图像。融合子网络采用的是科学系权重的加权求和法，原理是在颜色通道维度中，将来自EN网络的所有输出串联起来，并使用1*1的卷积核将它们合并。

由于图像的亮度较低，在增强网络中使用常见的损失函数可能会导致图像产生模糊效果，因此设计了一种新的损失函数，其包括四部分，以改善视觉质量。

L

其中，L

亮度损失的目的是确保增强结果具有足够的亮度。其损失函数如下：

L

其中，F′是预测增强图像，I是输入图像。

引入结构损失是为了保留结构特征避免图像模糊，本实施例采用SSIM作为结构特征的损失函数。

其中，μ

感知损失是使用更多通道信息来改善视觉质量，其损失函数如下：

其中，F′,F分别是预测增强图像和原图像，w

除了将图像作为一个整体进行增强，还应该注意曝光不足的弱光区域，本方法提出的区域性损失函数用来平衡不同区域的弱光增强程度。损失函数如下：

L

其中，ssim()算法表示图像结构相似性,F′,F分别表示增强图像和原图像，分别从亮度、对比度、结构三方面衡量图像质量。F′是预测的注意力机制图。

与现有技术相比，本发明具有以下优点：

优点1：可以增强图像在颜色和细节上的效果。

优点2：可以增强图像暗区的细节，增加图像后期使用效率。

优点3：与其他增强方法相比，本方法具有较好的鲁棒性。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。