一种基于循环一致性生成对抗网络的低光图像增强方法

技术领域

本发明涉及一种基于循环一致性生成对抗网络的低光图像增强方法，属于计算机视觉技术领域。

背景技术

人类获取的绝大多数信息来自视觉。作为视觉信息的主要载体，图像在语义分割、3D重建、自动驾驶、目标检测等方面发挥着重要作用。随着光学和计算机技术的快速发展，图像采集设备不断更新，图像中有许多有价值的信息等待人类发现和获取。然而，在可见光成像过程中，环境光强度往往会影响图像的质量。当环境光较低时，例如在夜间或在黑暗的房间中，采集到的图像具有低对比度、低亮度、缺乏可用性和细节模糊等缺点，这将给目标检测、图像识别和分割等后续任务带来极大的困难。传统的图像增强算法难以直接降低或抑制噪声，甚至可能放大噪声或导致颜色失真。近年来，基于深度学习的方法开始发战，有监督的深度学习方法依赖于成对数据，但是收集具有相同内容和细节但具有不同照明条件的同一场景的两幅图像是不切实际的。无监督的深度学习方法增强图像的对比度差异大，并且通常存在颜色失真和不一致的问题。

发明内容

本发明的目的在于提供一种基于循环一致性生成对抗网络的低光图像增强方法，利用循环一致性对抗生成网络对低光图像进行修复，在生成器中添加了多尺度特征提取与自适应实例归一化，显著提高了增强图像的质量和视觉愉悦度。

为达到上述目的，本发明采用以下技术方案：

本发明提供一种基于循环一致性生成对抗网络的低光图像增强方法，包括：

采用具有信息相关性的低光图像数据集和正常光图像数据集输入基于循环一致性生成对抗网络进行训练，得到训练好的微光增强模型；

将待处理的低光图像输入训练好的微光增强模型，得到增强后的图像。

进一步的，基于U-Net网络构造所述循环一致性生成对抗网络中的生成器，包括：

多尺度卷积模块，提取输入图像的特征图；

编码器，将提取的特征图进行压缩；

转码器，将压缩后的特征图转换为普通光图像；

解码器，将得到的普通光图像恢复为与输入图像相同分辨率。

进一步的，采用1×1、3×3、5×5和7×7卷积核构造所述多尺度卷积模块，每个卷积模块具有16个通道。

进一步的，所述编码器包括三个下采样模块，每个下采样模块包括3×3卷积块、自适应实例归一化层和激活函数ReLU；其中卷积步长为2。

进一步的，所述转码器采用六个残差块。

进一步的，所述解码器由跳层连接和上采样模块组成；

所述上采样模块包括3×3卷积块、自适应实例归一化层和用于将图像大小恢复为与输入相同大小的激活函数ReLU；其中卷积步长为2。

进一步的，所述采用具有信息相关性的低光图像数据集和正常光图像数据集输入基于循环一致性生成对抗网络进行训练，得到训练好的微光增强模型，包括：

获取训练数据集，所述训练数据集包括具有信息相关性的低光图像数据集X和正常光图像数据集Y；

使用低光图像数据集X和正常光图像数据集Y作为初始数据，分批次向所述循环一致性生成对抗网络中输入一对低光图像和正常光图像；

构造总损失函数如下：

L(G,D

其中，L(G,D

身份损失和结构一致性损失表示如下：

其中，x表示低光图像数据集X中的样本，y表示正常光图像数据集Y中的样本，p

以以下函数为目标进行训练：

训练过程中，鉴别器被训练为最大化总损失，生成器被训练为最小化总损失；生成器和鉴别器交替更新以进行对抗训练。

进一步的，训练过程中，将生成的增强图像G(x)进行基于多尺度引导滤波和结构张量的细节增强，包括：

将增强图像通过圆形均值滤波进行平滑得到基础层：

W

其中，W

从要融合的图像中减去基础层，得到中间层：

W

其中，W

基于圆形平均滤波器减去平滑的中间层，得到细节层：

W

其中，W

将三个图像W

W＝(1-ω

其中，ω

将多尺度引导滤波细节图像W添加到增强图像G(x)中。

进一步的，

所述鉴别器的输出被映射到N×N的矩阵；

所述鉴别器前四个卷积块包含卷积层、实例归一化层和非线性激活函数LeakyReLU，步长为2；

所述鉴别器的最后一级，通过将通道数量减少到1来获得输出，并且矩阵上的每个值表示用于判断所生成的图像是真还是假的感受野区域的概率值。

本发明具有以下优点：

(1)、本发明通过多尺度卷积和残差卷积构造了基于U-Net结构的生成器，并引入了自适应实例归一化(AdaIN)来学习普通光图像的风格，具有良好的灵活性和适用性。

(2)、本发明将循环一致性损失和结构相似性损失相结合，以确保增强图像与原始图像的一致性，从而使生成的图像保持空间结构。

(3)、本发明考虑到图像细节集中在高频部分，通过向生成的图像添加高频分量来扩展动态范围还原了细节纹理并提高了局部可见性。

(4)、本发明采用了深度学习技术和图像处理技术，具有良好的灵活性和适用性，较其他低光图像增强的方法各方面指标都得到了极大的提高，并且具有最佳的颜色增强效果与边缘细节保留。本发明在目前以及将来的图像处理领域具有极大的现实意义和应用价值。

附图说明

图1为本发明实施例提供的循环一致性生成对抗网络结构图；

图2为本发明实施例提供的基于U-Net网络的生成器结构图；

图3为本发明实施例提供的基于多尺度引导滤波和结构张量的细节增强示意图；

图4为本发明实施例提供的鉴别器结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本实施例提供一种基于循环一致性生成对抗网络的低光图像增强方法，该方法通过多尺度卷积和残差卷积构造基于U-Net结构的微光增强模型，然后设计了自适应实例归一化(AdaIN)来学习普通光图像的风格。同时将循环一致性损失和结构相似性损失相结合，以确保增强图像与原始图像的一致性，从而使生成的图像保持空间结构。最后，考虑到图像细节集中在高频部分，通过向生成的图像添加高频分量来扩展动态范围以提高局部可见性。

基于上述发明构思，本发明提供的基于循环一致性生成对抗网络的低光图像增强方法，包括：

采用具有信息相关性的低光图像数据集和正常光图像数据集输入基于循环一致性生成对抗网络进行训练，得到训练好的微光增强模型；

将待处理的低光图像输入训练好的微光增强模型，得到增强后的图像。

循环一致性生成对抗网络如图1所示，包括两个生成器G、F和两个鉴别器D

分支一采用生成器G将图像样本X转换为近似于图像样本Y的G(X)，以及使用鉴别器D

分支二采用生成器F将图像样本Y转换为近似于图像样本X的F(Y)，以及使用鉴别器D

如图2所示，本发明的一个实施例中基于U-Net网络构造循环一致性生成对抗网络中的生成器，其结构如下：

多尺度卷积模块，提取输入图像的特征图；

编码器，进行下采样，将提取的特征图进行压缩；

转码器，将压缩后的特征图转换为普通光图像；

解码器，将得到的普通光图像恢复为与输入图像相同分辨率。

需要说明的是，预先将输入图像修改为256×256×3大小。

优选的，本实施例中，采用1×1、3×3、5×5和7×7卷积核来构造多尺度卷积模块，每个卷积模块具有16个通道。本实施例中，采用该结构的多尺度卷积模块提取输入图像的256×256的特征图。

优选的，本实施例中，编码器采用三个下采样模块将提取的256×256的特征图压缩到32×32的大小。

优选的，每个下采样模块由3×3卷积(步长为2)、自适应实例归一化(AdaIN)和激活函数ReLU组成。AdaIN可以基于输入样式图像自适应地生成一组参数，其公式如下：

其中，x和y分别是低光图像和正常光图像提取的特征图；μ

优选的，本实施例中，转码器采用六个残差块将低光图像的特征转换为普通光图像。

优选的，本实施例中，解码器由跳层连接和上采样模块组成。跳过连接通过级联将基础位置信息与更深的特征信息融合。上采样模块由3×3卷积(步长为2)、自适应实例归一化(AdaIN)和用于将图像大小恢复为与输入相同大小的激活函数ReLU组成。

本实施例中采用具有信息相关性的低光图像数据集和正常光图像数据集输入基于循环一致性生成对抗网络进行训练，得到训练好的微光增强模型，具体实现过程如下：

S1、获取训练数据集，所述训练数据集包括具有信息相关性的低光图像数据集X和正常光图像数据集Y；

S2、使用低光图像数据集X和正常光图像数据集Y作为初始数据，分批次向循环一致性生成对抗网络中输入一对低光图像和正常光图像；

S3、将低光图像数据集X输入生成器G中，获得生成的增强图片，并计算对抗损失：

其中，x表示低光图像数据集X中的样本，y表示正常光图像数据集Y中的样本；p

当低光图像X通过生成器G到达目标域，然后通过生成器F返回源域时，使用循环一致性损失来约束源域的原始图像与重建图像之间的相似度，从而使重建图像接近原始输入图像，循环一致性损失为：

其中，F(G(x))和G(F(y))是重建图像，||·||

应该知道，生成器G的功能是生成Y型域图像。因此，当输入Y域图像时，G也应该生成Y样式的域图像。在这种情况下，要求G(y)尽可能接近y，并且要求F(x)尽可能靠近x，使得增强图像和输入图像具有相同的颜色。F(x)表示向生成器F输入低光图像x后得到的增强图像，G(y)表示向生成器G输入正常光图像y后得到的增强图像。在添加身份损失函数之后，生成器G将图像y的输入添加到原始输入，并且生成器F将图像x的输入添加至原始输入，这意味着生成器比较生成的图像和原始图像之间的差异以进行反馈优化。身份损失的定义如下：

在最终损失函数中使用SSIM损失来生成更接近目标图像的图像，同时考虑了细节、纹理和颜色信息。两幅图像之间的SSIM可以定义为：

其中，μ

低光图像x通过生成器G生成增强图像，然后再通过生成器F得到低光图像表示为F(G(x))，F(G(x))和原始输入图像X之间的SSIM损失可以定义为：

其中，MSSIM是图像x和y中每个局部块的SSIM的平均值：

其中，x

综上，循环一致性生成对抗网络的总损失函数如下：

L(G,D

其中，λ和τ是表示身份损失和结构一致性损失的加权参数。

S4、基于循环一致性生成对抗网络的微光增强模型的训练通过解决以下最小-最大问题来完成：

其中，鉴别器被训练为最大化总损失，而生成器被训练为最小化总损失。生成器和鉴别器交替更新以进行对抗训练。

本发明的另一个实施例中，还包括：

在模型的训练过程中，将生成的增强图像G(x)进行基于多尺度引导滤波和结构张量的细节增强，来扩展动态范围以提高局部可见性，其具体流程如图3所示，包含如下步骤：

(a)将生成的增强图像分解为基础层W

W

其中W

(b)通过从要融合的图像中减去基础层，获得三尺度融合图像中的第二层，即中间层：

W

(c)基于圆形均值滤波器减去平滑的中间层以获得第三层，即细节层：

W

(d)通过三个细节图像W

W＝(1-ω

其中ω

(e)将整体细节W添加到全局增强图像G(x)中。

优选的，本实施例中，鉴别器的网络结构如图4所示，鉴别器的输出被映射到N×N的矩阵，其中矩阵的每个值表示其所属的感受野区域的真实概率。与传统的鉴别器相比，使用矩阵作为输出可以更充分地考虑图像特征的不同区域的细节。此外，小规模的特征图计算还可以加快网络的收敛速度，并使网络更易于训练。

鉴别器前四个卷积块包含卷积层、实例归一化层(IN)和非线性激活函数LeakyReLU，步长为2。在最后一级，通过将通道数量减少到1来获得输出，并且矩阵上的每个值表示用于判断所生成的图像是真还是假的感受野区域的概率值。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。