一种基于生成对抗网络的图像自增强去雾算法

技术领域

本发明属于图像处理的技术领域，尤其涉及一种基于生成对抗网络的图像自增强去雾算法。

背景技术

近年来尽管我国空气质量有很大提高，但雾霾天气仍时有发生。当空气中存在雾霾时，所拍摄的图像也多呈现灰白色，图像对比度较低，细节信息丢失，无法准确检测识别图像中的内容。因此，如何去除雾霾，提高图像质量成为图像与视觉信息计算领域中的研究热点。

传统的图像去雾方法一般分为基于图像增强的方法和基于图像恢复的方法。基于图像增强的方法主要是增强图像的对比度和饱和度，来恢复图像的细节信息，例如直方图均衡化、同态滤波、小波变换、Retinex算法等，但这类方法可能会发生图像中部分信息丢失的情况，导致图像失真。基于图像恢复的去雾方法主要依赖于McCartney等提出的大气散射模型，利用先验知识对该模型进行逆推导，反演出清晰的无雾图像。He等提出了暗通道先验(DCP)方法，基于暗通道先验知识和大气散射模型相结合，对透射率进行估算，再结合大气光值恢复图像的颜色，达到去雾效果。

基于深度学习的去雾方法可以分为两种：一种是通过神经网络估计出大气散射模型中的参数，达到去雾效果。例如，Cai等提出的卷积神经网络模型DehazeNet，该模型可以进行端到端的训练，利用卷积神经网络学习有雾图像与介质传输图之间的映射关系,再估计出图像的透射率图，最终得出无雾图像。Li等提出的AOD-Net将大气散射模型变形，使得大气光值和大气透射率融合成为一个参数变量，并通过轻量级CNN直接获取该变量的值。另一种是通过直接学习有雾图像到清晰图像之间的映射关系，将输入的有雾图像直接转换为清晰图像进行输出。例如，Chen等设计了一种门控聚合网络(GCANet)，该方法建立在生成对抗网络(GAN)的基础上，删除扩展卷积，使用平滑卷积，从而避免产生网格伪影的问题，直接恢复最终的无雾图像。Zhu等首次从图像去雾、生成对抗网络和可微设计的联系进行研究，提出了DehazeGAN，取得了很好的去雾效果。

目前大多数去模糊算法都专注于从模糊图像中恢复清晰图像本身，而忽略了图像模糊这个源头，因此并没有对图像模糊过程进行建模；同时由于数据集的稀缺，很多方法都采用了数据增强的方式来增加数据样本，但是大多数情况下合成的模糊图像与真实图像相差甚远。从图像模糊过程本身和合成图像真实性出发，提出了一种全新的GAN网络，包含learning-to-Blur GAN(BGAN)和learning-to-DeBlur GAN(DBGAN)两个子网络，其中BGAN的作用是学习图像模糊过程本身以及生成更符合自然模糊图像的合成图像，用于DBGAN训练；DBGAN的作用是进行去模糊操作，从模糊图像中恢复清晰图像。

在BGAN的生成器中随机添加噪声；首先从正态分布中采样长度为4的向量，再将其在空间维度重复128x128次得到4x128x128的噪声图，将其与公开数据集中获得的清晰图像一起作为BGAN生成器的输入，最终得到的输出结果为逼真的合成模糊图像。为了更好的满足GAN网络的训练，文中还收集了额外的真实世界模糊图像数据集用以BGAN鉴别器训练，以得到更加真实的合成图像。DBGAN的输入为BGAN生成的模糊图像，其目的是为了从模糊图像中恢复得到清晰的图像，因此DBGAN的输出即为清晰图像。

上述技术主要解决了去模糊问题而非去雾问题，生成随机噪声时只能生成固定的噪声，而去雾问题中需要关注雾的浓度问题，因此直接用该技术框架进行去雾的话可能会导致图像恢复质量低的问题。

发明内容

基于以上现有技术的不足，本发明所解决的技术问题在于提供一种基于生成对抗网络的图像自增强去雾算法，在去雾框架中加入图像自增强策略，根据大气散射模型在网络的不同模块中分别估计图像的深度信息、散射因子以及透射率，能够生成不同浓度的有雾图像，增强训练数据，提高图像去雾的质量。

为了解决上述技术问题，本发明通过以下技术方案来实现：

本发明提供的基于生成对抗网络的图像自增强去雾算法，包括以下步骤：

步骤1：利用深度估计模块DE从干净无雾图中估计出图像的场景深度信息d；

步骤2：图像加雾模块HGAN将深度估计模块DE得出的场景深度信息d与随机采样的散射因子β相结合，根据大气散射模型计算输出有雾图像；

步骤3：图像去雾模块DHGAN从有雾图中得到图像的透射率t和散射因子β，根据大气散射模型计算将有雾的图像计算输出为干净无雾的图像。

进一步的，在步骤1中，模块采用编解码的网络结构，编码器部分使用EfficientNet-lite3网络提取输入图像的特征，共提取4个不同层次的特征，分别将每个层次的特征输入到RCU单元中提取该层次下特征的残差结果，解码器将残差后的结果依次通过一个上采样层和卷积层后，与高一层次的特征图进行融合，直到与最高层次的特征图融合完毕后，网络又经过了一个RCU单元，然后利用双线性插值进行上采样，卷积层平衡所有的权重，最终得到一个与输入图片的尺寸相同的场景深度信息。

进一步的，在步骤2中，图像加雾模块HGAN用于学习图像的加雾过程，其输入为清晰的无雾图片、图片的场景深度信息以及散射因子，从均匀分布中对散射因子进行随机采样，以模拟不同浓度的雾气浓度。

进一步的，在步骤3中，图像去雾模块DHGAN中的DHGAN生成器输入的是有雾图像，对图像的透射率进行估算，进而基于大气散射模型还原出清晰图像。

由上，本发明针对现有的去雾网络使用合成有雾图像数据集训练后容易出现过拟合的问题，提出了一种基于生成对抗网络的图像去雾算法。算法中共包含两个不同的生成对抗网络，首先由一个生成对抗网络学习图像加雾；然后将其生成的结果作为第二个生成对抗网络的输入，由第二个生成对抗网络进行去雾，利用一致性损失函数使两个网络部分互相补充优化。此外在图像加雾部分添加场景深度估计模块，并对散射因子进行随机采样，实现图像的自增强，更加真实地模拟现实世界中不同浓度的雾气。本发明所提算法无需使用合成有雾图像数据集的成对信息，即可实现图像去雾功能。本发明的基于生成对抗网络的图像自增强去雾算法至少具有如下有益效果：

1.在训练过程中通过HGAN网络来直接学习雾气形成的过程，并指导DHGAN的去雾过程，无需使用成对的有雾数据集进行学习训练，避免过拟合问题。

2.根据大气散射模型估计图像的深度信息、散射因子以及透射率，可以模拟生成不同浓度的雾气，丰富了训练数据，更加贴合真实世界的有雾图像，与其他算法相比，本发明在主观视觉以及客观指标评价上均具有更好的去雾效果。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下结合优选实施例，并配合附图，详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例的附图作简单地介绍。

图1为本发明的基于生成对抗网络的图像自增强去雾算法的结构图；

图2为DE模块结构图；

图3为HGAN生成器结构图；

图4为各算法去雾结果图，其中，(a)有雾图像；(b)DehazeNet算法；(c)AODNet算法；(d)GCANet算法；(e)FFANet算法；(f)本发明所提算法。

具体实施方式

下面结合附图详细说明本发明的具体实施方式，其作为本说明书的一部分，通过实施例来说明本发明的原理，本发明的其他方面、特征及其优点通过该详细说明将会变得一目了然。在所参照的附图中，不同的图中相同或相似的部件使用相同的附图标号来表示。

如图1至图4所示，本发明的框架包含三个模块，即场景深度估计模块DE、图像加雾模块HGAN和图像去雾模块DHGAN。深度估计模块DE能够从干净无雾图中估计出图像的场景深度信息d；图像加雾模块HGAN将深度估计模块DE得出的场景深度信息d与随机采样的散射因子β相结合，根据大气散射模型计算输出有雾图像；图像去雾模块DHGAN能够从有雾图中得到图像的透射率t和散射因子β，同样根据大气散射模型计算将有雾的图像计算输出为干净无雾的图像。

算法的结构如图1所示，本发明分为两个步骤，第一步将清晰图像数据集{XC}中的真实清晰图像C输入到DE模块中，得到图像的场景深度信息d，将清晰图像C、它的深度信息d和随机采样的散射因子β结合起来输入HGAN的生成器中，得到合成的有雾图像FH；同时将有雾图像数据集{XH}中的真实有雾图像H输入到DHGAN的生成器中，得到图像的透射率t和散射因子β，并计算出合成的清晰图像FC。第二步将合成的有雾图像FH以及计算出的清晰图像FC分别输入到DHGAN和HGAN的生成器中，通过同样的方法得到最终重建的清晰图像RC和有雾图像RH。其中清晰图像数据集{XC}和有雾图像数据集{XH}之间不存在配对关系。

场景深度估计模块DE：DE模块采用单目深度估计方法，对输入的图像能够估计出它的场景深度信息。DE模块结构如图2所示。模块采用编解码的网络结构，编码器部分使用EfficientNet-lite3网络提取输入图像的特征，共提取4个不同层次的特征，分别将每个层次的特征输入到RCU单元中提取该层次下特征的残差结果，解码器将残差后的结果依次通过一个上采样层和卷积层后，与高一层次的特征图进行融合，直到与最高层次的特征图融合完毕后，网络又经过了一个RCU单元，然后利用双线性插值进行上采样，卷积层平衡所有的权重，最终得到一个与输入图片的尺寸相同的场景深度信息。在这个过程中，由于每个模块输出的通道数是不同的，因此还要进行再次卷积，将通道数统一。

图像加雾模块HGAN：该模块用于学习图像的加雾过程，其输入为清晰的无雾图片、图片的场景深度信息以及散射因子，从均匀分布中对散射因子进行随机采样，以模拟不同浓度的雾气浓度。生成器结构如图3所示。图3中细化的部分采用编解码结构，该结构分为编码网络、残差网络以及解码网络。图像输入编码网络后，经过一系列的卷积操作，特征逐渐缩小，同时提取低层特征信息，然后进入残差网络进行转换，最后特征图在解码网络中逐步还原为原来的尺寸。在编码器和解码器中使用跳跃连接，将不同层次的特征连接起来，得到新的特征信息，使得低层特征在解码过程中也能够得到表达。

图像去雾模块DHGAN：该模块能够从有雾图像中得到图像的透射率和散射因子，从而计算出清晰的图像。DHGAN生成器输入的是有雾图像，它可以对图像的透射率进行估算，进而基于大气散射模型还原出清晰图像。在估计透射率这部分采用了He等人提出的暗通道先验法，将大气散射模型中的全局大气光值A假设为已知常量，即图片中最亮的像素，然后模型两边同时求暗通道，可以得到：

根据先验条件，

其中，

表1室内场景客观评价结果

表2户外场景客观评价结果

本发明在训练过程中通过HGAN网络来直接学习雾气形成的过程，并指导DHGAN的去雾过程，无需使用成对的有雾数据集进行学习训练，避免过拟合问题。根据大气散射模型估计图像的深度信息、散射因子以及透射率，可以模拟生成不同浓度的雾气，丰富了训练数据，更加贴合真实世界的有雾图像，如图4所示，与其他算法相比，本发明在主观视觉以及客观指标评价上均具有更好的去雾效果。

以上所述是本发明的优选实施方式而已，当然不能以此来限定本发明之权利范围，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和变动，这些改进和变动也视为本发明的保护范围。