基于多阶段联合增强机制的暗光图像处理方法

技术领域

本发明涉及一种暗光图像处理方法，具体涉及一种基于多阶段联合机制的暗光图像处理方法。

背景技术

在图像拍摄中，光照不足会大大降低图像的可行性，丢失的细节和低对比度会导致观察者的主观感受不好，还会给各种机器学习任务带来巨大挑战，不利于如人脸识别、行人检测、自动驾驶等人工智能任务的高质量实现。造成光照不足的原因有很多，如低光环境、摄影设备性能有限，以及设备的不适当配置。为了解决图像细节丢失的问题，改善当前计算机视觉系统所获取图像的主观体验和可用性，对暗光图像进行增强是亟待解决的问题。

暗光增强是图像处理的基本任务之一，它广泛应用在不同领域中，是指将暗光图像转变为正常光照图像，并去除噪声，从而提高图像信噪比的计算成像技术。在过去的几十年里，众多研究人员都致力于解决暗光图像的增强问题，许多技术已经被开发出来用于改善低光图像的质量。一般来说，分为两类：基于传统图像处理方法和基于深度学习的方法。

基于传统图像处理方法使用统计模型来调整光强分布以获得更好的图像效果，具有代表性的方法有3类，分别为基于直方图均衡化的方法、基于伽马矫正的方法和基于Retinex理论的方法。直方图均衡化方法通过将图像的直方图分布变成近似均匀分布，以提高图像的对比度，操纵相关的直方图拉伸图像的动态范围，使黑暗中的图像变清晰。伽马校正是一种对图像的非线性操作，在每个像素上单独进行并使用全局参数，导致过度增强或增强不足。虽然直方图均衡化和伽马校正可以提高亮度，尤其是暗色像素的亮度，但它并没有考虑某个像素与其相邻像素的关系，导致增强图像的视觉效果不好，与真实场景不一致。基于Retinex理论是从原始图像中估计光照分量，从而分解出反射分量，消除光照不均的影响从而改善图像的视觉效果。虽然以上传统算法对光照增强任务具有一定的效果，但是这些方法仍然存在一定的局限性：一是相关的先验信息都是手动设置的，找到先验信息困难性较大，不准确的先验信息会导致图像失真；二是优化过程复杂，运行时间长。

随着深度学习的兴起，利用卷积神经网络解决低光图像增强问题，逐渐成为主流，这种端对端的学习方法，效果远超基于人工先验模型的传统方法。根据其训练时是否使用带有标记的训练样本可分为有监督和无监督方法。目前大部分的研究集中于有监督方法上，需要通过成对的暗光/正常亮度图像来训练深度卷积神经网络，但是正常情况下收集成对的数据难度较大且成本高。尽管现有的监督方法在合成数据上可以获得比较好的结果，但是通常难以很好的泛化效果，会产生伪影或者颜色失真等问题。相较之下，数据要求更低的无监督方法目前尚未研究充分，仅有的一些研究未能充分挖掘暗光图像隐藏信息，因此导致增强网络直接处理暗光图像时会出现噪声严重、颜色偏差、过曝光等问题。

因此，为了获得稳定且高质量的暗光增强图像，迫切需要有一种鲁棒且泛化能力强的暗光图像增强方法，能够利用无需配对的暗光/正常光照图像数据，解决噪声、颜色偏差和过曝光现象的问题。

发明内容

鉴于此，本发明提出了一种基于多阶段联合增强机制的暗光图像处理方法，以解决现有技术在进行暗光图像增强后存在噪声、颜色偏差、过曝光和细节模糊或丢失等问题。

本发明提供了一种基于多阶段联合增强机制的暗光图像处理方法，包括如下步骤：

S1：建立无监督暗光图像提亮网络，并利用所述无监督暗光图像提亮网络对输入的原始暗光图像I进行提亮，得到提亮图像I_S1；

S2：建立图像降噪网络，并利用所述图像降噪网络对所述提亮图像I_S1进行降噪，得到降噪图像I_S2；

S3：建立图像细节增强网络，并利用所述图像细节增强网络增强所述降噪图像I_S2的细节信息，得到细节增强图像I_S3；

S4：对所述细节增强图像I_S3进行二次降噪，得到最终的暗光图像增强图像Y。

优选，S1中，所述无监督暗光图像提亮网络共有7个卷积层，且加入跳跃连接，前6层激活函数采用ReLU激活函数，最后一层采用Tanh激活函数来保障输出系数在[-1,1]，网络输出通道数量为24。

进一步优选，S1中，利用所述无监督暗光图像提亮网络对输入的原始暗光图像I进行提亮具体包括如下步骤：

对输入所述无监督暗光图像提亮网络的原始暗光彩色图像I进行卷积，提取3*3的像素点作为一个像素块；

对卷积后的图像进行提亮，其中，提亮函数如公式(1)所示：

L(I(x)；a)＝I(x)+aI(x)(1-I(x)) (1)

对公式(1)进行反复迭代，实现高阶映射，迭代过程如公式(2)所示：

L

式中，a通过公式(1)和(2)迭代得到，A

进一步优选，对公式(1)进行反复迭代的过程用误差控制，采用的四个误差分别为：空间一致误差、曝光控制误差、颜色恒定误差和光照平滑误差。

进一步优选，S2中，所述图像降噪网络采用改进U-net网络架构，U-net网络由编码器、中间块和解码器构成，并且，U-net网络中残差块由组归一化层、SiLU激活层、卷积层和加法算子组合构成。

进一步优选，S2中利用所述图像降噪网络对所述提亮图像I_S1进行降噪具体包括如下步骤：

对噪声进行提取，其中，提取过程如下：将DM扩散模型训练为噪声检测器，通过所述DM扩散模型对输入图像进行噪声检测，并将噪声估计值形式化表达，如公式(8)所示：

n

式中，c为扩散条件，φ为DM扩散模型中的参数，φ值根据实验验证设置，n

将提亮图像I_S1与噪声相减，获得降噪图像I_S2，如公式(9)所示：

式中，S为DM扩散过程扩散次数，S值小于φ值，且随着S值的增大矫正量会减小，“:＝”为定义符号，

进一步优选，S3中，所述图像细节增强网络采用一种基于GAN Loss的模型对结构信息建模，通过对底层结构特征进行提取，对降噪后的图像进行指导，加强细节信息。

进一步优选，S3具体过程如下：

S31：通过U-net对外观建模；

S32：采用边缘信息进行结构建模，具体步骤如下：

S321：针对输入特征图，将其八个方向的一阶梯度特征图与原本的空间特征图分别通过LRE模块和SRE模块得到全局特征和局部特征；

S322：采用Grad-F模块对提取到的全局特征和局部特征进行融合，其中，损失函数使用Annotator-robust Loss以及GAN Loss，用对GT的canny检测器检测到的边缘图来监督；

S323：根据StyleGAN的理论，将提取到的特征通过一个全连接层映射到隐空间，设置输入图像为I，得到映射图像S，结构信息模型为I

S33：利用所述结构信息模型对降噪图像I_S2进行基于结构信息指导的增强，得到增强图像I_S3。

进一步优选，所述LRE模块和SRE模块分别为Transformer和CNN块，其中，Transformer块采用具有基于窗口的注意力机制和局部增强前向模块。

进一步优选，S4中，通过直方图均衡化对所述细节增强图像I_S3进行二次降噪，得到最终的暗光图像增强图像Y。

本发明公开提供的基于多阶段联合增强机制的暗光图像处理方法，通过无监督暗光图像提亮网络，图像降噪网络，图像细节增强网络和图像降噪处理可实现暗光图像增强。本发明设计S1-S4多阶段暗光增强网络，对暗光图像进行多阶段处理，先通过提亮网络对暗光图像进行初步增强，再通过降噪网络将增强后图像中的噪声进行处理，由于增强过程和噪声处理过程中会导致暗光图像细节丢失，采用图像细节增强网络，对图像细节进行增强，最后再对图像中可能出现的噪声进行处理，可有效避免暗光图像增强后导致的噪声、颜色偏差、过曝光和细节模糊或丢失等问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明提供的基于多阶段联合增强机制的暗光图像处理方法的整体流程图；

图2无监督暗光图像提亮网络结构示意图；

图3图像降噪网络中残差块结构示意图；

图4为噪声提取流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明提供了一种基于多阶段联合增强机制的暗光图像处理方法，包括如下步骤：

S1：建立无监督暗光图像提亮网络，并利用所述无监督暗光图像提亮网络对输入的原始暗光图像I进行提亮，得到提亮图像I_S1；

S2：建立图像降噪网络，并利用所述图像降噪网络对所述提亮图像I_S1进行降噪，得到降噪图像I_S2；

S3：建立图像细节增强网络，并利用所述图像细节增强网络增强所述降噪图像I_S2的细节信息，得到细节增强图像I_S3，其中，图像细节增强可以防止图像亮度增强后造成的细节丢失问题；

S4：对所述细节增强图像I_S3进行二次降噪，得到最终的暗光图像增强图像Y。

其中，如图2所示，S1中建立的所述无监督暗光图像提亮网络共有7个卷积层，且加入跳跃连接，前6层激活函数采用ReLU激活函数，最后一层采用Tanh激活函数来保障输出系数在[-1,1]，网络输出通道数量为24。

其中，S1中，利用所述无监督暗光图像提亮网络对输入的原始暗光图像I进行提亮具体包括如下步骤：

对输入所述无监督暗光图像提亮网络的原始暗光彩色图像I进行卷积，提取3*3的像素点作为一个像素块；

对卷积后的图像进行提亮，其中，提亮函数如公式(1)所示：

L(I(x)；a)＝I(x)+aI(x)(1-I(x)) (1)

对公式(1)进行反复迭代，实现高阶映射，迭代过程如公式(2)所示：

L

式中，a通过公式(1)和(2)迭代得到，A

其中，迭代的过程用误差控制，采用的四个误差函数如下：

1)空间一致误差

该误差的作用是保持输入图像中邻域间的差异与提亮图像中邻域间的差异尽可能接近，以确保提亮图像与输入图像在空间上是一致的。空间一致误差函数如公式(3)所示，其中I_S1，I分别为提亮图像和输入的原始暗光图像。

式中，K是邻域内像素的个数，Ω表示邻域，|(I_S1

2)曝光控制误差

为了防止某个像素点出现较亮或较暗的极端情况，采取的措施是使每个区域的平均亮度B限制在E附近进行优化，其中，E为亮度中间值，取值范围为0.5～0.7，优选，E设置为0.6，M为区域内像素点的个数，则曝光控制误差函数如公式(4)所示：

3)颜色恒定误差

像素值同时在RGB三个通道进行变换，因此图像某一通道的颜色变化量不应显著超出其他通道，设置如公式(5)所示的误差函数：

式中，J表示像素值，p、q表示不同通道。

4)光照平滑误差

为了保持相邻像素的光照变化方向一致性，即让空间相邻像素之间的亮度改变不是那么显著，用公式(6)进行约束使相邻像素间保持亮度变化的约束关系：

式中，N为迭代次数，

上述四个误差函数的加权和为总误差(L

L

式中，W

其中，所述图像降噪网络采用改进U-net网络架构，U-net网络由编码器、中间块和解码器构成，并且，将U-net网络中残差块改为由组归一化层、SiLU激活层、卷积层和加法算子组合构成，如图3所示。

其中，S2中利用所述图像降噪网络对所述提亮图像I_S1进行降噪具体包括如下步骤：

对噪声进行提取，其中，如图4所示，提取过程如下：将DM扩散模型训练为噪声检测器，通过所述DM扩散模型对输入图像进行噪声检测，并将噪声估计值形式化表达，如公式(8)所示：

n

式中，c为扩散条件，φ为DM扩散模型中的参数，φ值根据实验验证设置，优选为300，n

将提亮图像I_S1与噪声相减，获得降噪图像I_S2，如公式(9)所示：

式中，S为DM扩散过程扩散次数，S值小于φ值，且随着S值的增大矫正量会减小，“:＝”为定义符号，

其中，S3中，所述图像细节增强网络采用一种基于GAN Loss的模型对结构信息建模，通过对底层结构特征进行提取，对降噪后的图像进行指导，加强细节信息。

S3具体过程如下：

S31：通过一个简单的U-net去对外观建模，可以理解成先简单地学习到一个正常光照的粗略版本；

S32：采用边缘信息进行结构建模，具体步骤如下：

S321：针对输入特征图，将其八个方向的一阶梯度特征图与原本的空间特征图分别通过(LRE)模块和(SRE)模块得到全局特征和局部特征；

其中，LRE和SRE分别为Transformer和CNN块，其中，为了构建高效的Transformer模块，Transformer块采用具有基于窗口的注意力机制和局部增强前向模块，假设LRE和SRE模块表示为

其中，f

S322：采用Grad-F模块对提取到的全局特征和局部特征进行融合，其中，损失函数使用Annotator-robust Loss以及GAN Loss，用对GT的canny检测器检测到的边缘图来监督；

S323：根据StyleGAN的理论，将提取到的特征通过一个全连接层映射到隐空间，设置输入图像为I，得到映射图像S，结构信息模型为I

S33：利用所述结构信息模型对降噪图像I_S2进行基于结构信息指导的增强，得到增强图像I_S3。

S4中，通过直方图均衡化对所述细节增强图像I_S3进行二次降噪，得到最终的暗光图像增强图像Y。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。