一种同时去雾和提高分辨率的真实场景视觉增强方法

技术领域

本发明涉及图像处理技术领域，具体是涉及一种同时去雾和提高分辨率的真实场景视觉增强方法。

背景技术

在恶劣天气(沙尘暴或者雾霾)和不同成像条件(水下或者低照度)下捕获图像时，由于环境介质中悬浮的大量颗粒(如雾霾，沙尘)或者由于光线在穿透水体的过程中受到水体吸收衰减变色和水体杂质干扰，导致观察到的图像出现低能见度，质量退化和颜色失真等问题，这些不理想的退化会影响图像的可视性，进而影响后续图像处理任务，如物体识别，道路监控系统，遥感系统等。因此，在复杂的成像条件下，如雾霾、沙尘暴、水下或低照度等，户外图像的可视性增强一直是计算机视觉的一项重要任务。

目前，基于传统模型或者神经网络训练，计算机视觉领域国内外学者提出了很多去雾和图像超分辨的相关算法。首先，在图像去雾领域，最著名的图像去雾方法是由何恺明提出的基于暗通道先验(DCP)的图像去雾方法，暗通道先验是基于这样的观察：在大多数非天空斑块中，至少有一个颜色通道的一些像素的强度非常低，在无雾的室外图像中接近于零。此外，近年来许多深度学习网络用于去雾的方法也被广泛提出，其中Cai等人提出了一个DehazeNet用于估计介质传输图，Li等人提出了一个端到端的AOD-Net，可以直接输出无雾图像，还有一些用对抗生成网络(HardGAN)等来解决去雾问题。

尽管以上的算法都得到了不错的去雾效果，但是很多恢复后的无雾图像仍然会受到压缩伪影和块状伪影的破坏；除此之外，本来存在于原始图像中的噪声会随着去雾过程而被放大，进而使得最终恢复图像的清晰度和可视化降低。考虑到图像超分辨算法可以利用更高维度的图像信息来实现更好的图像恢复，所以可以将去雾之后的图像视为低分辨率图像，同时利用图像超分辨的方法来提升图像分辨率以得到更多细节并且减少伪影和噪声。

单幅图像超分辨率(SISR)通常可以分为以下类型：基于插值的方法，基于先验的优化方法和基于神经网络的方法。在基于插值的方法中，常用的方法是双线性和双立方体插值器、Lanczos和最近邻等，这些方法很方便，但在模糊的情况下性能有限。在基于先验的方法中，Yang提出了一种用于图像超分辨率的高效稀疏表示先验等。很多神经网络的方法也用来处理低分辨率图片，如IRCNN,SRMD,SRCNN,VDSR等。

尽管以上的工作在分别处理图像去雾或者图像超分辨任务中各自都可以得到不错的效果，但是得到的恢复图像要么无法很好地达到去雾效果，要么会受到伪影和噪声的破坏，很难在恶劣的环境条件下得到清晰的非退化图像。因此，在去除雾霾的同时，减少去雾图像中的伪影和噪声，提升图像分辨率，得到更加清晰的视觉效果图像，是需要解决的技术问题。

发明内容

为解决上述技术问题，本发明基于秩一先验和一个用于处理多种图像退化问题的超分辨深度神经网络作为先验，在变分模型的框架下提出了一个同时去除雾霾和提高图像分辨率的真实场景的视觉增强方法，在得到去雾图像的同时，对图像的分辨率进行提升，以得到更清晰的视觉效果。

本发明所述的一种同时去雾和提高分辨率的真实场景视觉增强方法，步骤为：

S1、输入雾霾图像I(x)，基于秩一先验得到初始散射光图

S2、基于变分模型框架，同时结合秩一先验及一个超分辨深度神经网络先验，提出优化问题；

S3、通过引入辅助变量u和v，增加惩罚项，基于半二次分裂(HQS)方法，得到新的无约束优化问题；

S4、利用交替最小化算法，对新的无约束优化问题求解，得到最终视觉增强图像。

进一步的，S1具体为，

S1-1、根据输入的雾霾图像I(x)，计算每个R,G,B通道的统一辐射度

Ω＝m×n,c＝{R,G,B}

其中，x是图像中的像素位置，c是指R,G,B三通道中任意一个通道，I

S2-2、正则化统一辐射度

S2-3、根据秩一先验得到初始散射光图：

取

其中，x是图像中的像素位置，ω∈(0，1]是一个残差参数，t

进一步的，S2中，基于变分模型框架，同时结合秩一先验及一个超分辨深度神经网络先验，提出的优化问题为：

其中，

其中，

进一步的，S3中通过引入辅助变量u和v，增加惩罚项，基于HQS方法，得到新的无约束优化问题为：

其中，γ和σ是惩罚参数，当γ和σ趋近于无穷的时候，S3的结果趋向S2的结果。

进一步的，S4中，利用交替最小化算法，得到以下的子问题，进而分别迭代求解散射光图

S4-1、利用split-Bregman方法求解，得到

其中，

这里

其中，

S4-2、直接求得闭式解，

为了得到一个更加自然的去雾图片，引入参数ω∈(0，1]，上述公式可以进一步写成：

S4-3、子问题

这里，最终的视觉增强图像

其中Θ表示MAP推理的参数，映射函数

本发明所述的有益效果为：本发明首先利用秩一先验得到一幅初始的去雾图片和散射光图，然后在变分模型的框架下，同时结合了秩一先验去雾和一个用于处理多种图像退化问题的超分辨深度神经网络先验，利用半二次分裂(HQS)的优化算法，同时交替迭代估计用于去除雾霾的散射光图和通过深度超分辨率网络寻求高质量的视觉增强图像；不仅可以极大地去除雾霾的不利影响，同时也可以减少伪影和抑制噪声的出现，最终得到细节更加清晰，可视化更高的高质量图像。此外，所提出的方法还可以处理其他复杂场景，即不同天气和成像条件下的图像恢复，例如，沙尘天气，水下条件成像以及低照度条件成像，具有很高的鲁棒性。

本发明可以进一步作为图像处理软件应用到其他图像处理任务中，如道路监控系统，水下探测，夜晚低照度情况下的监测系统以及目标识别，在复杂场景下，提高获取图像的清晰度和可识别度。

附图说明

图1为利用秩一先验得到初始的散射光图和去雾图像的流程图；

图2为本发明在变分模型下，同时结合秩一先验和一个用于处理多种图像退化问题的超分辨深度神经网络先验的图像视觉增强算法的流程图；

图3为雾天的实验结果，(a)为雾天图像，(b)为利用暗通道方法恢复的图像，(c)为利用直接使用秩一先验恢复的图像，(d)为本发明采用的方法得到的视觉增强图像；

图4为沙尘天气的实验结果，(a)为沙尘天气图像，(b)为利用著名的暗通道方法恢复的图像，(c)为利用直接使用秩一先验恢复的图像，(d)为本发明采用的方法得到的视觉增强图像；

图5为不同天气和成像条件下的图像恢复实验结果，其中(a)为雾天，(b)为沙尘天气，(c)为水下条件成像，(d)为低照度条件成像。

具体实施方式

为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明。

本发明所述的一种同时去雾和提高分辨率的真实场景视觉增强方法，其步骤为：

S1、输入雾霾图像I(x)，基于秩一先验得到初始散射光图

描述由于大气中的颗粒会对光产生吸收和散射作用造成的退化的数学模型通常是：

其中，x是图像中的像素位置，ο表示点乘，I(x)和J(x)分别是待去雾图像和要恢复的无雾图像，A是全局大气光，t(x)为空气折射率。

本发明不考虑求解空气折射率t(x)，相反，考虑求解描述影响描述影响成像的环境散射光部分的散射光图

其中，ω∈(0，1]是一个残差参数，在实践中为远处的物体保持少量的雾度，t

如图1，S1的具体步骤为：

S1-1、根据输入的雾霾图像I(x)，计算每个R,G,B通道的统一辐射度

Ω＝m×n,c＝{R,G,B}

其中，m和n是图像的尺寸大小；

S2-2、正则化统一辐射度

S2-3、根据秩一先验得到初始散射光图：

取

其中，x是图像中的像素位置，ω∈(0，1]是一个残差参数，t

S2、基于变分模型框架，同时结合秩一先验及一个超分辨深度神经网络先验，提出优化问题；

在得到初始的散射光图

其中，

其中，

S3、通过引入辅助变量u和v，增加惩罚项，基于半二次分裂(HQS)方法，得到新的无约束优化问题；

其中，γ和σ是惩罚参数，当γ和σ趋近于无穷的时候，公式(4)的结果趋向公式(3)。

S4、利用交替最小化算法，对新的无约束优化问题求解，得到最终视觉增强图像；具体为：

利用交替最小化算法，可以得到以下的子问题，进而分别迭代求解散射光图

求解(5):可以利用split-Bregman方法求解，

和

交替求解

由于公式(9)的等式右侧是可微的，利用快速傅里叶变换(FFT)，可以得到

其中，

利用广义的收缩公式，求解公式(10)，得到

其中，

求解(6):可以直接求得闭式解，

为了得到一个更加自然的去雾图片，与模型(2)相似，引入参数ω∈(0，1]，公式(13)可以进一步写成：

求解(7):公式(7)首先可以进一步写为

这里，最终的视觉增强图像

其中Θ表示MAP推理的参数，映射函数

至此，根据以上的迭代优化求解过程，可以得到优化后的散射光图

如图3所示，在雾霾天气下，对比著名的暗通道先验方法，其中，本发明所述的方法如图3(d)所示，在处理天空和非天空区域的时候不会出现块状伪影和雾气，并且恢复出来的图像细节更加清晰，而图3(b)中暗通道先验在处理时出现了不理想的块状伪影和噪声，图像整体的效果比较模糊。此外，对比直接只用秩一先验恢复的图像，本发明在极大地去除了雾霾的同时减少了伪影和抑制了噪声的出现。

图4展示了在沙尘天气下，暗通道先验方法如图4(b)所示，无法很好的去除沙尘，直接使用秩一先验恢复的图像如图4(c)所示，虽然可以去除沙尘，但是同时也放大了存在于原始图片中的噪声，而本发明所述的方法如图4(d)所示，在去除沙尘的同时抑制了噪声的出现，得到的恢复图像也更加清晰。

图5展示了本发明的鲁棒性，在处理不同天气和条件下的退化图像时，本发明的方法依然可以有很好效果并且可以恢复更多的细节。

本发明所述的变分模型不仅加入了全变分项，还将秩一先验和超分辨深度神经网络先验加入进了同一个优化问题，其中，全变分项可以有效去除图像中不理想的噪声，依靠梯度下降对图像进行平滑处理，有效地在图像内部对图像进行平滑，而在图像边缘尽可能得到比较锐利的边缘；秩一先验可以有效地去除图像中的雾霾沙尘等不利影响；超分辨深度神经网络可以有效去除压缩伪影，块状伪影和噪声等的不利影响，增强图片的可视性。基于此，本发明在变分模型的框架下提出的同时去除雾霾和提高图像分辨率的真实场景的视觉增强方法，可以在得到去雾图像的同时，对图像的分辨率进行提升，进而得到更清晰的视觉效果。

以上所述仅为本发明的优选方案，并非作为对本发明的进一步限定，凡是利用本发明说明书及附图内容所作的各种等效变化均在本发明的保护范围之内。