一种基于大气光幕与雾浓度分布估计的去雾方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于大气光幕与雾浓度分布估计的去雾方法。

背景技术

随着计算机视觉系统在场景监控、自动驾驶和目标探测等领域的应用，如何从雾天退化图像中恢复出清晰度高、对比度好和边缘清晰的高质量图像已经成为计算机视觉领域关注的热门问题。为了进一步提升计算机视觉系统的性能，需要对前端采集的图像进行图像去雾。图像去雾算法通过在信号处理阶段减少甚至移除雾造成的对成像质量的干扰，使图像恢复良好的清晰度，具有更多的细节信息。图像去雾对于视频监控、物体检测、消费电子产品、军事应用等领域都有很好的应有价值，具备广阔的发展前景。

大气透射率是图像去雾过程中一个重要的参数，透射率的准确性影响着最终去雾图像的质量。现有的基于图像复原的去雾方法主要是暗通道先验去雾算法，该算法利用最小值滤波求取暗通道图估计大气透射率，最终得到了不错的去雾效果。但是现有的暗通道先验去雾算法求取透射率容易受到图像中白色区域的影响，所以在某些场景中计算出的透射率和大气光值往往不准确，导致复原的图像出现图像亮度偏暗，天空区域色彩失真，图像细节丢失等情况。

发明内容

为克服上述现有技术的缺点，本发明的目的在于提供一种基于大气光幕与雾浓度分布估计的去雾方法，以期解决现有暗通道先验方法大气透射率和大气光值估计不准确的问题，以及进一步解决天空区域场景色彩失真、细节丢失的问题。

为实现上述目的，本发明采取如下技术方案：

一种基于大气光幕与雾浓度分布估计的去雾方法，包括如下步骤：

步骤1：对于原始的雾天图像I，通过暗通道先验去雾理论，估计并优化初始大气光幕；

步骤2：以大气光幕均值为阈值，对雾天图像I进行自适应远近景分割，得到精准大气光幕；

步骤3：计算大气透射率t(x)；

步骤4：求取雾天图像I的雾浓度分布图；

步骤5：在所述雾浓度分布图上进行大气光值定位，雾天图像I对应坐标的灰度即估计的大气光值A；

步骤6：反推大气散射模型得雾天图像复原模型，将雾天图像I、大气透射率t(x)和大气光值A代入复原模型得到清晰图像J。

在一个实施例中，所述步骤1，估计初始大气光幕，并利用引导滤波进行优化，过程如下：

步骤1.1，将雾天图像I视为清晰图像退化得到，雾天成像模型即退化衰减过程，由下式表示：

I(x)＝J(x)t(x)+A[1-t(x)]

式中，I(x)表示清晰图像在x处经过退化衰减后的像素值，J(x)表示对应x处清晰图像的像素值；

步骤1.2，将A[1-t(x)]定义为大气光幕V，则透射率为t(x)＝1-V/A；

步骤1.3，用引导滤波对雾天图像I进行滤波，去除噪声并保留边缘细节。在一个实施例中，所述大气光幕具备如下两个约束条件：

W(x,y)≥V(x,y)≥0

式中，W(x,y)为雾天图像每个像素的通道最小值，用雾天图像中最小亮度值做粗略估计，表达式为：

W(x,y)＝min(I(x,y))

式中，I(x,y)是雾天图像在(x,y)像素点的亮度值；

在一个实施例中，所述步骤1.3，引导滤波的输出图像q和引导图像G在一个二维窗口内满足线性关系，表达式为：

式中，i和k是像素索引，q

ω

式中，κ是防止a

在一个实施例中，所述步骤2，自适应远近景分割为：增强远景区域去雾程度，减小近景区域去雾程度，平滑远近景边缘，对去雾后的远近景区域进行融合。

在一个实施例中，所述自适应远近景分割，将分离的大气光幕V′(x,y)表示为：

式中，V(x,y)表示精准大气光幕，V

所述平滑远近景边缘，是在大气光幕远近景分割线处进行图像平滑操作，则：

V(x,y)

式中，a和b表示线性系数，为a和b添加约束：

a+b＝1

自适应远近景分割平滑后的大气光幕V”(x,y)最终表示为：

在一个实施例中，利用基于改进大气光幕的透射率估计方法计算大气透射率t(x)，表示如下：

式中，t

在一个实施例中，所述步骤4，估计初始的雾浓度分布图，再利用形态学腐蚀算法、引导滤波算法对初始雾浓度图进行处理，得到精细的雾浓度分布图，步骤如下：

步骤4.1，计算像素(x,y)处的雾浓度值f

f

式中，s(x,y)和v(x,y)分别表示像素(x,y)的饱和度值和亮度值；

步骤4.2，根据f

步骤4.3，对图像执行形态学腐蚀；

步骤4.4，对图像进行引导滤波，对初始的雾浓度分布图进一步精细化，消除图像中白色建筑物和白色物体的影响，得到精细的雾浓度分布图。

在一个实施例中，利用改进的四叉树分割算法进行大气光值定位，方法如下：

步骤5.1，通过对雾天图像进行扫描，将雾天图像四等分递归分割，求取每块区域像素值的标准差和均值的差作为各自区域的标签，每执行一次分割就比较四个标签的大小，取最大值标签区域继续执行四等分；

步骤5.2，重复以上操作，并设定白色物体灰度作为判定阈值，即每个区域内灰度值大于该阈值的像素点被认定为白色物体，计算中仅计算小于阈值的区域均值，令该均值的大小为各个区域的标签，通过比较标签的大小取最大标签区域执行递归分割，直到标签大小大于标签阈值停止递归，表达式如下：

Ω＝{S(x,y)|0＜S(x,y)＜t}

式中，Ω表示区域内小于白色物体判定阈值的像素集合，S(x,y)表示像素值大小，t表示白色物体判定阈值，l表示区域内不包含白色物体部分的均值，crad(Ω)表示集合Ω内的元素个数；

步骤5.3，设定标签阈值γ，当小于标签阈值时，该区域即为大气光值所在区域，求取该区域最大值，表达式为：

f

式中，f

式中，A即为最终大气光值，A

在一个实施例中，所述步骤6，复原公式如下。

J(x)＝(I(x)-A)/t(x)+A

与现有技术相比，本发明通过引入大气光幕图代替深度图，对大气光幕图进行引导滤波精细化，并对远近景分割处理，求取精确的大气光幕图，进而求取精确的大气透射率。先估计准确的雾浓度分布图，再通过对四叉树分割进行改进，在雾浓度图上运用改进四叉树分割求取大气光值，从而解决暗通道先验大气光值估计不准确的问题。本发明在远近景区域能实现均衡去雾，从而解决了天空区域场景去雾失真的问题，对于不同场景均有较好的去雾效果。

附图说明

图1为本发明实例中的算法流程框图。

图2为大气散射模型示意图。

图3为暗通道先验去雾图。其中，(a)为原始图像，(b)为透射率图，(c)为初始去雾图，(d)为优化去雾图。

图4为引导滤波原理模型图。

图5为本发明实例中的大气光幕经引导滤波精细化前后结果图。其中(a)为引导滤波前，(b)为引导滤波后。

图6为本发明实例中的大气光幕自适应远近景分割平滑前后结果图。其中(a)为边界平滑前，(b)为边界平滑后。

图7为本发明实例中的雾天图像亮度和饱和度的差与雾浓度的关系图。

图8为本发明实例中的雾浓度求取过程图。其中(a)为原始图像，(b)为初始雾浓度图，(c)为腐蚀结果图，(d)为最终雾浓度图。

图9为本发明实例中的大气光值估计示意图。

图10为本发明实例中的雾天图像Dormitory去雾结果图。其中，(a)为雾天图像Dormitory，(b)为DCP，(c)为FVR，(d)为BCCR，(e)为DEFADE，(f)为PI-Dehaze，(g)为MSCNN，(h)为DTGD，(i)为AFD。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参考图1，本发明一种基于大气光幕与雾浓度分布估计的去雾方法，主要包括如下步骤：

步骤1：对于原始的雾天图像I，估计并优化初始大气光幕。

本步骤中，通过暗通道先验去雾理论，估计初始大气光幕，并利用引导滤波对初始大气光幕进行优化，过程如下：

步骤1.1，根据图2大气散射模型所示内容，可以得到雾天图像形成因素，雾天图像I可视为清晰图像退化得到，雾天成像模型即退化衰减过程，由下式表示：

E(d,λ)＝E

＝E

式中，E

I(x)＝J(x)t(x)+A[1-t(x)]

步骤1.2，将A[1-t(x)]定义为大气光幕V，则透射率为t(x)＝1-V/A。

由于大气光幕的物理特性，大气光幕需要具备两个约束条件，一是大气光幕恒成立，并且是纯白色的；二是大气光幕V的每个像素都不能高于输入图像每个像素的通道最小值，。如以下公式所示：

W(x,y)≥V(x,y)≥0

式中，W(x,y)为雾天图像每个像素的通道最小值，可用雾天图像中最小亮度值做粗略估计，表达式为：

W(x,y)＝min(I(x,y))

式中，I(x,y)是雾天图像。

图3示出了暗通道先验去雾效果，结合其(a)、(b)、(c)、(d)，可以看出，当运用初始透射率去雾后，图像复原后会出现明显的边缘白色光圈现象，如图3(c)所示。现有算法解决方式是利用软抠图技术对初始透射率进一步细化，得到去雾结果如图3(d)所示，可以看出白色光圈现象显著降低，但是图像整体还是存在亮度偏暗，部分区域色彩失真的问题。

步骤1.3，用引导滤波对雾天图像I进行滤波，去除噪声并保留边缘细节。引导滤波模型如图4所示，引导滤波的输出图像q和引导图像G在一个二维窗口内满足线性关系，表达式为：

式中，i和k是像素索引，q

求取线性函数的系数就是使输入值G和输出值q之间的差距最小。因此将求取两个线性系数的问题转化为最优解问题，表达式如下：

式中，κ是防止a

在实际应用中，引导滤波可以根据引导图像展现出不同的性能，当引导图像在局部区域内较为平缓时，局部方差小，此时a

步骤2：以大气光幕均值为阈值，对雾天图像I进行自适应远近景分割，得到精准大气光幕。

本步骤的自适应远近景分割，具体为：增强远景区域去雾程度，减小近景区域去雾程度，平滑远近景边缘，对去雾后的远近景区域进行融合。具体地：

步骤2.1，以大气光幕的均值作为分割阈值实现对图像的自适应远近景分割，抑制近景区域去雾程度，同时加强远景区域去雾程度，实现对图像整体的去雾性能优化。将分离的大气光幕V′(x,y)表示为：

式中，V(x,y)表示精准大气光幕，V

步骤2.2，对远近景分界线进行平滑操作。本发明平滑远近景边缘，是在大气光幕远近景分割线处进行图像平滑操作，则在分界线处远近景大气光幕可用线性函数表示为：

V(x,y)

式中，a和b表示线性系数，为a和b添加约束：

a+b＝1

结合以上过程，自适应远近景分割平滑后的大气光幕V”(x,y)最终表示为：

图6展示出了大气光幕自适应远近景分割平滑的效果。在图6中(a)，建筑物远近景之间的过渡区会导致最终去雾图像出现明显的分界线。在经过自适应远近景分割平滑后，如图6中(b)所示，在过渡区的分界线周围图像变化平缓，细节更为精细，平滑处理效果显著。

步骤3：计算大气透射率t(x)。

本步骤利用基于改进大气光幕的透射率估计方法计算大气透射率t(x)，对透射率进一步处理得到精细透射率。雾天退化图像复原后容易受到噪声影响，导致图像整体偏亮，而且大气透射率t(x)的值过小，将会直接导致大气衰减项J(x)t(x)→0，此处将大气透射率t(x)的值设定下限t

式中，t

步骤4：求取雾天图像I的雾浓度分布图。

本步骤中，估计初始的雾浓度分布图，再利用形态学腐蚀算法、引导滤波算法对初始雾浓度图进行处理，得到精细的雾浓度分布图，步骤如下：

步骤4.1，根据人眼视觉特性，和通过对大量雾天图像进行统计分析可以发现场景深度、雾浓度、亮度和饱和度的差值三者之间存在联系。当场景深度增加，雾浓度也不断增加，亮度和饱和度差值也随之增加，三者呈现正相关，如以下公式所示：

d(x,y)∝c(x,y)∝(v(x,y)-s(x,y))

式中，d(x，y)为场景深度，c(x，y)为雾浓度，v(x，y)为亮度，s(x，y)为饱和度。

基于此，雾天图像亮度和饱和度的差值就是雾浓度分布图，计算像素(x,y)处的雾浓度值f

f

式中，s(x,y)和v(x,y)分别表示像素(x,y)的饱和度值和亮度值；图7中展示了本发明实例中的雾天图像亮度和饱和度的差与雾浓度的关系。结合图7中(a)、(b)、(c)、(d)可知，随着雾浓度的不断增加，亮度和饱和度的差值逐渐增大。当到浓雾区时，此时亮度值和饱和度值差值最大。

步骤4.2，根据f

步骤4.3，对图像执行形态学腐蚀，图像中基本消除了白色建筑物的影响，但是形态学腐蚀的窗口引起了块状效应导致了图中白色物体并未消除彻底。

步骤4.4，对图像进行引导滤波，对初始的雾浓度分布图进一步精细化，消除图像中白色建筑物和白色物体的影响，得到精细的雾浓度分布图。图8中，详细展示了步骤4.2，4.3，4.4这一过程，最终得到了精细化的雾浓度图。首先对原始图像的雾浓度进行求解，如图8中(b)所示，得到的初始雾浓度图中薄雾区的白色物体与远处浓雾区灰度值近似，这会增加大气光值区域定位的难度，可以得出初始雾浓度图并不能避免白色物体对大气光值估计的影响，因此对图8中(b)执行形态学腐蚀，腐蚀结果如图8中(c)所示，图像中基本消除了白色建筑物的影响，但是形态学腐蚀的窗口引起了块状效应导致了图中白色物体并未消除彻底。因此对图8中(c)进行引导滤波，对初始雾浓度图进一步精细化，结果如图8中(d)所示。可以看出，最终雾浓度图消除了图像中白色建筑物和白色物体的影响。

步骤5：在雾浓度分布图上进行大气光值定位，雾天图像I对应坐标的灰度即估计的大气光值A。

本步骤中，利用改进的四叉树分割算法在雾浓度图上进行大气光值定位，方法如下：

步骤5.1，传统四叉树分割估计大气光值，通过对雾天图像进行扫描，将雾天图像四等分递归分割，求取每块区域像素值的标准差和均值的差作为各自区域的标签，每执行一次分割就比较四个标签的大小，取最大值标签区域继续执行四等分，重复以上操作，当分割的区域标签小于预先设定的阈值时，停止四叉树分割。四叉树分割法如图9所示。

步骤5.2，雾天图像中的白色物体会干扰四叉树分割过程中阈值的判定，因此对四叉树分割的判别方式作出了改进，为了避免白色物体影响各个区域的均值，本发明在重复以上操作时，设定白色物体灰度作为判定阈值，即每个区域内灰度值大于该阈值的像素点被认定为白色物体，计算中仅计算小于阈值的区域均值，令该均值的大小为各个区域的标签，通过比较标签的大小取最大标签区域执行递归分割，直到标签大小大于标签阈值停止递归，表达式如下：

Ω＝{S(x,y)|0＜S(x,y)＜t}

式中，Ω表示区域内小于白色物体判定阈值的像素集合，S(x,y)表示像素值大小，t表示白色物体判定阈值，l表示区域内不包含白色物体部分的均值，crad(Ω)表示集合Ω内的元素个数。

步骤5.3，设定标签阈值γ，当小于标签阈值时，该区域即为大气光值所在区域，求取该区域最大值，表达式为：

f

式中，f

式中，A即为最终大气光值，A

步骤6：反推大气散射模型得雾天图像复原模型，将雾天图像I、大气透射率t(x)和大气光值A代入复原模型得到清晰图像J，对原始图像完成去雾操作。本发明最终得到的复原公式可表示如下：

J(x)＝(I(x)-A)/t(x)+A

表1为本发明实例中的雾天图像Dormitory去雾结果与其他算法对比的客观评价指标结果。7种经典对比算法分别为暗通道先验算法(Dark Channel Prior，DCP)、可见性恢复算法(Fast Visibility Restoration，FVR)、边界约束与上下文正则化(BoundaryConstraint and Contextual Regularization，BCCR)、雾浓度评估去雾(Dubbed Densityof Fog Assessment based Defogger，DEFADE)、PI-Dehaze(Prior Information BasedImage Dehazing Algorithm)、多尺度卷积神经网络(Multi-scale Convolutional NeuralNetworks，MSCNN)、双传输映射策略与梯度域去雾(Dual Transmission Maps Strategyand gGradient-Domain，DTGD)。

为了便于叙述，将本发明基于大气光幕与雾浓度分布估计的去雾算法(Atmospheric Lght Curtain and Fog Concentration Distribution DehazingAlgorithm，AFD)表示为AFD，参数设置分别为中值滤波窗口sv为41，常数p为0.95，引导滤波窗口r为50，正则化参数ε为0.004，透射率下限t

对比实验选用标准差(STD)、平均梯度(AG)和信息熵(IE)为图像评价指标参数。如表1所示，本发明在标准差(STD)、平均梯度(AG)的评价均排于所有算法的第一，信息熵(IE)排于所有算法的第二。总体表现优异，客观上验证了本发明的优异性能。

表1

雾天图像Dormitory去雾结果与其他算法对比的主观评价指标结果如图10所示。相较于雾天图像，七种图像去雾算法在不同程度上均实现了去雾效果。DCP算法的处理结果如图10中(b)所示，街道汽车、植物等小场景呈现模糊状态，图像整体亮度偏低，这是由于大气光值估计误差造成的。FVR算法的去雾图像如图10中(c)所示，去雾图像块状效应严重，细节信息丢失严重，图像整体偏灰色调，主要是由于最小值滤波求解的大气光幕未经过精细化处理，使得最终去雾效果不佳。BCCR算法的处理结果如图10中(d)所示，图像整体亮度偏亮，导致建筑物和白色物体出现过饱和，图像颜色出现失真，图像视觉效果较差。DEFADE算法的处理结果如图10中(e)所示，图像整体亮度偏暗，图像中植物的颜色出现失真，建筑物楼层细节和草地模糊严重。PI-Dehaze算法的处理结果如图10中(f)所示，图像去雾不彻底，整体色调偏灰，图像中蓝色屋顶、白色建筑物以及绿色植被颜色较浅，整体对比度低。MSCNN算法的处理结果如图10中(g)所示，图像对比度和色彩饱和度较低造成细节信息模糊。DTGD算法的处理结果如图10中(h)所示，图像锐化严重，高亮区域色彩过饱和，图像整体偏黑色调。本发明的算法去雾图像如图10中(i)所示，图像整体亮度均衡，植物、建筑物以及街道整体对比度和饱和度适中，楼层和草地的细节清晰，整体视觉效果优于其他对比算法。