一种雾天交通场景图像的去雾方法和设备

技术领域

本发明属于图像信息处理领域，具体涉及一种雾天交通场景图像的去雾方法和设备。

背景技术

雾，是一种常见的自然现象，它是由空气中的水蒸气接触到较冷的地表凝结而成，由漂浮在空气中的小水滴构成。在视频监控领域中，由于雾的存在，降低了可见物的能见度，使得传感器获得的图像严重降质，不利于图像的后期处理，从而影响了目标跟踪，智能交通，视频监控，航拍等视觉系统的鲁棒性。此外在智能交通和区域视频监控中，雾的存在严重影响了监控效果，导致智能交通系统错误的判断车辆信息，区域视频监控获得的影像模糊不清，而前者尤为严重，雾的存在往往会引发交通事故或者交通阻塞，甚至航班的取消。因此，去雾的研究是必要的。

目前，针对雾霾天气引起的图像降质问题，国内外许多学者对此做了大量的研究。当前的去雾方法主要分为两大类：基于非模型的图像去雾算法和基于模型的图像去雾算法。

基于非模型的图像去雾算法是指不考虑雾霾天气图像退化的物理原因，通过图像增强算法对亮度和对比度进行改善，进而提升雾霾天气图像的视觉效果。基于非模型的图像去雾算法，处理相对简单，且适用的范围较广，但同时也存在信息丢失，图像失真等问题，而且这类方法的本质是尽量减少雾霾对图像的影响，未从根本上进行去雾，容易造成去雾效果不彻底。常见的基于非模型的图像去雾算法有直方图均衡化算法、Retinex算法以及小波变换算法等。

基于模型的图像去雾算法是分析雾天图像的降质原因，进而建立模型来模拟图像降质过程，然后通过求解逆过程得到无雾图像。目前最常用且效果最佳的模型是McCartney提出的大气散射模型。基于该模型，许多学者提出了各类去雾算法。这类算法分析了在大气散射模型下的雾天图像形成机制，从本质上分析了图像降质原因，使得去雾结果更加理想可靠。最早的去雾算法是利用多帧图像，并结合大气散射模型，进而求取模型方程的解，得到无雾图像。近些年来，基于大气散射模型的单幅图像去雾算法被广泛研究，这类算法都是在大气散射模型中加入已知的先验知识，求解图像的透射率与大气光值，然后根据大气散射模型公式求得无雾图像。

在图像去雾专利方面，胡浩丰等人(专利公开号为CN107966412A)通过修正正交偏振状态下的两次光强图得到总光强和偏振差，然后通过差分偏振复原模型计算得到去雾图像，但是两次获取正交偏振状态下的光强图对设备要求很高，无法大规模推广。汤红忠等人(专利公开号为CN107085830A)通过双区域滤波法和传播滤波法估计大气透射率，然后采用自适应方法优化大气光强度，实现无雾图像的恢复，但是该方法不能有效处理低亮度的雾天图像。张笑钦等人(专利公开号为CN110992285A)通过分层神经网络将雾天图像分割为内容特征和细节特征，然后分别进行去雾处理，并对中间结果进行交互，恢复出无雾图像，但是该方法不适用于算力不足的场景。上述这些方法都是通用的图像去雾算法，未针对交通场景进行优化，并且都有各自的局限性。

在此背景下，研究一种鲁棒性强，时间复杂度低的交通场景图像去雾方法尤为重要。

发明内容

本发明提供一种基于天空区域分割和颜色空间转换的雾天交通场景图像的去雾方法和设备，解决现有图像去雾方法未对交通场景进行优化、低亮度雾图去雾效果不佳的技术问题。

为实现上述技术目的，本发明采用如下技术方案：

一种雾天交通场景图像的去雾方法，包括以下步骤：

步骤A，针对远景区域、近景区域以及过渡区域不同的雾气浓度，分别计算雾天交通场景图像中对应区域的大气光值；然后在HSI颜色空间利用各通道的传输图和大气光值，根据大气散射模型计算初步去雾的交通场景图像；

步骤B，基于预设的I通道阈值，对初步去雾的交通场景图像进行全局亮度提升；

其中，预设的I通道阈值，是根据初步去雾的交通场景图像中天空区域在HSI颜色空间的I通道像素设置得到；且，天空区域，是基于暗通道特征和相对能量特征对雾天交通场景图像进行分割得到；

步骤C，对步骤B得到的图像，进行限制对比度自适应直方图均衡化和引导滤波处理，得到最后去雾的交通场景图像。

在更优的技术方案中，所述暗通道特征的计算方法为：

其中，i和j分别是图像中像素的行号和列号，M是图像中所有行号之和，I是由r、g、b通道组成的图像，c表示r、g、b的任一颜色通道，I

在更优的技术方案中，所述相对能量特征的计算方法为：

其中，Z(i,j)表示为有关于高斯函数水平和垂直二阶导数的中间变量，α是Z(i,j)的最大值，k是对比度增益，τ是噪声阈值，

在更优的技术方案中，基于暗通道特征和相对能量特征对雾天交通场景图像进行分割得到天空区域的方法为：

a1，提取雾天交通场景图像的暗通道特征和相对能量特征；

a2，基于暗通道特征和相对能量特征，采用K均值聚类方法对雾天交通场景图像粗分割为天空区域和非天空区域；

a3，从粗分割的天空区域和非天空区域中选取置信度更高的部分像素，分别作为正负样本；并基于正负样本的暗通道特征和相对能量特征，训练机器模型得到天空区域细分类器；

a4，基于暗通道特征和相对能量特征，使用天空区域细分类器对雾天交通场景图像中的像素进行分类，并根据分类结果得到对应的天空区域细分割的二值图像。

在更优的技术方案中，采用K均值聚类方法对雾天交通场景图像粗分割的方法为：

b1，将雾天交通场景图像的暗通道特征和相对能量特征由二维矩阵转换为一维列向量，并执行正则化操作；

b2，设置K均值聚类的类别数为2，基于暗通道特征和相对能量特征这两个列向量，对雾天交通场景图像中的像素进行聚类，得到聚类标签和聚类中心；

b3，根据聚类中心确定雾天交通场景图像中所有像素的类别，从而确定天空区域和非天空区域；

b4，将聚类标签从一维列向量转换为二维矩阵，得到雾天交通场景图像的粗分割图像。

在更优的技术方案中，从粗分割的天空区域和非天空区域中选取正负样本的方法为：

c1，将粗分割为天空区域和非天空区域得到的二值图像按列遍历，如果天空区域在该列的上部，且在该列高度的占比不少于预设比例，则记录该列号；

c2，从c1记录的列号中提取天空区域最长的子序列，其上部预设比例的像素即为天空区域置信度更高的像素，将其作为正样本；

c3，将粗分割为天空区域和非天空区域得到的二值图像按列遍历，如果非天空区域在该列的下部，且在该列高度的占比不少于预设比例，则记录该列号；

c4，从c3记录的列号中提取非天空区域最长的子序列，其下部预设比例的像素即为非天空区域置信度更高的像素，将其作为负样本。

在更优的技术方案中，预设的I通道阈值的设置方法为：

计算初步去雾的交通场景图像中天空区域像素的数量N

步骤B中所述的对初步去雾的交通场景图像进行全局亮度提升，具体为：对初步去雾的交通场景图像，将其I通道的每个像素值均与1T相乘，得到的结果替换原来的I通道像素值。

在更优的技术方案中，步骤A中所述的远景区域、近景区域以及过渡区域，划分方法为：基于暗通道特征对雾天交通场景图像中的所有像素进行聚类，从而将雾天交通场景图像划分为远景区域、近景区域以及过渡区域；

雾天交通场景图像的大气光值计算方法为：采用四叉树分解法计算远景区域的大气光值，采用统计法计算近景区域的大气光值，采用线性插值计算过渡区域的大气光值，然后对所有得到的大气光值进行均值滤波处理。

在更优的技术方案中，所述在HSI颜色空间利用各通道的传输图和大气光值，根据大气散射模型计算初步去雾的交通场景图像，具体为：

d1，将雾天交通场景图像从RGB颜色空间转换到HSI颜色空间，得到雾天交通场景图像的亮度分量I

d2，计算雾天交通场景图像在I通道和S通道的传输图：

其中，t为雾天交通场景图像在I通道的传输图，T为雾天交通场景图像在S通道的传输图，I

d3，利用雾天交通场景图像在I通道的亮度分量I

I

通过该式计算得到的无雾交通场景图像的亮度分量I

利用雾天交通场景图像在S通道的饱和度分量S

S

保持初步去雾的交通场景图像与雾天交通场景图像的H通道值不变，即H

d4，利用得到的初步去雾的交通场景图像由HSI颜色空间的各通道分量H

本发明还提供一种设备，包括处理器和存储器；其中：所述存储器用于存储计算机指令；所述处理器用于执行所述存储器存储的计算机指令，具体执行上述任一技术方案所述的方法。

有益效果

本发明通过结合大气散射模型和图像增强技术实现了端到端图像去雾、亮度提升和细节增强。该方法运行速度快，效果好，不仅不需要人工参与而且成本代价低，具有很强的通用性。根据改进的暗通道特征和改进的相对能量特征，运用从粗糙分割到精细分割的思想，实现了天空区域的精确分割；采用颜色空间转换和单通道图像去雾的技术，实现了基于物理模型的图像去雾；采用CLAHE和引导滤波技术，实现了细节增强和视觉效果提升。该方法可广泛应用于交通场景的视频和图像去雾。

附图说明

图1为本发明实例所述方法的整体流程图；

图2为实施例1天空区域分割的各步骤效果图；其中图a为改进的暗通道特征，图b为改进的相对能量特征，图c为天空区域粗分割的结果，图d为天空区域细分割的结果；

图3为实施例1基于大气散射模型去雾的各步骤效果图；其中图a为大气光值，图b为I通道的去雾结果，图c为S通道的去雾结果，图d为初步去雾结果；

图4为实施例1去雾后处理的各步骤效果图；其中图a为全局亮度提升的结果，图b为CLAHE处理的结果，图c为引导滤波处理的结果，图d为原始雾图；

图5为实施例2天空区域分割的各步骤效果图；其中图a为改进的暗通道特征，图b为改进的相对能量特征，图c为天空区域粗分割的结果，图d为天空区域细分割的结果；

图6为实施例2基于大气散射模型去雾的各步骤效果图；其中图a为大气光值，图b为I通道的去雾结果，图c为S通道的去雾结果，图d为初步去雾结果；

图7为实施例2去雾后处理的各步骤效果图；其中图a为全局亮度提升的结果，图b为CLAHE处理的结果，图c为引导滤波处理的结果，图d为原始雾图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例以本发明的技术方案为依据开展，给出了详细的实施方式和具体的操作过程，对本发明的技术方案作进一步解释说明。

本实施例提供一种基于天空区域分割和颜色空间转换的雾天交通场景图像的去雾方法，整体实施流程如图1所示，包括以下步骤：

步骤A，针对远景区域、近景区域以及过渡区域不同的雾气浓度，分别计算雾天交通场景图像中对应区域的大气光值；然后在HSI颜色空间利用各通道的传输图和大气光值，根据大气散射模型计算初步去雾的交通场景图像。步骤A的具体处理过程如下：

1)计算大气光值

由于雾气浓度在整幅雾天交通场景图像中的分布是不均匀的，远景处的雾气浓度更高，近景处的雾气浓度更低。因此，根据不同区域的雾气浓度计算其对应的大气光值可以缓解去雾后图像过增强问题和光晕伪影问题。首先，将雾天交通场景图像划分为远景区域、近景区域和过渡区域，然后使用四叉树分解法计算远景区域的大气光值，采用统计法计算近景区域的大气光值，采用线性插值计算过渡区域的大气光值，最后执行均值滤波对上述得到的大气光值进行平滑处理。所述具体步骤如下：

(i)改进的暗通道特征作为雾气浓度，并设置聚类的类别数为3，然后执行聚类操作，得到聚类标签和聚类中心，根据聚类中心确定远景区域、近景区域和过渡区域；

由于暗通道值在白色的非天空区域是无效的，如交通场景中常见的白色车道线，直接使用暗通道值作为特征会影响分割的精度。因此，本实施例结合交通监控摄像机的位置特征(垂直于地面)，提出一种改进的暗通道特征计算方法：

其中，i和j分别是图像中像素的行号和列号，M是图像中所有行号之和，I是由r、g、b通道组成的图像，c表示r、g、b的任一颜色通道，I

(ii)对划分的远景区域进行四叉树分解：设置四叉树分解的停止条件，然后不断对平均亮度最高的子区域继续分解，直到满足停止条件，停止时对应子区域的像素平均值即为远景区域的大气光值；

(iii)将近景区域的像素按照亮度值从大到小排序，计算前1％亮度的像素的平均值，即为近景区域的大气光值；

(iv)按列遍历大气光值图，对远景区域和近景区域之间的过渡区域进行插值处理，然后执行均值滤波，得到雾天交通场景图像平滑的大气光值图。

2)RGB颜色空间转HSI颜色空间

为了缓解颜色失真和光晕伪影等问题，将原始的雾天交通场景图从RGB颜色空间转换到HSI颜色空间。去雾时，保持H通道不变，对I通道和S通道进行复原处理。从RGB颜色空间向HSI颜色空间转换的计算公式如下：

3)计算I通道和S通道的传输图

根据大气散射模型，I通道满足以下等式：

I

其中I

本实施例借鉴红外图像(单通道图像)的去雾方法，提出一种计算I通道传输图的计算方法为：

假设S通道也满足大气散射模型，得到以下等式：

S

其中，S

由于大气光值的饱和度很低，近似等于0，即S

S

根据饱和度的定义公式，上式可以展开成：

min(R

由于大气光值的RGB值近似相等，可以得到如下近似关系：

I

最终推得S通道传输图的计算公式：

4)计算初步去雾的交通场景图像的亮度分量I

(i)利用雾天交通场景图像在I通道的亮度分量I

I

通过该式计算得到的无雾交通场景图像的亮度分量I

(ii)利用雾天交通场景图像在S通道的饱和度分量S

S

(iii)保持初步去雾的交通场景图像与雾天交通场景图像的H通道值不变，即H

5)利用得到的初步去雾的交通场景图像由HSI颜色空间的各通道分量I

RG区域(0°≤H＜120°)：

G＝3I-(R+B)，

B＝I(1-S)；

GB区域(120°≤H＜240°)：

H＝H-120°，

R＝I(1-S)，

B＝3I-(R+G)；

BR区域(240°≤H≤360°)：

H＝H-240°，

R＝3I-(G+B)，

G＝I(1-S)，

步骤B，基于预设的I通道阈值，对初步去雾的交通场景图像进行全局亮度提升；其中，预设的I通道阈值，是根据初步去雾的交通场景图像中天空区域在HSI颜色空间的I通道像素设置得到；且，天空区域，是基于暗通道特征和相对能量特征对雾天交通场景图像进行分割得到。

上述步骤A基于大气散射模型得到的去雾图像存在部分区域偏暗、细节丢失等问题，直接把上述的各通道分量I

1)提取雾天交通场景图像的暗通道特征和相对能量特征

其中，此处暗通道特征的计算方法，与前述的改进的暗通道特征计算方法相同，为：

其中，i和j分别是图像中像素的行号和列号，M是图像中所有行号之和，I是由r、g、b通道组成的图像，c表示r、g、b的任一颜色通道，I

由于监控视频的画质大多较差，天空区域会包含很多噪声，导致天空区域和非天空区域的相对能量特征差异不明显，从而影响分割的精度。因此，本实施例结合交通监控摄像机的位置特征(垂直于地面)和图像的亮度信息，提出一种改进的相对能量特征的计算方法：

其中，Z(i,j)表示为有关于高斯函数水平和垂直二阶导数的中间变量，α是Z(i,j)的最大值，k是对比度增益，τ是噪声阈值，

2)天空区域粗分割：基于暗通道特征和相对能量特征，采用K均值聚类方法对雾天交通场景图像粗分割为天空区域和非天空区域。具体过程为：

(i)将雾天交通场景图像的暗通道特征和相对能量特征由二维矩阵转换为一维列向量，并执行正则化操作；

(ii)设置K均值聚类的类别数为2，基于暗通道特征和相对能量特征这两个列向量，对雾天交通场景图像中的像素进行聚类，得到聚类标签和聚类中心；

(iii)根据聚类中心确定雾天交通场景图像中所有像素的类别，从而确定天空区域和非天空区域；

(iv)将聚类标签从一维列向量转换为二维矩阵，得到雾天交通场景图像的粗分割图像。

3)天空区域细分割：从粗分割的天空区域和非天空区域中选取置信度更高的部分像素，分别作为正负样本；并基于正负样本的暗通道特征和相对能量特征，训练机器模型得到天空区域细分类器。

所述天空区域粗分割结果的误差大多集中在天空区域和非天空区域的交界处，为了得到天空区域的细分割结果，需要从粗分割结果中提取出置信度较高的天空区域和非天空区域分别作为正负样本，然后将正负样本的暗通道特征和相对能量特征送入支持向量机(SVM)，训练后得到SVM分类器，使用上述分类器能够得到精度更高的细分割结果。所述具体步骤如下：

(i)将粗分割为天空区域和非天空区域得到的二值图像按列遍历，如果天空区域在该列的上部，且在该列高度的占比不少于10％，则记录该列号；

(ii)从(i)记录的列号中提取天空区域最长的子序列，其上部10％的像素即为天空区域置信度更高的像素，将其作为正样本；

(iii)将粗分割为天空区域和非天空区域得到的二值图像按列遍历，如果非天空区域在该列的下部，且在该列高度的占比不少于10％，则记录该列号；

(iv)从(iii)记录的列号中提取非天空区域最长的子序列，其下部10％的像素即为非天空区域置信度更高的像素，将其作为负样本；

(v)以正负样本的暗通道特征和相对能量特征和相应的正负样本标签，训练SVM得到能够区分天空区域和非天空区域的细分类器；

(vi)基于暗通道特征和相对能量特征，使用天空区域细分类器对雾天交通场景图像中的像素进行分类，并根据分类结果得到对应的天空区域细分割的二值图像。

4)确定预设的I通道阈值

基于上述步骤3)细分割得到的二值图像，将初步去雾的交通场景图像分割为天空区域和非天空区域，统计初步去雾的交通场景图像中天空区域像素的数量N

5)对初步去雾的交通场景图像，将其I通道的每个像素值I

步骤C，对步骤B得到的图像，进行限制对比度自适应直方图均衡化和引导滤波处理，得到最后去雾的交通场景图像。

1)限制对比度自适应直方图均衡化

通过步骤B对初步去雾的交通场景图像进行全局亮度提升后，原本亮度值较大的区域的视觉效果较好，原本亮度值较小的区域的视觉效果仍不理想。因此，本实施例对步骤B得到的图像I通道分量I

2)引导滤波

经过对步骤B得到的初步去雾的交通场景图像执行限制对比度自适应直方图均衡化操作后，图像的视觉效果有了显著的提升，但仍存在细节丢失的问题。因此，对上一步的处理结果进一步执行引导滤波的操作，以突出图像的细节信息。将局部窗口半径参数设置为15，将正则化参数设置为0.004，直接在RGB颜色空间进行处理，便可得到细节增强的去雾图像，即为最后去雾的交通场景图像。

本发明还提供一种设备，包括处理器和存储器；其中：所述存储器用于存储计算机指令；所述处理器用于执行所述存储器存储的计算机指令，具体执行上述方法实施例所述的方法。

实施例1：

分别提取雾天图像[如图4(d)所示]的改进的暗通道特征[如图2(a)所示]和改进的相对能量特征[如图2(b)所示]；然后根据上述特征使用K均值聚类得到天空区域的粗分割结果[如图2(c)所示]；进一步从粗分割结果中提取置信度较高的天空区域和非天空区域训练SVM分类器，并使用分类结果生成天空区域的细分割结果[如图2(d)所示]。

分别计算远景区域、近景区域和过渡区域的大气光值，并进行平滑处理[如图3(a)所示]；然后在HSI颜色空间分别计算I通道和S通道的传输图，根据大气光值和传输图，便可得到I通道和S通道的复原结果[如图3(b)和图3(c)所示]；最后将H

计算出阈值K，并将I

实施例2：

分别提取雾天图像[如图7(d)所示]的改进的暗通道特征[如图5(a)所示]和改进的相对能量特征[如图5(b)所示]；然后根据上述特征使用K均值聚类得到天空区域的粗分割结果[如图5(c)所示]；进一步从粗分割结果中提取置信度较高的天空区域和非天空区域训练SVM分类器，并使用分类结果生成天空区域的细分割结果[如图5(d)所示]。

分别计算远景区域、近景区域和过渡区域的大气光值，并进行平滑处理[如图6(a)所示]；然后在HSI颜色空间分别计算I通道和S通道的传输图，根据大气光值和传输图，便可得到I通道和S通道的复原结果[如图6(b)和图6(c)所示]；最后将H

计算出阈值K，并将I

需要说明的是，以上公开的仅为本发明的具体实例，根据本发明提供的思想，本领域的技术人员能思及的变化，都应落入本发明的保护范围内。