掌桥专利:专业的专利平台
掌桥专利
首页

气雾散射模型优化的单张遥感图像去霾方法

文献发布时间:2023-06-19 13:46:35


气雾散射模型优化的单张遥感图像去霾方法

技术领域

本申请涉及一种气雾散射模型遥感图像去霾方法,特别涉及一种气雾散射模型优化的单张遥感图像去霾方法,属于单张遥感图像去霾技术领域。

背景技术

遥感技术借助高塔、卫星、飞机等空间平台上搭载的遥感器系统对目标物体进行远距离观测,获得不同分辨率的目标物体遥感图像,但由于成像过程中会受到各种因素的影响,最终导致获取的遥感图像质量下降,不利于遥感图像的解译与应用。

目前,随着工业技术的急剧发展,环境污染和极端天气频繁发生,雾霾成为一种常见现象。正是由于雾霾的存在,使得大气能见度降低,最终导致雾霾天条件下获得的图像质量受损严重,这在很大程度上降低了遥感图像的实际应用价值。

采用遥感平台上搭载的传感器接收目标物体发射和反射的电磁波得到遥感图像,电磁波从目标物体到达传感器的过程中会受到雾霾的影响,部分电磁波被雾霾吸收,并将辐射能量用于增加分子的内能,引起这些波段的太阳辐射强度衰减。部分电磁波被雾霾散射,使得原传播方向上的太阳辐射强度减弱,而增加了其它方向的辐射强度,同时传感器接收的电磁波中还会混入部分大气光。还有部分电磁波被雾霾反射折射,最终使其原有的传播方向发生不同程度的改变。电磁波在雾霾的一系列影响下,传感器接收到的光线发生非均匀变化,从而造成遥感图像像素的灰度值发生变化。从雾霾天条件下的遥感图像上可以看出,像素之间的对比度降低、像素值受影响的程度与该像素位置处雾的浓度以及目标景物与传感器之间的距离相关、遥感图像的灰度动态范围缩小等,这些变化限制了遥感图像在各领域发挥作用,因此亟需采用图像处理技术去除或者减少雾霾天条件下遥感图像中的霾,提高遥感图像的质量,充分发挥遥感图像的作用。

遥感图像处理的目的在于:首先,从视觉角度改善图像质量,如减小噪声、亮度调节以及通过估算参数达到雾天图像复原的目的等,最终满足期望要求;其次,提取图像中包含的某些特征,如纹理特征、频域特征、区域信息等;最后,对数字图像做变换、编码解码和压缩处理,以便图像的存储和传输。由此可见,采用数字图像处理技术对雾霾天遥感图像进行复原,对改善其质量有十分重要的作用。最终使得雾霾天条件下遥感图像中的景物清晰化,从而便于进行目视判读、图像后期处理以及在各个领域充分发挥作用。

目前,对遥感图像的去霾方法大体上可归纳为两类:一类是基于物理模型的方法,该方法在追究图像退化原因的基础上,分析图像退化的过程并建立图像退化模型,根据模型复原或重建图像,它的目的是最大限度的改善图像质量,该类方法遵循景物成像的本质原理,大部分图像处理效果自然,一般不会丢失或者破坏图像中的原始信息。另一类是基于图像增强的去霾方法,该方法纯粹的从增强图像对比度出发,并不考虑图像退化的根本原因,通过主观的突出图像中景物的细节信息,去除冗余信息,从而使得去霾后的图像在视觉上更悦目,同时也能较好的处理与应用去霾后的图像。

虽然现有技术在遥感图像去霾方面已取得了一些成果,但仍然有较大的改进空间,本申请的难点和待解决的问题主要集中在以下方面:

第一,亟需更完善的物理模型:现有技术散射模型的图像去霾方法是图像复原中最主要的方法,但该方法有一定的局限性,在许多特定环境条件下,此方法不能达到去霾要求,而当前需要的是既能适用于多种复杂天气条件,同时又能应用于各种多景深目标场景的物理模型,所以本申请仍然需要新的模型以及此基础上更好的算法来完成雾霾天图像的去霾处理;

第二,实时性无法满足需求:遥感图像去霾技术不仅需要处理效果能达到要求,在处理的效率方面更是需要达到实时性的要求,这样才能应用于实践中,基于物理成像模型的去霾方法首先需要采用相关技术手段对模型参数进行估算,而模型参数的估算是一个费时且耗资源的过程,而增强图像对比度的去霾方法,虽然部分算法能够能满足实时性的要求,但是总体来说性能很难达到要求,所以实时性仍是一个棘手问题,现有技术图像去霾方法的实时性无法满足应用需求;

第三,为考虑图像本身的模糊信息:现有技术大部分的去霾方法都能不同程度去霾,提高霾雾天条件下图像的质量,但这些去霾方法在去霾的过程中并未将图像固有的模糊性考虑进去,景物成像过程中由三维空间映射到二维空间时,难免会有部分信息丢失,因此,在更好的去霾模型基础上,同时融入遥感图像的模糊信息,最终能够更好、更快的完成图像去霾,这是本申请重点解决的问题;

第四,雾霾天条件下获取遥感图像时,由于雾霾对电磁波有吸收、反射、散射和折射的作用,从而导致最终获取的遥感图像的质量降低,不利于遥感图像的解译和应用。采用现有技术的图像处理方法,处理过程中会出现色彩偏移现象,无法准确获得气雾光亮度值和估算透射率,无法便捷可靠的处理雾天条件下的单张遥感图像,实用性不强、操作不方便,去霾强度无法把握准确,去霾效果整体不佳,去霾后图像中景物边缘不够清晰、地物的纹理信息不够丰富,同时还存在严重的颜色失真现象;

第五,现有技术基于对比度增强的去霾方法虽然能在一定程度上提高雾霾天降质图像的清晰度,但该类方法缺陷明显,去霾过程中未考虑图像中雾霾分布不均匀的情况,采用同样的处理方式对待整个降质图像,导致去霾后的图像部分细节不清晰,而另一部分因过度去霾导致图像颜色失真现。将雾霾天条件下获取的图像分成许多小正方形区域,每个区域中都存在亮度值较小的像素,这些像素都位于阴影、颜色较暗或色彩明亮的物体上,但仍存在一些难点,对大型稀疏线性方程组的解算过程采用最小值滤波对中间结果图进行强规则的估算,同时采用软抠图法细化得到强规则结果图,此过程是一个既耗资源又耗时间的计算过程,且在雾霾天降质图像中景物的颜色与霾的颜色接近时,去霾效果不好。基于此,本申请结合气雾散射模型并对模型进行优化,对模型中的因子进行估算,从而达到雾霾天降质图像复原的目的。

发明内容

为了解决以上问题,本申请采用图像处理方法对雾霾天条件下获取的单幅遥感图像进行去雾去霾处理,一是提出基于气雾散射模型的去霾方法;二是基于真彩色遥感图像的处理,为避免处理过程中出现色彩偏移现象,采用颜色空间变换;三是基于雾霾天条件下遥感图像的特征,并将其融入气雾散射模型中,采用超像素影像霾特征分割方法对雾霾天条件下的遥感图像进行分割,从而更好、更精确的获得气雾光亮度值;四是在估算气雾光亮度值省略求取弱色层图像的这一步骤;五是省略对强规则透射率图像中块效应的处理过程;本申请能更好、更便捷的处理雾天条件下的单张遥感图像,实用性强、操作方便,去霾强度把握准确,去霾后图像中景物边缘更清晰、地物的纹理信息也更丰富,同时不存在严重的颜色失真现象,去霾效果整体上提高了一个档次。

为实现以上技术特征,本申请所采用的技术方案如下:

气雾散射模型优化的单张遥感图像去霾方法,一是提出基于气雾散射模型的去霾方法;二是基于真彩色遥感图像的处理,采用颜色空间变换,将RGB转为YUV和HIS颜色空间;三是基于雾霾天条件下遥感图像的特征,并将其融入气雾散射模型中,采用超像素影像霾特征分割方法对雾霾天条件下的遥感图像进行分割,从而更精确的获得气雾散射模型中的一个未知变量即气雾光亮度值;四是在估算气雾光亮度值省略求取弱色层图像的这一步骤;五是省略对强规则透射率图像中块效应的处理过程,最终完成遥感图像的去雾去霾处理;

基于气雾散射模型的单幅遥感图像去霾包括:改进弱色层强规则去霾方法、估算气雾光亮度、估算透射率、恢复雾霾天遥感图像的清晰度;首先采用YUV和HIS颜色空间模型中亮度分量Y、I中的信息,选取图像中较亮的像素位置,为后续气雾散射模型中因子的估算提供很好的数据依据;然后采用影像霾特征分割方法对雾霾天条件下的遥感图像进行分割处理,采用分割得到的超像素,并结合颜色空间变换,完成气雾散射模型中气雾光亮度的估算;最后在气雾散射模型基础上,采用弱色层强规则完成模型中透射率因子的估算,恢复雾霾天遥感图像的清晰度。

气雾散射模型优化的单张遥感图像去霾方法,进一步的,改进弱色层强规则去霾方法:采用输入的有霾图像对应的弱色层图像求取气雾光亮度值,对输入图像每个像素位置处的灰度值除一个常量得到一个新的归一化图像,采用新图像的弱色层图像求取每个像素位置处的透射率,透射率图像大小与输入图像大小相等,但此时的透射率图像中会出现明显的块效应,本申请通过分析这种块效应对最后去霾结果的影响,认定该效应对遥感图像的去霾效果几乎无影响,在对遥感图像去霾处理过程中不考虑出现的块效应,在不影响去霾效果的前提下改进计算。

气雾散射模型优化的单张遥感图像去霾方法,进一步的,弱色层强规则去霾方法为:

步骤1:选取一定大小的窗口模板计算输入的有霾图像的弱色层图像,根据弱色层图像估算气雾光亮度值;

步骤2:估算得到强规则透射率;

步骤3:采用软抠图算法细化处理强规则透射率图像,消除块效应;

步骤4:采用估算得到的气雾光亮度和透射率,并将其与气雾散射模型相结合,最终完成遥感图像的去霾;

本申请从以下两点对上述方法做进一步改进:第一,基于本申请的论证,遥感图像的去霾过程可以忽略块效应,即省略步骤3中的内容,仅采用强规则的透射率图足以;第二,省去步骤1中的内容,取而代之的是采用影像霾特征分割方法求取气雾光亮度值,因此本申请全程只计算一次弱色层图像。

气雾散射模型优化的单张遥感图像去霾方法,进一步的,估算气雾光亮度:将输入的有霾图像进行颜色空间变换,采用式1和式2得到Y分量以及I分量:

方法B省略弱色层图像的获取步骤,直接采用转换得到的YUV图像以及HSI图像中的Y分量和I分量,分别对这两个分量单独进行处理,在Y分量中选取像素的亮度值在前0.09%的像素位置,在I分量中选取像素的亮度值在前0.09%的像素位置,最终分别将各个分量中选取得到的像素位置x坐标、y坐标记录下来,然后将记录下来的x坐标、y坐标位置分别在分割的遥感图像上标记处其所属的分割区域,最后计算各个标记的分割块中所有像素的平均值,将最大的平均值作为气雾光亮度值。

气雾散射模型优化的单张遥感图像去霾方法,进一步的,影像霾特征分割方法:首先将图像F分成D,E两部分,同时满足

采用近似的方法求解Napart值,对于一幅图F={U,B,K},U是图中所有顶点的集合;B是图中所有边的集合;K是图中边的权值集合,假设将F分成互不相交的D、E两部分,将U中顶点的状态向量记为x,即x=(x

其中,k

同时满足:

式中,K为F中边的权值矩阵,Q为M行一列且元素全为1的向量,对式5求最小值转化为对式7求特征值:

(A-K)y=λ

对式7求解得到特征值,选出第二小特征值的特征向量并对其进行离散化,得到分割结果图。

气雾散射模型优化的单张遥感图像去霾方法,进一步的,影像霾特征分割具体实现步骤为:

步骤一:采用若干特征,包括颜色特征、轮廓特征、纹理特征,将雾霾天条件下的遥感图像转化为无向带权图,计算每个边的权值,得到权值矩阵K和A;

步骤二:对式7求特征值和特征向量;

步骤三:选出步骤二中得到的第二最小特征值和特征向量,并采用特征向量对图像进行分割,得到两个子图;

步骤四:检查Napart值是否稳定或是最小,从而决定是否继续分割图像;

步骤五:如果需要继续分割,那么对得到的分割图像采用递归方法继续分割下去。

气雾散射模型优化的单张遥感图像去霾方法,进一步的,估算透射率:采用强规则透射率求取方法获得雾霾天条件下遥感图像的透射率,估算气雾光亮度值D,再结合雾霾天条件下的遥感图像,然后逐点计算规范化雾霾天遥感图像的弱色层图像,最后采用弱色层图像对气雾散射模型中的因子透射率进行估算;

首先假设气雾光亮度已知,同时假设透射率因子在滤波窗口中固定不变,并将一个小窗口中的透射率记为r*(x),对图像的R、G、B通道作最小值滤波,得到:

I

D

将式10带入式8得:

得到气雾光亮度和强规则透射率图像,天空的颜色与雾霾天条件下图像的气雾光亮度相近,即:

在天气晴朗的条件下对远方物体成像时,得到的图像中远方物体显示有弱雾效果,使人观察景物时有距离感,如果把图像中的雾霾全部去除掉,图像就会显得很不自然,因此,通过引入一个常量k,使图像中保留弱雾:

k为弱雾保留常量,0<k<1;

本申请进一步对气雾光亮度值的求取方法进行改进,透射率图像是规范化原雾霾天降质图像的弱色层图像,其中透射率图像像素亮度值与气雾光亮度值相关,从而导致改进后算法求得的透射率的精度有进一步提高。

气雾散射模型优化的单张遥感图像去霾方法,进一步的,恢复雾霾天遥感图像的清晰度:将估算得到的气雾光亮度值和透射率与气雾散射模型相结合,当透射率图像中像素位置x处的值接近于零时,I(x)r(x)近似等于零,J(x)代表霾天条件下图像像素x的亮度值,I代表目标物体的辐射亮度,即需要恢复得到的图像,D代表大气光亮度值,r是透射率,它是对在传播过程中已到达成像设备而未被散射掉的那部分光线所占比例的描述,在对气雾散射模型变换过程中,为保证各个因子及等式有意义,将透射率r(x)限制在一个小范围内,即在雾霾天降质图像中保留部分雾霾,采用式14对雾霾天条件下的遥感图像进行去霾处理:

r

气雾散射模型优化的单张遥感图像去霾方法,进一步的,单张遥感图像去霾方法实现:结合本申请气雾散射模型中各个因子的具体求解过程,具体实现过程为:

第1步:对雾霾天条件下的真彩色遥感图像做彩色空间变换处理,将RGB转为YUV,RGB转HSI;

第2步:基于超像素影像霾特征分割方法对雾霾天条件下的遥感图像做分割处理,并结合第1步完成气雾光亮度的估算;

第3步:采用强规则透射率求取方法估算雾霾天条件下的遥感图像的透射率;

第4步:基于雾霾天目标物体的成像过程做数学变换,恢复雾霾天遥感图像的清晰度,完成雾霾天条件下遥感图像的去霾处理;

第5步:将原有霾图像与恢复后的图像进行比较,并采用质量评价方法对原始图像及恢复图像进行质量评价。

与现有技术相比,本申请的创新点和优势在于:

第一,雾霾导致大气能见度降低,最终导致雾霾天获得的图像质量受损严重,使得图像的景物颜色失真、对比度降低、景物细节变模糊等等。雾霾天条件下获取遥感图像时,由于雾霾对电磁波有吸收、反射、散射和折射的作用,从而导致最终获取的遥感图像的质量降低,不利于遥感图像的解译和应用。本申请采用图像处理方法对雾霾天条件下获取的单幅遥感图像进行去雾去霾处理,一是提出基于气雾散射模型的去霾方法;二是基于真彩色遥感图像的处理,为避免处理过程中出现色彩偏移现象,采用颜色空间变换;三是基于雾霾天条件下遥感图像的特征,并将其融入气雾散射模型中,采用超像素影像霾特征分割方法对雾霾天条件下的遥感图像进行分割,从而更好、更精确的获得气雾光亮度值;四是在估算气雾光亮度值省略求取弱色层图像的这一步骤;五是省略对强规则透射率图像中块效应的处理过程;本申请能更好、更便捷的处理雾天条件下的单张遥感图像,实用性强、操作方便,去霾强度把握准确,去霾后图像中景物边缘更清晰、地物的纹理信息也更丰富,同时不存在严重的颜色失真现象,去霾效果整体上提高了一个档次;

第二,由于遥感图像有着其它图像所没有的特征,本申请在对雾霾天遥感图像进行去霾的过程中,重点做了两方面的改进:第一,省略求弱色层图像的步骤,而是采用超像素影像霾特征分割并对某个分割块求取平均值的方法对气雾光亮度值进行估算;第二,本申请解析强规则透射率图像中的块效应对雾霾天遥感图像去霾效果的影响,得出块效应对雾霾天遥感图像去霾效果影响不大,从而省去强规则透射率图像中块效应的处理步骤,从本申请实验结果以及对实验结果的质量评价中可以看出,经过改进后仍然能够对雾霾天遥感图像实现去霾,而且去霾效果也能令人满意,采用本申请气雾散射模型优化的单张遥感图像去霾方法,最终改善有霾单张遥感图像的质量,提高的单张遥感图像去霾的效率和精度,具有非常重要的理论意义和实际运用价值;

第三,本申请分别针对改进前与改进后去霾处理得到的结果进行了对比实验,从去霾效果来看,本申请方法在薄雾区域处理更好,采用的RGB转为YUV颜色空间的去霾效果以及RGB转为HSI的去霾效果都比改进前的去霾效果要好,不仅体现在薄雾区域去霾的强度方面,而且去霾后图像中一些地物的细节也更清晰。从信息熵这一评价指标来看,改进后的去霾图像比改进前包含更丰富的信息;从平均梯度这一质量评价指标而言,改进后得到的去霾图像中地物边缘信息更清晰;从基于可见边的对比度增强法的质量评价可以看出,改进后不仅能够使得去霾后图像中地物的可见边增加的更多,同样也提高了图像的对比度。综上,与改进前相比,改进后的去霾效果整体上要好一个档次,去霾后图像中景物边缘更清晰、地物的纹理信息也更丰富,同时不存在严重的颜色失真现象,本申请针对单张遥感图像去霾相比于现有技术具有很大优势。

附图说明

图1是气雾散射模型优化的单张遥感图像去霾方法的流程图。

图2是本申请单张遥感图像RGB转YUV去霾算法流程图。

图3是本申请单张遥感图像RGB转HIS去霾算法流程图。

图4是块效应在弱色层图像以及透射率图像中的表现示意图。

图5是本申请的影像霾特征分割结果示意图。

图6是本申请去霾方法与其它方法去霾效果对比实例图一。

图7是本申请去霾方法与其它方法去霾效果对比实例图二。

具体实施方法

下面结合附图,对本申请提供的气雾散射模型优化的单张遥感图像去霾方法的技术方案进行进一步的描述,使本领域的技术人员能够更好的理解本申请并能够予以实施。

由于雾霾的存在,大气能见度降低,最终导致雾霾天获得的图像质量受损严重,从而使得图像的景物颜色失真、对比度降低、景物细节变模糊等等。雾霾天条件下获取遥感图像时,由于雾霾对电磁波有吸收、反射、散射和折射的作用,从而导致最终获取的遥感图像的质量降低,不利于遥感图像的解译和应用。采用图像处理技术对图像中的雾霾进行处理,最终改善遥感图像的质量,具有非常重要的理论意义和实际运用价值。

本申请采用图像处理方法对雾霾天条件下获取的单幅遥感图像进行去雾去霾处理:一是提出基于气雾散射模型的去霾方法;二是基于真彩色遥感图像的处理,为避免处理过程中出现色彩偏移现象,采用颜色空间变换,将RGB转为YUV和HIS颜色空间;三是基于雾霾天条件下遥感图像的特征,并将其融入气雾散射模型中,采用超像素影像霾特征分割方法对雾霾天条件下的遥感图像进行分割,从而更好、更精确的获得气雾散射模型中的一个未知变量即气雾光亮度值;四是在估算气雾光亮度值省略求取弱色层图像的这一步骤;五是省略对强规则透射率图像中块效应的处理过程,最终完成遥感图像的去雾去霾处理,并对去霾后的图像效果进行评价,本申请的方法为了更好、更便捷的处理雾天条件下的单张遥感图像,实用性强、操作方便,去霾强度把握准确,去霾效果整体上提高了一个档次,去霾后图像中景物边缘更清晰、地物的纹理信息也更丰富,同时不存在严重的颜色失真现象。

本申请基于气雾散射模型的单幅遥感图像去霾,包括:改进弱色层强规则去霾方法、估算气雾光亮度、估算透射率、恢复雾霾天遥感图像的清晰度,首先采用YUV和HIS颜色空间模型中亮度分量Y、I中的信息,选取图像中较亮的像素位置,为后续气雾散射模型中因子的估算提供很好的数据依据;然后采用影像霾特征分割方法对雾霾天条件下的遥感图像进行分割处理,采用分割得到的超像素,并结合颜色空间变换,完成气雾散射模型中气雾光亮度的估算;最后在气雾散射模型基础上,采用弱色层强规则完成模型中透射率因子的估算,恢复雾霾天遥感图像的清晰度。通过对恢复的图像进行主客观地质量评价,从而更进一步的说明本申请去霾算法的优势。本申请算法的主要实施步骤如图1所示。

一、基于气雾散射模型的单幅遥感图像去霾

本申请采用雾霾天条件下的真彩色遥感图像作为输入图像,得到弱色层图像,然后采用弱色层图像的特征,求取气雾散射模型中气雾光亮度因子,本申请则提出一种新的方法来求取气雾光亮度,基于遥感图像是通过传感器由从上至下的方式对目标物体成像得到,因此遥感图像中都不包含有天空区域,本申请首先将真彩色遥感图像的RGB转换到YUV和HSI颜色空间,采用YUV和HIS色彩空间中的Y分量、I分量信息,同时对真彩色遥感图像做分割处理,然后将某个分割块中所有像素平均值作为对气雾光亮度的估算,同时求取透射率,接着对气雾散射模型做适当的数学变换,得到最终的去霾遥感图像。图2为本申请单张遥感图像去霾算法(RGB转YUV)流程图,图3为本申请去霾算法(RGB转HIS)流程图。

(一)改进弱色层强规则去霾方法

根据气雾散射模型,要得到去霾后的图像,只有输入的有霾图像已知,还需求取气雾散射模型中的另外两个因子,即气雾光亮度和透射率。采用输入的有霾图像对应的弱色层图像求取气雾光亮度值,对输入图像每个像素位置处的灰度值除一个常量得到一个新的归一化图像,采用新图像的弱色层图像求取每个像素位置处的透射率,透射率图像大小与输入图像大小相等,但此时的透射率图像中会出现明显的块效应,不能准确显示出图像中地物的边缘信息,本申请通过分析这种块效应对最后去霾结果的影响,认定该效应对遥感图像的去霾效果几乎无影响,在对遥感图像去霾处理过程中不考虑出现的块效应,在不影响去霾效果的前提下改进计算。

求得的透射率图中出现的块效应是由于弱色层图像的缘故,弱色层是对图像中所有像素位置的像素值做两次最小值滤波处理,一次是R、G、B三个通道上,一次是在滤波窗口内。假设图像中d点处有较小的像素值,用一个窗口模板计算其弱色层值,而该窗口内所有像素的弱色层值都会受到窗口的中心像素d的影响,所以该影响显示在弱色层图像上就是弱色区域有向外扩张的趋势,最终把周围物体的边缘覆盖掉,对输入图像做规范化处理并求其弱色层图像,最后对弱色层图像取反即可得到输入图像对应的透射率图像,因此块效应显示透射率图上就是强色区域有向外扩张的趋势,最终把周围物体的边缘覆盖掉。

理论上图像中不透明物体覆盖区域的所有像素的透射率应该都相等,所以去霾最理想情况就是采用弱色层强规则获取的透射率图中物体的边缘位置与原图像完全相同,将估算得到的气雾光亮度和透射率与气雾散射模型相结合,最终完成雾霾天遥感图像的去霾处理。从对弱色层图像以及透射率图像的分析可知,在这两幅图像中,具有较小弱色层值的区域都有向外扩张的趋势,即块效应使得透射率图像中物体的边缘位置与原始图像中该物体的边缘位置不相同。在图4中,矩形方框标记的树木、屋顶以及未标记的树木等覆盖的区域,其在弱色层图像以及透射率图像中所占区域的范围变大了,而天空区域则相对变小了。弱色层图像中,天空区域的边界由于受到阴影扩张的影响,其原来的边界位于弱色层图像中的阴影中,在透射率图像中则位于与其相邻的较亮区域。理论上受阴影扩张影响被吞噬区域的透射率应该等于未被吞噬区域的透射率,但由于块效应,被吞噬掉的区域透射率反而变大了。综上所述,块效应使得图像边界处有较大弱色层值的一侧边缘变亮,而变亮程度与边界两侧景物的弱色层值间的差异相关。

根据遥感图像的特征,一幅遥感图像范围内的对比度整体较低,而且有一定的色彩基调,如森林为绿色,城市为灰白色。一幅遥感图像的弱色层图像中像素值的差异不是特别大,而且若不在浓雾天气条件下,遥感图像中绝大多数的像素弱色层值都比较小。因此在弱色层发生变化的区域弱色层值大的一侧边缘轻微变亮现象不明显,即块效应对遥感图像去霾效果的影响不是很大,所以在遥感图像去霾处理中可以忽略块效应,忽略软抠图步骤,从而大幅的简化去霾的过程。

弱色层强规则去霾方法为:

步骤1:选取一定大小的窗口模板计算输入的有霾图像的弱色层图像,根据弱色层图像估算气雾光亮度值;

步骤2:估算得到强规则透射率;

步骤3:采用软抠图算法细化处理强规则透射率图像,消除块效应;

步骤4:采用估算得到的气雾光亮度和透射率,并将其与气雾散射模型相结合,最终完成遥感图像的去霾。

本申请从以下两点对上述方法做进一步改进:第一,基于本申请的论证,遥感图像的去霾过程可以忽略块效应,即省略步骤3中的内容,仅采用强规则的透射率图足以;第二,省去步骤1中的内容,取而代之的是采用影像霾特征分割方法求取气雾光亮度值,因此本申请全程只计算一次弱色层图像,具体算法过程将在以下内容中介绍。

(二)估算气雾光亮度

本申请考虑进行颜色空间的转换,是为了更准确的获取气雾散射模型中的气雾光亮度因子,在包含天空区域的自然图像中,气雾光亮度值与天空颜色值接近,同时气雾光亮度值的大小与原有图像的亮度分量关系最大,RGB模型像素位置处的亮度与R、G及B分量都相关系,而在YUV、HSI模型中像素的亮度仅与代表亮度的Y、I分量相关,与其它两个分量没相关系,而且亮度、色度分量之间彼此独立,同时人眼对亮度信息的强弱敏感度远强于对色度信息的强弱敏感度,因此本申请中将输入的有霾图像进行颜色空间变换,采用式1和式2得到Y分量以及I分量:

方法A是在求气雾光亮度时采用弱色层图像,首先根据弱色层强规则,对输入的有霾图像进行两次最小值滤波处理,找出滤波图像中像素亮度值在前0.09%的像素位置,同时在输入的有霾图像中找到这些像素位置处,并得到这些位置处像素的灰度值,最终将最大值记为气雾光亮度值。

方法B省略弱色层图像的获取步骤,直接采用转换得到的YUV图像以及HSI图像中的Y分量和I分量,分别对这两个分量单独进行处理,在Y分量中选取像素的亮度值在前0.09%的像素位置,在I分量中选取像素的亮度值在前0.09%的像素位置,最终分别将各个分量中选取得到的像素位置x坐标、y坐标记录下来,然后将记录下来的x坐标、y坐标位置分别在分割的遥感图像上标记处其所属的分割区域,最后计算各个标记的分割块中所有像素的平均值,将最大的平均值作为气雾光亮度值。

方法B与方法A相比,采用图像分割并取分割块的平均值作为气雾光亮度值,这样做不仅可以避免方法A在求取气雾光亮度过程中的不足,而且也避免了两次最小值滤波的计算。

(1)影像霾特征分割方法

首先将图像F分成D,E两部分,同时满足

在保证最小类间相似度的同时保证类内相似度最大,但计算复杂度高,不能精确求得最优分割结果,因此采用近似的方法求解Napart值,对于一幅图F={U,B,K},U是图中所有顶点的集合;B是图中所有边的集合;K是图中边的权值集合,假设将F分成互不相交的D、E两部分,将U中顶点的状态向量记为x,即x=(x

其中,k

同时满足:

式中,K为F中边的权值矩阵,Q为M行一列且元素全为1的向量。对式5求最小值转化为对式7求特征值:

(A-K)y=λ

对式7求解得到特征值,选出第二小特征值的特征向量并对其进行离散化,得到分割结果图;

图5展示了影像霾特征分割结果,影像霾特征分割具体实现步骤为:

步骤一:采用若干特征,包括颜色特征、轮廓特征、纹理特征,将雾霾天条件下的遥感图像转化为无向带权图,计算每个边的权值,得到权值矩阵K和A;

步骤二:对式7求特征值和特征向量;

步骤三:选出步骤二中得到的第二最小特征值和特征向量,并采用特征向量对图像进行分割,得到两个子图;

步骤四:检查Napart值是否稳定或是最小,从而决定是否继续分割图像;

步骤五:如果需要继续分割,那么对得到的分割图像采用递归方法继续分割下去。

(三)估算透射率

估算得到气雾光亮度值A后,仍需要估算雾霾天条件下遥感图像透射率,这样才可获得去霾图像。本申请采用强规则透射率求取方法获得雾霾天条件下遥感图像的透射率,估算气雾光亮度值D,再结合雾霾天条件下的遥感图像,然后逐点计算规范化雾霾天遥感图像的弱色层图像,最后采用弱色层图像对气雾散射模型中的因子透射率进行估算。

首先假设气雾光亮度已知,同时假设透射率因子在滤波窗口中固定不变,并将一个小窗口中的透射率记为r

I

D

将式10带入式8得:

得到气雾光亮度和强规则透射率图像,天空的颜色与雾霾天条件下图像的气雾光亮度相近,即:

在天气晴朗的条件下对远方物体成像时,得到的图像中远方物体显示有弱雾效果,使人观察景物时有距离感,如果把图像中的雾霾全部去除掉,图像就会显得很不自然,因此,通过引入一个常量k,使图像中保留弱雾:

k为弱雾保留常量,0<k<1。

本申请进一步对气雾光亮度值的求取方法进行了改进,透射率图像是规范化原雾霾天降质图像的弱色层图像,其中透射率图像像素亮度值与气雾光亮度值相关,从而导致改进后算法求得的透射率的精度有进一步提高。与改进前算法求取的透射率图像相比,改进后算法求取的透射率图像偏暗一些,即改进后算法求取的气雾光亮度值要比改进前求取的气雾光亮度值要小,经过后续的实验结果以及质量评价得知,在不含天空区域的遥感图像中,改进前采用的去霾算法具有更好的可行性和效果,能够实现雾霾天遥感图像高效去霾处理。

(四)恢复雾霾天遥感图像的清晰度

将估算得到的气雾光亮度值和透射率与气雾散射模型相结合,当透射率图像中像素位置x处的值接近于零时,I(x)r(x)近似等于零,J(x)代表霾天条件下图像像素x的亮度值,I代表目标物体的辐射亮度,即需要恢复得到的图像,D代表大气光亮度值,r是透射率,它是对在传播过程中已到达成像设备而未被散射掉的那部分光线所占比例的描述,在对气雾散射模型变换过程中,为保证各个因子及等式有意义,将透射率r(x)限制在一个小范围内,即在雾霾天降质图像中保留部分雾霾,采用式14对雾霾天条件下的遥感图像进行去霾处理:

r

二、单张遥感图像去霾方法实现

在MATLAB以及VS实验平台上进行了多次实验,实验结果证明了本申请气雾散射模型优化的单张遥感图像去霾方法的可行和高效的,结合本申请气雾散射模型中各个因子的具体求解过程,具体实现过程为:

第1步:对雾霾天条件下的真彩色遥感图像做彩色空间变换处理,将RGB转为YUV,RGB转HSI;

第2步:基于超像素影像霾特征分割方法对雾霾天条件下的遥感图像做分割处理,并结合第1步完成气雾光亮度的估算;

第3步:采用强规则透射率求取方法估算雾霾天条件下的遥感图像的透射率;

第4步:基于雾霾天目标物体的成像过程做数学变换,恢复雾霾天遥感图像的清晰度,完成雾霾天条件下遥感图像的去霾处理;

第5步:将原有霾图像与恢复后的图像进行比较,并采用质量评价方法对原始图像及恢复图像进行质量评价。

三、实验结果及质量评价

图6和图7分别为改进前与改进后对雾霾天条件下遥感图像去霾处理得到的结果,从去霾效果来看,本申请方法在薄雾区域处理更好,就图6和图7而言,本申请采用的RGB转为YUV颜色空间的去霾效果以及RGB转为HSI的去霾效果都比改进前的去霾效果要好,不仅体现在薄雾区域去霾的强度方面,而且去霾后图像中一些地物的细节也更清晰。

从实验结果的质量评价指标中亦可看出改进后的方法效果要好。从信息熵这一评价指标来看,改进后的去霾图像比改进前包含更丰富的信息;从平均梯度这一质量评价指标而言,相比改进前,改进后得到的去霾图像中地物边缘信息更清晰;从基于可见边的对比度增强法的质量评价可以看出,改进后不仅能够使得去霾后图像中地物的可见边增加的更多,同样也提高了图像的对比度。综上所述,与改进前相比,改进后的去霾效果整体上要好一个档次,去霾后图像中景物边缘更清晰、地物的纹理信息也更丰富,同时本申请方法得到的去霾图像不存在严重的颜色失真现象。

四、发明点总结

雾霾天条件下的遥感图像去霾方法分为两类:基于物理模型的图像复原方法和基于图像处理的增强方法。前者通过对雾霾天图像退化的根本原因进行分析,对物理模型进行逆运算来恢复景物真实的辐射亮度,达到去霾的目的。该类方法采用图像处理知识对雾霾天遥感图像进行恢复,方法真实可靠,而且也具有较好的去霾效果。后者纯粹仅从图像处理角度出发,通过增强雾霾天图像中景物的对比度,完成去霾操作,该类方法采用图像处理,只把图像中感兴趣区域凸显出来,削弱或去除图像中冗余的信息,从而使得得到的去霾效果更符合人类视觉系统的需要,与此同时,该类方法并没有考虑图像退化的根本原因,因此第一种去霾方法更合理、更科学。本申请从基于物理模型的图像复原角度出发,采用基于气雾散射模型对雾霾天遥感图像进行去霾处理。

本申请处理时要求输入雾霾天单幅真彩色遥感图像,首先将雾霾天条件下的彩色遥感图像在RGB空间进行分解,通过不同颜色转换公式,将雾霾天遥感图像的RGB分量分别转换到YUV和HIS颜色空间,在RGB模型中像素亮度值与三个通道亮度值都有关联,而在YUV和HIS的模型中,将图像像素亮度值分解到一个通道中,即YUV中的Y和HIS中的I分量,从而更准确的获取图像中较亮的像素位置,为后续估算气雾光亮度值提供数据依据,气雾光亮度值就是雾霾天条件下像素的亮度值,对雾霾天遥感图像进行颜色空间变换,同时采用超像素影像霾特征分割方法分割处理雾霾天遥感图像,利用YUV和HIS颜色模型中分别得到的较亮像素位置,找到这些像素所属的分割块,分别求取这些分割块中所有像素的均值,将最大值作为是对气雾光亮度D的估算。本申请采用颜色空间变换以及图像分割对气雾光亮度值进行估算的方法,能够更准确的估算气雾光亮度值。

弱色层强规则是通过对无雾霾天气下的大量图像实验并统计得出的规律,将该强规则用于雾霾天遥感图像去霾过程中时,能够快速有效的实现遥感图像的去霾处理。该方法采用的模型简单,而且计算复杂度小,但对雾霾天遥感图像中景物的真实辐射亮度恢复效果不如基于物理模型的方法,而相对于基于图像处理的增强方法,其采用的模型有一定的基础,即弱色层强规则,使得最终对雾霾天遥感影像中景物的真实辐射亮度恢复效果强于基于图像处理的增强方法。同时弱色层强规则有一定的局限性,即在雾霾天条件下降质图像中景物的真实亮度值与气雾光亮度值相近时,去霾效果不是特别理想,而且对薄雾霾天气下的图像区域处理较好。因此本申请采用基于气雾散射模型的去霾处理方法,在去霾过程中采用弱色层强规则对透射率进行估算,从而能够得到更好的去霾效果。

根据雾霾天条件下遥感图像自身的特征,本申请对基于弱色层强规则的去霾方法做进一步改进:在估算气雾光亮度值省略求取弱色层图像的这一步骤;再者就是省略对强规则透射率图像中块效应的处理过程。通过实验证明,对这两个步骤的省略是合理的,最终得到的去霾效果也能够令人满意。

相关技术
  • 气雾散射模型优化的单张遥感图像去霾方法
  • 单张遥感图像的波段自适应除雾优化处理方法
技术分类

06120113806623