一种全天候全照度视频图像质量提升方法及存储介质

技术领域

本发明主要涉及到图像处理技术领域，特指一种全天候全照度视频图像质量提升方法及存储介质。

背景技术

随着人工智能技术引起的全方位变革，真实场景下的感知需求日益迫切，图像作为感知世界的重要媒介，其质量往往决定了算法性能。然而，在图像采集过程中难以避免地会遇到恶劣照度或者恶劣天气的特殊场景。

以对列车进行智能化检测为例，在阳光难以均匀照射到的列车底部进行零部件异常检测，或者在雨天、雾天对列车轨道前方进行障碍物检测等等，因上述恶劣光照或者恶劣天气等原因，这些场景下采集的图像质量较差，这就需要进行图像质量提升处理，之后才能应用于后续的图像识别等处理流程，才能进一步保证智能化检测精度。

然而，对恶劣光照或者恶劣天气条件下采集的图像，当前传统的增强方法，往往限定于只增强一种恶劣照度或者一种恶劣天气条件下的图像，其无法自适应地同时对恶劣照度和多种恶劣天气下的图像进行增强处理。这是图像增强领域一个亟待解决的关键性问题。

通过总结，所有的传统图像增强技术仍然存在以下不足：

1、无法自适应地同时处理不同照度、不同天气的图像数据；

2、恶劣照度条件下采集的图像存在纹理不清晰，对比度低，质量较差等问题；

3、恶劣天气条件下采集的图像存在纹理模糊、有雨雾遮挡等的问题。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种原理简单、适用范围广、能够大幅提升图像质量的全天候全照度视频图像质量提升方法及存储介质。

为解决上述技术问题，本发明采用以下技术方案：

一种全天候全照度视频图像质量提升方法，其包括：

步骤S1：对输入图像进行照度分类；对不同照度图像进行分类；

步骤S2：低照度增强；对照度分类后的获取的低照度图像进行低照度增强；

步骤S3：对照度分类后的获取的正常照度图像进行天气分类并进行处理；

步骤S4：将步骤S2中低照度增强后的图像、步骤S3中根据天气分类处理后的图像传递到输出端，以供其它图像处理流程使用。

作为本发明方法的进一步改进：所述步骤S1中采用基于主聚类推定的照度分类器对不同照度图像进行分类。

作为本发明方法的进一步改进：所述基于主聚类推定的照度分类器的分类流程包括：

步骤S101：获取RGB格式图像并将其转换到HSV空间，提取照度分量V(x,y)；

步骤S102：对图像V(x,y)进行多尺度高斯滤波；

步骤S103：设置初始值：

mn＝mean(Y(x,y))

sn＝std(Y(x,y))

sw＝0.9×sn

其中，mean表示求矩阵均值，std表示求均值均方差；

步骤S104：定义迭代次数k，按照下述公式进行迭代：

mw＝mn

sw＝min(0.9×sn,sw)

f(x,y)＝normpdf(Y(x,y),mw,sw)

sumf＝sum(f(x,y))

f(x,y)＝f/sumf

mx＝(f(x,y)·×Y(x,y))

mn＝mx

其中，函数normpdf(F,a,b)返回均值为a，均方差为b的高斯分布概率密度函数在矩阵F中的值处计算得函数值，min(a,b)返回a和b中的最小值，sum表示求矩阵总和，·×表示矩阵点乘运算；

步骤S105：当mn-mx的绝对值不大于0.001或者达到迭代次数上限k时，停止迭代，至此得到了照度分量V(x,y)的主要像素照度估计值mn；

步骤S106：设置阈值T，若mn

作为本发明方法的进一步改进：所述步骤S102中，对照度分量V(x,y)进行多尺度高斯滤波，公式如下：

Y(x,y)＝w

上述公式中，V(x,y)为采集的RGB图像转换到HSV空间获取的照度V分量，是待预处理照度分量，G

作为本发明方法的进一步改进：所述步骤S2中采用全局局部信息相结合的彩色增强方法，对低照度图像进行应图像增强。

作为本发明方法的进一步改进：所述全局局部信息相结合的彩色增强方法的流程包括：

步骤S201：获取RGB图像并转化为灰度图；

获取RGB空间待增强图像并转化为灰度图图像，设R(x,y)，G(x,y)，B(x,y)为输入RGB图像三通道值，灰度图像Y(x,y)由如下公式计算得到：

T(x,y)＝0.299×R(x,y)+0.587×G(x,y)+0.114×B(x,y)

Y(x,y)＝T(x,y)/255；

步骤S202：图像全局自适应照度增强：采用如下函数对图像照度进行整体增强：

其中Y′为增强后的照度图像数据，参数z与照度图像Y(x,y)的直方图相关；L为T(x,y)的累积分布函数等于0.1时对应的照度值；

步骤S203：局部对比度增强:对Y(x,y)进行多尺度高斯滤波，公式如下所述：

I(x,y)＝w

其中，w

对全局照度图像增强后的图像Y′(x,y)按下式得到局部对比度增强后的照度图像：

S(x,y)＝Y′(x,y)

其中，E(x,y)定义如下：

上式中σ为照度图像T(x,y)的标准差，eps为一极小值防止除数为0；

步骤S204：彩色图像恢复。

作为本发明方法的进一步改进：所述步骤S204中，由下式将S(x,y)恢复成彩色图像：

其中，R

其中eps为一极小值防止除数为0，可取eps＝0.0000001，Y(x,y)为对照度分量V(x,y)进行多次高斯滤波预处理后获取的照度图像数据，a为增益因子上限。

作为本发明方法的进一步改进：所述步骤S3中采用基于Res-NeXt网络模型的天气分类法来完成正常照度图像的天气分类任务。

作为本发明方法的进一步改进：所述基于Res-NeXt网络模型的天气分类法的流程包括：

步骤S301：构造包含正常天气、雾天、雨天的天气图像数据集；其中正常天气图像包含较为清晰的晴天图像与阴天图像；

步骤S302：搭建ResNeXt网络模型并在构建好的天气图像数据集中进行训练测试；

步骤S303：将待检测图片放入训练好的模型中，预测该图片的天气类别。

作为本发明方法的进一步改进：所述步骤S3中，在对天气分类后对不同分类的图像进行分别处理，其包括：

(1)对获得的雾天类图像进行去雾处理：采用一种基于PRe-Net网络模型的特征融合注意网络的去雾算法来直接恢复无雾图像；

(2)对获得的雨天类图像进行去雨处理：采用一种基于PRe-Net网络模型的图像去雨算法来完成雨天图像的去雨功能。

作为本发明方法的进一步改进：所述基于PRe-Net网络模型的特征融合注意网络的去雾算法的流程包括：

构建包含有雾图像及对应的无雾图像的雾天数据集；

搭建FFA-Net网络模型并在构建好的雾天图像数据集中进行训练测试；

将待去雾图片放入训练好的模型中，对该图片进行图像去雾。

作为本发明方法的进一步改进：所述基于PRe-Net网络模型的图像去雨算法的流程包括：

构建包含有雨图像及对应的无雨图像的雨天数据集；

搭建PRe-Net网络模型并在构建好的雨天图像数据集中进行训练测试；将待去雨图片放入训练好的模型中，对该图片进行图像去雨。

本发明进一步提供一种存储介质，所述存储介质能够被计算机或处理器读取，所述存储介质中存储有用来执行上述任意一种方法的计算机程序。

与现有技术相比，本发明的优点就在于：

1、本发明的全天候全照度视频图像质量提升方法及存储介质，原理简单、适用范围广、能够大幅提升图像质量，本发明能够自适应地同时对恶劣照度和多种恶劣天气下的图像进行增强处理。针对恶劣照度条件下采集的图像存在纹理不清晰，对比度低，质量较差等问题，本发明首先采用基于主聚类推定的照度分类器对不同照度图像进行分类，随后对其中的低照度图像进行自适应图像增强；并对其中正常照度图像进行去雨去雾等图像增强处理。本发明可以自适应地处理不同照度图像数据，削弱恶劣照度对图像的降质影响，并提高各模型精度与泛化能力。

2、本发明的全天候全照度视频图像质量提升方法及存储介质，针对恶劣天气条件下采集的图像存在纹理模糊、有雨雾遮挡等的问题，本发明首先采用Res-NeXt模型对不同天气图像进行分类，随后对其中雨天图像类采用Pre-Net模型进行去雨处理，对雾天图像类采用FFA-Net模型进行去雾处理，而正常天气的清晰图像类不做增强处理，直接输出到其它图像处理流程中。本发明可以自适应地处理多种不同天气情况下的图像数据，减少了恶劣天气因素对图像数据的降质影响，并提高各模型精度与泛化能力。

3、本发明的全天候全照度视频图像质量提升方法及存储介质，可以实现对恶劣照度、恶劣天气条件下采集的图像进行自适应的质量提升，消除照度、天气对视频图像的降质影响，保证视频图像的视觉效果、数据质量和应用价值，使目标检测、跟踪和识别系统等后续处理流程能够更稳定地工作。

附图说明

图1是本发明方法的流程示意图。

图2是本发明在具体应用实例中的司机室图像低照度增强前后对比示意图。

图3是本发明在具体应用实例中隧道内受电弓的RGB原图及对应彩色增强后的图像示意图。

图4是本发明在具体应用实例中图像去雾前后对比示意图。

图5是本发明在具体应用实例中图像去雨前后对比示意图。

具体实施方式

以下将结合说明书附图和具体实施例对本发明做进一步详细说明。

为了更好地理解本发明具体实施例中的内容，本发明先对本领域的专业术语做以下解释：

图像增强:改善图像的视觉效果，将原来不清晰的图像变得清晰，强调某些感兴趣的特征，抑制不感兴趣的特征，从而加强图像识别判别效果。

图像HSV空间：图像颜色模型，包含图像色调(H),饱和度(S)和明度(V)。

RGB图像：彩色图像的一种表示方法，通过红(R)，绿(G)，蓝(B)三个通道值的变化及它们相互之间的叠加来表示各式各样的颜色的。

伪彩色：图像的一种失真现象，部分区域显现出不该出现的颜色，与真实颜色相差甚远。

图像对比度：明暗区域最亮的白与最暗的黑之间不同亮度层级之间的测量，即指一幅图像灰度反差的大小。

如图1所示，本发明的全天候全照度视频图像质量提升方法，能够适用于很多利用图像进行智能化检测的应用领域领域，例如车辆检测领域、环境检测领域、安防领域等等；本发明的流程包括：

步骤S1：对输入图像进行照度分类；对不同照度图像进行分类；

步骤S2：低照度增强；对照度分类后的获取的低照度图像进行低照度增强；

步骤S3：对照度分类后的获取的正常照度图像进行天气分类并进行处理；

步骤S4：将步骤S2中低照度增强后的图像、步骤S3中根据天气分类处理后的图像传递到输出端，以供其它图像处理流程使用。

在具体应用实例中，可以但不限于采用基于主聚类推定的照度分类器对不同照度图像进行分类。

作为较佳实施例，本实例中所采用的基于主聚类推定的照度分类器，其工作流程包括：

步骤S101：获取RGB格式图像并将其转换到HSV空间，提取照度分量V(x,y)。RGB格式图像参见图2的(a)。

步骤S102：对图像V(x,y)进行多尺度高斯滤波：

对照度分量V(x,y)进行多尺度高斯滤波，公式如下：

Y(x,y)＝w

上述公式中，V(x,y)为采集的RGB图像转换到HSV空间获取的照度V分量，是待预处理照度分量，G

在本实施例中，经过试验，在n＝3，三个高斯尺度模板大小分别为5×5、20×20与120×120，w

步骤S103：设置初始值：

mn＝mean(Y(x,y))

sn＝std(Y(x,y))

sw＝0.9×sn

其中，mean表示求矩阵均值，std表示求均值均方差。

步骤S104：定义迭代次数k＝100，按照下述公式进行迭代：

mw＝mn

sw＝min(0.9×sn,sw)

f(x,y)＝normpdf(Y(x,y),mw,sw)

sumf＝sum(f(x,y))

f(x,y)＝f/sumf

mx＝(f(x,y)·×Y(x,y))

mn＝mx

其中，函数normpdf(F,a,b)返回均值为a，均方差为b的高斯分布概率密度函数在矩阵F中的值处计算得函数值，min(a,b)返回a和b中的最小值，sum表示求矩阵总和，·×表示矩阵点乘运算。

步骤S105：当mn-mx的绝对值不大于0.001或者达到迭代次数上限k时，停止迭代，至此得到了照度分量V(x,y)的主要像素照度估计值mn。

步骤S106：设置阈值T＝60，若mn

在具体应用实例中，可以但不限于采用一种全局局部信息相结合的彩色增强方法，对低照度图像进行应图像增强。

作为较佳实施例，本实例中所采用的全局局部信息相结合的彩色增强方法，其工作流程包括：

步骤S201：获取RGB图像并转化为灰度图：如图2(a)所示，将其转化为灰度图；

获取RGB空间待增强图像并转化为灰度图图像，设R(x,y)，G(x,y)，B(x,y)为输入RGB图像三通道值，灰度图像Y(x,y)可由如下公式计算得到：

T(x,y)＝0.299×R(x,y)+0.587×G(x,y)+0.114×B(x,y)

Y(x,y)＝T(x,y)/255；

步骤S202：图像全局自适应照度增强：

为了提升图像暗区的照度值，采用如下函数对图像照度进行整体增强：

其中Y′为增强后的照度图像数据，参数z与照度图像Y(x,y)的直方图相关。L为T(x,y)的累积分布函数等于0.1时对应的照度值。

步骤S203：局部对比度增强:

在获得全局照度增强后的图像Y′(x,y)后，需要对图像Y′(x,y)进行局部对比度进行增强，首先对Y(x,y)进行多尺度高斯滤波，公式如下所述：

I(x,y)＝w

其中，w

对全局照度图像增强后的图像Y′(x,y)按如下公式运算即可得到局部对比度增强后的照度图像。

S(x,y)＝Y′(x,y)

其中，E(x,y)定义如下：

上式中σ为照度图像T(x,y)的标准差，eps为一极小值防止除数为0，可取eps＝0.0000001。

步骤S204：彩色图像恢复:

经过全局自适应照度增强和局部对比度增强后得到了照度图像S(x,y)，但S(x,y)是二维的灰度图像，需要恢复成三维的彩色图像。可以由如下公式将S(x,y)恢复成彩色图像：

其中，R

其中eps为一极小值防止除数为0，可取eps＝0.0000001，Y(x,y)为对照度分量V(x,y)进行多次高斯滤波预处理后获取的照度图像数据，a为增益因子上限。根据图像的照度级别可以设置不同的值，夜间图像一般取a＝4。

在本实施例中，a＝4可取得最佳的图像恢复效果。需要说明的是，a的取值仅是本实施例中的最佳实验值，针对其它场景图像可调节参数值以获得最佳效果。最终增强后的图像如图2(b)所示。

如图3所示，是在另一个具体应用实例中通过RGB原图及彩色增强后的图像——隧道内的受电弓。其中图3(a)为原图，图3(b)为彩色增强后的图像。

在具体应用实例中，可以但不限于采用一种基于Res-NeXt网络模型的天气分类算法来完成正常照度图像的天气分类任务。

作为较佳实施例，本实例中所采用的基于ResNeXt网络模型的天气分类算法，将ResNeXt网络模型运用于天气分类，其流程包括：

步骤S301：构造包含正常天气、雾天、雨天的天气图像数据集。其中正常天气图像包含较为清晰的晴天图像与阴天图像；

步骤S302：搭建ResNeXt网络模型并在构建好的天气图像数据集中进行训练测试；

步骤S303：将待检测图片放入训练好的模型中，预测该图片的天气类别。

在具体应用实例中，所述步骤S3中，在对天气分类后对不同分类的图像进行分别处理，其包括：

(1)对获得的雾天类图像进行去雾处理：采用一种基于端对端的特征融合注意网络(feature fusion attention network,FFA-Net)的去雾算法来直接恢复无雾图像；

(2)对获得的雨天类图像进行去雨处理：采用一种基于PRe-Net网络模型的图像去雨算法来完成雨天图像的去雨功能；

在上述处理过程中，作为优选实施例，采用基于FFA-Net的去雾算法，将FFA-Net网络模型运用于图像去雾，其流程包括：

构建包含有雾图像及对应的无雾图像的雾天数据集；

搭建FFA-Net网络模型并在构建好的雾天图像数据集中进行训练测试；

将待去雾图片放入训练好的模型中，对该图片进行图像去雾。

在上述处理过程中，作为优选实施例，采用基于PRe-Net的去雨算法，将PRe-Net网络模型运用于图像去雨，其流程包括：

构建包含有雨图像及对应的无雨图像的雨天数据集；

搭建PRe-Net网络模型并在构建好的雨天图像数据集中进行训练测试；

将待去雨图片放入训练好的模型中，对该图片进行图像去雨。

如图4所示，是在另一个具体应用实例中通过图像去雾处理的前后对比示意图。其中图4(a)为原图，图4(b)为去雾处理后的图像。

如图5所示，是在另一个具体应用实例中通过图像去雾处理的前后对比示意图。其中图5(a)为原图，图5(b)为去雨处理后的图像。

综上所述，本发明的上述方法能够自适应地同时对恶劣照度和多种恶劣天气下的图像进行增强处理。针对恶劣照度条件下采集的图像存在纹理不清晰，对比度低，质量较差等问题，本发明首先采用基于主聚类推定的照度分类器对不同照度图像进行分类，随后对其中的低照度图像进行自适应图像增强；并对其中正常照度图像进行去雨去雾等图像增强处理。本发明可以自适应地处理不同照度图像数据，削弱恶劣照度对图像的降质影响，并提高各模型精度与泛化能力。

进一步，本发明针对恶劣天气条件下采集的图像存在纹理模糊、有雨雾遮挡等的问题，本发明首先采用Res-Next模型对不同天气图像进行分类，随后对其中雨天图像类采用Pre-Net模型进行去雨处理，对雾天图像类采用FFA-Net模型进行去雾处理，而正常天气的清晰图像类不做增强处理，直接输出到其它图像处理流程中。本发明可以自适应地处理多种不同天气情况下的图像数据，减少了恶劣天气因素对图像数据的降质影响，并提高各模型精度与泛化能力。

本发明的上述方法，采用基于主聚类推定的照度分类器对不同照度图像进行分类，因此本发明可以对不同照度图像进行分类，达到自适应处理不同照度图像的目的。

本发明的上述方法，采用基于主聚类推定的照度分类器对不同照度图像进行分类，并对其中的低照度图像进行自适应图像增强；对其中正常照度图像进行去雨去雾等图像增强处理。因此，本发明可以自适应地处理不同照度图像数据，削弱恶劣照度对图像的降质影响，并提高各模型精度与泛化能力。

本发明的上述方法，采用Res-Next模型对不同天气图像进行分类，并对其中雨天图像类进行Pre-Net去雨处理，对雾天图像类进行FFA-Net去雾处理，而正常天气的清晰图像类不做增强处理，直接输出到其它图像处理流程中。因此，本发明可以自适应地处理多种不同天气情况下的图像数据，减少了恶劣天气因素对图像数据的降质影响，并提高各模型精度与泛化能力。

本发明进一步提供一种存储介质，所述存储介质能够被计算机或处理器读取，所述存储介质中存储有用来执行上述方法的计算机程序。

本领域内的技术人员应明白，本申请的上述实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。