面向矿井低光照环境的图像超分辨率重建方法及装置

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种面向矿井低光照环境的图像超分辨率重建方法及装置。

背景技术

煤矿井下巷道内的环境复杂，整体背景较为昏暗，井下的照明主要来源于人造光源，灯光照明区域与背光区域亮度反差大，低光照的环境条件造成视频图像采集终端采集到的图像分辨率很低，整体成像质量较差，严重影响了后续的智能视频场景的分析与智慧化矿井的建设。为此，如何对矿井低光照环境下的图像进行重建以获取清晰地成像结果一直是当前矿井AI视频分析取得良好效果的瓶颈。

现有的超分辨率重建数据集大都是在亮度适当、轮廓清晰和色彩均衡的条件下收集的，但是在现实场景中，由于拍摄角度或者光线等问题会导致拍摄出来的图片比较阴暗，当在弱光环境下或者是光照不均匀环境下测试时，图像重建的效果将会大大降低。同时，深度学习的神经网络过于庞大复杂，训练耗时较长，获得的超分辨率图像精度较差。

发明内容

鉴于上述的分析，本发明实施例旨在提供一种面向矿井低光照环境的图像超分辨率重建方法及装置，用以解决现有图像超分辨率重建方法耗时且获得的超分辨率图像精度较差的问题。

一方面，本发明实施例提供了一种面向矿井低光照环境的图像超分辨率重建方法，包括下述步骤：

获取低光照环境的原始输入图像，并对所述原始输入图像进行平滑滤波，得到原始输入图像对应的亮度图；

基于所述原始输入图像、所述亮度图和反射图的自适应权重，获得原始输入图像对应的反射图；

基于字典学习算法对所述反射图进行超分辨率重建，得到原始输入图像对应的超分辨率图像。

进一步，对所述原始输入图像进行平滑滤波，得到原始输入图像对应的亮度图，包括下述步骤：

基于高斯滤波器获取所述原始输入图像对应的初始亮度图，公式如下：

L

上式中，L

基于所述原始输入图像对应的初始亮度图和引导滤波器函数计算得到原始输入图像对应的亮度图，公式如下：

L′

上式中，L′

r

r

r

上式中，r

进一步，所述基于所述原始输入图像、所述亮度图和反射图的自适应权重，获得原始输入图像对应的反射图的步骤包括：

根据下式计算反射图的对数表示：

上式中，

进一步，所述反射图的自适应权重通过如下步骤获得：

将Sobel边缘算子从0°和90°两个方向扩展为0°、45°、90°和135°四个方向，得到0°、45°、90°和135°四个方向的卷积核；

基于所述0°、45°、90°和135°四个方向的卷积核计算得到原始灰度图的梯度图像，并对所述原始灰度图的梯度图像进行归一化处理，得到归一化梯度图像；其中，所述原始灰度图为原始输入图像对应的灰度图；

基于所述原始灰度图的梯度图像和归一化梯度图像得到反射图的自适应权重。

进一步，基于字典学习算法对所述反射图进行超分辨率重建，得到原始输入图像对应的超分辨率图像，包括下述步骤：

对所述反射图进行下采样和模糊操作，得到反射图对应的低分辨率图像；

对所述反射图对应的低分辨率图像和用于训练的高分辨率图像、低分辨率图像分别进行分块操作，得到用于字典学习的图像块样本对数据集；

对所述图像块样本对数据集进行字典学习，得到第一字典；

基于在线字典学习更新所述第一字典，得到第二字典；

基于所述第二字典及反射图对应的低分辨率图像得到原始输入图像对应的超分辨率图像。

进一步，基于所述第二字典及反射图对应的低分辨率图像得到原始输入图像对应的超分辨率图像，包括下述步骤：

计算反射图对应的低分辨率图像中每一像素块的中值；

基于所述低分辨率图像中每一像素块的中值和第二字典得到约束函数，并基于所述约束函数的最小值对应的最优超完备低分字典和稀疏系数矩阵得到高分辨率图像块；

基于梯度下降法对所有的所述高分辨率图像块排序，得到原始输入图像对应的高分辨率图像。

另一方面，本发明实施例提供了一种面向矿井低光照环境的图像超分辨率重建装置，包括：

滤波模块，用于获取低光照环境的原始输入图像，并对所述原始输入图像进行平滑滤波，得到原始输入图像对应的亮度图；

反射图获得模块，用于基于所述原始输入图像、所述亮度图和反射图的自适应权重，获得原始输入图像对应的反射图；

超分辨率重建模块，用于基于字典学习算法对所述反射图进行超分辨率重建，得到原始输入图像对应的超分辨率图像。

进一步，所述滤波模块用于：

基于高斯滤波器获取所述原始输入图像对应的初始亮度图，公式如下：

L

上式中，L

基于所述原始输入图像对应的初始亮度图和引导滤波器函数计算得到原始输入图像对应的第二亮度图，公式如下：

L′

上式中，L′

r

r

r

上式中，r

进一步，所述基于所述原始输入图像、所述亮度图和反射图的自适应权重，获得原始输入图像对应的反射图的步骤包括：

根据下式计算反射图的对数表示：

上式中，

进一步，所述反射图的自适应权重通过如下步骤获得：

将Sobel边缘算子从0°和90°两个方向扩展为0°、45°、90°和135°四个方向，得到0°、45°、90°和135°四个方向的卷积核；

基于所述0°、45°、90°和135°四个方向的卷积核计算得到原始灰度图的梯度图像，并对所述原始灰度图的梯度图像进行归一化处理，得到归一化梯度图像；其中，所述原始灰度图为原始输入图像对应的灰度图；

基于所述原始灰度图的梯度图像和归一化梯度图像得到反射图的自适应权重。

与现有技术相比，本发明至少可实现如下有益效果之一：

1、一种面向矿井低光照环境的图像超分辨率重建方法，通过对原始输入图像进行平滑滤波获得亮度图，并根据原始输入图像和亮度图得到反射图，最后采用字典学习算法对反射图进行超分辨率重建，得到原始输入图像对应的超分辨率图像图。该方法简单易行，易于实施，提高了图像超分辨率重建速度的同时，提高了获得的超分辨率重建图像的精度。

2、通过对获取的低光照环境的原始输入图像进行平滑滤波，得到原始输入图像对应的亮度图，为后期生成反射图及对反射图进行超分辨率重建提供了技术支撑和依据，具有重要的意义。

3、通过计算反射图的自适应权重，能够自适应的进行权重选择，抛弃常用的权重固定值，针对每一幅图像确定相应的滤波器的权重参数，使得每幅图像的增强更具有针对性，提高了获得的超分辨率重建图像的精度。

本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。

附图说明

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。

图1为面向矿井低光照环境的图像超分辨率重建方法流程框图；

图2为一个实施例中面向矿井低光照环境的图像超分辨率重建方法流程示意图；

图3为另一个实施例中面向矿井低光照环境的图像超分辨率重建装置结构示意图；

附图标记：

100-滤波模块，200-反射图获得模块，300-超分辨率重建模块。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。

现有的超分辨率重建数据集大都是在亮度适当、轮廓清晰和色彩均衡的条件下收集的，但是在现实场景中，图像重建的效果将会大大降低。同时，深度学习的神经网络过于庞大复杂，且训练耗时较长，获得的超分辨率图像精度较差。为此，本申请提出了一种面向矿井低光照环境的图像超分辨率重建方法及装置，如图1所示，通过对原始输入图像进行平滑滤波获得亮度图，并根据原始输入图像和亮度图得到反射图，最后采用字典学习算法对反射图进行超分辨率重建，得到原始输入图像对应的超分辨率图像图。该方法简单易行，易于实施，提高了图像超分辨率重建速度的同时，提高了获得的超分辨率重建图像的精度。

本发明的一个具体实施例，公开了一种面向矿井低光照环境的图像超分辨率重建方法，如图2所示，包括下述步骤S1～S3。

步骤S1、获取低光照环境的原始输入图像，并对原始输入图像进行平滑滤波，得到原始输入图像对应的亮度图。具体来说，低光照环境的原始输入图像可以从煤矿井下的固定摄像机拍摄的视频图像中获取，也可以从煤矿井下的车载摄像机摄录的视频图像中获取。

优选地，对原始输入图像进行平滑滤波，得到原始输入图像对应的亮度图，包括下述步骤：

基于高斯滤波器获取原始输入图像对应的初始亮度图，公式如下：

L

上式中，L

基于原始输入图像对应的初始亮度图和引导滤波器函数计算得到原始输入图像对应的亮度图，公式如下：

L′

上式中，L′

r

r

r

上式中，r

通过对获取的低光照环境的原始输入图像进行平滑滤波，得到原始输入图像对应的亮度图，为后期生成反射图及对反射图进行超分辨率重建提供了技术支撑和依据，具有重要的意义。

步骤S2、基于原始输入图像、亮度图和反射图的自适应权重，获得原始输入图像对应的反射图。具体来说，首先根据原始输入图像、亮度图获得反射图的对数表示，接着计算反射图的自适应权重，并将反射图的自适应权重带入反射图的对数表示中，得到反射图的对数，最后对反射图的对数进行取对数操作，即可得到原始输入图像对应的反射图。

优选地，基于原始输入图像、亮度图和反射图的自适应权重，获得原始输入图像对应的反射图的步骤包括：

根据下式计算反射图的对数表示：

上式中，

优选地，反射图的自适应权重通过如下步骤获得：

将Sobel边缘算子从0°和90°两个方向扩展为0°、45°、90°和135°四个方向，得到0°、45°、90°和135°四个方向的卷积核，如下所示：

S

S

S

S

基于0°、45°、90°和135°四个方向的卷积核计算得到原始灰度图的梯度图像，并对原始灰度图的梯度图像进行归一化处理，得到归一化梯度图像；其中，原始灰度图为原始输入图像对应的灰度图。具体来说，Z(x,y)表示原始输入图像中某一像素点的3×3大小的邻域，则在0°、45°、90°和135°四个方向上的卷积和D

原始灰度图的梯度图像的计算公式为：

归一化梯度图像的计算公式为：

上式中，δ

基于原始灰度图的梯度图像和归一化梯度图像得到反射图的自适应权重，公式如下所示：

W

W

通过计算反射图的自适应权重，能够自适应的进行权重选择，抛弃常用的权重固定值，针对每一幅图像确定相应的滤波器的权重参数，使得每幅图像的增强更具有针对性，提高了获得的超分辨率重建图像的精度。

步骤S3、基于字典学习算法对反射图进行超分辨率重建，得到原始输入图像对应的超分辨率图像，包括下述步骤：

步骤S301、对反射图进行下采样和模糊操作，得到反射图对应的低分辨率图像。具体来说，这里的模糊操作可以是高斯模块。

步骤S302、将反射图对应的低分辨率图像和用于训练的高分辨率图像、低分辨率图像分别分割成q个2×2大小的正方形像素块，q一般在10000～100000的范围内取值，得到用于字典学习的图像块样本对数据集p(x),其中样本x为向量。

步骤S303、对图像块样本对数据集p(x)进行字典学习，得到第一字典。具体来说，从步骤S302确定的图像块样本对数据集p(x)中随机选取m(m＞q/2)个样本，作为第一字典D，其中，D＝(D

步骤S304、基于在线字典学习更新第一字典，得到第二字典。具体来说，首先利用稀疏编码算法对第一字典进行初始化训练，公式如下：

上式中，α

接着进行字典更新：以前一次生成的字典D

更新后的字典生成：N次迭代更新结束，得到所需的超完备字典，即第二字典D′。

步骤S305、采用中值滤波方法计算反射图对应的低分辨率图像中每一像素块的中值。

步骤S306、基于低分辨率图像中每一像素块的中值和第二字典得到约束函数，并基于约束函数的最小值对应的最优超完备低分字典和稀疏系数矩阵得到高分辨率图像块，如下式所示：

x＝D

上式中，

步骤S307、基于梯度下降法对所有的高分辨率图像块排序，得到原始输入图像对应的高分辨率图像。具体来说，通过步骤S306得到原始输入图像对应的所有高分辨率图像块后，采用梯度下降法对所有的高分辨率图像块排序，以将高分辨率图像块按照顺序进行拼接，得到原始输入图像对应的高分辨率图像，其中，利用梯度下降法对高分辨率图像块排序的公式如下所示：

上式中，X

通过字典学习对反射图对应的低分辨率图像进行重建，得到原始输入图像对应的高分辨率图像，避免了庞大的网络体系，提高了普适性。

与现有技术相比，本申请提供的面向矿井低光照环境的图像超分辨率重建方法，通过对原始输入图像进行平滑滤波获得亮度图，并根据原始输入图像和亮度图得到反射图，最后采用字典学习算法对反射图进行超分辨率重建，得到原始输入图像对应的超分辨率图像图。该方法简单易行，易于实施，提高了图像超分辨率重建速度的同时，提高了获得的超分辨率重建图像的精度。

本发明的另一个具体实施例，公开了一种面向矿井低光照环境的图像超分辨率重建装置，如图3所示，包括：

滤波模块100，用于获取低光照环境的原始输入图像，并对原始输入图像进行平滑滤波，得到原始输入图像对应的亮度图；

反射图获得模块200，用于基于原始输入图像、亮度图和反射图的自适应权重，获得原始输入图像对应的反射图；

超分辨率重建模块300，用于基于字典学习算法对反射图进行超分辨率重建，得到原始输入图像对应的超分辨率图像。

由于面向矿井低光照环境的图像超分辨率重建装置的实现原理与前述实施例中面向矿井低光照环境的图像超分辨率重建方法的实现方法原理相同，故这里不再赘述。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。