一种端到端抗块效应低照度图像增强方法

技术领域

本发明属于图像增强领域，尤其涉及一种端到端抗块效应低照度图像增强方法。

背景技术

良好的光照是保证图像质量的一个重要因素，当图像从低照度环境中捕获得到或者得到的图像为欠曝光图像时，一般存在亮度低、对比度低、细节信息模糊等缺点，需要对其进行亮度增强处理以获得更好的视觉效果。低照度图像增强通过变换数据，有选择地突出图像中感兴趣的特征或者抑制图像中某些不需要的特征，使图像与视觉响应特性相匹配，既可以有效提升图像视频的视觉观感，也可以为目标检测、跟踪等视觉处理应用提供一个良好的预处理基础。在实际应用中，由于原始图像视频数据量庞大，在传输之前会对图像进行必要的编码压缩。图像视频的压缩虽然有效去除了空间和时间冗余，减小了图像视频的数据量，但不可避免地会产生块效应。由于现有的低照度图像增强技术，在对低照度图像进行图像增强处理时，均未考虑低照度图像压缩产生的块效应问题，因此，低照度图像压缩后经过现有的低照度增强算法处理后，压缩块效应很容易被放大，带来极差的视觉体验和内容破坏。随着互联网视频的普及和流行，低照度图像视频在传播过程中会受到多次编码压缩，增强后的画面块效应会更加明显，视觉体验效果变差。因此，业界迫切需要有效的智能增强算法来解决低照度图像视频的增强。

发明内容

本发明的目的在于：提供一种端到端抗块效应低照度图像增强方法，以用于解决现有技术中存在压缩图像增强过程中块效应被放大的技术问题。

为实现上述目的，本发明采取如下技术方案：

一种端到端抗块效应低照度图像增强方法，包括下列步骤：

步骤S1、构造训练数据集：为了训练端到端图像增强网络，构造训练数据集，该训练数据集是由多个数据对组成的序列集，每个数据对是由低照度图像和低照度图像对应的真值图像组成，其中真值图指的是正常照度图像；

步骤S2、数据处理：使用有损压缩技术压缩训练数据集中的所有低照度图像，保持真值图像的图像质量；并根据使用需求将处理好的数据集分成测试数据和训练数据；

步骤S3、构建端到端图像增强网络：端到端图像增强网络输入为压缩低照度图像，输出为增强图像；端到端图像增强网络包括增强主干网络和去块分支网络；

所述增强主干网络是以卷积层作为基本单元的U型编解码网络，其中编码网络输入压缩低照度图像，输出卷积特征图；解码网络输入卷积特征图，输出网络预测图像；在U型编解码网络中，编码网络的卷积特征图和与之相同维度的解码网络的卷积特征图进行跳跃连接；

所述去块分支网络是由一个卷积核尺寸为8×8的卷积组和一个卷积核尺寸为(8+ε)×(8+ε)的卷积组构成；其中，ε为两组卷积核的尺寸差，ε的取值范围为1～8的整数；去块分支网络输入压缩低照度图像，输出用于补偿卷积特征图的块边界补偿图。

步骤S4、训练：将训练数据送入端到端图像增强网络，进行端到端的增强训练；同时通过损失函数对端到端图像增强网络进行优化，得到完成训练的端到端图像增强网络。

步骤S5、测试：将测试数据输入完成训练的端到端图像增强网络得到最终的增强图像。

本发明构建的端到端图像增强网络在基于训练数据进行多轮端到端的增强训练后，能够实现在增强图像内容的同时有选择性地抑制压缩块效应。作为优选，所述端到端的增强网络训练的具体过程如下：

编码网络对输入的压缩低照度图像通过一个3×3卷积后，再通过3×3卷积+maxpooling+Relu激活函数来对特征进行下采样，一共下采样n次，每个maxpooling的下采样倍数为2；解码网络通过resize+3×3卷积进行上采样，一共上采样n次，每次resize的上采样倍数为2，最后通过1×1卷积融合不同层次的卷积特征图，输出网络预测图像。

去块分支网络输入的压缩低照度图像先通过卷积核尺寸分别为8×8和(8+ε)×(8+ε)的卷积组计算出卷积结果残差，再通过Tanh激活函数，得到块边界补偿图，通过块边界补偿图对编码网络输出的卷积特征图相加实现对压缩低照度图像的补偿。

作为优选，本发明通过损失函数对端到端图像增强网络进行优化的具体内容如下：

步骤S401、使用均方误差损失函数L

步骤S402、计算压缩图片的块边界差值损失，采用边界差值损失函数来平滑块边界；所述边界差值损失的计算步骤包括：

将一张压缩图像划分为M×N个8×8块，确定出位于垂直边界上的像素点和位于水平边界上的像素点；在该图像中，所述像素点可表示为P(x,y)(0≤x≤8M,0≤y≤8N)；其中，位于垂直边界上的像素包括P(8i-1,y),P(8i,y)(i＝1,2,…,M-1)；位于水平边界上的像素包括P(x,8j-1),P(x,8j)(j＝1,2,…,N-1)；然后，根据垂直边界上的像素点和水平边界上的像素点计算出损失值

步骤S403、构建一个块特征提取网络，分别提取网络预测图的块特征F

步骤S404、采用结构相似性(SSIM)构造结构相似损失L

步骤S405、通过计上述步骤计算出的L

L

作为优选，对所述训练数据集进行数据处理的过程还包括：

采用每间隔i个像素裁剪一次的方式，沿块边界对低照度图和对应的真值图进行裁剪，得到目标尺寸的低照度图像和目标尺寸的真值图像；对低照度图像和真值图像的裁剪方式一致。

本发明提供一种端到端抗块效应低照度图像增强方法，目的是针对压缩后的低照度图像进行增强处理。基于深度学习原理，先将收集的数据进行处理后分成测试数据和训练数据两类；再通过构建一个端到端图像增强网络结构，将训练数据输入到端到端网络结构中进行多轮训练。在训练过程中，采用最小化网络预测图与真值图的均方二范数差值、计算压缩图像的边界损失平滑块边界；并计算出网络预测图与真值图的块相似损失值、构造结构相似损失值进行端到端网络的参数调整，得到完成训练的端到端图像增强网络。然后将测试数据输入训练好的端到端图像增强网络结构中，得到最终的增强图像。相较于现有技术而言，本发明具有以下有益效果：

(1)本发明提供的方法可以在增强图像内容的同时有选择性地抑制压缩块效应。

(2)本发明提供的方法合理地结合压缩块效应的尺寸特征，利用去块分支网络中的卷积核尺寸不同的两个卷积组构成一个非对称卷积对，并计算非对称卷积对的卷积结果的残差，得到块边界补偿图，从特征层面对压缩图片进行补偿，消除块边界的不连续性。

(3)本发明提供的方法中，在构建的目标损失函数过程中，为了加强相似结构块的相关性，通过采用块特征提取网络将块映射到特征空间，再计算余弦相似度矩阵，通过逼近网络预测图和真值图的余弦相似度矩阵，有效的抑制平滑区域内块的颜色失真。

附图说明

图1为本发明的总流程示意图；

图2为本发明实施例端到端图像增强网络结构示意图；

图3(a)低照度图像；

图3(b)为经本发明方法增强处理后的图像。

具体实施方式

为了更好地了解本发明的目的、结构及功能，下面结合附图，对本发明做进一步详细的描述。

如图1所示，本发明提供的一种端到端抗块效应低照度图像增强方法，具体包括以下步骤：

步骤S1、构造训练数据集：

为了训练端到端图像增强网络，以指导网络参数的调整，构造训练数据集。该训练数据集是由多个数据对组成的序列集，每个数据对是由压缩低照度图像和压缩低照度图对应的真值图像组成，其中真值图指的是正常照度图像。作为一种实施方式，首先可以获取各种场景下的多个低照度图像以及与低照度图像对应的真值图像来作为数据对，数据对可以是从网页上下载的图像，也可以是由专业相机拍摄的图像等。例如，通过调节相机曝光时间来获得明暗图片对,或以原图作为真值图，通过调节曝光曲线人工合成低照度图片，以此构成的数据对。

步骤S2、数据处理：

先将数据对中的低照度图像和真值图，采用每间隔64个像素裁剪一次的方式，沿块边界对低照度图和对应的真值图进行裁剪，得到目标尺寸为128×128的低照度图像和真值图像；裁剪过程中，应注意保持块结构完整，且对低照度图像和真值图像的裁剪方式一致。这样的裁剪方式一方面能够减少运算的复杂度，提升压缩低照度图像增强处理效率；另一方面减少计算误差，使压缩低照度图像增强清晰度提升。

然后使用有损压缩技术压缩训练数据集中的所有低照度图像，保持真值图像的图像质量；并根据使用需求将处理好的数据集分成测试数据和训练数据

步骤S3、构建端到端图像增强网络；

本实施例所选择的端到端图像增强网络结构如图2所示：包括增强主干网络和去块分支网络。所述增强主干网络是以卷积层作为基本单元的U型编解码网络，其中编码网络输入压缩低照度图像，输出卷积特征图；解码网络输入卷积特征图，输出网络预测图像；在U型编解码网络中，编码网络的卷积特征图和与之相同维度的解码网络的卷积特征图进行跳跃连接。所述去块分支网络是由一个卷积核尺寸为8×8的卷积组和一个卷积核尺寸为12×12的卷积组构成；去块分支网络输入压缩低照度图像，输出用于补偿卷积特征图的块边界补偿图。

由此可知，本实施例中的端到端图像增强网络区别于现有的深度学习网络结构，在增强主干网络中，将编码网络中学习的信息输入到解码网络中，且通过跳跃连接加快网络收敛速度。在输入层与编码网络之间增加了去块分支网络，去块分支网络学习得到块边界补偿图，对增强主干网络在特征层面进行补偿，促进块效应的消除。

步骤S4、训练：将训练数据输入到端到端图像增强网络，进行端到端的增强训练；同时通过损失函数对端到端图像增强网络进行优化，得到完成训练的端到端图像增强网络。

本实施例中将训练数据中的压缩低照度图像输入编码网络后通过一个3×3卷积后，再通过3×3卷积+maxpooling+Relu激活函数来对特征进行下采样，一共下采样3次，每个maxpooling的下采样倍数为2；解码网络通过resize+3×3卷积进行上采样，一共上采样3次，每次resize的上采样倍数为2，最后通过1×1卷积融合不同层次的卷积特征图，输出网络预测图。

压缩低照度图像输入去块分支网络后先通过卷积核尺寸分别为8×8和12×12的卷积组，采用逐点求差的方式计算出卷积结果的残差，再通过Tanh激活函数，得到块边界补偿图，通过块边界补偿图对编码网络输出的卷积特征图以逐像素相加的形式进行融合，实现对压缩低照度图像的补偿。

为了得到最优的端到端图像增强网络，需要在训练过程中对端到端图像增强网络进行优化，本实施例中，所述端到端图像增强网络优化步骤包括：

步骤S401、使用均方误差损失函数L

步骤S402、计算压缩图片的块边界差值损失，采用边界差值损失函数来平滑块边界；所述边界差值损失的计算步骤包括：

将一张压缩图像划分为M×N个8×8块，确定出位于垂直边界上的像素点和位于水平边界上的像素点；在该图像中，所述像素点可表示为P(x,y)(0≤x≤8M,0≤y≤8N)；其中，位于垂直边界上的像素包括P(8i-1,y),P(8i,y)(i＝1,2,…,M-1)；位于水平边界上的像素包括P(x,8j-1),P(x,8j)(j＝1,2,…,N-1)；然后，根据垂直边界上的像素点和水平边界上的像素点计算出损失值

步骤S403、构建一个块特征提取网络，分别提取网络预测图的块特征F

所述块相似损失函数的计算步骤包括：

构建一个块特征提取网络，块特征提取网络包括一个步长为8的8×8卷积层和两个步长为1的1×1卷积层；通过通道数为20的块特征提取网络，则一张内含50×75个8×8块的图像将映射为50×75×20维度的块特征，每一个块映射为1×1×20维度的特征向量。将F

式中，F

通过上述余弦相似矩阵计算出块相似损失函数L

步骤S404、采用结构相似性(SSIM)构造结构相似损失L

步骤S405、通过计上述步骤计算出的L

L

步骤S5、测试：将测试数据输入完成训练的端到端图像增强网络得到最终的增强图像。

为了进一步的说明本实施例所提供的图像增强方法的优点，将15张压缩低照度压缩测试图片按照本发明提供的方法进行增强处理，并对比这15张压缩低照度压缩图片增强前与增强后图像清晰效果。对比结果如下：

15张压缩低照度图片在未增强时，平均PSNR(峰值信噪比)为7.766，SSIM(结构相似性指标)为0.0522；经过本发明算法增强，PSNR提高至19.263，SSIM提高至0.3292。

图3(a)低照度图像，图3(b)为经本发明方法增强处理后的图像。对比图3(a)和图3(b)可知，经本发明提供的端到端抗块效应低照度图像增强方法处理后的图像更加清楚。

综上所述，本发明的端到端抗块效应低照度图像增强方法，解决了有损压缩低照度像块效应被放大的问题。

上述实施例仅说明本发明的原理及功效，而非用于限制本发明，仅为帮助理解本发明原理，本发明保护范围亦不限于上述的配置和实施例，本领域技术人员可以根据公开技术做出不脱离本发明实质的其他各种具体变形与组合，但仍在本发明的保护范围内。