一种基于轻量级神经网络的图像退化方法及退化系统

技术领域

本发明涉及图像退化处理的研究领域，特别涉及一种基于轻量级神经网络的图像退化方法及退化系统。

背景技术

由于环境和设备因素，图像在形成、记录和处理的过程中，图像因为介质的干扰、成像设备处理方式的不完善以及存储方式的不同，导致最终生成的图像与真实情况产生差异，造成图像退化。而退化图像在图像处理领域至关重要，所以图像退化的方法研究具有非常重要的意义和目的。

Park等人提出的一般成像退化模型，这种模型是来自于传统的图像处理领域，它对成像过程进行建模，建立了一个图像的观测模型，图像复原则可以看成是求解图像观测模型的逆问题。进行图像处理时，可以用下列公式表示成像退化过程：

I(x)＝D*B*M*J(x)+N(x)

其中I(x)为低品质的退化图像，通过观测获得，J(x)是指需要复原的高清图像，D代表降采样，B代表模糊，M代表形变或运动矩阵，N(x)则是加性噪声。

另一种则是雾天成像的图像退化模型，在雾霾天气中，现实中的光线到达成像设备之前，会因为大气的散射作用而发生一定程度的衰减，并且，空气中的颗粒物的反射光，在雾霾天气下会更容易干扰成像设备的成像。Narasimhan和Nayar等则提出了单色大气散射模型，这个模型常常被用于描述雾天成像的退化过程，

I(x)＝t(x)J(x)+A(1-t(x))

其中I是有雾图像的颜色值，J是场景无雾情况下的颜色值，A是大气光强，而t是场景色彩在各个区通过程度的描述称作传输图。

Adrian Bulat等人在处理超分问题的时候，提出使用一个高到低生成的对抗网络(GAN)来学习图像退化过程，而不是试图对其进行建模。通过神经网络可以消除主观影响和环境因素。

而需要利用到图像退化领域的最常见的方式是图像超分辨率处理，可以说两个过程是可逆的，通过对超分辨率重建技术上，我们也可以找到思路。卷积神经元网络CNN被广泛应用到了各种图像处理技术上面，SRCNN将CNN应用在单张图像超分辨率重建上，是深度学习超分辨率的开山之作，使用了双三次插值作为预处理过程，网络结构十分简单，只用了三个卷积层，但得到了极好的结果。而VDSR模型则将残差结构引入到了图像超分辨率上。DRCN模型将递归结构引入超分辨率重建，而ESPCN模型则提出了亚像素卷积层，亚像素卷积层在之后的各种研究中被广泛使用。

现有的方法无论是一般成像退化模型，还是雾天成像的退化模型，都是基于人们已有的先验知识，通过假设而得出的，其实际效果和真实图像退化相差比较大。而基于对抗网络的GAN模型，容易产生伪影等效果，对后续的超分或者去雾等功能产生了一定的影响，基于深度学习的GAN算法会出现下面两个问题。一、生成的纹理信息并不和现实中的纹理相符，甚至生成一些假的边缘信息。二、生成对抗网络需要生成网络和对抗网络共同去约束图片生成，因此需要的参数量大，耗费资源。本发明通过对超分辨率技术等作为参考，提出相应的图像退化的算法。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于轻量级神经网络的图像退化方法，过自主地学习图像数据集的统计规律，减少人为主观因素的干预，通过模型训练模拟现实图像退化过程，生成任意图像的退化图像，为超分辨率重建和图像复原等任务提供更真实更丰富的数据集。

本发明的另一目的在于提供一种基于轻量级神经网络的图像退化系统。

本发明的目的通过以下的技术方案实现：

一种基于轻量级神经网络的图像退化方法，其特征在于，包括以下步骤：

获取数据集，并进行数据集的预处理，得到预处理数据集，进而得到输入图像；

构建轻量级神经网络图像退化模型，所述轻量级神经网络图像退化模型包含残差密集块；

将输入图像输入到轻量级神经网络图像退化模型得到退化图像，计算得到内容损失函数；

将输入图像和退化图像通过神经网络模型提取特征值，进而计算感知损失函数；

通过内容损失函数和感知损失函数得到损失函数，根据损失函数训练轻量级神经网络图像退化模型，得到训练后的轻量级神经网络图像退化模型；

将待退化的图像输入轻量级神经网络的图像退化模型，得到最终的退化图像。

进一步地，所述获取数据集，并进行数据集的预处理，得到预处理数据集，进而得到输入图像，具体为：获取计算机视觉和模式识别图集作为训练的数据集，并将该数据集的图像裁剪为相同大小的图像。

进一步地，所述构建轻量级神经网络图像退化模型，具体为：包括若干个残差密集块和若干个卷积层叠加，其中每个残差密集块由K个密集块构成，每个密集块有L个卷积层构成。残差密集块：分为两个模块，一个残差模块，一个密集模块；

残差块通过跳跃连接将数据处理后传给后续的模块，可以使低层的特征保存到后续的模块，能使整体的特征保存下来，同时残差块也能有效抑制梯度消失和梯度爆炸等情况；

密集块在保证网络中层与层之间最大程度的信息传输的前提下，直接将所有层连接起来。为了能够保证前馈的特性，每一层将之前所有层的输入进行拼接，之后将输出的特征图传递给之后的所有层；

激活函数选择的是LeakyReLU，比传统的ReLU函数更加稳定，传统的ReLU函数在处理负数的时候，统一设置为0，减慢了训练速度，同时使整个网络计算更加快速。

进一步地，所述每个卷积层的卷积核个数为3×3，卷积步长为1；其输入特征和输出特征如下：第一个卷积层的输入的特征通道为nf，输出的特征通道为gc；接着第二个卷积层输入的特征通道为nf+gc，即将第一层的输入也加到了第二层的输入当中，输出的特征通道为gc；同理，第三个卷积层输入的特征通道为nf+2×gc，即将前两层的输入加到了第三层。以此类推，直到最后一层即第五层，输出不再为gc，而恢复成原有的nf，以便于连接下一个残差密集块。

进一步地，所述残差密集块的输入端和输出端分别添加了卷积层。

进一步地，所述将输入图像输入到轻量级神经网络图像退化模型，通过内容损失函数进行训练，得到退化图像；具体为：将输入图像输入到轻量级神经网络图像退化模型进行训练，批大小设为a，将残差密集块的数量设为b，初始学习率设为c，训练的迭代次数设为d万次；其中，内容损失函数为：

其中，Image

进一步地，所述将输入图像和退化图像通过神经网络模型提取特征值，进而计算感知损失函数；具体为：将输入图像和退化图像通过特征提取能力强的神经网络模型提取特征值，高清晰度输入图像、退化图像和低清晰度图像共同经过该神经网络模型，得到第b+1个池化层之前的第b个卷积层的特征图，其中，感知损失函数为：

其中，Image

进一步地，所述通过内容损失函数和感知损失函数得到损失函数，根据损失函数训练轻量级神经网络图像退化模型，得到训练后的轻量级神经网络图像退化模型；具体为：按照比例λ结合感知损失函数和内容损失函数，得到损失函数：

L

其中，Lp为感知损失函数，Lm为内容损失函数。

采用反向传播算法计算隐含层的误差，采用梯度下降算法更新图像退化网络模型的参数。

进一步地，高清晰度图像输入到图像退化网络模型得到退化的低清晰度图像。

进一步地，将退化图像应用到相应的图像处理领域。例如后续可以将生成的图像应用到超分辨率图像处理领域，进行退化效果验证。

用真实的退化图像，双三次插值退化的图像，还有经过本发明网络生成的退化图像去训练超分辨网络ESRGAN。

用低清晰度图像分别进行评价，进行对比，得出结果是经过本发明网络生成的退化图像比传统的双三次插值退化的图像效果更好。

进一步地，采用后向传播算法计算隐含层误差和梯度下降法更新网络参数，具体为：对于卷积层的参数wi和偏差bi每次迭代的更新公式如下：

其中α为学习率。

本发明的另一目的通过以下的技术方案实现：

一种基于轻量级神经网络的图像退化系统，包括高清晰度输入图像获取模块、图像退化网络模型构建模块和图像退化网络模型训练模块；通过高清晰度输入图像获取模块获取系统所需要的数据，通过图像退化网路模型构建模块构建好网络，将数据和网络结合，进行图像退化网络模型训练得到最终的网络模型。

本发明与现有技术相比，具有如下优点和有益效果：

本发明提出了包括卷积块，残差块和密集连接的神经网络模型，在避免生成伪造纹理信息的同时减少了网络的参数量，使得生成的图像避免了主观因素的干预，不用人为去预测模型和参数，更加接近真实的图像退化效果；这样产生的退化图像使后续的图像处理过程有更接近真实的数据集。

附图说明

图1是本发明所述一种基于轻量级神经网络的图像退化方法的流程图；

图2是本发明所述实施例中一种基于轻量级神经网络的图像退化系统结构图；

图3是本发明所述实施例中图像退化神经网络模型的结构框图；

图4是本发明所述实施例中残差密集块的结构框图；

图5是本发明所述实施例中各算法图像效果比对图；

图6是本发明所示实施例中各算法模拟退化图像比对图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例：

一种基于轻量级神经网络的图像退化方法，如图1所示，包括以下步骤：

获取数据集，并进行数据集的预处理，得到预处理数据集，进而得到输入图像；

构建轻量级神经网络图像退化模型，所述轻量级神经网络图像退化模型包含残差密集块；

将输入图像输入到轻量级神经网络图像退化模型得到退化图像，计算得到内容损失函数；

将输入图像和退化图像通过神经网络模型提取特征值，进而计算感知损失函数；

通过内容损失函数和感知损失函数得到损失函数，根据损失函数训练轻量级神经网络图像退化模型，得到训练后的轻量级神经网络图像退化模型；

将待退化的图像输入轻量级神经网络的图像退化模型，得到最终的退化图像。

一种基于轻量级神经网络的图像退化系统结构图如图2所示，包括高清晰度输入图像获取模块、图像退化网络模型构建模块和图像退化网络模型训练模块；通过高清晰度输入图像获取模块获取系统所需要的数据，通过图像退化网路模型构建模块构建好网络，将数据和网络结合，进行图像退化网络模型训练得到最终的网络模型。

具体如下：

1)训练的准备工作主要是进行数据集的预处理，选用2019年计算机视觉和模式识别国际会议(CVPR2019)的比赛图集作为训练的数据集。对于训练集，首先将训练集的图像裁剪为64×64的相同大小的图像。

一来扩充训练集，二来可以在GPU配置较低的情况下进行训练。为了加快I/O处理速度，本申请还使用了LMDB(LightningMemory-Mapped Database)数据库的格式对训练集进行保存。

2)将训练图像输入到图像退化网络进行训练，批大小(batch_size)设为1，将残差密集块的数量设为4，初始学习率设为1×10

训练过程主要使用的损失函数是：内容损失函数Lm为：

Image

3)将退化图像和低清晰度图像共同经过VGG19-54计算感知损失Lp；

VGG19模型是一个具有很强的特征提取能力的模型，图像退化神经网络模型的结构框图如图3所示，残差密集块的结构框图如图4所示。高清晰度输入图像经过网络的到的退化图像和低清晰度图像共同经过VGG19得到第5个池化层之前的第4个卷积层的特征图，他们的特征细节得到的损失能够使本模型更具有对高层特征信息的生成能力。其中，损失函数为：

Image

4)最后按照一定比例结合感知损失和内容损失，得到在梯度下降法中所使用的损失函数为：

L

在训练过程中，可以明显的看到L

实验结论，本发明通过使用深度学习网络，并且避免了使用在图像处理领域大放异彩的生成对抗网(GAN)算法，生成对抗网(GAN)算法是一个参数量非常大的网络，计算量大，同时在生成图片的时候，会产生一些伪影，这在后续的图像处理任务是致命的，所以我们使用传统的卷积网络。数据集使用成对的数据训练，使生成的图片更加接近真实效果。本发明与主流算法有一个可比的效果。从下面的效果图可以看出，传统的双三次插值图像退化过程仍然保持了图像的主要特征，和真实的退化图像过程相差比较大，从图片可以看出真的退化过程也是会丧失特征。而本申请网络产生的图像无论从视觉效果还是从指标来说都是更加接近真实图像，如图5所示，第一个数字为峰值信噪比(Peak Signal to NoiseRatio)，数字越高越好。第二个数字为结果相似性(Structural SIMilarity)，数字范围为0-1，越接近1越好。

网络质量评估表如下：

网络质量评估表

本发明的最终目的是利用退化的图像数据进行其他的图像处理任务，本文将产生的数据集应用到超分辨率图像生成任务，以性能比较好的ESRGAN作为评价标准。用网络生成的数据，真实拍摄的退化图像和使用双三次插值退化的图像去训练ESRGAN。通过实验我们可以看出，用真实退化图像效果是最好的，其次就是本发明构建的网络生成的退化图像训练网络，最后才是双三次插值退化的图像训练的网络。如图6所示，第一个数字为峰值信噪比(Peak Signal to Noise Ratio)，数字越高越好。第二个数字为结果相似性(Structural SIMilarity)，数字范围为0-1，越接近1越好，从视觉效果来看，基于退化网络生成的数据训练的超分辨率重建结果和用真实退化图像训练的超分辨率重建结果更为接近，清晰度更高，特征更明显；从量化指标上看，基于本发明建模生成的退化图像训练的超分辨率重建结果，更接近真实拍摄的低分辨率图像，优于传统的双三次插值的退化方法。正是因为获取同一场景成对的高清图像和退化图像是困难和耗时耗资源的，所以本发明的网络的价值就得以体现，可以更好的去模拟退化图像，为其他图像处理任务提供充足的训练数据。

对比表

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。