一种基于改进的广泛深度神经网络的超分辨率图像重建方法及系统

技术领域

本发明涉及计算机视觉、图像超分辨率重建领域，具体地涉及一种基于改进的广泛深度神经网络的超分辨率图像重建方法。

背景技术

图像超分辨率重建技术是一种能够有效提升图像分辨率的新兴技术，这一方法在仅保有低分辨率模糊图像的情况下，通过采用特定的图像高低分辨率空间映射算法，将低分辨率图像进行像素重构，从而获取图像的高分辨率空间中的清晰图像。

相较于低分辨率图像，高分辨率图像通常包含更大的像素密度、更丰富的纹理细节及更高的可信赖度。这种高分辨率图像可以提供更多内容和细节，不仅满足了人们的日常生活中对于高清晰度视觉效果的需要，更有助于其他领域的相关研究进行深入发展。但在实际上中，受硬件设施限制、网络带宽不够、存储空间不足等诸多因素的约束，我们通常并不能直接得到具有边缘锐化、无成块模糊的理想高分辨率图像。

提升图像分辨率的最直接的做法是对采集系统中的光学硬件进行改进，但这种做法受限于制造工艺难以大幅改进、制造成本十分高昂等约束。由此，从软件和算法的角度着手，实现图像超分辨率重建的技术成为了图像处理和计算机视觉等多个领域的热点研究课题。

基于传统方法的图像超分辨率重建技术已经无法满足现有的需求，因此寻求新型的高精度图像超分辨率重建算法已经成为目前的迫切需求。而通过深度学习所构建的超分辨率重建的神经网络，基于其特殊的层级结构与有效的卷积计算方式，对于图像中包含的信息能够进行准确的提取与表征，并且对于多样性的目标具有极高的鲁棒性和自适应性，是现在主流的研究方向。但是基于深度学习所构建的超分辨率重建的神经网络，大多都过于体积庞大或者要求的计算资源过多，所以轻量化的超分辨率重建方法成为了研究的热点。

现有的一些关于轻量化超分辨率重建的专利(包括发明授权专利和发明公布专利)，如下：

1)申请号为：CN201810638253.X的中国发明专利《基于递归残差网络的超分辨率图像重建方法》，此发明采用局部残差学习而非VDSR所用全局残差学习来训练神经网络，并通过在残差单元中引入递归结构。但此方法仍然使用了残差网络，残差网络深度深，参数量较大。并且残差网络适用于解决高层的计算机视觉问题，而超分辨率属于低层计算机视觉问题。

2)申请号为：CN201910272182.0的中国发明专利《一种基于轻量化网络的超分辨率图像重建方法》，此发明对网络结构进行轻量化，同时对参数进行量化。在网络结构方面利用Shufflenet结构代替一个卷积，造成计算量较大，同时通道混洗的方法导致性能下降。

随着深度学习的发展，计算机视觉领域的发展十分迅速。轻量化的超分辨率重建网络也很多，许多基于深度残差网络的图像超分辨率重建模型在图像重建精度取得了巨大的突破。然而这类算法模型在单方面追求获得更高的图像重建精度的同时，也导致网络层数不断增加，暴露出网络结构过于复杂，权重参数量过多、模型计算复杂度过高的缺陷，从而在根本上限制了图像超分辨率重建技术在实际场景中的应用范围。这些网络有着很大的提高空间。本发明的创新点在于通过重新设计网络结构，利用深度可分离卷积和自适应权重的跳跃连接，以达到减小网络体量、降低计算复杂度、去除冗余的内容，从而能够运用到移动端或者做到实时处理的目的。

发明内容

本发明针对现有技术的不足，提供一种基于网络结构轻量化的超分辨率图像重建方法。

本发明提出一种新的网络模型：移动共享源网络(MobileShare-Source Network,以下简称MSSN)，通过引入深度可分离卷积和跳跃连接，使其可以进行更快速的超分辨率图像重建。在这种方式下，网络的参数和计算量都大幅减少,适合进行移动端的移植：

一种基于改进的广泛深度神经网络的超分辨率图像重建方法，其特征在于，包含以下步骤：

步骤1,MSSN网络提取低层低分辨率图像特征,MSSN的输入为I

F

f

步骤2，MSSN网络提出深层特征提取模块级联块(Cascading Block)；一个级联块由4个移动自适应权重残差单元(Mobile Adaptive Weighted Residual Unit，简称MAWRU)组成，一个MAWRU由一个1×1逐点卷积、参数归一化层、激活函数ReLU6、一个3×3深度卷积、参数归一化层、激活函数ReLU6、一个1×1逐点卷积、参数归一化层组成；

步骤3,MSSN网络提出非线性映射模块自适应权重共享源模块(AdaptiveWeighted Share-Source Module)，使用该模块进行非线性映射；

步骤4，MSSN网络进行重构；对网络输入的低分辨率图像使用一个核大小为3×3的卷积层，再利用像素洗牌(pixel shuffle)层进行上采样；非线性映射模块的输出进行同样操作，使用一个核大小为3×3的卷积层，再利用像素洗牌(pixel shuffle)层进行上采样；将两个上采样的输出相加即得到重建后的超分辨率图像；得到重建后的图像与标准的高分辨率图像计算L1范数的损失函数，并利用反向传播算法更新模型的参数；而后通过不同的高低分辨率图像对继续更新模型参数；

步骤5，将某张需要超分辨率重建的图像通过步骤4训练好的网络模型进行计算，得到重建后放大的图像，其中，训练好的网络模型即通过不断更新最终确定下来的模型参数。

在上述的一种基于轻量化网络的超分辨率图像重建方法，

步骤2中MSSN网络提出特征提取模块级联块的具体处理过程如下：

步骤2.1，先定义上一层的输出特征图有N个，即通道数＝N,1×1逐点卷积核进行卷积操作，得到输出通道数为r×N的特征图，r为通道数的扩张倍数；对输出特征图进行参数归一化(Weight Normalization)，将得到的权重向量w分解方向向量

其中v是与w同维度的向量，||v||是欧氏范数，因此

步骤2.2，上一层的输出特征图有r×N个，即通道数＝r×N,利用3×3深度卷积核进行卷积操作，得到输出通道数为r×N的特征图；得到新的特征图之后，进行参数归一化和激活函数ReLU6处理；

步骤2.3，上一层的输出特征图有r×N个，即通道数＝r×N,利用1×1逐点卷积核进行卷积操作，得到输出通道数为N的特征图；得到新的特征图之后，进行参数归一化；

步骤2.4，将步骤2.3得到的特征图乘上一个自适应权重的尺度因子与步骤2.1输入的特征图乘上一个自适应权重的尺度因子相加，得到新的特征图；尺度因子参数将在训练中自行迭代；

步骤2.5，将连续的4个MAWRU级联得到一个级联块。

在上述的一种基于轻量化网络的超分辨率图像重建方法，

步骤3中非线性映射模块，自适应权重共享源模块(Adaptive Weighted Share-Source Module)，以下简称AWSSM)进行高效的图像特征非线性映射具体过程如下：

利用步骤2中的级联块(Cascading Block，以下简称CB)，步骤1的输出特征图即为x

F

其中，f

其中x

一种基于改进的广泛深度神经网络的超分辨率图像重建系统，其特征在于，包含以下步骤：

图像特征提取单元：图像特征提取单元提取低层低分辨率图像特征,MSSN的输入为I

F

f

级联块提取单元：级联块提取单元提出深层特征提取模块级联块(CascadingBlock)；一个级联块由4个移动自适应权重残差单元(Mobile Adaptive WeightedResidual Unit，简称MAWRU)组成，一个MAWRU由一个1×1逐点卷积、参数归一化层、激活函数ReLU6、一个3×3深度卷积、参数归一化层、激活函数ReLU6、一个1×1逐点卷积、参数归一化层组成；

非线性映射模块自适应权重共享源模块(Adaptive Weighted Share-SourceModule)：使用该模块进行非线性映射；

重构单元：重构单元对网络输入的低分辨率图像使用一个核大小为3×3的卷积层，再利用像素洗牌(pixel shuffle)层进行上采样；非线性映射模块的输出进行同样操作，使用一个核大小为3×3的卷积层，再利用像素洗牌(pixel shuffle)层进行上采样；将两个上采样的输出相加即得到重建后的超分辨率图像；得到重建后的图像与标准的高分辨率图像计算L1范数的损失函数，并利用反向传播算法更新模型的参数；而后通过不同的高低分辨率图像对继续更新模型参数；

图像重建单元：图像重建单元将某张需要超分辨率重建的图像通过步骤4训练好的网络模型进行计算，得到重建后放大的图像，其中，训练好的网络模型即通过不断更新最终确定下来的模型参数。

在上述的一种基于改进的广泛深度神经网络的超分辨率图像重建系统，级联块提取单元具体处理过程包括：

步骤2.1，先定义上一层的输出特征图有N个，即通道数＝N,1×1逐点卷积核进行卷积操作，得到输出通道数为r×N的特征图，r为通道数的扩张倍数；对输出特征图进行参数归一化(Weight Normalization)，将得到的权重向量w分解方向向量

其中v是与w同维度的向量，||v||是欧氏范数，因此

步骤2.2，上一层的输出特征图有r×N个，即通道数＝r×N,利用3×3深度卷积核进行卷积操作，得到输出通道数为r×N的特征图；得到新的特征图之后，进行参数归一化和激活函数ReLU6处理；

步骤2.3，上一层的输出特征图有r×N个，即通道数＝r×N,利用1×1逐点卷积核进行卷积操作，得到输出通道数为N的特征图；得到新的特征图之后，进行参数归一化；

步骤2.4，将步骤2.3得到的特征图乘上一个自适应权重的尺度因子与步骤2.1输入的特征图乘上一个自适应权重的尺度因子相加，得到新的特征图；尺度因子参数将在训练中自行迭代；

步骤2.5，将连续的4个MAWRU级联得到一个级联块。

在上述的一种基于改进的广泛深度神经网络的超分辨率图像重建系统，非线性映射模块自适应权重共享源模块进行非线性映射具体过程如下：

利用级联块提取单元提取的级联块(Cascading Block，以下简称CB)，图像特征提取单元的输出特征图即为x

F

其中，f

其中x

与现有的技术相比，本发明具有以下优点和有益效果：1、本发明通过重新设计网络结构，利用了全新设计的深层特征提取模块：级联块(Cascading Block)、非线性映射模块：自适应权重共享源模块(Adaptive Weighted Share-Source Module)和重构模块可以实现更快速高效的图像重建。2、本发明利用了深度可分离卷积，在不过多影响最终重建效果的情况下降低了参数量，而且加快了计算速度。3、本发明中的MAWRU采用了自使用的权重，允许在不增加参数的情况下提取更多信息。

附图说明

图1是本发明的流程图。

图2是移动自适应权重残差单元(Mobile Adaptive Weighted Residual Unit)的结构图。

图3是整体网络结构图。

图4是本发明的方法示意图。

具体实施方式

实施例1

本发明主考虑现有技术的不足使超分辨率重建的神经网络结构过于庞大，无法移植到其他资源有限的设备上进行使用，提供一种基于网络结构轻量化的超分辨率图像重建方法。本发明可以在图像质量不损失的情况下，对于需要重建至720p(1280×720)的图像时，将模型参数量减小至1M以内，计算量减少至100G以内。

定义图像质量的评价标准为图像峰值信噪比(PSRN)，将图像放大2倍时，PSRN大于34dB，视为可接受。将图像放大4倍时，PSRN大于28dB，视为可接受。

图1为本发明的大致流程框架，下面将对本发明的流程进行一个具体的阐述。

步骤1，MSSN网络提取浅层低分辨率图像特征。MSSN的输入为I

F

f

图1代表的是重建的过程，步骤4包含训练的过程。训练完成后不需要再更改任何参数，实际使用只需按照附图1的步骤进行重建即可。简单来说步骤4的目的只是为了知道每一个模块具体的参数是什么。

步骤2中MSSN网络提出深层特征提取模块：级联块的具体处理过程如下：

在级联块中，引入深度可分离卷积的思想，包括深度卷积(DWconv)和逐点卷积(PWconv),提出了移动自适应权重残差单元(Mobile Adaptive Weighted Residual Unit，以下简称MAWRU)，见图2。

步骤2.1，先假设上一层的输出特征图有N个，即通道数＝N,使用1×1的逐点卷积核进行卷积操作，得到输出通道数为r×N的特征图，r为通道数的扩张倍数。对输出特征图进行参数归一化(Weight Normalization)，将得到的权重向量w分解方向向量

其中v是与w同维度的向量，||v||是欧氏范数，因此

步骤2.2，上一层的输出特征图有r×N个，即通道数＝r×N,利用3×3的深度卷积核进行卷积操作，得到输出通道数为r×N的特征图。得到新的特征图之后，进行参数归一化和激活函数ReLU6处理。

步骤2.3，上一层的输出特征图有r×N个，即通道数＝r×N,利用1×1的逐点卷积核进行卷积操作，得到输出通道数为N的特征图。得到新的特征图之后，进行参数归一化。

步骤2.4，将步骤2.3得到的特征图乘上一个自适应权重的尺度因子与步骤2.1输入的特征图乘上一个自适应权重的尺度因子相加，得到新的特征图。尺度因子参数将在训练中自行迭代。

步骤2.5，将连续的4个MAWRU级联得到一个Cascading Block。

步骤3中非线性映射模块AWSSM进行非线性映射模块具体过程如下：

利用步骤2中的级联块(Cascading Block，以下简称CB)，步骤1的输出特征图即为x

非线性映射模块具体过程如下，

F

其中，f

其中x

步骤4，MSSN网络进行重构。对网络输入的低分辨率图像使用一个核大小为3×3的卷积层，再利用像素洗牌(pixel shuffle)层进行上采样。非线性映射模块的输出进行同样操作，使用一个核大小为3×3的卷积层，再利用像素洗牌(pixel shuffle)层进行上采样。将两个上采样的输出相加即得到重建后的超分辨率图像。

步骤5，将所需要超分辨率重建的图像通过上述训练好的网络模型进行计算，得到重建后放大的图像。

以上就是本发明的详细步骤。本发明提出了一种新的网络结构，做到了减小网络体量、降低计算复杂度、去除冗余内容。

实施例2

本发明对应的还提供一种基于改进的广泛深度神经网络的超分辨率图像重建系统，其特征在于，包含：

图像特征提取单元：图像特征提取单元提取低层低分辨率图像特征,MSSN的输入为I

F

f

级联块提取单元：级联块提取单元提出深层特征提取模块级联块(CascadingBlock)；一个级联块由4个移动自适应权重残差单元(Mobile Adaptive WeightedResidual Unit，简称MAWRU)组成，一个MAWRU由一个1×1逐点卷积、参数归一化层、激活函数ReLU6、一个3×3深度卷积、参数归一化层、激活函数ReLU6、一个1×1逐点卷积、参数归一化层组成；

非线性映射模块自适应权重共享源模块(Adaptive Weighted Share-SourceModule)：使用该模块进行非线性映射；

重构单元：重构单元对网络输入的低分辨率图像使用一个核大小为3×3的卷积层，再利用像素洗牌(pixel shuffle)层进行上采样；非线性映射模块的输出进行同样操作，使用一个核大小为3×3的卷积层，再利用像素洗牌(pixel shuffle)层进行上采样；将两个上采样的输出相加即得到重建后的超分辨率图像；得到重建后的图像与标准的高分辨率图像计算L1范数的损失函数，并利用反向传播算法更新模型的参数；而后通过不同的高低分辨率图像对继续更新模型参数；

图像重建单元：图像重建单元将某张需要超分辨率重建的图像通过步骤4训练好的网络模型进行计算，得到重建后放大的图像，其中，训练好的网络模型即通过不断更新最终确定下来的模型参数。

其中，级联块提取单元具体处理过程包括：

步骤2.1，先定义上一层的输出特征图有N个，即通道数＝N,1×1逐点卷积核进行卷积操作，得到输出通道数为r×N的特征图，r为通道数的扩张倍数；对输出特征图进行参数归一化(Weight Normalization)，将得到的权重向量w分解方向向量

其中v是与w同维度的向量，||v||是欧氏范数，因此

步骤2.2，上一层的输出特征图有r×N个，即通道数＝r×N,利用3×3深度卷积核进行卷积操作，得到输出通道数为r×N的特征图；得到新的特征图之后，进行参数归一化和激活函数ReLU6处理；

步骤2.3，上一层的输出特征图有r×N个，即通道数＝r×N,利用1×1逐点卷积核进行卷积操作，得到输出通道数为N的特征图；得到新的特征图之后，进行参数归一化；

步骤2.4，将步骤2.3得到的特征图乘上一个自适应权重的尺度因子与步骤2.1输入的特征图乘上一个自适应权重的尺度因子相加，得到新的特征图；尺度因子参数将在训练中自行迭代；

步骤2.5，将连续的4个MAWRU级联得到一个级联块。

其中，非线性映射模块自适应权重共享源模块进行非线性映射具体过程如下：

利用级联块提取单元提取的级联块(Cascading Block，以下简称CB)，图像特征提取单元的输出特征图即为x

F

其中，f

其中x

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。