一种基于不动点方程求解的图像超分辨率网络重构方法

技术领域

本发明涉及图像重构技术领域，更具体的是，本发明涉及一种基于不动点方程求解的图像超分辨率网络重构方法。

背景技术

单图像超分辨率(SISR)作为一种经典的图像处理问题之一，近年来得到了广泛的研究，给定一个低分辨率(LR)图像，SISR的任务是生成一个相应的、满足视觉质量的高分辨率(HR)图像。

传统的SISR方法通常通过插值或压缩感知来寻找SISR的可行解决方案，Zhang等人提出了一种基于轮廓的SISR插值方法，还有利用小波变换进行插值的研究，上述研究均是设计一个过滤器来处理图像，但缺乏学习步骤来寻找LR和HR图像之间的统计相关性；SISR的压缩感知从训练数据中学习LR和HR图像之间的映射关系，Chen等人利用K-SVD进行字典学习，获得了良好的恢复性能，Zhao等人考虑了压缩感知中的局部流形投影，以获得更准确的结果，实际上，基于压缩感知的方法高度依赖于调节项的选择，而超参数是人工干预的，缺乏普遍性。

近年来，卷积神经网络(CNNs)在图像超分辨率(SR)上表现出了惊人的性能。SRCNN是第一个基于CNN的图像超分辨率网络，采用三层神经网络来模拟压缩感知的步骤；在其基础上，FSRCNN提高了SRCNN的速度，并利用了更深层次的网络来获得更好的性能；ESPCN提出了一种亚像素卷积策略来调整特征图的大小，并利用它来代替反卷积层，并得到了广泛的应用；VDSR、EDSR和SRDenseNet可以构建更深入、更广泛的网络，以获得更好的性能。RDN结合了残差和稠密的连接，设计了一种新的残余密集的块用于图像恢复；RCAN研究了一个具有通道级注意的残差块，并获得了更好的SR性能；SAN利用一个二阶注意网络来关注特征之间的内在相关性；RFANet聚合残余信息以改进网络表示，在残差聚合的基础上，提出了有效的轻量级图像超分辨率的RFDN；Cross-SRN设计了一种交叉卷积来提高边缘信息的恢复能力。但是，上述方法并不专注于图像超分辨率的数学分析，而只使用端到端CNN将低分辨率(LR)图像映射到高分辨率(HR)图像。

事实上，也有一些在优化的角度来考虑SISR的工作。ADMM-Net提供了压缩感知MRI的优化视角分析，并设计了一个端到端网络来模拟乘子(ADMM)操作的交替方向方法。Ma等人提出了一种基于ADMM的图像超分辨率展开网络。Tuo等人还考虑了使用基于ADMM的求解器的真实孔径超分辨率。ISRN最近也针对单图像超分辨率进行了研究，它利用HQS构建了一个端到端迭代网络。Zhang等人重新思考了图像超分辨率的退化模型，并提出了一种针对任意降采样情况的即插即用的超分辨率网络。然而，上述研究只使用堆叠块来构建迭代公式的求解器，即只将迭代方案作为网络管道设计的指导，而忽略了关注块体系结构。

发明内容

本发明的目的是设计开发了一种基于不动点方程求解的图像超分辨率网络重构方法，通过LandNet模型将迭代步骤展开为连续的网络块，并构建一个直接的网络从低分辨率图像中重构高分辨率图像，能够在较少的参数和计算成本下，具有竞争力和更好的主观性能和客观性能。

本发明提供的技术方案为：

一种基于不动点方程求解的图像超分辨率网络重构方法，包括如下步骤：

步骤一、构建LandNet模型：

输入层为卷积层，第2～8层为卷积层和激活函数层依次交替设置，第9～y层为Landweber迭代块，且迭代步长为k，第y+1层为卷积层，第y+2层为激活函数层，第y+3层为卷积层，输出层为上采样模块层，在第y+3层和输出层之间为跳跃式连接；

所述Landweber迭代块由残差块、卷积层、激活函数层和跳跃式连接组成；

步骤二、将低分辨率图像输入所述LandNet模型，获得与所述低分辨率图像相对应的高分辨率图像。

优选的是，所述激活函数为线性整流函数。

优选的是，所述残差块由卷积层、激活函数层和跳跃式连接组成。

优选的是，所述Landweber迭代块的更新满足：

式中，

优选的是，所述输入层的输入通道数为3，输入层的输出通道数为64。

优选的是，所述LandNet模型中第2～输出层之间的卷积层的输入通道均为64，输出通道均为64。

优选的是，所述上采样模块层由卷积层和亚像素卷积组成。

优选的是，所述迭代步长为16。

优选的是，所述第y+3层和输出层之间的跳跃式连接输出为：

式中，x

本发明所述的有益效果：

(1)、本发明设计开发的一种基于不动点方程求解的图像超分辨率网络重构方法，是基于兰德韦伯迭代方法的图像SR，是能够寻找不适定问题可行解的有效优化方法，通过从优化的角度考虑，本发明通过一个相应的Landweber迭代启发网络来自适应地学习参数并找到HR结果，该网络在较低的情况下，具有更好的主观和客观性能。

(2)、本发明设计开发的基于不动点方程求解的图像超分辨率网络重构方法，通过LandNet模型将迭代步骤展开为连续的网络块，并构建一个直接的网络从LR实例中生成HR图像，在展开块的基础上，建立端到端网络进行有效恢复，能够在较少的参数和计算成本下，具有竞争力和更好的主观、客观性能。

附图说明

图1为本发明所述Landweber迭代块的示意图。

图2为本发明所述LandNet模型的示意图。

图3为本发明所述迭代步长为0时经LandNet模型所重构的图像。

图4为本发明所述迭代步长为4时经LandNet模型所重构的图像。

图5为本发明所述迭代步长为8时经LandNet模型所重构的图像。

图6为本发明所述迭代步长为12时经LandNet模型所重构的图像。

图7为本发明所述迭代步长为16时经LandNet模型所重构的图像。

图8为本发明所述在Urban100中的“img002”的原始图像。

图9为本发明所述在Urban100中的“img002”的高分辨率图像。

图10为本发明所述在Urban100中的“img002”的低分辨率图像。

图11为本发明所述在Urban100中的“img002”经LapSRN所重构的图像。

图12为本发明所述在Urban100中的“img002”经Cross-SRN所重构的图像。

图13为本发明所述在Urban100中的“img002”经LandNet模型所重构的图像。

图14为本发明所述在Urban100中的“img059”的原始图像。

图15为本发明所述在Urban100中的“img059”的高分辨率图像。

图16为本发明所述在Urban100中的“img059”的低分辨率图像。

图17为本发明所述在Urban100中的“img059”经LapSRN所重构的图像。

图18为本发明所述在Urban100中的“img059”经Cross-SRN所重构的图像。

图19为本发明所述在Urban100中的“img059”经LandNet模型所重构的图像。

具体实施方式

下面结合对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

本发明提供的一种基于不动点方程求解的图像超分辨率网络重构方法，使用Landweber迭代方法分析图像的图像超分辨率(SR)问题，并通过一个端到端网络来恢复图像，给定一个低分辨率(LR)图像I

I

式中，D是降采样算子，通常D可以表示为矩阵。

由于问题的高度不适定性，式(1)的解对噪音很敏感，特别是，如果D是一个奇异矩阵，目前还没有确切的解决方案，因此，以一个最小二乘超分辨率的解决方案满足：

式中，I

以不动点方程求解该方程：

I

式中，D

基于此，以迭代求解方案来逐渐更新I

/>

式中，

式(4)可以被改写为：

式(5)可以看作是一个梯度下降过程，随着迭代步长k的累积，精度随之提高。

基于式(5)，如图1所示，本发明提出了Landweber迭代块结构，由三个残差块(ResBlock)、两个卷积层(Conv)和一个激活函数层构成了计算αD

如图2所示，基于上述Landweber迭代块结构构建完整的LandNet模型：

输入层为卷积层，第2～8层为卷积层和激活函数层依次交替设置，第9～y层为Landweber迭代块(LandBlock)，且k＝y-9，第y+1层为卷积层，第y+2层为激活函数层，第y+3层为卷积层，输出层为上采样模块层(Upscale)，在第y+3层和输出层之间为跳跃式连接。

首先输入层Conv处理输入的低分辨率图像(I

x

然后，第2～8层的四个卷积层和三个激活函数层用于计算αD

αD

网络中有k个Landweber迭代块，按照式(5)进行优化，对于第i次迭代，有：

式中，LandBlock

在第k次迭代之后，有一个由两个卷积层和一个激活函数层组成的填充结构来处理特征图，然后，设计一个跳跃连接来学习残差信息并改善梯度传输，如：

式中，x

最后，以一个upscale层从特征图中恢复SR图像，描述为：

I

其中Upscale(·)是由一个卷积层和一个亚像素卷积(PixelShuffle)组成，其中Conv的输入通道数为64，输出为3*s*s，s代表图像的放大倍数，PixelShuffle将3*s*s通道变成3通道，同时放大图像尺寸，完成图像的重构。

其中，输入层的输入通道数为3，输出通道数为64。

其余LandNet模型中的Conv的输入通道均为64，输出通道均为64。

在本实施例中，k＝16。

所述激活函数层均为ReLu激活函数。

损失函数选择为l1范数。

以DIV2K数据集来训练LandNet模型，DIV2K数据集包含800张用于训练的图像和100张用于验证的图像，DIV2K数据集的图像分辨率接近2K，在很多的SR图像作品中被广泛使用，更新网络为1000轮，更新参数使用的优化器为Adam优化器，学习率为lr＝10-4。将低分辨率图像输入的训练数据的补丁大小设置为48×48，所有其他设置都与RDN相同，测试基准被选择为Set5、Set14、B100、Urban100和Manga109。

为了确定本发明的LandNet模型的有效性，将其性能、计算复杂度和参数与其他的图像重构方法如OISR、MSRN、MemNet、EDSR和DBPN进行了比较，计算复杂度被建模为乘法累积运算(MACs)的数量，MACs是通过用给定的比例因子恢复一个720P图像(1280×720)来计算的。

表1显示了多个图像重构方法在四倍放大下，的MACs、参数和PSNR的比较。在表中，可以发现LandNet模型在更少的参数和MACs下比OISR和MSRN获得更好的性能；与EDSR和DBPN相比，LandNet模型以更少的参数和MACs实现了具有竞争力的性能。需要注意的是，相比EDSR，LandNet模型的参数量和MACs只需要其10％，二在Set5数据集上只下降0.08dB的PSNR。同样，与DBPN相比，LandNet拥有近47％的参数和5％的MACs，而只降低了约0.07的dB的PSNR。从这个角度来看，LandNet模型是一种有效的图像超分辨率设计方法。

表1多个图像重构方法在四倍放大下MACs、参数和PSNR的比较

如图3-7所示，为具有不同数量迭代块的LandNet模型图像重构结果，进一步显示迭代块的有效性，在图中，可以发现，随着迭代块数量k的增加，伪影越来越被抑制，视觉质量越来越提高，这与数学分析是一致的，随着k的增加，计算量增大，而性能提升有限，为了平衡计算量、参数量和网络性能，最终选定k＝16作为网络超参设置。

为了展示本发明所述的LandNet模型的性能，将LandNet模型与几个传统的图像重构方法如SRCNN、FSRCNN、VDSR、DRCN、LapSRN、SelNet、RAN、DNCL、滤波网、MRFN、SeaNet、DEGREE、FSN、MFSR、DSRLN和MemNet进行了比较，评价指标为峰值信噪比(PSNR)和结构相似度(SSIM)，表二显示了在5个基准测试上，比例因子×2、×3和×4的平均PSNR/SSIM指标。

表2多个图像重构方法在三个比例因子下的5个基准测试上的平均PSNR/SSIM指标

在表中，可以发现本发明所述的LandNet模型在三个比例因子下的所有五个测试基准上都取得了最好的性能，当比例因子为×2时，LandNet模型比MFSR在Urban100和Manga109上实现了0.4PSNR和0.3PSNR的改进；同样，当比例因子为×3和×4时，LandNet模型在Urban100和Manga109上也取得了显著的改进，需要注意的是，Urban100是一个拥有丰富建筑的数据集，而Manga109是一个拥有漫画的数据集，其中包含了大量的结构信息，从这个角度来看，LandNet模型能有效地恢复高频边缘和结构信息。

如图8-13、14-19所示，显示了在Urban100数据集上的可视化比较。将LandNet模型与两种具有代表性的方法LapSRN和Cross-SRN进行了比较：LapSRN的灵感来自于拉普拉斯金字塔，它利用多尺度的体系结构来恢复结构信息，Cross-SRN是专门设计来专注于恢复边缘和线条的，在图中，可以发现LandNet模型的PSNR性能优于其他工作，提高了将近0.8dB，从这个角度来看，LandNet模型比其他方法具有更优越的结构信息恢复能力，在视觉比较中，LandNet模型可以恢复更准确的线段信息，LandNet模型的结果最接近原始图片。

本发明设计开发的一种基于不动点方程求解的图像超分辨率网络重构方法，由于其特殊的前向计算机制，使其在对重要特征做出强调的同时依旧有能力去保留最原始的特征，并使用了Landweber迭代方法来解决图像SR问题，因为Landweber方法的求解空间与RGB图像空间不一致，使得其无法直接应用于神经网络图像处理当中，本发明设计了Landweber迭代块(LandBlock)来模拟Landweber迭代方法，从而求解超分辨率问题，优化了图像的重构问题，实验结果表明，在较少的参数和计算成本的情况下，LandNet模型可以获得具有竞争力或更好的主观和客观性能。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的实施例。