一种轻量级渐进式特征融合的图像超分辨率系统及方法

技术领域

本发明属于图像处理领域，具体涉及一种轻量级渐进式特征融合的图像超分辨率系统及方法。

背景技术

图像超分辨率技术的研究是计算机视觉中非常经典的任务，它旨在从一张低分辨率的图像中恢复出高分辨率的图像细节，同时增强图像的视觉质量。图像超分辨率技术在医学成像、气象监测、遥感卫星成像等方面有着重要的应用。然而，图像超分辨率是一个典型的不适定问题，因为低分辨图像与它对应的高分辨图像之间是个一对多的关系。由于这种固有的性质，图像超分辨率重建仍然是一项具有挑战性的任务。

目前，随着深度学习的蓬勃发展，基于实例学习的方法成为图像超分辨率技术研究的主流，它试图在低分辨率与高分辨率图像对之间建立映射关系。Dong等人在“ChaoDong, Chen Change Loy, Kaiming He, and Xiaoou Tang, Image super-resolutionusing deep convolutional networks. In IEEE Trans. Pattern Anal. Mach.Intell., vol. 38, no. 2, pp 295–307, 2016”中提出的SRCNN是该类算法的先驱工作，它首先使用双三次插值将低分辨率图像放大成目标尺寸，接着通过三层卷积网络拟合非线性映射，最后输出高分辨率图像结果。随后，Kim等人在“Jiwon Kim, Jung Kwon Lee, andKyoung Mu Lee, Accurate image super-resolution using very deep convolutionalnetworks. In CVPR, 2016, pp 1646–1654”文献中提出了一个更深的网络叫VDSR，包括20个堆积的卷积层，并创新性地提出使用残差学习来缓解网络训练困难的问题。受此影响，之后的工作通过加深和加宽网络来设计新颖的网络模型，取得了很好的效果，比如文献“BeeLim, Sanghyun Son, Heewon Kim, Seungjun Nah, and Kyoung Mu Lee, Enhanced deepresidual networks for single image super-resolution. In CVPR Workshops, 2017,pp 1132–1140”中提出的EDSR、 文献“Yulun Zhang, Kunpeng Li, Kai Li, Lichen Wang,Bineng Zhong, and Yun Fu, Image super-resolution using very deep residualchannel attention networks. In ECCV, 2018, pp 294–310”中提出的RCAN 、文献“Yajun Qiu, Ruxin Wang, Dapeng Tao, and Jun Cheng, Embedded block residualnetwork: A recursive restoration model for single-image super-resolution. InICCV,2019, pp 4179–4188”中提出的 EBRN。

然而，以上大多数方法都忽略了计算量，并且存在参数数量大、内存占用高、推理时间慢等问题。例如，EDSR是NTIRE2017超分辨率挑战赛的冠军，拥有4300万个参数。RCAN是目前的效果较好的方法之一，有800多个卷积层，包含1500多万个参数，需要很长的训练时间。EBRN也是一个巨大的模型，占据了超过800万个参数，并且需要很长的运行时间来恢复一张图片。

最近一些工作也做了模型轻量化的尝试。Ahn 等人在文献“Namhyuk Ahn,Byungkon Kang, and Kyung-Ah Sohn, Fast, accurate, and lightweight super-resolution with cascading residual network. In ECCV, 2018, pp 256–272.”中使用共享卷积核和组卷积来减少网络参数。Dong等人在文献“Chao Dong, Chen Change Loy,and Xiaoou Tang. Accelerating the super-resolution convolutional neuralnetwork. In Computer Vision - ECCV, Vol. 9906. pp 391–407”中提出把特征的非线性转化约束在低维空间中，仅仅在网络尾部使用上采样层来提升分辨率。Wang等人在文献“Xuehui Wang, Qing Wang, Yuzhi Zhao, Junchi Yan, Lei Fan, and Long Chen.Lightweight single-image super-resolution network with attentive auxiliaryfeature learning. In Computer Vision - ACCV 2020, pp 268–285”中提出使用中间层的辅助特征来实现模型的轻量化。Han等人在文献“Wei Han, Shiyu Chang, Ding Liu, MoYu, Michael Witbrock, and Thomas S. Huang, Image super-resolution via dual-state recurrent networks. In CVPR, 2018, pp 1654–1663”中通过学习低分辨和高分辨两个特征状态来降低模型的复杂度。更进一步，Hui等人“Zheng Hui, Xinbo Gao,Yunchu Yang, and Xiumei Wang, Lightweight image super-resolution withinformation multi-distillation network, In ACM MM, 2019, pp 2024–2032”在文献中采用残差特征蒸馏和通道对比度注意力机制来实现特征的重复利用，以达到模型轻量化的目的。最近，Zhang 等人“Huanrong Zhang, Zhi Jin, Xiaojun Tan, and Xiying Li.Towards lighter and faster: learning wavelets progressively for image super-resolution. In ACM MM:, 2020, pp 2113–2121”在文献中提出逐步学习目标图像的小波系数来实现图像的超分辨率。然而，这些方法对中间特征的利用还不完全，往往会导致巨大的性能损失。因此，仍有空间开发性能与轻量级模型兼顾的图像超分辨率重建系统及方法。

发明内容

针对现有技术中的上述不足，本发明提供的轻量级渐进式特征融合的图像超分辨率系统及方法解决了现有技术中计算量大、耗时长以及系统复杂的问题。

为了达到上述发明目的，本发明采用的技术方案为：一种轻量级渐进式特征融合的图像超分辨率系统，包括输入层，所述输入层用于输入低分辨率图像，其连接至第一卷积层以进行低分辨率图像的初始特征提取；所述第一卷积层与若干渐进式注意模块PAB依次连接以对初始特征进行特征处理，得到次级特征；所述第一卷积层的输出特征与最后一个渐进式注意模块PAB的输出特征相加，以将初始特征和次级特征相加合并为一个特征图，并将合并的特征图作为上采样模块的输入信号；所述上采样模块用于对合并的特征图进行上采样，获取高分辨率图像，并将高分辨率图像输出至输出层进行输出。

进一步地，所述上采样模块用于提升图像分辨率，其包括依次连接的第一Nearest上采样层、第二卷积层、第一卷积像素注意力模块CPAM、第三卷积层、第二Nearest上采样层、第四卷积层、第二卷积像素注意力模块CPAM以及第五卷积层。

进一步地，每个所述渐进式注意模块PAB的结构相同，均包括第一分支、第二分支、第三分支和第四分支4个分支，所述4个分支分别采用第六卷积层、第七卷积层、第八卷积层和第九卷积层将渐进式注意模块PAB的输入信号转换为原通道数的1/4，并保持空间大小不变；

第一分支的第六卷积层连接至Concat层，第二分支的第七卷积层输出信号经过第三卷积像素注意力模块CPAM处理后输出至Concat层，第三分支的第八卷积层输出信号与第三卷积像素注意力模块CPAM的处理信号相加且相加结果经第四卷积像素注意力模块CPAM处理后输出至Concat层，第四分支的第九卷积层输出信号与第四卷积像素注意力模块CPAM相加且相加结果经第五卷积像素注意力模块CPAM处理后输出至Concat层；

所述Concat层用于将4个分支的信号在通道维度进行拼接以恢复原始大小，所述Concat层的输出信号经过对偶注意力单元DAM以及第十卷积层处理后作为渐进式注意模块PAB的输出信号；所述对偶注意力单元DAM用于提高系统重建性能，并采用空间注意力机制和通道注意力机制进行特征处理。

进一步地，所述第一卷积像素注意力模块CPAM至第五卷积像素注意力模块CPAM的结构相同；第一卷积像素注意力模块CPAM的输入信号分别传输至第十一卷积层以及第十二卷积层，所述第十一卷积层的输出特征与Sigmoid函数层的输出特征相加，并将相加结果作为第十三卷积层的输入信号，所述第十二卷积层输出信号至Sigmoid函数层，所述第十三卷积层的输出信号作为第一卷积像素注意力模块CPAM的输出信号。

进一步地，所述对偶注意力单元DAM包括依次连接的通道注意力机制部分和空间注意力机制部分；

所述通道注意力机制部分以对偶注意力单元DAM的输入信号作为输入，且输入信号分别通过依次连接的平均池化层、第十四卷积层、第十五卷积层以及依次连接的极大池化层、第十六卷积层、第十七卷积层进行处理，将经平均池化层、第十四卷积层、第十五卷积层得到的处理信号与经极大池化层、第十六卷积层、第十七卷积层得到的处理信号相加，且将相加信号作为第二Sigmoid函数层的输入信号，所述第二Sigmoid函数层的输出信号与对偶注意力单元DAM的输入信号相乘作为输出；

所述空间注意力机制部分以通道注意力机制部分的输出信号作为输入，且输入信号沿空间维度求取特征平均值和特征最大值后输入至特征拼接层，所述特征拼接层依次与第十八卷积层以及第三Sigmoid函数层连接，所述第三Sigmoid函数层的输出信号与通道注意力机制部分的输出信号相乘作为对偶注意力单元DAM的输出信号。

本发明的有益效果为：

（1）本发明提出了一种轻量级渐进式特征融合的图像超分辨率系统，减少了系统参数以及计算复杂度，运行效率高，实现图像超分辨率的同时，减少了运行时间以及运算资源消耗

（2）本发明构建了渐进式注意模块PAB，采用并行结构，将高维度的特征图转化为低维度的特征进行处理，并结合了多尺度特征以及注意力机制，减少了模型参数，提供较好的工作性能，实现了模型参数与性能的平衡。

（3）本发明构建了对偶注意力单元DAM，包含空间注意力机制和通道注意力机制，实现轻量级结构的同时，提高了网络重建的性能。通过构建CPAM来增强特征，并搭配两个卷积层使上采样模块能够提升分辨率2倍或3倍。

一种使用轻量级渐进式特征融合的图像超分辨率系统的图像超分辨率方法，包括以下步骤：

S1、输入低分辨率图像至轻量级渐进式特征融合的图像超分辨率系统，通过第一卷积层提取低分辨率图像的初始特征；

S2、使用若干渐进式注意模块PAB对初始特征进行特征处理，得到次级特征；

S3、将初始特征与次级特征相加，得到特征图；

S4、通过上采样模块对特征图上采样，得到高分辨率图像。

本发明的有益效果为：本发明能够从低分辨率图像中恢复出高分辨率的图像，并且具有运行效率高以及资源消耗低的特点。

附图说明

图1为本发明提出的轻量级渐进式特征融合的图像超分辨率系统的示意图。

图2为本发明提出的轻量级渐进式特征融合的图像超分辨率方法流程图。

图3为不同训练方式的学习率下降方法。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

下面结合附图详细说明本发明的实施例。

实施例1

如图1所示，一种轻量级渐进式特征融合的图像超分辨率系统，包括输入层，所述输入层用于输入低分辨率图像，其连接至第一卷积层以进行低分辨率图像的初始特征提取；所述第一卷积层与若干渐进式注意模块PAB（Progressive Attention Block）依次连接以对初始特征进行特征处理，得到次级特征；所述第一卷积层的输出特征与最后一个渐进式注意模块PAB的输出特征相加，以将初始特征和次级特征合并为一个特征图，并将合并的特征图作为上采样模块的输入信号；所述上采样模块用于对合并的特征图进行上采样，获取高分辨率图像，并将高分辨率图像输出至输出层进行输出。

所述上采样模块用于提升图像分辨率，其包括依次连接的第一Nearest上采样层、第二卷积层、第一卷积像素注意力模块CPAM（Convolutional Pixel Attention Module）、第三卷积层、第二Nearest上采样层、第四卷积层、第二卷积像素注意力模块CPAM以及第五卷积层。

每个所述渐进式注意模块PAB的结构相同，均包括第一分支、第二分支、第三分支和第四分支4个分支，所述4个分支分别采用第六卷积层、第七卷积层、第八卷积层和第九卷积层将渐进式注意模块PAB的输入信号的通道数转换为原通道数的1/4，并保持空间大小不变；

第一分支的第六卷积层连接至Concat层，第二分支的第七卷积层输出信号经过第三卷积像素注意力模块CPAM处理后输出至Concat层，第三分支的第八卷积层输出信号与第三卷积像素注意力模块CPAM的处理信号相加且相加结果经第四卷积像素注意力模块CPAM处理后输出至Concat层，第四分支的第九卷积层输出信号与第四卷积像素注意力模块CPAM相加且相加结果经第五卷积像素注意力模块CPAM处理后输出至Concat层。

在本实施例中，Concat层用于将输入的特征图进行维度拼接。

所述Concat层用于将4个分支的信号在通道维度进行拼接以恢复原始大小，所述Concat层的输出信号经过对偶注意力单元DAM（Dual Attention Module）以及第十卷积层处理后作为渐进式注意模块PAB的输出信号；所述对偶注意力单元DAM用于提高系统重建性能，并采用空间注意力机制和通道注意力机制进行特征处理。

所述第一卷积像素注意力模块CPAM至第五卷积像素注意力模块CPAM的结构相同；第一卷积像素注意力模块CPAM的输入信号分别传输至第十一卷积层以及第十二卷积层，所述第十一卷积层的输出特征与Sigmoid函数层的输出特征相加，并将相加结果作为第十三卷积层的输入信号，所述第十二卷积层输出信号至Sigmoid函数层，所述第十三卷积层的输出信号作为第一卷积像素注意力模块CPAM的输出信号。

所述对偶注意力单元DAM包括依次连接的通道注意力机制部分和空间注意力机制部分；

所述通道注意力机制部分以对偶注意力单元DAM的输入信号作为输入，且输入信号分别通过依次连接的平均池化层、第十四卷积层、第十五卷积层以及依次连接的极大池化层、第十六卷积层、第十七卷积层进行处理，将经平均池化层、第十四卷积层、第十五卷积层得到的处理信号与经极大池化层、第十六卷积层、第十七卷积层得到的处理信号相加，且将相加信号作为第二Sigmoid函数层的输入信号，所述第二Sigmoid函数层的输出信号与对偶注意力单元DAM的输入信号相乘作为输出；

所述空间注意力机制部分以通道注意力机制部分的输出信号作为输入，且输入信号沿通道求取特征平均值和特征最大值后输入至特征拼接层，所述特征拼接层依次与第十八卷积层以及第三Sigmoid函数层连接，所述第三Sigmoid函数层的输出信号与通道注意力机制部分的输出信号相乘作为对偶注意力单元DAM的输出信号。

在本实施中，相乘表示空间位置相对应的元素相乘。

渐进式注意模块PAB是本发明提出来进行特征处理的，采用了一个并行的结构。对于一个特征输入，首先用4个1*1卷积把特征转化为原通道数的1/4，并保持空间大小不变。第一个分支的结果直接映射到中间层，不做处理。第二个分支的结果用卷积像素注意力模块CPAM处理后映射到中间层。对于第三和第四分支，都与上一个分支的结果相加后送入CPAM处理，最后映射到中间层。这4个分支经过处理后，在通道维度进行拼接以恢复到原始的大小。DAM模块提供了注意力机制，包括通道注意力和空间注意力，以顺序的方式处理特征。不同于以往的注意力机制模块，它们大多采用基于全连接的多层感知机机制来实现特征的非线性转化。本发明中的DAM模块分别仅仅采用一维和二维卷积分别处理通道和空间维度上的注意力特征图。这样做极大地节省了计算量和模型参数。在上采样模块中，首先使用Nearest插值法提升特征图的分辨率，再用2个3*3卷积和CPAM来进行特征增强。每一个上采样模块可以提升分辨率2倍或者3倍，可以使用2个上采样模块来达到4倍上采样的目的。

表1对比实验结果表

从表1可以看出，随着PAB、CPAM、DAM这个三个模块加入网络，模型的效果越来越好。对比第二行和第三行的模型，其中，第二行的模型，渐进式注意模块PAB由一连串卷积块代替，随着PAB的加入，参数量减少了，效果反而增强了。CPAM是基于像素点的注意力机制，加入到模型中，也可以增加模型效果。DAM是一个非常轻量级的通道和空间注意力机制块，只增加极小的计算开销，却可以很大提升模型的效果。

实施例2

如图2所示，一种使用轻量级渐进式特征融合的图像超分辨率系统的图像超分辨率方法，包括以下步骤：

S1、输入低分辨率图像至轻量级渐进式特征融合的图像超分辨率系统，通过第一卷积层提取低分辨率图像的初始特征；

S2、使用若干渐进式注意模块PAB对初始特征进行特征处理，得到次级特征；

在本实施例中，渐进式注意模块PAB采用了一个并行的结构。对于一个特征输入，首先用4个1*1卷积把特征转化为原通道数的1/4，并保持空间大小不变。第一个分支的结果直接映射到中间层，不做处理。第二个分支的结果用CPAM模块处理后映射到中间层。对于第三和第四分支，它们都与上一个分支的结果相加后送入CPAM处理，最后映射到中间层。这4个分支经过处理后，在通道维度进行拼接以恢复到原始的大小。

S3、将初始特征与次级特征相加，得到特征图；

S4、通过上采样模块对特征图上采样，得到高分辨率图像。

在本实施中，上采样模块使用Nearest插值法提升特征图的分辨率，再用两个3*3卷积和CPAM来进行特征增强。每一个上采样模块可以提升分辨率2倍或者3倍，可以使用两个上采样模块来达到4倍上采样的目的。

本发明采用随机梯度下降算法来优化网络参数，采用L1 损失作为目标损失函数。DIV2K数据集作为训练集，它包含800张高清图像。每一个批次输入32张图片进入网络训练。当800张图片一共迭代1000次时就停止网络的训练。在训练过程中，学习率是一个非常重要的变量，它直接关系到训练后模型的效果。受到重启动机制的启发，本文采用余弦退火(cos_lr)的学习率衰减方式来训练网络。传统的方法一般采用步态下降（step_lr）的方式，不同学习率下降方式如图3所示。可以发现，采用步态下降的方式，每隔200的训练轮次，学习率就减少一半。而余弦退火可以通过余弦函数来降低学习率。随着训练次数的增加，学习率首先缓慢下降，然后加速下降，再次缓慢下降，之后又恢复到原始最大值。因为，本发明中的网络是轻量级的模型，模型的容量比较小，并且目标优化函数可能是多峰的，除了全局最优解之外还有多个局部最优解，在训练时梯度下降算法可能陷入局部最小值。此时，通过突然提高学习率，可以跳出局部最小值并找到通向全局最小值的路径。因此，本发明采用余弦退火的学习率下降的方式，可以极大地挖掘轻量级网络的性能。

采用本发明结构的优点可以分模块地进行叙述。首先，PAB模块采用了并行的结构，将高维度的特征图转化为低维度的特征进行处理。其次，在上采样部分，摒弃了复杂度高的反卷积操作和亚像素卷积操作，Nearest插值法不会引入任何参数，进一步减少了模型的大小。此外，不同于以前的网络结构，本发明仅仅采用40的通道数量以达到减少网络宽度的目的，这样可以极大地减少模型参数。从表2可以看出，本发明在运行时间，模型大小，模型复杂度，重建效果上和其他方法比较都达到了目前最优的结果。

表2 模型复杂度对比表格

表2中的CARN指代的方法来自文献“Namhyuk Ahn, Byungkon Kang, and Kyung-Ah Sohn. Fast, accurate, and lightweight super-resolution with cascadingresidual network. In Computer Vision – ECCV 2018, pp 256–272”，IMDN指代的方法来自文献“Zheng Hui, Xinbo Gao, Yunchu Yang, and Xiumei Wang. Lightweightimage super-resolution with information multi-distillation network. In ACMMM. pp 2024–2032.”，A

表3 效果和时间对比表格

表3给出了本发明在公开数据集上与现有的方法在峰值信噪比（PSNR）和运行时间上的比较，可以发现，本发明取得最好的重建效果（PSNR数值越大效果越好），同时保持了较低的运行时间开销。在表3中，DSRN指代的方法来自文献“Wei Han, Shiyu Chang, DingLiu, Mo Yu, Michael Witbrock, and Thomas S. Huang, Image super-resolution viadual-state recurrent networks. In CVPR, 2018, pp 1654–1663”，VDSR指代的方法来自文献“Jiwon Kim, Jung Kwon Lee, and Kyoung Mu Lee, Accurate image super-resolution using very deep convolutional networks. In CVPR, 2016, pp 1646–1654.”，SRFBN指代的方法来自文献“Zhen Li, Jinglei Yang, Zheng Liu, XiaominYang, Gwanggil Jeon, and Wei Wu. Feedback Network for Image Super-Resolution.In CVPR 2019 , pp 3867–3876.”, A

综上所述，本发明基于渐进式特征融合的轻量级网络，不仅可以从低分辨率图像中恢复出高分辨率的图像，与目前方法比取得最好的重建效果，而且该系统具有更少的参数和更小的运算开销。