基于跨尺度非局部注意力机制的图像超分辨率重建方法

技术领域

本发明涉及图像处理技术领域，特别是涉及基于跨尺度非局部注意力机制的图像超分辨率重建方法。

背景技术

本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。

单幅图像的超分辨率重建技术，其目的在于根据一张已有的低分辨率图像恢复出高分辨率的图像。图像超分辨率技术在卫星、遥感、天文学、安防、生物医学等诸多领域都极具应用价值。目前图像超分辨率重建技术普遍采用卷积神经网络或生成对抗网络，例如SRCNN、SRGAN等。

在深度学习兴起之前，传统的图像超分辨率重建算法占据了主导的地位，例如基于空间域、频域、非均匀插值、迭代反投影、凸集投影法、基于统计学习与基于字典学习的超分辨率重建方法等，但是传统的图像超分方法需要丰富的先验知识，且生成的超分图像的边缘和细节较为模糊。随着深度学习的兴起，Chao Dong等人最先将深度学习应用在了图像超分领域之中，他们所提出的SRCNN网络，虽然只有三层网络，但是所取得的效果却远超传统的图像超分算法。然而由于SRCNN网络过于依赖小图像的上下文信息，训练时收敛速度过慢，且只适用于单一的采样尺度，因而Chao Dong等人在对SRCNN网络相关缺点进行改进后，提出了训练速度更快的FSRCNN网络；Jiwon Kim等人提出了神经网络层数更大且采用残差连接的VDSR，使得网络能够提取到更多的特征图，重建后的图像细节也更加丰富；随后，Wenzhe Shi等人提出的ESPCN网络实现了在单独的K2 GPU上实时处理1080P视频；Mao等人提出的RED-Net模型由卷积层和反卷积层组成，并且卷积层和反卷积层呈现对称分布，也就是编码-解码结构。卷积层起到提取特征与去噪的作用，反卷积层先接受去噪后的特征图像，再将其重建成为高分辨率图像，这就使得恢复出来的图像更加清晰。

图像超分辨率重建在本质上而言是一种不适定问题，从一张低分辨率图像中重建出的高分辨率图像是无穷多样的，简而言之，该问题的解空间是不固定的，在以上所提及的方法中并没有对图像超分的解空间进行限制。

综上所述，深度神经网络通过学习从低分辨率(LR)图像到高分辨率(HR)图像的非线性映射函数，在图像超分辨率(SR)方面表现出了良好的性能。但是，现有的SR重建方法存在如下问题：

(1)学习从LR图像到HR图像是一个典型的不适定问题，存在着无限多个HR图像可以通过下采样获得相同的LR图像，因此，可能的函数的解空间极大，这就使得找到一个好的解决方案变得非常困难.

(2)在实际的应用中，配对的LR和HR图像往往是不存在的，潜在的退化方法往往是未知的。

(3)无法从LR图像中搜索到有效的高频细节，影响图像超分辨率重建的准确性。

发明内容

为了解决现有技术的不足，本发明提供了基于跨尺度非局部注意力机制的图像超分辨率重建方法、系统、电子设备及计算机可读存储介质，提出了一种基于跨尺度非局部注意力机制的双回归网络，通过双回归网络对图像超分的解空间进行限制，从而使得重建的超分图像更加接近真实图像；使用了跨尺度的非局部注意力机制，从而使得网络能够更好的挖掘图像中广泛存在的跨尺度特征相似性，进一步将其与局部先验和单尺度内的非局部先验进行集成，大大的提高了模型的超分重建性能。

第一方面，本发明提供了基于跨尺度非局部注意力机制的图像超分辨率重建方法；

基于跨尺度非局部注意力机制的图像超分辨率重建方法，包括：

获取待处理图像；

将待处理图像输入预设的图像超分辨率重建模型，得到超分辨率图像；

其中，所述图像超分辨率重建模型包括依次连接的U-Net网络、多尺度自注意力融合模块和上采样层；

所述U-Net网络用于提取待处理图像的浅层特征提取，获取低分辨率图像；

所述多尺度自注意力融合模块用于引入多个非局部注意力机制、跨尺度非局部注意力机制和传统特征提取分支，以提取低分辨率图像的高频特征，并将非局部注意力机制、跨尺度非局部注意力机制和传统特征提取分支输出的高频特征子图进行多重相互映射融合，获取超分辨率特征子图；

所述上采样层将多个多尺度自注意力融合模块输出的超分辨率特征子图拼接，获取超分辨率图像。

进一步的，所述图像超分辨率重建模型还包括对偶回归网络，所述对偶回归网络用于与所述U-Net网络配合，计算超分辨率图像和低分辨率图像的相似度，以监督低分辨率图像的超分辨率重建。

进一步的，非局部注意力机制表示为

其中，X为输入低分辨率图像的特征映射，ψ(X

进一步的，跨尺度非局部注意力机制对低分辨率图像进行处理包括：

对输入的低分辨率图像进行S倍的下采样，获取分辨率变换后的特征图；

将低分辨率图中的子图表示为特征图中的像素，在像素级别上计算低分辨率图像和特征图之间的softmax匹配评分；

根据softmax匹配评分，对位于低分辨率图中的与特征图中像素相匹配的子图进行反卷积，获取高频特征子图。

进一步的，跨尺度非局部注意力机制表示为

/>

其中，

进一步的，所述多尺度自注意力融合模块将非局部注意力机制、跨尺度非局部注意力机制和传统特征提取分支输出的高频特征子图进行多重相互映射融合包括：

计算非局部注意力机制输出的高频特征子图和跨尺度非局部注意力机制输出的高频特征子图之间的残差信息，对残差信息进行单层卷积，并将单层卷积后的残差信息与非局部注意力机制输出的高频特征子图相加，获取第一高频特征子图；

对第一高频特征子图进行下采样，并计算下采样后的第一高频特征子图与传统特征提取分支输出的高频特征子图的残差，并对残差进行上采样；

将上采样后的残差与第一高频特征子图相加，获取超分辨率特征子图。

进一步的，所述多尺度自注意力融合模块为多个，多个多尺度自注意力融合模块构成递归网络。

第二方面，本发明提供了基于跨尺度非局部注意力机制的图像超分辨率重建系统；

基于跨尺度非局部注意力机制的图像超分辨率重建系统，包括：

图像采集模块，被配置为：获取待处理低分辨率图像；

图像超分辨率重建模块，被配置为：将待处理图像输入预设的图像超分辨率重建模型，得到超分辨率图像；

其中，所述图像超分辨率重建模型包括依次连接的U-Net网络、多个多尺度自注意力融合模块和上采样层；

所述U-Net网络用于提取待处理图像的浅层特征提取，获取低分辨率图像；

所述多尺度自注意力融合模块用于引入非局部注意力机制、跨尺度非局部注意力机制和传统特征提取分支，以提取低分辨率图像的高频特征子图，并将非局部注意力机制、跨尺度非局部注意力机制和传统特征提取分支输出的高频特征进行多重相互映射融合，获取超分辨率特征子图；

所述上采样层将多个多尺度自注意力融合模块输出的超分辨率特征块拼接，获取超分辨率图像。

第三方面，本发明提供了一种电子设备；

一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述基于跨尺度非局部注意力机制的图像超分辨率重建方法的步骤。

第四方面，本发明提供了一种计算机可读存储介质；

一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述基于跨尺度非局部注意力机制的图像超分辨率重建方法的步骤。

与现有技术相比，本发明的有益效果是：

1、本发明提供的技术方案，通过在LR数据中引入额外的约束来减少可能的函数解空间；在训练过程中，除了学习一个LR到HR的映射之外，还额外学习了一个双回归映射来预估下采样核并且重建LR图像，这样就形成了一个闭环来提供额外的监督。由于本发明所提出的双回归网络不依赖于HR图像，因而可以直接从LR图像进行学习，这就使得图像超分辨率重建模型模型更加容易适应于真实世界的图像。

2、本发明提供的技术方案，为了能够更好的从LR图像中搜索到高频细节，从而获得更加准确、可靠、高质量的重建结果，我们将跨尺度的非局部注意力机制引入到网络中，学习挖掘同一特征映射中LR特征与大尺度HR斑块之间的关系，随后，将其与局部先验、尺度内非局部先验集成到一个自样本挖掘模块中，并将它们与多分支相互投影融合。最后，将该模块嵌入到双回归网络之中，用于图像超分辨率任务。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例提供的流程示意图；

图2为本发明实施例提供的图像超分辨率重建模型的网络架构示意图；

图3为本发明实施例提供的跨尺度非局部注意力机制的网络架构示意图；

图4为本发明实施例提供的多尺度自注意力融合模块的网络架构示意图；

图5为本发明实施例提供的不同的重建模型的效果对比示意图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例一

现有技术中，图像超分辨率重建的解空间过大且并没有很好的挖掘图像中的跨尺度特征相似性；因此，本发明提供了基于跨尺度非局部注意力机制的图像超分辨率重建方法，通过在LR数据中引入额外的约束来减少可能的函数解空间，通过跨尺度的非局部注意力机制学习挖掘同一特征映射中LR特征与大尺度HR斑块之间的关系。

接下来，结合图1-图5对本实施例公开的基于跨尺度非局部注意力机制的图像超分辨率重建方法进行详细说明。

该基于跨尺度非局部注意力机制的图像超分辨率重建方法，包括如下步骤：

S1、获取待处理图像。

S2、将待处理图像输入预设的图像超分辨率重建模型，得到超分辨率图像；其中，图像超分辨率重建模型包括依次连接的U-Net网络、多尺度自注意力融合模块、上采样层和对偶回归网络，多尺度自注意力融合模块包括非局部注意力机制、跨尺度非局部注意力机制、传统特征提取分支和特征融合模块。

U-Net网络用于提取待处理图像的浅层特征提取，获取低分辨率图像；多尺度自注意力融合模块用于引入多个非局部注意力机制、跨尺度非局部注意力机制和传统特征提取分支，以提取低分辨率图像的高频特征，并将非局部注意力机制、跨尺度非局部注意力机制和传统特征提取分支输出的高频特征子图进行多重相互映射融合，获取超分辨率特征子图；上采样层将多个多尺度自注意力融合模块输出的超分辨率特征子图拼接，获取超分辨率图像；对偶回归网络用于与U-Net网络配合，计算超分辨率图像和低分辨率图像的相似度，以监督低分辨率图像的超分辨率重建。

具体的，图像超分辨率重建模型的整体网络架构如图1所示，该网络是在U-Net的设计基础上进行构建的。CNDRN网络由两部分组成，包括原始网络和对偶网络。原始网络采用的是U-Net的下采样模块(图1中的左半部分)和上采样模块(图1中的右半部分)的设计，每个采样模块中都包含有log

在对偶网络中，现有的方法大多只专注于学习LR到HR图像的映射，但是，可能的映射函数的空间可能非常的大，这就使得训练难度大大提升。为了解决这个问题，本实施例引入了对偶回归网络(Dual Regression Network,简称为DRN)来提供一个额外的约束条件。

示例性的，在进行训练的时候，网络不仅仅学习从低分辨率图像到高分辨率图像(即LR→HR)的映射，还同时学习从超分辨率图像到低分辨率图像(即HR→LR)的对偶映射。

将LR图像集合标记为X，其中每张LR图像标记为x

任务一：网络学习一个映射P，实现从X→Y的映射，使得超分图像P(x

任务二：网络学习一个映射D，实现从Y→X的映射，使得对偶超分图像D(y

通过共同学习以上两个任务，原始学习任务和对偶学习任务便形成了一个闭环并且共同提供信息来训练映射P和映射D。如果P(x

其中N表示匹配的LR-HR数目；L

在介绍多尺度自注意力融合模块(Multiple Self-Attention Fusion Module，简称MSAF模块)之前，首先分别介绍单一尺度内的非局部注意力机制和跨尺度的非局部注意力机制。

非局部注意力机制可以通过从整体图像中总结相关特征来探索自我范例。在形式上，假设给定的图像特征映射为X，则非局部注意力可以表示为式(2)：

其中，X为输入低分辨率图像的特征映射，ψ(X

φ(X

上述非局部注意力机制是在单一尺度内计算的，称作In-Scale Non-LocalAttention(ISNL)，而为了测量LR图像中像素和不同尺度patch之间的相关性，我们引入了跨尺度的非局部注意力机制(Cross-Scale Non-Local Attention，简称CSNL)。不同于ISNL中测量低分辨率像素之间的互相关性，CSNL旨在测量LR图像中低分辨率像素及其所对应的跨尺度patch之间的互相关性。

CSNL的结构示意图如图3所示，假设给定的输入特征X的空间大小为(W,H)，由于空间维度之间的差异，若直接使用一般的相似性度量方法来匹配像素和patch是及其困难的，因此我们首先对输入特征X进行s倍的下采样，获得空间大小为

基于公式(2)，我们可以写出CSNL的表达式，如式(4)所示：

其中，

对从输入特征中提取到的特征块

为了能够整合获得的所有可能的内在先验以及丰富的外部图像先验，引入了MSAF模块，MSAF模块结构如图4所示。在MSAF模块中，我们利用多分支结构挖掘图像的自相似性，学习新的信息，包括传统的Local分支和ISNL分支以及CSNL分支。在将ISNL分支进行反卷积之后，我们高要将三个分支进行多重相互映射融合，具体步骤如下：首先计算ISNL的输出特征F

重复的MSAF模块被嵌入到循环的框架之中，如图2中所示，在每次迭代时，多重相互映射融合的结果一方面作为MSAF的隐藏单元H

示例性的，如图2所示，将待重建图像输入预设的图像超分辨率重建模型。首先，经过第一个融合倒置残差模块对输入图像进行浅层特征提取和降采样，输出的浅层特征图一方面与对应的深层特征图进行残差连接，参与到超分辨率图像的重建中；另一方面，该浅层特征图会经过归一化处理，随后输入到第二个融合倒置残差模块中继续进行特征提取并与相应的深层特征图进行残差连接。在经过第二个融合倒置残差模块提取特征并归一化处理后，输出特征图除了经过归一化处理后进入多尺度自注意力融合模块来挖掘特征图中跨尺度的自相似性，还会直接经过一个单层的卷积层进行图像重建，得到一倍大小的重建图像。该重建图像将用于计算与回归网络下采样所获得的一倍大小低分辨率图像之间的相似度。在对注意力模块的输出特征进行拼接及上采样操作后，重复与之前相似的操作，直接进行图像重建以获得二倍大小的重建图像的同时，将输出特征输入下一个多尺度自注意力融合模块，对该多尺度自注意力融合输出特征进行拼接和上采样后经过重建便可以获得满足需要的四倍大小的高分辨率图像。而在对偶网络中，对重建后的四倍高分辨率图像依次进行二倍、四倍下采样，以此获得二倍、一倍大小的低分辨率图像，并分别与之前所获得的二倍、一倍大小的重建图像进行相似性对比。

实施例二

本实施例公开了基于跨尺度非局部注意力机制的图像超分辨率重建系统，包括：

图像采集模块，被配置为：获取待处理低分辨率图像；

图像超分辨率重建模块，被配置为：将待处理图像输入预设的图像超分辨率重建模型，得到超分辨率图像；

其中，所述图像超分辨率重建模型包括依次连接的U-Net网络、多个多尺度自注意力融合模块和上采样层；

所述U-Net网络用于提取待处理图像的浅层特征提取，获取低分辨率图像；

所述多尺度自注意力融合模块用于引入非局部注意力机制、跨尺度非局部注意力机制和传统特征提取分支，以提取低分辨率图像的高频特征子图，并将非局部注意力机制、跨尺度非局部注意力机制和传统特征提取分支输出的高频特征进行多重相互映射融合，获取超分辨率特征子图；

所述上采样层将多个多尺度自注意力融合模块输出的超分辨率特征块拼接，获取超分辨率图像。

此处需要说明的是，上述图像采集模块和图像超分辨率重建模块对应于实施例一中的步骤，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。

实施例三

本发明实施例三提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，计算机指令被处理器运行时，完成上述基于跨尺度非局部注意力机制的图像超分辨率重建方法的步骤。

实施例四

本发明实施例四提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述基于跨尺度非局部注意力机制的图像超分辨率重建方法的步骤。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。