图像超分辨率重建方法、装置、存储介质及电子设备

技术领域

本申请涉及计算机技术领域，具体涉及一种图像超分辨率重建方法、装置、存储介质及电子设备。

背景技术

图像超分辨率重建(Super-Resolution Image Reconstruction)，指的是根据低分辨率图像重建出高分辨率图像。常见的图像超分辨率重建方法有基于统计特征和基于深度学习的图像超分辨率重建方法。然而常见的方法在重建过程中容易丢失细节，所得的超分辨率重建图像的效果欠佳，影响图像超分辨率重建的准确性。

发明内容

本申请实施例提供了一种模型训练方法、图像重建方法、相关装置、存储介质及电子设备，可以提高图像超分辨率重建的准确性。

第一方面，本申请实施例提供了一种图像超分辨率重建方法，包括：

获取需要进行超分辨率重建的第一图像；

获取预训练的图像超分辨率重建网络，其中所述图像超分辨率重建网络包括特征提取模块，残差模块，上采样模块以及重建模块；

通过所述特征提取模块对所述第一图像进行特征提取，得到特征提取结果；

通过所述残差模块对所述特征提取结果进行残差处理，得到残差处理结果；

通过所述上采样模块对所述特征提取结果进行上采样处理，得到第一上采样结果，以及通过所述上采样模块对所述残差处理结果进行上采样处理，得到第二上采样结果；

融合所述第一上采样结果以及所述第二上采样结果得到融合结果；

通过重建模块对所述融合结果进行超分辨率重建，得到第二图像，其中所述第二图像的分辨率大于所述第一图像的分辨率。

第二方面，本申请实施例提供了一种图像超分辨率重建装置，包括：

获取模块，用于获取需要进行超分辨率重建的第一图像；

获取网络模块，用于获取预训练的图像超分辨率重建网络，其中所述图像超分辨率重建网络包括特征提取模块，残差模块，上采样模块以及重建模块；

特征提取模块，用于通过所述特征提取模块对所述第一图像进行特征提取，得到特征提取结果；

残差处理模块，用于通过所述残差模块对所述特征提取结果进行残差处理，得到残差处理结果；

采样处理模块，用于通过所述上采样模块对所述特征提取结果进行上采样处理，得到第一上采样结果，以及通过所述上采样模块对所述残差处理结果进行上采样处理，得到第二上采样结果；

融合模块，用于融合所述第一上采样结果以及所述第二上采样结果得到融合结果；

重建模块，用于通过重建模块对所述融合结果进行超分辨率重建，得到第二图像，其中所述第二图像的分辨率大于所述第一图像的分辨率。

第三方面，本申请实施例提供的存储介质，其上存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行本申请任一实施例提供的图像超分辨率重建方法。

第四方面，本申请实施例提供的电子设备，包括处理器和存储器，所述存储器有计算机程序，所述处理器通过所述计算机程序，用于执行本申请任一实施例提供的图像超分辨率重建方法。

本申请实施例获取需要进行超分辨率重建的第一图像；获取预训练的图像超分辨率重建网络，其中所述图像超分辨率重建网络包括特征提取模块，残差模块，上采样模块以及重建模块；通过所述特征提取模块对所述第一图像进行特征提取，得到特征提取结果；通过所述残差模块对所述特征提取结果进行残差处理，得到残差处理结果；通过所述上采样模块对所述特征提取结果进行上采样处理，得到第一上采样结果，以及通过所述上采样模块对所述残差处理结果进行上采样处理，得到第二上采样结果；融合所述第一上采样结果以及所述第二上采样结果得到融合结果；通过重建模块对所述融合结果进行超分辨率重建，得到第二图像，其中所述第二图像的分辨率大于所述第一图像的分辨率。由于本申请实施例所提供的图像超分辨率重建网络中采用上采样模块从多尺度对图像数据进行采样处理，有效地提高了预测精度，进而有效地提高了图像超分辨率重建的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的图像超分辨率重建网络的结构示意图。

图2是本申请实施例提供的特征提取模块的结构示意图。

图3是本申请实施例提供的重建模块的结构示意图。

图4是本申请实施例提供的图像超分辨率重建网络的详细结构示意图。

图5是本申请实施例提供的残差单元的组成结构示意图。

图6是本申请实施例提供的残差权重单元的组成结构示意图。

图7是本申请实施例提供的残差卷积单元的组成结构示意图。

图8是本申请实施例提供的上采样单元的结构示意图。

图9是本申请实施例提供的上采样子单元的组成结构示意图。

图10是本申请实施例提供的拼接子单元的组成结构示意图。

图11是本申请实施例提供的图像超分辨率重建方法的流程示意图。

图12是本申请实施例提供的图像超分辨率重建网络的训练方法的流程示意图。

图13是本申请实施例提供的图像超分辨率重建装置的模块示意图。

图14是本申请实施例提供的电子设备的一结构示意图。

图15是本申请实施例提供的电子设备的另一结构示意图。

具体实施方式

请参照图式，其中相同的组件符号代表相同的组件，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其它具体实施例。

本申请实施例提供一种图像超分辨率重建方法，该图像超分辨率重建方法的执行主体可以是本申请实施例提供的图像超分辨率重建装置，或者集成了该图像超分辨率重建装置的电子设备，其中该图像超分辨率重建装置可以采用硬件或者软件的方式实现。其中，电子设备可以是计算机设备，该计算机设备可以是诸如智能手机、平板电脑、个人计算机之类的终端设备，也可以是服务器。当计算机设备用于执行图像处理方法时，该计算机设备中包括预训练的图像超分辨率重建网络。以下进行具体分析说明。

参考图示，图1为本申请实施例提供的图像超分辨率重建网络的结构示意图，该图像超分辨率重建网络包括特征提取模块，残差模块，上采样模块，重建模块。

特征提取模块用于输入图像和对所输入的图像进行特征提取。如图2所示，该特征提取模块可以包括输入单元和卷积单元。输入单元用于输入第一图像，该第一图像可以为分辨率低于预设阈值的图像，举例来说，可以为低分辨率图像。卷积单元用于对输入的图像进行卷积处理，以提取图像中的特征信息。

重建模块用于对融合结果进行超分辨率重建，得到高分辨率的重建图像。具体地，进行卷积处理和输出图像。如图3所示，该重建模块可以包括两个卷积单元和一个输出单元。当输入融合结果时，通过两个卷积单元对融合结果进行卷积处理，以得到输入图像的重建图像。然后，通过输出模块输出重建图像。

残差模块包括残差单元(比如，ARRU，adaptable residual in residual unit，权重自适应残差中密集残差单元)。参照图4，图4为本申请实施例所提供的图像超分辨率重建网络的详细结构图，图中残差模块虚线框内为残差模块的结构示意图。其中每个残差单元串联连接，每一残差单元的输出结果作为下一相邻残差单元的输入数据。如图4所示，残差单元1的输入数据为特征提取模块的输出结果，残差单元1的输出数据作为残差单元2的输入数据，直至残差单元n输出残差处理结果。

如图5所示，图5为残差单元的组成结构示意图。每个残差单元中包括多个残差权重单元(比如，AWRB，adaptable weight residual block，自适应权重残差块)。

在一些实施例中，该残差单元可以包括4个残差权重单元。如图5所示，残差权重单元1的输入数据和输出数据作为残差权重单元2的输入数据，残差权重单元1的输入数据和输出数据作为残差权重单元2的输入数据，以此类推。当得到残差权重单元4的输出数据时，将该输出数据与一预设系数(in_scale)相乘，以赋予其权重，类似的，将残差权重单元1的输入数据也与另一预设系数(res_scale)相乘。这两个预设系数与训练次数相关，随着训练更新大小，可以有效地提高超分辨率重建的准确性。之后，将两者的相乘结果拼接后，作为该残差单元的输出数据。

如图6所示，图6为残差权重单元的组成结构示意图。残差权重单元包括多个残差卷积单元(比如，AWCB，adaptable weight convolution block，自适应权重卷积块)和卷积单元。其中，多个残差卷积单元采用密集连接的方式进行连接。

在一些实施例中，该自适应权重残差模块可以包括4个残差卷积单元和1个卷积单元。

如图6所示，残差卷积单元1的输入数据和输出数据作为残差卷积单元2的输入数据。残差卷积单元2的输入数据、输出数据和残差卷积单元1的输入数据作为残差卷积单元3的输入数据。残差卷积单元3的输入数据、输出数据和残差卷积单元1的输入数据、残差卷积单元2的输入数据作为残差卷积单元4的输入数据。残差卷积单元4的输出数据、残差卷积单元1的输入数据、残差卷积单元2的输入数据以及残差卷积单元3的输入数据作为卷积单元的输入数据。卷积单元对输入数据进行卷积处理。之后，类似ARRU内部的处理方式，将卷积处理后的数据与一预设系数相乘，再将残差卷积单元1与另一预设系数相乘，将两者的相乘结果拼接后作为输出数据。

如图7所示，图7为残差卷积单元的组成结构示意图。残差卷积单元包括第一卷积层、激活层和第二卷积层。在一些实施例中，如图7所示，第一卷积层、激活层和第二卷积层串联连接。该激活函数可以为非线性激活函数，例如，Leaky RELU函数(Leaky RectifiedLinear Units)函数。例如，将该特征提取结果从第一卷积层处输入，则经过第一卷积层、激活层和第二卷积层的依次处理后，可以得到残差提取结果。

如图4所示，在经过了残差模块对输入数据进行残差处理、以及经过特征提取模块对输入数据进行特征提取之后，需要通过上采样模块对获取到的残差处理结果、特征提取结果进行多尺度的采样、融合处理。该上采样模块可以包括多个上采样单元，如图4内上采样模块框内所示。上采样模块用于对输入数据进行采样、融合处理。该上采样模块可以包括多个上采样单元(比如，MSFU，multi-scale feature upsampling unit)。

如图8所示，图8为上采样单元的组成结构示意图。每一上采样单元包括拼接子单元和多个上采样子单元，其中多个上采样子单元的输出数据作为拼接模块的输入数据。

上采样子单元用于对输入数据进行放大处理。在一些实施例中，如图9所示，图9是本申请实施例提供的上采样子单元的组成结构示意图。上采样子单元可以包括1个上采样函数和1个卷积层。通过上采样函数对输入数据进行上采样处理，通过卷积层对上采样处理后的结果进行卷积处理，以实现对输入数据的放大处理。

拼接子单元用于对多个上采样子单元的输出数据进行拼接。在一些实施例中，如图10所示，图10是本申请实施例提供的拼接子单元的组成结构示意图。该拼接子单元可以包括拼接函数和卷积层。该拼接函数可以有多种，例如可以为concat函数，具体可以根据实际需求进行设置。

可以理解的是，为了实现多尺度的采样、融合处理，每一个上采样单元中的卷积核(也即上采样子单元、拼接子单元中的卷积层的卷积核)数量不同。在一些实施例中，如图所示，当图像超分辨率重建网络中包括4个上采样单元时，4个上采样单元中所包含的卷积层的卷积核数均不相同，由上至下分别可以为1×1，3×3，5×5，7×7的卷积核。上采样模块通过将具有不同感受野的特征进行融合，有利于将丰富的细节信息恢复出来。

可以理解的是，为了提高图像超分辨率重建网络的收敛速度，减小内存占用，在本申请实施例中的卷积单元、卷积层(包括特征提取模块中的卷积单元、重建模块中的卷积单元、以及每个单元中的卷积单元、卷积层等)均为权重归一化卷积模块，也即将卷积的权重进行归一化，其中，权重归一化的公式如下：

其中，v为卷积中原卷积核，g为训练参数，与v维度相同，w为归一化后的卷积核。

从图4中可以看出，残差模块的输入数据作为上采样单元1的输入数据，残差模块的输出数据作为上采样单元2的输入数据，上采样单元1和上采样单元2的输出数据作为上采样单元4的输入数据，上采样单元1的输出数据作为上采样单元3的输入数据，将上采样单元3和上采样单元4的输出数据作为重建模块的输入数据，在经过卷积处理后得到重建图像。

从整体结构来看，本申请实施例中的图像超分辨率重建网络采用了密集残差连接的宏观结构，具体到内部的各个模块，残差模块和多个上采样单元之间的连接方式采用了密集残差网络(Residual Dense Network)的连接模式，残差模块内的连接一部分采用了跳跃连接。一方面使得网络收敛速度更快，一方面可以减轻伪影的产生，提高了图像重建的准确性。另一方面，利用不同大小的卷积核进行多尺度预测，进一步地提高图像重建的精度。

本申请实施例提供一种图像超分辨率重建方法，如图11所示，图11为本申请实施例提供的图像超分辨率重建方法的流程示意图，该图像超分辨率重建方法可以包括：

101，获取需要进行超分辨率重建的第一图像。

其中，该第一图像可以有多种获取方式。例如，可以是从本地存储器中获取的图像，也可以是从外界监控设备、医疗器械等所获取的图像。

可以理解的是，该第一图像可以是分辨率较低的图像。比如，可以是画面清晰度较低的监控画面，则需要进行超分辨率重建。

在一些实施例中，当获取第一图像之后，可以获取该第一图像的分辨率，当判断该第一图像的分辨率大于预设分辨率，也即该第一图像为分辨率较高的图像时，可以判断其满足用户的图片分辨率要求，则不通过预训练的图像超分辨率重建网络进行重建。该预设分辨率具体可以根据实际需求进行设置。

102，获取预训练的图像超分辨率重建网络，其中该图像超分辨率重建网络包括特征提取模块，残差模块，上采样模块以及重建模块。

其中，该图像超分辨率重建网络可以通过预训练得到。

在一些实施例里，该图像超分辨率重建网络可以是生成式对抗网络(GAN,Generative Adversarial Networks)中的生成网络。

例如，在预训练的过程中，可以从图像数据集中获取高分辨率图像样本，通过对高分辨率图像样本进行处理得到对应的低分辨图像。将低分辨图像输入至未训练的生成网络中进行重建，得到重建图像。计算高分辨率图像样本和重建图像之间的损失，然后首先对未训练的生成网络进行前置训练，再对前置训练后的生成网络和未训练过的判别网络进行迭代训练。具体地，训练时先单独训练生成网络，然后再一起训练判别网络和生成网络，也即在单独训练的生成网络基础上微调(fine-tune)。当神经网络参数收敛时，训练完成，得到训练完成的生成网络，将该训练完成的生成网络作为图像超分辨率重建网络。

其中，该图像超分辨率重建网络包括特征提取模块，残差模块，上采样模块以及重建模块。

103，通过该特征提取模块对该第一图像进行特征提取，得到特征提取结果。

其中，该特征提取模块可以包括输入单元和卷积单元。

例如，将第一图像通过输入单元输入至卷积单元后，卷积单元对第一图像进行卷积处理，提取第一图像的特征，得到特征提取结果。

104，通过该残差模块对该特征提取结果进行残差处理，得到残差处理结果。

在一些实施例中，该残差模块可以包括多个残差单元，可以通过多个残差单元对特征提取结果进行残差处理后得到残差处理结果。则通过该残差模块对该特征提取结果进行残差处理的方法可以包括：

将该特征提取结果输入至第一个残差单元进行自适应残差处理，输出自适应残差结果；

将该自适应残差结果输入至第二个残差单元进行自适应残差处理，以此类推，直至上一残差单元的输出结果输入至最后一个残差单元进行自适应残差处理，输出残差处理结果。

其中，在一些实施例中，该残差单元可以为权重自适应残差中密集残差单元(ARRU，adaptable residual in residual unit)。该残差单元具体可以根据实际需求进行设置。

例如，如图4所示，图4中多个残差单元串联连接。残差单元1对特征提取结果进行自适应残差处理后，得到自适应残差结果。将该自适应残差结果输入至残差单元2中继续进行自适应残差处理，以此类推，直至最后一个残差单元输出残差处理结果。

在一些实施例中，该残差单元中可以包括多个残差权重单元，可以通过多个残差权重单元的处理后得到自适应残差结果，其中每个残差权重单元的处理方式相同。以第一个残差权重单元的处理为例进行说明，则将该特征提取结果输入至第一个残差单元进行自适应残差处理，输出自适应残差结果的方法，可以包括：

将该特征提取结果输入至第一个残差权重单元进行残差融合处理，输出残差融合结果；

将该残差融合结果和该特征提取结果拼接后输入至第二个残差权重单元进行残差融合处理，以此类推，直至倒数第二个残差权重单元的输出结果和输入数据拼接后输入至最后一个残差权重单元进行残差融合处理；

将最后一个残差权重单元的输出结果和输入数据进行拼接处理，得到拼接结果；

将该拼接结果和第一预设系数相乘，得到第一乘积结果，以及将该特征提取结果和第二预设系数相乘，得到第二乘积结果，其中该第一预设系数和该第二预设系数跟随预训练过程更新；

对该第一乘积结果和该第二乘积结果进行拼接处理，得到该自适应残差结果。

其中，将该特征提取结果和第二预设系数相乘得到第二乘积结果的方法，对于其他残差单元来说，是将该残差单元中的第一个残差权重单元的输入数据和第二预设系数相乘，得到第二乘积结果。

其中，该残差权重单元可以是自适应权重残差块(AWRB，adaptable weightresidual block)。该残差权重单元可以根据实际需求进行设置。

其中，该第一预设系数和第二预设系数可以根据实际需求进行设置。例如，该第一预设系数和第二预设系数在训练过程中可以初始化为1，随着训练过程的进行线性增加。

例如，如图5所示，图5中4个残差权重单元主要以跳跃连接的方式进行连接。残差权重单元1对输入的特征提取结果进行残差融合处理后，得到残差融合结果。将该残差融合结果和特征提取结果进行拼接处理后输入残差权重单元2中继续进行残差融合处理。以此类推，直至残差权重单元3的输出结果和输入数据进行拼接处理后，继续输入至残差权重单元4中进行残差融合处理。

接着，将残差权重单元4的输出结果和输入数据进行拼接处理后，得到拼接结果。将拼接结果和第一预设系数相乘，再将特征提取结果(也即残差权重单元1的输入数据)和第二预设系数相乘。将二者的相乘结果进行拼接处理后，即可得到自适应残差结果。

由于以往在采用生成对抗网络进行超分辨率重建时，所生成的图片很容易出现各种伪影(Artifacts，指原本物体上不存在而在图像上却出现的各种形态的影像)。本申请实施例对生成网络的结构进行创新，在生成网络中采用密集残差结构和跳跃连接的连接方式，创新后的结构可以降低伪影的产生频率，使得重建图像的准确度更高。

在一些实施例中，该残差权重单元可以包括m个残差卷积单元，则该通过第一个残差权重单元对该特征提取结果进行残差融合，得到残差融合结果的方法可以包括：

将该特征提取结果输入至第一个残差卷积单元进行残差提取处理，输出残差提取结果；

将该残差提取结果与该特征提取结果输入至第二个残差卷积单元进行残差提取处理；

以此类推，将前m-1个残差卷积单元的输入数据与第m-1个残差卷积单元的处理结果输入至第m个残差卷积单元进行残差提取处理；

将第m个残差卷积单元的输出结果与前m-1个残差卷积单元的输入数据进行卷积处理，得到卷积处理结果；

将该卷积处理结果和第一预设系数相乘，得到第三乘积结果，以及将该特征提取结果和第二预设系数相乘，得到第四乘积结果，其中该第一预设系数和该第二预设系数跟随预训练过程更新；

对该第三乘积结果和该第四乘积结果进行拼接处理，得到残差融合结果。

其中，在一些实施例中，该残差卷积单元可以为自适应权重卷积块(AWCB，adaptable weight convolution block)。具体可以根据实际需求进行设置。其中该残差卷积单元的数量m可以为正整数，例如，m＝1,2,3，……。

例如，如图6所示，图6中为4个残差卷积单元的连接结构示意图。残差卷积单元之间主要以类似密集残差连接方式进行连接。

将特征提取结果输入至残差卷积单元1中进行残差提取处理，得到残差提取结果。然后，将残差卷积单元1的输出结果(也即残差提取结果)和输入数据(也即特征提取结果)输入至残差卷积单元2中进行处理。从图中可以看出，针对每一个残差卷积单元，输入数据都是上一个残差卷积单元的输出结果和前面几个残差卷积单元的输入数据的和。则以此类推，将前3个残差卷积单元的输入数据与残差卷积单元3的处理结果输入至残差卷积单元4中进行残差提取处理。

之后，将残差卷积单元4的输出结果和前3个残差卷积单元的输入数据输入卷积单元中进行卷积处理，得到卷积处理结果。将该卷积处理结果和第一预设系数相乘，得到第三乘积结果，以及将该特征提取结果和第二预设系数相乘，得到第四乘积结果，对该第三乘积结果和该第四乘积结果进行拼接处理，得到残差融合结果。

其中，该第一预设系数和第二预设系数可以根据实际需求进行设置。例如，该第一预设系数和第二预设系数在训练过程中可以初始化为1，随着训练过程的进行线性增加。

在一些实施例中，该残差卷积单元包括激活层，第一卷积层和第二卷积层，则将该特征提取结果输入至第一个残差卷积单元进行残差提取处理，输出残差提取结果的方法可以包括：

依次通过该第一卷积层，该激活层和该第二卷积层对该特征提取结果进行处理，得到残差提取结果。

其中，对于其他的残差卷积单元来说，将该特征提取结果输入至第一个残差卷积单元进行残差提取处理，输出残差提取结果的方式还可以有其他表现形式。例如，可以对其他残差卷积单元的输入数据进行残差提取处理。

其中，激活层中可以包括激活函数。该激活函数可以为Leaky ReLu函数，例如，如图7所示，第一卷积层、激活函数和第二卷积层依次串联连接。则将该特征提取结果从第一卷积层处输入，则经过第一卷积层、激活层和第二卷积层的依次处理后，可以得到残差提取结果。

由上述可知，本申请实施例中所提供的残差模块内部采用了类似密集残差网络中的密集残差结构。同时，还在残差模块的内部增加了跳跃连接。不仅使得重建的准确性更高，而且使得网络收敛更快，提高了重建图像的效率。

105，通过该上采样模块对该特征提取结果进行上采样处理，得到第一上采样结果，以及通过该上采样模块对该残差处理结果进行上采样处理，得到第二上采样结果。

其中，该上采样模块可以包括n个上采样单元。n的取值可以有多种，可以根据该图像超分辨率重建网络的计算能力而定，可以理解的是n的取值越大，则计算量越大，相应的重建图像的准确度也会越高。例如，n可以为正偶数(n＝2,4,6……)，也即上采样单元成对出现。

在一些实施例中，该上采样模块可以为多尺度特征上采样单元(MSFU，multi-scale feature upsampling unit)。具体可以根据实际需求进行设置。

在一些实施例中，当该上采样模块可以包括n个上采样单元时，则该通过该上采样模块对该特征提取结果进行上采样处理，得到第一上采样结果的方法可以包括：

通过第一个上采样单元对该特征提取结果进行上采样处理；

通过第三个上采样单元对第一个上采样单元的输出结果进行上采样处理，以此类推，直到第n-1个上采样单元对第n-3个上采样单元的输出结果进行上采样处理，得到第一上采样结果；

则该通过该上采样模块对该残差处理结果进行上采样处理，得到第二上采样结果的方法，可以包括：

通过第二个上采样单元对该残差处理结果进行上采样处理；

对该第一个上采样单元的输出结果和第二个上采样单元的输出结果进行拼接，得到采样拼接结果，并通过第四个上采样单元对该采样拼接结果进行上采样处理；

以此类推，直至对第n-3个上采样单元的输出结果和第n-2个上采样单元的输出结果进行拼接，得到采样融合结果，并通过第n个上采样单元对该采样融合结果进行上采样处理，得到第二上采样处理结果。

以第一个上采样单元的输入数据为特征提取结果为例，如图4所示，图4中上采样模块虚线框内为当上采样模块有四个上采样单元时，上采样模块的组成结构示意图。特征提取结果输入至第一个上采样单元进行上采样处理，然后将输出结果输入至第三个、第四个上采样单元；与此同时，第二个上采样单元对残差模块输出的残差处理结果进行上采样处理，然后将输出结果输入至第四个上采样单元进行处理。

第三个上采样单元对第一个上采样单元的输出结果进行上采样处理后，得到第一上采样结果。第四个上采样单元对第一个、第二个上采样单元的输出结果之和进行上采样处理，得到第二上采样结果。

在一些实施例中，该上采样单元可以包括多个上采样子单元和拼接子单元，则该通过第一个上采样单元对该特征提取结果进行上采样处理的方法，可以包括：

通过该多个上采样子单元对该特征提取结果进行多尺度采样处理，得到多个尺度采样结果；

通过该拼接子单元对该多个尺度采样结果进行拼接处理。

其中，每个上采样子单元可以由上采样函数和卷积层依次组成。数据输入上采样子单元时，先经过上采样处理再经过卷积处理。该上采样子单元的数量可以根据实际需求进行设置，在一些实施例中，上采样单元可以包括四个上采样子单元。

其中，为了实现多尺度采样处理，不同的上采样单元中所含的卷积层的卷积核不一样。例如，当上采样模块包括四个上采样单元时，其中不同上采样单元中所含的卷积层分别可以为1×1，3×3，5×5，7×7的卷积核。

其中，每个拼接子单元可以由拼接函数和卷积层一次组成。向拼接子单元中输入的数据依次经过拼接函数和卷积层的处理后输出拼接结果。该拼接函数可以根据实际需求进行设置，例如，该拼接函数可以为con-cat函数。

以第一个上采样单元的输入数据为特征提取结果为例，如图所示，该第一个上采样单元包括四个上采样子单元和一个拼接子单元。将特征提取结果输入至四个上采样子单元中，依次经过上采样函数和卷积层的处理，得到四个输出结果。然后将四个输出结果输入至拼接子单元中，经过拼接函数和卷积层的处理，得到第一个上采样单元的输出结果。

106，融合该第一上采样结果以及该第二上采样结果得到融合结果。

其中，融合该第一上采样结果以及该第二上采样结果得到融合结果的方法可以有多种。例如，可以对该第一上采样结果以及该第二上采样结果进行求和，得到融合结果。又例如，可以对该第一上采样结果以及该第二上采样结果进行拼接，再得到融合结果。

107，通过重建模块对该融合结果进行超分辨率重建，得到第二图像，其中该第二图像的分辨率大于该第一图像的分辨率。

其中，该重建模块可以包括多个卷积单元和输出单元组成。

在一些实施例中，该重建模块中可以包括两个卷积单元和一个输出单元。融合结果依次经过两个卷积单元进行重建处理后，通过输出单元输出第二图像。当第一图像为低分辨率图像时，该第二图像可以为高分辨率重建图像，因此该第二图像的分辨率大于第一图像的分辨率。

可以理解的是，在本申请实施例中的卷积单元、卷积层(包括特征提取模块中的卷积单元、重建模块中的卷积单元、以及每个单元中的卷积单元、卷积层等)均为权重归一化卷积模块，也即将卷积的权重进行归一化，可以提高图像超分辨率重建网络的收敛速度，减小内存占用。其中，权重归一化的公式如下：

其中，v为卷积中原卷积核，g为训练参数，与v维度相同，w为归一化后的卷积核。

由上述可知，本申请实施例获取需要进行超分辨率重建的第一图像，获取预训练的图像超分辨率重建网络，通过图像超分辨率重建网络中的特征提取模块，残差模块，上采样模块以及重建模块对第一图像进行处理，得到分辨率大于第一图像的第二图像。

本申请实施例通过对网络的结构进行创新，提高了超分辨率图像重建的准确性。在各个模块所组成的宏观网络结构上，采用了类似密集残差网络(Residual DenseNetwork)中的密集残差连接方式。对于各个模块的结构，也采用了类似密集残差网络中的密集残差结构。同时，还在残差模块的内部增加了跳跃连接。

一方面，密集残差结构和跳跃连接使得生成的图片出现伪影的概率降低，提高了重建图像的图片准确性；另一方面，所增加的跳跃连接使得图像超分辨率重建网络收敛更快，提高了重建图像的效率。此外，在进行采样时利用了不同大小的卷积核进行多尺度采样、预测，提高了重建图像的精度。

在进行图像超分辨率重建之前，可以预先对图像超分辨率重建网络进行训练。则本申请实施例还提供了一种图像超分辨率重建网络的训练方法，如图12所示，图12为本申请实施例提供的训练方法的流程示意图，该训练方法可以包括：

201、获取图像样本组。

其中，每一个图像样本组包含第一图像样本和第二图像样本。该第一图像样本与所述第二图像样本相对应，第一图像样本的分辨率高于第二图像样本。

其中，第一图像样本可以为高分辨率图像。该第一图像样本可以从高分辨图像数据集中获取。例如，可以采用DIV2K数据集和Flicker2K数据集混合作为高分辨图像数据集，数据集中的图像分辨率均为2K，从混合数据集中获取第一图像样本。由于数据集所包含的图像场景丰富，内容多样，能够满足模型训练的需求。

其中，该第二图像样本可以通过对第一图像样本进行降分辨率处理而得到。对第一图像样本进行降分辨率的方式可以包括多种，在一些实施例中，可以通过对第一图像样本的尺寸进行缩小处理而得到第二图像样本。例如，可以通过将第一图像样本的尺寸缩小为原来的1/16获取到第二图像样本。具体地，可以通过使用MATLAB中的双线性插值将第一图像样本下采样16倍得到第二图像样本。

在一些实施例中，该获取图像样本组的方式可以有多种。例如，当获取多个第一图像样本后，对第一图像样本进行下采样处理后得到多个第二图像样本，将第一图像样本与其对应的第二图像样本组成图像样本组，则该获取图像样本组的方法具体可以包括：

获取多个第一图像样本；对每一该第一图像样本进行下采样处理，得到每一该第一图像样本组应的第二图像样本；将每一该第一图像样本组及其对应的第二图像样本设为该图像样本组。

例如，可以从DIV2K数据集和Flicker2K数据集混合而得的高分辨图像数据集中获取多个第一图像样本，通过使用MATLAB中的双线性插值，对每一第一图像样本下采样16倍得到每一第一图像样本组应的第二图像样本，并将每一第一图像样本及其对应的第二图像样本设为图像样本组。

可以理解的是，在训练过程中，出于提高训练效率和准确度的考虑，需要固定图像样本的尺寸，即固定每个第一图像样本和每个第二图像样本的尺寸。但由于训练数据集中尺寸均不一致，在一些实施例中，可以通过随机截取每一第一图像样本中固定尺寸大小，同时截取每一第二图像样本尺寸中的相同位置，从而对图像样本组中的尺寸进行固定。

202、构建对应该图像超分辨率重建网络的判别网络。

其中，在一些实施例中，可以将生成式对抗网络(GAN,Generative AdversarialNetworks)中的生成模型作为图像超分辨率重建网络，将其中的判别模型作为判别网络。构建网络时以未训练的生成式对抗网络(GAN,Generative Adversarial Networks)为基础进行构建。

其中，生成式对抗网络是一种深度学习模型，该模型中包括至少两个模块：生成模型(Generative Model)和判别模型(Discriminative Model)。训练过程中，生成模型通过学习真实数据，而生成类似数据，比如，生成模型学习一些真实动物图片后，可以自行生成动物图片。而判别模型则是将生成模型所生成的动物图片和真实动物图片进行分类后，将分类结果反馈至生成模型，对生成模型进行训练。比如，对生成图片输出0，对真实图片输出1，将判别结果反馈至生成模型并训练它。这样会使得生成模型所生成的动物图片越来越逼近真实图片。通过反复训练，当判别模型无法分辨生成图片和真实图片时，该生成式对抗网络拟合，也就是训练完成了。

203、根据该图像样本组对该图像超分辨率重建网络进行前置训练，并根据该图像样本组对该图像超分辨率重建网络和该判别网络进行联合训练。

本申请实施例以该图像超分辨率重建网络是生成网络为例进行说明。在进行前置训练时，可以根据图像样本组先单独训练生成网络，根据单独训练得到的生成网络，对判别网络做微调(fine-tune，一种神经网络训练方法，根据训练完成的神经网络模型对其他模型中的部分参数进行微调，以达到减少训练次数的目的)，再一起训练判别网络和生成网络。

根据该图像样本组对该图像超分辨率重建网络和该判别网络进行联合训练的方法可以有多种，类似于生成式对抗网络的训练方法，可以通过包括第一图像样本和对应的第二图像样本的图像样本组，对该图像超分辨率重建网络和该判别网络进行联合训练。

比如，该图像超分辨率重建网络是生成网络时，可以通过生成网络对第二图像样本进行图像超分辨率重建，得到重建图像，通过对重建图像和第一图像样本之间进行比对，而对生成网络和判别网络交替进行训练。直至网络参数收敛时，训练完成。

在一些实施例中，根据该图像样本组对该图像超分辨率重建网络和该判别网络进行联合训练的方法可以包括：

通过该图像超分辨率重建网络对该第二图像样本进行图像超分辨率重建，得到第二图像样本对应的重建图像；

根据该第一图像样本、该重建图像和该判别网络，得到该图像超分辨率重建网络的生成损失；

根据该第一图像样本和该重建图像，得到该判别网络的判别损失；

以网络参数收敛为约束，根据该生成损失和判别损失对该图像超分辨率重建网络和该判别网络进行联合训练。

比如，该图像超分辨率重建网络是生成网络。当第一图像样本为高分辨率图像时，该第二图像样本为对高分辨率图像处理后的低分辨率图像。将低分辨率图像数据输入到生成网络，可以生成超分辨率重建图像。然后，针对生成网络，生成损失包括判别网络对高分辨率图片和重建图像进行判别后得到的相对对抗损失，以及高分辨率图像和重建图像之间的差异所得到的损失。针对判别网络，判别损失包括根据高分辨率图像和重建图像计算得到的对抗损失。根据不同损失交替执行生成网络和判别网络的训练过程，当两个网络的神经网络参数收敛时，训练完成。

在一些实施例中，对生成网络和判别网络进行交替训练的方法可以有多种。在一些实施例中，可以采用Adam优化器对生成网络和判别网络进行迭代训练，当重建图像与高分辨率图像之间的误差小于预设误差值，或者两次迭代之间的权值变化小于预设权值时，该神经网络参数收敛，训练完成。又比如，可以预先设置迭代的次数，当迭代次数超过预设次数时该神经网络参数收敛，训练完成。

在一些实施例中，图像超分辨率重建网络的生成损失包括重建损失和对抗损失，则根据该第一图像样本、该重建图像和该判别网络，得到该图像超分辨率重建网络的生成损失的方法可以包括：

根据该第一图像样本和该重建图像，得到该图像超分辨率重建网络的重建损失；

通过该判别网络，根据该第一图像样本和该重建图像之间的相似性计算得到该图像超分辨率重建网络的对抗损失；

根据该重建损失和该对抗损失得到该图像超分辨率重建网络的生成损失。

在一些实施例中，该重建损失可以包括高频损失、低频损失和全图损失，则根据该第一图像样本和该重建图像，得到该图像超分辨率重建网络的重建损失的方法可以包括：

根据频率对该第一图像样本和该重建图像进行特征提取，得到特征信息；

根据该特征信息获取该第一图像样本和该重建图像之间的高频损失和低频损失；

根据该第一图像样本和该重建图像之间的相关性，计算得到该第一图像样本和该重建图像的全图损失；

根据该高频损失、该低频损失和该全图损失得到该图像超分辨率重建网络的重建损失。

其中，根据频率对该第一图像样本和该重建图像进行特征提取的方法可以有多种。例如，可以通过将第一图像样本和重建图像进行分解，得到多个子图，通过子图提取得到图像的特征信息。

譬如，可以通过一级小波分解将第一图像样本和重建图像样本的图片均分为四个子图：图A、图H、图V、图D，图A为低频子图，图H为水平高频子图，图V为垂直高频子图，图D为对角高频子图。每个子图的尺寸是原来图片的一半。通过对子图进行特征提取，得到相应的高频损失、低频损失。

其中，根据该特征信息获取该第一图像样本和该重建图像之间的高频损失和低频损失的方式可以有多种。

比如，对于高频损失来说，可以通过神经网络提取高频子图的特征，求其欧式距离并作为高频损失。例如，可以通过VGG19网络的5_4层提取重建图像和第一图像样本各自所对应的高频子图的特征，求其欧式距离，作为高频感知损失，公式如下所示：

其中，H

再比如，对于低频损失来说，可以将重建图像和低频子图之间L1损失作为低频损失。L1损失，也被称为最小绝对值偏差(LAD)，最小绝对值误差(LAE)。该公式如下所示：

L

其中，A

其中，根据该第一图像样本和该重建图像之间的相关性，计算得到该第一图像样本和该重建图像的全图损失的方式可以有多种。例如，可以将该第一图像样本和该重建图像之间的L1损失作为全图损失，公式如下所示：

L

其中，根据该高频损失、该低频损失和该全图损失得到该图像超分辨率重建网络的重建损失的方式可以有多种。例如，可以根据实际需求，将高频损失、低频损失与一个预设系数相乘，将全图损失与另一预设系数相乘，将相乘结果相加后得到该图像超分辨率重建网络的重建损失。

在一些实施例中通过该判别网络，根据该第一图像样本和该重建图像之间的相似性计算得到该图像超分辨率重建网络的对抗损失的方式可以有多种，例如，可以将第一图像样本和重建图像的整图数据输入至判别网络中，通过判别网络得到相对对抗损失，公式如下所示：

其中，hr指的是第一图像样本，gen指的是重建图像，L

在一些实施例中，根据该重建损失和该对抗损失得到该图像超分辨率重建网络的生成损失的方式可以有多种。例如，可以分别给重建损失、对抗损失赋予不同权重后进行求和，得到生成损失。譬如，将高频损失与第一系数相乘，将低频损失和全图损失之和与第二系数相乘，将对抗损失与第三系数相乘，对三个相乘结果进行求和，得到生成损失，公式如下所示：

其中，α、γ、λ为根据实际需求所设置的系数。

在一些实施例中，根据该第一图像样本和该重建图像，得到该判别网络的判别损失的方式可以有多种。在一些实施例中，可以通过判别网络的损失函数得到判别损失，该公式如下所示：

比如，在得到生成损失以及判别损失后，可以使用Adam优化器对两个网络交替进行迭代训练，当重建图像与高分辨率图像之间的误差小于预设误差值时，两个网络的神经网络参数收敛，训练完成。

由于常见的图像重建方法中通常使用L1或L2损失对图像超分辨率重建网络进行训练，使得生成的图片往往过于平滑，缺失细节，造成观感不佳。同时，在极致超分辨图像重建中，由于放大倍数较大，很难将高频的细节恢复出来。本申请实施例在根据损失函数对图像超分辨率重建网络进行训练时，对损失函数进行创新，通过将图像的高低频提取出来，分别计算高频损失、低频损失，增强了高频细节和低频轮廓的恢复，提升了图像重建的效果，进而提高了图像重建的准确性。

由上述可知，本申请实施例所提供的图像超分辨率重建网络训练方法可以获取图像样本组，该图像样本组包括第一图像样本和第二图像样本，该第一图像样本的分辨率大于该第二图像样本的分辨率；构建对应该图像超分辨率重建网络的判别网络；根据该图像样本组对该图像超分辨率重建网络进行前置训练，并根据该图像样本组对该图像超分辨率重建网络和该判别网络进行联合训练。

为便于更好的实施本申请实施例提供的图像超分辨率重建方法，本申请实施例还提供一种基于上述图像超分辨率重建方法的装置。其中名词的含义与上述图像超分辨率重建方法中相同，具体实现细节可以参考方法实施例中的说明。

请参阅图13，图13为本申请实施例提供的图像超分辨率重建装置300的模块示意图。具体而言，该图像超分辨率重建装置300，包括：

一种图像超分辨率重建装置，包括：获取模块301，获取网络模块302，特征提取模块303，残差处理模块304，采样处理模块305，融合模块306，重建模块307。

获取模块301，用于获取需要进行超分辨率重建的第一图像；

获取网络模块302，用于获取预训练的图像超分辨率重建网络，其中所述图像超分辨率重建网络包括特征提取模块303，残差模块，上采样模块以及重建模块307；

特征提取模块303，用于通过所述特征提取模块303对所述第一图像进行特征提取，得到特征提取结果；

残差处理模块304，用于通过所述残差模块对所述特征提取结果进行残差处理，得到残差处理结果；

采样处理模块305，用于通过所述上采样模块对所述特征提取结果进行上采样处理，得到第一上采样结果，以及通过所述上采样模块对所述残差处理结果进行上采样处理，得到第二上采样结果；

融合模块306，用于融合所述第一上采样结果以及所述第二上采样结果得到融合结果；

重建模块307，用于通过重建模块307对所述融合结果进行超分辨率重建，得到第二图像，其中所述第二图像的分辨率大于所述第一图像的分辨率。

在一些实施方式中，所述残差模块包括多个残差单元，所述特征提取模块303具体用于：

将所述特征提取结果输入至第一个残差单元进行自适应残差处理，输出自适应残差结果；

将所述自适应残差结果输入至第二个残差单元进行自适应残差处理，以此类推，直至上一残差单元的输出结果输入至最后一个残差单元进行自适应残差处理，输出残差处理结果。

在一些实施方式中，所述残差单元包括多个残差权重单元，所述特征提取模块303具体用于：

将所述特征提取结果输入至第一个残差权重单元进行残差融合处理，输出残差融合结果；

将所述残差融合结果和所述特征提取结果拼接后输入至第二个残差权重单元进行残差融合处理，以此类推，直至倒数第二个残差权重单元的输出结果和输入数据拼接后输入至最后一个残差权重单元进行残差融合处理；

将最后一个残差权重单元的输出结果和输入数据进行拼接处理，得到拼接结果；

将所述拼接结果和第一预设系数相乘，得到第一乘积结果，以及将所述特征提取结果和第二预设系数相乘，得到第二乘积结果，其中所述第一预设系数和所述第二预设系数跟随预训练过程更新；

对所述第一乘积结果和所述第二乘积结果进行拼接处理，得到所述自适应残差结果。

在一些实施方式中，所述残差权重单元包括m个残差卷积单元，其中m为正整数，所述特征提取模块303具体用于：

将所述特征提取结果输入至第一个残差卷积单元进行残差提取处理，输出残差提取结果；

将所述残差提取结果与所述特征提取结果输入至第二个残差卷积单元进行残差提取处理；

以此类推，将前m-1个残差卷积单元的输入数据与第m-1个残差卷积单元的处理结果输入至第m个残差卷积单元进行残差提取处理；

将第m个残差卷积单元的输出结果与前m-1个残差卷积单元的输入数据进行卷积处理，得到卷积处理结果；

将所述卷积处理结果和第一预设系数相乘，得到第三乘积结果，以及将所述特征提取结果和第二预设系数相乘，得到第四乘积结果，其中所述第一预设系数和所述第二预设系数跟随预训练过程更新；

对所述第三乘积结果和所述第四乘积结果进行拼接处理，得到残差融合结果。

在一些实施方式中，所述残差卷积单元包括激活层，第一卷积层和第二卷积层，所述特征提取模块303具体用于：

依次通过所述第一卷积层，所述激活层和所述第二卷积层对所述特征提取结果进行处理，得到残差提取结果。

在一些实施方式中，所述上采样模块包括n个上采样单元，其中n为大于等于4的正偶数，所述采样处理模块305具体用于：

通过第一个上采样单元对所述特征提取结果进行上采样处理；

通过第三个上采样单元对第一个上采样单元的输出结果进行上采样处理，以此类推，直到第n-1个上采样单元对第n-3个上采样单元的输出结果进行上采样处理，得到第一上采样结果；

通过第二个上采样单元对所述残差处理结果进行上采样处理；

对所述第一个上采样单元的输出结果和第二个上采样单元的输出结果进行拼接，得到采样拼接结果，并通过第四个上采样单元对所述采样拼接结果进行上采样处理；

以此类推，直至对第n-3个上采样单元的输出结果和第n-2个上采样单元的输出结果进行拼接，得到采样融合结果，并通过第n个上采样单元对所述采样融合结果进行上采样处理，得到第二上采样处理结果。

在一些实施方式中，所述上采样单元包括多个上采样子单元和拼接子单元，所述采样处理模块305具体用于：

通过所述多个上采样子单元对所述特征提取结果进行多尺度采样处理，得到多个尺度采样结果；

通过所述拼接子单元对所述多个尺度采样结果进行拼接处理。

在一些实施方式中，所述图像超分辨率重建装置还包括预训练单元308，所述预训练单元308用于：

获取图像样本组，所述图像样本组包括第一图像样本和第二图像样本，所述第一图像样本的分辨率大于所述第二图像样本的分辨率；

构建对应所述图像超分辨率重建网络的判别网络；

根据所述图像样本组对所述图像超分辨率重建网络进行前置训练，并根据所述图像样本组对所述图像超分辨率重建网络和所述判别网络进行联合训练。

在一些实施方式中，所述预训练单元308具体用于：

通过所述图像超分辨率重建网络对所述第二图像样本进行图像超分辨率重建，得到第二图像样本对应的重建图像；

根据所述第一图像样本、所述重建图像和所述判别网络，得到所述图像超分辨率重建网络的生成损失；

根据所述第一图像样本和所述重建图像，得到所述判别网络的判别损失；

以网络参数收敛为约束，根据所述生成损失和判别损失对所述图像超分辨率重建网络和所述判别网络进行联合训练。

在一些实施方式中，所述预训练单元308具体用于：

根据所述第一图像样本和所述重建图像，得到所述图像超分辨率重建网络的重建损失；

通过所述判别网络，根据所述第一图像样本和所述重建图像之间的相似性计算得到所述图像超分辨率重建网络的对抗损失；

根据所述重建损失和所述对抗损失得到所述图像超分辨率重建网络的生成损失。

在一些实施方式中，所述预训练单元308具体用于：

根据频率对所述第一图像样本和所述重建图像进行特征提取，得到特征信息；

根据所述特征信息获取所述第一图像样本和所述重建图像之间的高频损失和低频损失；

根据所述第一图像样本和所述重建图像之间的相关性，计算得到所述第一图像样本和所述重建图像的全图损失；

根据所述高频损失、所述低频损失和所述全图损失得到所述图像超分辨率重建网络的重建损失。

在一些实施方式中，所述预训练单元308具体用于：

分别为所述高频损失、低频损失、全图损失和对抗损失赋予相应的权重；

将加权后的所述高频损失、低频损失、全图损失和对抗损失相加，得到所述生成网络的生成损失。

在一些实施方式中，所述预训练单元308具体用于：

获取多个第一图像样本；

对每一所述第一图像样本进行下采样处理，得到每一所述第一图像样本所对应的第二图像样本；

将每一所述第一图像样本及其对应的第二图像样本设为所述图像样本组。

由上述可知，本申请实施例提供了一种图像超分辨率重建装置，该装置中获取模块301，用于获取需要进行超分辨率重建的第一图像；获取网络模块302，用于获取预训练的图像超分辨率重建网络，其中所述图像超分辨率重建网络包括特征提取模块303，残差模块，上采样模块以及重建模块307；特征提取模块303，用于通过所述特征提取模块303对所述第一图像进行特征提取，得到特征提取结果；残差处理模块304，用于通过所述残差模块对所述特征提取结果进行残差处理，得到残差处理结果；采样处理模块305，用于通过所述上采样模块对所述特征提取结果进行上采样处理，得到第一上采样结果，以及通过所述上采样模块对所述残差处理结果进行上采样处理，得到第二上采样结果；融合模块306，用于融合所述第一上采样结果以及所述第二上采样结果得到融合结果；重建模块307，用于通过重建模块307对所述融合结果进行超分辨率重建，得到第二图像，其中所述第二图像的分辨率大于所述第一图像的分辨率。由于本申请实施例提供的图像超分辨率重建装置由多个模块组成，在重建过程中可以从多尺度对图像进行超分辨率重建，提高了图像超分辨率重建的准确性。

本申请实施例还提供一种电子设备400。请参阅图14，电子设备400包括处理器401以及存储器。其中，处理器401与存储器电性连接。

该处理器400是电子设备400的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或加载存储在存储器402内的计算机程序，以及通过存储在存储器402内的数据，执行电子设备400的各种功能并处理数据，从而对电子设备400进行整体监控。

该存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的计算机程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的计算机程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。

在本申请实施例中，电子设备400中的处理器401会按照如下的步骤，将一个或一个以上的计算机程序的进程对应的指令加载到存储器402中，并由处理器401运行存储在存储器402中的计算机程序，从而实现各种功能，如下：

获取需要进行超分辨率重建的第一图像；获取预训练的图像超分辨率重建网络，其中所述图像超分辨率重建网络包括特征提取模块，残差模块，上采样模块以及重建模块；通过所述特征提取模块对所述第一图像进行特征提取，得到特征提取结果；通过所述残差模块对所述特征提取结果进行残差处理，得到残差处理结果；通过所述上采样模块对所述特征提取结果进行上采样处理，得到第一上采样结果，以及通过所述上采样模块对所述残差处理结果进行上采样处理，得到第二上采样结果；融合所述第一上采样结果以及所述第二上采样结果得到融合结果；通过重建模块对所述融合结果进行超分辨率重建，得到第二图像，其中所述第二图像的分辨率大于所述第一图像的分辨率。

由上可知，本申请实施例的电子设备通过获取需要进行超分辨率重建的第一图像，获取预训练的图像超分辨率重建网络，通过图像超分辨率重建网络中的特征提取模块，残差模块，上采样模块以及重建模块对第一图像进行处理，得到分辨率大于第一图像的第二图像。由于本申请实施例所提供的图像超分辨率重建网络中采用上采样模块从多尺度对图像数据进行采样处理，有效地提高了预测精度，进而有效地提高了图像超分辨率重建的准确性。

请一并参阅图15，在某些实施方式中，电子设备400还可以包括：显示器403、射频电路404、音频电路405以及电源406。其中，其中，显示器403、射频电路404、音频电路405以及电源406分别与处理器401电性连接。

该显示器403可以用于显示由用户输入的信息或提供给用户的信息以及各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示器403可以包括显示面板，在某些实施方式中，可以采用液晶显示器(Liquid CrystalDisplay，LCD)、或者有机发光二极管(Organic Light-Emitting Diode，OLED)等形式来配置显示面板。

该射频电路404可以用于收发射频信号，以通过无线通信与网络设备或其他电子设备建立无线通讯，与网络设备或其他电子设备之间收发信号。

该音频电路405可以用于通过扬声器、传声器提供用户与电子设备之间的音频接口。

该电源406可以用于给电子设备400的各个部件供电。在一些实施例中，电源406可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管中未示出，电子设备400还可以包括摄像头、蓝牙模块等，在此不再赘述。

本申请实施例还提供一种存储介质，该存储介质存储有计算机程序，当该计算机程序在计算机上运行时，使得该计算机执行上述任一实施例中的图像超分辨率重建方法，比如：获取需要进行超分辨率重建的第一图像；获取预训练的图像超分辨率重建网络，其中该图像超分辨率重建网络包括特征提取模块，残差模块，上采样模块以及重建模块；通过该特征提取模块对该第一图像进行特征提取，得到特征提取结果；通过该残差模块对该特征提取结果进行残差处理，得到残差处理结果；通过该上采样模块对该特征提取结果进行上采样处理，得到第一上采样结果，以及通过该上采样模块对该残差处理结果进行上采样处理，得到第二上采样结果；融合该第一上采样结果以及该第二上采样结果得到融合结果；通过重建模块对该融合结果进行超分辨率重建，得到第二图像，其中该第二图像的分辨率大于该第一图像的分辨率。

在本申请实施例中，存储介质可以是磁碟、光盘、只读存储器(Read Only Memory，ROM)、或者随机存取记忆体(Random Access Memory，RAM)等。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

需要说明的是，对本申请实施例的图像超分辨率重建方法而言，本领域普通测试人员可以理解实现本申请实施例的图像超分辨率重建方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，如存储在电子设备的存储器中，并被该电子设备内的至少一个处理器执行，在执行过程中可包括如图像超分辨率重建方法的实施例的流程。其中，该的存储介质可为磁碟、光盘、只读存储器、随机存取记忆体等。

对本申请实施例的图像超分辨率重建装置而言，其各功能模块可以集成在一个处理芯片中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。该集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中，该存储介质譬如为只读存储器，磁盘或光盘等。

本文所使用的术语「模块」可看做为在该运算系统上执行的软件对象。本文该的不同组件、模块、引擎及服务可看做为在该运算系统上的实施对象。而本文该的装置及方法优选的以软件的方式进行实施，当然也可在硬件上进行实施，均在本申请保护范围之内。

以上对本申请实施例所提供的一种图像超分辨率重建方法、装置、存储介质及电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。