图像超分辨率重建方法、装置及电子设备

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种图像超分辨率重建方法、装置及电子设备。

背景技术

傅里叶叠层(FP,Fourier Ptychographic)成像技术是一种通过相机移位、激光光源移位等方法，利用小口径相机采集不同频谱下的目标信息，然后通过相位恢复方法将目标信息在频域中进行拼接，实现大范围的目标频谱合成，从而获得高分辨率的图像。然而，在远场成像环境中，由于干扰因素较多，传统的傅里叶叠层重建算法往往面临频谱偏移量不稳定、噪声复杂等问题，导致重建图像出现严重的伪影和降低分辨率的情况。

近年来，深度学习方法在图像处理领域取得了显著的成果。通过深度学习方法，可以利用计算机的强大计算能力，对傅里叶叠层图像进行优化，从而提升图像成像质量。

然而，目前大多数基于深度学习的方法主要针对显微成像或透射式成像进行网络结构设计，未能充分考虑远场反射式的傅里叶叠层成像的物理模型。这导致在处理远场反射式傅里叶叠层成像时出现伪影和细节处理能力不足等问题。

发明内容

为了至少克服现有技术中的上述不足，本申请的目的在于提供一种图像超分辨率重建方法、装置及电子设备。

第一方面，本申请实施例提供一种图像超分辨率重建方法，所述图像超分辨率重建方法包括：

基于远场反射式的傅里叶叠层成像系统，获取第一高分辨率图像及至少两张第一低分辨率图像；

对所述第一高分辨率图像进行归一化处理，得到第二高分辨率图像；对所述第一低分辨率图像进行退化处理，得到第二低分辨率图像，所述退化处理包括相位随机平移退化处理及随机相差退化处理；

通过所述第二低分辨率图像及所述第二高分辨率图像对深度学习超分辨率网络进行训练，得到目标深度学习超分辨率网络。

在一种可能的实现方式中，所述对所述第一低分辨率图像进行退化处理，得到第二低分辨率图像的步骤，包括：

基于所述第一低分辨率图像，计算所述第一低分辨率图像的幅度图，并对所述幅度图进行傅里叶变换，生成第一相位图；

基于所述第一相位图，进行随机相差退化处理及多次相位随机平移退化处理，计算引入随机扰动后的第二相位图；

基于所述幅度图及所述第二相位图，计算引入随机扰动后的第二低分辨率图像。

在一种可能的实现方式中，所述幅度图A

其中，A

所述引入随机扰动后的第二相位图Φ

Φ

其中，Φ

所述引入随机扰动后的第二低分辨率图像I

其中，I

在一种可能的实现方式中，所述深度学习超分辨率网络包括生成网络及判别网络；

所述生成网络包括多尺度特征融合模块、残差模块、上采样模块及特征映射模块；所述多尺度特征融合模块用于提取输入的所述第二低分辨率图像的多尺度特征，合成第一多通道特征图；所述残差模块用于调节特征图的维度大小，生成第二多通道特征图；所述上采样模块用于对所述第二多通道特征图进行逐步信息解码，生成第三多通道特征图；所述特征映射模块用于将所述第三多通道特征图映射为单通道输出图像，得到第一输出结果；

所述判别网络包括特征提取模块、下采样模块及样本分类模块；所述特征提取模块用于提取输入的所述第一输出结果或所述第二高分辨率图像的特征，所述下采样模块用于降低特征图的参数量，所述样本分类模块用于实现分类概率的计算，得到第二输出结果。

在一种可能的实现方式中，所述通过所述第二低分辨率图像及所述第二高分辨率图像对深度学习超分辨率网络进行训练，得到目标深度学习超分辨率网络的步骤，包括：

将所述第二低分辨率图像输入所述生成网络，得到第一输出结果；

将所述第一输出结果或所述第二高分辨率图像输入所述判别网络，得到第二输出结果；

基于所述第一输出结果及所述第二输出结果，计算所述生成网络的损失和所述判别网络的损失；

基于所述生成网络的损失和所述判别网络的损失，对所述深度学习超分辨率网络的参数进行更新，以确定目标深度学习超分辨率网络。

在一种可能的实现方式中，所述基于所述生成网络的损失和所述判别网络的损失，对所述深度学习超分辨率网络的参数进行更新的步骤，包括：

基于所述第二高分辨率图像及所述第一输出结果，计算重建损失L

基于所述第二输出结果，计算对抗损失L

基于所述第二高分辨率图像及所述第一输出结果，计算傅里叶域相位的一阶范数损失L

结合重建损失L

基于所述第二输出结果，计算所述判别网络的损失L

根据所述生成网络的总损失L

在一种可能的实现方式中，所述重建损失L

其中，L

所述对抗损失L

其中，L

所述傅里叶域相位的一阶范数损失L

其中，L

所述生成网络的总损失L

L

其中，L

所述判别网络的损失L

其中，L

在一种可能的实现方式中，在所述通过所述第二低分辨率图像及所述第二高分辨率图像对深度学习超分辨率网络进行训练，得到目标深度学习超分辨率网络的步骤之后，所述方法还包括：

将至少两张待处理图像输入所述目标深度学习超分辨率网络，得到重建的高分辨率图像。

第二方面，本申请实施例还提供一种图像超分辨率重建装置，所述图像超分辨率重建装置包括：

获取模块：用于基于远场反射式的傅里叶叠层成像系统，获取第一高分辨率图像及至少两张第一低分辨率图像；

图像处理模块：用于对所述第一高分辨率图像进行归一化处理，得到第二高分辨率图像；对所述第一低分辨率图像进行退化处理，得到第二低分辨率图像，所述退化处理包括相位随机平移退化处理及随机相差退化处理；

训练模块：用于通过所述第二低分辨率图像及所述第二高分辨率图像对深度学习超分辨率网络进行训练，得到目标深度学习超分辨率网络。

第三方面，本申请实施例还提供一种电子设备，所述电子设备包括处理器及机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被所述处理器执行时，实现上述任意方面所述的方法。

基于上述任意一个方面，本申请实施例提供的一种图像超分辨率重建方法、装置及电子设备，通过远场反射式的傅里叶叠层成像系统采集的低分辨率图像，相邻子孔径重叠率可以是0，相比于传统的至少需要大约35％的重叠率才能实现图像的重建的傅里叶叠层成像方法，减少了大量的数据采集时间；同时，通过对低分辨率图像进行退化处理，即，对低分辨率图像进行相位随机平移退化处理及随机相差退化处理，通过对低分辨率图像进行在傅里叶域的相位随机平移可以模拟远场反射式的傅里叶叠层成像系统的随机抖动，通过对低分辨率图像进行随机像差退化可以模拟远场成像过程中复杂环境因素的随机干扰，从而提高深度学习超分辨率网络的泛化能力。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要调用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。

图1为本申请实施例提供的图像超分辨率重建方法的流程示意图；

图2为本申请实施例提供的步骤S200的子步骤示意图；

图3为本申请实施例提供的生成网络的结构示意图；

图4为本申请实施例提供的判别网络的结构示意图；

图5为本申请实施例提供的步骤S300的子步骤示意图；

图6为本申请实施例提供的步骤S340的子步骤示意图；

图7为本申请实施例提供的电子设备的结构示意图；

图8为本申请实施例提供的图像超分辨率重建装置的结构示意图。

图标：110-生成网络；111-多尺度特征融合模块；112-残差模块；113-上采样模块；114-特征映射模块；120-判别网络；121-特征提取模块；122-下采样模块；123-样本分类模块；800-电子设备；810-处理器；820-机器可读存储介质；830-图像超分辨率重建装置；831-获取模块；832-图像处理模块；833-训练模块。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本申请的描述中，需要说明的是，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

需要说明的是，在不冲突的情况下，本申请的实施例中的不同特征之间可以相互结合。

下面结合附图，对本申请的具体实施方式进行详细说明。

请参照图1，图1示例本实施提供的图像超分辨率重建方法的一种流程示意图，所述方法可以包括以下步骤。

步骤S100，基于远场反射式的傅里叶叠层成像系统，获取第一高分辨率图像及至少两张第一低分辨率图像。

在本实施例中，所述远场反射式的傅里叶叠层成像系统是基于相干衍射成像原理的。该系统使用一相干光束照射样品，使样品表面的反射光经过成像镜头聚焦到光敏探测器上，进而记录得到一系列强度图像。远场反射式是指样品与成像镜头的距离远大于成像镜头口径。所述第一高分辨率图像可以通过大口径相机拍摄得到，所述第一低分辨率图像可以通过小口径相机拍摄得到。

具体地，可以将同一拍摄区域的每一所述第一高分辨率图像和与所述第一高分辨率图像对应的至少2个所述第一低分辨率图像进行组合作为一样本图像组。每一所述低分辨率图像对应一个子孔径，所述第一低分辨率图像的相邻子孔径重叠率为0，即，相邻子孔径之间没有重叠，每个子孔径都采集到了独立的信息。如此设计，可以最大化利用该成像系统采集到的频谱信息，提高傅里叶叠层成像系统的分辨率和准确性。

示例性地，所述第一低分辨率图像可以为25张，本实施例可以将25张相邻子孔径重叠率为0的所述第一低分辨率图像和1张所述第一高分辨率图像进行组合。

需要说明的是，在步骤S100中，可以需要获取多个不同的所述第一高分辨率图像及所述第一低分辨率图像形成不同的样本图像组，不同样本图像组之间拍摄的场景、光线、角度可以不同。在后续步骤中，通过多个样本图像组对深度学习超分辨率网络进行多轮次训练，可以提高深度学习超分辨率网络的泛化处理能力。

步骤S200，对所述第一高分辨率图像进行归一化处理，得到第二高分辨率图像；对所述第一低分辨率图像进行退化处理，得到第二低分辨率图像，所述退化处理包括相位随机平移退化处理及随机相差退化处理。

在本实施例中，可以将步骤S100获取的每一组合中的所述第一高分辨率图像进行归一化处理，即除以图像数据的位深度对应的灰度最大值，例如，8位数据除以255.0，16位数据除以65535.0，使图像的像素值映射到[0,1]的范围内，以得到所述第二高分辨率图像。如此设计，可以使图像数据具有统一的尺度，以便更好地进行后续的处理和分析。

将步骤S100获取的每一组合中的所述第一低分辨率图像进行多次相位随机平移退化处理，可以更好的拟合复杂环境中的随机抖动影响，并进行基于泽尼克(Zernike)多项式的随机像差退化处理，可以拟合远场拍摄过程中，天气变化等因素对成像质量造成的影响。

具体地，结合远场反射式的傅里叶叠层成像系统，并通过多次相位随机平移退化处理和基于Zernike多项式的随机像差退化处理，可以丰富数据集，增强深度学习网络的泛化能力，提高对复杂环境中图像处理的准确性。

需要说明的是，在每一次对深度学习超分辨率网络进行迭代训练时，都需要对所述第一高分辨率图像进行归一化处理以及对所述第一低分辨率图像进行退化处理。

步骤S300，通过所述第二低分辨率图像及所述第二高分辨率图像对深度学习超分辨率网络进行训练，得到目标深度学习超分辨率网络。

在本实施例中，可以将步骤S200得到的多组图像输入所述深度学习超分辨率网络进行训练，并采用Adam(Adaptive Moment Estimation)优化器进行迭代更新，逐步缩小损失函数直至网络收敛，将此时的参数保存为最优网络参数，从而得到基于远场反射式的傅里叶叠层成像系统的深度学习超分辨率网络。

在上述设计中，通过远场反射式的傅里叶叠层成像系统采集的第一低分辨率图像，相邻子孔径重叠率可以是0，相比于传统的至少需要大约35％的重叠率才能实现图像的重建的傅里叶叠层成像方法，减少了大量的数据采集时间；同时，通过对所述第一低分辨率图像进行退化处理，可以模拟远场反射式的傅里叶叠层成像系统的随机抖动，而且可以模拟远场成像过程中复杂环境因素的随机干扰，从而提高深度学习超分辨率网络的泛化能力。

在一种可能的实施方式中，请参照图2，步骤S200还可以包括以下子步骤。

步骤S210，基于所述第一低分辨率图像，计算所述第一低分辨率图像的幅度图，并对所述幅度图进行傅里叶变换，生成第一相位图。

在本实施例中，可以根据步骤S100获取的所述第一低分辨率图像，对图像数据进行归一化处理后再开方，从而得到所述第一低分辨率图像的幅度图，然后进行傅里叶变换，得到第一相位图。

具体地，所述幅度图A

其中，A

步骤S220，基于所述第一相位图，进行随机相差退化处理及多次相位随机平移退化处理，计算引入随机扰动后的第二相位图。

在本实施例中，可以将步骤S210得到的所述第一相位图进行随机平移，然后添加基于Zernike多项式的随机像差，再次随机平移该相位图，从而得到引入随机扰动后的所述第二相位图。具体地，图像的相位图中包含图像高级语义信息，例如，图像内容与物体位置等，多次进行随机平移可以更好的拟合复杂环境中的随机抖动影响。

所述引入随机扰动后的第二相位图Φ

Φ

其中，Φ

步骤S230，基于所述幅度图及所述第二相位图，计算引入随机扰动后的第二低分辨率图像。

在本实施例中，可以将步骤S210得到的所述幅度图及步骤S220得到的所述第二相位图合成，进行傅里叶逆变换后，取模长的平方，从而得到引入随机扰动的所述第二低分辨率图像。

所述引入随机扰动后的第二低分辨率图像I

其中，I

在一种可能的实施方式中，所述深度学习超分辨率网络包括生成网络110及判别网络120。

在本实施例中，可以将步骤S230得到的多张所述第二低分辨率图像进行逐通道拼接，并作为所述生成网络110的输入张量。所述判别网络120的输入张量可以为所述生成网络110的第一输出结果或所述第二高分辨率图像。所述判别网络120的输出结果为对所述判别网络120的输入张量的概率判断。

示例性地，可以使用深度学习框架PyTorch构建和训练所述深度学习超分辨率网络，也可以使用TensorFlow、Keras、MXNet等深度学习框架完成所述深度学习超分辨率网络的训练，优化器可以使用Adam(Adaptive Moment Estimation)，学习率可以使用余弦退火法动态调整，学习率的最大值是10

请参照图3，所述生成网络110可以包括多尺度特征融合模块111、残差模块112、上采样模块113及特征映射模块114。所述多尺度特征融合模块111用于提取输入的所述第二低分辨率图像的多尺度特征，合成第一多通道特征图；所述残差模块112用于调节特征图的维度大小，生成第二多通道特征图；所述上采样模块113用于对所述第二多通道特征图进行逐步信息解码，生成第三多通道特征图；所述特征映射模块114用于将所述第三多通道特征图映射为单通道输出图像，得到第一输出结果。

在本实施例中，所述多尺度特征融合模块111可以由4个并行分支结构组成。第1分支可以是1×1的卷积层、BatchNormal的归一化层和PReLU的激活层；第2分支可以是3×3的平均池化层、1×1的卷积层、BatchNormal的归一化层和PReLU的激活层；第3分支可以是1×1的卷积层、BatchNormal的归一化层、PReLU的激活层、1×5的卷积层、BatchNormal的归一化层、PReLU的激活层、5×1的卷积层、BatchNormal的归一化层和PReLU的激活层；第4分支可以是1×1的卷积层、BatchNormal的归一化层、PReLU的激活层、1×3的卷积层、BatchNormal的归一化层、PReLU的激活层、3×1的卷积层、BatchNormal的归一化层和PReLU的激活层。通过对4个分支的输出结果进行逐通道拼接，再通过1×1的卷积层和ReLU的激活层，将所述第一特征图传递到残差模块112。通过这种非对称的卷积拆分(1×n)结构，与对称的卷积(n×n)结构相比，可以降低参数量，同时能够处理更多更丰富的空间特征。所述多尺度特征融合模块111在同一层级通过多个不同的卷积核提取图像不同尺度的信息，获取不同感受野的特征，经过融合后传递到下一层，可以更加灵活地平衡计算量和模型表征能力。

所述生成网络110可以包括多个所述残差模块112。每个所述残差模块112都可以由2个分支组成，第1分支是1×1的卷积层、BatchNormal的归一化层、PReLU的激活层、3×3的卷积层、BatchNormal的归一化层、PReLU的激活层、1×1的卷积层和BatchNormal的归一化层；第2分支是1×1的卷积层和BatchNormal的归一化层。通过对2个分支的输出结果进行相加求和，再经ReLU的激活层，传递到下一个残差模块112。最后一个残差模块112的输出结果经1×1的卷积层后，再与所述多尺度特征融合模块111输出的所述第一特征图进行相加求和，将得到的所述第二特征图传递到上采样模块113。所述残差模块112可以扩展模型表征能力，同时避免网络深度的增加带来的梯度消失或梯度爆炸等问题。示例性地，所述残差模块112的数量可以为25个。具体地，所述残差模块112的个数可以根据对所述深度学习超分辨率网络进行训练的难易程度进行调节。

所述生成网络110可以包括2个所述上采样模块113，每个上采样模块113都可以由双三次插值层、3×3的卷积层、LReLU的激活层组成。具体地，第1个上采样模块113的输出结果传递到第2个上采样模块113，第2个上采样模块113的输出结果传递到所述特征映射模块114。所述上采样模块113用于在所述多尺度特征融合模块111和所述残差模块112表征结果的基础上，对信息进行逐步解码，从而提升所述生成网络110的输出图像的分辨率。

所述特征映射模块114可以由7×7的卷积层、ReLU的激活层、3×3的卷积层和tanh的激活层构成。其中，tanh的激活层的输出结果的取值范围是[-1，1]，因此，需要将该输出结果整体加1，再乘以0.5，才能得到所述生成网络110的最终输出结果图所述第一输出结果，即所述深度学习超分辨率网络训练完成后的重建的高分辨率图像。所述特征映射模块114可以将所述上采样模块113生成的所述多通道特征图通过多层权重映射成单通道的输出图像。

请参照图4，所述判别网络120可以包括特征提取模块121、下采样模块122及样本分类模块123。所述特征提取模块121用于提取输入的所述第一输出结果或所述第二高分辨率图像的特征，所述下采样模块122用于降低特征图的参数量，所述样本分类模块123用于实现分类概率的计算，得到第二输出结果。

在本实施例中，所述特征提取模块121可以由3×3的卷积层、LReLU的激活层、4×4的卷积层、BatchNormal的归一化层和LReLU的激活层构成。所述特征提取模块121用2层卷积结构串联的方式实现多通道特征图的提取，再将提取的特征图传递到下采样模块122。示例性地，所述特征提取模块121输出的特征图通道数是64。

所述判别网络120可以包括3个所述下采样模块122，3个所述下采样模块122之间串联。具体地，每个所述下采样模块122可以由3×3的卷积层、BatchNormal的归一化层、LReLU的激活层、4×4的卷积层、BatchNormal的归一化层和LReLU的激活层构成。最后一个下采样模块122的输出结果需要传递到所述样本分类模块123。所述下采样模块122用2层卷积结构串联的方式逐步降低特征图的参数量，每经过一个所述下采样模块122，特征图的通道数翻倍，即，输出的特征图通道数依次是128、256、512，而特征图的宽高减半。

所述样本分类模块123可以由自适应平均池化层、1×1的卷积层、LReLU的激活层、1×1的卷积层和sigmoid的激活层构成。具体地，可以通过自适应平均池化算法将特征图的空间维度降至1×1，即特征图的宽高均为1，然后通过2层卷积结构逐步将特征图的通道数降至1，再通过sigmoid函数实现分类概率的计算。

具体地，可以将远场反射式的傅里叶叠层成像系统采集的所述第一低分辨率图像及所述第一高分辨率图像制作为训练集，训练集中的同一拍摄区域的至少两张相邻子孔径重叠率为0的低分辨率图像和1张高分辨率图像形成样本图像组，不同样本图像组之间拍摄的场景、光线、角度可以不同。该训练集用于训练所述深度学习超分辨率网络。该训练集还可以包括验证集，验证集用于在训练过程中评判当前网络训练效果。

需要说明的是，所述深度学习超分辨率网络的网络深度、卷积核大小、训练超参等需要根据训练任务的难易程度进行调整。所述深度学习超分辨率网络的输入通道数也需要根据傅里叶叠层成像系统采集的图片张数进行调整。对于灰度图像，通道数与图像的张数相等。

在一种可能的实施方式中，请参照图5，步骤S300还可以包括以下子步骤。

步骤S310，将所述第二低分辨率图像输入所述生成网络110，得到第一输出结果。

在本实施例中，每次对所述深度学习超分辨率网络进行训练时，可以将多张所述第二低分辨率图像输入到所述生成网络110进行正向传播，得到所述第一输出结果。

步骤S320，将所述第一输出结果或所述第二高分辨率图像输入所述判别网络120，得到第二输出结果。

在本实施例中，可以将步骤S200得到的所述第二高分辨率图像及步骤S310得到的所述生成网络110的所述第一输出结果输入到所述判别网络120中，得到所述第二输出结果。

步骤S330，基于所述第一输出结果及所述第二输出结果，计算所述生成网络110的损失和所述判别网络120的损失。

在本实施例中，可以根据所述第一输出结果及所述第二输出结果，使用不同的公式分别计算所述生成网络110的损失和所述判别网络120的损失。

步骤S340，基于所述生成网络110的损失和所述判别网络120的损失，对所述深度学习超分辨率网络的参数进行更新，以确定目标深度学习超分辨率网络。

在本实施例中，可以通过所述生成网络110的损失和所述判别网络120的损失，逐层更新所述生成网络110和所述判别网络120的权重参数。如此，所述深度学习超分辨率网络的权重参数会不断调整，使所述生成网络110能够生成更逼真的图像，所述判别网络120能够更准确地区分真实图像和生成图像。

在一种可能的实施方式中，请参照图6，步骤S340还可以包括以下子步骤。

步骤S341，基于所述第二高分辨率图像及所述第一输出结果，计算重建损失L

在本实施例中，所述重建损失L

其中，L

步骤S342，基于所述第二输出结果，计算对抗损失L

在本实施例中，所述对抗损失L

其中，L

步骤S343，基于所述第二高分辨率图像及所述第一输出结果，计算傅里叶域相位的一阶范数损失L

在本实施例中，所述傅里叶域相位的一阶范数损失L

其中，L

步骤S344，结合重建损失L

在本实施例中，所述生成网络110的总损失L

L

其中，L

示例性地，所述对抗损失函数的比例因子λ可以取0.01，傅里叶域相位的一阶范数损失函数的比例因子β可以取0.1。

在上述设计中，通过所述生成网络110的损失函数的设计，可以提高所述深度学习超分辨率网络对图像高级语义信息的重建能力，例如，图像内容与物体位置等。

步骤S345，基于所述第二输出结果，计算所述判别网络120的损失L

在本实施例中，所述判别网络120的损失L

其中，L

步骤S346，根据所述生成网络110的总损失L

在本实施例中，通过计算所述生成网络110的总损失L

在一种可能的实施方式中，在通过所述第二低分辨率图像及所述第二高分辨率图像对深度学习超分辨率网络进行训练，得到目标深度学习超分辨率网络之后，还可以将至少两张待处理图像输入所述目标深度学习超分辨率网络，得到重建的高分辨率图像。

在本实施例中，所述待处理图像可以为远场反射式的傅里叶叠层成像系统采集的低分辨率图像。将所述待处理图像逐通道进行拼接，构成与所述生成网络110输入通道数一致的输入张量，通过所述目标深度学习超分辨率网络的重建，可以得到重建的高分辨率图像，从而实现稀疏采样的傅里叶叠层成像的图像超分辨率重建。

本实施例还提供一种电子设备800，请参照图7，图7示例所述电子设备800的方框示意图。所述电子设备包括处理器810、机器可读存储介质820及图像超分辨率重建装置830。所述机器可读存储介质820、处理器810相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述图像超分辨率重建装置830包括多个可以软件或固件(firmware)的形式存储于所述机器可读存储介质820中或固化在所述图像超分辨率重建装置830的操作系统(operating system，OS)中的软件功能模块。所述处理器810用于执行所述机器可读存储介质820中存储的可执行模块，例如所述图像超分辨率重建装置830所包括的软件功能模块及计算机程序等。

其中，所述机器可读存储介质820可以是，但不限于，随机存取存储器(RandomAccess Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(Erasable ProgrammableRead-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable ProgrammableRead-Only Memory，EEPROM)等。其中，机器可读存储介质820用于存储程序，所述处理器810在接收到执行指令后，执行所述程序。

所述处理器810可能是一种集成电路芯片，具有信号的处理能力。上述的处理器810可以是通用处理器810，包括中央处理器810(Central Processing Unit，简称CPU)、网络处理器810(Network Processor，简称NP)等；还可以是数字信号处理器810(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器810可以是微处理器810或者该处理器810也可以是任何常规的处理器810等。

请参照图8，本申请实施例还提供一种图像超分辨率重建装置830，所述图像超分辨率重建装置830包括多个可以软件形式存储于机器可读存储介质820中的功能模块。从功能上划分，所述图像超分辨率重建装置830可以包括获取模块831、图像处理模块832及训练模块833。其中：

所述获取模块831用于基于远场反射式的傅里叶叠层成像系统，获取第一高分辨率图像及至少两张第一低分辨率图像。

在本实施例中，所述获取模块831可用于执行图1所示的步骤S100，关于所述获取模块831的具体描述可参考对所述步骤S100的描述。

所述图像处理模块832用于对所述第一高分辨率图像进行归一化处理，得到第二高分辨率图像；对所述第一低分辨率图像进行退化处理，得到第二低分辨率图像，所述退化处理包括相位随机平移退化处理及随机相差退化处理。

在本实施例中，所述图像处理模块832可用于执行图1所示的步骤S200，关于所述图像处理模块832的具体描述可参考对所述步骤S200的描述。

所述训练模块833用于通过所述第二低分辨率图像及所述第二高分辨率图像对深度学习超分辨率网络进行训练，得到目标深度学习超分辨率网络。

在本实施例中，所述训练模块833可用于执行图1所示的步骤S300，关于所述训练模块833的具体描述可参考对所述步骤S300的描述。

综上所述，本申请提供一种图像超分辨率重建方法、装置及电子设备，通过远场反射式的傅里叶叠层成像系统采集的第一低分辨率图像，相邻子孔径重叠率可以是0，相比于传统的至少需要大约35％的重叠率才能实现图像的重建的傅里叶叠层成像方法，减少了大量的数据采集时间；同时，通过对第一低分辨率图像进行退化处理，即，对第一低分辨率图像进行相位随机平移退化处理及随机相差退化处理，对第一低分辨率图像进行在傅里叶域的相位随机平移可以模拟远场反射式的傅里叶叠层成像系统的随机抖动，对第一低分辨率图像进行随机像差退化可以模拟远场成像过程中复杂环境因素的随机干扰，从而提高深度学习超分辨率网络的泛化能力。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。