一种基于真实退化的空间可变核感知盲超分重建方法

技术领域

本发明涉及图像处理领域，更具体来说涉及一种基于空间可变退化感知的遥感图像超分辨率重建方法。

背景技术

近年来，遥感图像被广泛应用于各种计算机视觉任务中，如目标检测、语义分割和场景理解。由于遥感图像的捕获和传输过程通常会受辐射、平台振动、光学系统离焦、图像压缩等因素的影响，大多数遥感图像分辨率较低且有噪声，限制了遥感图像的实际应用范围。图像超分辨率(Super Resolution，SR)是指从相应的低分辨率(Low Resolution，LR)图像中恢复高分辨率(High Resolution，HR)图像的过程，可以在不受硬件限制的情况下提高图像的空间分辨率。因此，图像超分辨率技术作为其他计算机视觉任务的基础，受到了学者们的广泛关注。

基于深度学习的超分辨率算法通过学习LR到HR的映射关系，在成对LR-HR训练数据集上取得了优异的性能。然而成对的训练数据通常难以获得，LR图像一般由HR图像通过插值算法得到，忽略了真实世界中图像复杂的退化过程，因此重建性能不稳定。随后，非盲超分辨率方法将模糊核视为固定的退化核(如双三次插值核)引导图像重建，然而方法依赖退化核和真实核之间的相似性，面对真实场景性能出现严重下降。盲超分辨率方法专注于模拟复杂的图像退化过程，设计专门的网络提取模糊核以消除噪声和模糊，泛化能力更像，性能明显优于非盲SR方法。然而现有盲超分辨率方法在重建提取模糊核时，对整张图像使用一个模糊核，而图像在不同的位置通常包含不同的退化，在整个图像上估计核将不可避免地产生严重的估计偏差，无法感知图像的整体退化情况。

发明内容

针对现有技术中的缺陷，本发明旨在提供给一种基于空间可变退化感知的遥感图像超分辨率重建方法。

本发明解决上述技术问题所采用的技术方案包括以下步骤：

步骤S1，获取高分辨率遥感图像数据集：训练数据集为NWPU-RESISC45数据集中31500张高质量未退化遥感图像；

步骤S2，构建图像退化模型：随机生成各项异性高斯模糊核k

步骤S3，构建空间可变退化感知的盲超分模型：包含空间可变核评估子网、噪声等级评估子网和退化感知重建子网；

步骤S4，训练基于空间可变退化感知的遥感图像盲超分模型：设置超参数，使用Adam优化器更新网络参数使损失函数收敛至最小，完成模型训练；

步骤S5，通过训练好的盲超分模型重建高分辨率遥感图像：选择评价指标值最高的一组网络权重，保存为最优超分辨率重建模型，用于后期重建高分辨率遥感图像。

进一步地，步骤S2中，所述图像退化模型为：

其中，I

进一步地，步骤S3中，所述核评估器由一个5x5的卷积层、五个残差卷积组(1个3x3卷积层、一个LeakyReLu和一个3x3卷积层串联)和一个通道注意力模块组成，用于评估图像退化核；所述噪声评估器由四个转置卷积组(一个转置卷积和一个PRelu激活函数串联)、四个卷积组(3x3卷积和PRelu激活函数串联)、一个sigmoid函数、一个3x3卷积组成，用于评估噪声特征。

进一步地，步骤S3中，所述空间可变核评估子网经过模糊核提取层、权重计评估层、掩膜聚合层，得到评估的真实模糊核包括：

将所述低分辨率图像输入模糊核提取层中，利用核评估器对图像不同位置进行模糊核提取，形成候选模糊核特征；

将所述候选模糊核输入权重计评估层中，利用Gumbel Softmax重参数操作，得到不同核权重形成核权重集合；

将所述核权重集合和候选模糊核进行掩膜聚合，得到评估的真实模糊核。

进一步地，步骤S3中，所述噪声等级评估子网中，输入图像先通过所述噪声评估器提取输入图像的噪声特征，再计算变量方差获得噪声等级。

进一步地，步骤S3中，所述退化感知重建子网包含特征提取模块、自适应退化感知模块和上采样模块。特征提取模块交替使用3个3×3卷积层和2个LeakyReLU激活层，提取低分辨率图像的浅层特征；自适应退化感知模块负责估计多核退化信息并利用其恢复受损特征信息；上采样模型采样模块由PixelShuffle以及卷积层和LeakyReLu激活函数组成，通过卷积和多通道间的重组得到高分辨率图像。

进一步地，将所述浅层特征、真实模糊核和噪声等级输入自适应退化感知模块来消除模糊和噪声，包括：

将所述模糊核和噪声合并为低维特征；

将所述低维特征输入多层感知机和softmax层进行特征变换，并与浅层特征掩膜聚合形成残差特征；

将所述低维特征拉伸嵌入至高维空间，并通过浅层卷积神经网络形成高维特征；

将所述残差特征和高维特征进行残差连接传入下一自适应退化感知模块。

进一步地，步骤S4中，所述训练基于真实退化的空间可变核感知盲超分重建方法，以L1loss为基础来构建多损失函数进行训练，使所述图像退化模型和空间可变核感知盲超分模型相互协调，完成参数训练，其中所述多损失函数为：

其中，

与现有技术相比，本发明技术方案的有益效果是：

(1)本发明设计的核估计器和噪声评估器，使提取的退化核和噪声等级更接近真实退化过程，辅助重建高分辨率遥感图像。

(2)本发明设计空间可变退化感知的盲超分模型，在扩大感知退化范围的同时选择了更接近真实退化核，实现更精确的超分辨率重建。

(3)本发明能在重建高分辨率图像丰富纹理信息的同时，有效地消除模糊和噪声，将其应用于遥感图像盲超分辨率技术中，能得到更好的超分辨率增强效果。

附图说明

图1为本发明实施例所述的基于空间可变退化感知的遥感图像超分辨率重建方法的流程示意图

图2为本发明实施例所述的图像退化模型框架图

图3为本发明实施例所述的空间可变退化感知的盲超分模型框架图

图4为本发明实施例所述的退化感知重建子网框架图

具体实施方式

下面结合附图和具体实施例对本发明的技术方案进行详细说明。

实施例

如图1所示，一种基于空间可变退化感知的遥感图像超分辨率重建方法，包括以下步骤：

步骤S1，获取高分辨率遥感图像数据集：训练数据集为NWPU-RESISC45数据集中31500张高质量未退化遥感图像。

步骤S2，构建图像退化模型：图像退化模型结构如图2所示，首先随机生成各项异性高斯模糊核k

本实施例中，所述图像退化模型为：

其中，I

所述核评估器由一个5x5的卷积层、五个残差卷积组(1个3x3卷积层、一个LeakyReLu激活函数和一个3x3卷积层串联)和一个通道注意力模块组成，获得退化核k

步骤S3，构建空间可变退化感知的盲超分模型：空间可变退化感知的盲超分模型结构如图3所示，包含空间可变核评估子网、噪声等级评估子网和退化感知重建子网。

(S21)空间可变核评估子网：

由于以往方法对整张图像使用一个模糊核，而图像在不同的位置通常包含不同的退化，在整个图像上估计核将不可避免地产生严重的估计偏差，无法代表图像的整体退化情况。为解决以上问题，本发明提出可变核评估方式，即使用所述核评估器随机对输入低分辨率图像不同位置进行模糊核提取，再根据不同模糊核权重选择最真实模糊核。

具体地，所述可变核提取，对低分辨率图像的三个不同块位置进行模糊核提取，获得候选模糊核特征k

其中，k

具体地，所述权重计算方式，首先使用逐元素相加和1x1卷积将候选特征k

其中，Conv

(S22)噪声等级评估子网：

噪声等级评估子网使用噪声评级器建模输入LR图像为潜在变量，并计算变量方差获得噪声等级n，具体公式可表示为：

n＝std(f

其中，std()表示方差计算，f

(S33)退化感知重建子网：

退化感知重建子网的结构如图4所示，包含特征提取模块、自适应退化感知模块和上采样模块。特征提取模块提取低分辨率图像浅层特征；自适应退化感知模块负责估计多核退化信息并利用其恢复受损特征信息；上采样模块通过卷积和多通道间的重组得到高分辨率图像。

具体地，所述特征提取模块交替使用3个3×3卷积层和2个LeakyReLU激活层获得浅层特征F

F

其中，Com

具体地，将所述浅层特征F

利用所述模糊核k和噪声n合并为低维特征F

F

其中，concat()表示合并通道数操作。

利用所述低维特征F

其中，MLP表示多层感知机，包括输入层，多个隐藏层和输出层，softmax表示归一化指数函数，

对所述低维特征F

F

其中，Conv

利用所述残差特征F

其中，

所述上采样模型采样模块由PixelShuffle以及卷积层和LeakyReLu激活函数组成，首先将深度特征F

I

其中，Conv

至此，空间可变退化感知的盲超分模型的最终输出可表示为：

I

其中，k表示真实模糊核，n表示噪声，f

步骤S4，训练基于空间可变退化感知的遥感图像盲超分模型：设置超参数，使用Adam优化器更新网络参数，以Llloss为基础来构建多损失函数进行训练，使所述图像退化模型和空间可变核感知盲超分模型相互协调，在训练模型的500轮迭代过程中，设置每100轮迭代更新一次学习率。

所述多项损失函数为：

其中，

步骤S5，通过训练好的盲超分模型重建高分辨率遥感图像：选择评价指标值最高的一组网络权重，保存为最优网络模型，用于后期重建高分辨率遥感图像。

综上所述，本实施例提供一种不需要成对数据集进行训练的盲超分辨方法，将盲超分辨率重建任务分解为退化过程和生成过程，一方面模拟图像复杂的退化过程，考虑退化核和真实核之间的相似性，避免产生严重的核估计偏差。一方面考虑图像不同空间位置的真实退化情况，避免了模糊核无法代表图像的整体退化情况。重建高分辨率图像丰富纹理信息的同时，有效地消除模糊和噪声，由此可知，本发明提出的一种基于空间可变退化感知的遥感图像超分辨率重建方法，是一个端到端的高质量盲超分辨率重建。

以上所举实施例，是对本发明的具体实施步骤和优点的详细说明，需要理解的是，所举实施例仅为本发明的优选实施方式，并不用于对本发明进行的限定，本领域技术人员可以在权利要求的范围内做出各种变化或修改。凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。