一种基于遥感图像退化的超分辨率方法

技术领域

本发明涉及遥感图像处理领域，尤其是一种基于遥感图像退化的超分辨率方法。

背景技术

近年来深度卷积神经网络在超分辨率领域取得了非常大的进展，单图像超分辨率是一个典型的逆问题，它的超分辨率效果与图像本身的退化高度相关。然而现有的基于深度卷积神经网络的超分辨率方法大多都是在基于退化已知的条件下训练的，通常假设低分辨率图像是由高分辨率图像经过双三次插值方法下采样得到，这导致在很多方法在研究中能取得很好的实验结果，但是在实际场景中这些方法性能会大大下降。因此盲超分辨率任务是一个重要研究内容。

发明内容

本发明的目的在于：针对现有遥感图像的超分辨率方法大多基于单一退化训练，导致得到的网络无法应对真实复杂的退化图像,网络的泛化性较差等问题，提出一种基于遥感图像退化的超分辨率方法，以解决目前遥感图像超分辨率技术存在的不足。

为解决上述的问题，本发明采用的一个技术方案是：提出一种基于遥感图像退化的超分辨率方法，所述超分辨率方法包括以下步骤：

S1：建立遥感图像的退化模型：遥感图像相较于普通图像，有几何畸变、模糊效应、噪声干扰等干扰因素，基于这些干扰因素，建立遥感图像的退化模型D；

S2:构建训练集和测试集：训练集和测试集使用S1中的退化模型D合成低分辨率图像。D中的模糊核一部分使用各向同性和各向异性的高斯分布进行建模，并在预设范围内生成具有随机参数的核，另一部分通过KernelGAN从图像中提取。D中的噪声通过从图像中提取噪声来合成。

S3:构建超分辨率模型m_1：所构建的超分辨率模型由退化表示学习m_d和超分辨率网络m_s组成；超分辨率网络m_sr由多个子网络m_sub组成，每个子网络m_sub包含特征提取分支和重建分支，在特征提取分支串联N个光谱-空间特征提取块SSFB，退化表示被送到SSFB中，以生成卷积核w∈R

S4:模型训练：将S2中合成的训练集输入S3中构建的超分辨率模型m_1训练，训练采用Adam优化器，通过最小化损失函数来得到最优网络权重，最终得到训练好的超分辨率模型m_2.

S5:图像重建：将低分辨率高光谱遥感图像输入到训练好的超分辨率模型m_2中，模型的输出是对应的高分辨率高光谱遥感图像。

步骤S1中的退化模型D由以下公式给出：

/>

其中K

步骤S3中的光谱-空间特征提取块SSFB由两部分组成，第一部分为串联的退化特征提取模块，利用退化表示中的信息来提取特征；第二部分为通道注意力，用于提取光谱特征。退化特征提取模块中由两个分支组成，两个分支都接收退化表示F

其中d

其中F

通道注意力可以由以下计算公式给出：

s＝f(W

式(1)中X＝[x

步骤S3所述的上采样模块由亚像素卷积组成，通过卷积和多通道间的重组得到高分辨率的特征图。

步骤S4所述的损失函数是在L1损失的基础上，引入空间光谱总变量和对比损失一起训练，

L

式(5)中的L

本发明的有益效果是：所设计的网络针对遥感图像的特点，建立遥感图像的退化模型，并使用对比学习方法学习遥感图像中的退化表示，将学习到的退化表示重塑为超分辨率网络中的卷积核和权重，作为超分辨率网络的先验信息。

附图说明

图1为本发明方法的流程示意图

图2为本发明网络模型的结构示意图

图3为光谱-空间模块的结构图

图4为对比学习的结构图

图5为退化特征提取模块的结构图

图6为通道注意力模块的结构图

具体实施方式

下面结合附图和实施例对本发明进一步说明，本发明包括但不限于下述实例。

如图1所示，本发明提供了一种基于遥感图像退化的超分辨率方法，其具体实现过程如下：S1.建立遥感图像的退化模型。

遥感图像相较于普通图像，有几何畸变、模糊效应、噪声干扰等干扰因素，基于这些干扰因素，建立遥感图像的退化模型D。

S101.退化模型D

该模型可以由以下公式给出：

其中K

S2.构建训练集和测试集

训练集和测试集使用S1中的退化模型D合成低分辨率图像。D中的模糊核使用各向同性和各向异性的高斯分布进行建模，并在预设范围内生成具有随机参数的核。D中的噪声通过从图像中提取噪声来合成。

S3.构建超分辨率网络模型。

如图2所示，本发明构建了用于遥感图像的超分辨率网络模型m_1，能够通过网络模型得到高分辨率图像。所构建的超分辨率模型由退化表示学习m_d和超分辨率网络m_s组成；超分辨率网络m_sr由多个子网络m_sub组成，每个子网络m_sub包含特征提取分支和重建分支，在特征提取分支串联N个光谱-空间特征提取块SSFB，退化表示被送到SSFB中，以生成卷积核和通道比例，得到深层特征图，再输入上采样模块，得到放大的特征图，然后与重建分支中通过反卷积直接放大得到的特征图相加作为下一级金字塔的输入。在最后一级金字塔中，特征提取分支与重建分支相加的结果作为模型的输出。

S301.退化表示学习。

退化表示学习m_d由对比学习实现，从每个图像中随机裁剪两个图像块。然后使用编码器将这些图像块编码为

其中B表示B个低分辨率图像，即B个不同的退化，N

S302.光谱-空间特征提取模块。

该模块由两部分组成，第一部分为串联的退化特征提取模块，利用退化表示中的信息来提取特征；第二部分为通道注意力，用于提取光谱特征。

退化特征提取模块中由两个分支组成，两个分支都接收退化表示F

十字交叉注意力模块主要的操作有两步，首先将输入的退化表示F

其中d

其中F

通道注意力可以由以下计算公式给出：

s＝f(W

式(1)中X＝[x

S4.模型训练。

将S1中处理好的训练集输入S2构建的模型m_1中训练，训练采用Adam优化器，通过最小化损失函数来得到最优网络权重，最终得到训练好的超分辨率网络模型m_2.

S301.损失函数。

损失函数是在L1损失的基础上，引入空间光谱总变量和对比损失一起训练，

L

/>

式(5)中的L

S5.图像重建。

图像重建：将低分辨率高光谱遥感图像输入到训练好的超分辨率网络模型m_2中，模型的输出是对应的高分辨率高光谱遥感图像。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。