基于自适应归一化和注意力机制的遥感图像时空融合方法

技术领域

本发明属于计算机领域，涉及基于自适应归一化和注意力机制的遥感图像时空融合方法。

背景技术

遥感图像在植物季节性变化监测、土地资源利用规划、农作物产量调查等方面发挥着重要作用。但由于技术和预算的限制，单个遥感卫星难获得同时具有高时间分辨率和高空间分辨率的遥感图像。高空间分辨率的卫星通常有着较长的重访周期，而重访周期短的卫星又只能提供具有低空间分辨率的遥感图像。一个典型的例子是具有高空间但低时间分辨率的Landsat图像和低空间但高时间MODIS图像。其中，Landsat图像的空间分辨率为30m，重访周期为16天，而MODIS图像的空间分辨率为250m，重访周期为1天。遥感图像的时空融合技术就是在无需改变卫星硬件设备的前提下，从软件层面解决光学卫星传感器在时间和空间分辨之间的矛盾，通过算法程序自动生成具有密集时间序列的高空间分辨率遥感图像，这对进一步拓展遥感图像的研究价值和应用范围都有着重大意义。

目前，遥感图像时空融合方法已经可以取得较好的融合效果，但融合结果的质量仍然受到以下的因素影响：

(1)预测图像的空间细节信息几乎全依赖于参考时刻的Landsat图像，如果该图像受到云层遮挡或传感器噪声影响则会使最终融合精度显著下降；

(2)遥感图像对之间存在巨大的空间分辨率差距，给复杂地物类型和丰富纹理特征的重建带来了很大的困难；

(3)基于深度学习的时空融合算法，使用较浅的神经网络会使图像信息挖掘不充分，导致融合精度降低，而简单增加网络层数会造成模型偏差，引起网络退化。

发明内容

有鉴于此，本发明的目的在于提供一种基于自适应归一化和注意力机制的遥感图像时空融合方法。为达到上述目的，本发明提供如下技术方案：

基于自适应归一化和注意力机制的遥感图像时空融合方法，该方法包括以下步骤：

S1：引入双流网络思想，LSHT分支用于训练低空间分辨率的遥感图像对，使用渐进式上采样获取其在多个尺度上的时间特征；HSLT分支用于训练高空间分辨率遥感图像，使用步长为2的卷积，每次缩小特征图尺寸的一半，获取其在多个尺度上的空间特征；设从高低空间分辨率图像对之间观测的地面特征变化几乎相同，用F(L

F(L

S2：网络输入的低空间分辨率图像保留初始大小，采用渐进式上采样，通过卷积网络的级联从粗到细逐步重建高分辨率图像；

S3：使用Resnet的残差块作为网络基本块；将网络前一层的输入添加到下一层，通过跳跃连接帮助网络更好地学习输入和输出之间的映射关系，从而提高网络的性能，解决普通卷积神经网络因层数过深时造成的网络退化；设x表示残差网络的输入，F(.)表示残差块，将网络的输入和其经过残差块处理后的结果相加就得到网络的最终输出H(.)，Resnet用数学公式表达如下：

H(x)＝x+F(x)(2)

S4：训练的残差块使用自适配归一化代替批归一化；设每一个像素表示为h

S5：μ和σ

S6：将两个时刻的MODIS图像的差值作为输入送入负责学习变化权重函数f(.)的注意力网络中得到注意力矩阵W；权重计算的公式如下：

引入用于风格迁移的自适应实例归一化AdaIN到多尺度特征融合模块中；AdaIN通过将内容图像特征的均值μ(x)和方差σ(x)对齐到风格图像的均值μ(y)和方差σ(y)将一幅图像内容呈现为另一幅图像的风格，公式表示为：

在时空融合中，将参考时刻的Landsat特征图

可选的，所述权重越大，表示变化越大，那么分配给预测时刻t1的MODIS特征图

可选的，所述重建高分辨率图像时，使用通道空间注意力模块CBAM，沿着通道和空间两个维度依次学习注意力权重图，然后将注意力权重图乘以输入特征图以进行自适应特征修饰；用

本发明的有益效果在于：引入双流网络分别提取多个尺度下的低空间分辨率图像的时间变化信息和高空间分辨率图像的细节纹理信息；引入常用于风格迁移的自适配实例归一化，在保留参考时刻的高空间分辨率图像空间特征的基础上，添加预测时刻的低空间分辨率的整体光谱特征和边缘纹理，生成中间时刻的高空间分辨率图像；使用注意力机制学习时间变化敏感程度的权重系数矩阵，根据权重矩阵融合中间时刻的高空间分辨率图像和预测时刻的低空间分辨率图像，得到各个尺度上的高空间高时间分辨率的特征图，最后按照特征图大小依次送入包含通道空间注意力机制模块的图像重建网络生成最终的预测图像。本发明提高了时空融合模型的精确性和鲁棒性，能够适应多种融合任务。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为模型流程图；

图2为网络架构图；

图3为注意力机制模块；

图4为图像融合模块；

图5为通道空间注意力机制模块。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

请参阅图1～图5，本发明所揭示的是一种基于自适应实例归一化和注意力机制的多尺度时空融合模型，详细步骤如下：

S1：从官方网站获取实验所需数据集，对获取到的Landsat-MODIS图像对进行数据预处理。首先将MODIS图像波段调整到和Landsat相匹配，即：{3,4,1,2,6,7}，然后将其投影到和Landsat相同的通用墨卡托投影UTM，最后为了便于实验，将Landsat图像大小统一裁剪为1600×1600，对应的MODIS图像尺寸大小为100×100；

S2：数据预处理完成后，将Landsat-MODIS图像对按照日期分组，两个最相近日期的图像对为一组，然后以组为单位将数据集划分成训练集和验证集；

S3：将参考时刻的MODIS图像M

S4：将

S5：将参考时刻的Landsat图像L

S6：在LSHT子网络中选取维度为4a×4a×64、8a×8a×64、16a×16a×64的特征图

S7：将上述W

S8：将

S9：将上述得到的

S10：将

S11：将

S12：为了更好的减小模型误差，恢复预测图像的光谱信息和空间细节，本方法采用复合的损失函数代替传统的MSE来评估模型性能。该损失函数包含内容损失L

L＝L

L

为了获得预测图像的光谱真实性，利用预测和地面真实特征之间的余弦相似度来减少和控制不同波段之间的光谱失真。余弦相似度用向量空间中两向量夹角的余弦值作为衡量两个个体之间差异的大小。余弦值越接近1，表明两个向量的夹角越接近0度，则两个向量越相似。余弦值越接近0，表明两个向量的夹角越接近180度，则两个向量越不相似。用I表示全1矩阵，Y

引入多尺度的结构相似性，使用多尺度的高斯核函数来评估预测图像在亮度、对比度和结构上的相似性，模仿人类视觉系统。用||x||

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。