一种基于U型卷积神经网络的高光谱全色锐化方法及系统

技术领域

本发明涉及遥感图像处理技术领域，尤其涉及一种基于U型卷积神经网络的高光谱全色锐化方法及系统。

背景技术

高光谱图像(HSI)具有非常高的光谱分辨率，可以很好地反映不同材料的特性，在地物精细分类、医学诊断、异常检测、文物鉴定和保护等许多领域有着重要的应用价值，然而由于高光谱传感器的硬件限制，HSI往往具有较低的空间分辨率，这限制了它在高空间分辨率需求场景下的应用。因此，以提高空间分辨率为目的的高光谱图像超分辨率技术已经成为近年来的研究热点。目前已经有一些研究试图将HSI与PAN进行融合来提高HSI的空间分辨率，这类方法称为高光谱全色锐化，尽管已经取得了一些成果，但还存在着一些不足，如：不能充分利用多尺度的空间和光谱信息，存在一定程度的空间信息损失与光谱失真，网络模型的运算复杂度太高以及模型的推理运行时间太长等问题。

现有的全色锐化方法总体上可以划分为传统全色锐化方法和基于深度学习的方法。传统的全色锐化方法又分为成分替换法、多尺度分析法、贝叶斯估计法和矩阵分解法。成分替换法能较好的保留空间信息，但光谱信息会产生一定程度的失真。多尺度分析法会丢失一些空间信息并引起振铃现象。贝叶斯估计法和矩阵分解法都属于基于模型优化求解的方法，这类方法相比于成分替换法和多尺度分析法能够更好的保留图像的空间与光谱信息，但是由于计算量非常大，该方法也需要消耗更多的计算资源。

近年来，一些研究也开始逐步将各种深度学习方法引入到高光谱全色锐化领域。华南理工大学申请的专利“基于光谱维控制卷积神经网络的高光谱图像全色锐化方法”(申请号：201811377992.4)，首先通过两层卷积层从插值上采样得到的LR-HSI中提取光谱特征，并将其与PAN接合，然后通过多层卷积层进行融合重建。该方法成功地提取了每个输入图像的不同特征，但在特征融合过程中没有充分考虑LR-HSI和PAN之间的相关性。西安电子科技大学的Yuxuan Zheng等人在发表的论文“Hyperspectral Pansharpening Using DeepPrior and Dual Attention Residual Network”(IEEE Transactions on Geoscienceand Remote Sensing,2020,58(11):8059-8076.)中提出了一种基于深度高光谱先验(DHP)和空间-光谱双注意残差网络(DARN)的高光谱全色锐化方法，这种方法在DHP过程中仅采用光谱约束，没有考虑空间约束，在融合网络中仅使用单一尺度的特征图进行融合，没有考虑到多尺度的特征信息。美国约翰霍普金斯大学的Bandara等人在发表的论文“Hyperspectral Pansharpening Based on Improved Deep Image Prior and ResidualReconstruction”(IEEE Transactions on Geoscience and Remote Sensing,2022,60:1-16.)中为深度图像先验(DIP)上采样过程引入了一种新的空间约束，并提出了一种用于残差重建的网络HyperKite。但是DIP网络导致了极长的模型推理运行时间，HyperKite网络先逐层上采样再逐层下采样的网络架构设计也造成了极大的运算负担。

为了克服这些缺陷，本章提出了一种基于U型卷积神经网络的高光谱全色锐化方法及系统，将空间分辨率较低的高光谱图像(HSI)与空间分辨率较高的全色图像(PAN)进行融合，用于提高空间分辨率较低的高光谱图像的空间分辨率。

发明内容

本申请的目的是提供一种基于U型卷积神经网络的高光谱全色锐化方法及系统，旨在解决上述的问题。

为实现上述目的，本申请提供如下技术方案：

本申请提供一种基于U型卷积神经网络的高光谱全色锐化方法，包括：

获取低空间分辨率的高光谱图像；

将所述高光谱图像作为输入，生成训练集和测试集；

设计高光谱全色锐化神经网络模型；

对所述高光谱全色锐化神经网络模型进行训练；

输入所述测试集的测试图像到训练后的高光谱全色锐化神经网络模型中，得到高空间分辨率的高光谱图像。

进一步的，在将所述高光谱图像作为输入，生成训练集和测试集的步骤中，具体包括下述步骤：

选取所述高光谱图像的左上角A×B像素区域，不重叠地裁切成n个H×W像素区域的图像子块，构成数据集的参考HR-HSI图像；

采用核大小为8×8，标准差为σ的高斯滤波器对HR-HSI图像进行模糊处理，进行4倍下采样得到空间分辨率为h×w的LR-HSI图像，通过对HR-HSI图像的全色波段在光谱维度求平均值得到PAN图像；

从中随机选取75％的图像对作为训练集，其余的25％作为测试集；

高斯滤波器的标准差σ通过以下公式计算：

其中β为下采样尺度因子，即参考HR-HSI图像与生成的LR-HSI的线性空间分辨率比值。

进一步的，在设计高光谱全色锐化神经网络模型的步骤中，具体包括下述步骤：

设计UNet骨干网络；

设计通道交叉连接方法；

设计空间-光谱注意力网络；

设计损失函数。

进一步的，所述UNet骨干网络由编码器部分、解码器部分以及瓶颈层构成，包括四个尺度，前三个尺度的编码器与解码器采用空间-光谱注意力网络进行连接，第四个尺度由一个瓶颈层构成；

所述编码器部分由3个编码器组成，每个编码器包括1个卷积模块和1个下采样模块；所述解码器部分由3个解码器组成，每个解码器包括1个上采样模块和1个卷积模块，所述瓶颈层包括1个卷积模块；

所述卷积模块的公式为：

CB

其中，CB

在所述解码器部分后设计一个用于残差图重建的1×1卷积层，公式表示为：

X

其中Conv

进一步的，所述通道交叉连接方法包括Input CCC和Feature CCC的两种通道交叉连接方法；

所述Input CCC的输入为两种不同源图像Up-HSI和PAN，将Up-HSI沿通道维度分割为m份，则光谱波带数为：

当m≥2时，C

分割过程的公式表示为：

U

其中，

分割得到具有C

所述在通道维度依次连接的过程用公式表示为：

O＝Concat(U

其中，

所述Up-HSI和PAN在通道维度交叉连接的操作过程用公式表示为：

O＝InputCCC(U，P)

其中InputCCC为Input CCC的操作过程；

所述Feature CCC的输入为两个不同层级的特征图Feature1和特征图Feature2，分别将Feature1和Feature2沿通道维度平均分割为n＝2

其中C

分割过程的公式表示为：

Q

R

其中，

分割得到的具有C

所述在通道维度依次连接的过程用公式表示为：

O′＝Concat(Q

其中，Concat为通道连接的操作，

所述特征图Feature1和所述特征图Feature2在通道维度交叉连接的操作过程用公式表示为：

O′＝FeaCCC(Q，R)

其中，FeaCCC表示Feature CCC的操作过程。

进一步的，所述空间-光谱注意力网络位于所述UNet骨干网络的编码器与解码器之间，由N个顺序堆叠的基于残差空间-光谱注意力机制的Res-SSA模块构成，用公式表示为：

其中F

进一步的，所述损失函数采用

其中，

进一步的，在对所述高光谱全色锐化神经网络模型进行训练的步骤中，具体包括以下步骤：

输入具有D个图像对的训练集{[X

通过优化算法优化所述高光谱全色锐化神经网络模型的参数Θ，所述高光谱全色锐化神经网络模型的训练过程用公式表示为：

其中，

进一步的，在输入所述测试集的测试图像到训练后的高光谱全色锐化神经网络模型中，得到高空间分辨率的高光谱图像的步骤中，具体包括以下步骤：

输入测试图像对[X

其中X

本申请还提供一种基于U型卷积神经网络的高光谱全色锐化系统，包括：

获取模块：获取低空间分辨率的高光谱图像；

输入模块：将所述高光谱图像作为输入，生成训练集和测试集；

设计模块：设计高光谱全色锐化神经网络模型；

训练模块：对所述高光谱全色锐化神经网络模型进行训练；

输出模块：输入所述测试集的测试图像到训练后的高光谱全色锐化神经网络模型中，得到高空间分辨率的高光谱图像。

本申请提供了一种基于U型卷积神经网络的高光谱全色锐化方法及系统，具有以下有益效果：

本申请通过搭建一个用于高光谱全色锐化的U形的卷积神经网络CCC-SSA-UNet，能够减小中间特征图的尺寸、降低网络的计算复杂度、减少计算资源的消耗、缩短网络模型的推理运行时间；接收低分辨率高光谱图像和全色图像作为初始输入，使用双线性插值法对LR-HSI进行上采样得到图像Up-HSI，然后在通道方向上将Up-HSI与PAN进行交叉连接后，输入到具有空间-光谱残差注意力机制的编码器解码器网络学习得到残差图像，能够进一步增强空间和光谱特征的表达能力；其中光谱注意力模块可以过滤掉特征张量中对融合结果不重要的光谱信息，让网络自适应地选择重要的光谱信息；空间注意力模块可以自适应地让网络更多地关注与高光谱图像空间细节增强密切相关区域的特征；通过将通道注意力与空间注意力相结合并嵌入到基本残差模块中，可以在提高网络的空间-光谱特征表达能力的同时提高网络训练的稳定性并加快网络模型的收敛速度。最后将残差图像与Up-HSI逐像素相加得到最终的融合结果；通过将空间分辨率较低的高光谱图像与空间分辨率较高的全色图像进行融合，提高空间分辨率较低的高光谱图像的空间分辨率，在保留更多的空间和光谱信息的同时具有较低的运算复杂度以及较短的推理运行时间。

附图说明

图1为本申请实施例1的一种基于U型卷积神经网络的高光谱全色锐化方法的流程示意图；

图2为本申请实施例1的高光谱全色锐化神经网络模型CCC-SSA-UNet的结构示意图；

图3为本申请实施例1的输入源图像通道交叉连接方法Input CCC的示意图；

图4为本申请实施例1的特征图通道交叉连接方法Feature CCC的示意图；

图5为本申请实施例1的空间-光谱注意力网络SSA-Net的结构示意图；

图6为本申请实施例1的基于残差空间-光谱注意力机制的Res-SSA模块的结构示意图；

图7为本申请实施例1的高光谱全色锐化神经网络模型的训练阶段示意图；

图8为本申请实施例1的高光谱全色锐化神经网络模型的测试阶段示意图；

图9为本申请实施例2的一种基于U型卷积神经网络的高光谱全色锐化系统的结构示意图。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例1

请参阅图1，为本申请实施例1的一种基于U型卷积神经网络的高光谱全色锐化方法的流程示意图；具体步骤包括：

S1：获取低空间分辨率的高光谱图像。

在本实施例中，低空间分辨率的高光谱图像为网络上收集现有的可以公开获取的高光谱遥感图像，或者用高光谱传感器采集高光谱图像作为试验数据。

S2：将所述高光谱图像作为输入，生成训练集和测试集。

在本实施例中，对于获取的低空间分辨率的高光谱图像，选取高光谱图像的左上角A×B像素区域，不重叠地裁切成n个H×W像素区域的图像子块，构成数据集的参考HR-HSI图像；

采用Wald协议生成与每个HR-HSI图像相对应的PAN图像和LR-HSI图像：首先采用核大小为8×8，标准差为σ的高斯滤波器对HR-HSI图像进行模糊处理，然后进行4倍下采样得到空间分辨率为h×w的LR-HSI图像，通过对HR-HSI图像的全色波段在光谱维度求平均值得到PAN图像；从中随机选取75％的图像对作为训练集，其余的25％作为测试集。

用于生成LR-HSI的高斯滤波器的标准差σ通过以下公式计算：

其中β为下采样尺度因子，即参考HR-HSI图像与生成的LR-HSI的线性空间分辨率比值。

S3：设计高光谱全色锐化神经网络模型。

在本实施例中，在设计高光谱全色锐化神经网络模型的步骤中，具体包括下述步骤S31至步骤S34，以下详细说明各个步骤的实现方式。

请参阅图2，为本申请实施例1的高光谱全色锐化神经网络模型CCC-SSA-UNet的结构示意图；搭建一个用于高光谱全色锐化的U形的卷积神经网络CCC-SSA-UNet，接收一个低空间分辨率高光谱图像(LR-HSI)和一个全色图像(PAN)作为初始输入，以高空间分辨率高光谱图像(HR-HSI)作为最终输出。所设计的高光谱全色锐化神经网络模型CCC-SSA-UNet主要由基于编码器-解码器架构的UNet、通道交叉连接方法Input CCC和Feature CCC、基于残差空间-光谱注意力模块的SSA-Net以及损失函数这四大部分构成。

S31：设计UNet骨干网络。

UNet骨干网络由编码器部分、解码器部分以及瓶颈层构成，包括四个尺度，前三个尺度的编码器与解码器采用空间-光谱注意力网络进行连接，第四个尺度由一个瓶颈层构成；编码器部分由3个编码器组成，每个编码器包括1个卷积模块和1个下采样模块；所述解码器部分由3个解码器组成，每个解码器包括1个上采样模块和1个卷积模块，所述瓶颈层包括1个卷积模块；每个尺度的编码器与解码器中间的跳跃连接处由SSA-Net构成；在最后一个下采样模块与第一个上采样模块之间还有一个瓶颈层，它由1个卷积模块构成。

卷积模块由一个stride为1的3×3卷积层、一个批归一化层和一个LeakyReLU激活函数层依次连接组成，它在编码器中被用来提取特征表达，在解码器中被用来进行特征的重建；卷积模块的公式为：

CB

其中，CB

在编码器中，InputCCC的输出图像

E

E

E

B＝f

其中，f

前三个层级的特征图E

Q

Q

Q

其中，f

在解码器中，特征图B首先经过上采样层得到特征图

O′

D

O′

D

O′

D

其中，f

在解码器后设计一个用于残差图重建的1×1卷积层，公式表示为：

X

其中Conv

S32：设计通道交叉连接方法。

为了提高不同信息源的融合能力，本申请提出了一种新颖的通道交叉连接方法，简称为CCC。根据输入信息源的不同，通道交叉连接方法包括Input CCC和Feature CCC的两种通道交叉连接方法；Input CCC是指HSI和PAN两种输入图像之间的通道交叉连接方法，旨在增强不同输入源图像的融合能力；Feature CCC是指两个特征图之间的通道交叉连接方法，旨在增强不同层级的特征图之间的融合能力。

请参阅图3，为本申请实施例1的输入源图像通道交叉连接方法Input CCC的示意图；Input CCC的输入为两种不同源图像Up-HSI和PAN，Up-HSI的空间分辨率为H×W像素，光谱波带数为C；PAN的空间分辨率为H×W像素，光谱波带数为C

首先将Up-HSI沿通道维度分割为m份，则光谱波带数为：

当m≥2时，C

分割过程的公式表示为：

U

其中，

分割得到具有C

所述在通道维度依次连接的过程用公式表示为：

O＝Concat(U

其中，

综上所述，Up-HSI和PAN在通道维度交叉连接的操作过程用公式表示为：

O＝InputCCC(U，P)

其中InputCCC为Input CCC的操作过程。

请参阅图4，为本申请实施例1的特征图通道交叉连接方法Feature CCC的示意图；Feature CCC的输入为两个不同层级的特征图Feature1和特征图Feature2，分别将Feature1和Feature2沿通道维度平均分割为n＝2

其中C

分割过程的公式表示为：

Q

R

其中，

分割得到的具有C

所述在通道维度依次连接的过程用公式表示为：

O′＝Concat(Q

其中，Concat为通道连接的操作，

综上所述，特征图Feature1和特征图Feature2在通道维度交叉连接的操作过程用公式表示为：

O′＝FeaCCC(Q,R)

其中，FeaCCC表示Feature CCC的操作过程。

S33：设计空间-光谱注意力网络。

请参阅图5，为本申请实施例1的空间-光谱注意力网络SSA-Net的结构示意图；空间-光谱注意力网络位于所述UNet骨干网络的编码器与解码器之间，由N个顺序堆叠的基于残差空间-光谱注意力机制的Res-SSA模块构成，用公式表示为：

其中F

请参阅图6，为本申请实施例1的基于残差空间-光谱注意力机制的Res-SSA模块的结构示意图；

Res-SSA模块将通道注意力与空间注意力并联嵌入到基本残差模块中，从而在提高空间-光谱特征表达的同时提高网络训练的稳定性并加快收敛速度。对于第N个Res-SSA模块，其输入为特征图F

F

F

其中，δ′()为ReLU激活函数层，Conv

具体地，光谱注意力模块的主干由一个沿着空间维度的全局平均池化层、一个将通道数由64降为64/r的1×1卷积层、一个ReLU激活函数层、一个将通道数由64/r升为64的1×1卷积层以及一个sigmoid激活函数层顺序组成。r称为通道收缩率，用来降低网络模型的计算量。空间注意力模块的主干由一个并联的全局平均池化层与全局最大池化层、一个1×1卷积层以及一个sigmoid激活函数层顺序组成。可以用公式描述为：

M

M

其中，σ为sigmoid激活函数，Conv

S34：设计损失函数。

本发明采用

其中，

S4：对所述高光谱全色锐化神经网络模型进行训练。

请参阅图7，为本申请实施例1的高光谱全色锐化神经网络模型的训练阶段示意图。

在本实施例中，令

高光谱全色锐化神经网络的训练过程为：输入具有D个图像对的训练集{[X

高光谱全色锐化神经网络模型的训练过程用公式表示为：

其中，

S5：输入所述测试集的测试图像到训练后的高光谱全色锐化神经网络模型中，得到高空间分辨率的高光谱图像。

请参阅图8，为本申请实施例1的高光谱全色锐化神经网络模型的测试阶段示意图。

在本实施例中，在测试阶段，输入测试图像对[X

其中X

综上所述，本申请实施例1通过搭建一个用于高光谱全色锐化的U形的卷积神经网络CCC-SSA-UNet，接收低分辨率高光谱图像和全色图像作为初始输入，使用双线性插值法对LR-HSI进行上采样得到图像Up-HSI，然后在通道方向上将Up-HSI与PAN进行交叉连接后，输入到具有空间-光谱残差注意力机制的编码器解码器网络学习得到残差图像，最后将残差图像与Up-HSI逐像素相加得到最终的融合结果；通过将空间分辨率较低的高光谱图像与空间分辨率较高的全色图像进行融合，提高空间分辨率较低的高光谱图像的空间分辨率，在保留更多的空间和光谱信息的同时具有较低的运算复杂度以及较短的推理运行时间。

实施例2

请参阅图9，为本申请实施例2的一种基于U型卷积神经网络的高光谱全色锐化系统的结构示意图；具体内容包括：

获取模块：获取低空间分辨率的高光谱图像；

输入模块：将所述高光谱图像作为输入，生成训练集和测试集；

设计模块：设计高光谱全色锐化神经网络模型；

训练模块：对所述高光谱全色锐化神经网络模型进行训练；

输出模块：输入所述测试集的测试图像到训练后的高光谱全色锐化神经网络模型中，得到高空间分辨率的高光谱图。

在本实施例中，设计模块在网络模型设计上将基于编码器-解码器架构的U-Net与空间-光谱残差注意力网络(SSA-Net)进行整合，进一步增强了空间和光谱特征的提取能力；通过设计一种新颖的通道交叉连接方法Input CCC和Feature CCC，能够在基本不增加计算复杂度的基础上有效增强不同输入源图像的融合能力以及不同层级的特征图之间的融合能力；在训练模块中，输入训练图像，通过神经网络模型进行处理后，得到输出图像即融合结果，通过优化算法不断优化调整神经网络中的可训练参数，使得输出图像与参考真值图像之间的损失函数逐渐减小直至收敛到一定值；在输出模块中，输入测试图像，通过已经训练好参数的神经网络模型进行处理后，得到最终输出的融合图像。

综上所述，本实施例2通过获取模块得到高光谱图像，在通道方向上将Up-HSI与PAN进行交叉连接后，输入到具有空间-光谱残差注意力机制的编码器解码器网络学习得到残差图像，最后将残差图像与Up-HSI逐像素相加得到最终的融合结果；通过将通道注意力与空间注意力相结合并嵌入到基本残差模块中，可以在提高网络的空间-光谱特征表达能力的同时提高网络训练的稳定性并加快网络模型的收敛速度。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本申请的专利保护范围内。

尽管已经示出和描述了本申请的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本申请的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本申请的范围由所附权利要求及其等同物限定。

当然，本发明还可有其它多种实施方式，基于本实施方式，本领域的普通技术人员在没有做出任何创造性劳动的前提下所获得其他实施方式，都属于本发明所保护的范围。