一种跨时相轻量化空谱特征融合高光谱变化检测方法、系统、设备及介质

技术领域

本发明属于图像处理技术领域，具体涉及一种跨时相轻量化空谱特征融合高光谱变化检测方法、系统、设备及介质。

背景技术

变化检测可以识别多时相遥感影像之间的差异，已广泛应用于林业和农业监测、自然灾害评估、地表动态分析等领域。高光谱图像通常具有数百维的光谱通道和一物一谱的特有性质，包含丰富的光谱信息，在探测土地覆盖变化方面比多光谱图像具有固有优势。使用高光谱图像进行变化检测的主要挑战在于图像的高维度、光谱信息的冗余性使得传统模型难以充分有效提取空谱特征，深度学习方法较少关注跨时相高光谱图像间特征的相关联性，无法充分捕捉两个输入图像之间的关系来获取变化信息，同时又需要较大的计算成本。

论文“López-

论文“Song A,Choi J,Han Y,et al.Change detection in hyperspectralimages using recurrent 3D fully convolutional networks[J].Remote Sensing,2018,10(11):1827.”中，提出了循环三维无监督全卷积网络框架，融合了三维无监督全卷积网络和长短期记忆卷积神经网络的优点，提取了联合光谱时空特征。然而，该方法增加了计算成本，且未能充分考虑谱域和空间域的信息冗余。

论文“Wang F,Jiang M,Qian C,et al.Residual attention network for imageclassification[C]//Proceedings ofthe IEEE conference on computer vision andpattern recognition.2017:3156-3164.”中，提出通过注意机制来增强卷积神经网络的表示能力，提出了一种带有编码器-解码器型注意模块的残差注意网络，对特征图进行细化，以提高网络性能。然而，残差注意网络中三维注意图的生成需要更多的参数，导致计算成本增加，同时该网络未能关注跨时相高光谱图像间特征的关联性。

综上所述，现有的高光谱地物变化检测方法存在空谱特征提取不全、较少关注跨时相高光谱图像间特征关联性以及网络模型复杂的问题。

发明内容

为了克服上述现有技术的不足，本发明的目的在于提供一种跨时相轻量化空谱特征融合高光谱变化检测方法、系统、设备及介质，通过充分利用点卷积提取光谱信息，利用Ghost模块提取空间特征信息，降低模型参数量，简化网络结构，提高网络运行效率；通过使用跨时相特征融合模块充分捕捉跨时相图像之间的相关联性关系获取变化信息，提高模型检测精度。

为了实现上述目的，本发明采取的技术方案是：

一种跨时相轻量化空谱特征融合高光谱变化检测方法，包括以下步骤：

步骤S1、对高光谱图像数据进行预处理，并划分为训练集和测试集；

步骤S2、构建由两个点卷积模块和四个空谱特征融合模块组成的特征提取网络，用于对图像特征信息进行提取；

步骤S3、构建由注意力加权模块、全局平均池化层和全连接层组成的分类网络，用于对特征提取网络提取到的图像特征信息进行分类；

步骤S4、利用步骤S1中的训练集，采用梯度下降算法对步骤S2构建的特征提取网络和步骤S3构建的分类网络进行训练，在训练迭代过程中，每次迭代对训练集进行精度计算，并将训练集上精度最高的一代网络模型权重作为最终的检测模型权重，得到训练好的模型；

步骤S5、将步骤S1中的测试集输入至步骤S4训练好的模型进行测试，得到最终的检测结果，并根据检测结果输出高光谱图像数据的预测标签图。

所述步骤S1的实现步骤包括：

步骤S1.1、获取高光谱图像数据，并对获取的高光谱图像x进行归一化处理，对高光谱图像数据进行线性变换，使高光谱数据映射到[0,1]之间，得到归一化后的高光谱图像

步骤S1.2、设置高光谱图像的采样窗口为patch块的空间大小，从步骤S1.1得到的归一化后的高光谱图像中采样包含光谱和空间维度信息的样本；

步骤S1.3、使用步骤S1.2中的窗口采样得到patch块，以patch块中心像素点的标签作为该patch样本对的标签，将高光谱图像中所有带标签patch样本对从变化像素和不变像素中分别随机抽取10％-40％作为训练集，60％-90％作为测试集，用于测试。

所述步骤S2中：

两个点卷积模块用于初步提取步骤S1.3中得到的patch块的特征，四个空谱特征融合模块依次串联于点卷积模块之后；

空谱特征融合模块由双分支空谱特征提取模块和一个跨时相特征融合模块组成，空谱特征提取模块用于提取高光谱图像空谱融合特征，跨时相特征融合模块用于探究跨时相图像间的相关联性特征信息；

双分支空谱特征提取模块每个分支由点卷积和Ghost轻量化卷积组成；空谱特征提取模块采用双支路并行特征提取的方法分别提取光谱和空间特征；其中，使用点卷积进行光谱特征提取，使用Ghost模块进行空间特征提取，具体过程如下：

其中，F

其中，F

其中，

其中，F

跨时相特征融合模块包括注意力加权模块和点卷积模块；跨时相特征融合模块首先将不同时相图像特征进行并联，并联特征经注意力加权模块进行权重调整，加权特征使用点卷积进行跨时相特征融合和降维，具体过程如下：

其中，

其中，

其中，

所述步骤S3中构建由注意力加权模块、全局平均池化层以及全连接层组成的分类网络，具体过程如下：

其中，

其中，

F

其中，GAP表示全局平均池化层，F

F

其中，Liner表示全连接层，F

Y

其中，argmax表示取F

所述步骤S4的具体实现方法为：

步骤S4.1、设置训练参数；

步骤S4.2、将步骤S1得到的训练集输入步骤S2中构建的特征提取模型中，将特征提取模型的输出，输入至步骤S3中得到的分类网络模型中，得到模型的预测标签Y

步骤S4.3、计算步骤S4.2的预测标签与真实标签的交叉熵损失：

其中，c表示类别数，此处c＝2，

步骤S4.4、迭代优化时通过步骤S4.3得到的交叉熵损失函数计算模型损失Loss，得到交叉熵损失对模型权重的梯度

步骤S4.5、每次迭代计算当前模型对步骤S1中得到的所有训练集的整体分类精度；取迭代过程中训练样本分类精度最高的一代模型权重作为最终的模型权重。

所述步骤S5中测试集上进行3到10次独立的推理，将推理结果的预测精度取均值作为最终的预测精度。

一种跨时相轻量化空谱特征融合高光谱变化检测系统，包括：

数据处理模块：用于对高光谱图像数据进行预处理，并划分为训练集和测试集；

网络构建模块：用于构建由点卷积和四个空谱特征融合模块组成的特征提取网络，以及构建由注意力加权模块、全局平均池化层和全连接层组成的分类网络；

网络训练模块：用于利用训练集，采用梯度下降算法对构建的特征提取网络和分类网络进行训练，在训练迭代过程中，每次迭代对训练集进行精度计算，并将训练集上精度最高的一代网络模型权重作为最终的检测模型权重，得到训练好的模型；

网络测试模块：用于将测试集输入至训练好的模型进行测试，得到最终的检测结果，并根据检测结果输出高光谱图像数据的预测标签图。

本发明还提供了一种跨时相轻量化空谱特征融合高光谱变化检测设备，包括：

存储器：存储上述一种跨时相轻量化空谱特征融合高光谱变化检测方法的计算机程序，为计算机可读取的设备；

处理器：用于执行所述计算机程序时实现所述的一种跨时相轻量化空谱特征融合高光谱变化检测方法。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时能够实现所述的一种跨时相轻量化空谱特征融合高光谱变化检测方法。

与现有技术相比，本发明具有以下有益效果：

1、本发明基于高光谱图像光谱维数多和一物一谱的特有性质，使用多层点卷积轻量化模型提取高光谱图像中的光谱信息，能够更好的进行光谱维信息融合，同时由于点卷积参数量少，可以有效简化分类网络，降低模型复杂度。

2、本发明基于高光谱图像维度高存在冗余信息的性质，使用Ghost卷积提取空间特征信息，通过常规卷积操作提取丰富的特征信息，对于冗余的特征信息，则利用更廉价的线性变换操作来生成，这样能够有效地降低模型所需计算资源，实现轻量化。

3、本发明基于高光谱图像空谱特征丰富的性质，采用双分支的结构将点卷积和Ghost卷积模块所提取的特征进行特征融合，充分提取高光谱图像的有效信息。

4、本发明基于变化检测数据双时相的性质，将不同时相空谱融合特征并联，对并联特征进行注意力加权，增强有效特征，抑制无用特征，对加权特征降维，使之分别匹配不同时相特征，从而充分捕捉跨时相图像之间的关联性关系，更好的获取变化信息，提升模型检测精度。

5、本发明仅涉及卷积和注意力基础知识实现有效的模型轻量化设计，对专业领域知识要求低，也无须复杂的模块设计过程，适用于高光谱变化检测相关的任务，易于复现，通用性强。

综上，本发明从精细化特征提取和跨时相特征融合两个方面，基于空谱特征提取和跨时相特征融合进行模型设计，利用轻量化方法简化模型，从而实现性能良好的轻量化高光谱图像变化检测方法。

附图说明

图1为本发明的流程示意图。

图2为本发明的模型结构图。

图3为Patch大小影响分析图。

图4为本发明Jiangsu,BayArea和SantaBarbara三域分类效果图，其中，图4(a)为Jiangsu数据集检测效果图，图4(b)为BayArea数据集检测效果图，图4(c)为SantaBarbara数据集检测效果图。

具体实施方式

下面结合附图，对本发明的实施例和效果做清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本实施例的实现步骤如下：

一种跨时相轻量化空谱特征融合高光谱变化检测方法，包括以下步骤：

步骤S1、对高光谱图像数据进行预处理，并划分为训练集和测试集；

由于高光谱图像中数据的光谱具有不同的取值范围，会干扰模型推理，因此需要先对高光谱图像数据进行预处理，具体实现如下：

步骤S1.1、数据预处理：

从公开网站获取高光谱图像数据，并对获取的高光谱图像x进行归一化处理，对高光谱图像数据进行线性变换，使高光谱数据映射到[0,1]之间，得到归一化后的高光谱图像

步骤S1.2、数据采样：

原始高光谱图像为一张包含所有地物的数据，需要先对其进行采样，获取与每个像素点有关的数据及其标签，才能输入到模型中进行推理运算，其实现如下：

步骤S1.2、设置高光谱图像的采样窗口为patch块的空间大小，从步骤S1.1得到的归一化后的高光谱图像中采样包含光谱和空间维度信息的样本；

步骤S1.3、数据划分：

使用步骤S1.2中的窗口采样得到patch块，以patch块中心像素点的标签作为该patch样本对的标签，本实施例中将高光谱图像中所有带标签patch样本对从变化像素和不变像素中分别随机抽取20％作为训练集，剩下的80％作为测试集，用于测试。

本实施例中使用大小为5×5的patch块进行采样。

步骤S2、构建由两个点卷积模块和四个空谱特征融合模块组成的特征提取网络，用于对图像特征信息进行提取；

如图2所示，所述步骤S2中：

两个点卷积模块用于初步提取步骤S1.3中得到的patch块的特征，四个空谱特征融合模块依次串联于点卷积模块之后；

空谱特征融合模块由双分支空谱特征提取模块和一个跨时相特征融合模块组成，空谱特征提取模块用于提取高光谱图像空谱融合特征，跨时相特征融合模块用于探究跨时相图像间的相关联性特征信息；

双分支空谱特征提取模块每个分支由点卷积和Ghost轻量化卷积组成；空谱特征提取模块采用双支路并行特征提取的方法分别提取光谱和空间特征；其中，使用点卷积进行光谱特征提取，使用Ghost模块进行空间特征提取，具体过程如下：

其中，F

其中，F

其中，

其中，F

跨时相特征融合模块包括注意力加权模块和点卷积模块；跨时相特征融合模块首先将不同时相图像特征进行并联，并联特征经注意力加权模块进行权重调整，加权特征使用点卷积进行跨时相特征融合和降维，具体过程如下：

其中，

其中，

其中，

步骤S3、构建由注意力加权模块、全局平均池化层和全连接层组成的分类网络，用于对特征提取网络提取到的图像特征信息进行分类；

所述步骤S3中构建由注意力加权模块、全局平均池化层以及全连接层组成的分类网络，具体过程如下：

其中，

其中，

F

其中，GAP表示全局平均池化层，F

F

其中，Liner表示全连接层，F

Y

其中，argmax表示取F

步骤S4、利用步骤S1中的训练集，采用梯度下降算法对步骤S2构建的特征提取网络和步骤S3构建的分类网络进行训练，在训练迭代过程中，每次迭代对训练集进行精度计算，并将训练集上精度最高的一代网络模型权重作为最终的检测模型权重，得到训练好的模型；

步骤S4的具体实现方法为：

步骤S4.1、在本实施例中，设置训练代数为300，单次样本输入量为72，学习率初始为0.01；

步骤S4.2、将步骤S1得到的训练集输入步骤S2中构建的特征提取模型中，将特征提取模型的输出，输入至步骤S3中得到的分类网络模型中，得到模型的预测标签Y

步骤S4.3、计算步骤S4.2的预测标签与真实标签的交叉熵损失：

其中，c表示类别数，此处c＝2，

步骤S4.4、迭代优化时通过步骤S4.3得到的交叉熵损失函数计算模型损失Loss，得到交叉熵损失对模型权重的梯度

步骤4.5、每次迭代计算当前模型对步骤S1中得到的所有训练集的整体分类精度；取迭代过程中训练样本分类精度最高的一代模型权重作为最终的模型权重。

步骤5，将步骤S1中的测试集输入至步骤S4训练好的模型进行测试，得到最终的检测结果，并根据检测结果输出高光谱图像数据的预测标签图，测试集上会进行三次独立的推理，将三次推理结果的预测精度取均值作为最终的预测精度。

本发明的效果可以通过下面实验进一步说明。

一.实验条件：

硬件环境：英特尔W-2123处理器，主频3.60GHz，内存64GB，NVIDIA GeForce GTX2080Ti图形处理单元GPU，内存11GB。

软件环境：64位Windows 10系统和Pytorch 1.6.0的深度学习框架。

数据集：Jiangsu数据集：由Hyperion传感器采集，主要记录了中国江苏省某条河流的物质变化。这两幅多时间图像分别拍摄于2013年5月3日和2013年12月31日，大小为463×241像素。实验中，剔除噪声波段后，使用198个波段进行变化检测任务。

BayArea数据集：由AVIRIS获取，主要覆盖美国Patterson California的城市和农田，这两个HSIs分别于2013年和2015年被收购。这两幅图像为600×500像素，实验使用了224个可用波段。

Santa Barbara数据集：由AVIRIS获取，两个HSIs分别于2013年和2014年在加州圣巴巴拉地区上空拍摄。大小为为984×740像素，光谱波段为224个。

评估指标包括总体精度OA，卡帕系数KAPPA，真实正例TP，真实负例TN，错误正例FP，错误负例FN，其中:

总体精度OA表示正确分类的样本占所有样本的比例，值越大，说明分类效果越好；

卡帕系数KAPPA表示混淆矩阵中不同的权值，值越大，说明分类效果越好；

其中，真实正例TP表示被正确检测到的变化的像素数量；

真实负例TN表示被正确检测到的不变的像素数量；

错误正例FP表示真实类别图中不变像素被误检的数量；

错误负例FN表示变化像素被错误地归类为不变像素的数量。

二.实验内容

实验一、在基于patch的方法中，patch大小会对结果精度产生很大影响。

首先分析patch大小对分类效果的影响。每个数据集分别尝试patch大小为1,3,5,7,9，1×1可以看作仅使用光谱信息进行分类。其OA值如图3所示，三个数据集在1×1patch条件下均取得最差分类精度，说明空间信息的引入有利于增强变化检测任务的辨识度。随着patch的增大，Jiangsu数据集的OA先上升后下降，并在5×5patch条件下获取最优分类精度，其他两个数据集的OA值先上升后保持稳定，说明实patch大小对模型效果具有一定影响，在patch大小达到某个阈值后实现最优效果。因此，通过上述分析，使用5×5patch作为最优参数应用于后续实验。

实验二、模型通道数影响模型复杂度，参数量和运行效率。

一般情况下，如果模型使用过大的通道数，容易导致过拟合，而使用过小的通道数则信息量不足，难以更充分的提取特征。

在本实施例中，我们分别尝试将模型通道数设为4,8,16,32,64,128，结果如表1所示。由表可知，通道数为4时，三个数据集上均取得最差的分类效果。随着通道数的增大，OA逐渐提高至稳定，然后逐渐降低。说明在通道数较低时，模型参数较少，知识容量较小导致模型性能未能充分发挥；在通道数较大时，模型参数过多导致过拟合。此外，进一步探究通道数、OA与参数量之间的关系，可以发现该方法即使在通道数过低时仍能保持可接受的分类性能，表明该模型具有良好的特征提取能力，可在极低参数量下提炼出区分性特征。为平衡模型性能和效率，后续实验中设置通道数为64。

表1不同通道数模型OA(％)和参数量比较

实验三、残差连接在卷积神经网络模型中得到广泛应用，它可以起到缓解梯度消失问题、加速训练速度、提升模型训练效果和提高网络的泛化能力的作用。但是当网络变深时，由于残差连接让梯度可以更容易流过,可能会带来一些梯度爆炸的问题，因此我们对空谱特征融合模块的数量及残差连接的使用进行实验。本实施例中，我们分别尝试使用2,3,4,5个空谱特征融合模块，并分别尝试有无残差连接来验证模型性能，结果如表2所示。由表可知，随着空谱特征融合模块数量的增加，在三个数据集上效果都出现了先增加后平缓的现象，残差连接的加入也会提升一定的精度，所以我们采用四个空谱特征融合模块并加入残差连接的方式。

表2空谱特征融合模块数量及有无残差连接模型检测准确度

实验四、在Jiangsu高光谱变化检测数据上，用本发明的跨时相轻量化空谱特征融合高光谱变化检测方法，得到检测结果图并计算评估指标，结果如表3和图4(a)。

表3Jiangsu数据集不同检测方法的准确度

由表3可见，本发明在Jiangsu高光谱变化检测数据上的OA和KAPPA系数均高于现有的方法。与传统方法相比，本发明的OA高于PCA方法2.72％，高于IRMAD方法4.26％，KAPPA系数高于PCA方法12.48％，高于IRMAD方法19.87％；与深度学习方法相比，本发明的OA高于LCNN方法1.94％，高于BCNNs方法0.21％，KAPPA系数高于LCNN方法14.57％，高于BCNNs方法1.59％。

如图4(a)所示，为了更清晰的对比各方法的效果，我们将TP表示为白色，TN表示为黑色，FP表示为红色，FN表示为绿色，无标记区域表示为灰色，用不同的颜色表示。相比之下，本发明的结果(最右侧)包含较少的错误分类像素，这表明表明所提出方法具有最好的性能，能够很好地识别变化区域。

实验五、在BayArea高光谱变化检测数据上，用本实施例的跨时相轻量化空谱特征融合高光谱变化检测方法，得到检测结果图并计算评估指标，结果如表4和图4(b)。

表4 BayArea数据集不同检测方法的准确度

由表4可见，本发明在BayArea高光谱变化检测数据上的OA和KAPPA系数均高于现有的方法。与传统方法相比本发明的OA高于PCA方法15.25％，高于IRMAD方法15.87％，KAPPA系数高于PCA方法30.18％，高于IRMAD方法31.33％；与深度学习方法相比，本发明的OA高于LCNN方法0.64％，高于BCNNs方法0.34％，KAPPA系数高于LCNN方法1.28％，高于BCNNs方法0.78％。

如图4(b)所示，为了更清晰的对比各方法的效果，我们将TP表示为白色，TN表示为黑色，FP表示为红色，FN表示为绿色，无标记区域表示为灰色，用不同的颜色表示。相比之下，本发明的结果(最右侧)包含较少的错误分类像素，这表明表明所提出方法具有最好的性能，能够很好地识别变化区域。

实验六、在Santa Barbara高光谱变化检测数据上，用本实例的跨时相轻量化空谱特征融合高光谱变化检测方法，得到检测结果图并计算评估指标，结果如表5和图4(c)。

表5 Santa Barbara数据集不同检测方法的准确度

由表5可见，本发明在Santa Barbara高光谱变化检测数据上的OA和KAPPA系数均高于现有的方法。与传统方法相比本发明的OA高于PCA方法19.74％，高于IRMAD方法13.70％，KAPPA系数高于PCA方法43.90％，高于IRMAD方法27.91％；与深度学习方法相比，本发明的OA高于LCNN方法0.45％，高于BCNNs方法0.21％，KAPPA系数高于LCNN方法0.94％，高于BCNNs方法0.42％。

如图4(c)所示，为了更清晰的对比各方法的效果，我们将TP表示为白色，TN表示为黑色，FP表示为红色，FN表示为绿色，无标记区域表示为灰色，用不同的颜色表示。相比之下，本发明的结果(最右侧)包含较少的错误分类像素，这表明表明所提出方法具有最好的性能，能够很好地识别变化区域。

实验七、本实施例通过对所提出模型空谱特征提取模块、跨时相特征融合模块和注意力加权模块进行消融实验，进而验证所提出方法的有效性。实验结果如表6所示，单光谱和单空间分别指空谱特征提取模块仅使用光谱特征提取支路或空间特征提取支路进行特征提取，无跨时相特征融合模块指删去跨时相特征融合模块模块，无注意力加权模块指删去分类网络注意力加权模块模块。

表6各模块消融实验结果对比表

从表6中可以看出，上述各模块均在一定程度上改善模型性能，其中跨时相特征融合模块实现了各模块中最高的性能增益，说明高光谱图像变化检测任务中跨时相图像间特征的关联性融合较为重要。光谱和空间并行支路进行空谱特征提取，有利于模型提炼更精细化的变化特征。分类器部分特征作差后，变化特征经注意力加权模块进行局部空间区域加权，增强重要特征区分性。

实验结果表明，本发明跨时相轻量化空谱特征融合高光谱变化检测方法，解决了现有高光谱地物变化检测方法中空谱特征提取不全、较少关注跨时相高光谱图像间特征关联性及网络模型复杂的问题，在计算资源需求更低，存储成本更少的情况下，取得了比现有技术更优的结果。本发明也可用于不同时相高光谱地物变化检测。

一种跨时相轻量化空谱特征融合高光谱变化检测系统，包括：

数据处理模块：用于实现步骤S1中对高光谱图像数据进行预处理，并划分为训练集和测试集；

网络构建模块：用于实现步骤S2和步骤S3中构建由点卷积和四个空谱特征融合模块组成的特征提取网络，以及构建由注意力加权模块、全局平均池化层和全连接层组成的分类网络；

网络训练模块：用于实现步骤S4中利用步骤S1中的训练集，采用梯度下降算法对步骤S2构建的特征提取网络和步骤S3构建的分类网络进行训练，在训练迭代过程中，每次迭代对训练集进行精度计算，并将训练集上精度最高的一代网络模型权重作为最终的检测模型权重，得到训练好的模型；

网络测试模块：用于实现步骤S5中将步骤S1中的测试集输入至步骤S4训练好的模型进行测试，得到最终的检测结果，并根据检测结果输出高光谱图像数据的预测标签图。

本发明还提供了一种跨时相轻量化空谱特征融合高光谱变化检测设备，包括：

存储器：存储上述一种跨时相轻量化空谱特征融合高光谱变化检测方法的计算机程序，为计算机可读取的设备；

处理器：用于执行所述计算机程序时实现所述的一种跨时相轻量化空谱特征融合高光谱变化检测方法。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时能够实现所述的一种跨时相轻量化空谱特征融合高光谱变化检测方法。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。