一种自监督双分支Transformer结构的高光谱遥感图像地物聚类方法

技术领域

本发明属于图像识别技术领域，涉及一种自监督双分支Transformer结构的高光谱遥感图像地物聚类方法。

背景技术

高光谱遥感图像由具有纳米级光谱分辨率的高光谱传感器捕获，往往用于地球表面成像。HSI具有丰富的光谱信息，能够检测地物之间的细微差异，在矿产勘探、植被监测和军事侦察等领域具有广泛的应用。对于如此高维的数据，HSI的解释通常依赖于大量高质量的标记样本，以避免由于训练样例不足而导致的休斯现象以及由于分类器训练不足而导致的欠拟合问题。然而，在实际应用中，样本采集往往耗时、费力、昂贵、效率低下，而且在一些偏远无人居住的地区，训练样本可能无法获得，这极大地限制了高光谱遥感的应用。遥感图像地物聚类是利用无监督地物识别理论和方法来克服标记样本和先验知识的限制一种方法。

聚类作为一种无监督模式识别技术，在HSI解释中得到了广泛的应用。HSI聚类旨在通过充分利用HSI数据的结构特征来对相似的像素进行分组并分离不相似的像素。基于原型的聚类是一种经典的传统聚类方法，例如k-means和谱聚类。这些方法直接利用原始数据进行聚类，一般含有大量冗余信息，导致聚类结果较差。基于子空间的聚类方法可以减少冗余干扰，它是将高维数据映射到低维特征空间。有许多基于这些经典的子空间聚类方法，例如广义主成分分析(GPCA)，带有重构视图的不完全多视图聚类(IMCRV)，鲁棒子空间分割低阶表示(LRR)。然而，这些方法忽略了数据的结构关系，因此提出了基于图的子空间聚类方法，例如通过稀疏图正则化的子空间聚类(SGRSC)、多视图结构化图学习(MSGL)。然而，这些方法无法完全学习HSI的内在特征，并且对噪声和异常值高度敏感，这可能导致聚类结果不准确。

近年来，深度学习技术的进步为HSI聚类带来了新的机遇。深度聚类方法利用深度神经网络从HSI中提取复杂的隐藏特征并将像素划分为聚类。深度聚类方法旨在将深度表示学习与聚类任务结合起来。深度聚类网络(DCN)是一种联合降维和k-means聚类方法，其中降维是通过学习深度自动编码器来完成的。深度聚类在HSI中也取得了巨大的优势，近年来大量的深度聚类网络被提出。然而，这些深度聚类方法没有考虑HSI数据的结构关系。SDCN试图将结构信息整合到深度聚类中。GraphSCC使用图卷积网络来表示样本之间的结构关系。在HSI中，相似的地物分布在不同的区域，样本之间存在长依赖关系。然而，图卷积算法很难捕获HSI的长依赖性。为了获得数据的长依赖性，Transformer模型(例如ViT、SwinTransformer、CrossFormer等)被广泛用于图像分类。Transformer在聚类方面也有优势。提出Clusformer，通过无监督注意力机制实现自动视觉聚类。提出了一种基于Transformer的聚类，它将Transformer和视频人脸聚类的对比学习结合起来。Transformer也被用于HSI聚类。提出了S2FL，它能够从多视图数据中提取高级有意义的特征。这些Transformer模型使用单一结构模型来学习特征。然而，HSI是一个结合了空间和频谱的复杂数据。单一结构的网络很难充分挖掘HSI的内在特征。

发明内容

有鉴于此，本发明的目的在于提供一种自监督双分支Transformer结构的高光谱遥感图像地物聚类方法，通过共享Autoformer模块融合多级特征来学习HSI数据的全局属性信息；采用孪生DFGM来提取高光谱遥感图像更加精确的图结构特征；使用联合优化模块对共享Autoformer模块和孪生DFGM进行训练；本方法可以更好地对高光谱遥感图像地物进行聚类。为达到上述目的，本发明提供如下技术方案：

一种自监督双分支Transformer结构的高光谱遥感图像地物聚类方法，该方法包括以下步骤：S1：对高光谱遥感图像进行超像素分割，获得训练样本数据；S2：将没有标记的样本数据输入到共享Autoformer模块，通过融合多级特征来学习HSI数据的全局属性信息；S3：将没有标记的样本数据输入到孪生DFGM中，提取HSI更加精确的图结构特征；S4：使用联合优化模块对共享Autoformer模块和孪生DFGM进行训练；S5：训练完成后对完整图像进行聚类获得结果。

进一步，首先在HSI的RGB通道上采用SLIC超像素分割算法，它不仅保留了局部空间特征，而且显着减少了图节点的数量，对于HSID，可以用数学表达，公式如下：

其中，

其中X

进一步，为了从HSI中提取丰富的信息，采用自动编码器来捕获特征，然后构建了一个Transformer模块来实现不同层的多级特征的交互，这可以提高特征的多样性和判别性，为了增强自动编码器的鲁棒性，在输入中添加随机噪声特征X由具有高斯分布

进一步，Autoformer模块可以分为两部分：特征重建和多级特征融合，在特征重建部分中，对于给定的数据特征样本X，编码部分可以将谱信息转换为固定大小的向量表示，具体而言，第l层编码层的输出

其中φ表示ELU激活函数，

其中φ表示ELU激活函数，

进一步，编码器将输入数据转换为低维表示，促进潜在特征的自动学习，在多级特征融合阶段，全连接层作为网络的初始层，具体来说，使用三个全连接操作，即F

其中

随后，该模型采用多头注意力来捕获数据的全局属性和多级特征交互，假设注意力由h个头组成，输出为:

MultiHead(Q，K，V)＝Concat(head

其中

进一步，孪生DFGM采用孪生结构分别处理原始HSI和带有高斯噪声的HSI，通过主动噪声添加，孪生DFGM可以学习如何识别和忽略噪声，从而提高网络对噪声的干扰和模块的鲁棒性，同时在该模块中，超像素被用作图结构中的节点，节点间相似度S通过RBF(径向基函数)计算：

其中X

其中N

进一步，在孪生DFGM中，这些GCN用于获取查询Q

其中

其中

进一步，为了实现数据聚类，采用联合优化模块有效地集成共享自动成形器模块和孪生双成形器图模块进行联合训练，首先在无监督聚类任务中，最重要的挑战在于缺乏标签来指导网络训练，为了克服这些问题，受参数t-SNE(一种无监督降维技术)的启发，我们制定了一个自监督学习优化模块作为策略补救措施，除了传统的重建损失之外，我们还将潜在表示引入自监督学习优化模块中，具体来说，对于第i个样本和第j个聚类，我们采用学生t分布作为核来测量数据表示z

其中α对应于学生t分布中的自由度(本文将α设置为1)，Q

其中f

值得注意的是，目标分布P是基于分布Q计算的，P指导Q的更新，从而辅助SDST模块改进聚类的特征表示，这个过程可以被视为自我监督机制，它鼓励数据表示与聚类质心更紧密地对齐。

进一步，在低频约束模块中，由于仅考虑每个样本的K个最近邻，邻接矩阵本质上表现出稀疏性，每行/列中只有K个非零元素，然而，最终输出必须保持流形上的局部不变性并表现出表征一致性，因此为了实现有效的降维和特征提取，需要最小化以下目标函数：

其中s

其中Z

其中

进一步，在重建约束模块中，首先使用SDST将HSI数据减少为低维潜在表示，然后应用k-means算法进行聚类，然而从HSI数据到潜在空间的映射在实践中是复杂的，因此联合优化这些任务可以显着提高它们的性能，在这里引入距离约束模块来恢复“聚类友好”的潜在表示并改进数据特征：

其中

其中α≥0和β≥0是两个超参数，用于平衡局部结构保留和聚类之间的贡献，计算损失函数，反向传播优化所述聚类框架的模型参数，训练完成后，获得训练好的聚类框架；通过训练好的聚类框架对输入样本进行判别，输出聚类结果图。

本发明的有益效果在于：

本发明所提出的一个基于自动编码器的共享Autoformer模块，通过融合自动编码器和Transformer的多级特征来学习HSI的全局属性信息。本发明提出了一种具有较少节点的超像素级特征的孪生对偶图模块，它揭示了长依赖图卷积特征，从而产生更精确的图结构特征。通过构建具有长依赖关系的图，该模块显着保留了全局依赖关系的属性，同时关注每个超像素的局部特征，以更好地表示细粒度的局部细节。本发明提出了一种自监督双分支Transformer聚类网络SDST，该网络专注于，以获得具有较强表征能力的特征。在三个HSI数据集上的实验结果表明，所提出的SDST的性能优于目前最先进的高光谱聚类方法。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明方法流程图；

图2为用于自监督双分支Transformer聚类网络(SDST)图；

图3为本发明的共享Autoformer子网络的结构图；

图4为本发明的孪生DFGM模块的结构图

图5为在地物数据集上的不同方法的可视化结果，其中(a)S3C，(b)S5C，(c)SSDMSC，(d)CAE，(e)VAE，(f)DCN，(g)SDST，(h)地面真值图。

具体实施方式

下面结合附图对本发明技术方案进行详细说明。

图1为本发明方法流程图，本发明提供一种自监督双分支Transformer结构的高光谱遥感图像地物聚类方法，如图所示，所提的HSI聚类SDST架构。首先对HSI的RGB通道执行超像素分割，以获得像素级光谱空间特征。接下来，使用一个基于自动编码器的共享Autoformer模块，该模块通过融合自动编码器和Transformer的多级特征来学习HSI数据的全局属性。然后，使用一种具有较少节点的超像素级特征的孪生DFGM模块，它揭示了长依赖图卷积特征，从而产生更精确的图结构特征。通过构建具有长依赖关系的图，该模块显着保留了全局依赖关系的属性，同时关注每个超像素的局部特征，以更好地表示细粒度的局部细节。接着，一个联合优化模块来联合优化由共享Autoformer模块和孪生Dual-Former图模块组成的双结构模型。最后，我们结合自监督学习对图节点进行聚类，并通过网络训练期间双结构模型的联合优化来更新权重。本发明所提出的基于自动编码器和Transformer的共享Autoformer结构，它通过融合自动编码器和Transformer的多级特征来学习HSI数据的全局属性。本发明提出了一种siamese Dual-Former Graph Module，它揭示了长依赖图卷积特征，从而产生更精确的图结构特征。

具体来说，本发明技术方案包括以下内容：

1.在数据预处理阶段，首先在HSI的RGB通道上采用SLIC超像素分割算法，它不仅保留了局部空间特征，而且显着减少了图节点的数量，对于HSID，可以用数学表达，公式如下：

其中，

其中X

2.为了从HSI中提取丰富的信息，采用自动编码器来捕获特征，然后构建了一个Transformer模块来实现不同层的多级特征的交互，这可以提高特征的多样性和判别性，为了增强自动编码器的鲁棒性，在输入中添加随机噪声特征X由具有高斯分布

Autoformer模块可以分为两部分：特征重建和多级特征融合，在特征重建部分中，对于给定的数据特征样本X，编码部分可以将谱信息转换为固定大小的向量表示，具体而言，第l层编码层的输出

其中φ表示ELU激活函数，

其中φ表示ELU激活函数，

3.编码器将输入数据转换为低维表示，促进潜在特征的自动学习，在多级特征融合阶段，全连接层作为网络的初始层，具体来说，使用三个全连接操作，即F

其中

随后，该模型采用多头注意力来捕获数据的全局属性和多级特征交互，假设注意力由h个头组成，输出为：

MultiHead(Q，K，V)＝Concat(head

其中

4.孪生DFGM采用孪生结构分别处理原始HSI和带有高斯噪声的HSI，通过主动噪声添加，孪生DFGM可以学习如何识别和忽略噪声，从而提高网络对噪声的干扰和模块的鲁棒性，同时在该模块中，超像素被用作图结构中的节点，节点间相似度S通过RBF(径向基函数)计算：

其中X

其中N

5.在孪生DFGM中，这些GCN用于获取查询Q

其中

其中

6.最后，为了获得更丰富的信息，通过完全连接的神经网络架构促进的线性组合过程从两个不同的角度合并潜在嵌入，这个精心策划的过程产生了以聚类为中心的潜在嵌入

其中α对应于学生t分布中的自由度(本文将α设置为1)，q

其中f

值得注意的是，目标分布P是基于分布Q计算的，P指导Q的更新，从而辅助SDST模块改进聚类的特征表示，这个过程可以被视为自我监督机制，它鼓励数据表示与聚类质心更紧密地对齐。

7.在低频约束模块中，由于仅考虑每个样本的K个最近邻，邻接矩阵本质上表现出稀疏性，每行/列中只有K个非零元素，然而最终输出必须保持流形上的局部不变性并表现出表征一致性，因此为了实现有效的降维和特征提取，需要最小化以下目标函数：

其中s

其中Z

其中

8.在重建约束模块中，首先使用SDST将HSI数据减少为低维潜在表示，然后应用k-means算法进行聚类，然而从HSI数据到潜在空间的映射在实践中是复杂的，因此联合优化这些任务可以显着提高它们的性能，在这里引入距离约束模块来恢复“聚类友好”的潜在表示并改进数据特征：

其中

其中α≥0和β≥0是两个超参数，用于平衡局部结构保留和聚类之间的贡献，计算损失函数，反向传播优化所述聚类框架的模型参数，训练完成后，获得训练好的聚类框架；通过训练好的聚类框架对输入样本进行判别，输出聚类结果图。

如图5是本发明所述的SDST网络在一个开源高光谱地物数据集上的实验结果，可以看到，每种类别被很好地被区分出来。本发明的聚类效果还可以通过对比实验进一步说明。在HSI数据集上采用本发明方法和其他现有方法S3C、S5C、S2DMSC、CAE、VAE、DCN方法进行对比，分别计算总体精度OverallAccuracy、标准化互信息NMI、调整兰德指数ARI、调整互信息AMI以及Fowlkes-Mallows指数FMI，其中，标准化互信息NMI越大，说明聚类结果与真实标签之间的相似度越高；调整兰德指数ARI越大，说明两个数据聚类一致性越高；调整互信息AMI越大，说明聚类结果与真实标签的一致性越高越高；Fowlkes-Mallows指数FMI越大，说明聚类效果越好。表1给出了不同方法检测结果的各项指标值：

表1 MSDFFN与各种方法在农田数据集上的比较

可以看出，本发明方法在该数据集上取得了最佳的精度。图5给出了以上各种方法的可视化聚类结果，可以看出，本发明所述方法的性能优于其他的高光谱图像地物聚类方法。本发明提出的方法可以更好地获得和分析数据的全局属性信息以及长程依赖关系，并且在聚合地物空间结构方面比其他方法具有优势。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。