一种基于中心关注Transformer模型的高光谱影像分类方法与系统

技术领域

本发明涉及高光谱影像分类技术领域，尤其涉及一种基于中心关注Transformer模型的高光谱影像分类方法与系统。

背景技术

高光谱遥感实现了图谱合一，包含丰富的光谱信息和空间信息，在精准农业、军事侦察、地质勘探等领域具有广泛应用。高光谱图像分类是高光谱图像研究的热点，并且随着深度学习的深入探索和应用，Transformer模型在高光谱图像分类技术取得到了广泛的应用。然而，自注意力机制计算代价是制约该模型在高光谱图像分类发展的一个重要原因。现有的网络模型和方法并没有充分认识到这一点，使得分类性能无法进一步得到提升。

发明内容

本发明提供一种基于中心关注Transformer模型的高光谱影像分类方法与系统，以克服上述技术问题。

一种基于中心关注Transformer模型的高光谱影像分类方法，包括，

S1、选取高光谱场景图像，以像元为中心以一定窗口尺寸裁剪高光谱场景图像，根据裁剪后的高光谱场景图像制作高光谱立方体，从高光谱立方体中随机选取部分裁剪后的高光谱场景图像作为训练集和验证集，

S2、构建Transformer模型，所述Transformer模型包括一个预处理模块、四个全局自信息计算层和全局平均池化层，所述预处理模块用于将裁剪后的高光谱图像作为输入样本，提取输入样本的特征并降低输入图像的通道数，所述四个全局自信息计算层包括全局自信息计算层1、全局自信息计算层2、全局自信息计算层3和全局自信息计算层4，四个全局自信息计算层的结构相同但通道数逐层降低，任一全局自信息计算层包括中心像元自关注模块、跨通道全局融合模块与前馈网络层，所述中心像元自关注模块用于提取输入样本的空间自相似特征和全局空间信息度量空间，并反馈至前馈网络层，所述跨通道全局融合模块用于计算输入样本的均匀全局通道信息并反馈至前馈网络层，所述前馈网络层用于根据空间自相似特征、全局空间信息度量空间和均匀全局通道信息进行特征提取，

S3、根据训练集对Transformer模型进行交叉熵分类损失训练，并通过验证集对训练后的Transformer模型进行验证，根据验证后的Transformer模型对待分类的高光谱影像进行分类。

优选地，所述中心像元自关注模块的处理过程为获取输入样本的特征图x

v＝ConvTrans2d(x

k＝ConvTrans2d(x

抽取三维矩阵k的中心位置坐标(h/2,w/2)处的谱向量作为测量基准向量q∈R

根据公式(4)对测量基准向量q与归一化后的k中相邻谱向量进行向量点积运算得到相似性矩阵d，并根据公式(5)对相似性矩阵d进行激活操作，根据公式(6)对矩阵v与矩阵d进行元素积以获得输出x

d

根据公式(7)对特征图x

res(x

其中，res(·)表示残差映射单元，残差映射单元包括3x3的转置卷积以及BatchNorm，Drop(·)操作用于随机丢弃部分冗余信息获得最终输出

优选地，所述跨通道全局融合模块的处理过程为根据公式(9)对输入样本的原始特征x

x

v

其中，x

根据公式(11)计算规范化向量k

k

根据公式(13)计算相似性矩阵r，其中r∈R

r＝q

r

利用公式(15)相似性矩阵r，通过softmax激活再与v矩阵进行矩阵乘法即可得到最终的通道自注意力矩阵r

x

将r

优选地，所述前馈网络层包含三层网络，每层网络均由二维的LayerNorm，Gelu以及带有ConvTrans2d操作所构成，在第二层网络中增加了组卷积ConvTrans2d

Feed(·)＝LayerNorm(Gelu(ConvTrans2d(·)))(17)

假设输入特征为x

x

x

根据公式(19)执行Drop操作后得到最终输出x

一种基于权利要求1所述分类方法的高光谱影像分类系统，包括图像获取与处理模块、Transformer模型构建模块、模型训练与应用模块，

所述图像获取与处理模块用于选取高光谱场景图像，以像元为中心以一定窗口尺寸裁剪高光谱场景图像，根据裁剪后的高光谱场景图像制作高光谱立方体，从高光谱立方体中随机选取部分裁剪后的高光谱场景图像作为训练集和验证集，

所述Transformer模型构建模块用于构建Transformer模型，所述Transformer模型包括一个预处理模块、四个全局自信息计算层和全局平均池化层，所述预处理模块用于将裁剪后的高光谱图像作为输入样本，提取输入样本的特征并降低输入图像的通道数，所述四个全局自信息计算层包括全局自信息计算层1、全局自信息计算层2、全局自信息计算层3和全局自信息计算层4，四个全局自信息计算层的结构相同但通道数逐层降低，任一全局自信息计算层包括中心像元自关注模块、跨通道全局融合模块与前馈网络层，所述中心像元自关注模块用于提取输入样本的空间自相似特征和全局空间信息度量空间，并反馈至前馈网络层，所述跨通道全局融合模块用于计算输入样本的均匀全局通道信息并反馈至前馈网络层，所述前馈网络层用于根据空间自相似特征、全局空间信息度量空间和均匀全局通道信息进行特征提取，

所述模型训练与应用模块用于根据训练集对Transformer模型进行交叉熵分类损失训练，并通过验证集对训练后的Transformer模型进行验证，根据验证后的Transformer模型对待分类的高光谱影像进行分类。

本发明提供一种基于中心关注Transformer模型的高光谱影像分类方法与系统，通过中心像元自关注模块获取图像的全局空间关联信息，降低了计算的复杂度和计算代价，基于跨通道全局融合模块提取了均质光谱信息，并与空间信息相融合，送至前馈网络层充分训练学习，提高了分类精度，在高光谱图像地表精细分类等方面具有重要的应用价值。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明方法流程图；

图2是本发明Transformer模型的网络结构图；

图3是本发明的中心像元自关注机制计算模型图；

图4是本发明的跨通道全局信息融合模块图；

图5是本发明的前馈网络层模型图；

图6是本发明实施例中测试数据集的测试图像；

图7是本发明实施例中测试数据集的分类结果图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明方法流程图，如图1所示，本实施例的方法可以包括：

S1、选取高光谱场景图像，以像元为中心以一定窗口尺寸裁剪高光谱场景图像，根据裁剪后的高光谱场景图像制作高光谱立方体，从高光谱立方体中随机选取部分裁剪后的高光谱场景图像作为训练集和验证集，

S2、构建Transformer模型，所述Transformer模型包括一个预处理模块、四个全局自信息计算层和全局平均池化层，所述预处理模块用于将裁剪后的高光谱图像作为输入样本，提取输入样本的特征并降低输入图像的通道数，所述四个全局自信息计算层包括全局自信息计算层1、全局自信息计算层2、全局自信息计算层3和全局自信息计算层4，四个全局自信息计算层的结构相同但通道数逐层降低，任一全局自信息计算层包括中心像元自关注模块、跨通道全局融合模块与前馈网络层，所述中心像元自关注模块用于提取输入样本的空间自相似特征和全局空间信息度量空间，并反馈至前馈网络层，所述跨通道全局融合模块用于计算输入样本的均匀全局通道信息并反馈至前馈网络层，所述前馈网络层用于根据空间自相似特征、全局空间信息度量空间和均匀全局通道信息进行特征提取，

S3、根据训练集对Transformer模型进行交叉熵分类损失训练，并通过验证集对训练后的Transformer模型进行验证，根据验证后的Transformer模型对待分类的高光谱影像进行分类。

基于上述方案，通过中心像元自关注模块获取图像的全局空间关联信息，降低了计算的复杂度和计算代价，基于跨通道全局融合模块提取了均质光谱信息，并与空间信息相融合，送至前馈网络层充分训练学习，提高了分类精度，在高光谱图像地表精细分类等方面具有重要的应用价值。

具体地，本实施例给出了分类方法的详细内容，包括，

S1、选取高光谱场景图像，以像元为中心以一定窗口尺寸裁剪高光谱场景图像，根据裁剪后的高光谱场景图像制作高光谱立方体，从高光谱立方体中随机选取部分裁剪后的高光谱场景图像作为训练集和验证集，全部的样本作为测试集，其中中心像元是指在特征图中中心位置处的特征元素；

S2、构建Transformer模型，Transformer模型的网络结构如图2所示，所述Transformer模型包括一个预处理模块、四个全局自信息计算层和全局平均池化层，所述预处理模块用于将裁剪后的高光谱图像作为输入样本，提取输入样本的特征并降低输入图像的通道数，所述四个全局自信息计算层包括全局自信息计算层1、全局自信息计算层2、全局自信息计算层3和全局自信息计算层4，四个全局自信息计算层的结构相同，但通道数逐层降低并使得最终的通道数目限制在所需分类数目之内，任一全局自信息计算层包括中心像元自关注模块、跨通道全局融合模块与前馈网络层，

其中，各个模块的结构如下：

预处理模块由一个转置卷积层，归一化层，ReLU层，最大池化层组成。

中心像元自关注模块又称为中心像元自关注机制计算层由投影计算层，局部残差层以及Dropout层组成。投影计算层由二维转置卷积层组成。局部残差层由二维转置卷积层以及BatchNorm层组成。

跨通道融合模块由全局平均池化层，一维转置卷积层，一维转置卷积投影层，LayerNorm归一化层以及Dropout层组成。

前馈网络层由三个基本模块以及附加残差模块组成。基本模块由二维LayerNorm层，GELU层以及二维转置卷积层组成；

预处理模块将高光谱图像立方体s

x

x

所述中心像元自关注模块用于提取输入样本的空间自相似特征和全局空间信息度量空间，并反馈至前馈网络层，中心像元自关注模块的模型图如图3所示，所述中心像元自关注模块的处理过程为获取输入样本的特征图x

v＝ConvTrans2d(x

k＝ConvTrans2d(x

抽取三维矩阵k的中心位置坐标(h/2,w/2)处的谱向量作为测量基准向量q∈R

根据公式(6)对测量基准向量q与归一化后的k中相邻谱向量进行向量点积运算得到相似性矩阵d，并根据公式(7)对相似性矩阵d进行激活操作，根据公式(8)对矩阵v与矩阵d进行元素积以获得输出x

d

根据公式(9)对特征图x

res(x

其中，res(·)表示残差映射单元，残差映射单元包括3x3的转置卷积以及BatchNorm，Drop(·)操作用于随机丢弃部分冗余信息获得最终输出

所述跨通道全局融合模块的处理过程如图4所示，具体为根据公式(11)对输入样本的原始特征x

x

v

其中，x

根据公式(13)计算规范化向量k

k

根据公式(15)计算相似性矩阵r，其中r∈R

利用规范化向量k

r＝q

r

利用公式(17)相似性矩阵r，通过softmax激活再与v矩阵进行矩阵乘法即可得到最终的通道自注意力矩阵r

x

将r

所述前馈网络层的结构如图5所示，具体包含三层网络，每层网络均由二维的LayerNorm，Gelu以及带有ConvTrans2d操作所构成，在第二层网络中增加了组卷积ConvTrans2d

Feed(·)＝LayerNorm(Gelu(ConvTrans2d(·)))(19)

假设输入特征为x

x

x

根据公式(21)执行Drop操作后得到最终输出x

S3、根据训练集对Transformer模型进行交叉熵分类损失训练，并通过验证集对训练后的Transformer模型进行验证，根据验证后的Transformer模型对待分类的高光谱影像进行分类。

则基于相同发明构思的一种高光谱影像分类系统，包括图像获取与处理模块、Transformer模型构建模块、模型训练与应用模块，

所述图像获取与处理模块用于选取高光谱场景图像，以像元为中心以一定窗口尺寸裁剪高光谱场景图像，根据裁剪后的高光谱场景图像制作高光谱立方体，从高光谱立方体中随机选取部分裁剪后的高光谱场景图像作为训练集和验证集，

所述Transformer模型构建模块用于构建Transformer模型，所述Transformer模型包括一个预处理模块、四个全局自信息计算层和全局平均池化层，所述预处理模块用于提取输入图像的特征并降低输入图像的通道数，所述四个全局自信息计算层包括全局自信息计算层1、全局自信息计算层2、全局自信息计算层3和全局自信息计算层4，四个全局自信息计算层的结构相同但通道数逐渐降低，任一全局自信息计算层包括中心像元自关注模块、跨通道全局融合模块与前馈网络层，所述中心像元自关注模块用于提取输入样本的空间自相似特征和全局空间信息度量空间，并反馈至前馈网络层，所述跨通道全局融合模块用于计算输入样本的均匀全局通道信息并反馈至前馈网络层，所述前馈网络层用于根据空间自相似特征、全局空间信息度量空间和均匀全局通道信息进行特征提取，

所述模型训练与应用模块用于根据训练集对Transformer模型进行交叉熵分类损失训练，并通过验证集对训练后的Transformer模型进行验证，根据验证后的Transformer模型对待分类的高光谱影像进行分类。

本实施例提供了具体实施过程，包括如下步骤，

S1：选取高光谱场景图像，从中取部分样本作为训练集；具体的，本实施例中的高光谱场景图像为印第安松树数据集，是由AVIRIS传感器于1992年在印第安纳州西北部的印第安松树试验场上空获取的。该图像捕获了200个光谱带，像素为145x145，空间分辨率为20米，去除水吸收带后有16个不同的等级。如表1所示：

表1indian pines数据集中目标地物类别的样本数目

本实施例中对Indian Pines数据集利用本发明的一种基于中心像元自关注机制与跨通道全局融合模块的Transformer网络的高光谱影像分类方法进行了实验，实验的结果如表2所示：

表2 Indian Pines分类精度(％)

其中的OA(Overall Accuracy)表示总体的分类精度、AA(Average accuracy)表示平均分类精度、Kappa表示Kappa系数，所述Kappa系数是指对遥感图像的分类精度和误差矩阵进行评价的多元离散方法，其同时考虑了对角线以外的各种漏分和错分像元，能够惩罚模型的偏向性，从而更加全面的评价分类的效果。图6为测试数据集的测试图像，图7为测试数据集的分类结果图。

为了更加客观评价本发明中一种基于中心关注Transformer模型的高光谱影像分类方法各模块的作用，增加了现有的消融实验来进行说明，具体实验结果如表3所示：

表3不同模块的分类精度(％)

通过上述实验可以得到如下结论：

(1)通过表2中的实验结果表明，提出的一种基于中心关注Transformer模型的影像分类方法分类效果较好，证明了本方法在高光谱图像分类方面展现出了优越的性能。

(2)通过表3中的消融实验数据显示表明，加入跨通道全局信息融合模块分类结果明显优于只用中心像元自关注计算模块的结果，证明了增加跨通道全局信息融合模块在高光谱图像分类上展现出更稳健的性能。

整体的有益效果：

本发明提供一种基于中心关注Transformer模型的高光谱影像分类方法与系统，通过中心像元自关注模块获取图像的全局空间关联信息，降低了计算的复杂度和计算代价，基于跨通道全局融合模块提取了均质光谱信息，并与空间信息相融合，送至前馈网络层充分训练学习，提高了分类精度，在高光谱图像地表精细分类等方面具有重要的应用价值。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。