一种高光谱图像分类方法、系统、电子设备及介质

技术领域

本发明涉及高光谱图像处理领域，特别是涉及一种高光谱图像分类方法、系统、电子设备及介质。

背景技术

目前存在的高光谱图像像素级分类方法主要有两类：一类是基于人工特征的；另一类是基于深度学习特征的。文献“Ramachandran P,ParmarN,VaswaniA,et al.Stand-alone self-attention invision models[J].Advances in neural informationprocessing systems,2019,32.”公开了一种应用于视觉领域的基于自注意力机制模型架构，利用这个独立的注意力层建立了一个完全的注意力视觉模型，该模型在图像分类和物体检测方面都优于卷积基线，同时参数和计算效率都很高。该文献提出了独立的局部自我注意力模块的设计，提高了分类性能。然而，上述方法主要依赖于独立查询键对的相互作用来计算注意力矩阵，因此，忽略了相邻键的丰富的上下文信息。

发明内容

为了克服传统的基于Transformer结构中忽略了相邻键的丰富的上下文信息的问题，本发明提供了一种高光谱图像分类方法、系统、电子设备及介质，能够提高高光谱图像分类结果的准确性。

为实现上述目的，本发明提供了如下方案：

一种高光谱图像分类方法，所述分类方法包括：

对待分类高光谱图像应用因子分析进行降维，并在预设区域内以各像素点为中点从降维后的待分类高光谱图像中提取多个三维像素块；

将多个所述三维像素块输入分类模型，得到待分类高光谱图像的分类结果；所述分类模型是通过训练集对深度学习网络进行训练得到的；所述深度学习网络包括依次连接的多个特征融合-置换注意力机制模型、采样层和全连接层；所述特征融合-置换注意力机制模型包括依次连接的特征融合模型和置换注意力机制；所述特征融合模型包括依次连接的二维卷积、多尺度残差上下文Transformer网络和拼接模块；所述训练集包括高光谱图像样本的多个三维像素块和所述高光谱图像样本对应的分类结果。

可选地，所述在预设区域内以各像素点为中点从降维后的待分类高光谱图像中提取多个三维像素块，具体包括：

根据所述预设区域内各所述像素点的坐标，按照预设空间滑动窗口尺寸，从降维后的待分类高光谱图像中提取多个三维像素块。

可选地，当所述预设区域内一个所述像素点的坐标为(a，β)且预设空间滑动窗口尺寸为S×S时，以坐标为(a，β)的像素点为中心的三维像素块的宽度为[a-(S-1)/2，a+(S-1)/2]，高度为[β-(S-1)/2，β+(S-1)/2]，以坐标为(a，β)的像素点为中心的三维像素块的通道维度与所述降维后的待分类高光谱图像的通道维度一致。

可选地，所述深度学习网络包括连接的两个所述特征融合-置换注意力机制模型；

将多个所述三维像素块输入第一个所述特征融合-置换注意力机制模型中的特征融合模型，输出第一融合后特征图；

应用置换注意力机制，对所述第一融合后特征图的空间维度的特征信息和通道维度的特征信息进行加权，得到初始校准后的特征图；

将所述初始校准后的特征图输入第二个所述特征融合-置换注意力机制模型中的特征融合模型，输出第二融合后特征图；

应用置换注意力机制，对所述第二融合后特征图的空间维度的特征信息和通道维度的特征信息进行加权，得到校准后的特征图。

可选地，所述应用置换注意力机制，对所述第二融合后特征图的空间维度的特征信息和通道维度的特征信息进行加权，得到校准后的特征图，具体包括：

将所述第二融合后特征图沿通道维度进行分组，得到多组子特征图；

分别将各组所述子特征图沿通道维度平均分为两部分，得到两个分支特征图；所述两个分支特征图包括第一分支特征图和第二分支特征图；

将所述第一分支特征图沿通道维度对空间维度的特征信息进行压缩，并对压缩后的空间维度特征信息应用门控机制和激活函数，得到校准后的第一分支特征图；

对所述第二分支特征图，应用组归一化，得到归一化后的空间维度特征信息；

对所述归一化后的空间维度特征信息应用门控机制和激活函数，得到注意力权重图；

将所述第二分支特征图与所述注意力权重图对应相乘，得到校准后的第二分支特征图；

将所述校准后的第一分支特征图和所述校准后的第二分支特征图在通道维度上进行连接，得到校准后的子特征图；

将各组所述校准后的子特征图进行聚合，得到聚合后的特征图；

对所述聚合后的特征图应用通道置换操作，得到校准后的特征图。

可选地，所述多尺度残差上下文Transformer网络包括多个不同尺度的平行分支；所述平行分支包括依次连接的第一二维卷积、CoT块和第二二维卷积；所述第一二维卷积与所述第二二维卷积的卷积核尺寸一致。

一种高光谱图像分类系统，应用上述的高光谱图像分类方法，所述分类系统包括：

提取模块，用于对待分类高光谱图像应用因子分析进行降维，并在预设区域内以各像素点为中点从降维后的待分类高光谱图像中提取多个三维像素块；

分类模块，用于将多个所述三维像素块输入分类模型，得到待分类高光谱图像的分类结果；所述分类模型是通过训练集对深度学习网络进行训练得到的；所述深度学习网络包括依次连接的多个特征融合-置换注意力机制模型、采样层和全连接层；所述特征融合-置换注意力机制模型包括依次连接的特征融合模型和置换注意力机制；所述特征融合模型包括依次连接的二维卷积、多尺度残差上下文Transformer网络和拼接模块；所述训练集包括高光谱图像样本的多个三维像素块和所述高光谱图像样本对应的分类结果。

一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行上述的高光谱图像分类方法。

一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现上述的高光谱图像分类方法。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明应用的特征融合模型考虑到了相邻键的丰富的上下文信息，能够充分的获取相邻键丰富的上下文信息，提高了分类效果。此外，为了更好的反应高光谱图像在分类时所需要的特征信息，应用多尺度残差上下文Transformer网络进行特征融合，得到融合后特征图。进一步地，置换注意力机制减少了注意机制结合所造成的空间-光谱特征的损失。本发明克服传统的基于Transformer结构中忽略了相邻键的丰富的上下文信息的问题，提高了高光谱图像分类结果的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明高光谱图像分类方法流程图；

图2为本发明小样本高光谱图像分类方法实际应用流程图；

图3为本发明多尺度残差上下文Transformer网络结构示意图；

图4为本发明置换注意力机制结构示意图；

图5为本发明确定小样本高光谱图像分类方法的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种高光谱图像分类方法、系统、电子设备及介质，能够提高高光谱图像分类结果的准确性。

本发明公开了一种基于置换注意力机制的多尺度残差上下文Transformer网络来解决小样本高光谱图像的分类任务。本发明的数据样本在采样后将不再改变，并且采用网络架构设计。首先，CoT是一个上下文Transformer块，ResCoT是一个残差上下文Transformer块，被设计用来捕获上下文信息。Multi-sacle ResCoT模块是多尺度残差上下文Transformer块，可以提取和融合多尺度的特征，并将其嵌入卷积神经网络中，从而提高特征表示能力。最后，通过由一个空间注意模块和一个通道注意模块组成的置换注意力机制来减少两种注意机制结合所造成的空间-光谱特征的损失。同时，置换注意力机制可以增强提取上下文特征，更好地提高分类性能。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例一

如图1和图2所示，本发明提供了一种高光谱图像分类方法，所述分类方法包括：

步骤S1：对待分类高光谱图像应用因子分析进行降维，并在预设区域内以各像素点为中点从降维后的待分类高光谱图像中提取多个三维像素块。

具体地，根据所述预设区域内各所述像素点的坐标，按照预设空间滑动窗口尺寸，从降维后的待分类高光谱图像中提取多个三维像素块。

进一步地，当所述预设区域内一个所述像素点的坐标为(a，β)且预设空间滑动窗口尺寸为S×S时，以坐标为(a，β)的像素点为中心的三维像素块的宽度为[a-(S-1)/2，a+(S-1)/2]，高度为[β-(S-1)/2，β+(S-1)/2]，以坐标为(a，β)的像素点为中心的三维像素块的通道维度与所述降维后的待分类高光谱图像的通道维度一致。

在实际应用中，将高光谱图像经过因子分析后降低其通道维度到D，减少光谱信息的冗余。降维后的高光谱图像需要提取三维像素块的空间维度是B×B。区别于中心像素点，边缘像素点需要对图像进行填充操作之后才能提取。每个三维像素块都是围绕中心像素提取的，三维像素块的类别是中心像素的类别，每一个类取五个像素点用于训练，其它像素点用于测试数据集。最终提取到的三维像素块的维度为B×B×D作为下一部分的输入。

具体地，假设输入的高光谱图像被定义为I∈R

步骤S2：将多个所述三维像素块输入分类模型，得到待分类高光谱图像的分类结果；所述分类模型是通过训练集对深度学习网络进行训练得到的；所述深度学习网络包括依次连接的多个特征融合-置换注意力机制模型、采样层和全连接层；所述特征融合-置换注意力机制模型包括依次连接的特征融合模型和置换注意力机制；所述特征融合模型包括依次连接的二维卷积、多尺度残差上下文Transformer网络和拼接模块；所述训练集包括高光谱图像样本的多个三维像素块和所述高光谱图像样本对应的分类结果。

分类模型的确定过程包括：以高光谱图像样本为输入，以所述高光谱图像样本对应的分类结果为输出，对所述深度学习网络进行训练，得到训练好的深度学习网络，并将训练好的深度学习网络作为分类模型。

作为一种具体地实施方式，所述多尺度残差上下文Transformer网络包括多个不同尺度的平行分支；所述平行分支包括依次连接的第一二维卷积、CoT块和第二二维卷积；所述第一二维卷积与所述第二二维卷积的卷积核尺寸一致。

应用多尺度ResCoT捕获上下文信息、提取和融合多尺度的特征，在实际应用中，将数据预处理阶段所提取的三维像素块经过一个二维卷积之后，再输入到Multi-sacleResCoT当中，Multi-sacle ResCoT是由三个不同尺度的平行分支组成，每一个平行分支都有两个二维卷积和一个CoT块组成，不同平行分支的二维卷积核的大小不同，CoT块是用于提取丰富的上下文信息的模块。三维像素块经过二维卷积分别输入到Multi-sacle ResCoT的三个不同尺度的分支中，每个分支的结果进行拼接操作。

具体地，如图3所示，x是三位像素块经过一个二维卷积之后的输出结果，Conv是ResCoT中的两个二维卷积。首先x先经过一个二维卷积，得到的输出输入到CoT，之后再输入到一个二维卷积中，得到输出结果。计算公式如下所示：

ResCoT＝Conv(CoT(Conv(x))) (1)。

之后将ResCoT模块里面的卷积层的卷积核大小调整成多尺寸，分别是1×1，3×3，和5×5并将其结合起来。ResCoT(1)是(1)式中二维卷积核设置为1的结果，ResCoT(3)是(1)式中二维卷积核设置为3的结果，ResCoT(5)是(1)式中二维卷积核设置为5的结果，Concat为求和操作，X是ResCoT中三个多尺度的输出结果的求和。计算公式如(2)所示：

X＝Concat(ResCoT(1),ResCoT(3),ResCoT(5))(2)。

作为一种具体地实施方式，所述深度学习网络包括连接的两个所述特征融合-置换注意力机制模型；将多个所述三维像素块输入第一个所述特征融合-置换注意力机制模型中的特征融合模型，输出第一融合后特征图；应用置换注意力机制，对所述第一融合后特征图的空间维度的特征信息和通道维度的特征信息进行加权，得到初始校准后的特征图；将所述初始校准后的特征图输入第二个所述特征融合-置换注意力机制模型中的特征融合模型，输出第二融合后特征图；应用置换注意力机制，对所述第二融合后特征图的空间维度的特征信息和通道维度的特征信息进行加权，得到校准后的特征图。

置换注意力机制减少两种注意力机制结合所造成的空间-光谱特征损失。在实际应用中，将Multi-sacle ResCoT模块输出的多尺度数据经过concat拼接操作之后输入到该模型的置换注意力机制模块。该模块将输入数据在通道维度进行分组，每一个特征组再分为两个分支，一个分支利用通道注意力机制对输入数据进行处理，另一个分支通过空间注意力机制对输入数据进行处理，两个分支得到的结果通过拼接操作得到新的子特征，每一个特征组都会得到一个新的子特征，最后将所有新的子特征在通道维度上拼接。

其中，应用置换注意力机制，对所述第二融合后特征图的空间维度的特征信息和通道维度的特征信息进行加权，得到校准后的特征图，具体包括：

步骤1：将所述第二融合后特征图沿通道维度进行分组，得到多组子特征图。

在实际应用中，将输入的特征图沿通道维度进行分组。假设输入的特征图是X∈R

步骤2：分别将各组所述子特征图沿通道维度平均分为两部分，得到两个分支特征图；所述两个分支特征图包括第一分支特征图和第二分支特征图。

在实际应用中，在对每个子特征图通过注意力机制进行加权前，需要将每个子特征图x

步骤3：将所述第一分支特征图沿通道方向对空间维度的特征信息进行压缩，并对压缩后的空间维度特征信息应用门控机制和激活函数，得到校准后的第一分支特征图。

在实际应用中，将两个分支的特征图x

然后将g通过一个简单的门控机制F

x'

步骤4：对所述第二分支特征图，应用组归一化，得到归一化后的空间维度特征信息。

步骤5：对所述归一化后的空间维度特征信息应用门控机制和激活函数，得到注意力权重图。

在实际应用中，在空间注意力模块中，通过对x

步骤6：将所述第二分支特征图与所述注意力权重图对应相乘，得到校准后的第二分支特征图。

在实际应用中，将注意力权重图与x

x'

步骤7：将所述校准后的第一分支特征图和所述校准后的第二分支特征图在通道维度上进行连接，得到校准后的子特征图。

在实际应用中，将两个分支经过加权后的特征图x'

x'

步骤8：将各组所述校准后的子特征图进行聚合，得到聚合后的特征图。

在实际应用中，将经过注意力机制加权后的所有子特征x'

步骤9：对所述聚合后的特征图应用通道置换操作，得到校准后的特征图。

其中，应用置换注意力机制，对所述第一融合后特征图的空间维度的特征信息和通道维度的特征信息进行加权，得到初始校准后的特征图，具体过程与“应用置换注意力机制，对所述第二融合后特征图的空间维度的特征信息和通道维度的特征信息进行加权，得到校准后的特征图”的计算过程相同，只是输入的数据不同，对应的输出数据也不同。

在实际应用中，如图4所示，通过通道置换操作，把聚合后的特征图不同子特征的通道打乱。能够增强模型在小样本训练条件下的特征表达能力，提高分类性能。在图4中，σ表示Sigmoid激活函数，G表示全局平均池化层，S表示通道转换，GN表示组归一化，F

置换注意力机制减少两种注意力机制结合所造成的空间-光谱特征损失。在实际应用中，将Multi-sacle ResCoT模块输出的多尺度数据经过concat拼接操作之后输入到该模型的置换注意力机制模块。该模块将输入数据在通道维度进行分组，每一个特征组再分为两个分支，一个分支利用通道注意力机制对输入数据进行处理，另一个分支通过空间注意力机制对输入数据进行处理，两个分支得到的结果通过拼接操作得到新的子特征，每一个特征组都会得到一个新的子特征，最后将所有新的子特征在通道维度上拼接，

在实际应用中，网络模型输出的结果先进行池化操作，将得到的结果重塑为一维向量，将一维向量的维度通过全连接层转化为类别数量所代表的维度。

具体地，如图5所示，在高光谱图像分类任务中，通过使用卷积神经网络分类模型对输入的高光谱图像进行特征提取，然而若干个卷积和池化操作提取的特征信息并不能直接用来分类，而是需要通过全连接层的权重矩阵进行加权求和，将特征空间映射到样本标记空间，从而把所有的特征全部整合起来，形成具有判别性的一维向量，最终得到每一个目标属于哪一类的概率。

在图5中，高光谱图像经过因子分析降维后，进行相邻键提取，得到多个三维像素块，经过二维卷积后，进入多尺度残差上下文Transformer网络，然后进求和，求和后应用置换注意力机制，经过置换注意力机制后，重复步骤“经过二维卷积后，进入多尺度残差上下文Transformer网络，然后进求和，求和后应用置换注意力机制”，得到的图像经过采样层和全连接层后，输出分类结果。

实施例二

为了执行上述实施例一对应的方法，以实现相应的功能和技术效果，下面提供一种高光谱图像分类系统，所述分类系统包括：

提取模块，用于对待分类高光谱图像应用因子分析进行降维，并在预设区域内以各像素点为中点从降维后的待分类高光谱图像中提取多个三维像素块。

分类模块，用于将多个所述三维像素块输入分类模型，得到待分类高光谱图像的分类结果；所述分类模型是通过训练集对深度学习网络进行训练得到的；所述深度学习网络包括依次连接的多个特征融合-置换注意力机制模型、采样层和全连接层；所述特征融合-置换注意力机制模型包括依次连接的特征融合模型和置换注意力机制；所述特征融合模型包括依次连接的二维卷积、多尺度残差上下文Transformer网络和拼接模块；所述训练集包括高光谱图像样本的多个三维像素块和所述高光谱图像样本对应的分类结果。

实施例三

本发明实施例提供一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行计算机程序以使电子设备执行实施例一的高光谱图像分类方法。

可选地，上述电子设备可以是服务器。

另外，本发明实施例还提供一种计算机可读存储介质，其存储有计算机程序，该计算机程序被处理器执行时实现实施例一的高光谱图像分类方法。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。