基于双分支网络的光谱-空间注意力机制的高光谱图像分类方法

技术领域

本发明涉及图像处理、特征提取、光谱特征选择以及视觉注意技术领域，尤其是一种基于双分支网络的光谱-空间注意力机制的高光谱图像分类方法。

背景技术

高光谱图像分类是遥感图像处理和分析领域中的一个重要任务，以其丰富的空间特征和光谱特征，成为遥感领域的研究热点。然而，高光谱图像分类的主要难点在于数据量巨大，波段相关性强，同时伴随着高维数据的冗余性和噪声，导致分类准确度低。

传统的机器学习方法来进行高光谱图像分类，如支持向量机(SVM)、最近邻(K-Nearest Neighbor，KNN)等方法在处理高光谱图像分类时存在一些限制，这些方法往往需要手工进行特征的提取，且无法充分利用高光谱图像的光谱信息和空间信息。

随着深度学习的发展，卷积神经网络(CNN)被引入到高光谱图像分类中。CNN具有良好的特征学习能力，在高光谱图像分类任务中取得了不错的性能。具有一维、二维卷积层的网络普遍应用于高光谱图像分类。一维网络的方法以光谱作为输入，利用光谱信息学习特征，但却没有利用图像原有的空间特征。二维CNN用于处理空间信息，然而二维CNN无法从光谱维度上提取良好的区分特征，同样利用三维CNN的深度特征提取进行HSI分类，可以同时提取光谱信息和空间信息。虽然提高了分类性能，但由于参数较多可能会导致过拟合并且增加计算成本。同时在处理高光谱图像时，CNN不能充分利用像素之间的空间息，而注意力机制可以帮助网络关注特征空间的关键部分，将有限的注意力资源更有效地分配到核心区域，选择更为重要的特征，从而提高视觉任务的表现。因此，研究者开始探索在CNN中引入视觉注意模块来进一步提升高光谱图像分类的性能。将不同类型的注意力机制如空间注意力机制和通道注意力机制引入到CNN中，用以提高网络对光谱和空间特征的感知能力。

近年来，双分支CNN网络被提出来处理高光谱图像分类任务。将模型分为两个分支，分别使用不同的关注模块提取空间信息和光谱信息，取得了较好的分类效果。注意模块的引入虽然可以有效地提高模型的信息提取能力，但也会增加模型的计算量。

总之，与传统的机器学习方法相比，上述方法在高光谱图像分类方面更具优势，具有较强的泛化能力。然而，如何在有限样本的情况下提取高光谱图像的有效特征表示，成为高光谱图像分类研究中的关键部分。在高光谱图像提取过程中，大量的冗余信息和不同标记样本之间的不平衡极大地降低了高光谱图像的分类性能。因此，如何在有限样本的情况下获得更多的特征仍然值得进一步研究。

发明内容

为解决有限样本下高光谱图像有效特征提取不充分、分类方法模型复杂等问题，本发明的目的在于提供一种在有限样本的前提下，既保证了分类精度，又减少了网络模型的参数个数和计算量的基于双分支网络的光谱-空间注意力机制的高光谱图像分类方法。

为实现上述目的，本发明采用了以下技术方案：一种基于双分支网络的光谱-空间注意力机制的高光谱图像分类方法，该方法包括下列顺序的步骤：

(1)输入高光谱图像数据立方体I∈R

(2)使用主成分分析PCA将高光谱图像的光谱维数B降维为c，降维后，对于要分类的像素P，将其封装成相邻区域块X

(3)将相邻区域块X

(4)将相邻区域X

(5)通过融合层对一维光谱特征和一维空间特征进行融合和平衡，使用softmax回归层来预测每一类地物的概率分布。

所述步骤(3)具体包括以下步骤：

(3a)将相邻区域块X

(3b)对特征立方体进行重新排列，作为二维卷积层的输入，使用3×3的卷积核对重塑后的特征图进行卷积操作，得到一个64通道的特征图，然后使用ReLU激活函数进行激活；

(3c)在二维卷积层之后引入通道注意力机制模块，输入特征图大小为X

(3d)依次使用1024、512、256个神经元的三个全连接层对一维向量进行线性变换，并使用ReLU激活函数进行激活，最终得到一维光谱特征。

所述步骤(4)具体包括以下步骤：

(4a)将相邻区域X

(4b)空间注意残差模块位于空间子网络的首端，将调整后的X

y＝[[x，f(x)]，f([x，f(x)])]

其中，x和y分别表示空间注意残差模块的输入特征和输出特征；[·]为串联运算，f(·)为复合函数运算，包括归一化层-ReLU激活函数-二维卷积1×1即BN-ReLU-Conv1×1、归一化层-ReLU激活函数-二维卷积3×3即BN-ReLU-Conv3×3，以及空间注意力机制；

(4c)使用5×5的卷积核对特征图进行二维卷积操作，得到一个32通道的特征图，进行最大池化操作，将特征图的尺寸缩小为原来的一半，再次使用5x5的卷积核进行二维卷积操作，并进行最大池化操作；

(4d)将第二个最大池化层的输出展开成一维张量，经过全连接层操作，在其中使用权重和偏差，再经过ReLU激活函数，通过使用随机失活Dropout层减少过拟合；对随机失活Dropout层的输出进行线性变换和ReLU激活操作，得到一个特征向量，对其进行线性变换，得到空间子网络的输出即一维空间特征。

所述步骤(5)具体包括以下步骤：

(5a)对一维光谱特征和一维空间特征进行处理，使用ReLU进行激活操作处理；

(5b)光谱子网络中的最后一个全连接层与空间子网络中的最后一个全连接层连接起来，形成一个新的全连接层，将一维光谱特征和一维空间特征进行融合，同时利用光谱相关性和空间相关性，提取联合的光谱空间特征；

(5c)通过使用softmax回归层来预测每一类地物的概率分布。

由上述技术方案可知，本发明的有益效果为：第一，本发明中的光谱子网络和空间子网络组成高光谱图像分类方法，通过对高光谱图像作为研究对象，在有限样本的前提下提高高光谱图像的有效特征表示，既保证了分类精度，又减少了网络模型的参数个数和计算量；第二，本发明的高光谱图像分类方法，采用双分支网络分别进行光谱和空间的相关性学习，充分利用了光谱信息和空间信息，以取得更好的分类结果；第三，本发明在双分支网络中分别加入不同的注意力机制，嵌入通道注意力机制模块的光谱子网络作为光谱特征学习器，嵌入空间注意残差模块的空间子网络作为空间特征学习器，将有限的注意力资源更有效地分配到核心区域，选择更为重要的特征，提高了模型的信息提取能力；第四，本发明中将空间注意力机制与残差网络相结合，将加权后注意力特征图与原始特征图进行融合，提取出更具有信息量的特征表示，极大的提高了分类模型的性能和精确度。

附图说明

图1为本发明的整体架构图；

图2为本发明中嵌入的通道注意力机制模块基本结构图；

图3为本发明中嵌入的空间注意残差模块基本结构图；

图4为注意力机制对总体精度的影响条形图；

图5为注意力机制对平均精度的影响条形图；

图6为注意力机制对Kappa系数的影响条形图；

图7为Pavia Center数据集六种分类方法分类图；

图8为Pavia Univetsity数据集六种分类方法分类图；

图9为Salinas数据集六种分类方法分类图。

具体实施方式

如图1所示，一种基于双分支网络的光谱-空间注意力机制的高光谱图像分类方法，该方法包括下列顺序的步骤：

(1)输入高光谱图像数据立方体I∈R

(2)使用主成分分析PCA将高光谱图像的光谱维数B降维为c，降维后，对于要分类的像素P，将其封装成相邻区域块X

(3)将相邻区域块X

(4)将相邻区域X

(5)通过融合层对一维光谱特征和一维空间特征进行融合和平衡，使用softmax回归层来预测每一类地物的概率分布。

所述步骤(3)具体包括以下步骤：

(3a)将相邻区域块X

(3b)对特征立方体进行重新排列，作为二维卷积层的输入，使用3×3的卷积核对重塑后的特征图进行卷积操作，得到一个64通道的特征图，然后使用ReLU激活函数进行激活；

(3c)在二维卷积层之后引入通道注意力机制模块，输入特征图大小为X

(3d)依次使用1024、512、256个神经元的三个全连接层对一维向量进行线性变换，并使用ReLU激活函数进行激活，最终得到一维光谱特征。

所述步骤(4)具体包括以下步骤：

(4a)将相邻区域X

(4b)空间注意残差模块位于空间子网络的首端，将调整后的X

y＝[[x，f(x)]，f([x，f(x)])]

其中，x和y分别表示空间注意残差模块的输入特征和输出特征；[·]为串联运算，f(·)为复合函数运算，包括归一化层-ReLU激活函数-二维卷积1×1即BN-ReLU-Convl×1、归一化层-ReLU激活函数-二维卷积3×3即BN-ReLU-Conv3×3，以及空间注意力机制；

(4c)使用5×5的卷积核对特征图进行二维卷积操作，得到一个32通道的特征图，进行最大池化操作，将特征图的尺寸缩小为原来的一半，再次使用5x5的卷积核进行二维卷积操作，并进行最大池化操作；

(4d)将第二个最大池化层的输出展开成一维张量，经过全连接层操作，在其中使用权重和偏差，再经过ReLU激活函数，通过使用随机失活Dropout层减少过拟合；对随机失活Dropout层的输出进行线性变换和ReLU激活操作，得到一个特征向量，对其进行线性变换，得到空间子网络的输出即一维空间特征。

所述步骤(5)具体包括以下步骤：

(5a)对一维光谱特征和一维空间特征进行处理，使用ReLU进行激活操作处理；

(5b)光谱子网络中的最后一个全连接层与空间子网络中的最后一个全连接层连接起来，形成一个新的全连接层，将一维光谱特征和一维空间特征进行融合，同时利用光谱相关性和空间相关性，提取联合的光谱空间特征；

(5c)通过使用softmax回归层来预测每一类地物的概率分布。

如图2所示，通道注意力机制模块通过建模各个特征的通道的重要程度，针对不同的任务增强或抑制不同的通道，分为压缩(Squeeze)和激发(Excitation)两个部分，先对全局空间信息进行压缩，然后在通道维度上进行特征学习，形成各个通道的重要性，最后通过激励部分对各个通道分配不同权重。

如图3所示，该图详细说明了空间注意残差模块的结构，将调整后的X

图4、5、6分别为注意力机制对总体精度、平均精度的影响、Kappa系数的影响。从图4、5、6中可以看到，通道注意力机制模块即SE模块整体分类优于非注意机制，空间注意密集模块优于SE模块，同时嵌入SE模块和空间注意密集模块的效果更优，两者的嵌入对PaviaCenter、Pavia University、Salinas数据集即PC、PU和SV三个数据集都有明显的改善。对于PC数据集，单独使用SE模块或空间注意密集模块对PC的总体精度、平均精度和Kappa系数都有很大的改善。对于PU数据集，单独使用SE模块或空间注意密集模块对其平均精度改善较大，总体精度和Kappa系数效果不是很好，难以有效地发挥作用。对于SV数据集，单独使用SE模块或空间注意密集模块对其总体精度、平均精度和Kappa系数的改善十分显著。实验结果表明，同时使用SE模块和空间注意密集模块可以充分利用光谱信息和空间信息，在高光谱图像分类中能达到很好的效果。

表1、2、3别为Pavia Center、Pavia University、Salinas数据集六种分类方法分类精度。

表1 Pavia Center数据集六种分类方法下的精度(％)

表2Pavia University数据集六种分类方法下的精度(％)

表3Salinas数据集六种分类方法下的精度(％)

图7、8、9分别为Pavia Center、Pavia University、Salinas数据集六种分类方法分类图，其中，(a)为假彩色图像，(b)为真实地物分布，(c)为CNN，(d)为ACNN，(e)为SSAN，(f)为Hybrid-SN，(g)为DBSMA，(h)为DBSSAN。选取了Pavia Center、Pavia University和Salinas三个典型公开的高光谱数据集进行实验，采用CNN、ACNN、SSAN、Hybrid-SN、DBSMA五种分类方法与本发明的DBSSAN进行对比，每种方法所使用的训练样本完全相同。从表1、2、3中可以看出，本发明使用的方法分类结果的总体精度和Kappa系数达到最高，各类别分类精度也十分优越。

在图7中，(c)的大部分区域分类不完整，错误分类现象较多，(d)的错误分类现象也较为严重，噪声点较多，(e)的错分现象明显改善，但分类效果不均匀，(f)的分类效果不平滑，各类别边界不够清晰，(g)的大部分区域分类较为完整，(h)的分类效果更加均匀和准确，各类别边界更清晰，更接近于真实地物分布图。

在图8中，(c)的地物分类效果较差，各类别边界模糊，(d)的各区域分类效果有明显的改善，但各类别边界模糊，(e)的分类效果不平滑，噪声点较多，(f)的各区域分类效果不错，但存在一些噪声点，(g)的错分现象明显改善，噪声点较少，(h)的大部分区域分类完整，各个地物的分类效果很不错，保存了对象的完整性。

在图9中，(c)的斑点噪声现象较为严重，错误分类较多，(d)的分类效果图中斑点噪声现象明显较多，(e)的大部分区域分类较为完整，但斑点噪声现象较多，(f)的各地物分类较为良好，但仍然存在斑点噪声现象，(g)的各类别边界清晰，斑点噪声现象明显减轻，(h)的分类效果更加均匀平滑，噪声点较少。可见，本发明各个地物的分类效果都十分良好，保存了对象的完整性，在捕获不同类别独特特征上具有很大的优势，而且分类效果更加平滑，噪声点明显较少，相较于其他方法具有更好的分类性能和鲁棒性。

综上所述，本发明中的光谱子网络和空间子网络组成高光谱图像分类方法，通过对高光谱图像作为研究对象，在有限样本的前提下提高高光谱图像的有效特征表示，既保证了分类精度，又减少了网络模型的参数个数和计算量；本发明的高光谱图像分类方法，采用双分支网络分别进行光谱和空间的相关性学习，充分利用了光谱信息和空间信息，以取得更好的分类结果。