一种引入注意力机制的多尺度高光谱图像特征提取方法

技术领域

本发明涉及一种引入注意力机制的多尺度高光谱图像特征提取方法，属于高光谱图像特征提取技术领域。

背景技术

高光谱成像技术通过采样电磁光谱的反射部分，采集覆盖可见光(0.4-0.7μm)到短波红外(SWIR)(大约2.4μm)区域的详细光谱信息。通过高光谱遥感采集到的高光谱图像为一种三维数据，由二维的空间信息和第三维的光谱信息组成。由于其光谱信息中记录了空间中各种地物的连续光谱曲线，通过对高光谱图像进行分析可以识别在宽波段遥感中不可探测的物质。然而，由于高光谱图像较高的光谱维数，用于分析灰度、彩色以及多光谱图像的大多数常用方法不能直接扩展到高光谱图像领域。此外，高光谱图像具有高维性以及训练样本的有限性。当维度增加，由于训练样本数量恒定且有限，故需要估计更多的统计数。因此，尽管光谱维数提高了类间可分离性，但统计估计精度降低，导致在超过某个数量的波段时，分类精度反而会降低，该问题被称为维度诅咒。针对上述问题，降维是一种有效的处理手段。特征提取作为一种主流的降维方法，主要通过将输入数据线性或非线性转换到一个低维空间来降低维数，并在低维空间中提取信息的特征。目前，特征提取是高光谱遥感数据处理中的热门问题，在提高分类精度和减小数据处理压力方面有重要的研究意义。

近年来，深度学习方法发展迅速，并且在高光谱图像特征提取领域体现出良好的发展前景。深度学习方法，主要通过一个端到端的框架来自动完成特征提取和分类任务，其提取的深层特征具有较强的语义信息。高光谱图像具有连续且狭窄的光谱波段，波段之间具有较强的相关性。RNN不同于传统的前馈神经网络，其将高光谱图像的每个像素视为序列而非高维向量，因此，RNN能够提取光谱波段间的上下文信息。然而，RNN存在梯度消失问题，该问题在处理高光谱图像这类高维数据时尤为明显。此外，在空间特征提取过程中，空间信息中不同部分的重要程度不同，使网络关注到空间信息中的重要部分能够有效提升分类的准确率。

本发明提出一种引入注意力机制的多尺度高光谱图像特征提取方法。该方法有效缓解了RNN在提取高光谱图像的光谱特征时出现的梯度消失现象，实现了多尺度的特征提取。此外，该方法引入了一种空间注意力机制网络，在空间感受野增大的同时，能够帮助网络在空间信息提取的过程中关注图像中的重要部分。

发明内容

为了克服现有研究的不足，本发明为了提取高光谱图像中的多尺度上下文信息，提供了一种引入注意力机制的多尺度高光谱图像特征提取方法，其中包含光谱多尺度特征提取网络以及空间多尺度特征提取网络，并采用一种得分融合策略进行特征融合。在光谱多尺度特征提取网络中，注意力机制作用于LSTM的隐藏层状态，用于缓解网络中的梯度消失问题，实现多尺度策略。在空间多尺度特征提取网络中，空间注意力机制作用于卷积层以及ConvLSTM的输入部分，用于突出图像邻域中的重要信息。

S1：将高光谱图像数据中各波段的值归一化到[-1,1]之间，生成归一化的高光谱图像；利用主成分分析对高光谱图像数据进行降维，将降维图像归一化到[-1,1]之间，生成归一化的降维图像；

S2：将归一化的高光谱图像与归一化的降维图像中有标签的样本随机采样，分为光谱训练集、光谱测试集与空间训练集、空间测试集；

S3：将光谱训练集输入构建的光谱特征提取子网分支进行光谱特征提取，将空间训练集输入构建的空间特征提取子网分支进行空间特征提取；所述光谱特征提取子网分支进行光谱特征提取的步骤包括光谱感受野与分组多尺度特征提取、注意力机制辅助的长短期记忆网络进行光谱维度的特征提取；所述空间特征提取子网分支进行空间特征提取的步骤包括空间感受野多尺度特征提取、利用卷积长短期记忆网络进行空间维度的特征提取；

S4：引入光谱得分计算网络、空间得分计算网络、权重系数γ对光谱特征提取子网分支得到的光谱特征和空间特征提取子网分支得到的空间特征进行自适应的加权融合；

S5：返回步骤S3，直到满足预先设定的迭代次数，否则保存网络参数，进入步骤S6；

S6：将高光谱图像数据样本输入训练好的光谱特征提取子网与空间特征提取子网中得到光谱特征与空间特征，并利用光谱得分计算网络、空间得分计算网络、权重系数γ得到分类映射结果。

作为优选方案，在步骤S1中，所述归一化方法具体为依次将所述高光谱图像数据、降维图像数据中各个波段的值归一化到[-1,1]之间。对于具有n个波段的图像，归一化公式为：

其中，

作为优选方案，在步骤S2中，将归一化的高光谱图像中有标签的样本的次序进行随机打乱并采样，分为光谱训练集和光谱测试集；将归一化的降维图像的边界进行填充，取出与光谱训练集和光谱测试集对应位置样本的局部邻域，作为空间训练集和空间测试集，其局部邻域的大小设置为27×27。

作为优选方案，在步骤S3中，所述光谱感受野与分组多尺度特征提取包括一个一维深度卷积组和四个分组模块；所述一维深度卷积组由3个1D卷积模块构成，每一个1D卷积模块包括一个核大小为3的1D卷积层和一个步长为2的最大池化层；所述分组模块，将输入向量按次序切分为所设置的份数，对于长度为L的输入向量X＝[X

Z＝[Z

Z

其中，Z表示切分后的向量，Z

作为优选方案，在步骤S3中，所述的注意力机制辅助的长短期记忆网络进行光谱维度的特征提取由4组注意力机制的长短期记忆网络组成；使用四组注意力机制的长短期记忆网络分别处理分组后的原始光谱向量和三个尺度光谱向量，得到原始光谱特征向量、第一尺度光谱特征向量、第二尺度光谱特征向量、第三尺度光谱特征向量，并进行加和，得到多尺度光谱特征向量。

进一步地，所述注意力机制的长短期记忆网络由一个隐藏层大小为128的长短期记忆网络与一个光谱注意力机制模块组成；所述光谱注意力机制模块由两个全连接层、一个tanh激活层以及一个softmax激活层组成；输入向量首先经过一个隐藏层大小为128的长短期记忆网络得到各时间步的特征向量；然后，使用光谱注意力机制模块进行处理：将不同时间步的特征向量拼接为矩阵后，依次经过第一个全连接层、tanh激活层以及第二个全连接层，随后在拼接维度上使用softmax激活层激活得权重向量；将权重与不同时间步的特征向量进行加权后求和，得到光谱特征补充向量；将光谱特征补充向量与最后一个时间步的特征向量相加，缓解梯度消失现象，进而得到当前尺度的光谱特征向量。

作为优选方案，在步骤S3中，所述的空间感受野多尺度特征提取包括三个空间注意力的卷积网络组；输入数据依次经过三个空间注意力的卷积网络组，得到第一尺度空间特征图、第二尺度空间特征图和第三尺度空间特征图。

进一步地，在步骤S3所述的空间感受野多尺度特征提取中，每个空间注意力的卷积网络组由一个dilation为1的3×3空洞卷积、一个dilation为2的3×3空洞卷积、两个ReLU激活层、一个空间注意力机制模块组成；输入数据依次经过dilation为1的3×3空洞卷积、ReLU激活层、dilation为2的3×3空洞卷积、ReLU激活层得到特征图；特征图经过空间注意力机制模块得到空间注意力图，通过空间注意力图与特征图对应位置相乘进行加权，并将加权前后的特征图进行求和，得到当前尺度空间特征图。

进一步地，在步骤S3所述的空间感受野多尺度特征提取中，所述空间注意力机制模块由一个最大池化层、一个平均池化层、一个9×9的卷积层、一个sigmoid激活层组成；输入数据分别通过一个最大池化层、一个平均池化层得到最大池化空间特征图、平均池化空间特征图；将最大池化空间特征图、平均池化空间特征图在通道维度上进行拼接，得到池化空间特征图；池化空间特征图经过一个9×9的卷积层、一个sigmoid激活层得到空间注意力图。

作为优选方案，在步骤S3中，所述的利用卷积长短期记忆网络进行空间维度的特征提取包括三组ConvLSTM网络组；首先对不同尺度空间特征图进行分块操作。对得到的分块的第一尺度空间特征图、分块的第二尺度空间特征图和分块的第三尺度空间特征图分别使用一个ConvLSTM网络组提取空间特征，得到第一尺度空间特征向量、第二尺度空间特征向量和第三尺度空间特征向量并进行加和，得到多尺度空间特征向量。

进一步地，在步骤S3所述的利用卷积长短期记忆网络进行空间维度的特征提取中，所述的分组操作能够将输入三维数据切分为所设置的份数：

对大小为H×W×C的邻域信息X，需要切分大小为s×s×C的小块，则其具体的计算方法如下：

首先在行方向上进行切分得到：

Z＝[Z

然后再在列方向上，对每个切分好的Z

Z

其中，Z表示切分后的向量，Z

进一步地，在步骤S3所述的利用卷积长短期记忆网络进行空间维度的特征提取中，每一组ConvLSTM网络组中包含四个隐藏层大小为32的ConvLSTM网络；分块的当前尺度空间特征图中，共有三行三列的分块，将每一行的三个分块分别作为一个ConvLSTM的输入，得到每一行的局部空间特征；将三个局部空间特征作为最后一个ConvLSTM的输入，并对其结果进行展平操作，得到当前尺度下的空间特征向量。

作为优选方案，在步骤S4中，所述光谱得分计算网络由一个全连接层组成，所述空间得分计算网络由一个全连接层组成，所述权重系数γ由一个可迭代的神经网络参数组成。多尺度光谱特征向量经过光谱得分计算网络中的全连接层计算得到光谱得分向量，多尺度空间特征向量经过空间得分计算网络中的全连接层计算得到空间得分向量。使用权重系数γ对光谱得分向量和空间得分向量进行加权求和，计算方法如下：

S＝γ×S

其中，S表示最后计算得到的该像素分为各类的得分向量，S

与现有技术相比，本发明的有益效果在于：

本发明的一种引入注意力机制的多尺度高光谱图像特征提取方法能够有效缓解RNN在提取高光谱图像光谱特征时的梯度消失问题，实现了分组多尺度特征提取策略，进而提取多尺度光谱特征。同时，该方法能够帮助网络在空间特征提取的过程中关注重要信息，进而提取多尺度空间特征。最后，通过空间特征与光谱特征进行融合，得到最后的分类图。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的一种引入注意力机制的多尺度高光谱图像特征提取方法的流程图。

图2是本发明实施例的一种引入注意力机制的多尺度高光谱图像特征提取方法的光谱特征提取子网分支结构图。

图3是本发明实施例的一种引入注意力机制的多尺度高光谱图像特征提取方法的空间特征提取子网分支结构图。

图4是本发明实施例的一种引入注意力机制的多尺度高光谱图像特征提取方法的光谱注意力机制模块结构图。

图5是本发明实施例的一种引入注意力机制的多尺度高光谱图像特征提取方法的空间注意力机制模块结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例：

本发明提出的一种引入注意力机制的多尺度高光谱图像特征提取方法，其实施例流程图如图1所示，该实施例方法针对具有P个像素n个波段的高光谱数据X＝(x

包括步骤如下：

步骤S1、将高光谱图像数据进行标准化预处理

对加载的原始图像中所有像元样本的光谱维度分别进行标准化处理，归一化到[-1,1]之间，得到归一化的高光谱图像：

其中，

使用PCA降维技术将高光谱图像的通道维数降至4，得到降维后的图像X'＝(x'

其中，

步骤S2、对归一化的高光谱图像与归一化的降维图像中有标签的样本进行采样，分别采样为光谱训练集、光谱测试集与空间训练集、空间测试集，具体来说：

光谱特征提取子网分支需要向量作为输入，而空间特征提取子网分支需要待预测点局部邻域的三维的光谱-空间数据作为输入。将归一化的高光谱图像中有标签的样本的次序进行随机打乱并采样，分为包含P1个像素点的光谱训练集X

步骤S3、提取多尺度光谱特征向量与多尺度空间特征向量

1)提取多尺度光谱特征向量

将光谱训练集输入构建的光谱特征提取子网分支进行光谱特征提取，如图2所示。光谱特征提取子网分支进行光谱特征提取的步骤包括光谱感受野与分组多尺度特征提取、注意力机制辅助的长短期记忆网络进行光谱维度的特征提取。光谱感受野与分组多尺度特征提取包括一个一维深度卷积组和四个分组模块。一维深度卷积组由3个1D卷积模块构成，每一个1D卷积模块包括一个核大小为3的1D卷积层和一个步长为2的最大池化层，其中，卷积层的padding设置为1。光谱训练集中第i个向量x

Z＝[Z

Z

其中，Z表示切分后的向量，Z

注意力机制辅助的长短期记忆网络进行光谱维度的特征提取由4组注意力机制的长短期记忆网络组成。其中，注意力机制的长短期记忆网络由一个隐藏层大小为128的长短期记忆网络与一个光谱注意力机制模块组成；光谱注意力机制模块由两个全连接层、一个tanh激活层以及一个softmax激活层组成，其中，第一个、第二个全连接层的隐藏层大小分别为75、1，具体如图4所示。对分组后的x

x

z

得到的z

最后，将y

2)提取多尺度空间特征向量

将空间训练集输入构建的空间特征提取子网分支进行空间特征提取，如图3所示。空间特征提取子网分支进行空间特征提取的步骤包括空间感受野多尺度特征提取、利用卷积长短期记忆网络进行空间维度的特征提取。空间感受野多尺度特征提取包括三个空间注意力的卷积网络组，每个空间注意力的卷积网络组由一个dilation为1的3×3空洞卷积层、一个dilation为2的3×3空洞卷积层、两个ReLU激活层、一个空间注意力机制模块组成，其中第一个、第二个空洞卷积层的padding分别为1、2。所述空间注意力机制模块由一个最大池化层、一个平均池化层、一个9×9的卷积层、一个sigmoid激活层组成，其中卷积层的padding为4，具体如图5所示。空间训练集的第i个局部邻域X

空间训练集的第i个局部邻域X

对

其中，分块操作将输入三维数据切分为所设置的份数，对大小为H×W×C的邻域信息X，需要切分大小为s×s×C的小块，则其具体的计算方法如下：

首先在行方向上进行切分得到：

Z＝[Z

然后再在列方向上，对每个切分好的Z

Z

其中，Z表示切分后的向量，Z

利用卷积长短期记忆网络进行空间维度的特征提取包括三组ConvLSTM网络组，每一组ConvLSTM网络组中包含四个隐藏层大小为32的ConvLSTM网络。对分块后的

将

将第一尺度空间特征向量

步骤S4、对多尺度光谱特征向量和多尺度空间特征向量进行融合

引入光谱得分计算网络、空间得分计算网络、权重系数γ对光谱特征提取子网分支得到的光谱特征和空间特征提取子网分支得到的空间特征进行自适应的加权融合。所述光谱得分计算网络由一个隐藏层大小为类别数的全连接层组成，所述空间得分计算网络由一个隐藏层大小为类别数的全连接层组成，所述权重系数γ由一个可迭代的神经网络参数组成。高光谱图像中第i个向量的多尺度光谱特征向量

S

其中，S

步骤S5、反向传播并进行网络参数更新，直到满足迭代次数，保存参数。

对光谱特征提取子网，采用Adam优化器；对空间特征提取子网，采用SGD优化器。其学习率均设置为0.01，小批次训练模式中的单批次训练集大小均设置为16。使用光谱训练集、空间训练集中的每一个元素按步骤S3到步骤S4对模型进行训练，然后，根据损失值，采用反向传播的方式更新网络参数。当光谱训练集、空间训练集中所有元素均经过一次训练，则视为一次迭代。迭代200次后，对模型的参数进行保存，并作为最终模型。

步骤S6、在模型测试阶段，使用光谱测试集X'

以下通过具体实验数据来解释本发明方法的优越性：

采用数据集为Pavia University数据集，其由ROSIS传感器(Reflective OpticsSpectrographic Imaging System，ROSIS-03)对意大利的帕维亚大学成像获得，该数据集包含9类地物，由610×340个像素以及115个波段，去除其中受到噪声影响的12个波段后，使用剩余103个波段进行实验。为了验证本发明的有效性，实验将分别对比不同的光谱特征提取、空间特征提取以及空谱联合特征提取方法。

表3不同特征提取方法在PaviaUniversity数据集上的分类结果

在基于循环神经网络的光谱特征提取方法中，本发明中提出的光谱特征提取子网(SeAMN)引入注意力机制，缓解梯度消失现象的同时，充分发挥了光谱波段分组的多尺度策略，取得了较高的分类准确率。本发明中提出的空间特征提取子网(SaAMN)引入注意力机制在卷积层之间引入空间注意力机制网络，使得网络在学习的过程中能够尽量保留邻域中的重要信息，进而得到较高的分类性能。在空谱联合特征提取方法中，本发明提出的方法同样得到了较好的分类效果。

以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。