基于中心-领域交互式学习的高光谱图像分类方法及系统

技术领域

本发明属于图像处理技术领域，涉及一种图像分类方法及系统，具体涉及一种基于中心-领域交互式学习的高光谱图像分类方法及系统。

背景技术

高光谱图像具有图谱合一、波段众多、光谱分辨率高的特性，蕴含着丰富的光谱特征和空间信息，为地物的精细分类提供了有效的解决方案。随着深度学习技术的蓬勃发展，卷积神经网络、全卷积神经网络和循环神经网络在高光谱图像分类任务中取得了良好的性能。具体地，卷积神经网络具有局部连接和权重共享的性质，在不需要太多参数的情况下就能自动提取深层的鲁棒性特征。然而，目前大多数基于卷积神经网络的高光谱图像分类方法都是在每个像素周围选取固定大小的图像块作为输入数据，过于关注图像局部的中心特征，分类性能难以提高。为了考虑高光谱图像全局的邻域信息，全卷积神经网络被引入到高光谱图像分类领域。全卷积神经网络将传统卷积神经网络中的全连接层转化成卷积层，并从抽象的高级特征中恢复出每个像素所属的类别，完成了从图像级分类到像素级分类的转换。但是，全卷积神经网络以固定尺寸的卷积核计算图像包含的所有像素，使得领域内不同位置、不同形态、不同尺度的地物难以分辨。近年来，由于高光谱图像的每个像素都有一个连续的光谱曲线，一些研究试图将高光谱图像视为序列数据来处理，因此，基于循环神经网络的方法层出不穷。通过循环神经网络的输入门、遗忘门和输出门三个门控机制的循环计算，高光谱图像的上下文特征得到了充分的挖掘。然而，这种特征提取的方式是静态的，极大地忽略了图像内中心观察像素和邻域辅助像素之间的相互作用，为高光谱图像的精细分类带来了新的挑战。

最近，Transformer结构以其出色的特征提取能力受到了越来越多的关注。通过引入不同查询、键和值三个算子之间的非局部相关性计算，Transformer结构能够判别性地表征中心观察像素和邻域辅助像素的特征，实现不同级别像素之间的交互式学习，为缓解上述问题拓展了思路。因此，从高光谱图像的数据特点出发，利用Transformer结构设计一种可以兼顾中心观察像素和邻域辅助像素、实现它们之间交互式特征提取的方法对于增强高光谱图像分类性能是十分重要的。

发明内容

为了解决上述技术问题，本发明提供了一种基于中心-领域交互式学习的高光谱图像分类方法及系统。

本发明的方法所采用的技术方案是：一种基于中心-领域交互式学习的高光谱图像分类方法，包括以下步骤：

步骤1：输入原始高光谱图像和地物真实分布标签图，确定需要保留的主成分数量p和提取图像块的尺寸w；

步骤2：对原始高光谱图像进行降维处理，获得低维表达；

步骤3：对于降维后的高光谱图像，在每个像素周围选取尺寸为(1/3)w×(1/3)w×p的图像块作为中心区域，输入到中心Transformer分支，得到中心Transformer分支的输出特征；

步骤4：以中心区域为焦点，由近及远分别选取w×w×p和5w×5w×p的图像块作为近邻区域和周围区域，并在周围区域里构建周围区域网格，然后将近邻区域与周围区域结合，输入到邻域Transformer分支，得到邻域Transformer分支的输出特征；

步骤5：将步骤3和步骤4的输出特征融合，得到中心-邻域交互式学习后的联合特征，将联合特征送入多层感知机进行分类；

步骤6：对于高光谱图像里每个像素，重复步骤3—5，完成对整幅图像的分类。

本发明的系统所采用的技术方案是：一种基于中心-领域交互式学习的高光谱图像分类系统，包括以下模块：

模块1，用于输入原始高光谱图像和地物真实分布标签图，确定需要保留的主成分数量p和提取图像块的尺寸w；

模块2，用于对原始高光谱图像进行降维处理，获得低维表达；

模块3，用于对于降维后的高光谱图像，在每个像素周围选取尺寸为(1/3)w×(1/3)w×p的图像块作为中心区域，输入到中心Transformer分支，得到中心Transformer分支的输出特征；

模块4，用于以中心区域为焦点，由近及远分别选取w×w×p和5w×5w×p的图像块作为近邻区域和周围区域，并在周围区域里构建周围区域网格，然后将近邻区域与周围区域结合，输入到邻域Transformer分支，得到邻域Transformer分支的输出特征；

模块5，用于将模块3和模块4的输出特征融合，得到中心-邻域交互式学习后的联合特征，将联合特征送入多层感知机进行分类；

模块6，用于对于高光谱图像里每个像素，重复执行模块3—5，完成对整幅图像的分类。

本发明有益效果为：

(1)本发明提出了分级区域采样策略，能够根据不同粒度的区域获取多尺度样本。此外，局部细节特征和周围环境信息可以同时被区分和计算，符合高光谱图像地物分布规律，保留了图像的全局上下文，从而产生更具代表性和更有意义的样本。

(2)本发明设计了中心Transformer分支，在中心区域提取低级细节特征。考虑到高光谱图像包含的地物种类丰富，不同地物往往具有较大的尺度差异，而中心观察像素往往对分类起着重要作用，所以构建聚焦于中心区域的特征提取分支能够提高分类性能；

(3)本发明发展了邻域Transformer分支，通过相关性计算交互式学习近邻区域和周围区域的上下文信息，获得高级语义信息，增强了空间位置分布特征的提取。

(4)本发明将中心Transformer分支和邻域Transformer分支输出的特征进行融合，并送入多层感知机，获得既顾及图像的全局环境信息，又不丢失局部细节特征的分类结果，实现高光谱图像精细分类。

附图说明

图1为本发明实施例的方法原理示意图；

图2为本发明实施例采用的中心Transformer分支结构示意图；

图3为本发明实施例采用的邻域Transformer分支结构示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1，本发明提供的一种基于中心-领域交互式学习的高光谱图像分类方法，包括以下步骤：

步骤1：输入原始高光谱图像和地物真实分布标签图，确定需要保留的主成分数量p和提取图像块的尺寸w；

具体实施时，本领域技术人员可预先设定主成分的取值和图像块的长度值、宽度值。特别地，图像块的长度和宽度值需要统一，并设置为奇数。建议主成分数量和图像块长度值、宽度的取值范围分别为5-8、25-29。将输入高光谱图像和地物真实分布标签图一起作为方法的待输入数据。

步骤2：利用主成分分析(Principal component analysis，PCA)算法对原始高光谱图像进行降维处理，以获得低维表达；

本实施中，输入的高光谱图像需要通过PCA算法降维处理。PCA算法通过寻找一些正交的投影方向，使得数据在这些方向上投影后方差最大。作为一种常见的降维方式，PCA方法能够在信息损失较小的基础上，将数据从高维转换到低维，极大地减少了冗余。

降维过程具体包括如下子步骤：

步骤2.1：计算高光谱图像

步骤2.2：针对协方差矩阵C进行奇异值分解，得到矩阵C特征值与对应特征向量；

步骤2.3：将步骤2.2得到的特征值按数值大小进行降序排序，特征向量按特征值的顺序也对应排序；

步骤2.4：取步骤2.3排序后前p个特征向量u

步骤2.5：通过公式Z＝XU计算，得到降维后图像数据Z。

步骤3：对于降维后的高光谱图像，在每个像素周围选取尺寸为(1/3)w×(1/3)w×p的图像块作为中心区域，即作为中心Transformer分支的待输入数据；输入到中心Transformer分支，得到中心Transformer分支的输出特征；

请见图2，本实施例的中心Transformer分支，包括第一层正则化模块、多头自注意力模块、第二层正则化模块、前馈网络模块、第一个残差连接模块和第二个残差连接模块；

第一层正则化模块，用于将输入数据转成1024维度，然后输入多头自注意力模块；

多头自注意力模块，首先将输入的查询和键值进行相乘，再通过Softmax层获得注意力图，然后将注意力图和待计算值进行相乘后线性投影，并输入第二层正则化模块；

第二层正则化模块，用于将输入数据转成1024维度，然后输入前馈网络模块；

前馈网络模块，用于将输入数据依次通过线性函数、高斯误差线性单元函数、随机丢弃函数、线性函数、随机丢弃函数，获得处理后的值；

第一个残差连接模块，用于将原始数据和多头自注意力模块输出值进行相加；

第二个残差连接模块，用于将第一个残差连接输出值和前馈网络模块输出值进行相加。

具体实施时，本领域技术人员需要以中心观察像素为中心，根据步骤1设定的图像块长度值和宽度值，在该像素的邻域内选取对应尺寸的图像块作为中心Transformer分支的待输入样本。

步骤4：以中心区域为焦点，由近及远分别选取w×w×p和5w×5w×p的图像块作为近邻区域和周围区域，并在周围区域里构建周围区域网格，需要注意的是，最终的周围区域是以2为固定间隔来选取网格而形成的。然后将近邻区域与周围区域结合，共同作为邻域Transformer分支的待输入数据；输入到邻域Transformer分支，得到邻域Transformer分支的输出特征；

请见图3，本实施例的邻域Transformer分支，包括第一层正则化模块、交互式自注意力模块、第二层正则化模块、前馈网络模块、第一个残差连接模块、第二个残差连接模块；

第一层正则化模块，用于将输入数据转成1024维度，然后输入交互式自注意力模块；

交互式自注意力模块，首先将输入的周围区域进行端元转换和线性投影获得查询，然后将输入的周围区域进行端元转换和线性投影获得键值和待计算值，然后将查询和键值相乘通过Softmax层获得注意力图，接着将注意力图和待计算值相乘，并输入第二层正则化模块；

第二层正则化模块，用于将输入数据转成1024维度，然后输入前馈网络模块；

前馈网络模块，用于将输入数据依次通过线性函数、高斯误差线性单元函数、随机丢弃函数、线性函数、随机丢弃函数，获得处理后的值；

第一个残差连接模块，用于将原始数据和交互式自注意力模块输出值进行相加；

第二个残差连接模块，用于将第一个残差连接输出值和前馈网络模块输出值进行相加。

具体实施时，本领域技术人员需要以2为固定间隔来选取网格构成周围区域。

步骤5：将步骤3和步骤4的输出特征融合，得到中心-邻域交互式学习后的联合特征，将联合特征送入多层感知机进行分类；

本实施例中，将步骤3和步骤4的输出特征融合，融合方式为：

o＝o

其中，o是融合后的特征，o

本实施例的多层感知机，用于将输入数据依次通过层正则化函数和线性函数，将网络输出值转化为预测标签，完成分类过程。

步骤6：对于高光谱图像里每个像素，重复步骤3—5，完成对整幅图像的分类；

本实施例预先将原始高光谱图像里对应地物真实分布标签图所在的位置用标记好的标签填充，然后将剩余的像素逐个进行分类以减少计算量。

本实施例还可以对高光谱图像待分类的像素，采用步骤2—4生成测试样本，输入到本发明提出的方法进行测试，获得分类精度和分类结果图。具体实施时，本领域技术人员可采用总体精度和Kappa系数来进行定量分类精度评价，通过分类结果图内地物的边缘可分性和内部连续性进行定性分类效果评价。

本发明提供基于中心-领域交互式学习的高光谱图像分类方法，该发明引入了先进的Transformer结构，构建了无卷积的新型分类方法。具体地，设计了分级区域采样策略，选择中心观察像素所在区域作为中心区域，在中心区域周围由近及远地将邻域辅助像素进一步分为近邻区域和周围区域；提出了中心Transformer分支来聚焦于中心区域，该分支可以充分提取局部细粒度特征，这对于高精度分类起到了决定性作用；为了考虑邻域辅助像素，发展了邻域Transformer分支来捕捉粗粒度特征，通过近邻区域和周围区域的相关性计算，实现非局部粗粒度特征的深层挖掘；得到两个分支的输出特征后，将它们进行融合，送入多层感知机完成逐像素分类过程。

首先，本发明提出了分级区域采样策略来获得中心区域、近邻区域和周围区域。为了获得低维的数据表达，采用主成分分析算法对高光谱图像降维到p个光谱维度(p代表主成分的数量，后同)。然后，在中心观察像素周围选取尺寸为(1/3)w×(1/3)w×p的图像块作为具有代表性的中心区域(w代表近邻区域的尺寸，后同)。与一般的Transformer结构不同，由于中心Transformer的输入数据是一维向量，因此不需要设置展平操作，避免了位置信息的损失。另外，针对每个中心区域的图像块嵌入，将其通过可训练的线性投影层映射为D维，其定义如下：

其中，

z

在中心区域周围，由近及远以发散的形式选取大小为w×w×p和5w×5w×p的区域分别作为近邻区域和周围区域。周围区域

然后，本发明设计了中心Transformer分支重点提取中心区域的局部特征，以较细的粒度增强数据的表征能力。假设x

q

上述结构称为单头注意力机制，通过同样的多次运算，可以得到多头自注意力机制的输出特征：

其中，[·]代表级联操作，head

z′

z

其中，d∈{1,…,D}，z

然后，本发明发展了邻域Transformer分支捕捉不同尺度的邻域辅助像素，并进行他们之间的交互式学习。与中心Transformer类似，将近邻区域划分并重排为m个相邻的尺寸为(1/m)w×(1/m)w×p的邻域图像块，并通过公式(4)得到查询向量q

最后，为了获得平等的全局表示，本发明选取两个分支输出的向量的类嵌入，将其送入层正则化进行融合，然后通过多层感知机输出每个像素属于不同类别的概率，这个过程可以表示为：

y

其中，y

整个网络以端到端的模式进行训练，通过反向传播不断优化，输出每个像素的预测类别。

以上是本发明提供的高光谱图像分类方法的实现步骤。具体实施时，可采用软件平台来运行，运行流程的装置也应当在本发明的保护范围内。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。