基于多级Transformer网络的6G卫星图像滑坡检测方法

技术领域：

本发明涉及无监督异常检测的技术，尤其涉及一种基于多级Transformer网络结构的卫星图像异常检测方法。

背景技术：

滑坡是一种常见的地质灾害，会给自然环境、公共基础设施和人类生活带来不可预测的破坏。近年来，随着6G卫星通信网络和遥感技术的发展，人们可以将高分辨率卫星图像应用于灾害管理、滑坡检测和识别。滑坡图像中存在多种滑坡特征，如何综合利用这些特征进行准确有效的滑坡检测，对于降低经济风险、保护人类生命具有极其重要的意义。

传统的滑坡检测方法通常使用图像纹理和颜色等统计特征来检测滑坡。此外，一些机器学习方法，如支持向量机、随机森林和遗传算法，结合了统计方法进行滑坡检测。但是，机器学习方法没有很好的特征提取能力，不能自动检测。

深度学习模型具有强大的表示学习能力，可以自动提取特征并将其应用于滑坡检测。具体来说，卷积神经网络在各种基于图像的任务中已经超越了传统的统计特征提取和机器学习方法。使用Convolutional Neural Networks(CNN)进行滑坡检测的结果表明基于CNN的深度学习方法可以获得更好的结果。然而，CNN侧重于提取局部图像特征，很难学习图像的全局上下文特征。因此，通过加入注意力机制对基于CNN的方法进行改进，以促使CNN提取到更多独特的滑坡特征表示，方便进一步的下游检测任务。近年来，Vision Transformer(VIT)证明了用于自然语言处理的Transformer框架可以以优异的性能转移到图像识别和检测任务中。与CNN相比，ViT可以通过补丁级图像和全局注意力机制来学习图像上下文特征。

为了捕获图像的局部和全局信息，我们专注于在多个级别上组合Transformer，以更好地检测和识别图像。因此，提出了一种用于滑坡检测的无监督深度学习模型。该模型主要包含一个特征提取网络和一个多级Transformer自编码器框架。首先，我们从预训练网络中提取特征；然后可以使用多级Transformer网络重建图像特征。通过多级Transformer的特征重建，不仅可以提取细粒度的像素级特征，还可以提取粗粒度的上下文语义特征。最后，我们融合卫星图像的两种特征用于滑坡检测任务。

发明内容：

为了解决6G卫星拍摄图像的滑坡检测问题，帮助人类更准确和迅速的识别滑坡信息。本发明公开了一种基于多级Transformer网络的卫星滑坡图像检测方法。

(一)技术方案

用于6G卫星滑坡检测图像的整体框架是一个无监督的多级变压器编码器-解码器网络，包含一个预训练的CNN网络和一个具有Transformer结构的多级自动编码器。首先，引入预训练网络ResNet-18来从卫星图像中提取潜在特征；接下来使用多级Transformer自编码器网络重构图像数据特征；最后，通过将计算的重构误差作为异常评分来判断是否为滑坡图像。

其包括以下具体步骤：

1.数据预处理

如图1的方法流程图所示，方法的第一步是输入数据并进行数据预处理。数据预处理的过程主要是对原始数据进行划分和数据变换和增强。在数据集划分中，针对无监督任务，仅使用非滑坡图像作为训练数据，而在测试阶段同时使用滑坡和非滑坡图像作为将整个数据集按7:3划分为训练集和测试集。数据变换和数据增强可以规范数据输入网络的方式，同时有利于网络学习更加有区分性的特征信息，增强网络的鲁棒性和学习能力。

步骤1_1将数据集划分为训练集

x

步骤1_2数据变换和增强。使用pytorch的transformer中的Compose方法进行图像数据的变换和增强，主要包括图像的缩放，填充，旋转，中心裁剪等常用的变换方式。

2.模型特征提取阶段

特征模型如图2所示，采用ResNet-18对图像数据提取特征，为了更全面的提取到图像的粗细力度特征，我们从ResNet-18中选择中间的三层卷积神经网络分别输出，然后通过concatenate将它们组合成为一个多层结构的联合表示，将这个多尺度融合的特征向量作为接下来图片数据特征重构的基础向量。

步骤2_1将训练集数据输入ResNet-18中进行特征提取，得到三个不同卷积层的输出，output[i],i＝1,2,3。

步骤2_2将得到的三个特征层输出两两按照通道维度相加，得到一个组合后的联合特征表示z。

步骤2_3由于直接采用预训练好的ResNet-18，因此不用梯度更新。直接将z作为接下来待重构的特征向量。例如，训练集中的第i个样本x

z

其中F代表对训练集数据进行的通道对齐函数。

3.模型正式训练阶段

正式训练模型如图3所示，正式训练阶段对特征提取阶段得到的输出特征进行重构，主要模型为一个多级Transformer自编码器网络。与传统的卷积神经网络相比，Transformer因其注意力机制而具有更强的图像特征提取和重建能力。为了捕捉粗粒度和细粒度的图像特征，使用了多级Transformer编码器和解码器。此外，本发明结合了U-Net的优点，对同一级别的编码器和解码器使用跳跃连接进行信息传递，上一层的编码或解码信息在不同层的编码器和解码器之间依次传递。

步骤3_1输入经过ResNet-18预训练好的特征数据。

步骤3_2通过多级Transformer编码器对特征图像数据进行编码。本发明将特征图转换为补丁(patch)，并添加零填充令牌(zero padding token)和位置编码(positionalencoding)作为Transformer编码器的输入。将H×W大小的滑坡图像特征图划分为块大小为P

其中

步骤3_3通过多级Transformer解码器对特征图像数据进行重构解码。解码器的输入由两部分组成，一是来自同级编码器输出的潜在特征向量，二是前一级解码器的输出，即潜在头向量。此外，解码器的输出是每个patch的重建特征，它们都被重建成H×W形状的特征图。level-i Transformer的解码器公式如下，

其中

步骤3_4基于预训练提取的图像特征，通过对称的多级U型Transformer可以得到重构特征图

其中R(·)是多级transformer自编码器网络，z是通过预训练网络提取的图片特征。

步骤3_5计算重构特征损失

其中

步骤3_6loss的反向传播。根据步骤3_5中的重构损失值反向传播梯度，更新网络模型的权重和偏置，使得整个多级Transformer自编码器网络学习到非滑坡数据的数据特征。

4.模型测试阶段

测试阶段的模型如图4所示，测试数据同时包括非滑坡数据和滑坡数据，将测试数据依次通过预训练网络提取特征，多级Transformer自编码器网络重构特征，最后得到重构误差。由于重构误差可以反映滑坡和非滑坡图像之间的差异，因此可以直接将重构误差作为异常分数。当异常分数超过预定义阈值时，该图像被分类为滑坡图像。

步骤4_1加载测试集数据。

步骤4_2将测试数据通过图4中的测试模型。例如对于第i个测试样本x

步骤4_3将得到重构特征与真实特征对比，计算特征之间的重构误差，将重构误差之间当作异常得分，计算异常分数，对异常分数标准化后，利用异常分数和标签值计算滑坡检测的AUC(Area Under the Receiver Operating Characteristic Curve)，准确率，召回率，精确率以及F1分数。

(二)有益效果

1.本发明解决了高维卫星图像数据的特征提取不全面的问题，通过利用卷积神经网络自动提取图像多层特征表示，使得提取到的特征同时具备粗粒度的像素级特征和细粒度的高级语义特征，为下游的滑坡检测任务提供更具区分性的特征表示。

2.本发明解决了传统自编码器重构数据存在的误差累积和过拟合问题，通过利用多级Transformer自编码器网络重构特征数据，将各个层级的特征表示联合学习，同时通过跳跃连接在同一层之间传递数据，有效的减少了误差累积和过拟合现象。提升了滑坡检测的准确性。

附图说明：

图1为本发明的方法流程图。

图2为本发明所述的特征提取模型图。

图3为本发明所述的正式训练模型图。

图4为本发明所述的测试模型图。

具体实施方式：

为将本发明的技术方案更清晰完整地阐述，下面结合附图及实例，对本发明进一步阐述。

下面利用从武汉大学获得的一个名为Bijie滑坡数据集的开放遥感滑坡数据集，用于滑坡检测任务。该数据集由卫星光学图像、滑坡边界形状文件和数字高程模型组成。该数据集中的所有图像，即770幅滑坡图像(红点)和2003幅非滑坡图像都是从捕获的TripleSat卫星图像中裁剪出来的。本专利将检测滑坡图像视为单分类任务。训练阶段仅使用非滑坡图像，测试阶段包含滑坡和非滑坡图像。将2003张的非滑坡图像中的70％作为正常训练数据，其余的非滑坡图像和滑坡图像作为测试数据。目的是从各种滑坡和非滑坡图像中识别滑坡图像，以验证方法的有效性。如图1所示，本发明提供一种基于多级Transformer自编码器网络的无监督6G卫星图像滑坡检测方法，包括以下步骤：

步骤1如图1的方法流程图所示，方法的第一步是输入数据并进行数据预处理，数据预处理具体步骤如下：

步骤1_1将数据集划分为训练集和测试集的数据文件。加载Data文件夹下的训练集非滑坡数据对应的png数据文件，加载完成后得到非滑坡图像数据有1415条。

步骤1_2对训练集中的每条数据进行数据变换和增强，包括使用Resize方法将图片缩放为256*256大小，然后使用constant方法在所有面上填充给定的PIL图像，同时对图像做旋转10°和中心裁剪，最后将图像标准化，均值和方差依次为mean＝[0.485,0.456,0.406],std＝[0.229,0.224,0.225]。

步骤2模型特征提取阶段，特征提取模型如图2所示，将训练集图像数据输入ResNet-18提取特征，通过将多层输出结果进行组合，获得一个多层特征表示，具体步骤如下：

步骤2_1将训练集图像1415条数据送入ResNet-18网络中进行特征提取。

步骤2_2得到三个不同卷积层的输出，output[i],i＝1,2,3。

步骤2_3将得到的三个特征层输出两两按照通道维度相加，得到一个组合后的联合特征表示z。

步骤2_4直接将z作为接下来待重构的特征向量。

步骤3模型正式训练阶段，正式训练模型如图3所示，使用联合特征表示z进行特征重构，主要模型为一个多级Transformer自编码器网络。在这个阶段要进行重构误差的计算和反向传播，具体步骤如下：

步骤3_1输入通道数为448的联合特征表示z。

步骤3_2通过多级Transformer编码器对特征图像数据进行编码。level-iTransformer的编码器公式如下，

其中

步骤3_3通过多级Transformer解码器对特征图像数据进行重构解码。level-iTransformer的解码器公式如下，

其中

步骤3_4基于预训练提取的图像特征，通过对称的多级U型Transformer可以得到重构特征图

其中R(·)是多级transformer自编码器网络，z是通过预训练网络提取的图片特征。

步骤3_5计算重构特征损失

其中

步骤3_6loss的反向传播。根据重构损失值反向传播梯度，更新网络模型的权重和偏置，使得整个多级Transformer自编码器网络学习到非滑坡数据的数据特征。

步骤4模型测试阶段，测试阶段的模型如图4所示，测试数据同时包括非滑坡数据和滑坡数据，将测试数据依次通过预训练网络提取特征，多级Transformer自编码器网络重构特征，最后得到重构误差。由于重构误差可以反映滑坡和非滑坡图像之间的差异，因此可以直接将重构误差作为异常分数。当异常分数超过预定义阈值时，该图像被分类为滑坡图像。

步骤4_1加载588条非滑坡数据和770条滑坡数据。

步骤4_2将测试数据通过图4中的测试模型。例如对于第i个测试样本x

步骤4_3将得到重构特征与真实特征对比，计算特征之间的重构误差，将重构误差之间当作异常得分。

步骤4_4对异常分数标准化后，利用异常分数和标签值计算滑坡检测的AUC，准确率，召回率，精确率以及F1分数等指标，与传统的U-Net模型进行对比。

本发明实施方式中的基于多级Transformer自编码器网络的6G卫星图像滑坡检测方法，能够通过一种新的多级传播和跳跃连接的方式对提取到的特征图像进行特征融合和重构，同时学习粗粒度的低级像素特征和细粒度的高级语义特征，相比原始的自编码器等方法有较好的性能。

以上所述是结合附图对本发明的实施例进行的详细介绍，本文的具体实施方式只是用于帮助理解本发明的方法。对于本技术领域的普通技术人员，依据本发明的思想，在具体实施方式及应用范围内均可有所变更和修改，故本发明书不应理解为对本发明的限制。