基于多模态决策融合的滑坡风险点分类方法

技术领域

本发明属于遥感影像解译技术领域，特别涉及一种滑坡风险点分类方法，可用于对山体滑坡风险点的检测，做出地质灾害预警。

背景技术

地质灾害是指人为因素和自然因素导致的地质形态发生较大变化，从而对附近的区域造成较大影响的自然灾害，能够预测并提前进行通报自然灾害的发生，对自然灾害的应对起着至关重要的作用。常见的地质灾害包括地壳活动灾害、斜坡岩土体运动灾害、地面变形灾害等等，而这其中发生频次最高的当属斜坡岩土体运动灾害。最为常见的滑坡、崩塌、泥石流就属于这一类灾害划分。滑坡发生后的卫星图像中的滑坡特征较为明显，对于灾情的危害等级评定和人员疏散以及灾后救援具有较为明确的指导意义。虽然滑坡灾害发生后，通过技术手段对滑坡进行检测，可以对滑坡引起的二次灾害有一定的预警效果，但是并不能在滑坡发生前对滑坡的发生进行有效预测。如果能够对滑坡灾害的发生进行预测，将具有威胁的滑坡灾害风险点提前检测出来，将大大减少人员和经济的损失。所以滑坡风险点的检测相对于滑坡的检测在实际意义上更具研究价值。

滑坡风险点检测问题属于复杂场景问题。其一，滑坡灾害风险点相对于滑坡的特征显著性较低，也就是信噪比较低，背景对目标的影响也就更高。大部分的算法进行分类或者检测都是基于是否相同的特征进行样本的区分，对于和背景相差较小的地质灾害风险点来说无疑大大增加了问题的难度。其二，不同的滑坡形态各异，导致学习需要数据量较大，这对于高质量标注数据有限的滑坡风险点来说无疑是一个比较严峻的问题。

针对上面信噪比较低，导致数据信息有限的问题，有地质灾害研究者将数字高程模型DEM加入到滑坡检测中，以期望能通过DEM来反映图像的地形变化，为相关问题的解决提供更多数据特征。如季顺平等人在滑坡检测的研究《Landslide detection from anopen satellite imagery and digital elevation model dataset using attentionboosted convolutional neural networks》中通过增加DEM来提升滑坡分类模型的分类性能；刘佳等人在《基于GEE和U-net模型的同震滑坡识别方法》中通过增加DEM、坡度等信息用以提升滑坡快速自动识别精度。

上述文献中的DEM的处理方法在DEM的处理上，均以直接增加额外维度来存储、处理和提取DEM数据特征的方式进行。这种数据处理形式在数据量较大的情况下可以通过提取不同滑坡风险的DEM模型中的特征对滑坡风险点进行分类，以实现对滑坡风险点检测精度的提升。但由于地形的多样性，滑坡风险点的形态也是多种多样，且滑坡风险点的高质量标注数据较少，因而训练所获得的DEM特征迁移到测试集后，不能覆盖所有类型的滑坡风险点，造成DEM所隐藏的坡度、坡向与滑坡之间的关系信息在少量的样本学习中难以获得，导致分类的性能提升不够稳定。

发明内容

本发明的目的在于克服已有技术存在的不足，提出一种基于多模态决策融合的滑坡风险点分类方法，以充分利用DEM内的部分信息，在提高滑坡灾害风险点分类准确度的同时保证准确度提升的稳定性。

为实现上述目的，本发明采取的技术方案包括如下步骤：

(1)从数字高程模型中提取所有RGB高分遥感影像对应的高度数据，构成与RGB高分遥感影像一一对应的区域数字高程模型DEM；

(2)将区域数字高程模型DEM合并，构成数据集HS，并对HS按照“平地”、“山地”进行划分；

(3)将所有的RGB高分遥感影像样本按照8：2比例随即划分成RGB训练集和RGB测试集；

(4)按照RGB训练集和RGB测试集与区域数字高程模型的一一对照关系，将步骤(1)提取获得的区域数字高程模型DEM划分为DEM训练集和DEM测试集；

(5)利用RGB高分遥感影像训练集数据和区域数字高程模型DEM训练集数据分别训练对应的分类器：

(5a)将RGB高分遥感影像训练集中的RGB高分遥感影像数据加载到现有的分类模型，利用随机梯度下降优化方法对其训练，得到RGB高分遥感影像分类器f

(5b)将区域数字高程模型DEM训练集中的区域数字高程模型DEM加载到另一现有的分类模型，利用随机梯度下降优化方法进行训练，得到区域数字高程模型DEM分类器f

(6)利用上述步骤(5)获得的分类器分别在RGB高分遥感影像测试集和区域数字高程模型DEM测试集上进行检测：

(6a)利用(5a)获得的RGB高分遥感影像分类器f

(6b)利用(5b)获得的区域数字高程模型DEM分类器f

(7)对于(6a)检测的“有滑坡风险点”样本，逐一判断其一一对应的区域数字高程模型DEM的分类结果是“山地”还是“平地”，并将对应的区域数字高程模型DEM分类结果为“平地”的样本调整为“无滑坡风险点”。

本发明与现有方法相比，具有如下优点：

第一，本发明通过改进数字高程模型DEM的使用形式，提取区域数字高程模型DEM中蕴含的地形信息，利用区域数字高程模型DEM分类器对于“山地”还是“平地”这一简单问题的准确分类，调整对应RGB高分遥感影像分类结果，提高了RGB高分遥感影像的有无滑坡风险点分类性能；

第二，本发明新增用于处理数字高程模型DEM的额外分支，由于其对“平地”和“山地”进行分类的准确率极高，且不与原有RGB高分遥感影像的分类分支相耦合，所以相对于现有数字高程模型DEM的处理方法在分类中的应用形式，本发明在增加数字高程模型DEM信息之后，可以提高分类的准确率和稳定性。

附图说明

图1为本发明的实现流程图；

图2为本发明中坡度图的像元分布示意图。

具体实施方式

以下结合附图对本发明的具体实施例作进一步详细说明。

参照图1，本实例基于多模态决策融合的滑坡风险点分类方法，包括步骤如下：

步骤1，从数字高程模型中提取RGB高分遥感影像对应的高度数据，构成与RGB高分遥感影像一一对应的区域数字高程模型DEM。

RGB高分遥感影像为原始数据，其对应的数字高程模型数据在滑坡风险点检测中具有辅助作用，为了能够更好地利用数字高程模型数据，本实例将数字高程模型按照地理坐标系间地对应关系进行裁取，同时由于DEM所表示的海拔数据在不同地域和不同地域之间即使地形相同也会存在较大差异，但是这对于是否会发生滑坡并没有影响，所以为消除地域之间的海拔差异性，对于每一幅图像对应的DEM上的每个DEM点数据，需要减去每幅DEM数据的最小值，具体实现如下：

1.1)从原始RGB高分遥感影像数据集中获取具体的一张RGB高分遥感影像，读取其所包含的地理坐标系信息和该RGB高分遥感影像的尺寸大小宽度w和高度h；

1.2)将1.1)中获得的地理坐标信息映射到数字高程模型中，获取待裁切位置的左上角的坐标信息(x，y)；

1.3)按照1.1)获得的尺寸信息和1.2)获得的坐标信息，裁取数字高程模型中以(x，y)为左上角，以(x+w，y+h)为右下角的区域，作为1.1)所述RGB高分遥感影像一一对应的区域数字高程模型DEM；

1.4)计算区域数字高程模型DEM图像中每个像素映射高度h′(i，j)：

h′(i，j)＝h(i，j)-min(h(i，j))

其中h(i，j)是数字高程模型中对应坐标位置为(i，j)的数值，mmin是取全局数值最小的函数。

步骤2，根据区域数字高程模型DEM构成数据集HS，并对HS进行“平地”、“山地”进行划分。

为了在增加区域数字高程模型DEM后，整体分类模型对原有数据的分类的准确度有所提升，本发明对现有的分类模型增加了一些先验知识，以提升分类模型的性能，并根据地形平坦的地区无法发生滑坡，地形崎岖的地区有可能发生滑坡这一先验信息，为滑坡风险点分类提供额外的分类依据，即“平地”不包含“有滑坡风险点”。故将数据集HS中的区域数字高程模型DEM分为“平地”部分和“山地”部分，以便后续实现对前述地形信息的分类。

参照图2，本步骤的具体实现如下：

2.1)计算数据集HS中每个图像中每个像元的东西向变化率

其中，{a，b，c，d，e，f，g，h，i}为数据集HS内高度映射图像中以某像元为中心的九宫格像元的所有编号，九个像元整体分布为三层，每层三个像元，第一层依次为{a，b，c}，第二层依次为{d，e，f}，第三层依次为{g，h，i}，we_cellsize表示东西方向上的像元大小，sn_cellsize表示南北方向上的像元大小；

2.2)根据2.1)的结果计算数据集HS内每个区域数字高程模型DEM图像的每一个像元对应的坡度值S

其中，常数C为角度和弧度转换的倍率，其值大小为57.29578；

2.3)将上述属于同一张区域数字高程模型DEM图像的坡度值合并成坡度图；

2.4)计算数据集HS内的每个区域数字高程模型DEM图像对应的坡度图中最大坡度值S

2.5)设定阈值t为5°，将每个区域数字高程模型DEM图像对应的坡度图中最大坡度值S

若S

若S

步骤3，划分RGB训练集和RGB测试集。

将原始待进行有无滑坡风险点分类的RGB高分遥感影像样本随机划分成RGB训练集和RGB测试集，分别记为RGBS

步骤4，对于步骤2中获得的带有地形标注信息的区域数字高程模型DEM，按照RGB训练集和RGB测试集与区域数字高程模型的一一对照关系，划分为DEM训练集和DEM测试集。

由于RGB高分遥感影像所对应分支的分类任务是“有无滑坡风险点”，但是区域数字高程模型DEM分支的分类任务是“平地”还是“山地”，所以如果也按照随机划分的形式进行区域数字高程模型DEM数据集的划分，会出现部分RGB高分遥感影像样本被划分到RGB训练集，使得这些样本对应的区域数字高程模型DEM反而被划分到DEM测试集的情况，从而导致最后的指标计算不够准确。

为了能够保证模型的训练和测试以及指标计算能够符合客观情况，本实例选用步骤1中裁切区域数字高程模型DEM时的一一对应关系和步骤3中RGB训练集和RGB测试集的划分情况，将区域数字高程模型DEM数据集划分为DEM训练集HS

步骤5，利用RGB高分遥感影像训练集数据和区域数字高程模型DEM训练集数据分别训练对应的分类器。

5.1)利用随机梯度下降优化方法对RGB高分遥感影像分类模型进行训练，获得分类器f

针对步骤3获取的RGB高分遥感影像训练集RGBS

5.1.1)根据所训练模型对应的网络结构生成具有随机参数的RGB高分遥感影像分类器f

5.1.2)用获取到的公开的预训练文件内的网络参数代替RGB高分遥感影像分类器f

5.1.3)将RGB高分遥感影像数据x

5.1.4)将RGB高分遥感影像分类器f

5.1.5)计算分类器f

5.1.6)重复(5.1.3)～(5.1.5)直到RGB高分遥感影像分类器f

5.2)利用随机梯度下降优化方法对区域数字高程模型DEM数据训练获得分类器f

本实例采用Vision In Transformer，VIT模型进行DEM分支数据的分类，VIT相对于其他的卷积神经网络分类模型具有更强的可解释性，VIT特有的位置编码特点使得模型更关注坡度值较高的地区，而不仅仅是计算不同类别之间的分类面。

由于数据量有限，本实例采取迁移学习的形式来训练DEM分支分类模型。针对本实例的“平地”和“山地”这个两类别的分类任务，将类别输出层改为两类，然后利用VIT模型对应的在ImageNet 21K数据集上的预训练文件训练分类模型。具体操作步骤如下：

5.2.1)根据区域数字高程模型DEM分类模型对应的网络结构生成具有随机参数的分类器f

5.2.2)用获取到的公开的预训练文件内的网络参数代替分类器f

5.2.3)将区域数字高程模型DEM数据x

5.2.4)将区域数字高程模型DEM分类器f

5.2.5)计算区域数字高程模型DEM分类器f

5.2.6)重复(5.2.3)～(5.2.5)直到区域数字高程模型DEM分类器f

步骤6，利用RGB高分遥感影像分类器f

6.1)利用5.1)获得的RGB高分遥感影像分类器f

对于步骤3获得的RGB高分遥感影像测试集RGBS

6.2)利用5.2)获得的区域数字高程模型DEM分类器f

对于步骤4获得的区域数字高程模型DEM测试集HS

步骤7，根据6.2)中DEM分支的分类结果调整6.1)中的RGB分支的分类结果集TR

对于6.1)分类结果所对应的两个分类集“有滑坡风险点”样本集TRt和“无滑坡风险点”样本集TR

7.1)逐一遍历“有滑坡风险点”样本集TR

若样本所一一对应的区域数字高程模型DEM通过分类器f

若样本所一一对应的区域数字高程模型DEM通过分类器f

7.2)对于“无滑坡风险点”样本集TR

7.3)输出RGB高分遥感影像测试集RGBS

以下结合仿真实验，对本发明的技术效果进行说明：

1.仿真条件

主频为3.50GHz的Intel Core i7-7800X CPU，64.0GB的内存，Ubuntu18.04操作系统，python3.7.1+pytorch1.7.0开发环境。

实验数据是宁夏省西吉县部分的分辨率为1m的高分影像，数字高程模型DEM数据为对应地区的30m分辨率数字高程模型数据。

2.仿真内容

仿真1：分别利用本发明和现有主流的RGB高分遥感影像分类方法，对以上数据在Resnet34、Resnet50、Resnet101、Res_att、Dense-Net、Efficient-Net、EfficientNet-v2以及VIT模型上进行分类仿真，并对仿真结果使用正样本精确率Pre_pos、正样本召回率Rec_pos、正样本F1-score和总体样本准确率ACC共四个指标进行比较，结果如表1。

表1“有滑坡风险点”类别分类结果

从表1可见，在实验所用的九种主流的分类模型的实验结果可以看出，本发明主要在保证“滑坡风险点”类别召回率不降低的情况下，可筛选出误分到“无滑坡风点”的“平地”样本。并通过这样的形式提高“有滑坡风险点”样本的检测准确率，相对现有方法，在绝大多数情况下可以将“滑坡风险点的”类别的各分类指标提升1到3个百分点。

仿真2：分别利用本发明和现有主流的RGB高分遥感影像与区域数字高程数字模型DEM的处理方法，对以上数据在Resnet34、Resnet50、Resnet101、Res_att、Dense-Net、Efficient-Net、EfficientNet-v2以及VIT模型上进行分类仿真，并使用正样本精确率Pre_pos、正样本召回率Rec_pos、正样本F1-score和总体样本准确率ACC共四个指标进行比较，结果如表2。

表2“有滑坡风险点”类别分类结果

从表2可以看出，由于DEM信息的不稳定性和低分辨率DEM插值所带来的额外噪声，会导致增加额外信息的数据集分类的可分性的增加或者减弱不够稳定，虽然增加了额外输入，但是在绝大多数指标下，实际的分类性能反而更差，甚至比不上未增加DEM信息之前的结果。但是本发明的处理方法相对于其他方法仍然可以提高1到5个百分点。