一种基于深度学习和轮廓规则化的遥感影像建筑提取方法

技术领域

本发明属于光学遥感技术应用领域，具体涉及一种基于深度学习和轮廓规则化的遥感影像建筑提取方法。

背景技术

建筑提取是自然保护地人类活动提取、生态保护红线划定和耕地非农化等工作中的重要一环。传统建筑提取方法多采用人工实地测量或基于无人机影像人工勾画，对工作人员数量依赖较大，且效率低下，无法在城镇建设发展、国土空间规划等众多场景中满足对建筑信息的大区域、高频次更新的要求。

随着影像分辨率不断提升，图像中建筑的特征和轮廓信息也越加明显，卫星遥感数据常用在建筑分析工作中来。深度学习技术的发展为建筑自动化提取提供了技术基础，卷积神经网络可高效地提取和学习遥感影像中的地物特征，并通过训练得到自动化建筑提取模型。但此类自动化方法提取得到的建筑轮廓与实际差别较大，常呈现过分割或欠分割现象，为满足实用性需求，需要对结果进行优化，然而优化结果并不理想，优化后的建筑轮廓与建筑实际轮廓边缘仍存在较大差异。

发明内容

针对现有的技术深度学习技术的遥感影像建筑提取方法存在的提取得到的建筑轮廓与实际差别较大，提取结果优化不理想，导致提取精度低的问题，本发明提供一种基于深度学习和轮廓规则化的遥感影像建筑提取方法。

为解决上述问题，本发明采取如下的技术方案：

一种基于深度学习和轮廓规则化的遥感影像建筑提取方法，包括以下步骤：

步骤1：人工构建建筑训练样本数据集；

步骤2：构建并训练建筑提取模型，包括以下步骤：

步骤21：构建多尺度并行连接的神经网络，所述多尺度并行连接的神经网络用于并行提取四个不同尺度的特征图并且进行特征交叉融合，得到网络初始融合特征；

步骤22：根据网络初始融合特征分别计算类别概率图和类别特征；

步骤23：利用注意力机制转换的方式计算区域上下文特征；

步骤24：将网络初始融合特征与区域上下文特征进行融合，得到分割特征；

步骤25：所述建筑训练样本数据集中的样本影像经过两个3×3的卷积以及两个BN层以及ReLU激活函数，初始特征输出为原影像尺寸

步骤3：将待提取区域遥感影像输入建筑提取模型，得到对应的初始建筑分布栅格结果；

步骤4：对所述初始建筑分布栅格结果进行形态学上的轮廓规则化处理，具体的轮廓规则化处理过程如下：

步骤41：对所述初始建筑分布栅格结果进行开运算；

步骤42：基于开运算后得到的各单体建筑形态，提取初始建筑轮廓信息，并以点集的形式进行记录；

步骤43：采用道格拉斯-普克算法对点集进行优化，得到初步简化后的各个建筑的轮廓L；

步骤44：确定轮廓L对应的最小外接矩形R，并计算轮廓L的面积与最小外接矩形R的面积的比值，若比值大于阈值，则以最小外接矩形R的轮廓作为最终建筑轮廓，然后执行步骤46；若比值小于等于阈值，则执行步骤45；

步骤45：对轮廓L进行凹陷填充以及直角边优化；

步骤46：生成包括建筑轮廓矢量图斑的建筑分布矢量文件。

本发明的有益效果是：

本发明提出了一种基于深度学习和轮廓规则化的遥感影像建筑提取方法，实现在不同影像尺度下，仍能获取轮廓规整、应用性强的建筑分布矢量。采用多尺度并行连接的神经网络结构，以保证不同分辨率下建筑特征的有效利用。在过程中联系上下文信息，以提升建筑提取的准确率。使用多尺度训练和多尺度预测的方式，提高模型在多分辨率影像下的泛化性。采用轮廓规则化方法对建筑分割结果进行优化，以使得轮廓更贴近建筑实际边缘。

附图说明

图1为本发明所述的一种基于深度学习和轮廓规则化的遥感影像建筑提取方法的流程图；

图2为人工构建建筑训练样本数据集中样本的示意图；

图3为多尺度并行连接的神经网络的网络结构示意图；

图4为选取的三组不同区域不同建筑类型的遥感影像提取效果图；

图5为大区域建筑提取效果图。

具体实施方式

本发明所提出的基于高泛化性的卷积神经网络和基于形态学的轮廓规则化为一体的遥感影像建筑提取方法，利用专家知识人工构建适用深度学习训练的样本集，在并行多尺度特征提取神经网络中，主体结构为四个不同尺度的特征图并行提取并且进行特征交叉融合。通过多尺度训练和预测的方式获得高分辨率遥感影像的初步建筑提取结果。在此基础上进行形态学上的轮廓优化，从而获得规则化后的建筑矢量。下面将结合附图及较佳实施例对本发明的技术方案进行详细说明。

图1所示为本发明提出的一种基于深度学习和轮廓规则化的遥感影像建筑提取方法的流程图，具体包括以下步骤：

步骤1：人工构建建筑训练样本数据集

步骤11：获取若干幅分辨率优于0.8米的高分辨率卫星遥感影像。

为了使建筑提取模型更适用于高分辨遥感影像，并且能够在人工勾画建筑轮廓过程中更加准确，选用分辨率优于0.8米的高分辨率卫星遥感影像进行样本集的构建。在影像选择中，优先选用建筑类型分布较全的区域进行勾画，如图2(a)所示为选用的真彩色影像，确保在样本集中包含居民楼、厂房、体育馆、商业建筑、农村建筑等基本建筑类型。

步骤12：利用专家知识对每一幅高分辨率卫星遥感影像进行人工勾画建筑轮廓，勾画完成后生成建筑二值化标签。

在勾画的过程中线条贴合建筑外部轮廓边缘，最大程度上满足轮廓线条简单且覆盖单体建筑，如图2(b)所示为人工勾画矢量结果。在勾画完成后，生成建筑二值化标签，如图2(c)所示，图中黑色为背景，白色为建筑。

步骤13：对高分辨率卫星遥感影像及其对应的建筑二值化标签进行分块，得到初始建筑样本集。

该步骤对影像数据和标注数据(即建筑二值化标签)进行分块，得到初始建筑样本集。

步骤14：对初始建筑样本集进行数据增强处理，得到建筑训练样本数据集。

该步骤对影像和标注文件进行数据增强，包括：水平翻转、竖直翻转、随机旋转、仿射变换等方式的任意随机组合。增强后的数据集用于进行深度学习网络训练。

特别地，在人工构建建筑训练样本数据集时，构建过程依据以下原则：(1)包含多种建筑类型，在勾画样本过程中保证各类型建筑的样本数量相对平衡；(2)最小建筑勾画面积保持在30平方米或者60个像素以上；(3)勾画过程中勾画建筑楼顶轮廓，保持规则化形态。

步骤2：构建并训练建筑提取模型

构建多尺度并行连接的神经网络，包括多尺度特征提取骨干网络，在各级特征提取中进行特征融合。利用多尺度训练方式得到泛化性较强的建筑提取模型。通过训练得到的建筑提取模型，使用多尺度预测的方式对待处理范围内的遥感影像进行提取，得到初始建筑分布栅格结果。

构建并训练建筑提取模型具体包括以下步骤：

步骤21：构建多尺度并行连接的神经网络，该多尺度并行连接的神经网络用于并行提取四个不同尺度的特征图并且进行特征交叉融合，得到网络初始融合特征。

多尺度并行连接的神经网络包括由四个尺度的并行特征提取网络组成的并行卷积流，如图3所示，在建筑训练样本数据集中的样本影像对应的初始特征图输入该多尺度并行连接的神经网络后，会经过四个尺度的并行特征提取网络组成的并行卷积流，其特点是对卷积前特征与一系列不同尺度卷积后的特征进行特征融合，以保证特征层次的丰富性。以高分辨率遥感卫星影像为例，在网络中，输入的样本影像的尺寸为650×650×3(即：影像长×影像宽×波段数)。

样本影像首先经过两个3×3的卷积以及两个BN(BatchNormalization)层以及ReLU激活函数，初始特征输出为原影像尺寸

在第一个卷积流分支中，初始特征图经过四个Bottleneck Block残差块，输出特征图为S

在第二个卷积流分支中，对第一个卷积流分支得到的特征图S

在第三个卷积流分支中，对第二个卷积流分支得到的特征图

在第四个卷积流分支中，对第三个卷积流分支得到的特征图

将各个卷积流分支得到的特征图进行统一采样为162×162×720，并进行融合，得到网络初始融合特征F

步骤22：根据网络初始融合特征分别计算类别概率图P

本发明考虑待分类像元的周围邻域像元的特征进行上下文特征融合，首先将网络初始融合特征F

P

再根据公式(2)通过网络初始融合特征F

F

步骤23：利用注意力机制转换的方式计算区域上下文特征。

在本步骤中利用注意力机制转换的方式将像元特征与类别特征进行计算，区域上下文特征F

其中，C为给定影像中类别个数(本发明中C＝2，类别为建筑、非建筑)，w

步骤24：将网络初始融合特征与区域上下文特征进行融合，得到分割特征。

最后，根据得到的区域上下文特征F

F

其中，λ为融合权重。

步骤25：建筑训练样本数据集中的样本影像生成的初始特征图输入多尺度并行连接的神经网络，使用交叉熵损失函数作为损失函数，并采用随机梯度下降算法进行优化训练，训练后得到建筑提取模型。

网络整体损失函数选择使用交叉熵损失函数，如公式(5)：

其中，C代表类别数，y

采用随机梯度下降(SGD)算法进行优化训练，学习率设置为线性递减，训练后得到建筑提取模型。

以多尺度方式训练建筑提取模型，样本影像在输入网络时，随机在尺度集中进行选择，并以该尺度为准进行尺度变换。尺度集为[0.5,0.75,1,1.25,1.5,1.75,2]，中间包含七个不同的尺度。使用该方式可以最大程度上提升模型的泛化性。

在预测的过程中，同样采用多尺度的方式进行预测。在预测的过程中，对于输入的影像，分别进行尺度集为[0.5,0.75,1,1.25,1.5,1.75,2]的预测。对不同尺度的建筑提取结果取交集，得到最终的初始建筑分布栅格结果。

步骤3：将待提取区域遥感影像输入建筑提取模型，得到对应的初始建筑分布栅格结果。

步骤4：建筑轮廓规则化

对提取得到的初始建筑分布栅格结果进行形态学上的优化，依据每一处建筑的大致形态提取边界，采用道格拉斯-普克(Douglas–Peucker)算法减少点位数据量，并对轮廓中的毛刺现象进行平滑，对近似直角边进行规则化，得到最终符合建筑实际边界的轮廓矢量图斑。

在本步骤中，对初始建筑分布栅格结果进行形态学上的轮廓规则化处理的具体过程如下：

步骤41：对初始建筑分布栅格结果进行开运算。对于得到的初始建筑分布栅格结果，进行一次尺度为3的开运算，保证位置和形状不变的前提下，除去孤立的小点，毛刺和小桥。

步骤42：基于开运算后得到的各单体建筑形态，提取初始建筑轮廓信息，并以点集P的形式进行记录。

步骤43：采用道格拉斯-普克(Douglas–Peucker)算法对点集P进行优化，剔除多余点位、平滑毛刺线段，并能保证轨迹曲线形状大致不变，得到初步简化后的各个建筑的轮廓L；

步骤44：确定轮廓L对应的最小外接矩形R，并计算轮廓L的面积与最小外接矩形R的面积的比值，若比值大于阈值(例如0.8)，则以最小外接矩形R的轮廓作为最终建筑轮廓，然后执行步骤46；反之，若比值小于等于阈值，视该建筑为复杂形状，需进一步优化，执行步骤45；

步骤45：对轮廓L进行凹陷填充以及直角边优化；

对轮廓L进行凹陷填充时，计算轮廓L中所有两条边的夹角，若形成的三角形为内凹三角形，则计算三角形面积，若三角形面积小于整个轮廓面积的5％，则对三角形进行填充。

对轮廓L进行直角边优化时，包括两种情况：

(1)对两边夹角近似90度的情况，调整中间点位的位置，使两边呈直角形状；

(2)对于相隔一条边的两边计算夹角，若夹角近似90度，计算两边延长线的交点与中间边的两端点形成的三角形面积。如果三角形面积小于整个轮廓面积的5％，则在点集中删除中间边的两端点，然后在点集中插入两边延长线的交点。

步骤46：生成包括建筑轮廓矢量图斑的建筑分布矢量文件。在得到的点集P1的基础上，生成建筑分布矢量文件。建筑分布矢量文件其中的各建筑轮廓矢量图斑的轮廓均得到优化，各边呈现以直角为主体的规则化特性。最终得到的建筑轮廓矢量图斑最贴近建筑实际边缘，并且数据量最小，提升了遥感影像建筑提取方法的实际应用性。

本发明采用基于深度学习语义分割的方式在待预测区域提取初始建筑栅格结果，然后采用基于形态学的方式对结果进行规则化处理，得到贴合实际建筑边缘的矢量图斑。利用人工进行勾画创建建筑样本集，以多尺度训练和多尺度预测的方式提升预测的准确度。在亚米级高分辨影像中，最终经过优化后的矢量图斑具备较高的实用性。

下面结合具体的实例对本发明的技术效果进行说明。

本发明选用国内城市上海、武汉、长春、哈尔滨等城市，国外拉斯维加斯、巴黎等城市制作训练样本集。使用卫星遥感影像的分辨率优于0.8米。在模型训练的过程中，数据如下：

表1建筑提取模型训练参数表

如表1中所示，共构建8800张图像的样本并进行训练。测试过程中平均每个测试样本预测时间约为1.5秒。

为准确验证本发明的实际应用性，在长春、哈尔滨、沈阳、白山、锦州、四平、松原这7个城市中勾画10个2km×2km大小的样方，总面积共40km2用作建筑提取的精度验证。验证精度数据如下表所示：

表2基于深度学习和轮廓规则化的遥感影像建筑提取精度验证

如表2中所示，所有的样方中建筑的总体精度达到93％。代表具有较好的提取效果。其中规则化后的提取结果较只使用深度学习的原模型的提取结果总体提取精度提升了3％，代表本发明提供的轮廓优化技术具有较好的提取精度提升效果。

如图4中所示，选取三组不同区域不同建筑类型的遥感影像进行提取效果展示，其中(a1)、(a2)、(a3)为真彩色影像；(b1)、(b2)、(b3)为真值标签；(c1)、(c2)、(c3)为只使用深度学习的方式的提取效果；(d1)、(d2)、(d3)为本发明的提取效果。图中黑色为背景，白色为建筑。与真值标签进行对比，本发明能够提取得到较为准确的建筑结果。与只使用深度学习的方式相比，本发明可以得到更加贴近实际建筑轮廓的结果。

图5是大区域建筑提取效果图，其中(a)为真彩色影像；(b)为本发明提取结果。从结果中可以看出，本发明能够得到较为准确的建筑分布情况，对于多种建筑类型都可以得到较好的提取结果，满足实际使用的需求。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。