一种自动提取建筑物轮廓的方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种自动提取建筑物轮廓的方法及装置。

背景技术

建筑物作为城市区域的重要特征，是影像上占主体地位的人工地物。建筑物的矢量化提取在城市基础信息数据更新、目标识别、灾害预估、变化检测等方面有着广泛的应用价值，是图像处理领域的重要研究内容。

现有技术归纳起来可以分为两类：一是基于卷积神经网络提取地物轮廓；二是基于线性特征与图像分割相结合来识别和提取建筑物轮廓。

但是，上述两类方法均对适用场景有较高要求或者存在局限性，如果不满足则无法得到较清晰的建筑物轮廓，尤其是针对大规模遥感影像提取和复杂建筑物分布区域，适用能力下降，泛化能力较低，进而获取到的建筑物轮廓精度与效率也降低，无法满足地图制图上图要求而形成图像产品。

发明内容

有鉴于此，本发明提供一种自动提取建筑物轮廓的方法及装置，主要目的在于得到将卷积神经网络与线性特征结合的建筑物轮廓识别方法，泛化能力高，以细化、优化得到高质量建筑物边线，满足地图制图上图要求，从而实现自动提取建筑物轮廓图像产品。

为了达到上述目的，本发明主要提供如下技术方案：

一方面，本发明提供了一种自动提取建筑物轮廓的方法，该方法包括：

构建用于提取建筑物轮廓的卷积神经网络模型；

利用所述模型提取遥感影像中的建筑物位置与参考轮廓，得到所述建筑物对应的建筑物掩模图像；

基于线性特征与图像分割算法相结合，对所述建筑物掩模图像进行处理，得到对应的线段信息、拐角点信息和方位信息；

利用所述建筑物对应的线段信息、拐角点信息和方位信息，对所述建筑物位置与参考轮廓执行地物矢量上图优化和轮廓修正，得到修订后的建筑物轮廓；

将修订后的建筑物轮廓转换为地理坐标并输出矢量，完成地图制图。

可选的，所述基于线性特征与图像分割算法相结合，对所述建筑物掩模图像进行处理，得到对应的线段集、拐角点和方位信息，包括：

采用图像分割算法对所述建筑物掩模图像执行优化，得到优化后的建筑物边缘；

根据所述优化后的建筑物边缘，检测边缘对应区域内的线段信息和拐点信息；

从所述边缘对应区域内的线段信息中获取出与所述边缘存在关联的目标线段信息；

根据所述目标线段信息，确定目标建筑物边缘；

根据确定的所述目标建筑物边缘和所述拐角点信息，确定所述目标建筑物对应的方位信息。

可选的，所述根据确定的所述目标建筑物边缘和所述拐角点信息，确定所述目标建筑物对应的方位信息，包括：

根据确定的所述目标建筑物边缘，计算所述目标建筑物对应边的方向，得到带有方向的直线段组；

根据所述带有方向的直线段组和所述拐角点信息，确定所述目标建筑物的方位信息。

可选的，所述利用所述建筑物对应的线段信息、拐角点信息和方位信息，对所述建筑物位置与参考轮廓执行地物矢量上图优化和轮廓修正，包括：

获取所述目标建筑物边缘和对应的方位信息；

根据所述目标建筑物边缘和对应的方位信息，计算所述目标建筑物的角点坐标、检测锐角、检查边相交，完成对所述目标建筑物边缘的修订。

另一方面，本发明还提供了一种自动提取建筑物轮廓的装置，该装置包括：

构建单元，用于构建用于提取建筑物轮廓的卷积神经网络模型；

第一获取单元，用于利用所述构建单元构建的模型提取遥感影像中的建筑物位置与参考轮廓，得到所述建筑物对应的建筑物掩模图像；

第二获取单元，用于基于线性特征与图像分割算法相结合，对所述第一获取单元获取到的建筑物掩模图像进行处理，得到对应的线段信息、拐角点信息和方位信息；

执行单元，用于利用所述第二获取单元获取到的建筑物对应的线段信息、拐角点信息和方位信息，对所述建筑物位置与参考轮廓执行地物矢量上图优化和轮廓修正，得到修订后的建筑物轮廓；

转换单元，用于将修订后的建筑物轮廓转换为地理坐标并输出矢量，完成地图制图。

可选的，所述第二获取单元包括：

执行模块，用于采用图像分割算法对所述建筑物掩模图像执行优化，得到优化后的建筑物边缘；

检测模块，用于根据所述优化后的建筑物边缘，检测边缘对应区域内的线段信息和拐点信息；

获取模块，用于从所述边缘对应区域内的线段信息中获取出与所述边缘存在关联的目标线段信息；

第一确定模块，用于根据所述目标线段信息，确定目标建筑物边缘；

第二确定模块，用于根据确定的所述目标建筑物边缘和所述拐角点信息，确定所述目标建筑物对应的方位信息。

可选的，所述第二确定模块包括：

计算子模块，用于根据确定的所述目标建筑物边缘，计算所述目标建筑物对应边的方向，得到带有方向的直线段组；

确定子模块，用于根据所述带有方向的直线段组和所述拐角点信息，确定所述目标建筑物的方位信息。

可选的，所述执行单元包括：

获取模块，用于获取所述目标建筑物边缘和对应的方位信息；

执行模块，用于根据所述目标建筑物边缘和对应的方位信息，计算所述目标建筑物的角点坐标、检测锐角、检查边相交，完成对所述目标建筑物边缘的修订。

再一方面，本发明还提供一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行如上述的自动提取建筑物轮廓的方法。

又一方面，本发明还提供一种电子设备，所述设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；

其中，所述处理器、所述存储器通过所述总线完成相互间的通信；

所述处理器用于调用所述存储器中的程序指令，以执行如上述的自动提取建筑物轮廓的方法。

借由上述技术方案，本发明提供的技术方案至少具有下列优点：

本发明提供一种自动提取建筑物轮廓的方法及装置，在本发明中先是构建了卷积神经网络模型以提取遥感影像中的建筑物位置与参考轮廓，再结合地物线性特征和图像分割算法，针对大区域的不同建筑物特征，提取到对应的线段信息、拐角点信息和方位信息，进而完成地物矢量上图优化和轮廓信息修正，达到地图制图要求。相较于现有技术，解决了现有的建筑物轮廓提取方法泛化能力低、无法满足地图制图上图要求而形成图像产品的技术问题。本发明能够得到将卷积神经网络与线性特征结合的建筑物轮廓识别方法，泛化能力高，以细化、优化得到高质量建筑物边线，满足地图制图上图要求，从而实现自动提取建筑物轮廓图像产品。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明实施例提供的一种自动提取建筑物轮廓的方法流程图；

图2为本发明实施例例举的深度学习模型结构示意图；

图3为本发明实施例提供的另一种自动提取建筑物轮廓的方法流程图；

图4为本发明实施例演示的建筑物掩模与缓冲区效果图；

图5为本发明实施例例举的建立直线段与建筑物边之间的对应关系示意图；

图6为本发明实施例例举的线段选择的示意图；

图7a为本发明实施例提供的输入的待提取建筑物轮廓遥感影像(左图)以及圈选的局部放大图(右图)；

图7b本发明实施例提供深度学习模型提取结果(左图)以及圈选的局部放大图(右图)；

图7c本发明实施例提供的自动提取建筑物轮廓的最终结果图(左图)以及圈选的局部放大图(右图)；

图8为本发明实施例提供的一种自动提取建筑物轮廓的装置的组成框图；

图9为本发明实施例提供的另一种自动提取建筑物轮廓的装置的组成框图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

本发明实施例提供了一种自动提取建筑物轮廓的方法，如图1所示，该方法得到将卷积神经网络与线性特征结合的建筑物轮廓识别方法，泛化能力高，以细化、优化得到高质量建筑物边线，对此本发明实施例提供以下具体步骤：

101、构建用于提取建筑物轮廓的卷积神经网络模型。

在本发明实施例中，是选取语义分割类深度学习模型，默认选择算法排名前十的任一网络结构构建的模型均可，构建一个用于提取建筑物轮廓的卷积神经网络模型。进一步的，基于高分辨率遥感影像，经过影像数据预处理、几何精校正、辐射校正、正射校正、拼接等处理，通过绘制建筑物轮廓，获取用于模型训练的样本，得到高分辨率遥感影像制备样本，以便于实现不断地调整模型参数、训练模型，使得本发明实施例构建的卷积神经网络模型是具有泛化能力的建筑物识别模型。

例如，为提高模型识别精度，本发明实施例是以DenseNet为模板，设计了一个拥有九个模块的卷积神经网络模型，如图2所例举的深度学习模型结构示意图。根据建筑物的尺寸相差悬殊的特点，第一个卷积核的尺寸设计为21*21。各模块的通道数不一样，遵循两个原则：第一个原则通道数逐渐增多，以容纳逐层增多的特征信息；第二个原则是尽量设计多的通道数以增强模型的描述能力。所以第一个模块设计了128个通道，以后每层增加48个通道。该模型的具体结构见图2，根据测试，该模型识别建筑物的精度为94.97％。

102、利用模型提取遥感影像中的建筑物位置与参考轮廓，得到建筑物对应的建筑物掩模图像。

在本发明实施例中，利用卷积神经网络模型对高分辨率遥感影像进行处理，得到0和1的二值图，即：建筑物掩模图像。

103、基于线性特征与图像分割算法相结合，对建筑物掩模图像进行处理，得到对应的线段信息、拐角点信息和方位信息。

在本发明实施例中，由于基于模型提取建筑物参考轮廓会存在阴影干扰、树木遮挡等问题，因此需要采用高精度分割算法对由深度学习神经网络模型提取的建筑物掩模图像进行优化，从而获得质量更好的建筑物掩模。

进一步的，再结合线性特征，对经掩模优化处理后的建筑物掩模图像进行处理，得到对应的线段信息、拐角点信息和方位信息。

104、利用建筑物对应的线段信息、拐角点信息和方位信息，对建筑物位置与参考轮廓执行地物矢量上图优化和轮廓修正，得到修订后的建筑物轮廓。

在本发明实施例中，对步骤103-104进行说明，对于本发明实施例，是在由步骤101构建的卷积神经网络模型提取遥感影像中的建筑物位置与参考轮廓(即建筑物掩模图像)，还进一步的对该建筑物掩模图像进行处理，即利用线性特征与图像分割算法相结合，获取建筑物掩模图像中的线段信息、拐角点信息和方位信息，进而对建筑物位置与参考轮廓执行地物矢量上图优化和轮廓修正，得到修订后的建筑物轮廓。

105、将修订后的建筑物轮廓转换为地理坐标并输出矢量，完成地图制图。

在本发明实施例中，对本步骤进行细化陈述，主要包括两个步骤，可以为：第一步，把建筑物从图像坐标系转换到地理坐标系，图像的地理坐标系可以从图像辅助数据中获得，将建筑物角点位置从图像坐标系转换为地理坐标系。

第二步，创建建筑物轮廓矢量文件，当建筑物轮廓多边形各个角点的坐标转换成地理坐标，那么该建筑物的多边形矢量就可以创建。

本发明实施例提供一种自动提取建筑物轮廓的方法，在本发明实施例中先是构建了卷积神经网络模型以提取遥感影像中的建筑物位置与参考轮廓，再结合地物线性特征和图像分割算法，针对大区域的不同建筑物特征，提取到对应的线段信息、拐角点信息和方位信息，进而完成地物矢量上图优化和轮廓信息修正，达到地图制图要求。相较于现有技术，解决了现有的建筑物轮廓提取方法泛化能力低、无法满足地图制图上图要求而形成图像产品的技术问题。本发明实施例能够得到将卷积神经网络与线性特征结合的建筑物轮廓识别方法，泛化能力高，以细化、优化得到建筑物边线，满足地图制图上图要求，从而实现自动提取建筑物轮廓图像产品。

为了对上述实施例做出更加详细的解释和说明，本发明实施例还提供另一种自动提取建筑物轮廓的方法，如图3所示，对此本发明实施例提供以下具体步骤：

201、构建用于提取建筑物轮廓的卷积神经网络模型。

202、利用模型提取遥感影像中的建筑物位置与参考轮廓，得到建筑物对应的建筑物掩模图像。

在本发明实施例中，对于步骤201-202的陈述，请参见步骤101-102，此处不再赘述。

203、采用图像分割算法对建筑物掩模图像执行优化，得到优化后的建筑物边缘。

具体的，在本发明实施例中，对建筑物掩模进行优化步骤，可以包括如下：

第一步，将遥感图像视为图，图像点是图的顶点，相邻点之间是图的边。把由深度学习模型提取的建筑物掩模图像所覆盖的图像范围定义为“前景”，其余的图像定义为“背景”。

第二步，为了实现图分割，需要对图的顶点和边建立成本函数，顶点的成本与它被划分的类的概率成反比。即，如果一个顶点被划分为前景，那么该顶点属于前景的概率越大，成本越小；反之，成本就越大。顶点属于前景或背景的概率由训练样本获得。边的成本由组成该边的两个图像点决定，两个图像点的灰度值相差越小，那么切割该边的成本越高，反之，两个图像点的灰度值相差越大，切割该边的成本越小。

具体的，综合上述第一步和第二步，图分割的操作步骤可以为如下：

1、定义前景和背景，由深度学习模型预测的建筑物为前景，其余为背景；

2、高斯混合模型的初始训练；

3、训练高斯混合模型：a，根据初始的高斯混合模型确定每个像素的类别；b，计算每个类别的协方差；c，计算每个类的权重；

4、计算每个点的成本；

5、计算每个边的成本；

6、建立图表；

7、调用最大流最小割算法maxflow()；

8、确定前景/背景；

9、重复步骤3至步骤8，直到收敛。

在本发明实施例中，执行上述步骤，如果图割的成本没有显着降低或迭代次数达到极限，则程序将停止。

需要说明的是，对于该图分割的操作步骤，相当于是优化“前景”和“背景”之间的边界，即得到的图割结果是对上述第一步中“前景”和“背景”之间边界执行的优化调整。

第三步，将基于深度学习模型预测的建筑物掩模定义一个缓冲区，需要说明的是，该缓冲区是经多次实验所得(即根据实验经验)的，可以对由步骤201构建的卷积神经网络模型所提取的建筑物参考轮廓，执行扩大指定的外围范围所得到的缓冲区，该缓冲区的作用是：对上述第二步得到的“前景”和“背景”之间的边界(即图割结果)，再次进行校准和筛选。

具体的，调用最大流/最小割算法，如果通过图割优化后到的建筑物掩模位于缓冲区内，则接受优化后的建筑物掩模；否则，优化后的建筑物掩模将被拒绝。

以上，总结第一步至第三步，本发明实施例发展了一种基于图割算法的建筑物掩模优化算法。该算法将图像视为图。图像点是图的顶点，相邻点之间是图的边。图割的目的是从背景中剪切对象(前景)。我们定义由深度学习模型检测到的建筑物是对象(前景)，其它是背景。通过图割算法，把建筑物从其背景中完整的提取出来。进一步的，还利用预先定义的缓冲区对图割结果(即经优化后的“前景”和“背景”之间边界)进行校准和筛选，得到最终处理结果，作为对由步骤201构建的模型所提取遥感影像中的建筑物参考轮廓(即建筑物掩模图像)处理，而得到的最终掩模优化结果。

例如，如图4所演示的建筑物掩模与缓冲区，在该图4中，最里面的虚线圈是由利用步骤201构建的模型所提取遥感影像中的建筑物参考轮廓，根据实验经验，对该参考轮廓预先定义一个缓冲区，如图4中最外面的虚线圈，而在图4中处于两个虚线圈内的实线圈为经处理得到的最终掩模优化结果。

204、根据优化后的建筑物边缘，检测边缘对应区域内的线段信息和拐点信息。

在本发明实施例中，对本步骤细化陈述，主要再细化分为两个步骤，可以包括如下：

第一步，选择用于直线段提取的算法从遥感图像中提取直线段。本实施例中，可以选取直线段检测算法(a Line Segment Detector，LSD)提取直线段，以下是直线段检测的步骤：

1、计算每个像素的梯度和水平线方向；

2、将具有相似水平线方向的像素聚类；

3、用矩形拟合聚类后的具有相似梯度的点的形状；

4、从拟合的矩形两端提取线段的起点和终点；

第二步，基于步骤203得到的优化后建筑物边缘，提取拐角点信息。以下是检测建筑物角点的步骤：

1、采用平滑算法，计算建筑物边缘；

2、计算点与相邻点的交角；

3、通过阈值检测建筑物轮廓的角点；

4、选择两个最远的点作为初始角点，应用道格拉斯算法确定角点位置。

205、从建筑物边缘对应区域内的线段信息中获取出与建筑物边缘存在关联的目标线段信息。

对于本发明实施例，在建筑物周围，会产生许多直线段，也就是在建筑物边缘对应区域内会存在多个线段。因此，要确定哪些直线段与该建筑物边缘相关，也就相当于是对建筑物边缘内存在的多个线段，再做一次检测，获取到与该建筑物边缘相关的线段，对此实施步骤主要可以包括如下：

一种情况是：通过建立线段和建筑物边缘的对应关系，选择和确定边缘线段，即筛选出与建筑物边缘存在关联的目标线段信息。

例如，对某一条直线段，将所有建筑物边缘点都投影到该直线段上，如图5所示例举的建立直线段与建筑物边之间的对应关系。那么，出现如下情况：

1.在x轴上，超出该直线段范围的所有边缘点都无法用该线段表示；

2.在y轴上，距离该线段预设像素阈值(例如2个像素)以上的所有边缘点不能用该线段表示；

3.在x轴上的线段范围内并且在y轴上的距离不超过预设像素阈值(例如2个像素)的边缘点可以由线段表示。

另一种情况是：若遇见无法建立某些线段和建筑物边缘的对应关系时，例如直线段距离建筑物边缘超过预设像素阈值(例如2个像素)，或与建筑物边之间的夹角大于等于预设夹角阈值(例如15度)的情况，即对于没有线性特征的建筑物边缘，建筑物掩模的边界点将直接用于拟合直线段以替换原始边缘。

206、根据目标线段信息，确定目标建筑物边缘。

接续步骤205，如图6所示例举的线段选择，依据线段与建筑物边缘关系，选择和确定建筑物边缘，主要包括如下：

如果直线段距离建筑物边缘预设像素阈值(例如2个像素)以内，或与建筑物边之间的夹角小于预设夹角阈值(例如15度)，则选择该直线段来代表该段建筑物边缘；如果建筑物边缘与多个直线段相关，则这些相关的线段会将建筑物的边缘划分为多个段，每个段都由最接近的线段表示，如图6中线段A和B存在重叠，则可以直接用图下中一条直线段“BBA”替代。

207、根据确定的目标建筑物边缘和拐角点信息，确定目标建筑物对应的方位信息。

在本发明实施例中，对本步骤细化陈述如下：

首先是，根据确定的目标建筑物边缘，计算目标建筑物对应边的方向，得到带有方向的直线段组。

需要说明的是，对于那些没有直线段的部分，用建筑物掩模的边界点拟合线段。那么该部分的方位角就是拟合线段的方位角。目标建筑物边缘的方位的计算如下公式(1)：

其中，A和B为例举的线段的两个端点，A坐标为(X

其次是，根据带有方向的直线段组和拐角点信息，确定目标建筑物的方位信息。

建筑物方位是通过使用建筑物边缘的直线段来确定的。确定一个建筑物方位的最少直线段确定为两条：两条相互垂直的直线段或者两条相互平行且相对的(不在建筑物的同一边)直线段。将由直线段确定的建筑物方位定为可靠类别，并将由拟合线段确定的建筑物方位定为不可靠类别。具体实施方法：

第一步，统计建筑物边的方位，将具有相似方位的边分到同一组中。

第二步，当同组边数超过预设阈值(例如2条)时，选择边数最多，边长总和最大的组的方向作为房屋的最终方向。

第三步，当总组边数未超过预设阈值(例如2条)时，定义为未确定方位的建筑，通过空间分析的方法确定方位。具体的，实施步骤可以包括如下：

1、计算房屋之间的平均距离和方差；

2、把相邻房屋链接起来形成房屋链；

3、根据链的弯曲度找到链的拐点，两个相邻拐点之间的房屋成一条直线；

4、在房屋链中找出具有不可靠方位的建筑物；

5、在房子的左边和右边找到两个相邻的房子；

6、如果两个相邻房屋的方位相同，并且方位差异小于某个阈值，则将两个相邻方位的平均值分配给具有不可靠方位的房屋；

7、否则，将两个拐点之间的连线方位分配给该房屋。

第四步，对于那些没有可靠方位的房屋，通过周围房屋的方位和线性特征一起确定。在建筑物周围一定范围内具有可靠方位的建筑物和直线段可以用作估算建筑物方位的依据。如果房屋和直线段都可以提供可靠的方位参考，则房屋的方位具有优先权。如果周围没有其他房屋，也没有线性特征，则房屋将保持其原始方位。

第五步，根据已经获取建筑物方位结果，调整建筑物边的方位：

1、如果建筑物边缘与直线段相关，并且把它的方位调整到与建筑物方位一致的误差(调整后的边与原来边的位置差异)在阈值范围内，则将建筑物边的方位调整为建筑物方位，否则，保持其原始方位即可。

2、调整后的建筑物边的方位将作为其相邻边调整方位的参考。如果调整误差在阈值范围内，则确定其相邻边的方位。

3、那些与建筑物方位不一致的边的方位的可能表示潜在的建筑物方位。这些潜在的建筑物方位将作为其相邻的边的方位的参考。如果方位调整误差在阈值范围内，则确定其相邻边的方位。

4、其余边的方位根据建筑物方位和潜在建筑物方位确定。选择标准是方位调整误差最小的有优先权。

208、利用建筑物对应的线段信息、拐角点信息和方位信息，对建筑物位置与参考轮廓执行地物矢量上图优化和轮廓修正，得到修订后的建筑物轮廓。

获取目标建筑物边缘和对应的方位信息，根据目标建筑物边缘和对应的方位信息，计算目标建筑物的角点坐标、检测锐角、检查边相交，完成对所述目标建筑物边缘的修订，具体实施步骤，可以包括如下：

第一步，计算建筑物角点坐标：

1、如果相邻边垂直，则可以通过相交来计算角点坐标；

2、如果相邻边平行，则在两条平行边的端点添加一条边与它们垂直；然后可以通过相交确定两个角点；

3、如果相邻的边既不垂直也不平行，并且相交角大于阈值，则可以通过相交确定角点；

4、如果相邻的边既不垂直也不平行，并且相交角很锐利(小于阈值)，则添加一条边与两个边连接。添加的边将垂直于这两天边之一。两个角点可以通过相交确定。

第二步，针对建筑物边过短现象，在该边的两个相邻的边中，较长的边缘将延伸以替换较短的边。

第三步，若检测到小于阈值的锐角，则通过调整建筑物边的方位来去除锐角。在组成该角的两条边中，短边的方位将根据其相邻边和建筑物方位而改变，从而使该锐角变成直角或者钝角。

第四步，检查与处理边相交问题，如果两个不相邻的边彼此相交，那么该交点将把建筑物分为一大一小两部分。小的部分将被修剪掉，以去掉该交点。

第五步，修剪掉图幅外的建筑物轮廓。

209、将修订后的建筑物轮廓转换为地理坐标并输出矢量，完成地图制图。

在本发明实施例中，对于本步骤陈述，请参见步骤105，此处不再赘述。

以上，为了进一步解释本发明实施例提供的自动提取建筑物轮廓的方法，在此还提供了“输入的待提取建筑物轮廓遥感影像”(如图7a)、经“深度学习模型提取结果”效果图(如图7b)以及“自动提取建筑物轮廓的最终结果图”效果图(如图7c)。

通过比较图7b和图7c进行分析，如见图7b右侧圈选的局部放大图中的深色区域块，经深度学习模型提取的建筑物轮廓会出现轮廓边沿不清晰、棱角存在缺失，这样的深色区域块也是不便于识别建筑物方位的，比如，一个深色区域块很小且边沿偏圆形，是无法准确识别建筑物方位朝向的。由此提取得到的建筑物轮廓质量差、精度低，也是无法满足地图制图上图要求而形成图像产品的。

但是，如图7c右侧圈选的局部放大图，本发明实施例利用自动提取建筑物轮廓的方法，提取的深度区域块边沿清晰，棱角完整度也是优于图7b的，这样的深色区域块更加优于去识别建筑物方位，从而本发明实施例提取得到的建筑物轮廓质量高、精度高，更加优于满足地图制图上图要求而形成图像产品。

进一步的，作为对上述图1、图3所示方法的实现，本发明实施例提供了一种自动提取建筑物轮廓的装置。该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。该装置应用于从高分辨率遥感图像中提取高质量建筑物轮廓，并且满足地图制图上图要求，具体如图8所示，该装置包括：

构建单元31，用于构建用于提取建筑物轮廓的卷积神经网络模型；

第一获取单元32，用于利用所述构建单元31构建的模型提取遥感影像中的建筑物位置与参考轮廓，得到所述建筑物对应的建筑物掩模图像；

第二获取单元33，用于基于线性特征与图像分割算法相结合，对所述第一获取单元32获取到的建筑物掩模图像进行处理，得到对应的线段信息、拐角点信息和方位信息；

执行单元34，用于利用所述第二获取单元33获取到的建筑物对应的线段信息、拐角点信息和方位信息，对所述建筑物位置与参考轮廓执行地物矢量上图优化和轮廓修正，得到修订后的建筑物轮廓；

转换单元35，用于将修订后的建筑物轮廓转换为地理坐标并输出矢量，完成地图制图。

进一步的，如图9所示，所述第二获取单元33包括：

执行模块331，用于采用图像分割算法对所述建筑物掩模图像执行优化，得到优化后的建筑物边缘；

检测模块332，用于根据所述优化后的建筑物边缘，检测边缘对应区域内的线段信息和拐点信息；

获取模块333，用于从所述边缘对应区域内的线段信息中获取出与所述边缘存在关联的目标线段信息；

第一确定模块334，用于根据所述目标线段信息，确定目标建筑物边缘；

第二确定模块335，用于根据确定的所述目标建筑物边缘和所述拐角点信息，确定所述目标建筑物对应的方位信息。

进一步的，如图9所示，所述第二确定模块335包括：

计算子模块3351，用于根据确定的所述目标建筑物边缘，计算所述目标建筑物对应边的方向，得到带有方向的直线段组；

确定子模块3352，用于根据所述带有方向的直线段组和所述拐角点信息，确定所述目标建筑物的方位信息。

进一步的，如图9所示，所述执行单元34包括：

获取模块341，用于获取所述目标建筑物边缘和对应的方位信息；

执行模块342，用于根据所述目标建筑物边缘和对应的方位信息，计算所述目标建筑物的角点坐标、检测锐角、检查边相交，完成对所述目标建筑物边缘的修订。

综上所述，本发明实施例提供一种自动提取建筑物轮廓的方法及装置，在本发明实施例中先是构建了卷积神经网络模型以提取遥感影像中的建筑物位置与参考轮廓，再结合地物线性特征和图像分割算法，针对大区域的不同建筑物特征，提取到对应的线段信息、拐角点信息和方位信息，进而完成地物矢量上图优化和轮廓信息修正，达到地图制图要求。相较于现有技术，解决了现有的建筑物轮廓提取方法泛化能力低、无法满足地图制图上图要求而形成图像产品的技术问题。本发明实施例能够得到将卷积神经网络与线性特征结合的建筑物轮廓识别方法，泛化能力高，以细化、优化得到建筑物边线，满足地图制图上图要求，从而实现自动提取建筑物轮廓图像产品。

所自动提取建筑物轮廓的装置包括处理器和存储器，上述构建单元、第一获取单元、第二获取单元、执行单元和转换单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来得到将卷积神经网络与线性特征结合的建筑物轮廓识别方法，泛化能力高，以细化、优化得到建筑物边线，满足地图制图上图要求，从而实现自动提取建筑物轮廓图像产品。

本发明实施例还提供一种存储介质，该存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行如上所述的自动提取建筑物轮廓的方法。

本发明实施例还提供一种电子设备，该设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；

其中，所述处理器、所述存储器通过所述总线完成相互间的通信；

所述处理器用于调用所述存储器中的程序指令，以执行如上所述的自动提取建筑物轮廓的方法。

本文中的设备可以是服务器、PC、PAD、手机等。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：构建用于提取建筑物轮廓的卷积神经网络模型；利用所述模型提取遥感影像中的建筑物位置与参考轮廓，得到所述建筑物对应的建筑物掩模图像；基于线性特征与图像分割算法相结合，对所述建筑物掩模图像进行处理，得到对应的线段信息、拐角点信息和方位信息；利用所述建筑物对应的线段信息、拐角点信息和方位信息，对所述建筑物位置与参考轮廓执行地物矢量上图优化和轮廓修正，得到修订后的建筑物轮廓；将修订后的建筑物轮廓转换为地理坐标并输出矢量，完成地图制图。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

在一个典型的配置中，设备包括一个或多个处理器(CPU)、存储器和总线。设备还可以包括输入/输出接口、网络接口等。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。