一种建筑物识别与建筑物高度反演计算方法及系统

技术领域

本发明涉及遥感影像处理技术领域，特别涉及一种建筑物识别与建筑物高度反演计算方法及系统。

背景技术

随着航天技术、传感器技术、遥感技术的快速发展，不但能够及时快速的获取高分辨率、多频谱、多时相的卫星遥感影像，而且还能够源源不断地获得大范围、高精度、准实时的地物信息。随着深度学习成为计算机机器学习领域的前沿研究方向，最近几年在自然语言处理和计算机视觉等研究方向上取得了不俗的成绩，利用深度学习技术实现卫星影像目标自动检测识别，其泛化能力及检测精度显著优于传统的遥感数据图像处理方法，为基于遥感卫星影像的区域自动检测识别工作提供了可行的技术保障。

城市建筑物高度信息是城市规划、建设项过程中的重要的数据，目前利用GPS、全站仪野外测量或利用航空影像立体像对获取建筑物高度的方法，虽然在技术上很成熟，但投资大、成本高、效率低。随着遥感技术的发展，高分辨率遥感影像中地物的亮度、纹理、形状、空间位置信息更加精细，为城市定量遥感提供了准确的数据源，使建筑物高度信息快速提取成为了可能。通过高分影像提取出阴影斑块，建立建筑物、阴影、太阳、卫星的几何关系模型来估算建筑物高度，成为了当前研究的热点。

但目前的建筑物识别技术存在建筑物识别效率低下、建筑物的边缘识别模糊不准确，从而导致建筑物识别精度不高以及建筑物高度难以获取的问题。

发明内容

本发明提供了一种建筑物识别与建筑物高度反演计算方法及系统，以解决现有的建筑物识别技术所存在的建筑物识别效率低下、建筑物的边缘识别模糊不准确，从而导致建筑物识别精度不高以及建筑物高度难以获取的技术问题。

为解决上述技术问题，本发明提供了如下技术方案：

一方面，本发明提供了一种建筑物识别与建筑物高度反演计算方法，包括：

获取包含阴影的建筑物的高分遥感影像，构建建筑物和阴影的数据集；

对U-Net网络按照预设方式进行改进，得到建筑物和阴影的检测模型；

基于所述数据集，对建筑物和阴影的检测模型进行训练；

利用训练好的检测模型，对待检测的遥感影像中的建筑物和阴影进行检测提取，获得当前待检测的遥感影像中的建筑物和阴影；

基于阴影的检测提取结果，对建筑物进行高度反演计算，得到建筑高度。

进一步地，在利用训练好的检测模型，对待检测的遥感影像中的建筑物和阴影进行检测提取，获得当前待检测的遥感影像中的建筑物和阴影之后，所述方法还包括：

采用预设的评估方式对所述检测模型进行有效性评估和验证，其中，所述预设的评估方式为精确率评估方式和/或平均交并比评估方式。

进一步地，在对建筑物进行高度反演计算，得到建筑高度之后，所述方法还包括：

对建筑物反演的高度进行评估；

所述对建筑物进行高度反演计算，得到建筑高度，包括：

确定建筑物高度与其阴影长度在遥感影像上的比例关系；根据所述比例关系，由待测高度的建筑物在遥感影像上的阴影长度推算出其实际高度信息。

进一步地，获取包含阴影的建筑物的高分遥感影像，构建建筑物和阴影的数据集，包括：

获取预设区域的高分二号影像，其中，所述高分二号影像是由分辨率为1m的高分2号卫星拍摄的影像；

使用ArcGis工具打开所获取的高分二号影像，对影像进行预处理；其中，所述预处理包括：筛选出其中包含带有阴影的建筑物的图像，并对筛选出的图像按照比例1:4000的比例进行缩放，然后选取包含阴影的建筑物影像进行截取，获取多张大小为512*512的高分遥感影像，并采取预设的图像增强算法对获取的高分遥感影像的光照进行弱化，然后进行数据增强；其中，所述图像增强算法为直方图均衡法和/或多尺度视网膜大脑皮层理论算法；数据增强为随机翻转、随机裁剪，明暗度调节、缩放变化、仿射变换中的任意一种或多种的组合。

对预处理后的高分二号影像采用Labelme工具进行标签化处理，将其中的建筑物和阴影同时进行标记，最后将标记好的影像划分为训练集和测试集。

进一步地，基于所述数据集，对建筑物和阴影的检测模型进行训练，包括：

基于所述训练集对建筑物和阴影的检测模型进行训练；并基于所述测试集对训练后的检测模型进行测试，最终得到符合要求的训练好的检测模型。

进一步地，所述对U-Net网络按照预设方式进行改进，包括：

以基于迁移学习获取的Res2Net代替U-Net网络的编码部分。

进一步地，所述对U-Net网络按照预设方式进行改进，还包括：

通过对比试验寻找二值交叉熵BCE与Focal-loss之间合适的比值，将二值交叉熵BCE与Focal-loss结合起来，作为U-Net网络训练时的损失函数。

进一步地，所述对U-Net网络按照预设方式进行改进，还包括：

将通道注意力机制与空间注意力机制进行融合之后加入U-Net主干网络中。

另一方面，本发明还提供了一种建筑物识别与建筑物高度反演计算系统，所述建筑物识别与建筑物高度反演计算系统包括：

数据集构建模块，用于获取包含阴影的建筑物的高分遥感影像，构建建筑物和阴影的数据集；

模型构建模块，用于对U-Net网络按照预设方式进行改进，得到建筑物和阴影的检测模型；

模型训练模块，用于基于所述数据集构建模块所构建的数据集，对所述模型构建模块所构建的建筑物和阴影的检测模型进行训练；

检测模块，用于利用经所述模型训练模块训练好的检测模型，对待检测的遥感影像中的建筑物和阴影进行检测提取，获得当前待检测的遥感影像中的建筑物和阴影；

建筑物高度反演计算模块，用于基于所述检测模块输出的阴影的检测提取结果，对建筑物进行高度反演计算，得到建筑高度。

进一步地，所述系统还包括评估验证模块；

所述评估验证模块用于采用预设的评估方式对所述检测模型进行有效性评估和验证，其中，预设的评估方式为精确率评估方式和/或平均交并比评估方式。

本发明提供的技术方案带来的有益效果至少包括：

本发明提供的建筑物识别与建筑物高度反演计算方法是一种实现大规模建筑物自动快速识别提取检测以及高度反演计算的方法。本发明的方法可以实现在遥感影像下精确的识别检测建筑物以及阴影，同时对建筑物的高度信息进行提取。从而解决现有技术所存在的建筑物识别效率低下、建筑物的边缘识别模糊不准确，从而导致建筑物识别精度不高以及建筑物高度难以获取的技术问题。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的建筑物识别与建筑物高度反演计算方法的执行流程示意图；

图2是U-Net网络的结构示意图；

图3是普通残差块与Res2Net块对比示意图；

图4是空间注意力机制图；

图5是通道注意力机制图；

图6是本发明实施例提供的注意力机制融合示意图；

图7是太阳、卫星以及建筑物的几何关系图；其中，(a)为太阳和卫星位于建筑物的异侧情况；(b)为太阳和卫星位于建筑物的同侧情况；

图8是本发明实施例提供的计算机设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

第一实施例

本实施例提供了一种建筑物识别与建筑物高度反演计算方法，该方法可以由电子设备实现，该方法的执行流程如图1所示，包括以下步骤：

S1，获取包含阴影的建筑物的高分遥感影像，构建建筑物和阴影的数据集；

S2，对U-Net网络按照预设方式进行改进，得到建筑物和阴影的检测模型；

S3，基于所述数据集，对建筑物和阴影的检测模型进行训练；

S4，利用训练好的检测模型，对待检测的遥感影像中的建筑物和阴影进行检测提取，获得当前待检测的遥感影像中的建筑物和阴影；

S5，基于阴影的检测提取结果对建筑物进行高度反演计算，得到建筑高度。

进一步地，在利用训练好的检测模型对待检测的遥感影像中的建筑物和阴影进行检测提取，获得遥感影像中的建筑物和阴影之后，所述方法还包括：

S6，采用预设的评估方式对所述检测模型进行有效性评估和验证，其中，所述预设的评估方式为精确率评估方式和/或平均交并比评估方式。

具体地，在本实施例中，上述S1的实现过程如下：

获取预设区域的高分二号影像，其中，所述高分二号影像是由分辨率为1m的高分2号卫星拍摄的影像；使用ArcGis工具打开所获取的高分二号影像，对影像进行预处理；其中，所述预处理包括：筛选出其中包含带有阴影的建筑物的图像，并对筛选出的图像按照比例1:4000的比例进行缩放，然后选取包含阴影的建筑物影像进行截取，获取多张大小为512*512的高分遥感影像，由于部分影像光照较强，因此本实施例采取预设的图像增强算法对获取的高分遥感影像的光照进行弱化，然后进行数据增强，以扩充数据；其中，所述图像增强算法为直方图均衡法(HE)和/或多尺度视网膜大脑皮层理论算法(MSR)；所述数据增强为随机翻转、随机裁剪，明暗度调节、缩放变化、仿射变换中的任意一种或多种的组合。对预处理后的高分二号影像采用Labelme工具进行标签化处理，将其中的建筑物和阴影同时进行标记，具体标记过程为：运用多边形框选工具分别对建筑物部分和建筑物阴影部分进行框选，并且给予不同的标签，完成框选后将文件导出为json格式的文件，之后通过代码批处理将json文件转化为相应的png格式文件，然后根据训练网络的要求分别将建筑物和阴影的像素值转化为1和2，最后将标签好的数据集分为训练和测试训练集。

其中，MSR是在SSR基础上发展来的，优点是可以同时保持图像高保真度与对图像的动态范围进行压缩的同时，MSR也可实现色彩增强、颜色恒常性、局部动态范围压缩、全局动态范围压缩，图像可以看做是入射图像和反射图像构成，入射光照射在反射物体上，通过反射物体的反射，形成反射光进入人眼。最后形成的图像可以如下公式表示：

其中，R是物体的反射分量，L是环境光照射分量，原始图像为S(x,y)是二维图像对应的位置，一般把照射图像假设估计为空间平滑图像，可得到：

其中r(x,y)是输出图像，后面中括号里的运算是卷积运算，F(x,y)是中心环绕函数，表示为：

其中C是高斯环绕尺度，λ是一个尺度，它的取值必须满足下式：

∫∫F(x,y)dxdy＝1

直方图均衡化算法实质上是对图像进行非线性拉伸，重新分配图像象元值,使一定灰度范围内象元值的数量大致相等。这样，原来直方图中间的峰顶部分对比度得到增强，而两侧的谷底部分对比度降低,输出图像的直方图是一个较平的分段直方图。

数据增强中的随机翻转有两种形式，一种是角度翻转，即为90度，180度或者270度翻转，第二种为镜面对称翻转，即为左右对称或者上下对称翻转，随机裁剪即在图片内部按照一定的大小随机切面处理，此外为了更好的适应不同分辨率大小的图片，本实施例在进行数据增强时还进行了随机的缩放，将图片按照一定比例进行缩小或者放大。

进一步地，上述S2对U-Net网络按照预设方式进行改进为通过优化损失函数，对编码部分进行替换改进，加入注意力机制等实现网络的优化，具体如下：

1、以基于迁移学习获取的Res2Net代替U-Net网络的编码部分，以提高训练准确率和解决因图像数据量少而造成的过拟合问题。

需要说明的是，如图2所示，U-Net网络是基于FCN改进得到的一种典型的编码-解码全卷积网络，通过对原始图片的不断卷积操作来让计算机学习图片的特征，通过池化的操作来降低图片的维度，不仅可以减少模型的参数，还可以有效的防止过拟合现象，为了实现每一层是上一层的非线性输出，需要选用激励函数来对卷积层的结果做一次非线性的映射，经过以上处理后就可以通过输出层得到最终的输出结果。本实施例对网络的权重和偏差进行初始化，对于权重的初始化采用的是截断正态分布随机数，对于偏差设为默认值0.1，由于卷积神经网络是共享权值参数的，这就使得只需要初始化一个卷积核的权重即可，下采样部分采用了卷积的形式，首先对卷积模块进行了加工，选取的卷积核的大小为3*3，在每一个卷积层实际包含了三次下卷积操作，并与自身做卷积之后的结果融合起来，同时每次卷积之后，都会有一个归一化处理和Relu激活函数，归一化处理可以使得网络的训练变得更加容易，用批量归一化处理，这可以使得训练出的模型更加的有效果，除此之外，由于激活函数的作用，使得网络中出现非线性过程，更好的模拟了人脑从而使得网络可以更好的学习图像的特征，上采样部分采用不是卷积的形式，而是通过线性的插值来完成的，上采样部分的线性插值采用的是双线性插值方法，该方法效果较好且不容易失真，每经过一次特征提取部分，就会产生一个新的尺度的图片，包括原图就有了五个不同尺度信息的图片了，在上采样层，每经过一次采样，都会与特征提取部分的一个相同大小尺度的图片进行融合，通过这种方法可以实现整个U-net网络的多尺度融合，更好的保留了图像的特征，使得学习到图片的特征信息更佳，网络的识别效果也因此更加的有效。

作为主干网络的卷积神经网络对尺度表征能力越强，性能提升越大。目前，大多数多尺度信息的获取是通过简单的卷积堆叠操作完成的，比如AlexNet，VGG，也有通过在同一层并行不同卷积核大小来达到获取多尺度特征的目的，比如Inception系列。毫无疑问，当前最流行的主干网络是ResNet，这种基于跳跃连接构成残差块的网络解决了因网络层数加深导致的网络退化问题，然而经典的ResNet残差块并不包含多尺度信息，南开大学程等人基于残差模块提出了简单高效的多尺度模块Res2Net，如图3所示。左侧为经典残差模块，右侧为Res2Net模块。后者具备更强的多尺度特征提取能力，但计算负载量与左侧架构类似。具体而言，将输入分成几部分，一组卷积核从对应的一组输入特征图中提取信息。前面得到的信息送到另一组卷积核中作为输入。重复此操作，直到处理完所有输入特征图。最后，每组输出的特征图通过拼接操作送入1x1的卷积中进行特征融合。Res2Net以更细粒度表示多尺度特征，并增加每个网络层的感受野范围，从而提高整个模型的提取特征能力。

2、通过对比试验寻找二值交叉熵BCE与Focal-loss之间合适的比值，将二值交叉熵BCE与Focal-loss结合起来，作为U-Net网络训练时的损失函数，如此既保留了交叉熵训练平稳的优点，又利用了Focal-loss可自适应的给予不同部位像素不同损失权重的优点。其中，

通过降低简单样本对于loss的贡献、更多关注难样本，避免目标检测器在训练过程中，大量简单负样本的损失占据loss的主导地位。

3、将通道注意力机制与空间注意力机制进行融合之后加入U-Net主干网络中，使卷积神经网络对目标图像的特征提取过程起到提升检测精度的优化作用。

注意力模型已经成为神经网络中的一个重要概念，并在不同的应用领域进行了充分的研究，无论是图像处理、语音识别还是自然语言处理的各种不同类型的任务中，都很容易遇到注意力模型的身影。注意力机制包含两种，分别为空间注意力机制和通道注意力机制。空间区域注意力如图4所示，可以理解为让神经网络给与不同位置不同的权重，通过空间注意力机制，将原始图片中的空间信息变换到另一个空间中并保留了关键信息，在很多现有的方法中都有使用这种网络，能够找出图片信息中需要被关注的区域。通道注意力如图5所示，可以理解为让神经网络给予不同的通道不同的权重，典型的代表是SENet，卷积网络的每一层都有多个卷积核，每个卷积核对应一个特征通道，相对于空间注意力机制，通道注意力在于分配各个卷积通道之间的资源，分配粒度上比前者大了一个级别。本实例融合了空间注意力机制和通道注意力机制，如图6所示，使卷积神经网络对目标图像的特征提取过程起到提升检测精度的优化作用。

基于上述，本实施例对检测模型进行训练的具体过程如下所示：

按照上述步骤训练改进的U-Net网络，反复循环，直至损失不在收敛，得到最佳模型训练权重。

进一步地，本实施例对检测模型进行测试的具体过程如下所示：

进一步地，上述S5中基于阴影的检测提取结果对建筑物进行高度反演计算，得到建筑高度是基于太阳照射角实现的，具体如下：

首先，需要说明的是，建筑物均是结构简单，样式单一，垂直立于地表。考虑建筑物和阴影的成像几何关系，太阳和卫星的关系可归纳为建筑物的同侧和异侧两种情况，如图7所示，其中H表示建筑物高度，S为阴影实际长度，α为卫星高度角，β为太阳高度角，B为建筑物阴影在影像上可见部分长度。

对于同侧情形，依据几何关系，建筑物高度H为：

H＝Btanβtanα/(tanα-tanβ)

对于异侧情形，依据几何关系，建筑物高度H为：

H＝S·tanβ

以上两种情形均基于一定的理论基础上，实际情况下，卫星参数获取难度大，利用以上理论难以进行高度估计，所以本实施例采用比例关系。同一时刻的建筑物与阴影的比例为定值，此时我们需要首先测量一些建筑物的高度，然后再测量图像上这些建筑物的阴影长度，这样就能确定建筑物高度与阴影长度在这个遥感影像上的关系，然后根据这个关系就可以由其他建筑物在该遥感影像上的阴影长度推算出这些建筑物的高度信息。

综上，本实施例提供了一种建筑物识别与建筑物高度反演计算方法，该方法是一种实现大规模建筑物自动快速识别提取检测以及高度反演计算的方法。可以实现在遥感影像下精确的识别检测建筑物以及阴影，同时对建筑物的高度信息进行提取。解决了现有技术存在的建筑物识别效率低下、建筑物的边缘识别模糊不准确，从而导致建筑物识别精度不高以及建筑物高度难以获取的问题。

第二实施例

本实施例提供了一种建筑物识别与建筑物高度反演计算系统，该建筑物识别与建筑物高度反演计算系统包括以下模块：

数据集构建模块，用于获取包含阴影的建筑物的高分遥感影像，构建建筑物和阴影的数据集；

模型构建模块，用于对U-Net网络按照预设方式进行改进，得到建筑物和阴影的检测模型；

模型训练模块，用于基于所述数据集构建模块所构建的数据集，对所述模型构建模块所构建的建筑物和阴影的检测模型进行训练；

检测模块，用于利用经所述模型训练模块训练好的检测模型，对待检测的遥感影像中的建筑物和阴影进行检测提取，获得当前待检测的遥感影像中的建筑物和阴影；

建筑物高度反演计算模块，用于基于所述检测模块输出的阴影的检测提取结果，对建筑物进行高度反演计算，得到建筑高度。

所述系统还包括评估验证模块；

所述评估验证模块用于采用预设的评估方式对所述检测模型进行有效性评估和验证，其中，预设的评估方式为精确率评估方式和/或平均交并比评估方式。

本实施例的建筑物识别与建筑物高度反演计算系统与上述第一实施例的建筑物识别与建筑物高度反演计算方法相对应；其中，本实施例的建筑物识别与建筑物高度反演计算系统中的各功能模块所实现的功能与第一实施例的建筑物识别与建筑物高度反演计算方法中的各流程步骤一一对应；故，在此不再赘述。

第三实施例

本实施例提供一种计算机设备，图8示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图8显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。计算机设备12可以任意具有计算能力的终端设备，如智能控制器及服务器、手机等终端设备。

如图8所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图8未显示，通常称为“硬盘驱动器”)。尽管图8中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明中的功能和/或方法。

计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图8中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

最后需要说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。