一种基于ResUNet的遥感图像建筑检测方法及系统

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于ResUNet的遥感图像建筑检测方法及系统。

背景技术

目前，快速的城市化步伐在全球范围内带来了许多挑战，包括在人口快速流动的地区加快建筑建设。因此，自动创建建筑地图(BM)和建筑变化地图(BCM)对于展示当地环境改善、土地管理、灾害评估和其他地理空间应用是必要的。在这方面，遥感图像已被用于减少昂贵的实地调查操作的必要性，并加快BM和BCM的生成，特别是，非常高分辨率的RSI(VHRRSI)包含有关地球现象的详细信息，并已被广泛用于BM生成研究，以及传统或现代的图像处理方法。

传统的方法通常采用低级的建筑特征，如颜色、几何和上下文特征。在这种情况下，以前已经开发了许多基于像素、光谱、长度、边缘、纹理和阴影信息的算法。然而，这些特征在很大程度上受到季节和照明变化的影响，降低了它们在建筑检测中的能力。因此，传统方法需要高水平的特征工程，根据目标区域的成像和大气条件手动设计适当的特征，这些算法不太容易推广，其准确性也更多地取决于专家的专业知识。例如，现有的BM生成研究仅在模型的第一级或第二级使用单个注意力模块，具体而言，一方面，使用仅对构建高级语义特征(HLSF)敏感的注意力机制允许不相关的低级空间特征(LLSF)在模型的编码器-解码器路径中不受限制地流动，并与HLSF聚合，这可能会降低对构建特征的敏感性。此外，在U-Net模型中添加注意力模块后，许多连接层的存在本身破坏了梯度下降过程，导致梯度消失问题。另一方面，仅仅依靠LLSF敏感注意力机制忽略了对建筑物HLSF的关键注意力。

发明内容

有鉴于此，奔发明提供了一种提高对重要LLSF的敏感度的基于ResUNet的遥感图像建筑检测方法及系统，在最小化非建筑信息的负面影响的同时，整合了LLSF和HLSF的有益优势、

第一方面，本发明提供了一种基于ResUNet的遥感图像建筑检测方法，包括以下步骤：

构建双注意力残差的U-Net建筑提取网络并将输入的遥感图像分割成二进制建筑地图，其中，遥感图像为双时态高分辨率遥感图像，使用深度神经网络模型生成最优的双时态建筑地图，双注意力残差的U-Net网络包括包括通道注意力模块、空间注意力模块和残差模块；

将每个建筑地图中的任何多边形绑定一个边界框以过滤建筑提取不完善的非建筑框，其中，过滤非建筑框包括将包含在编码器部分中提取的无用的非构建信息的低级空间特征和在解码器部分中获得的高级语义特征进行集成得到编码器-解码器路径，并将编码器-解码器路径放置在注意门模块；

比较双相建筑地图中的相应构建框以获得建筑变化地图，并对比较模型的训练性能进行评估得到建筑提取结果，对建筑提取结果进行检测以完成建筑变化检测。

作为上述技术方案的优选，比较双相建筑地图中的相应构建框以获得建筑变化地图，并对比较模型的训练性能进行评估得到建筑提取结果，包括：

采用类对象变化检测算法生成建筑变化地图，根据表达式为

作为上述技术方案的优选，对比较模型的训练性能进行评估得到建筑提取结果，包括：

采用假阴性率P

作为上述技术方案的优选，注意门模块的执行过程包括：

获取包含有益的高级语义特征的门控信号

使用运算符

作为上述技术方案的优选，在通道注意力模块和空间注意力模块之后嵌入残差模块完成反向传播。

作为上述技术方案的优选，空间注意力模块执行过程包括：

在对特征图进行重新校准后进行空间注意力模块估计空间注意力系数的系数M

将获得的两个单通道描述符

将估计值M

作为上述技术方案的优选，通道注意力模块的执行过程包括：

在卷积块提取初始特征图F

强描述符与按通道求和算子相结合以生成新的单个描述符即系数图，并使用sigmoid激活函数在0和1之间重新缩放输出系数图的值以得到最终的系数图M

作为上述技术方案的优选，通道注意力模块、空间注意力模块和残差模块融合得到通道空间注意力残差卷积块，预设

作为上述技术方案的优选，构建双注意力残差的U-Net建筑提取网络并将输入的遥感图像分割成二进制建筑地图，包括：

预设建筑检测中的BM

创建二进制建筑变化地图C

第二方面，本发明还提供了一种基于ResUNet的遥感图像建筑检测系统，包括：

构建模块，用于构建双注意力残差的U-Net建筑提取网络并将输入的遥感图像分割成二进制建筑地图，其中，遥感图像为双时态高分辨率遥感图像，使用深度神经网络模型生成最优的双时态建筑地图，双注意力残差的U-Net网络包括包括通道注意力模块、空间注意力模块和残差模块；

过滤模块，用于将每个建筑地图中的任何多边形绑定一个边界框以过滤建筑提取不完善的非建筑框，其中，过滤非建筑框包括将包含在编码器部分中提取的无用的非构建信息的低级空间特征和在解码器部分中获得的高级语义特征进行集成得到编码器-解码器路径，并将编码器-解码器路径放置在注意门模块；

比较模块，用于比较双相建筑地图中的相应构建框以获得建筑变化地图，并对比较模型的训练性能进行评估得到建筑提取结果，对建筑提取结果进行检测以完成建筑变化检测。

本发明提供了一种基于ResUNet的遥感图像建筑检测方法及系统，通过构建双注意力残差的U-Net建筑提取网络并将输入的遥感图像分割成二进制建筑地图，将每个建筑地图中的任何多边形绑定一个边界框以过滤建筑提取不完善的非建筑框，比较双相建筑地图中的相应构建框以获得建筑变化地图，并对比较模型的训练性能进行评估得到建筑提取结果，对建筑提取结果进行检测以完成建筑变化检测，增加所提出的模型对构建高层语义信息的关注，通道空间注意力残差卷积块取代了U-Net的简单卷积块，提高模型对有价值的建筑底层空间特征的关注度，并过滤不相关的无用空间特征，利用了强大的通道空间注意力残差模快和注意门模块，所提出的架构能够以最少的背景特征准确地感知建筑对象，可以产生最高质量的双时间建筑地图，提高了建筑变化的识别能力。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明的基于ResUNet的遥感图像建筑检测方法的流程图；

图2为本发明的基于ResUNet的遥感图像建筑检测系统的结构框图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

参阅图1，本发明提供了一种基于ResUNet的遥感图像建筑检测方法，包括以下步骤：

S1：构建双注意力残差的U-Net建筑提取网络并将输入的遥感图像分割成二进制建筑地图，其中，遥感图像为双时态高分辨率遥感图像，使用深度神经网络模型生成最优的双时态建筑地图，双注意力残差的U-Net网络包括包括通道注意力模块、空间注意力模块和残差模块；

S2：将每个建筑地图中的任何多边形绑定一个边界框以过滤建筑提取不完善的非建筑框，其中，过滤非建筑框包括将包含在编码器部分中提取的无用的非构建信息的低级空间特征和在解码器部分中获得的高级语义特征进行集成得到编码器-解码器路径，并将编码器-解码器路径放置在注意门模块；

S3：比较双相建筑地图中的相应构建框以获得建筑变化地图，并对比较模型的训练性能进行评估得到建筑提取结果，对建筑提取结果进行检测以完成建筑变化检测。

本实施例中，比较双相建筑地图中的相应构建框以获得建筑变化地图，并对比较模型的训练性能进行评估得到建筑提取结果，包括：采用类对象变化检测算法生成建筑变化地图，根据表达式为

需要说明的是，为了扩大U-Net对令人满意的HLSF构建的专注度，一种新的通道空间注意力残差卷积块(csAttResConvB)取代了U-Net中的简单CL。此外，为了进一步提高对重要LLSF的敏感度，在U-Net的编码器-解码器路径中嵌入了一个名为注意力门(AttG)的注意力模。由于利用了两个强大的csAttResConvB和AttG模块，是第一个基于U-Net的模型，在最小化非建筑信息的负面影响的同时，整合了LLSF和HLSF的有益优势。使用基于注意力的U-Net建筑提取网络将输入的双时态VHR图像分割成二进制BM。第二步，将每个BM中的任何多边形绑定一个边界框，过滤因建筑提取不完善而导致的小噪声非建筑框。最后，比较双相BM中的相应构建框以获得BCM。

应理解，基于双注意力残差的U-Net(DAttResU-Net)以生成可靠的BM，并生成BCM中的适用性。该网络在U-Net的两个不同结构层次上同时利用了两种新的强语义和空间敏感注意力机制，在第一层中，为了增加所提出的模型对构建高层语义信息的关注，同时保留它们，信道空间注意力残差卷积块(csAttResConvB)取代了U-Net的简单卷积块(CB)；在第二层，为了提高模型对有价值的建筑底层空间特征的关注度，并过滤不相关的无用空间特征，在U-Net的跳跃连接路径中嵌入了另一个注意力模块，称为注意力门(AttG)。所提出的DAttResU-Net架构作为建筑变化检测的应用之后，能够以最少的背景特征准确地感知建筑对象，DAttResU-Net可以产生最高质量的双时间BM，根据所提出的架构导出的BCM在两个研究领域都产生了最精确的异常变化检测结果，随后预测了可靠的BM。因此，新型的DAttResU-Net显示出检测建筑物体和在这段时间内应用于识别变化建筑的高能力，也被适用在其他遥感应用中进行评估，如土地利用和土地覆盖。

可选地，注意门模块的执行过程包括：

获取包含有益的高级语义特征的门控信号g

使用运算符

本实施例中，在通道注意力模块和空间注意力模块之后嵌入残差模块完成反向传播。空间注意力模块执行过程包括：在对特征图进行重新校准后进行空间注意力模块估计空间注意力系数的系数M

需要说明的是，通道注意力模块的执行过程包括：在卷积块提取初始特征图F

应理解，在最初的U-Net架构中，负责多级特征提取的连接层CL的感受野有限，无法对建筑物和非建筑对象(如土壤和道路)之间的复杂相关性进行建模。因此，为了有效地突出目标建筑的特征，将通道注意力模块(cAM)、空间注意力模块(sAM)和残差单元的csAttResConvB取代了U-Net中的简单CL。

可选地，通道注意力模块、空间注意力模块和残差模块融合得到通道空间注意力残差卷积块，预设

本实施例中，构建双注意力残差的U-Net建筑提取网络并将输入的遥感图像分割成二进制建筑地图，包括：预设建筑检测中的BM

需要说明的是，虽然通道注意力模块cAM和空间注意力模块sAM模块在增强通道和空间上对建筑特征的敏感性方面都有好处，但将它们纳入标准U-Net架构的初始级别在建筑图(BM)生成方面提出了两个值得注意的挑战。第一个问题是，梯度消失问题是由于在添加上述两个模块之后CL的显著增加而产生的。换言之，梯度下降过程中的梯度值在反向传播阶段逐渐衰减，使得它们几乎达到零。因此，网络学习没有完全执行。CL的丰富带来了第二个挑战：复杂建筑特征的潜在损失，导致在训练过程中不准确的建筑信息在网络上无意传播。为了应对上述两个挑战，在cAM和sAM之后嵌入作为csAttResConvB另一部分的残差块，这种修改创建了到初始层的另一个独立的梯度估计路径，以便反向传播阶段完全完成。残差块避免了有价值的建筑特征的损失，并允许它们在所提出的模型中正确传播。普通U-Net将包含在编码器部分中提取的无用的非构建信息的LLSF与在解码器部分中获得的HLSF进行集成。在模型的编码器-解码器(跳过连接)路径中不受限制地集成LLSF和HLSF会干扰从异构背景中正确区分建筑对象。为了最大限度地减少这种限制，设计了一个AttG并将其放置在跳跃连接路径中，以同时强调LLSF的令人满意的空间信息，同时最大限度地降低背景非建筑信息。

参阅图2，本发明还提供了一种基于ResUNet的遥感图像建筑检测系统，包括：

构建模块，用于构建双注意力残差的U-Net建筑提取网络并将输入的遥感图像分割成二进制建筑地图，其中，遥感图像为双时态高分辨率遥感图像，使用深度神经网络模型生成最优的双时态建筑地图，双注意力残差的U-Net网络包括包括通道注意力模块、空间注意力模块和残差模块；

过滤模块，用于将每个建筑地图中的任何多边形绑定一个边界框以过滤建筑提取不完善的非建筑框，其中，过滤非建筑框包括将包含在编码器部分中提取的无用的非构建信息的低级空间特征和在解码器部分中获得的高级语义特征进行集成得到编码器-解码器路径，并将编码器-解码器路径放置在注意门模块；

比较模块，用于比较双相建筑地图中的相应构建框以获得建筑变化地图，并对比较模型的训练性能进行评估得到建筑提取结果，对建筑提取结果进行检测以完成建筑变化检测。

本实施例中，为了增加可用数据量并加快训练处理，所有的训练/验证、测试及其标签都被分割成大小为512×512像素的正方形补丁，没有任何重叠，20％的训练/验证补丁用于模型验证。为了增加训练数据并防止过拟合问题，使用左/右、上/下和角度旋转来增强训练补丁。训练和测试数据集的形状分别为(2852512512,3)和(20512512,3)。为了用准备好的数据训练所提出的DAttResU-Net，利用自适应矩估计(ADAM)优化器进行梯度下降优化。为了防止这种异质性的非构建问题，引入的组合损失函数，包括二进制交叉熵和Tversky损失函数，用于减轻不平衡样本的影响。此外，如果在5个连续时期之后没有观察到训练改进，则使用用于减少训练时间的早期停止参数来停止学习。初始学习率也被设置为0.001，并且当在5个时期之后性能改进可以忽略时，使用ReduceLROnPlateau参数将学习率降低0.33倍。最后，值得注意的是，上述所有训练和测试程序都是使用GoogleColaboratory Pro Python环境执行的，该环境具有16GB GPU(即NVIDIA TeslaV100)和25GB RAM。

需要说明的是，为了评估拟议方法在生成BM和BCM方面的熟练程度，进行了严格的评估。这涉及到在概述预测建筑或变更建筑的多边形与表示参考BM和BCM中记录的相应参考建筑或变更建筑物的多边形之间进行彻底比较。这种细致的检查旨在量化该方法在BM和BCM生成方面的有效性。通道空间注意力残差卷积块取代了U-Net的简单卷积块，提高模型对有价值的建筑底层空间特征的关注度，并过滤不相关的无用空间特征，利用了强大的通道空间注意力残差模快和注意门模块，所提出的架构能够以最少的背景特征准确地感知建筑对象，可以产生最高质量的双时间建筑地图，提高了建筑变化的识别能力。

在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。