一种基于多尺度特征融合的遥感图像路网提取方法

技术领域

本发明涉及机器学习技术领域，具体而言，涉及一种基于多尺度特征融合的遥感图像路网提取方法。

背景技术

遥感图像中蕴含着丰富的信息，从遥感图像中识别物体在许多领域都有广泛的应用前景。道路是人类生活中的重要情景，从遥感图像中提取道路信息已成为更新路网结构的重要数据来源。

随着深度学习技术在众多视觉任务取得了良好的表现，结合深度学习技术进行遥感图像语义分割成为行业内的研究热点。相较于传统的通过人工绘制路网的方式，深度学习技术表现出高效的工作效率。深度学习技术输入图像与道路标签进行训练，通过梯度回传不断学习道路的规律，从而进行道路识别。

考虑特征提取得到的高层语义特征图包含不同尺寸的道路特征，如何能后有效提取核整合这部分特征是一个迫切的问题。同时不同尺度特征蕴含着不同的道路信息，如何整合这部分特征。

发明内容

本发明为了克服现有技术中存在的不足，所要解决的技术问题为：提供一种基于多尺度特征融合的遥感图像路网提取方法。

本发明解决其技术问题所采用的技术方案是：本发明公开一种基于多尺度特征融合的遥感图像路网提取方法，包括如下步骤：

步骤一：制作遥感道路数据集：

将高分辨率遥感图像道路数据集按照比例随机拆分为训练集和测试集，高分辨率遥感图像道路数据集通过卫星获取，包括原始遥感道路图像与对应的绘制人工标签的遥感道路图像；

对训练集的遥感图像进行随机旋转、平移等操作，得到数据增强后的遥感图像数据集；

步骤二：搭建遥感图像道路分割网络：

所述遥感图像路网提取方法中包括特征提取模块、上下文语义提取模块、多尺度融合模块、特征解码模块，搭建步骤包括：

步骤2.1：将道路图像输入特征提取模块，得到不同尺度的图像特征；所述特征提取模块通过采用Resnet34结构代替U-Net编码器阶段实现特征提取，实现模型从底层特征到高层语义的提取；特征提取对图像进行卷积核大小为7和步长为2的最大池化操作提取图像的低层特征，通过三个堆叠的残差块来实现对图像高层信息的提取，得到图像底层特征图和高层语义特征图；

步骤2.2：将高层语义特征图经过上下文语义提取模块得到融合上下文语义信息的特征图；

步骤2.3：将高层语义特征图、对应编码器传递的特征图、对应编码器上一阶段的底层特征图和上下文语义模块得到的上下文语义特征图一起作为多尺度融合模块的输入；特征提取模块提取的高层特征图、对应的编码器特征图和对应编码器上一阶段的底层特征图一起输入到网络的特征融合模块，得到的特征图与上下文语义提取模块生成的上下文语义特征图进行融合，得到的融合特征图为解码器补充对应的结构、语义信息；

步骤 2.4：结合多尺度融合模块补充的信息与解码器上一阶段生成的特征图，进行特征提取；

其中，特征提取模块、上下文语义提取模块、多尺度融合模块、解码器模块构成深度学习遥感道路分割网络；

步骤三：将训练集的遥感道路图像数据输入遥感图像道路分割网络，模型编码器参数载入ResNet-34预训练模型参数，训练遥感图像道路分割网络；

训练结束后，保存训练的模型参数；

步骤四：经过处理的实时的遥感道路数据输入到训练好的遥感图像语义分割网络中，输出遥感图像数据的精确分割结果。

其中，对训练集的遥感道路图像数据进行预处理的方式包括图像裁剪、图像翻转等对训练集的遥感图像和对应标签进行数据增强；

所述图像裁剪具体为：将数据集中的遥感图像裁剪为含有道路区域的1024像素x1024像素、分辨率为1米每分辨率的高分辨率图像；

所述数据增强包括：将遥感图像道路提取训练集中的图像进行图像旋转、图像垂直加水平翻转。

其中，特征提取模块的网络结构如下：

特征提取阶段对图像进行卷积核大小为7和步长为2的最大池化操作提取图像的低层特征，通过三个堆叠的残差块来实现对图像高层信息的提取，得到图像底层特征图和高层语义特征图；得到的图像底层特征图作为多尺度融合模块的输入，得到的高层语义特征图作为上下文语义提取模块的输入；

所述残差块由两个卷积核为3、步长为1的卷积组成实现特征提取，残差块输入输出之间设置短连接加速网络收敛。

其中，上下文语义提取模块通过不同扩张率的卷积对输入的高层语义特征图进行特征提取与整合；对特征图进行1x1的卷积实现通道降维，采用3个不同扩张率的空洞卷积实现不同尺度特征提取，支路1与支路2得到的特征图进行拼接卷积，对得到的融合特征图进行输出通道数为2的卷积，随后进行sigmoid函数得到不同分支特征图的融合比例，得到的比例乘以特征图进行相加得到的特征图为两条支路的融合特征图；融合特征图与分支三特征图通过以上操作得到整体融合特征图，得到的特征图与输入特征图进行自适应融合得到融合上下文语义的高层语义特征图。

其中，多尺度融合模块的输入数据为对应编码器的同层次特征图、编码器的最高层语义特征图、编码器对应的上一级低层特征图，将输入的同层次特征图与编码器对应的上一级低层特征图进行融合，得到的融合特征图与高层特征图进行相加为解码器补充不同层次的道路信息；

为了更有效的融合同层次特征图与上一层次低层特征图，消除不同尺度间的语义差异，利用通道注意力实现有效融合；选用64个卷积核的卷积进行特征提取，提取后的特征图拼接后输入通道注意力模块，压缩特征图尺寸至一维，采用卷积对压缩后的特征图进行特征提取，对得到特征图进行sigmoid操作得到不同通道注意力的权重，恢复特征图乘以对应权重，得到结合注意力机制的融合特征图，得到的特征图与高层语义特征图进行相加，得到蕴含道路结构于语义的特征图。

其中，语义分割网络使用的损失函数为Dice系数损失函数和交叉熵损失函数共同作为损失函数，其中，所述交叉熵损失函数的计算公式为：

上式中：y为真实的标签图，y’为预测的标签图，N为图像的数量；

所述Dice系数损失函数的计算公式为：

上式中：X为路网预测图，Y为实际标签图，

本发明相对于现有技术具备的有益效果为：

1）编码器替换为Resnet-34模型，载入在ImageNet数据集预训练的参数。通过Resnet-34结构能有效提取到图像特征，图像特征提取具有相似性，载入在大规模数据集上训练的权重进行微调能有效加快网络收敛。

2）本发明方法设计了上下文语义提取模块提取和整合不同尺寸特征。针对高层语义特征图存在的不同尺寸特征，采用降维有效抑制背景噪音干扰，设计融合模块消除不同分支存在的语义差异，得到具有上下文语义的融合特征图。对输入特征图与融合特征图设计了自适应融合模块，有效补充背景信息。

3)本发明方法设计了一种引入和整合不同尺度特征的方法。针对编码过程中图像结构化特征缺失、解码高层语义信息逐步变弱的问题，设计了一种结合同尺度特征图、编码器低层特征图、高层语义特征图的融合方法，采用通道注意力模块消除特征图之间的语义差异后提取特征与高层特征图结合为不同程度的解码器补充对应的结构、语义信息，增加语义分割的精度。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明提供的一种基于多尺度特征融合的遥感图像路网提取方法的流程示意图。

图2是本发明提供的一种基于多尺度特征融合的遥感图像路网提取方法中遥感图像道路语义分割网络的结构示意图。

图3是本发明提供的一种基于多尺度特征融合的遥感图像路网提取方法中上下文语义模块的构造示意图。

图4是本发明提供的一种基于多尺度特征融合的遥感图像路网提取方法中多尺度特征融合模块的构造示意图。

图5是本发明提供的一种基于多尺度特征融合的遥感图像路网提取方法中使用的数据集马萨诸塞州道路数据集遥感图像。

图6是本发明提供的一种基于多尺度特征融合的遥感图像路网提取方法中使用的数据集马萨诸塞州道路数据集中添加标签的遥感图像。

图7是本发明提供的一种基于多尺度特征融合的遥感图像路网提取方法中提取的路网结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明做进一步的详细说明。应当理解，此外所描述的具体实施例仅用以解释本发明，但并不用于限定本发明。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都将属于本发明保护的范围。

如图1所示，本发明提供一种基于多尺度特征融合的遥感图像路网提取方法，包括如下步骤：

步骤一：制作遥感道路数据集：

将高分辨率遥感图像道路数据集按照比例随机拆分为训练集和测试集，高分辨率遥感图像道路数据集通过卫星获取，包括原始遥感道路图像与对应的绘制人工标签的遥感道路图像；

对训练集的遥感图像进行随机旋转、平移等操作，得到数据增强后的遥感图像数据集；

步骤二：搭建遥感图像道路分割网络：

所述遥感图像路网提取方法中包括特征提取模块、上下文语义提取模块、多尺度融合模块、特征解码模块，搭建步骤包括：

步骤2.1：将道路图像输入特征提取模块，得到不同尺度的图像特征；所述特征提取模块通过采用Resnet34结构代替U-Net编码器阶段实现特征提取，实现模型从底层特征到高层语义的提取；特征提取对图像进行卷积核大小为7和步长为2的最大池化操作提取图像的低层特征，通过三个堆叠的残差块来实现对图像高层信息的提取，得到图像底层特征图和高层语义特征图；

步骤2.2：将高层语义特征图经过上下文语义提取模块得到融合上下文语义信息的特征图；

步骤2.3：将高层语义特征图、对应编码器传递的特征图、对应编码器上一阶段的底层特征图和上下文语义模块得到的上下文语义特征图一起作为多尺度融合模块的输入；特征提取模块提取的高层特征图、对应的编码器特征图和对应编码器上一阶段的底层特征图一起输入到网络的特征融合模块，得到的特征图与上下文语义提取模块生成的上下文语义特征图进行融合，得到的融合特征图为解码器补充对应的结构、语义信息；

步骤 2.4：结合多尺度融合模块补充的信息与解码器上一阶段生成的特征图，进行特征提取；

其中，特征提取模块、上下文语义提取模块、多尺度融合模块、解码器模块构成深度学习遥感道路分割网络；

步骤三：将训练集的遥感道路图像数据输入遥感图像道路分割网络，模型编码器参数载入ResNet-34预训练模型参数，训练遥感图像道路分割网络；

训练结束后，保存训练的模型参数；

步骤四：经过处理的实时的遥感道路数据输入到训练好的遥感图像语义分割网络中，输出遥感图像数据的精确分割结果。

其中，对训练集的遥感道路图像数据进行预处理的方式包括图像裁剪、图像翻转等对训练集的遥感图像和对应标签进行数据增强；

所述图像裁剪具体为：将数据集中的遥感图像裁剪为含有道路区域的1024像素x1024像素、分辨率为1米每分辨率的高分辨率图像；

所述数据增强包括：将遥感图像道路提取训练集中的图像进行图像旋转、图像垂直加水平翻转。

其中，特征提取模块的网络结构如下：

特征提取阶段对图像进行卷积核大小为7和步长为2的最大池化操作提取图像的低层特征，通过三个堆叠的残差块来实现对图像高层信息的提取，得到图像底层特征图和高层语义特征图；得到的图像底层特征图作为多尺度融合模块的输入，得到的高层语义特征图作为上下文语义提取模块的输入；

所述残差块由两个卷积核为3、步长为1的卷积组成实现特征提取，残差块输入输出之间设置短连接加速网络收敛。

其中，上下文语义提取模块通过不同扩张率的卷积对输入的高层语义特征图进行特征提取与整合；对特征图进行1x1的卷积实现通道降维，采用3个不同扩张率的空洞卷积实现不同尺度特征提取，支路1与支路2得到的特征图进行拼接卷积，对得到的融合特征图进行输出通道数为2的卷积，随后进行sigmoid函数得到不同分支特征图的融合比例，得到的比例乘以特征图进行相加得到的特征图为两条支路的融合特征图；融合特征图与分支三特征图通过以上操作得到整体融合特征图，得到的特征图与输入特征图进行自适应融合得到融合上下文语义的高层语义特征图。

其中，多尺度融合模块的输入数据为对应编码器的同层次特征图、编码器的最高层语义特征图、编码器对应的上一级低层特征图，将输入的同层次特征图与编码器对应的上一级低层特征图进行融合，得到的融合特征图与高层特征图进行相加为解码器补充不同层次的道路信息；

为了更有效的融合同层次特征图与上一层次低层特征图，消除不同尺度间的语义差异，利用通道注意力实现有效融合；选用64个卷积核的卷积进行特征提取，提取后的特征图拼接后输入通道注意力模块，压缩特征图尺寸至一维，采用卷积对压缩后的特征图进行特征提取，对得到特征图进行sigmoid操作得到不同通道注意力的权重，恢复特征图乘以对应权重，得到结合注意力机制的融合特征图，得到的特征图与高层语义特征图进行相加，得到蕴含道路结构于语义的特征图。

其中，语义分割网络使用的损失函数为Dice系数损失函数和交叉熵损失函数共同作为损失函数，其中，所述交叉熵损失函数的计算公式为：

上式中：y为真实的标签图，y’为预测的标签图，N为图像的数量；

所述Dice系数损失函数的计算公式为：

上式中：X为路网预测图，Y为实际标签图，

为了进一步验证本方法的有效性和可行性，本发明根据下面实施例进行实验。

使用深度学习框架Pytorch1.8.0搭建遥感道路提取网络的架构。实验数据集使用马萨诸塞道路提取数据集，采用了语义分割中常用的三种语义分割评估指标，即精确度，召回率和交并比来评价模型道路分割的性能。图5所示是通过本发明方法进行道路分割前的遥感道路图像，图6是对应的人工标记后的遥感道路分割图像，图7是经过本发明的方法处理后得到的预测道路分割图像。

表1 马萨诸塞道路提取数据集上的具体指标

本发明公开了基于多尺度特征融合的遥感道路语义分割方法，首先对遥感图像道路部分进行标记，得到道路标签。将图像和对应的道路标签数据集随机分为训练集和测试集，对训练集进行数据增强；之后搭建基于多尺度特征融合的遥感道路语义分割方法，输入训练集图像训练语义分割网络，模型收敛时保存模型参数；测试集图像输入到模型得到道路语义分割标签。与现有的技术相比，本发明通过设计上下文语义提取模块与融合不同尺度特征的融合模块实现遥感道路语义分割。用本方法得到的道路标签精度较高，更加接近真实标签。

关于本发明具体结构需要说明的是，本发明采用的各部件模块相互之间的连接关系是确定的、可实现的，除实施例中特殊说明的以外，其特定的连接关系可以带来相应的技术效果，并基于不依赖相应软件程序执行的前提下，解决本发明提出的技术问题，本发明中出现的部件、模块、具体元器件的型号、连接方式除具体说明的以外，均属于本领域技术人员在申请日前可以获取到的已公开专利、已公开的期刊论文、或公知常识等现有技术，无需赘述，使得本案提供的技术方案是清楚、完整、可实现的，并能根据该技术手段重现或获得相应的实体产品。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。