一种基于上下文信息和注意力机制的遥感图像道路分割方法

技术领域

本发明一种基于上下文信息和注意力机制的遥感图像道路分割方法，属于遥感图像道路分割方法技术领域。

背景技术

近些年来随着世界遥感卫星发射数量与技术的不断增加与提高，遥感卫星图像的分辨率也有了很大的提高，因此高分辨率遥感图像已成为数字图像处理重要的数据来源。同时，高分辨率卫星遥感图像可以提供丰富的地物特征信息，同时更新速度快，精度高。遥感图像道路提取在城市规划，交通管理，车辆导航，地图更新等领域中发挥了重要作用，已经成为近年来的研究热点。

然而，由于遥感图像受光照，噪声，遮挡，阴影等因素的影响，导致道路特征之间存在差异，同时遥感图像背景中存在大量相似的非道路目标，对遥感图像道路提取造成干扰，因此如何从高分辨率的遥感图像中实现精确的道路提取仍是研究领域的一项挑战。

传统算法需要人为设计提取的特征，选择光谱、纹理、几何等特征来实现道路特征的提取，使得模型的表达能力有限。同时无法对高分辨率图像中的丰富信息进行充分利用。随着技术发展，深度学习方法在计算机视觉和图像处理领域展现出良好的性能。在图像分割领域，已有多种模型实现了较好的分割效果。已有部分学者将深度学习的方法应用到遥感图像道路提取中来。这些方法没有考虑到道路整体所具有的几何拓扑结构，缺乏对上下文信息的充分利用；同时在下采样过程中的图像分辨率不断下降，空间信息丢失，使得道路的边缘分割结果不清晰。

因此，需要提出一种能够有效利用上下文信息和恢复丢失位置信息的语义分割方法，对图像进行逐像素的分类，增强图像分割准确度，提高道路边缘分割结果。

发明内容

本发明为了克服现有技术中存在的不足，所要解决的技术问题为：提供一种基于上下文信息和注意力机制的遥感图像道路分割方法的改进。

为了解决上述技术问题，本发明采用的技术方案为：一种基于上下文信息和注意力机制的遥感图像道路分割方法，包括如下步骤：

步骤一：将遥感图像数据集按照一定的比例划分为训练集和测试集，所述遥感图像数据集通过遥感卫星获取，所述遥感图像数据集包括原始图像和经过人工标记的标签数据图像；对训练集的遥感图像数据进行预处理，得到经过数据增强后的遥感图像；

步骤二：搭建遥感图像道路分割网络：所述遥感图像道路分割网络中包括上下文信息提取模块和注意力模块，搭建步骤包括：

步骤2.1：以U-Net网络模型作为基础网络，将U-Net网络模型中的编码器模块替换为在ImageNet数据集上经过预训练的Resnet-34网络作为编码器；

步骤2.2：在步骤2.1的基础上在U-Net网络模型上添加用于提高对图像上下文信息利用的上下文信息提取模块；

步骤2.3：将经过步骤2.1中预先训练的作为编码器的Resnet-34网络提取的图像特征经过与编码器对应的解码器模块部分，再通过注意力模块优化网络的跳跃连接部分，实现对遥感图像数据中的道路特征的最终分割；

步骤三：将步骤一中经过预处理的训练集数据输入至步骤二中的遥感图像道路分割网络中，对遥感图像道路分割网络的超参数进行初始化，对遥感图像道路分割网络进行训练；训练完成后，将训练好的遥感图像道路分割网络模型参数进行保存；

步骤四：将测试集数据输入到步骤三中已经训练好的遥感图像道路分割网络中，输出图像道路数据的精确分割结果。

所述步骤一中对训练集的遥感图像数据进行预处理包括图像裁剪和对训练集中原始图像进行数据增强；

所述图像裁剪具体为：将训练集中的遥感图像裁剪为尺寸为1024像素*1024像素、分辨率为0.5米每分辨率的图像；

所述数据增强包括：将训练集中的图像进行图像旋转、图像色彩调节、图像垂直于水平翻转。

所述步骤2.1作为编码器的预先训练的Resnet-34网络的结构如下：

第一层为卷积层：从初始块开始，进行卷积核大小为7×7、步长为2的卷积；

第二层为最大池化层：初始块之后的步长为2的最大池化层；

所述Resnet-34网络的在最大池化层后设置有多个重复的残差块，所述残差块中的第一个卷积操作以步长为2的卷积实现下采样，所述残差块中的第二个及其之后的卷积操作使用不符为1的卷积操作，所述残差块中设置有用于加快网络收敛的短路连接。

所述注意力模块用于实现对跳跃连接传递的特征进行加权，对目标区域的特征信息进行强化；

所述注意力模块的输入数据为上采样的上一层特征图和下采样层同层的特征图，然后将输入数据进行一个pixel权重图的构建，最后将权重图对跳跃连接传递的特征图进行处理，得到进行权重加权的特征图。

所述注意力模块中的权重图的构建步骤为：

首先对输入的上采样的上一层特征图和下采样层同层的特征图这两幅特征图进行特征降维；

然后将降维后的两幅特征图进行特征部分的相加；

再对相加后的特征图经过线性修正和sigmoid函数层处理；

最后得到特征像素的权重图。

所述解码器模块由与相应编码器块连接的多个解码块组成，所述解码器模块的网络结构为：

先将从编码器模块传递的经注意力模块进行权重调整的特征图与上采样的特征图进行通道叠加；

然后将叠加后的特征图经过各个解码器模块，每个所述解码器模块均包括1×1卷积运算；

再将经过解码器模块的特征图进行批量归一化和转置卷积以对特征图实现上采样过程；

最终通过最后的卷积层生成只有道路和非道路两种标签的图像。

所述步骤三中对遥感图像道路分割网络进行训练中使用的损失函数为Dice系数损失函数和交叉熵损失函数共同作为损失函数，其中，在二分类的情况下，所述交叉熵损失函数的计算公式为：

上式中：y为真实的像素标签值，y'为预测的标签像素值，N为标签的类别数；

所述Dice系数损失函数的计算公式为：

上式中：X为生成的预测图，Y为真实的标签，|XI Y|为标签和预测之间的交集，|X|为标签的元素的个数，|Y|为预测的元素的个数；

最终的损失函数为交叉熵损失函数和Dice系数损失函数的总和，计算公式为：L

本发明相对于现有技术具备的有益效果为：

1)本发明方法在编码器部分使用预先训练的Resnet-34网络作为编码器，在每个残差块中，第一个卷积操作以步长为2的卷积实现下采样，取代了常用的池化层。由于池化层在降低图像分辨率的同时会造成图像的位置特征损失，对于语义分割来说，位置信息的损失会极大程度上影响最终的预测精度。因此选择了步长为2的卷积层进行替代，该卷积层可以实现池化层的下采样效果，并能有效避免池化造成的位置信息损失，有效保证了图像的分割效果；

2)本发明方法采用上下文信息模块扩大网络的感受野，同时实现道路上下文信息的利用。扩大感受野以保证提取到更多的全局信息。该结构既可以采用不同感受野的卷积核来实现不同尺寸目标的特征获取，同时可以结合残差连接来避免梯度的爆炸和消失。引入空洞卷积可以在不增大计算量的条件下有效提高了各个支路的感受野，可以实现不同尺寸下的特征提取；

3)本发明方法在搭建道路分割网络时采用了注意力机制来优化跳跃连接传递的特征。在图像处理中，通过跳跃连接从编码过程中传递的特征图中不仅包含了目标的位置、边缘等细节特征，同时也存在着大量背景特征信息，这些特征会对分割任务造成干扰。采用注意力机制来自适应地将局部特征与全局特征相结合，对特征信息进行筛选，抑制非目标区域的特征，使得网络在特征提取过程中更关注目标区域特征；本发明的方法割准确度高，道路边缘分割结果清晰且鲁棒性强。

附图说明

下面结合附图对本发明做进一步说明：

图1为本发明方法中构建的道路分割网络的组成结构示意图；

图2为本发明方法中构建的道路分割网络中上下文信息提取模块的组成结构示意图；

图3为本发明方法中构建的道路分割网络中注意力机制模块的组成结构示意图；

图4为本发明实施例中人工标记的标准道路分割图；

图5为本发明实施例中U-Net预测的道路分割图；

图6为本发明实施例中的预测道路分割图。

具体实施方式

如图1至图6所示，本发明一种基于上下文信息和注意力机制的遥感图像道路分割方法，包括如下步骤：

步骤一：将遥感图像数据集按照一定的比例划分为训练集和测试集，所述遥感图像数据集通过遥感卫星获取，所述遥感图像数据集包括原始图像和经过人工标记的标签数据图像；对训练集的遥感图像数据进行预处理，得到经过数据增强后的遥感图像；

步骤二：搭建遥感图像道路分割网络：所述遥感图像道路分割网络中包括上下文信息提取模块和注意力模块，搭建步骤包括：

步骤2.1：以U-Net网络模型作为基础网络，将U-Net网络模型中的编码器模块替换为在ImageNet数据集上经过预训练的Resnet-34网络作为编码器；

步骤2.2：在步骤2.1的基础上在U-Net网络模型上添加用于提高对图像上下文信息利用的上下文信息提取模块；

步骤2.3：将经过步骤2.1中预先训练的作为编码器的Resnet-34网络提取的图像特征经过与编码器对应的解码器模块部分，再通过注意力模块优化网络的跳跃连接部分，实现对遥感图像数据中的道路特征的最终分割；

步骤三：将步骤一中经过预处理的训练集数据输入至步骤二中的遥感图像道路分割网络中，对遥感图像道路分割网络的超参数进行初始化，对遥感图像道路分割网络进行训练；训练完成后，将训练好的遥感图像道路分割网络模型参数进行保存；

步骤四：将测试集数据输入到步骤三中已经训练好的遥感图像道路分割网络中，输出图像道路数据的精确分割结果。

所述步骤一中对训练集的遥感图像数据进行预处理包括图像裁剪和对训练集中原始图像进行数据增强；

所述图像裁剪具体为：将训练集中的遥感图像裁剪为尺寸为1024像素*1024像素、分辨率为0.5米每分辨率的图像；

所述数据增强包括：将训练集中的图像进行图像旋转、图像色彩调节、图像垂直于水平翻转。

所述步骤2.1作为编码器的预先训练的Resnet-34网络的结构如下：

第一层为卷积层：从初始块开始，进行卷积核大小为7×7、步长为2的卷积；

第二层为最大池化层：初始块之后的步长为2的最大池化层；

所述Resnet-34网络的在最大池化层后设置有多个重复的残差块，所述残差块中的第一个卷积操作以步长为2的卷积实现下采样，所述残差块中的第二个及其之后的卷积操作使用不符为1的卷积操作，所述残差块中设置有用于加快网络收敛的短路连接。

所述注意力模块用于实现对跳跃连接传递的特征进行加权，对目标区域的特征信息进行强化；

所述注意力模块的输入数据为上采样的上一层特征图和下采样层同层的特征图，然后将输入数据进行一个pixel权重图的构建，最后将权重图对跳跃连接传递的特征图进行处理，得到进行权重加权的特征图。

所述注意力模块中的权重图的构建步骤为：

首先对输入的上采样的上一层特征图和下采样层同层的特征图这两幅特征图进行特征降维；

然后将降维后的两幅特征图进行特征部分的相加；

再对相加后的特征图经过线性修正和sigmoid函数层处理；

最后得到特征像素的权重图。

所述解码器模块由与相应编码器块连接的多个解码块组成，所述解码器模块的网络结构为：

先将从编码器模块传递的经注意力模块进行权重调整的特征图与上采样的特征图进行通道叠加；

然后将叠加后的特征图经过各个解码器模块，每个所述解码器模块均包括1×1卷积运算；

再将经过解码器模块的特征图进行批量归一化和转置卷积以对特征图实现上采样过程；

最终通过最后的卷积层生成只有道路和非道路两种标签的图像。

所述步骤三中对遥感图像道路分割网络进行训练中使用的损失函数为Dice系数损失函数和交叉熵损失函数共同作为损失函数，其中，在二分类的情况下，所述交叉熵损失函数的计算公式为：

上式中：y为真实的像素标签值，y'为预测的标签像素值，N为标签的类别数；

所述Dice系数损失函数的计算公式为：

上式中：X为生成的预测图，Y为真实的标签，|XI Y|为标签和预测之间的交集，|X|为标签的元素的个数，|Y|为预测的元素的个数；

最终的损失函数为交叉熵损失函数和Dice系数损失函数的总和，计算公式为：L

本发明的目的是提供一种实现遥感图像道路分割的方法，解决现有分割方法存在的分割道路结构不完整，不连通，道路边缘区域不清晰的问题。

本发明所采用的技术方案是一种基于上下文信息和注意力机制的遥感图像道路分割方法，具体包括如下步骤：

步骤1，将遥感图像数据集按照一定比例划分为训练集和测试集，其中包括原图像和其对应的人工标记的标签数据；对训练集的遥感图像进行预处理，得到经过数据增强后的遥感图像。

步骤2，搭建结合注意力机制和上下文信息的遥感图像道路分割网络，如图1所示，所述道路分割网络以U-Net网络模型作为基础，将U-Net网络中的编码器模块替换为在ImageNet数据集上经过预训练的Resnet-34网络，添加上下文信息提取模块来提高对于图像上下文信息的利用，将提取的特征经过与编码器对应的解码器部分，再使用注意力模块优化网络的跳跃连接部分，实现最终道路的精细分割。

步骤3，输入经过预处理的训练数据集，初始化模型超参数，对改进的道路分割网络进行训练；在本发明中，使用Dice系数损失函数和交叉熵损失共同作为损失函数。训练完成后，将训练好的网络模型参数进行保存。

步骤4，将测试数据集输入到训练好的道路分割模型中，得到道路的精确分割结果。

步骤1中，数据集预处理中包括图像裁剪和训练集原图像的数据增强过程：

其中，图像裁剪过程将所有的遥感图像裁剪为尺寸为1024*1024，像素分辨率为0.5米每分辨率图像的，对训练数据集中所有图像均进行数据增强，包括图像旋转(上下、左右两个方向)、图像色彩调节、垂直与水平翻转。

步骤2中，以U-Net网络为基础，搭建结合注意力机制和上下文信息的遥感图像道路分割网络过程为：

1)在传统U-Net架构中，每个编码器块包含两个卷积层和一个最大池化层。使用预先训练的Resnet-34网络作为编码器。编码器从初始块开始，进行卷积核大小为7×7且步长为2的卷积。此块之后为步长为2的最大池化。网络的后面部分由重复的残差块组成。在每个残差块中，第一个卷积操作以步长为2的卷积实现下采样，其余卷积操作使用步长为1的卷积操作。在各个残差块中加入短路连接来加快网络的收敛。

2)上下文信息提取模块，如图2所示，采用不同大小感受野的卷积支路来实现不同尺度下的道路上下文信息提取，对高级语义特征图进行编码。该结构既可以采用不同感受野的卷积核来实现不同尺寸目标的特征获取，同时可以结合残差连接来避免梯度的爆炸和消失。结合空洞卷积的思想，在不增大计算量的条件下有效提高了各个支路的感受野。从上到下的每个支路分别具有3、7、9、19大小的感受野，可以实现不同尺寸下的道路特征的提取。

3)注意力机制模块，如图3所示，能够对跳跃连接传递的特征信息进行加权，对目标区域的特征信息进行强化，减弱无用信息的干扰，从而提高特征的利用效率进而提高模型对于细节的分割性能。注意力机制将上采样的上一层特征图和来自下采样过程的特征图作为输入信号。先对两幅特征图进行特征降维，然后直接相加，再经过线性修正和sigmoid函数层，最终得到像素的权重图。再最终再对跳跃连接的特征图进行加权。简单讲就是使用下采样层同层的特征图和上采样层上一层的特征图进行一个pixel权重图的构建，然后再把这个权重图对跳跃连接传递的特征图进行处理，得到进行权重加权的特征图。

4)解码器模块由与相应编码器块连接的几个解码器块组成。先将从编码器模块传递的经注意力模块进行权重调整的特征图与上采样的特征图进行通道叠加。然后经过各个解码器模块。每个解码器模块均包括1×1卷积运算，该运算将通道数减半，然后进行批量归一化和转置卷积以对特征图实现上采样过程，最终通过最后的卷积层生成只有道路和非道路两种标签的图像。

步骤3中使用Dice系数损失函数和交叉熵损失共同作为损失函数：

其中，在二分类的情况下，交叉熵损失函数的计算公式如下，

其中，y表示真实的像素标签值，y′表示预测的标签像素值，N表示标签的类别数。

dice loss计算公式如下所示：

其中，X和Y分别表示生成的预测图和真实的标签。|XI Y|是标签和预测之间的交集，|X|和|Y|分表表示标签和预测的元素的个数。

最终的损失函数为交叉熵函数和dice loss的总和。

L

为了进一步验证本方法的有效性和可行性，本发明根据下面实施例进行实验。

使用基于python的深度学习框架Pytorch1.5.0搭建卷积神经网络的架构。实验数据集使用Deep Global卫星道路提取数据集，采用了语义分割中常用的两种语义分割评估指标，即精确度，召回率和交并比来评价模型道路分割的性能，

本发明提出的方法与传统u-net模型比较，对比结果如表1所示。基于不同的网络模型的道路分割结果如图4至6所示。

表1为本发明在Deep Global卫星道路提取数据集上与其他方法识别性能上的比较结果：

表1

由表1可知，本发明的基于上下文信息和注意力机制的遥感图像道路分割方法相比传统的U-Net分割方法做比较，精确度高出了1％，召回率高出了41.96％，交并比高出了29.71％，充分说明了本发明方法的图像分割能力。从召回率值的比较可以看出，结果高于U-Net模型，分割结果更符合真实标签，对图像中的道路具有更好的识别率。综合精确度和交并比可以看出，本发明方法对于图像中非道路区域的误分辨更少，体现出模型的性能优越性。

本发明公开了一种基于上下文信息和注意力机制的遥感图像道路分割方法，首先对RGB三通道的遥感图像进行标注，生成标签图像。将图像分为测试集和训练集，对训练集图像进行预处理和数据扩增；之后通过深度学习模型建立道路分割网络，输入训练集图像对其进行训练，待到网络收敛时保存模型参数；最后将待测试图像通过道路分割模型得到最终预测结果图。与现有技术相比较，本发明通过添加注意力机制和上下文信息的方式实现遥感图像进行语义分割，进行逐像素的分类，最后得到提取的道路结果。优点是其分割准确度高，道路边缘分割结果清晰且鲁棒性强。

关于本发明具体结构需要说明的是，本发明采用的各部件模块相互之间的连接关系是确定的、可实现的，除实施例中特殊说明的以外，其特定的连接关系可以带来相应的技术效果，并基于不依赖相应软件程序执行的前提下，解决本发明提出的技术问题，本发明中出现的部件、模块、具体元器件的型号、连接方式除具体说明的以外，均属于本领域技术人员在申请日前可以获取到的已公开专利、已公开的期刊论文、或公知常识等现有技术，无需赘述，使得本案提供的技术方案是清楚、完整、可实现的，并能根据该技术手段重现或获得相应的实体产品。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。