一种基于U-Net3+的遥感语义分割方法

技术领域

本发明涉及遥感图像处理技术领域，具体涉及一种基于U-Net3+的遥感语义分割方法。

背景技术

遥感技术是通过卫星、航天器或其他遥感设备获取地球表面和大气层信息的科学与技术。这些遥感设备可以收集不同波段(如可见光、红外线、微波等)的电磁辐射数据，并将其转换成数字图像或其他数据形式，用于研究、监测、测量和管理地球表面的自然和人造特征。如今，遥感技术在工业、农林、军事等多个领域得到广泛应用。在城市规划方面，遥感技术帮助了解城市的土地利用情况、交通流量等信息，为规划提供重要参考。在资源勘探中，通过遥感技术可以发现新的矿产资源、油气田等，促进资源的有效开发与利用。土地监测方面，遥感技术可以用于农作物生长情况、森林覆盖度等的监测与评估。在军事领域中，遥感技术常用于军事情报获取、目标定位和识别、地形分析与制图、作战任务规划等。

近些年来，遥感技术快速发展，但遥感图像处理技术相对滞后。应对不断增大的数据和多样图像类别，智能高效提取有价值的信息是遥感领域急需解决的重要问题之一。遥感影像精确分割可以实现地表覆盖信息提取、环境变化检测等测绘基础功能。传统遥感图像分割方法受制于影像质量、光照条件、遮挡情况等多重因素的影响，分割精度较差。随着深度学习技术的迅速发展，特别是卷积神经网络的应用，使得图像语义分割在遥感图像处理中取得了显著的进展。

U-Net网络通过特殊的编解码结构在图像分割任务中取得了显著的成果。该U-Net网络利用编码器部分进行特征提取，还通过解码器部分进行像素级别的重建，同时通过跳跃连接，将编码器中提取的高级特征与解码器中的低级特征相结合，使得网络可以利用多层次的特征信息，从而实现更准确的图像分割。U-Net++网络采用具有嵌套、稠密的长连接抓取不同层次特征进行特征叠加，缩小了编码器和解码器之间的语义差距。U-Net3+通过全尺度跳跃连接，将编码器以及解码器的大尺度、同尺度和小尺度特征进行融合，从而获得丰富低级语义特征和高级语义特征。但是U-Net、U-Net++和U-Net3+将低级语义特征和高级语义特征进行拼接融合，会产生大量的冗余信息，使网络不能更好的去关注到分割的目标；同时使用多层级的特征融合，会占用大量的计算资源，不利于算法的布置与实施。

现有的遥感语义分割存在以下缺陷：

1)遥感图像分割精度低：遥感图像内容复杂，成像范围大，其中纹理复杂，地物几何形态多变，不同地物错综分布，地物边界容易混淆。其次，遥感影像中地物内容丰富，尺度大小多变，并且尺度跨度较大，其在色彩倾向等也均存在差异，给分割带来了困难。

2)数据类别不均衡：遥感影像中的不同类别地物像素数量占比通常差异较大，占比较少的类别得不到充分的训练，影响识别的精度。

3)计算量大，占用资源高：U-Net3+分割网络应用于遥感语义分割时，网络计算量大，占用资源较多；同时U-Net3+分割网络不同尺度的特征图拼接起来，充分利用了特征信息，但这种简单的拼接同时也将来自于各个层级编码器的无用信息堆叠，造成信息冗余，使网络不能更好的去关注到分割的目标。

发明内容

为了解决现有遥感语义分割存在的遥感图像分割精度低、数据类别不均衡和计算量大、占用资源高的问题，本发明提供一种基于U-Net3+的遥感语义分割方法。

本发明为解决技术问题所采用的技术方案如下：

本发明的一种基于U-Net3+的遥感语义分割方法，包括以下步骤：

步骤一、数据获取及预处理；

步骤二、构建U-Net3+分割网络模型，将多尺度特征提取模块和注意力机制添加到所构建的U-Net3+分割网络模型中；

步骤三、构建改进的混合损失函数，将改进的混合损失函数应用到所构建的U-Net3+分割网络模型中；

步骤四、将预处理好的数据输送到所构建的U-Net3+分割网络模型中，进行模型训练；

步骤五、利用训练好的U-Net3+分割网络模型进行遥感影像语义分割，验证U-Net3+分割网络模型的分割效果；

步骤六、图像后处理。

进一步的，步骤一中，获取的数据来源于遥感语义分割数据集GID-5，所述遥感语义分割数据集GID-5包括多张图片，将这些图片划分为训练集、验证集和测试集，所述训练集、验证集和测试集的图片数量比例为：25:1:4。

进一步的，步骤一中，对数据进行预处理，先将图片进行切片处理，再将图片中的不足位置进行背景充填，同时将实验标签图转换为灰度图。

进一步的，步骤二的具体操作流程如下：

S2.1搭建U-Net3+分割网络，将网络层级由5层减少为4层；

S2.2构建多尺度特征提取模块；多尺度特征提取模块中包含一个多尺度卷积注意力模块，多尺度卷积注意力模块分为三个部分构成，第一部分为5×5的深度卷积，用以获取局部特征信息；第二部分为多分支的不同的混合空洞卷积，用以提取多尺度特征信息；第三部分为1×1卷积，负责将通道混合，最后将输入特征与经过卷积的权值逐元素相乘，得到所需输出；

S2.3将残差模块与CBAM注意力机制结合，并在网络各层级特征融合阶段添加残差CBAM注意力模块，使网络重点关注重要信息。

进一步的，步骤三中，所述混合损失函数由Dice损失函数Dice Loss的变种LogCosh Dice Loss和焦点损失函数Focal Loss组合而成；

所述Dice损失函数Dice Loss定义为：

式中X表示模型对目标图像的预测结果，Y表示目标图像的真实标签；

所述变种Log Cosh Dice Loss定义为：

L

式中cosh定义为：

所述焦点损失函数Focal Loss定义为：

L

其中α

式中p表示预测样本属于1的概率(范围为0-1)，y表示标签；

最终混合损失函数定义为：

进一步的，步骤四的具体操作流程如下：将步骤一中预处理后的图片输入到所构建的U-Net3+分割网络中，更新网络参数权重，用验证集的图片进行验证，得到网络分割效果，不断保存更优的网络模型，得到最优网络模型。

进一步的，步骤五中，将测试集图片输入到最优网络模型中得到分割效果图，并与实验标签图进行对比，得到分割准确度。

进一步的，步骤六中，步骤五所得分割效果图为灰度图，将步骤五所得出的分割效果图按照步骤一切片的位置进行拼接，同时去除掉步骤一中所充填的背景，并根据灰度图各类别所在位置映射到原始图片中，得到最终的分割图。

本发明的有益效果是：

本发明的一种基于U-Net3+的遥感语义分割方法，解决了当前许多遥感语义分割网络过于复杂、模型计算量大、遥感图像分割精度低、数据类别不均衡和占用资源高的问题。本发明的主要目的是将遥感图像中的每个像素分配到不同的语义类别，从而实现对地表特征的精细分类和分割。其目标在于将复杂多变的遥感图像转化为像素级别的语义信息，从而更深入地理解和分析地表上的各种物体、地貌和环境。本发明通过分割网络的改进，引入多尺度特征提取模块从多尺度方向提取图像特征；同时引入残差CBAM注意力模块，使网络关注于目标区域；并且本发明引入了新的损失函数，来平衡样本中的类别，克服类别不平衡问题，提高遥感语义分割的分割精度。本发明将网络模型进行了轻量化处理，网络参数计算量和网络复杂度相对较低，所占用的计算资源较少，利于后续的布置与实施。

附图说明

图1为本发明的一种基于U-Net3+的遥感语义分割方法的流程图。

图2为所构建的U-Net3+分割网络的结构组成示意图。

图3为多尺度特征提取模块的结构组成示意图。

图4为网络中所使用的全尺度跳跃连接示意图。

图5为残差CBAM注意力模块的结构组成示意图。

具体实施方式

下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1进行说明，本发明的一种基于U-Net3+的遥感语义分割方法，根据提供的遥感图像对其中包含的各类别所在位置进行精准的分割，主要包括以下步骤：

步骤一、数据获取及预处理；

步骤二、构建U-Net3+分割网络模型，将多尺度特征提取模块和注意力机制添加到所构建的U-Net3+分割网络模型中；

步骤三、构建改进的混合损失函数，将改进的混合损失函数应用到所构建的U-Net3+分割网络模型中；

步骤四、将预处理好的数据输送到所构建的U-Net3+分割网络模型中，进行模型训练；

步骤五、利用训练好的U-Net3+分割网络模型进行遥感影像语义分割，验证U-Net3+分割网络模型的分割效果；

步骤六、图像后处理。

本发明的一种基于U-Net3+的遥感语义分割方法，其具体操作流程如下：

步骤一、数据获取及预处理；

S1.1：本发明使用遥感语义分割数据集GID-5进行算法训练，该数据集GID-5包含150张图片，这些图片的尺寸大小为6800×7200(像素)，手动挑选其中125张图片作为训练集，5张图片作为验证集，20张图片作为测试集。

S1.2：由于计算机显存限制，无法将完整图片输入到网络中，先将图片进行切片处理，使其变成尺寸大小为512×512(像素)的图片，然后将图片中的不足位置进行背景充填，同时将实验标签图转换为灰度图。

步骤二、构建U-Net3+分割网络模型，将多尺度特征提取模块和注意力机制添加到所构建的U-Net3+分割网络模型中；

S2.1搭建U-Net3+分割网络，将网络层级由5层减少为4层，所构建的U-Net3+分割网络结构如图2所示。

如图2所示，1表示一级特征图，2表示二级特征图，3表示三级特征图，4表示四级特征图，5表示中间特征图，6表示新的三级特征图，7表示中间特征图，8表示新的二级特征图，9表示中间特征图，10表示新的一级特征图，11、12、13和14均属于深度监督下不同级的特征图卷积操作后的结果，15表示网络的预测结果，16表示输入图像。

该U-Net3+分割网络分为编码阶段与解码阶段，主要包括：多尺度特征提取模块和残差CBAM注意力模块：其中，所说的残差CBAM注意力模块主要由残差模块与CBAM注意力机制通过跳跃连接而成。

在编码阶段，即特征提取阶段，首先使用残差模块对输入图像16处理得到一级特征图1，然后使用多尺度特征提取模块对一级特征图1处理得到二级特征图2，其次使用残差模块处理二级特征图2得到三级特征图3，最后使用残差模块处理三级特征图3得到四级特征图4，下层特征图与相邻的上层特征图相比，尺寸减半、通道数量加倍。

在解码阶段，从三级特征图3开始，对其他级别特征图进行上采样或者池化操作使特征图的尺寸保持一致，将这些特征图的通道信息融合后再经过残差CBAM模块处理得到新的特征图，使用新的特征图重复上述操作依次获取新的二级特征图8与新的一级特征图10。

对于不同级的特征图通过卷积操作处理后得到不同尺寸的预测结果，在训练阶段，对预测结果进行深度监督，将不同尺寸的预测结果上采样至输入图像的相同尺寸后计算loss、更新梯度；在测试阶段，使用一级特征图处理后的结果作为最终的预测结果15。

S2.2构建多尺度特征提取模块，如图3所示，多尺度特征提取模块中包含一个多尺度卷积注意力模块，多尺度卷积注意力模块分为三个部分构成，第一部分为5×5的深度卷积，用以获取局部特征信息；第二部分为多分支的不同的混合空洞卷积，用以提取多尺度特征信息；第三部分为1×1卷积，负责将通道混合，最后将输入特征与经过卷积的权值逐元素相乘，得到所需输出。具体的，在多尺度特征提取模块中输入特征首先经过一个1×1卷积处理，降低通道数，然后输入到多尺度卷积注意力模块得到卷积注意力，然后将结果进行BN归一化和GELU激活操作，经过3×3深度卷积充分提取特征后进行升维操作，最后将升维后的特征矩阵与同样进行升维操作的输入特征相加。本发明在网络的编码阶段采用了多尺度特征提取模块，使用多个混合空洞卷积，用来提取输入图像的多尺度特征信息，充分利用了上下文信息。

如图3所示，LFMSCA表示多尺度特征提取模块，LMSCA表示多尺度卷积注意力模块。其中，(128,d in)表示通道数量为128的输入特征图；(128,1×1,32)表示卷积核大小为1×1、输入通道数量为128、输出通道数量为32的卷积操作；(d,5×5)表示卷积核大小为5×5的深度卷积操作；(32,1×1,256)表示卷积核大小为1×1、输入通道数量为32、输出通道数量为256的卷积操作；(128,1×1,256)表示卷积核大小为1×1、输入通道数量为128、输出通道数量为256的卷积操作；(256,d out)表示通道数量为256的输出特征图；(3×3,r＝1)表示卷积核大小为3×3、空洞率为1的空洞卷积操作；(3×3,r＝2)表示卷积核大小为3×3、空洞率为2的空洞卷积操作；(3×3,r＝3)表示卷积核大小为3×3、空洞率为3的空洞卷积操作。

S2.3将残差模块与CBAM注意力机制结合，并在网络各层级特征融合阶段添加残差CBAM注意力模块，使网络重点关注重要信息，有效的避免冗余信息，提高网络的表达能力。本发明于多尺度特征融合阶段添加CBAM注意力机制，使得网络更好的关注于需要分割目标的区域，提高了分割精度。另外，本发明还通过减少网络层级和转换通道两方面降低了网络复杂度与参数计算量。

具体的，如图4所示，网络各层级特征融合阶段具体采用全尺度跳跃连接，其中，

其中，如图5所示，所说的残差CBAM注意力模块主要由残差模块与CBAM注意力机制通过跳跃连接而成。首先对输入特征图F计算通道注意力特征图信息，并与输入特征图相乘进行自适应特征修正；然后再计算空间注意力特征图信息并进行特征修正得到F

步骤三、构建改进的混合损失函数，将改进的混合损失函数应用到所构建的U-Net3+分割网络模型中；

具体的，训练采用了混合损失函数，它是由图像语义分割常用的Dice损失函数Dice Loss的变种Log Cosh Dice Loss和焦点损失函数Focal Loss进行了组合而成。

所说的Dice损失函数Dice Loss定义为：

式中X表示模型对目标图像的预测结果，Y表示目标图像的真实标签。

所说的变种Log Cosh Dice Loss定义为：

L

式中cosh定义为：

所说的焦点损失函数Focal Loss定义为：

L

其中α

式中p表示预测样本属于1的概率(范围为0-1)，y表示标签；

最终混合损失函数定义为：

本发明设计混合损失函数，解决了因遥感图像内类别不均衡导致的分割精度不高的问题。此混合损失函数融合了Dice损失函数和焦点损失函数，图像样本类不平衡问题上得到的改善，提高了遥感语义分割的精度。

步骤四、将预处理好的数据输送到所构建的U-Net3+分割网络模型中，进行模型训练；

具体的，将步骤一中预处理的用于训练的图片输入到所构建的U-Net3+分割网络中，更新网络参数权重，用验证集的图片进行验证，得到网络分割效果，不断保存更优的网络模型，得到最优网络模型。

步骤五、利用训练好的U-Net3+分割网络模型进行遥感影像语义分割，验证U-Net3+分割网络模型的分割效果；

具体的，将步骤一种所划分的测试集图片输入到步骤四所保存的最优网络模型中得到分割效果图，并与实验标签图进行对比，得到分割准确度。

步骤六：图像后处理；

步骤五所得出的分割效果图为灰度图，为更好地体现出各类别在原始图片中所在位置，将所得出的分割效果图按照步骤一切片的位置进行拼接，同时去除掉步骤一中所充填的背景，使图片恢复到尺寸大小6800×7200(像素)，并根据灰度图各类别所在位置映射到原始图片中，得到最终的分割图。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。