一种基于深度学习的高分辨率遥感影像语义分割方法

技术领域

本发明涉及遥感影像处理技术领域，尤其是涉及一种基于深度学习的高分辨率遥感影像语义分割方法。

背景技术

语义分割是计算机视觉领域的关键问题之一，旨在对每个像素进行密集的预测来赋予每个像素所属的类别。同时，在遥感领域，各种语义分割方法被广泛地用于遥感影像分类，在国土信息资源领域，遥感影像语义分割可以为空间规划、国土资源普查提供依据，同时也可应用于灾情评估预测与监测、农业监测与农作物估产等领域。

随着遥感技术的进步，可获取的影像空间分辨率越来越高。高分辨率遥感影像具有较高的空间分辨率，包含丰富的地物信息，地物目标的类间差异降低了，但是其中的“同物异谱”和“异物同谱”现象会使分类的难度变大，一般高分辨率的遥感影像含有较少的光谱信息，能够提取的地物特征会有一定的限制，同时与中、低分辨率的遥感影像相比，高分辨率遥感影像数据量更大、复杂度较高，易受类别不平衡的影响，需要研究比较高效且准确的方法来实现高分遥感影像的语义分割。

目前，应用于遥感影像语义分割的模型主要采用全卷积神经网络，主要以FCN(Fully Convolutional Networks)为代表，由于其能够对输入的影像特征进行由低到高的逐层提取，并能对特征进行整合生成合适的模型，故其在遥感影像语义分割上应用比较广泛。FCN通过上采样过程来还原图像的大小，通过将最后的全连接层更换为卷积层，实现了像素级别的分类。典型反卷积网络如SegNet网络、U-Net网络，两者都是采用编码解码结构，其中上采样部分采用了反卷积，SegNet包含了池化索引结构，U-Net包含了跨层特征融合结构，都能够将位置信息与语义信息结合，对语义分割的完整性有较大的提升。

由于FCN下采样增加感受野的同时会导致特征图的空间分辨率降低，丢失位置信息，导致语义分割的完整性较差，SegNet、U-Net这些网络通常在低层特征与深层特征融合时融合不充分，没能考虑到遥感影像不同地物之间的相关性，导致图像分割的精度较低，分割的完整性也较差。

发明内容

针对现有技术存在的问题，本发明提供一种基于深度学习的高分辨率遥感影像语义分割方法，能够加强各级特征的利用率，充分利用不同地物的上下文信息，提高遥感影像语义分割的精度、效率与完整性。

本发明的技术方案为：

一种基于深度学习的高分辨率遥感影像语义分割方法，其特征在于：包括下述步骤：

步骤1：获取遥感影像初始数据集，并对遥感影像初始数据集中每张遥感图像中的像素点进行地物类别标记，得到遥感影像数据集；

步骤2：对遥感影像数据集进行预处理；所述预处理包括归一化处理、裁剪处理、数据扩增处理；

步骤3：将预处理后的遥感影像数据集按照一定的比例划分为训练数据集、验证数据集；

步骤4：构建基于深度学习的遥感影像语义分割模型包括数据预训练模块、特征编码层、通道特征重校正模块、特征解码层、多级特征提取模块、第一特征融合层、分类模块；所述通道特征重校正模块包括多个通道特征重校正层，所述多级特征提取模块包括多个多级特征提取层，所述特征编码层的第j编码层级与特征解码层的第J-j解码层级的跳跃连接间设置一个通道特征重校正层，所述特征解码层的每一解码层级之后都连接有一个多级特征提取层，每个所述多级特征提取层的输出、所述数据预训练模块的输出均连接到所述第一特征融合层，所述第一特征融合层与所述分类模块连接；其中，j∈{1,2,...,J-1}，J为特征编码层的层级总数；

步骤5：利用训练数据集对所述基于深度学习的遥感影像语义分割模型进行训练，得到最优语义分割模型；

步骤6：采集待语义分割的遥感影像，对待语义分割的遥感影像进行归一化处理、按行和列进行固定步长滑动裁剪处理，将预处理后的待语义分割的遥感影像输入所述最优语义分割模型中，将输出的特征图按照位置关系进行拼接。

进一步的，所述步骤2包括下述步骤：

步骤2.1：对所述遥感影像数据集中的每张遥感图像采用Min-Max标准化方法进行归一化处理，具体的，对于原始遥感图像中所有像素点的灰度值组成的序列{x

其中，x

步骤2.2：对归一化处理后的遥感图像采用随机滑动窗口的方法进行批量裁剪；

步骤2.3：对裁剪得到的图像采用OpenCV进行数据扩增，所述数据扩增的方法为随机选择旋转90°、随机旋转180°、随机旋转270°、伽马变换中的一种或多种。

进一步的，所述数据预训练模块包括四个并行的网络层、第二特征融合层；

第一个网络层包括依次连接的1×1卷积层、批归一化层、线性整流函数层、3×3卷积层、批归一化层、线性整流函数层、3×3卷积层、批归一化层、线性整流函数层；

第二个网络层包括依次连接的1×1卷积层、批归一化层、线性整流函数层、3×3卷积层、批归一化层、线性整流函数层；

第三个网络层包括依次连接的3×3最大池化层、1×1卷积层、批归一化层、线性整流函数层；

第四个网络层包括1×1卷积层、批归一化层、线性整流函数层；

原始输入图像输入每个网络层，每个网络层的输出连接第二特征融合层的输入。

进一步的，所述特征编码层包括依次相连的第一编码层级、第二编码层级、第三编码层级、第四编码层级、第五编码层级，第j∈{1,2,...,J-1}个编码层级包括依次相连的残差块、下采样层；

所述第一编码层级的残差块的结构为在依次连接的两个卷积单元的基础上添加残差连接，所述卷积单元包括依次连接的3×3卷积层、批归一化层、线性整流函数层，所述第一编码层级的残差连接为第一编码层级的输入通过1×1卷积层处理后与第一编码层级的第二个卷积单元的批归一化层的输出进行对应通道像素叠加、再输入到第一编码层级的第二个卷积单元的线性整流函数层；

所述第二编码层级的残差块与第一编码层级的残差块结构相同；

所述第三编码层级的残差块的结构为在依次连接的三个卷积单元的基础上添加残差连接，所述第三编码层级的残差连接为第三编码层级的输入通过1×1卷积层处理后与第三编码层级的第三个卷积单元的批归一化层的输出进行对应通道像素叠加、再输入到第三编码层级的第三个卷积单元的线性整流函数层；

所述第四编码层级的残差块与第三编码层级的残差块结构相同；

所述下采样层包括3×3最大池化层；

所述第五编码层级包括依次连接的2个3×3卷积层。

进一步的，所述特征解码层包括依次相连的第一解码层级、第二解码层级、第三解码层级、第四解码层级，每个解码层级均包括依次相连的上采样层、第三特征融合层、残差块；

每个解码层级的残差块的结构均为在一个卷积单元的基础上添加残差连接，每个解码层级的残差连接均为该解码层级的第三特征融合层的输出通过1×1卷积层处理后与该解码层级的卷积单元的批归一化层的输出进行对应通道像素叠加、再输入到该解码层级的卷积单元的线性整流函数层；

所述上采样层包括3×3转置卷积层；

所述第五编码层级与第一解码层级连接；

所述特征编码层的第j编码层级通过一个通道特征重校正层与特征解码层的第J-j解码层级的第三特征融合层连接。

进一步的，每个所述通道特征重校正层进行通道特征重校正的具体过程均为：首先对给定的输入特征图X∈R

进一步的，第j∈{1,2,...,J-2}解码层级之后连接的多级特征提取层包括依次连接的上采样层、1×1卷积层，第J-1解码层级之后连接的多级特征提取层包括1×1卷积层，每个上采样层均采用双线性插值方式进行上采样。

进一步的，每个特征融合层的特征融合方式均为concatenate；所述第一特征融合层将每个所述多级特征提取层输出的特征图与所述数据预训练模块输出的特征图进行通道级联，即进行横向或纵向空间上的叠加。

进一步的，所述分类模块包括一个softmax函数，用于将分类结果表示为标签空间的概率分布，具体为：

假设所分割的地物类别数为l，对于给定输入Y＝(y

其中，

进一步的，所述步骤5中，在训练过程中，计算分类模块的损失函数来进行模型参数的更新，得到最优语义分割模型；其中所使用的损失函数为

其中，S

本发明的有益效果为：

(1)本发明通过数据预训练模块进行基础特征的提取，主体网络都采用残差连接方式，具体地在特征编码层与特征解码层部分均通过恒等映射的残差结构来实现初始输入与卷积后输出特征图的叠加，能够减少训练参数量，加快网络的收敛速度与训练速度，解决了网络加深时导致的“梯度消失”问题，而且特征编码层与特征解码层的特征通过跨层连接的方式进行特征融合，逐级加强了各级特征的利用率，更好地融合了浅层的空间信息和深层的语义信息。

(2)本发明在特征编码层的各编码层级之后分别添加一个通道特征重校正层，对特征编码层四个层级输出的特征图进行特征通道权重的重新分配，能够有效提高重要特征的利用率，抑制无效特征的比重，克服地物混合等状况的干扰，提高遥感影像语义分割的精度。

(3)本发明在特征解码层的各解码层级之后分别添加一个多级特征提取层，多级特征提取层能够获取解码阶段四个层级的特征图，四个层级的特征图分别包含不同感受野的特征图，通过将不同尺度的特征图进行上采样之后与预训练的特征图进行特征融合，能够充分利用多尺度特征的上下文信息，并且融合后的特征空间信息较为丰富，能够提高最终分割的完整性，减少错分、漏分的现象。

附图说明

图1为本发明的基于深度学习的高分辨率遥感影像语义分割方法的流程图。

图2为具体实施方式中采用随机滑动窗口方法对遥感图像进行批量裁剪的示意图。

图3为具体实施方式中本发明的基于深度学习的遥感影像语义分割模型的结构示意图。

图4为具体实施方式中数据预训练模块的结构示意图。

图5为具体实施方式中第一编码层级的残差块的结构示意图。

图6为具体实施方式中第三编码层级的残差块的结构示意图。

图7为具体实施方式中每个解码层级的结构示意图。

图8为具体实施方式中通道特征重校正层的结构示意图。

图9为具体实施方式中多级特征提取模块的结构示意图。

图10为具体实施方式中第一特征融合层的融合方式示意图。

具体实施方式

下面将结合附图和具体实施方式，对本发明作进一步描述。

如图1所示，本发明的基于深度学习的高分辨率遥感影像语义分割方法，包括下述步骤：

步骤1：获取遥感影像初始数据集，并对遥感影像初始数据集中每张遥感图像中的像素点进行地物类别标记，得到遥感影像数据集。

步骤2：对遥感影像数据集进行预处理；所述预处理包括归一化处理、裁剪处理、数据扩增处理。

本实施例中，步骤2包括下述步骤：

步骤2.1：对所述遥感影像数据集中的每张遥感图像采用Min-Max标准化方法进行归一化处理，具体的，对于原始遥感图像中所有像素点的灰度值组成的序列{x

其中，x

遥感影像数据分布存在较大的差异，通过上述的归一化处理能将数据映射到0-1的范围之内，可以加快模型的收敛速度同时提高其精度。

步骤2.2：如图2所示，对归一化处理后的遥感图像采用随机滑动窗口的方法进行批量裁剪。

遥感影像一般尺寸较大，难以直接输入到网络模型中进行训练，通过上述裁剪处理能够将遥感影像裁剪成适合输入模型的尺寸。

步骤2.3：对裁剪得到的图像采用OpenCV进行数据扩增，所述数据扩增的方法为随机选择旋转90°、随机旋转180°、随机旋转270°、伽马变换中的一种或多种。

通过上述数据扩增处理，能够使得获取的图像数量满足训练的需求。

步骤3：将预处理后的遥感影像数据集按照一定的比例划分为训练数据集、验证数据集。

本实施例中，采用4:1的比例将预处理后的遥感影像数据集划分为训练数据集、验证数据集。

步骤4：如图3所示，构建基于深度学习的遥感影像语义分割模型包括数据预训练模块Inception V2、特征编码层、通道特征重校正模块、特征解码层、多级特征提取模块、第一特征融合层FS、分类模块；所述通道特征重校正模块包括多个通道特征重校正层SE，所述多级特征提取模块包括多个多级特征提取层MFE，所述特征编码层的第j编码层级与特征解码层的第J-j解码层级的跳跃连接间设置一个通道特征重校正层SE，所述特征解码层的每一解码层级之后都连接有一个多级特征提取层MFE，每个所述多级特征提取层MFE的输出、所述数据预训练模块Inception V2的输出均连接到所述第一特征融合层FS，所述第一特征融合层FS与所述分类模块连接；其中，j∈{1,2,...,J-1}，J为特征编码层的层级总数。

在本发明的遥感影像语义分割模型中：首先通过数据预训练模块Inception V2实现特征的初步提取，然后将提取的特征图输入到网络的特征编码层中进行进一步的特征提取，之后将提取的特征经过特征解码层进行图像尺寸还原，将特征编码层各个部分的特征图先经过通道特征重校正之后获得带权重的通道特征图，之后将各级特征图与特征解码层的特征图通过跨层连接的方式进行特征级联，级联之后的特征图进入多级特征提取模块，将多级特征与经过数据预训练模块Inception V2的特征图输入到第一特征融合层FS进行特征融合，最后将融合后的特征图输入到分类模块中，根据分类模块中损失函数来进行模型参数的更新。

图3至图10中，INPUT代表原始输入，Conv代表卷积层，BatchNorm代表批归一化层，RELU代表线性整流函数层，Pool代表最大池化层，Concatenate代表特征融合方式为concatenate的特征融合层，UPSAMPLING代表上采样层，OUTPUT代表模型输出。

本实施例中，如图4所示，所述数据预训练模块包括四个并行的网络层、第二特征融合层；

第一个网络层包括依次连接的1×1卷积层、批归一化层、线性整流函数层、3×3卷积层、批归一化层、线性整流函数层、3×3卷积层、批归一化层、线性整流函数层；

第二个网络层包括依次连接的1×1卷积层、批归一化层、线性整流函数层、3×3卷积层、批归一化层、线性整流函数层；

第三个网络层包括依次连接的3×3最大池化层、1×1卷积层、批归一化层、线性整流函数层；

第四个网络层包括1×1卷积层、批归一化层、线性整流函数层；

原始输入图像输入每个网络层，每个网络层的输出连接第二特征融合层的输入。

如下表1所示，J＝5，特征编码层包括依次相连的第一编码层级CONV1、第二编码层级CONV2、第三编码层级CONV3、第四编码层级CONV4、第五编码层级CONV5，第j∈{1,2,...,J-1}个编码层级包括依次相连的残差块、下采样层。本实施例中，输入尺寸为256×256×3。

如图5所示，所述第一编码层级CONV1的残差块的结构为在依次连接的两个卷积单元的基础上添加残差连接，所述卷积单元包括依次连接的3×3卷积层、批归一化层、线性整流函数层，所述第一编码层级CONV1的残差连接为第一编码层级CONV1的输入通过1×1卷积层处理后与第一编码层级CONV1的第二个卷积单元的批归一化层的输出进行对应通道像素叠加、再输入到第一编码层级CONV1的第二个卷积单元的线性整流函数层；

所述第二编码层级CONV2的残差块与第一编码层级CONV1的残差块结构相同；

如图6所示，所述第三编码层级CONV3的残差块的结构为在依次连接的三个卷积单元的基础上添加残差连接，所述第三编码层级CONV3的残差连接为第三编码层级CONV3的输入通过1×1卷积层处理后与第三编码层级CONV3的第三个卷积单元的批归一化层的输出进行对应通道像素叠加、再输入到第三编码层级CONV3的第三个卷积单元的线性整流函数层；

所述第四编码层级CONV4的残差块与第三编码层级CONV3的残差块结构相同；

所述下采样层包括3×3最大池化层max pool；

所述第五编码层级CONV5包括依次连接的2个3×3卷积层。

表1

如下表2所示，所述特征解码层包括依次相连的第一解码层级UP CONV1、第二解码层级UP CONV2、第三解码层级UP CONV3、第四解码层级UP CONV4，每个解码层级均包括依次相连的上采样层、第三特征融合层、残差块；

如图7所示，每个解码层级的残差块的结构均为在一个卷积单元的基础上添加残差连接，每个解码层级的残差连接均为该解码层级的第三特征融合层的输出通过1×1卷积层处理后与该解码层级的卷积单元的批归一化层的输出进行对应通道像素叠加、再输入到该解码层级的卷积单元的线性整流函数层；

所述上采样层包括3×3转置卷积层trans Conv；

所述第五编码层级CONV5与第一解码层级UP CONV1连接；

所述特征编码层的第j编码层级通过一个通道特征重校正层与特征解码层的第J-j解码层级的第三特征融合层连接。

特征解码层的输出为各个层级的整体特征图，四个层级输出的特征图分别为特征图UPD_1、特征图UPD_2、特征图UPD_3和特征图UPD_4。

表2

如图8所示，每个所述通道特征重校正层SE进行通道特征重校正的具体过程均为：首先对给定的输入特征图X∈R

如图9所示，第一解码层级UPCONV1、第二解码层级UPCONV2、第三解码层级UPCONV3之后连接的多级特征提取层MFE(MultiFeature Extraction)均包括依次连接的上采样层、1×1卷积层，上采样倍数分别为8、4、2，每个上采样层均采用双线性插值方式进行上采样；第四解码层级UPCONV4之后连接的多级特征提取层MFE包括1×1卷积层。

本实施例中，每个特征融合层的特征融合方式均为concatenate。如图10所示，第一特征融合层FS(Feature Fusion)将每个所述多级特征提取层MFE输出的特征图与所述数据预训练模块InceptionV2输出的特征图进行通道级联，即进行横向或纵向空间上的叠加，以加强各级通道特征图的联系。

本实施例中，分类模块包括一个softmax函数，用于将分类结果表示为标签空间的概率分布，具体为：

假设所分割的地物类别数为l，对于给定输入Y＝(y

其中，

步骤5：利用训练数据集对所述基于深度学习的遥感影像语义分割模型进行训练，得到最优语义分割模型。

本实施例中，在训练过程中，计算分类模块的损失函数来进行模型参数的更新，得到最优语义分割模型；其中所使用的损失函数为

其中，S

步骤6：采集待语义分割的遥感影像，对待语义分割的遥感影像进行归一化处理、按行和列进行固定步长滑动裁剪处理，将预处理后的待语义分割的遥感影像输入所述最优语义分割模型中，实现遥感影像端对端的输出，将输出的特征图按照位置关系进行拼接。

显然，上述实施例仅仅是本发明的一部分实施例，而不是全部的实施例。上述实施例仅用于解释本发明，并不构成对本发明保护范围的限定。基于上述实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，也即凡在本申请的精神和原理之内所作的所有修改、等同替换和改进等，均落在本发明要求的保护范围内。