遥感图像分割方法及改进型DeepLabv3+神经网络

技术领域

本申请涉及图像处理技术领域，具体而言涉及遥感图像分割方法及改进型DeepLabv3+神经网络。

背景技术

基于卷积神经网络对遥感影像中感兴趣区域进行分割已经得到广泛的应用，常用的分割模型有U-Net，DeepLab等。其中DeepLabV3+是一种深度学习模型，用于图像分割。图像分割是指将图像划分为不同的区域，并为每个区域分配一个标签。这种技术可以用于自动提取图像中的物体轮廓，或者将图像中的不同部分分开来。

DeepLabv3+是一个语义分割网络，它是在DeepLabv3的基础上增加了一个Decoder模块，用于细化分割结果，尤其是目标对象边界的分割结果。最原始的DeepLabv3+的编码器为ResNet或Xception。

DeepLabV3+的编码器使用了ASPP(空洞卷积平行池化层)模块来提取全局上下文信息。这样，即使在图像中的某些部分缺失或噪声较大的情况下，DeepLabV3+仍然可以准确地分割出图像中的物体。

但是，标准的DeepLabV3+模型的编码器由于采用ResNet模型或Xception模型需要较大的算力，对遥感影像的提取效果不够理想。

发明内容

有鉴于此，为解决上述技术问题，本申请提供遥感图像分割方法以及改进型DeepLabv3+神经网络。

为了解决上述技术问题，本申请采用的一个技术方案是提供了一种遥感图像分割方法，该遥感图像分割方法包括：

获取遥感图像；

对遥感图像进行第一数据预处理；

利用经过训练的改进型DeepLabv3+神经网络对第一数据预处理后的遥感图像进行语义分割，以得到遥感图像的目标语义分割图；

其中，改进型DeepLabv3+神经网络包括顺次连接的编码器子网络和解码器子网络，编码器子网络的组成架构包括顺次连接且与RegNetY-040模型中的对应模块的组成架构相同的第一卷积层、第一批归一化层、四个stage模块和第一ReLU激活函数；解码器子网络的组成架构与原始DeepLabv3+神经网络的解码器的组成架构相同；解码器子网络的输出为改进型DeepLabv3+神经网络的输出。

为了解决上述技术问题，本申请采用的一个技术方案是提供了一种改进型DeepLabv3+神经网络，该改进型DeepLabv3+神经网络包括顺次连接的编码器子网络和解码器子网络，编码器子网络的组成架构包括顺次连接且与RegNetY-040模型中的对应模块的组成架构相同的第一卷积层、第一批归一化层、四个stage模块和第一ReLU激活函数；解码器子网络的组成架构与原始DeepLabv3+神经网络的解码器的组成架构相同；解码器子网络的输出为改进型DeepLabv3+神经网络的输出。

有益效果：区别于现有技术，本申请中，编码器子网络的组成架构包括顺次连接且与RegNetY-040模型中的对应模块的组成架构相同的第一卷积层、第一批归一化层、四个stage模块和第一ReLU激活函数，即编码器子网络被设计为如同RegNetY模型的轻量级模型，能够高效地运行在资源受限的设备上。且编码器子网络如同RegNetY采用了“残差模块”的结构，通过残差连接能够提高模型的准确率。与其他深度神经网络架构不同，本申请中编码器子网络如同RegNetY模型一样，其设计参数(例如每个残差模块的深度和宽度)是由数据驱动的，这使得它能够根据特定任务的需要进行微调。此外，本申请中编码器子网络如同RegNetY一样，还采用了“自适应跨度”的技术，使模型能够更好地处理不同尺度的特征。因此，相比于Xception模型，本申请的编码器子网络能在多种计算机视觉任务中都表现优异，并且能够以较小的模型大小达到较高的准确率。从而能够提高改进型的DeepLabV3+神经网络对遥感图像的提取效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明遥感图像分割方法中的改进型DeepLabv3+神经网络的测试流程示意图；

图2是本发明遥感图像分割方法中的改进型DeepLabv3+神经网络的训练流程示意图；

图3是本发明遥感图像分割方法中的改进型DeepLabv3+神经网络的结构示意图；

图4是本发明遥感图像分割方法中的改进型DeepLabv3+神经网络的编码器子网络中的四个stage模块、第二卷积层和ASPP模块的连接结构示意图；

图5是本发明遥感图像分割方法中的改进型DeepLabv3+神经网络的编码器子网络中四个stage模块中任意一个stage模块的第一个block模块的简画结构示意图；

图6是本发明遥感图像分割方法中的改进型DeepLabv3+神经网络的编码器子网络中四个stage模块中任意一个stage模块的其余block模块的简画结构示意图；

图7是本发明遥感图像分割方法中的改进型DeepLabv3+神经网络的编码器子网络中四个stage模块中任意一个stage模块的第一个block模块的结构示意图；

图8是本发明遥感图像分割方法中的改进型DeepLabv3+神经网络的编码器子网络中四个stage模块中任意一个stage模块的其余block模块的结构示意图。

附图标记说明：

10、改进型DeepLabv3+神经网络；100、编码器子网络；200、解码器子网络；300、第二卷积层；400、第二批归一化层；500、第二ReLU激活函数；

110、第一卷积层；120、第一批归一化层；130、四个stage模块；140、第一ReLU激活函数；

131、第一stage模块；132、第二stage模块；133、第三stage模块；134、第四stage模块；

20、block模块一；21、第一主分支；21-1、第三卷积层；21-2、第一组卷积层；21-3、第四卷积层；22、第一捷径分支；22-1、第五卷积层；22-2、第六批归一化层；23、第三ReLU激活函数；21-4、第三批归一化层；21-5、第四ReLU激活函数；21-6、第四批归一化层；21-7、第五ReLU激活函数；21-8、第五批归一化层；

24、第三主分支；24-1、第八卷积层；24-2、第六ReLU激活函数；24-3、第九卷积层；24-4、第一Sigmoid激活函数；25、第三捷径分支；26、第一add函数；

30、block模块二；31、第二主分支；31-1、第六卷积层；31-2、第二组卷积层；31-3、第七卷积层；32、第二捷径分支；33、第七ReLU激活函数；31-4、第七批归一化层；31-5、第八ReLU激活函数；31-6、第八批归一化层；31-7、第九ReLU激活函数；31-8、第九批归一化层；

34、第四主分支；34-1、第十卷积层；34-2、第十ReLU激活函数；34-3、第十一卷积层；34-4、第二Sigmoid激活函数；35、第四捷径分支；36、第二add函数；

210、ASPP模块；220、第一上采样层；230、第一连接函数；240、第一block模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

请参阅图1，本发明遥感图像分割方法包括步骤S110至步骤S130。

步骤S110：获取遥感图像。

步骤S120：对遥感图像进行第一数据预处理。

具体地，可以通过数据预处理模块对遥感图像进行第一数据预处理，第一数据预处理包括对遥感图像进行上采样和/或数据增强。该数据增强包括但不限于形态变化、像素值变化和复制粘贴增强中的一种或多种。其中，形态变化包括但不限于翻转、旋转和缩放中的至少一种或多种。像素值变化包括但不限于亮度变换和对比度增强中的至少一种或多种。复制粘贴增强包括但不限于为随机抽取另一遥感图像，并将该抽取的遥感图像中的变化区域以对象的方式粘贴到当前获取的遥感图像中。

步骤S130：利用经过训练的改进型DeepLabv3+神经网络对第一数据预处理后的遥感图像进行语义分割，以得到遥感图像的目标语义分割图。

其中，在一示例中，目标语义分割图可以是遥感图像中的道路区域的提取图像。在另一示例中，目标语义分割图可以是遥感图像中河道区域的提取图像。在还一示例中，目标语义分割图可以是遥感图像中的居民区的提取图像。如上但，不限于此，在其他示例中，目标语义分割图可以是遥感图像中的其他区域的提取图像。

其中，结合图1参阅图3，改进型DeepLabv3+神经网络10包括顺次连接的编码器子网络100和解码器子网络200。编码器子网络100的组成架构包括顺次连接且与RegNetY-040模型中的对应模块的组成架构相同的第一卷积层110、第一批归一化层120、四个stage模块130和第一ReLU激活函数140。解码器子网络200的组成架构与原始DeepLabv3+神经网络的解码器的组成架构相同。解码器子网络200的输出为改进型DeepLabv3+神经网络10的输出。

通过上述方式，在本实施例中，编码器子网络100的组成架构包括顺次连接且与RegNetY-040模型中的对应模块的组成架构相同的第一卷积层110、第一批归一化层120、四个stage模块130和第一ReLU激活函数140，即编码器子网络100被设计为如同RegNetY模型的轻量级模型，能够高效地运行在资源受限的设备上。且编码器子网络100如同RegNetY采用了“残差模块”的结构，通过残差连接能够提高模型的准确率。与其他深度神经网络架构不同，本申请中编码器子网络100如同RegNetY模型一样，其设计参数(例如每个残差模块的深度和宽度)是由数据驱动的，这使得它能够根据特定任务的需要进行微调。此外，本申请中编码器子网络100如同RegNetY一样，还采用了“自适应跨度”的技术，使模型能够更好地处理不同尺度的特征。因此，相比于Xception模型，本申请的编码器子网络100能在多种计算机视觉任务中都表现优异，并且能够以较小的模型大小达到较高的准确率。从而能够提高改进型的DeepLabV3+神经网络对遥感图像的提取效果。

在步骤S130之后还可以包括步骤S140：对得到的目标语义分割图进行形态学处理，将位图型的目标语义分割图转换为矢量型的目标语义分割图。

其中，所谓矢量型的目标语义分割图是指，用直线和曲线来描绘的电子地图，该电子地图中的元素包括但不限于点、线、矩形、多边形、圆和弧线等等。如此，使得目标语义分割图在矢量型态下能够更为形象的展示。

实施例2

进一步地，在实施例1的基础上进行改进，结合图1参阅图3-图4，其改进点在于，四个stage模块130为顺次连接且与RegNetY-040模型中的对应模块的组成架构相同的第一stage模块131、第二stage模块132、第三stage模块133和第四stage模块134。解码器子网络200的组成架构包括顺次连接且与RegNetY-040模型中的对应模块的组成架构相同的ASPP模块210、第一上采样层220、第一连接函数230和第一block模块240。

第一stage模块131的组成架构由2个顺次连接的block模块组成。第二stage模块132的组成架构由6个顺次连接的block模块组成。第三stage模块133的组成架构由12个顺次连接的block模块组成。第四stage模块134的组成架构由2个顺次连接的block模块组成。

其中，第四stage模块134的最后一个block模块的输出为ASPP模块210的输入，第一stage模块131的最后一个block模块的输出顺次通过第二卷积层300、第二批归一化层400和第二ReLU激活函数500后与第一上采样层220的输出作为第一连接函数230的输入。第一block模块240的输出为改进型DeepLabv3+神经网络10的输出。

通过上述方式，在本实施例中，不仅能够提高提取语义信息的能力，且不会增加太多计算量。

实施例3

在实施例2的基础上进行改进，结合图1、图3-图4参阅图5-图6，其改进点在于，第一卷积层110采用3x3的卷积核且步长为2。第一至第四stage模块134中任意一个stage模块的第一个block模块为block模块一20，该block模块一20的步长为2且包括第一主分支21、第一捷径分支22和第一add函数26。第一主分支21和第一捷径分支22的输入端均与block模块一20的输入端连接。第一主分支21的输出和第一捷径分支22的输出为第一add函数26的输入，第一add函数26的输出为所属的block模块一20的输出。第一主分支21包括顺次连接的第三卷积层21-1、第一组卷积层21-2和第四卷积层21-3。第一捷径分支22包括第五卷积层22-1；其中，第三卷积层21-1和第四卷积层21-3均采用1×1的卷积核且步长为1，第一组卷积层21-2采用3×3的卷积核且步长为2，第五卷积层22-1采用1×1的卷积核且步长为2。

一般地，捷径分支根据所属的block模块的步长的不同进行不同的处理，由于第一捷径分支22所属的block模块一20的步长为2，所以第一捷径分支22通常通过其内的第五卷积层22-1对输入的特征矩阵进行下采样，以缩小特征矩阵的分辨率，使输出的特征矩阵的分辨率为输入的特征矩阵的分辨率的一半。

此外，由于第一捷径分支22所属的block模块一20的步长为2，所以第一捷径分支22所属的block模块一20的输入的特征矩阵的通道数量、第一捷径分支22所属的block模块一20的输出的特征矩阵的通道数量、以及第一捷径分支22所属的block模块一20的瓶颈比例满足关系式(1)，其中关系式(1)为：

其中，w

通过上述方式，在本实施例中，由于block模块一20的步长为2，如此可以使得输入的特征矩阵的空间尺寸减半，从而减少计算量。由于第三卷积层21-1和第四卷积层21-3均采用1×1的卷积核且步长为1，如此可以在不改变输入的特征矩阵的空间尺寸的情况下，改变通道数量，增加模型的非线性。由于第一组卷积层21-2采用3×3的卷积核且步长为2，如此可以在减少特征矩阵空间尺寸的同时提取局部特征。由于第五卷积层22-1采用1×1的卷积核且步长为2，如此可以在减少特征矩阵的空间尺寸的同时改变通道数量。实施例3中的上述特征相互协作、共同配合，以能够提高对遥感图像的提取效果。

进一步地，第一stage模块131至第四stage模块134中任意一个stage模块的其余block模块为block模块二30，该block模块二30的步长为1且包括第二主分支31、第二捷径分支32和第二add函数36。第二主分支31和第二捷径分支32的输入端均与block模块二30的输入端连接。第二主分支31的输出和第二捷径分支32的输出为第二add函数36的输入，第二add函数36的输出为所属的block模块二30的输出。第二主分支31包括顺次连接的第六卷积层31-1、第二组卷积层31-2和第七卷积层31-3。第二捷径分支32不包括卷积层。其中，第六卷积层31-1和第七卷积层31-3均采用1×1的卷积核且步长为1，第二组卷积层31-2采用3×3的卷积核且步长为1。

一般地，捷径分支根据所属的block模块的步长的不同进行不同的处理，由于第二捷径分支32所属的block模块二30的步长为1，所以第二捷径分支32通常不对输入的数据进行处理，而是直接输出，从而输入的数据的分辨率与输出的数据的分辨率相同。

此外，由于第二捷径分支32所属的block模块二30的步长为1，所以第二捷径分支32所属的block模块二30的输入的特征矩阵的通道数量以及第二捷径分支32所属的block模块二30的输出的特征矩阵的通道数量满足关系式(2)，其中关系式(2)为：

w

其中，w

通过上述方式，在本实施例中，由于block模块二30的步长为1，如此可以保持特征矩阵的空间尺寸不变。由于第六卷积层31-1和第七卷积层31-3均采用1×1的卷积核且步长为1，如此可以在不改变特征矩阵的空间尺寸的情况下改变通道数量，增加模型的非线性。由于第二组卷积层31-2采用3×3的卷积核且步长为1，如此可以在保持特征矩阵的空间尺寸不变的同时提取局部特征。

实施例4

在实施例3的基础上进行改进，结合图1、图3-图6参阅图7-图8，其改进点在于，第三卷积层21-1、第一组卷积层21-2、第四卷积层21-3、第六卷积层31-1、第二组卷积层31-2和第七卷积层31-3的后面均连接有批归一化层和ReLU激活函数。如此，能够提高改进型DeepLabv3+神经网络10的性能。

实施例5

在实施例1-4任意一项的基础上进行改进，结合图1参阅图2，其改进点在于，步骤S130之前包括步骤S101至步骤S104。

步骤S101：建立改进型DeepLabv3+神经网络。

其中，改进型DeepLabv3+神经网络10的具体组成架构可以参阅前述实施例中的相关记载，在此不再赘述。

步骤S102：获取遥感图像的训练集及对应的标注集；训练集中的遥感图像在标注集中具有对应的人工标注的真值语义分割图。

具体地，所谓人工标注的真值语义分割图即可以是由专业的人员通过手动标注获得的目标区域的分割图。手动标注包括但不限于专业的图像处理软件根据人工的输入的绘图操作绘制出目标区域的分割图。

步骤S103：对训练集中的遥感图像进行第二数据预处理。

其中，第二数据预处理包括对遥感图像进行包括上采样和数据增强。第二数据预处理可以与第一数据预处理采用相同的步骤，在此不再赘述。

步骤S104：将第二数据预处理后的遥感图像输入改进型DeepLabv3+神经网络中对改进型DeepLabv3+神经网络进行训练。

进一步地，步骤S104包括步骤S11至步骤S12。

步骤S11：利用改进型DeepLabv3+神经网络对第二数据预处理后的遥感图像进行语义分割，得到遥感图像的预测语义分割图。

步骤S12：采用损失函数计算遥感图像的预测语义分割图与对应的人工标注的真值语义分割图之间的损失，并通过反向传播算法优化神经网络的参数。

可选地，损失函数可以采用DICE损失，DIOE损失满足关系式(3)，关系式(3)为：

其中，loss为DICE损失，X为预测语义分割图，Y为真值语义分割图，|X∩Y|为预测语义分割图与真值语义分割图相交部分像素总数，|X|为预测语义分割图中的像素总数，|Y|为真值语义分割图中的像素总数。

采用DICE损失的原因为在训练数据中可能存在类别不均衡问题，目标所占像素比例较小导致模型的学习倾向于背景类，而DICE损失可以缓解这种情况。

可选地，考虑到仅采用DICE损失可能导致训练过程不稳定，可考虑在损失函数引入带权重的交叉熵损失，带权重的交叉熵损失满足关系式(4)，关系式(4)为：

其中，L为带权重的交叉熵损失，w

其中，N为预测语义分割图的像素总数，N

因此，优选地，损失函数为带权重的交叉熵损失和DICE损失两者的联合损失，该联合损失满足关系式(6)，关系式(6)为：

L

其中，L

可选地，通过反向传播算法优化神经网络的参数的步骤包括：采用AdamW优化器优化神经网络的参数且采用带预热的余弦退火调整学习率。如此，能够提高模型训练初期的稳定性以及避免在整个训练过程中模型陷入局部最低点。

实施例6

在实施例1-5任意一项的基础上进行改进，其改进点在于，步骤S110与步骤S120之间进一步包括步骤S111a，且步骤S120进一步包括步骤S120a，且步骤S130进一步包括步骤S131a至步骤S132a。具体如下。

步骤S110：获取遥感图像。

步骤S111a：对获取的遥感图像进行有重叠分块处理，得到N个图像子块；图像子块包括中间区和外围区，中间区设置于外围区内，在遥感图像中分布区域相邻的两图像子块的中间区之间的外围区是相同的。

步骤S120a：对N个图像子块分别进行第一数据预处理。

步骤S131a：利用经过训练的改进型DeepLabv3+神经网络依次对第一数据预处理后的N个图像子块分别进行语义分割，以得到N个图像子块的目标语义分割图。

步骤S132a：获取N个图像子块的中间区并按照N个图像子块在遥感图像中对应的相对分布位置进行拼接，得到遥感图像的目标语义分割图。

通过上述方式，现将先将遥感图像有重叠分块处理，再对得到的N个图像子块分别进行语义分割，如此能够减少单次进行语义分割的图像尺寸。且采用有重叠分块处理，能够保留图像子块的中间区的边缘像素的上下文信息，从而能够提高图像子块的中间区的边缘像素的识别精度。

实施例7

本发明提供一种改进型DeepLabv3+神经网络，该改进型DeepLabv3+神经网络与上述的改进型DeepLabv3+神经网络10相同，对上述已经描述过的部分，不在进行赘述。

以下，结合图5参阅图7，对block模块一20进行更为详细的说明。

结合图5参阅图7，第三卷积层21-1和第五卷积层22-1均通过第三ReLU激活函数23与所属的block模块一20的输入连接。第三卷积层21-1与第一组卷积层21-2之间顺次连接有第三批归一化层21-4和第四ReLU激活函数21-5。第一组卷积层21-2之后顺次连接有第四批归一化层21-6和第五ReLU激活函数21-7。第五ReLU激活函数21-7与第四卷积层21-3之间分别连接有第三主分支24和第三捷径分支25。第三主分支24包括顺次连接的mean函数、第八卷积层24-1、第六ReLU激活函数24-2、第九卷积层24-3和第一Sigmoid激活函数24-4。第三捷径分支25不包括卷积层。第四卷积层21-3通过mul函数分别与第三主分支24和第三捷径分支25连接。第四卷积层21-3之后连接有第五批归一化层21-8，第三捷径分支25包括在第五卷积层22-1之后连接有的第六批归一化层22-2，且第五批归一化层21-8的输出与第六批归一化层22-2的输出为第一add函数26的输入，第一add函数26的输出为所属的block模块一20的输出。其中，第八卷积层24-1采用1×1的卷积核且步长为1，第九卷积层24-3采用1×1的卷积核且步长为1。

通过上述方式，在本实施例中，不仅能够提高提取语义信息的能力，还能够降低计算量。

以下，结合图6参阅图8，对block模块二30进行更为详细的说明。

结合图6参阅图8，第六卷积层31-1和第七卷积层31-3均通过第七ReLU激活函数33与所属的block模块二30的输入连接。第六卷积层31-1与第二组卷积层31-2之间顺次连接有第七批归一化层31-4和第八ReLU激活函数31-5。第二组卷积层31-2之后顺次连接有第八批归一化层31-6和第九ReLU激活函数31-7。第九ReLU激活函数31-7与第七卷积层31-3之间分别连接有第四主分支34和第四捷径分支35。第四主分支34包括顺次连接的mean函数、第十卷积层34-1、第十ReLU激活函数34-2、第十一卷积层34-3和第二Sigmoid激活函数34-4。第四捷径分支35不包括卷积层。第七卷积层31-3通过mul函数分别与第四主分支34和第四捷径分支35连接。第七卷积层31-3之后连接有第九批归一化层31-8，且第九批归一化层31-8的输出与第四捷径分支35的输出为第二add函数36的输入，第二add函数36的输出为所属的block模块二30的输出。其中，第十卷积层34-1采用1×1的卷积核且步长为1，第十一卷积层34-3采用1×1的卷积核且步长为1。

通过上述方式，在本实施例中，不仅能够提高提取语义信息的能力，还能够降低计算量。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。