基于半监督学习的轻量级遥感图像分割方法

技术领域

本发明涉及计算机视觉与图像分割的技术领域，特别是指一种基于半监督学习的轻量级遥感图像分割方法。

背景技术

语义分割作为计算机视觉领域的重要研究方向，具有广泛的应用前景。随着遥感技术和卫星遥感数据的迅猛发展，获取大规模高分辨率遥感图像的能力显著提升，这为地表物体的精细识别和监测提供了丰富的数据资源。但是，遥感图像中包含的信息庞大且复杂，传统的图像处理和分析方法往往无法满足对地物进行准确、高效分类的需求。在此背景下，遥感语义分割成为一项关键技术，旨在实现对遥感图像中每个像素的精准分类，从而提供详细的地物信息。这对于土地利用规划、资源管理、环境监测等领域具有重要的实际应用价值。然而，对于高分辨率的遥感图像来说，大量像素级别训练数据集的标注是极其困难的工作，需要耗费人工大量的时间、精力。

半监督学习提供了一种有效的方式，通过充分利用有标签数据和大量的无标签数据来训练模型，从而在相对较小的有标签数据集上取得更好的性能，并且具有更强的泛化能力。交互式分割方法可以大致的分为传统的方法和基于深度学习的方法。大多数传统的半监督学习方法都是基于生成伪标签对无标签数据进行监督，生成伪标签的质量高低对于模型的训练有着巨大影响，而基于一致性正则化的半监督学习能很好的规避这一问题。另一方面，遥感语义分割技术的主要应用场景侧重于边缘计算，例如，在自动驾驶汽车和救灾无人机等需要迅速响应和计算资源有限的设备中，遥感图片高分辨率的特点和复杂模型所带来的庞大计算量满足不了实际应用场景的要求，因此，轻量化的遥感图像分割模型具有重要的研究意义。

发明内容

本发明的目的在于克服现有技术的不足，提供一种能够明显提高遥感图像分割的效率，在交底的参数量和计算复杂度下实现更高精度的基于半监督学习的轻量级遥感图像分割方法，可以很好的应用于不同领域的模型，具有较高的应用价值。

为了达成上述目的，本发明的解决方案是：

基于半监督学习的轻量级遥感图像分割方法，其包括以下步骤：

步骤S1、收集卫星或者无人机图像数据集，标注一部分数据集，得到部分标注的训练数据集；

步骤S2、构建两个完全一致的轻量级遥感语义分割模型，遥感语义分割模型由采用了U型对称结构的编码器和解码器组成，编码器和解码器都由三个仅包含一层卷积操作的卷积块和两个包含drop out正则化的移位-标记化模块组成，在编码器中，各个块之间段采用2×2最大池化进行下采样操作；而在解码器中，块与块之间采用的是双线性插值进行上采样操作，编码器和解码器之间采用跳跃连接用于增强信息交互；

步骤S3、将dropout视为一种数据扰动，把一个批次内的无标签数据同时输入两个遥感语义分割模型，所得输出用于计算一致性损失；

步骤S4、将一个批次内的有标签数据同时输入两个遥感语义分割模型，并分别计算对应的交叉熵损失和骰子损失的混合损失，将计算所得混合损失作为有监督损失；

步骤S5、计算总损失，总损失是由以下三个部分按权重相加而得：所述步骤S3所得一致性损失、来自其中一个遥感语义分割模型在步骤S4计算得到的有监督损失、以及另一个遥感语义分割模型在步骤S4计算得到的有监督损失；

步骤S6、对总体损失进行优化以及反向梯度传播，更新网络参数；

步骤S7、在同一测试集分别测试训练好的两个模型，选择其中精度较高的一个模型作为最终模型，该模型通过计算目标图像每个像素点所属类别的概率，选择概率最大的类别作为输出。

进一步，所述步骤S1中，图像数据集需要进行预处理：首先将原始数据集及标签裁剪成1024×1024大小，接着采用随机翻转，随机缩放等数据增强。

进一步，所述步骤S2中，所述卷积块是由单层3×3卷积、批归一化和ReLU激活函数组成，所述移位-标记化模块的实现如下：先将输入特征图用1×1卷积将通道拓宽为3倍，接着按通道方向三等分，其中两块子特征图会分别经由高方向-标记化模块和宽方向移位-标记化模块后于最后一块子特征图进行注意力融合，其结果会与输入做一个残差连接得到最终输出。

进一步，所述步骤S3中，一致性损失由KL散度进行评估，具体表示如下：

其中，对于每个像素，

进一步，所述步骤S4中，混合损失

其中，对于每个像素，

进一步，所述步骤S5中，总损失

其中，

进一步，所述移位-标记化模块的实现如下：特征图会先按高或宽方向进行距离不等的移位操作，在进行标记化操作后，接着沿通道维度上使用一个全连接层进行特征变换，最后使用一个高效大核卷积块提升移位-标记化的表征能力。

进一步，所述高效大核卷积是由多个深度可分离卷积实现的：对于K×K大小的卷积核，把特征图按通道等比例切分后进行卷积核大小分别为K×3，3×K，3×3的 深度可分离卷积以及本征映射，然后将四条支路的输出拼接起来，并经过两层全连接层，最后将输出和最初的输入进行一个残差连接；其中，在两层全连接层中间含有层归一化和ReLU激活函数。

采用上述方案后，本发明基于半监督学习的轻量级遥感图像分割方法相较于现有技术具有以下优点：

（1）本发明实现了一种全新的基于一致性正则化的半监督学习方法，避免了基于伪标签的半监督学习方法的缺点，而且具有较高的泛化性，通用于不同领域的模型。

（2）本发明实现了基于空间平移操作的MLP模块，能较好地对遥感图像中地长短距离依赖进行建模，并设计了高效大核卷积用于快速扩大感受野和提高模型对不同尺度大小目标的适应性。

（3）本发明实现了CNN和MLP相结合的模型，拥有较低参数的同时保持较高精特征提取能力。

附图说明

图1是本发明方法的流程框图。

图2是本发明遥感图像分割模型的整体框架图。

图3是本发明采用半监督学习方法的示意图。

图4是本发明基于空间平移操作的MLP模块结构图。

图5是本发明高效大核卷积结构图。

具体实施方式

为了进一步解释本发明的技术方案，下面通过具体实施例来对本发明进行详细阐述。

如图1至图5所示，本发明提出了一种基于半监督学习的轻量级遥感图像分割方法，用于遥感图像语义分割，包括以下步骤；

步骤S1、收集卫星或者无人机图像数据集，标注一部分数据集，得到部分标注的训练数据集。

进一步地，步骤S1中，对数据集进行预处理：首先将原始数据集及标签裁剪成1024×1024大小，接着采用随机翻转，随机缩放等数据增强。

步骤S2、构建两个完全一致的轻量级遥感语义分割模型，如图2所示，模型由采用了U型对称结构的编码器和解码器组成，编码器和解码器都由三个仅包含一层卷积操作的卷积块和两个包含drop out正则化的移位-标记化模块组成。二者的区别在于：在编码器中，各个块之间段采用2×2最大池化进行下采样操作；而在解码器中，块与块之间采用的是双线性插值进行上采样操作。此外，编码器和解码器之间还采用跳跃连接用于增强信息交互。

进一步地，所述步骤S2中，卷积块是由单层3×3卷积、批归一化和ReLU激活函数组成。

步骤S3-步骤S5，如图3所示：

步骤S3、将dropout视为一种数据扰动，把一个批次内的无标签数据同时输入两个遥感语义分割模型，所得输出用于计算一致性损失。

步骤S4、对于输入两个模型的同一批次内的有标签数据，分别计算对应的交叉熵损失和骰子损失的混合损失，将计算所得混合损失作为有监督损失。

步骤S5、最后，总损失由以下三个部分按权重相加而得：来自步骤S3的一致性损失

进一步地，所述步骤S3中，一致性损失由KL散度进行评估，具体表示如下：

其中，对于每个像素，

进一步地，所述步骤S4中，混合损失

其中，对于每个像素，

进一步地，所述步骤S5中，总损失

其中，

步骤S6、对总体损失进行优化以及反向梯度传播，更新网络参数。

步骤S7、在同一测试集分别测试训练好的两个模型，选择其中精度较高的一个模型作为最终模型，该模型通过计算目标图像每个像素点所属类别的概率，选择概率最大的类别作为输出。

进一步地，所述移位-标记化模块如图4所示，先将输入特征图用1×1卷积将通道拓宽为3倍，接着按通道方向三等分，其中两块子特征图会分别经由高方向-标记化模块和宽方向移位-标记化模块后于最后一块子特征图进行注意力融合，其结果会与输入做一个残差连接得到最终输出。

进一步地，所述高和宽方向的移位-标记化模块如图4虚线框内所示，特征图会先按高或宽方向进行距离不等的移位操作，在进行标记化操作后，接着沿通道维度上使用一个全连接层进行特征变换，最后使用一个高效大核卷积块提升移位-标记化的表征能力。

进一步地，所述高效大核卷积是由多个深度可分离卷积实现的：如图5所示，对于K×K大小的卷积核，把特征图按通道等比例切分后进行卷积核大小分别为K×3，3×K，3×3的深度可分离卷积以及本征映射，然后将四条支路的输出拼接起来，并经过两层全连接层，最后将输出和最初的输入进行一个残差连接；其中，在两层全连接层中间含有层归一化和ReLU激活函数。上述实施例和图式并非限定本发明的产品形态和式样，任何所属技术领域的普通技术人员对其所做的适当变化或修饰，皆应视为不脱离本发明的专利范畴。