一种基于多尺度和边缘感知的轻量级地物分类网络模型

技术领域

本发明属于计算机图像处理领域，是基于多尺度和边缘感知的轻量级网络模型来实现地物分类。

背景技术

遥感作为一种综合性的现代测绘技术，在地球观测中发挥着重要作用。图像语义分割是指对一张图像中的不同的像素分配不同的标签，将其分为不同的语义类别，达到像素级别的分类和标注。利用遥感影像进行高效、精准的地物覆盖分类在环境保护、城市规划、土地利用、自然灾害防治等实际应用中具有重要意义。近年来，得益于强大的特征归纳学习能力，以卷积神经网络(Convolutional Neural Networks,CNN)为代表的深度学习方法虽然在精度上大幅超越传统方法，但也引入了过多的参数，阻碍了模型的部署应用。

基于深度学习的遥感图像地物分类算法在实现高精度的同时，存在一些实时性方面的问题。随着模型的复杂度增加，训练和推理所需的计算开销也随之增加，这使得部署在资源受限的场景中变得非常困难。特别是在需要实时响应的场景下，模型的处理速度必须足够快，但是目前的模型往往存在着处理速度过慢的问题。此外，模型的体积也会随着复杂度的增加而变得庞大，不利于在移动设备等存储容量有限的场景中进行部署。因此，在保证高精度的前提下，如何提高模型的实时性、减小模型的体积和计算开销，成为当前遥感图像地物分类算法需要解决的问题。需要进一步研究深度学习技术应用于遥感图像地物分类中的实时性问题，以实现算法的应用落地。

如今，边缘计算的发展和移动终端设备数量的增加使得模型的轻量化变得越来越重要。因此，专为移动应用终端设计的轻量级神经网络模型越来越受到关注。与传统神经网络相比，轻量级模型网络结构更简单；它不仅可以更快地训练网络参数，而且占用的计算机设备计算资源更少，训练好的神经网络模型需要更少的存储空间。随着无人机的发展，使用无人机实时处理遥感图像大样本的需求将越来越大。随着边缘计算的发展和图像分辨率的提高，大量的计算和参数限制实时语义分割，轻量级CNN的出现加速了地物分类实时语义分割的发展。然而，如今航拍图像的时空跨度越来越大，导致轻量级CNN的细节丢失和边缘模糊，因此现有的轻量级CNN模型在实时地物分割任务中分割精度低，泛化能力差。因此，本发明针对这些问题对网络进行改进

发明内容

为了克服上述现有技术的不足，本发明公开了一种基于多尺度和边缘感知的轻量级地物分类模型来解决遥感图像地物多分类的靠近模糊边缘的类别之间的特征识别力较弱，导致模糊边缘区域的错误分割以及提高模型的推理速度。以特征金字塔网络为基准网络，在编码器阶段，采用了训练速度与网络深度的兼容的ResNet18作为骨干网提取图像特征，在解码器阶段，充分利用低分辨率特征图的语义信息与高分辨率特征图的空间信息，并利用多任务学习，结合边缘感知损失函数来辅助监督语义分割的学习。所提方法不仅可以充分利用图像的语义、空间和边缘的信息还可以规避其在推理时速度慢、内存占用高的缺点。

本发明采用的技术步骤如下：

步骤1：输入图像通过轻量级网络ResNet-18网络进行特征提取，得到特征图X

步骤2：特征图X

步骤3：特征图X

步骤4：特征图X

进一步，所述步骤2的具体方法为：

步骤2.1：将特征图X

步骤2.2：：将特征图X

进一步，所述步骤3的具体方法为：

步骤3.1：将特征图X

步骤3.2：将具有丰富语义信息的特征图Y

步骤3.3：与此同时，特征图X

步骤3.4：将F

进一步，所述步骤4的具体方法为：

步骤4.1：将特征图X

步骤4.2：将步骤2中输出的特征图Y

步骤4.3：语义流S

步骤4.4：语义流S

步骤4.5：随后组合流F

步骤4.6：最后，通过通道注意力机制后使用两个具有BN和ReLU的3×3卷积层来细化特征，利用边缘感知的损失函数来辅助主任务语义分割的任务，最终得到地物分类结果。

与现有技术相比，本发明的有益效果是：

(1)本发明设计了一种语义信息丰富模块来为模型提供更加丰富的语义信息让其更好地理解图像。

(2)本发明设计了一种空间信息丰富模块来实现对遥感图像的精细化地物分类需要在保持足够的空间信息的同时，尽可能增大感受野，以实现对遥感图像进行高精度地实时地物分类。

(3)本发明设计了一种边缘感知注意力模块，利用多任务学习，结合边缘感知损失函数来辅助监督语义分割的学习，提升了网络对地物分类的边界效果。

附图说明

图1为本发明的网络结构图

图2为本发明的特征融合模块结构图

图3为本发明的交叉融合模块结构图

图4为本发明的边缘感知注意力模块结构图

具体实施步骤

下面结合附图对本发明进一步说明。

本发明设计了一种基于多尺度和边缘感知的轻量级地物分类模型，来提高当前基于深度学习的高分辨率遥感影像地物分类方法分割速度以及解决遥感图像地物多分类的靠近模糊边缘的类别之间的特征识别力较弱，导致模糊边缘区域的错误分割。如图1所示，为本发明的网络结构图。

在编码器阶段，首先使用轻量级网络ResNet18作为骨干特征提取网络。在Stage1，Stage2，Stage3和Stage4中分别获得特征图X