遥感图像语义分割风格不平衡数据集的最远点采样方法

技术领域

本发明属于遥感图像数据采样技术领域，具体涉及一种遥感图像语义分割风格不平衡数据集的最远点采样方法。

背景技术

近年来随着遥感技术的发展，遥感影像在农业管理、环境保护、灾害监测、城市规划等领域得到了越来越广泛的应用。遥感影像的语义分割旨在为栅格格式的地理空间数据中的每个像素标注一组语义标签，如建筑物、裸地、河流和道路等，是许多应用的重要组成部分。随着卷积神经网络的发展和强大的特征提取方法，语义分割算法得到了极大的改进，如今基于全卷积网络的方法如FCN、U-Net和DeepLab等[Yuan X,Shi J,Gu L.A review ofdeep learning methods for semantic segmentation of remote sensing imagery[J].Expert Systems with Applications,2021,169:114417]，几乎主导了语义分割领域。然而，遥感影像的语义分割仍然是一个难题，原因之一是除了卫星传感器的差异外，大气条件、全色与多光谱融合算法、大气与辐射校正、季节、天气、区域、地貌等的变化使得遥感影像风格多样，这对模型的泛化能力提出了更高的要求。

得益于互联网的发展和开源精神，我们可以很容易地获得许多公开的遥感图像数据集。通常为了提高泛化能力，我们会合并多个数据集来训练一个泛化能力更强的模型，但受限于计算资源，我们无法合并尽可能多的数据集进行训练，而真实的大型遥感图像数据集往往冗余且遵循长尾分布[Zhang Y,Kang B,Hooi B,et al.Deep long-tailedlearning:A survey[J].IEEE Transactions on Pattern Analysis and MachineIntelligence,2023]，即少量的风格样式有大量的训练样本，而大量的风格样式只有少量的训练样本，这使得使用该风格不平衡训练集训练的模型通常仅仅在头部风格表现较好但是却泛化能力不足，很难泛化到其他风格的影像，其实这也是一种对头部风格过拟合问题的体现。一般而言我们期望训练集中样本的风格平衡且多样化，从而避免模型对于单一的头部风格过拟合，从而保证模型的泛化能力，这就涉及到数据集采样技术。

在实践中，常见的采样方法是一种广泛应用于类不平衡数据集的技术[HaixiangG,Yijing L,Shang J,et al.Learning from class-imbalanced data:Review ofmethods and applications[J].Expert systems with applications,2017,73:220-239]，其目标是根据标签的类label分布对头部类欠采样，对尾部类过采样，从而平衡类间分布。然而，它并不适用于遥感语义分割数据集的风格不平衡问题，因为风格不平衡不同于类不平衡，关键问题是在实际情况中，当我们处理风格不平衡数据集时，我们无法知道每个样本的风格，因此无法根据样本的风格对其进行过采样或欠采样。

发明内容

鉴于上述，本发明提供了一种遥感图像语义分割风格不平衡数据集的最远点采样方法，其通过计算每幅图像的颜色分布来区分不同图像的风格，并计算不同图像颜色分布之间的距离作为风格差异，然后使用最远点采样算法对原始数据集进行采样，旨在从大规模数据集中选出风格多样具有代表性的数据子集，从而减小数据集规模和训练深度模型的计算资源消耗的同时提升模型的鲁棒性及泛化能力。

一种遥感图像语义分割风格不平衡数据集的最远点采样方法，包括如下步骤：

(1)获取原始冗余且风格不平衡的遥感影像数据集，对于该数据集中的图像样本，通过计算其RGB颜色空间分布用以表示样本的风格；

(2)对图像样本的RGB颜色空间分布进行高斯平滑处理并将其转换为空间概率分布；

(3)计算数据集中两两样本空间概率分布之间的距离，构建距离矩阵，用以量化样本间风格的差异；

(4)根据所述距离矩阵利用最远点采样算法对数据集中的图像样本进行采样，得到较小规模且风格平衡的数据子集用以进行下游模型训练任务。

进一步地，所述步骤(1)的具体实现方式为：首先对RGB颜色空间进行离散化，即将RGB每个轴0～255的范围均分成32份，每份包含8个灰度级，离散化后的RGB颜色空间每个轴的范围是0～31，然后统计图像样本中所有像素在该离散化RGB颜色空间中的分布频次；对于图像样本的RGB颜色空间分布f(i,j,k)，其表示为图像样本中RGB三通道灰度值对应为i,j,k的像素个数，i,j,k为自然数且0≤i,j,k≤31。

进一步地，所述步骤(2)中高斯平滑处理的具体实现方式为：对于图像样本的RGB颜色空间分布f(i,j,k)，首先需要在卷积前对f(i,j,k)使用边缘值填充，然后使用尺寸大小为3×3×3，标准差为1.0的高斯卷积核对f(i,j,k)进行平滑处理，具体表达式如下：

其中：g(i,j,k)为平滑后的RGB颜色空间分布。

进一步地，所述步骤(2)中对于平滑后的RGB颜色空间分布g(i,j,k)，将其除以图像样本的总像素个数，从而转化为总和为1.0的空间概率分布的形式。

进一步地，所述步骤(3)中两两样本空间概率分布之间的距离采用巴氏距离来计算，具体计算表达式如下：

其中：p(i,j,k)和q(i,j,k)分别为数据集中任意两个图像样本的空间概率分布，D

进一步地，所述步骤(4)的具体实现方式如下：

4.1设定数据子集的规模数量，从数据集中初始化选取一个样本纳入数据子集中；

4.2对于数据集中的任一样本，根据距离矩阵查询获取其与数据子集中所有样本的距离，取其中最小的距离为d；

4.3根据步骤4.2遍历数据集中所有样本，取对应d值最大的样本纳入数据子集中；

4.4重复步骤4.2～4.3直至数据子集达到设定的规模数量。

进一步地，所述步骤4.1中的初始化过程为：首先根据距离矩阵从数据集中提取距离值最大的一对样本，然后从这一对样本中任意选取一个样本纳入数据子集中。

基于上述技术方案，本发明具有以下有益技术效果：

1.本发明将风格这一抽象的事物以颜色空间概率分布来表达，风格之间的差异以颜色分布之间的距离来表达，使得对于风格不平衡的遥感影像数据集的采样有了可行性。

2.本发明基于最远点采样算法采样出来的数据子集会兼顾到长尾分布中的尾部(样本量稀少)样本风格，使得基于此数据子集训练出的深度学习模型拥有较强的泛化能力，不会因为风格的长尾分布问题而在头部风格过拟合。

3.本发明面对数据规模太大的冗余遥感影像分割数据集和受限的计算资源，可以根据计算资源大小调节采样数量，节省训练模型时计算资源的消耗并尽可能使得训练的模型泛化能力更好。

附图说明

图1为本发明面向遥感影像数据集的最远点采样方法流程示意图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

本发明是一个用于从原始冗余且风格不平衡的遥感影像数据集中构建一个更小规模且风格平衡的数据子集的采样方法，具体实施步骤如图1所示，详细实施过程如下：

(1)颜色空间离散化和分布统计：为了简化计算消耗，先对RGB颜色三维空间进行离散化，每个轴范围0～255均分成32个bin，每个bin包含8个灰度级，简化后的RGB颜色空间每个轴的范围是0～31，然后统计每个样本图像的所有像素在该离散的颜色空间分布。

(2)高斯平滑和概率分布转化：颜色空间分布以f(i,j,k)表示，其中

为了更好的计算巴氏距离，将每个样本平滑后的颜色空间分布除以该空间分布数值之和，从而转化为总和为1.0的三维概率分布形式。

(3)构建样本间的距离矩阵：计算两两RGB空间概率分布之间的距离，得到一张记录每两两样本之间距离的二维距离矩阵，显然该距离矩阵是关于对角线对称的，且距离越小对应的风格相似度越高(对角线距离值为0)；计算两概率分布的方法众多：例如巴氏距离、皮尔逊相似系数、余弦相似性等，本实施方式我们采用巴氏距离D

(4)最远点采样算法：依据二维距离矩阵使用最远点采样算法进行样本的选择，假设原始数据集样本总数为N个，用

4.1初始样本的选择：对于输入的距离矩阵，选取距离值最大的一对样本其中任意一个样本点作为起始点S

4.2样本的添加：已知数组L记录所有N个样本到采样集合S中所有样本的最小距离，从中选取距离最大值对应的样本点P

4.3更新最小距离记录：从构建的距离矩阵中取出所有样本到P

4.4迭代添加样本点：重复步骤4.2～4.3，直到完成M个样本的采样。

(5)使用选择出的数据子集进行模型的训练以节省计算资源消耗的同时提升模型的泛化能力。

5.1关于模型泛化能力的评定，我们使用武汉大学公开的数据集Satellitedataset I(global cities)，它是从世界各地的城市和各种遥感资源中收集的，它包含204张图像(512×512的3通道遥感影像)。除了卫星传感器的差异之外，大气条件、全色和多光谱融合算法、大气和辐射校正以及季节的变化使得这些样本适合测试建筑物提取模型的稳健性及泛化能力，我们以Intersection over Union(IOU)指标来表示模型在此数据集上泛化能力的体现。

5.2本实施方式使用的原始大型冗余数据集是约5000张512×512的3通道遥感影像数据集。

5.3本实施方式使用的训练模型的参数为：在NVIDIA GTX2060 GPU上的PyTorch中实验，搭建5层UNet模型，学习率设置为1e-3，采用余弦退火策略，迭代训练30epochs，Batchsize为10；对于数据增强，我们采用随机裁剪并resize到原始大小、随机翻转、随机旋转，随机高斯模糊等处理方式。

5.4本实施方式设置了对比实验为相同条件下的随机采样方式，采样数量和本算法相同，分别在本发明算法采样的数据集和随机采样数据集上训练相同的随机初始化参数的模型30epochs，各自选取在Satellite dataset I(global cities)数据集表现最好的IOU指标作为其泛化能力，根据原始数据集特点及计算资源大小，选定采样样本数量分别为1000、1500、2000做了3次对比实验，很明显采样后训练集的缩小相比原始数据集将极大减少训练时间以及训练资源的消耗，3次对比实验结果如表1所示：

表1

从该实验结果可以看出，本实施方式中基于本发明采样算法和基于随机采样算法的3个实验方案，其IOU指标均有提升，这说明本发明采样算法可以在减小原始数据集大小并节省计算资源消耗的同时尽可能保持样本的风格多样性以训练出泛化能力更好的模型，因此本发明在面临大型冗余遥感数据集和计算资源限制场景下，进行数据集采样并且尽可能保持样本的风格多样性，提升模型的泛化能力是有效的。

上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明，熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。