一种小样本高分辨率遥感影像场景分类方法

技术领域

本发明涉及一种小样本高空间分辨率遥感影像场景分类方法，属于图像处理和模式识别技术领域。

背景技术

场景分类是遥感图像处理领域研究的重要课题，其已广泛应用于空间建模，土地规划，农业调查以及灾害监察等领域。高空间分辨率遥感图像相比普通图像而言，包含更加丰富的空间，形状，纹理及光谱信息，且成像结果极易受到拍摄角度，拍摄时间以及天气干扰等因素的影响，提取出具有判别力的特征存在较大的难度。此外，在完成实际的遥感图像分类任务时，可以发现某些地物类别可用于训练的带标签样本非常少，进而导致分类精度不足。此时，针对特定场景重新采样并进行标注又耗时耗财，因此小样本条件下的遥感场景分类研究变得非常有意义。

首先，针对小样本条件下的遥感场景分类，当提取特征时，图像的空间信息、形状信息、光谱信息以及纹理信息等都是特征表示的重要参考。这些基于像素级提取的信息属于低层次的特征，无法满足语义解析等更高的要求。为跨越不同层次图像特征间的“语义鸿沟”，通过词袋模型(Bag of Words,BoWs)，SPM(Spatial Pyramid Matching)模型，LLC(Locality-constrained Linear Coding)模型等高阶的特征编码方法来获得携有语义信息的描述一度成为了研究的热点。此后随着深度学习的发展，使用包含丰富分层信息的深度卷积神经网络(Deep Convolutional Neural Networks，DCNN)提取差异化的图像特征又占据了研究者们的视野。DCNN模仿了人识别图像的生物机制，通过设计卷积层为基础结构，对图像从上到下、从左至右地进行扫描，得到对应的特征图。与人脑视觉皮层结构类似，卷积神经网络中较浅的卷积层通过较小的感受野来获得局部细节特征，较深的卷积层通过增大感受野的尺度可以捕获目标抽象复杂的信息，从而得到图像不同尺度的特征表示。然而，需要注意的是，图像经过DCNN可以获得多层次的特征，其中较低网络层的特征细节信息明确但语义较少，而较高网络层的特征语义丰富但细节信息粗略。当前通过DCNN提取图像特征时，通常选择最高层网络的输出作为特征表示，因此忽略了图像底层的细节信息。

其次，针对小样本条件下的遥感场景分类器设计，当前已有很多性能优异的算法，如SVM，K近邻(K-Nearest Neighbors，KNN)，极限学习机(Extreme Learning Machine，ELM)等。这些传统的机器学习分类器虽然可以获得良好的性能，但弊端也非常明显，它们需要严格满足两个前提条件：(1)训练样本与测试样本来源于相同的特征空间，满足相同的数据分布；(2)需要足量的标定样本来参与训练，最后才可能得到性能优良的模型。即使可以满足这些条件，当样本数据分布发生了改变或模型的输出场景产生了变化时，原有的模型也无法适用于新的场景，需要重新进行训练学习，灵活性较差。近年来新兴的迁移学习理论正好放宽了上述的严格限制，首先在缺乏带标记数据的条件下，迁移学习可以利用相关领域内的标注数据来帮助建立目标模型。此外，在数据分布不完全一致或者模型的应用场景有一定改变时，迁移学习可以选择相似的领域来进行自适应学习或者对已有的普适化模型进行微调，从而高效便捷地完成目标任务。在迁移学习中，已有知识所在的领域叫做源领域，待学习新知识所在的领域为目标域。迁移学习研究的核心在于，当给定目标域和任务时，如何最大限度地利用相似的领域来进行知识的迁移。

综上，为了提高小样本高分辨率遥感影像场景分类性能，本发明提出了一种基于深度特征提取与样本加权分布适配迁移的小样本遥感场景分类方法，借助改进深度学习网络提取场景图像的深度特征，利用不同领域样本图像特征的有效迁移完成目标分类任务。

发明内容

发明目的：针对小样本高空间分辨率遥感影像场景分类问题，提出了一种基于深度特征提取与样本加权分布适配迁移的小样本遥感场景分类方法。首先是源领域和目标域训练样本集的准备，分别从不同的遥感场景数据集中选取适量的图像分别构建数量较多的源训练样本集和数量较少的目标域训练样本集，模拟小样本分类的情形；其次，选择AlexNet为DCNN主网络，结合FPN网络层融合策略对样本图像进行深度卷积特征的提取；最后改进出一种基于单一样本加权的分布适配算法WS-BDA，实现从源领域到目标域的特征分布迁移，并利用迁移后的特征数据训练目标分类器，完成遥感场景图像的分类。

技术方案：本发明提出一种小样本高分辨率遥感影像场景分类方法，该方法包括如下步骤：

(1)首先是源域和目标域训练样本集的准备，分别从不同的遥感场景数据集中选取适量的图像分别构建源训练样本集和目标域训练样本集，模拟小样本分类的情形；

(2)选择AlexNet为DCNN主网络，结合FPN网络层融合策略对样本图像进行深度卷积特征的提取；

(3)提出一种基于单一样本加权的分布适配算法WS-BDA，实现从源领域到目标域的特征分布迁移，并利用迁移后的特征数据训练目标分类器，完成遥感场景图像的分类。

进一步的，步骤(2)中，选择AlexNet为DCNN主网络，结合FPN网络层融合策略对样本图像进行深度卷积特征的提取，具体方法如下：

首先，将图像输入至AlexNet中，自底向上地得到3张不同尺度的卷积特征图{C1,C2,C3}；从最高层的特征图P3＝C3开始，对P3进行上采样，同时采用1×1的卷积核对C2进行降维处理，通过横向连接将上述P3上采样后和C2降维后的两个结果相加后进行3×3卷积操作得到下一层的P2；随后，对P2进行上采样，同时采用1×1的卷积核对C1进行降维处理，通过横向连接将P2上采样后和C1降维后的两个结果相加后进行3×3卷积操作得到下一层的P1；最后，将P1直接输入AlexNet的全连接层，根据网络层的参数设置，选取Alene的fc7层的输出作为图像的深度特征表示；

由于AlexNet的fc7层输出特征的维数高达4096维，对fc7层输出特征进行PCA白化降维，设fc7层输出特征矩阵为

第一，对特征数据集去中心化：

第二，计算F的协方差矩阵：

第三，使用W对特征数据进行转换：F_pw＝W

第四，使用比例调整算子1/(λ

进一步的，步骤(3)中，提出一种基于单一样本加权的分布适配算法WS-BDA，实现从源域到目标域的特征分布迁移，并利用迁移后的特征数据训练目标分类器，完成遥感场景图像的分类，具体方法如下：

设源域样本特征数据

采用均衡分布适配算法估算源域D

Distance(D

其中，μ∈[0,1]表示两种数据分布之间的平衡因子，当μ→1时，表明条件分布适配影响大于预设条件；当μ→0时，表明边缘分布适配符合预设条件，P(x

其中，H表示可再生希尔伯特空间，C表示类别总数，u,v分别为源域及目标域中的样本数，

其中，X为样本总集，A为寻找的特征转换矩阵，λ为正则化因子，

使用拉格朗日乘数法将A的求取转化为如下的特征值分解问题：

其中，Φ表示拉格朗日乘子；

针对上述BDA算法，通过余弦相似性度量方法对其进行改进，先计算单一样本与样本空间全局均值点之间的相似度，再以此计算样本空间内部的分布权重；具体来说，对于预处理后的特征数据集fea，其均值向量为fea_mean，训练样本集对应的权重矩阵将通过下式计算：

利用得到的权重矩阵β优化MMD距离的表示，则新的待优化目标表达式表示为：

其中，A为要求取的特征转换矩阵，λ为正则化因子，

其中，在M

对于式(8)的优化问题，通过拉格朗日乘数法求解特征迁移矩阵A：

其中，Φ表示拉格朗日乘子，式(11)对A求取偏导数并置0得到：

优化问题最终转化为：

此时通过广义特征值分解即可获得最优的特征迁移矩阵A，获得A之后，将源域和目标域中的特征数据分别映射到共享特征子空间中，即可实现从源领域到目标域的特征分布迁移和适配，并利用迁移后的特征数据训练目标分类器，最终完成遥感场景图像的分类。

有益效果：与现有技术相比，本发明采用的上述技术方案具有以下有益效果：

(1)在图像特征提取层面，本发明将FPN网络层融合策略应用到场景图像分类问题中，将其与AlexNet融合提取图像的深度特征，使其包含充分的细节信息和语义信息。

(2)在迁移学习算法设计层面，本发明改进了当前性能最优的分布适配算法，在样本空间差异的量化计算中考虑了单一样本之间的分布差异并分配适当的权重，在分类器训练过程中直接使用了目标域训练样本的真实标签，改善了特征分布适配的性能，提高了算法的效率。实验表明，本发明提出的方法在小样本条件下的遥感场景分类问题中表现优良，有效且鲁棒。

附图说明

图1为本发明实施例的框架图；

图2为本发明AlexNet网络与FPN融合的过程中横向连接示意图；

图3为目标域训练样本比例为10％时本发明提出分类算法的混淆矩阵图；

图4为本发明目标域训练样本比例为10％时不同特征分类算法对比结果图；

图5为本发明目标域训练样本比例为10％时不同分类器对比结果图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，本发明提出一种小样本高分辨率遥感影像场景分类方法，该方法包括如下步骤：

第一步，首先是源域和目标域训练样本集的准备，分别从不同的遥感场景数据集中选取适量的图像分别构建源训练样本集和目标域训练样本集，模拟小样本分类的情形。其操作过程如下：

选择著名的UC-Merced遥感场景数据集，它包含了21类不同的遥感场景图像，包括飞机场，农场，住宅区等等，每一类中均有100幅图像，该图像集中所有样本的空间分辨率均为30厘米，大小为256×256像素。

实验中使用的第二个数据集为NWPU-RESISC45遥感场景数据集，它覆盖了45类不同的遥感场景，包括飞机场，灌木丛，沙滩等，每一类中有700张样本图像。该数据集中的图像均为256×256像素大小，空间分辨率从20厘米到30米不等。

由于两个数据集中的场景类别并不完全对应，本发明分别从UC-Merced及NWPU-RESISC45数据集中选出公共的19类图像分别构建目标域和源领域样本集，涉及的场景包括：飞机场、棒球场、沙滩、灌木丛、密集住宅区、森林、高速公路、高尔夫球场、港口、交叉路口、中型住宅区、活动房区、立交桥、停车场、河流、跑道、稀疏住宅区、储油罐以及网球场。NWPU-RESISC数据集中每一类场景有700幅图像，本发明对涉及的类别随机抽取了100张图像来构建最终的源领域样本集。最终，源领域中有1900幅NWPU-RESISC图像，目标域中有1900幅UC-Merced图像。

第二步，选择AlexNet为DCNN主网络，结合FPN网络层融合策略对样本图像进行深度卷积特征的提取。其操作过程如下：

首先，将图像输入至AlexNet中(参见图1)，自底向上地得到3张不同尺度的卷积特征图{C1,C2,C3}；然后，从最高层的特征图P3(P3＝C3)开始，对P3进行上采样，同时采用1×1的卷积核对C2进行降维处理。通过横向连接将上述两个结果相加(参见图2)后进行3×3卷积操作得到下一层的P2。随后，以同样的方式得到P1；最后，将P1的输出输入AlexNet的全连接层，根据网络层的参数设置，选取AlexNet的fc7层的输出作为图像的深度特征表示。

由于AlexNet的fc7层输出特征的维数高达4096维，本发明对样本特征数据集进行了PCA白化降维。设待处理的特征数据矩阵为

第一，对特征数据集去中心化：

第二，计算F的协方差矩阵：

第三，使用W对特征数据进行转换：F_pw＝W

第四，使用比例调整算子1/(λ

第三步，改进出一种基于单一样本加权的分布适配算法WS-BDA，实现从源领域到目标域的特征分布迁移，并利用迁移后的特征数据训练目标分类器，完成遥感场景图像的分类。其操作过程如下：

本发明的研究基于小样本条件下的遥感场景分类，首先将问题定义如下：设有源领域样本数据

特征空间分布主要有边缘概率分布和条件概率分布两种。均衡分布适配(Balanced Distribution Adaptation，BDA)算法同时考虑了两种数据分布形式，根据领域间的差异大小分别调整两种分布在样本空间总体分布中的权重，最后通过优化领域间的分布距离进行特征适配，获得良好的迁移效果。公式(1)展示了BDA算法估算源域D

Distance(D

其中，μ∈[0,1]表示两种数据分布之间的平衡因子，当μ→1时，表明条件分布适配影响大于预设条件；当μ→0时，表明边缘分布适配符合预设条件，P(x

其中，H表示可再生希尔伯特空间，C表示类别总数，u,v分别为源域及目标域中的样本数，

其中，X为样本总集，A为寻找的特征转换矩阵，λ为正则化因子，

使用拉格朗日乘数法将A的求取转化为如下的特征值分解问题：

其中，Φ表示拉格朗日乘子。

BDA算法在借助最大均值差异(Maximum Mean Discrepancy，MMD)衡量领域间的分布距离时，默认领域内的单一样本对样本空间的影响是完全相同的。然而事实上，同一领域内的不同样本之间一定存在着或大或小的分布差异，独立的样本对样本空间整体分布的贡献应当得到区分。因此，本发明将单一样本间的分布差异考虑到样本空间分布MMD距离的计算中，从而更准确地量化领域间的分布距离，进一步改善特征迁移学习的效果。

此外，BDA算法在进行特征迁移及训练分类器的过程中充分地利用了源领域中的训练样本，目标域训练样本则借助了伪标签来表示，因此需要不断迭代来获得拟合训练样本的分类模型。事实上，目标域训练样本自身带有真实标签，如果在分类器学习过程中加以应用，不仅可以提升目标预测模型的准确性，而且省去了由于对目标域训练样本赋予伪标签而需要迭代优化的过程，提高迁移学习的效率。因此，本发明在分类器的学习过程中，直接使用了目标域训练样本的真实标签，优化了特征分布适配的整体性能。

最终，本发明通过余弦相似性度量方法来计算单一样本与样本空间全局均值点之间的相似度，并以此作为其在样本空间内部的分布权重。对于预处理后的特征数据集fea，其均值向量fea_mean，那么训练样本集对应的权重矩阵将通过下式计算：

利用得到的权重矩阵β优化MMD距离的表示，本发明算法的待优化目标表达式可以表示如下：

其中，A为寻找的特征转换矩阵，λ为正则化因子，

其中，在M

对于式(8)的优化问题，可以通过拉格朗日乘数法求解特征迁移矩阵A：

其中，Φ表示拉格朗日乘子，将式(11)对A求取偏导数并置0得到：

优化问题最终转化为：

此时通过广义特征值分解即可获得最优的特征迁移矩阵A，获得A之后，源领域和目标域中的特征数据可以分别映射到共享特征子空间中，即可实现从源领域到目标域的特征分布迁移和适配，并利用迁移后的特征数据训练目标分类器，最终完成遥感场景图像的分类。本发明将改进后的算法记为WS-BDA，下表1详细介绍了算法的描述：

表1 WS-BDA算法描述

通过以下实验评估本发明提出的算法，方法如下：

首先，验证本发明提出的分类算法的性能。图3展示了本发明提出的算法在目标域训练样本比例为10％时测试所得的混淆矩阵。可以看出：本发明设计的特征在对大部分场景进行分类时都非常准确，部分类别如飞机场、灌木丛、停车场等均达到了95％以上。

其次，将本发明提出的融合AlexNet与FPN策略获得的深度特征(记作Proposed)与其他一些优良的特征进行了对比，包括仅使用AlexNet网络提取出的深度特征(记作AlexNet)，成熟的特征HOG，CLBP以及HOG与CLBP的串联融合特征HOG+CLBP。HOG与CLBP特征分别可以表征遥感场景图像原始的形状和纹理信息，HOG+CLBP通过两种特征的有效融合，提高了特征的多样性。另外，选取了BoVW特征代表图像的编码特征来进行对比。为了公平地分析所有特征的分类性能，使用的分类算法均为本发明提出的WS-BDA算法。实验在目标域训练样本与测试样本比例为10％:90％条件下进行，此时目标域中参与训练的样本数相较于源领域中的训练样本数而言相差很多，可以充分模拟小样本环境。图4给出了基于不同特征的分类算法的生产者精度PA折线(图4(a))，用户精度UA折线(图4(b))，漏分误差OE折线(图4(c))以及错分误差CE折线(图4(d))对比图。由图4可知：无论是PA还是UA指标，本发明的特征几乎在所有类别中都有着最佳的分类结果且表现非常稳定。相比之下，其他的特征或许可以在对某一类别场景分类时比本发明方法更精确，但无法保证整体的稳定性。而对于OE以及AE指标，本发明提出的特征同样在多数类别上保持着最低的误差值。

其次，将本发明改进的WS-BDA算法(记作Proposed)与其他一些优良的分类算法进行了对比，包括性能优异的迁移学习算法BDA及JDA，非迁移学习分类器中性能较好的随机森林(RF)，KNN等。其中，JDA是第一个进行领域之间边缘概率和条件概率联合分布的分布适配算法，BDA算法实际上是JDA算法的延伸。而随机森林在高维数据分类中表现出色，KNN算法则在非线性分类应用中有着优良的性能，它们都常用于解决遥感场景分类问题。为了公平地分析各算法的性能，所有的分类器均使用本发明提出的深度特征进行实验。同样的，实验将在目标域训练样本比例为10％情况下进行。图5给出了基于分类器的生产者精度PA折线(图5(a))，用户精度UA折线(图5(b))，漏分误差OE折线(图5(c))以及错分误差CE折线(图5(d))对比图。由图5可知：在所有情况下，对于PA与UA指标，本发明算法分类结果的折线均位于折线图的最上方，表明对于每一类场景而言，本发明都可以获得最好的分类精度且非常稳定。对应的，本发明算法获得的OE和AE曲线则始终位于折线图的最下方，拥有着最低的误差率。相比之下，其他分类算法的测试结果明显逊色于本发明改进的算法。