基于稀疏表示模型的可解释多源遥感影像联合分类方法

技术领域

本发明属于遥感图像处理技术领域，具体涉及基于稀疏表示模型的可解释多源遥感影像联合分类方法。

背景技术

在遥感领域中已经有大量算法用来实现高光谱图像和激光雷达图像地物分类。现有的方法主要分为两大类，基于模型的方法和基于深度学习的方法。

基于模型的方法经过了大量推导，理论严谨，易于理解，并在实际应用中取得了不错的地物分类结果。一般来说，这些方法包含两个步骤。首先，他们将高光谱数据表示在特征空间中，降低维数并提取一些信息含量高的特征，将提取的特征送入分类器。在传统的训练方法中，具有非线性核的支持向量机非常受欢迎，特别是在训练数据有限的情况下。极限学习机(ELM)也被用于高光谱图像分类，从高光谱图像中提取局部二进制模式(lbp)并用于分类。在对未标记高光谱图像进行分类时，常常使用随机森林的鉴别能力。基于稀疏表示的方法，将像素表示为几个字典原子的线性组合，在降低复杂度的同时提取样本的主要特征。

随着人工神经网络的提出，深度学习方法已经广泛应用于遥感图像分类并取得更优异的结果，深度学习的快速发展也为高光谱图像和激光雷达图像地物分类的研究带来了许多新的方法和思路。上述经典的基于模型的方法往往只考虑样本点为光谱矢量的集合，而不考虑其空间信息。双分支卷积神经网络(TBCNN)开发了一个双隧道CNN框架来提取HSI的光谱空间特征，同时提取高光谱图像的空间特征和光谱特征，取得了更优异的分类性能。多注意层次融合网络(MAHiDFNet)充分考虑了不同传感器数据之间的相关性和异质性，开发了三分支HSI-LiDAR卷积神经网络(CNN)主干，以同时提取土地覆盖对象的空间特征、光谱特征和高程特征，取得了优异的分类结果。

基于模型的方法有严谨的理论证明，但是不能自适应地反映高光谱图像复杂的光谱和空间结构；而深度神经网络具有很强的非线性建模能力，并能有效地提取待分类样本点的空谱信息，但是深度神经网络缺乏可解释性，黑箱设置导致内部结构难以观察，超参数等网络参数设置依赖经验和尝试，泛化性较差。

发明内容

为了克服上述现有技术存在的不足，本发明的目的在于提供基于稀疏表示模型的可解释多源遥感影像联合分类方法，采用了自适应空谱信息融合模型，该模型自适应地对待分类样本的像素进行空间信息加权，充分利用待分类样本的空间信息；并构造可解释的稀疏表示理论相对应的网络模型，构建稀疏表示模型求解过程的约束函数。神经网络模块的各个模块与迭代优化过程中的理论完全对应，实现了将严谨的稀疏表示理论与神经网络相结合，克服了深度神经网络的不可解释性，提高了网络模型的泛化性能。

为了实现上述目的，本发明采用的技术方案是：

基于稀疏表示模型的可解释多源遥感影像联合分类方法，包括以下步骤；

加载相同时相的高光谱图像、激光雷达图像以及该时相下的地物标签图并进行预处理；

预处理后的高光谱和激光雷达图像为样本点的光谱和高程信息，将预处理后的高光谱和激光雷达图像划分为训练集和测试集；

引入自适应空谱信息融合模块，得到高光谱图像含空谱信息和激光雷达图像含有空间高程信息的待分类样本特征，并从每类样本特征中选取部分作为初始训练字典

利用样本点空谱信息和空间高程信息和初始训练字典

级联高光谱图像稀疏系数矩阵

进一步的，对预处理后的高光谱图像和激光雷达图像进行自适应空谱信息融合得到融合空谱信息的高光谱图像

为了能够自适应调整每个相邻像素的权重，通过自适应空谱信息融合模块使用欧几里德距离计算相邻像素和中心像素之间的相似性，计算相邻像素权重并自适应加权到中心像素中，含有空谱特征的高光谱样本点

其中h

含有空间高程信息的激光雷达图像样本点

其中l

ω

进一步的，由于同一类地物的光谱总是相似的，同一类地物的特征在稀疏表示重建模型中也相似，因此同一类地物使用相同的特征来表示，任意所述同一类地物能够使用代表所有类别地物的特征(字典)乘以该类地物的权重来进行表示，该线性表示为；

H≈D

其中D

进一步的，所述初始训练字典

在正交匹配追踪算法的每次迭代中，待分类样本特征即为最初始的残差，将与待分类样本点最相似的字典原子的索引添加到索引集中，并更新分类样本特征，重复上述选取操作，当达到所需的稀疏程度K时，算法终止，求得K个与待分类样本点的最相关字典，并根据最相关字典集求解稀疏系数矩阵A

根据求解出的A

进一步的，对于初始训练字典

其中，K表示稀疏水平，

进一步的，通过交叉注意力的方式来求解待分类样本和字典的相关度矩阵，公式如下所示：

其中Q

对于稀疏表示模型中的res

其中

进一步的，采用交叉注意力层来动态、自适应地调整样本和字典间的相似度，互注意力层由全连接层和SoftMax层组成，将待分类样本和字典通过全连接层分别得到待分类样本和字典的Q,K，对待分类样本点Q、字典的K和待分类样本点K、字典的Q分别进行内积计算两者的相似性，通过SoftMax层对相似性矩阵进行归一化处理，通过的全连接层的参数不同，在通过内积求解相关度的基础加上具有可学习参数的注意力机制，通过网络拟合和参数的学习过程使用注意力机制来突出与待分类样本相似的字典。

进一步的，在经过K次优化后，根据选取出来的最相关字典样本子集，通过以下公式求解稀疏系数矩阵A；

根据K次优化后求解出的稀疏系数矩阵A

多次循环求解A

进一步的，在循环求解的过程中，采用随机梯度下降法，优化器选择Adam，学习率设为0.01，使用多种损失函数来协同约束

其中||||

进一步的，所述空谱信息融合模块首先使用欧氏距离计算大小为B×B的空间像素与中心像素的相似性(权重)，再通过SoftMax层将权重归一化，通过加权求和得到高光谱和激光雷达图像带有空谱信息的样本点，使用卷积层对该光谱向量进行特征提取，得到待分类样本点的空谱特征，在特征提取过程末端将高光谱图像与激光雷达图像的待分类样本点通道数保持一致，便于后续稀疏系数矩阵

本发明的有益效果：

本发明将可解释的稀疏表示模型与神经网络相结合，各个模块对应稀疏表示模型中的数学理论或由严谨的理论证明，增加了网络模型的可解释性，对于深度神经网络参数的设置需要根据经验或多次尝试手动设置的这一问题也有了改善。

本发明从高光谱图像和激光雷达图像提取出了多模态地物特征，充分结合高光谱图像和激光雷达图像的优势，能够更精准的识别地物，提高了分类精度。

通常情况下同一局部区域的像素地物往往相同的，基于这些地物具有相似的光谱特征和高度这一假设，相比传统的仅仅提取样本点的光谱信息和高度特征，本发明结合空谱信息和空间高程信息来进行分类。空谱结合的分类方法能够充分利用空间信息促进分类精度的提高，提取了样本点的空间特征来为地物分类提供更多有效信息，使得分类结果更加准确。

附图说明

图1是本发明实施例提供的高光谱图像和激光雷达图像融合分类方法流程图。

图2是本发明实施例提供的样本点空谱特征融合示意图。

图3是本发明实施例提供的稀疏表示模型示意图。

图4是本发明实施例提供的字典和待分类样本相关度求解示意图。

图5是本发明实施例提供的稀疏表示中残差迭代模型示意图。

图6是本发明实施例提供的稀疏表示中稀疏系数矩阵求解模型示意图。

图7是本发明实施例提供的稀疏表示字典更新模型示意图。

图8是本发明实施例提供的多模态特征分类结果对比图。

图8中：(a)-(i)按顺序分别为参考分类结果、SVM分类结果、ELM分类结果、RF分类结果、TBCNN分类结果、EndNet分类结果、MAHIDFNet分类结果、本发明分类结果。

具体实施方式

下面结合附图对本发明作进一步详细说明。

本发明实施方案细节如下，一种基于稀疏表示模型的可解释多源遥感影像联合分类方法，下面结合附图进一步说明本发明的细节。

如图1所示，本发明提供的基于稀疏表示模型的可解释多源遥感影像联合分类方法包括以下步骤：

S101：加载高光谱图像、激光雷达图像以及相应的地物标签图并进行预处理；

S102：将预处理后的高光谱和激光雷达图像划分为训练集和测试集，得到待分类样本点的光谱和高程信息；

S103：引入自适应空谱信息融合模块，得到高光谱图像含空谱信息和激光雷达图像含有空间高程信息的待分类样本点，并从每类样本特征中选取部分作为初始训练字典

S104：利用样本点空谱信息和空间高程信息和初始训练字典

S105：级联高光谱图像稀疏系数矩阵

如图1所示，本发明提供的基于稀疏表示模型的可解释多源遥感影像联合分类方法，其实施过程如下：

(1)对输入高光谱图像和激光雷达图像进行自适应空谱联合得到融合空谱信息的高光谱图像

为了能够自适应调整每个相邻像素的权重，在自适应空谱融合模块中使用欧几里德距离计算相邻像素和中心像素之间的相似性，计算相邻像素权重并自适应加权到中心像素中。含有空谱特征的高光谱样本点

其中h

含有空间高程信息的激光雷达图像样本点

其中l

ω

(2)由于同一类地物的光谱总是相似的，同一类地物的特征在稀疏表示重建模型中也相似，因此同一类地物使用相同的特征来表示，任意一类地物能够使用代表所有类别地物的特征(字典)乘以该类地物的权重来进行表示，该线性表示为；

H≈D

其中D

(3)确定初始训练字典

在正交匹配追踪算法的每次迭代中，待分类样本特征即为最初始的残差，将与待分类样本点最相似的字典原子的索引添加到索引集中，并更新分类样本特征，重复上述选取操作，当达到所需的稀疏程度K时，算法终止，求得K个与待分类样本点的最相关字典，并根据最相关字典集求解稀疏系数矩阵A

根据求解出的A

(4)对于初始训练字典

其中，K表示稀疏水平，

(5)通过互注意力的方式来求解待分类样本和字典的相关度矩阵如图4所示，公式如下：

其中Q

(6)对于稀疏表示模型中的res

其中

(7)如图6所示，在经过K次优化后，根据选取出来的最相关字典样本子集，通过以下公式求解稀疏系数矩阵A；

(8)根据K次优化后求解出的稀疏系数矩阵A

多次循环求解A

(9)如图2所示，空谱融合模块首先使用欧氏距离计算大小为B×B的空间像素与中心像素的相似性(权重)，再通过SoftMax层将权重归一化，通过加权求和得到高光谱和激光雷达图像带有空谱信息的样本点，使用卷积层对该光谱向量进行特征提取，得到待分类样本点的空谱特征，在特征提取过程的最后将高光谱图像与激光雷达图像的待分类样本点通道数保持一致，便于后续稀疏系数矩阵

(10)如图4所示，采用互注意力层来动态、自适应地调整样本和字典间的相似度。互注意力层由全连接层和SoftMax层组成，将待分类样本和字典通过全连接层分别得到待分类样本和字典的Q,K，对待分类样本点Q、字典的K和待分类样本点K、字典的Q分别进行内积计算两者的相似性，通过SoftMax层对相似性矩阵进行归一化处理，通过的全连接层的参数不同，在通过内积求解相关度的基础加上具有可学习参数的注意力机制，通过网络拟合和参数的学习过程使用注意力机制来突出与待分类样本相似的字典。

(11)在循环求解的过程中，使用随机梯度下降法，优化器选择Adam，学习率设为0.01，使用多种损失函数来协同约束

其中||||

下面结合仿真实验对本发明的技术效果作详细的说明：

1.数据集与仿真实验条件：

本实验使用Trento数据集，它是是在意大利特伦托的一个农村地区拍摄的。HSI数据由63个光谱带组成，范围从0.42μm到0.99μm，LiDAR数据由Optech ALTM 3100EA传感器获取。这两个数据的空间分辨率为1m，大小为600×166像素。有6个不同的类。在Trento数据集上，每类选择50训练样本，其余像素作为测试样本。每一类的待分类样本点的分类结果如表2所示。

表1实验基础环境及配置

2.评估标准

除了对主观结果进行定性观察外，还应进行定量评价，以衡量高光谱和激光雷达图像的检测性能。在本发明中，使用平均精度(AA)、总体精度(OA)和Kappa系数(Kappa)对所有模型的分类性能进行评价。AA定义了所有类别的平均准确度。OA为正确分类的像素数与所有像素数之比，计算公式如下:

其中TP为真阳性，TN为真阴性，假阳性用FP表示，假阴性用FN表示。Kappa系数被用作比较模型预测结果和实际分类结果是否一致的评价指标，定义如下:

其中

对于Kappa系数，<0.4表示精度较差，0.4-0.6表示精度中等，0.6-0.8表示精度较好，0.8以上表示ground truth与分类结果几乎一致。

3.测试结果

对于Trento数据集，不同分类方法精度如图8所示。(a)-(h)按顺序分别为参考分类结果、SVM分类结果、ELM分类结果、RF分类结果、TBCNN分类结果、EndNet分类结果、MAHIDFNet分类结果、本发明分类结果。分别为从图中可以看出，传统的机器学习方法都表现比较差，它们的误分类情况大多比较严重。MAHIDFNet、TBCNN和本方法效果总体上都比较好，能以高概率地分类出图像中的待分类地物，但是MAHIDFNet和TBCNN都在某一类别表现出了比较差的性能；本数据集下本发明提出的多模态数据分类方法获得了较好的OA、Kappa和AA，取得了令人满意的分类结果。

表2分类结果

综上，本发明实现了一个由可解释稀疏表示模型驱动的深度学习网络，用于高光谱和激光雷达图像分类。由于模型中的每一步均对应稀疏表示模型中的数学理论或者或由严谨的理论证明，因此该发明在实现深度学习多模态分类任务的同时模型具有着可解释性。

本发明将模型中的稀疏表示模型与神经网络相结合，结合两者优势，将神经网络模型可解释化，提升了网络模型的泛化性能，提高了分类的精度。

对于本领域的技术人员来说，可以根据以上的技术方案和构思，给出各种相应的改变和变形，而所有的这些改变和变形，都应该包括在本发明权利要求的保护范围之内。