一种基于注意力的全局局部光谱权重的波段选择方法

技术领域

本发明涉及高光谱成像技术领域，尤其涉及一种基于注意力的全局局部光谱权重的波段选择方法。

背景技术

高光谱相机成像较普通标准RGB相机的光谱分辨率更高、信息量更丰富，现阶段被广泛的应用于成像环境差、背景复杂等难以用人眼分辨的情况，比如用卫星高光谱观测气象、用水下高光谱进行目标检测等领域。由于高光谱有数据量大、冗余度高的特点，在获取、传输和处理数据的过程中耗费了大量时间，同时还容易造成“Hughes”的现象，随着波段数目的增多分类精度出现了先上升后下降的情况。波段选择已得到证实，可以有效避免此类问题。波段选择是一个可以在不损害高光谱原有物理意义的情况下的有效降维方式，近些年来受到了越来越多的研究者关注。采用深度网络用于波段选择的方法层出不绝，但是大都是只利用全连接网络或者是卷积网络，如果只使用全连接网络，可以捕获到全局光谱之间的关系，但是全连接网络中每一个神经元与上一层所有神经元相连的特性会导致丢失连续波段之间的信息，相反只使用更注重局部信息的卷积网络，这又导致了全局信息的丢失。

发明内容

本发明提供一种基于注意力的全局局部光谱权重的波段选择方法，以克服上述技术问题。

本发明一种基于注意力的全局局部光谱权重的波段选择方法，包括：

输入高光谱数据集，并对所述高光谱数据集进行数据预处理，以使得全部像素样本均符合同一分布；所述像素样本中包含多个波段值；

将预处理后的所述像素样本输入到全连接神经网络中，得到每个所述像素样本的波段权重矩阵；

将所述权重矩阵与所述像素样本的像素点数据做哈达玛积，并将结果输入至卷积神经网络中，得到优化的像素样本；

将所述优化的像素样本和原始像素样本通过损失函数求解，当所述全连接神经网络和卷积神经网络均收敛时，得到所述优化的像素样本的权重矩阵；

通过K-means聚类算法对所述优化的像素样本的权重矩阵进行聚簇处理；根据聚簇处理的结果得到每个波段簇中方差最大的波段索引。

进一步地，所述输入高光谱数据集，并对所述高光谱数据集进行数据预处理，以使得全部像素样本均符合同一分布，包括：

输入PaviaU高光谱数据集，所述PaviaU高光谱数据集用D表示，D∈R

通过式(1)对PaviaU高光谱数据集中的像素样本进行预处理，表示为：

式中，A表示维度大小为N*L的像素样本。

进一步地，所述将预处理后的所述像素样本输入到全连接神经网络中，得到每个所述像素样本的波段权重矩阵，包括：

通过式(2)得到所述像素样本的权重矩阵，表示为：

w＝softmax(f(x)) (2)

式中，f代表全连接神经网络，x代表像素样本，softmax代表全连接神经网络的softmax层。

进一步地，所述将所述权重矩阵与所述像素样本的像素点数据做哈达玛积，并将结果输入至卷积神经网络中，得到优化的像素样本，包括：

通过式(3)得到优化的像素样本：

restrction＝f(x*w) (3)

其中，令z＝x*w，f由五个子函数嵌套组成，表示为：

进一步地，所述通过K-means聚类算法对所述优化的像素样本的权重矩阵进行聚簇处理，包括：根据波段之间的欧式距离，利用K-means聚类算法将所述波段分为不同的波段簇；所述K-means聚类算法，包括：在所述优化的像素样本的权重矩阵的L个波段中随机选取K个波段作为初始点；随机选取K个波段的位置作为初始波段簇的质心，并形成K个波段类别的波段簇；计算除所述K个波段之外的波段距每个所述初始波段簇质心的距离，并将波段类别标记为与所述初始波段簇质心的距离最近的质心所对应的波段簇；若所述K个波段之外的波段所属的波段簇未改变，则返回上一步，更新波段簇内质心的位置，然后重新计算除所述K个波段之外的波段距每个所述初始波段簇质心的距离并再次归分到相应的波段簇中；当每个所述波段簇的质心不再发生变化时，算法结束。

进一步地，所述根据聚簇处理的结果得到每个波段簇中方差最大的波段索引，包括：

将所述优化的像本样本的权重矩阵中所有的波段划分为C

其中，

本发明通过将预处理后的高光谱数据集中的像素样本输入到全连接神经网络中，获得像素样本的权重矩阵。然后再通过卷积神经网络来对高光谱数据进行重建，在重建的光谱与原始光谱的损失不再降低的情况下得到每个像素样本的光谱权重，再利用K-means算法训练每个像素的光谱权重，选择每个簇中方差最大的光谱，得到最终的波段选择结果。从而可以同时考虑光谱的全局信息和局部信息来进行最优波段子集的选择。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的方法流程图；

图2为本发明中通过全连接神经网络获得像素样本不同权重的波段值的示意图；

图3为本发明中通过卷积神经网络进行光谱重建的示意图；

图4为本发明与UBS、ONR算法在PaviaU数据集上进行波段选择的效果对比图；

图5为本发明中K-means算法流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本实施例提供了一种基于注意力的全局局部光谱权重的波段选择方法，包括：

101、输入高光谱数据集，并对高光谱数据集进行数据预处理，以使得全部像素样本均符合同一分布；像素样本中包含多个波段值；

具体而言，PaviaU数据集是在2002年用ROSIS传感器拍摄Pavia大学得到的数据，它包含610*340个像素，9个感兴趣的类别和103个波段，波长范围从0.43到0.86μm，这里以数据集PaviaU为输入，所以N＝610*340，L＝103。

PaviaU高光谱数据集用D表示，D∈R

式中，A表示维度大小为N*L的像素样本。

102、将预处理后的像素样本输入到全连接神经网络中，得到每个像素样本的波段权重矩阵；

具体而言，将预处理后的像素样本输入到全连接神经网络中处理，旨在过滤掉不太重要的波段的同时提取到相对重要的波段，可以对感兴趣的波段赋予较大的权重，相反对不太重要的波段赋予更小的权重。如图2所示，输入每个像素样本，最后得到每个像素样本中不同权重的波段值(颜色不同权重不同，由于说明书附图所限只能用灰度不同来进行区分)。因为光谱维度一致的时候对于每个样本来说各个波段的重要性是一致的，所以选择加入跳跃连接来加快算法的收敛，经过全连接神经网络，得到权重矩阵w，整个过程可表示为：

w＝softmax(f(x)) (2)

式中，f代表全连接神经网络，x代表像素样本，softmax代表全连接神经网络的softmax层。

103、将权重矩阵与像素样本的像素点数据做哈达玛积，并将结果输入至卷积神经网络中，得到优化的像素样本；

具体而言，因为CNN网络(卷积神经网络)对于上下文的信息处理具有鲁棒性，同时高光谱图片具有相邻波段的相关性高的特点，所以采取CNN网络可以容易的捕捉到波段与上下邻波段之间的关系，CNN重建光谱的网络结构如图3所示。其中，CNN网络的输入是由通过全连接神经网络得到的权重矩阵w和原始的输入数据做哈达玛积得到的。在这个重建模块中，插入了池化操作和反池化操作，池化操作是为了降低高光谱图像的光谱原始数据的维度，降低的同时记住最具有特性的光谱(即每两个波段之间波段值最大的波段)，在之后的反池化操作中就可以在保持最具有特性光谱的前提条件下重建新的光谱数据。过程表示为：

restrction＝f(x*w) (3)

其中，令z＝x*w，f是由多个函数嵌套而成，因为其中包含跳跃连接，我们由5个子函数组成，表示为：

求得式(4)f的参数,使得输入权重和原始像素点的乘积之后可以得到重建后的像素点，这个使这个重建后的像素点尽可能的接近原来的像素点，再给出损失函数：loss＝(restruction-x)

104、将优化的像素样本和原始像素样本通过损失函数求解，当全连接神经网络和卷积神经网络均收敛时，得到优化的像素样本的权重矩阵；

具体而言，这里的权重矩阵可以看作是一个较原始高光谱图像相比光谱特征更明显的高光谱图像。将优化的像素样本和原始像素样本不断迭代做损失的目的是为了使整个神经网络得到收敛，这里整个神经网络包括了全连接神经网络和卷积神经网络，当整个网络收敛之后，取出收敛时全连接神经网络的输出，也就是w权重矩阵。

105、通过K-means聚类算法对优化的像素样本的权重矩阵进行聚簇处理；根据聚簇处理的结果得到每个波段簇中方差最大的波段索引。

具体而言，根据波段之间的欧式距离，利用K-means聚类算法将波段分为不同的簇，这里用到如图5所示的K-means聚类算法。

K-means聚类算法：

在优化的像素样本的权重矩阵的L个波段中随机选取K个波段作为初始点；

随机选取K个波段的位置作为初始波段簇的质心，并形成K个波段类别的波段簇；

计算除K个波段之外的波段距每个初始波段簇质心的距离，并将波段类别标记为与初始波段簇质心的距离最近的质心所对应的波段簇；

若K个波段之外的波段所属的波段簇未改变，则返回上一步，更新波段簇内质心的位置，然后重新计算除K个波段之外的波段距每个初始波段簇质心的距离并再次归分到相应的波段簇中；

当每个波段簇的质心不再发生变化时，算法结束。

在每个聚簇的结果中寻找每个簇中方差值最大的波段即得到最后的结果。因为一个波段方差越大就说明其数据范围大，信息量多。具体过程是：

将优化的像本样本的权重矩阵中所有的波段划分为C

其中，

如图4所示，在被选波段数量小于15的时候，本发明的算法效果是优于UBS、ONR算法的效果的。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。