一种基于注意力机制的无人机高光谱农作物快速分类方法

技术领域

本发明属于遥感图像处理技术领域，特别涉及一种基于空谱多尺度注意力机制和边界约束损失函数的深度学习农作物快速精准识别方法

背景技术

无人机搭载的高光谱系统可以获取具有高空间分辨率的高光谱图像(本专利中简称为“双高”影像)。由于低运行成本，高灵活性和实时数据采集的能力，无人机载高光谱数据已成为农业遥感监测的重要数据源。然而，无人机载双高影像针对多类农作物精细分类时仍面临以下挑战。一方面，在双高影像农作物精细分类中，不同农作物之间光谱信息相似，类间差异小；另一方面，随着双高影像空间分辨率的提升，地物的空间异质性逐渐增大，进而加剧地物光谱的变异性，使得同类农作物的类内方差增大。此外，双高影像由于超高的光谱分辨率和空间分辨率使得数据量海量高维，需要一种快速实时的数据处理方法。

当前的高光谱农作物分类方法有基于统计分析的光谱信息分类、空谱特征融合分类，基于数据驱动的深度学习分类方法。基于统计分析的方法只能学习到浅层特征，并且依赖专家知识的手工特征设计，难以适用于海量高维非线性数据结构的双高影像。基于深度学习的分类方法主要以取空间块的方式为主，以标记像素为中心选取邻域的三维空间块作为网络的输入，这种策略只能利用局部空谱信息，在双高影像农作物分类结果中会造成大量错分的孤立区域，并且推理速度慢，计算效率低。

发明内容

本发明针对无人机高光谱影像，提出一种基于注意力机制网络的农作物快速分类方法，具有以下三个显著特点。一是设计全卷积神经网络框架实现全局空谱信息融合，推理速度快，相比于采用空间块作为输入的深度学习方法推理速度可提升百倍以上；其二，设计光谱-空间注意力模块引入通道维、空间维上下文信息，同时设计尺度注意力模块自适应的选取多尺度上下文信息，实现全局多尺度上下文空谱信息融合。其三，针对农作物光谱信息相似，类间差异小的问题，设计边界约束的损失函数，增加类别特征之间的区分性。

本发明提供基于注意力机制网络的无人机载高光谱影像农作物快速分类方法，具体实现步骤如下：

步骤1，对输入影像进行镜像填充；

步骤2，对镜像填充影像进行通道降维；

步骤3，构建用于农作物分类的网络模型，包括以下子步骤；

步骤3.1，使用光谱注意力模块提取通道间的上下文信息，获得低层细节特征；

步骤3.2，使用尺度注意力模块提取多尺度上下文信息，获得高级语义特征；

步骤3.3，使用空间注意力模块中融合低层细节特征和高级语义特征；

步骤3.4，将空间注意力模块最终输出的特征图输入边界约束的损失函数中，输出loss值；

步骤3.5，反向传播loss值更新网络模型参数；

步骤4，将待分类的双高影像输入到网络模型，输出预测分类结果，实现农作物的精细分类识别。

进一步的，所述步骤2的实现方式如下，

将镜像填充后的影像X依次经过一个“卷积层-组归一化层-非线性激活层”的网络结构进行通道降维，输出特征图F，其中组归一化考虑高光谱影像光谱连续性。

进一步的，所述步骤3的实现方式如下，

步骤3.1.1，设步骤2中通道降维后得到特征图F，将特征图F输入第一个光谱注意力模块中，提取通道维上下文信息特征，光谱注意力模输出特征图Fspectral

Fspectral

上式中，F表示输入的特征图，Fspectral为光谱注意力模块输出的特征图；σ(·)表示sigmoid激活函数，输出每个通道的重要性的权重；MLP(·)是一个2层的神经网络，并且上式中2个MLP共享权重；AvgPool(·)与MaxPool(·)分别表示在空间维进行平均池化和最大池化操作，其输出是一维向量；Conv3×3

步骤3.1.2，将步骤3.1.1输出的特征图Fspectral

进一步的，步骤3.2的实现方式如下，

尺度注意力模块用于实现自适应的选择多尺度的上下文信息，其输入为最后一个光谱注意力模块输出的特征图Fspectral

步骤3.2.1，使用四个不同空洞率r

步骤3.2.2，将3.2.1输出的不同尺度的上下文特征图进行逐像素加和，输出多尺度特征图Fscale

步骤3.2.3，将3.2.2输出的聚合特征Fscale

F

上式中，AvgPool(·)为全局池化，FC表示全连接层，采用ReLU激活函数；

步骤3.2.4，通过Softmax应用在步骤3.2.3输出的F

其中a

a

步骤3.2.5，将3.2.4计算的不同尺度的特征权重a

Fscale[i]＝a

进一步的，步骤3.3的实现方式如下，

步骤3.3.1，将低层细节特征Fspectral

F

上式中，

步骤3.3.2，对于输出的空间注意力融合特征Fspatial

Fspatial_up

上式中F

步骤3.3.3，对Fspatial_up

进一步的，所述步骤3.4的实现方式如下，

步骤3.4.1，首先构建一个Softmax分类器，其公式如下所示：

其中N是像素个数,n是类别个数，x

步骤,3.4.2，将权重W和特征x

其中θ

步骤3.4.3，对余弦值cosθ

最终输出预测的分类结果

本发明方法具有以下显著效果：(1)全卷积神经网络框架实现全局空谱信息融合，推理速度快，相比于采用空间块作为输入的深度学习方法推理速度可提升百倍以上；(2)，设计光谱-空间注意力模块引入通道维、空间维上下文信息，同时设计尺度注意力模块自适应的选取多尺度上下文信息，实现全局多尺度上下文空谱信息融合，有效改善分类结果中的孤立错分区域；(3)设计边界约束的损失函数，增加类别特征之间的区分性，农作物精细分类精度更高。

附图说明

图1是本发明实施例1的步骤1中所输入的无人机双高影像。

图2是本发明实施例1的步骤3中光谱注意力模块网络结构图。

图3是本发明实施例1的步骤4中尺度注意力模块网络结构图。

图4是本发明实施例1的步骤5中空间注意力模块网络结构图。

图5是本发明实施例1的步骤8中所输出农作物精细分类结果。

图6为本发明实施例1的整体流程图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例1：

如图1所示，本发明提供的一种基于空谱多尺度注意力机制与边界约束的无人机高光谱农作物快速分类方法，包括以下步骤：

步骤1，输入一幅待分类影像WHU-Hi-HongHu，如图1所示，将其空间尺寸镜像填充为8的倍数。

步骤2，对镜像填充影像进行通道降维，本步骤进一步包括：

将镜像填充后的影像X依次经过一个“卷积层-组归一化层-非线性激活层”的网络结构进行通道降维，输出特征图F，其中组归一化考虑高光谱影像光谱连续性。

步骤3，使用光谱注意力模块提取通道间的上下文信息，如图2所示，本步骤进一步包括：

步骤3.1，将特征图F输入第一个光谱注意力模块中，提取通道维上下文信息特征，光谱注意力模输出特征图Fspectral

Fspectral

上式中，F表示输入的特征图，Fspectral为光谱注意力模块输出的特征图；σ(·)表示sigmoid激活函数，输出每个通道的重要性的权重；MLP(·)是一个2层的神经网络，并且上式中左右2个MLP共享权重；AvgPool(·)与MaxPool(·)分别表示在空间维进行平均池化和最大池化操作，其输出是一维向量。Conv3×3

步骤3.2，将步骤3.1输出的特征图Fspectral

步骤4，使用尺度注意力模块提取多尺度上下文信息，如图3所示，本步骤进一步包括：

尺度注意力模块可以实现自适应的选择多尺度的上下文信息，其输入为最后一个光谱注意力模块输出的特征图Fspectral

步骤4.1，使用四个不同空洞率r

步骤4.2，将4.1输出的不同尺度的上下文特征图进行逐像素加和，输出多尺度特征图Fscale

步骤4.3，将4.2输出的聚合特征Fscale

F

上式中，AvgPool(·)为全局池化,FC表示全连接层，采用ReLU激活函数。

步骤4.4，通过Softmax应用在4.3输出的F

其中a

a

步骤4.5，将4.4计算的不同尺度的特征权重a

Fscale[i]＝a

步骤5，使用空间注意力模块中融合低层细节特征和高级语义特征，如图4所示，本步骤进一步包括：

步骤5.1，将Fspectral

F

上式中，

步骤5.2，对于输出的空间注意力融合特征Fspatial

Fspatial_up

上式中F

步骤5.3，对Fspatial_up

步骤6，将空间注意力模块最终输出的特征图

6.1，首先构建一个Softmax分类器，其公式如下所示：

其中N是像素个数,n是类别个数，x

6.2，将权重W和特征x

其中θ

6.3，对余弦值cosθ

本专利中根据经验将s和m分别设置为15和0.5弧度，最终输出预测的分类结果

步骤7，反向传播loss值更新网络模型参数，本步骤进一步包括：

将loss值进行反向传播，通过基于适应性矩估计算法对S2到S6步骤中的网络参数进行更新，最终得到优化后的网络模型f

步骤8，将待分类的双高影像X

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。