基于深度学习的无人机高光谱影像松材线虫病识别方法

技术领域

本发明属于林业病虫害监测技术领域，尤其是涉及一种基于深度学习的无人机高光谱影像松材线虫病识别方法。

背景技术

松材线虫病是由松材线虫引起的具有毁灭性的松树病害，松材线虫病是目前造成我国森林资源损失最为严重的病虫害。无人机遥感能够快速采集大面积重点林区的高分辨率影像，及时获取松材线虫病受害木的单木位置信息，具有很好的监测效果和巨大的潜力。松材线虫病的爆发期在每年秋季，但目前无人机可见光影像或多光谱遥感影像监测松材线虫病无法有效区分秋季变色落叶树、林间裸地和松材线虫病受害木，只能用于秋季早期高郁闭度林区的监测，而低郁闭度林区和秋季中晚期监测效果较差。

发明内容

本发明的目的是针对上述问题，提供一种基于深度学习的无人机高光谱影像松材线虫病识别方法。

为达到上述目的，本发明采用了下列技术方案：

一种基于深度学习的无人机高光谱影像秋季松材线虫病识别方法，包括以下步骤：

S1.通过影像分割网络从由无人机获取的高光谱影像中提取疑似病害木区域；

S2.通过深度学习网络提取疑似病害木区域的光谱特征向量和空间特征向量；

S3.根据光谱特征向量和空间特征向量识别疑似病害木区域的类别。

在上述的基于深度学习的无人机高光谱影像秋季松材线虫病识别方法中，步骤S1具体包括：

S11.提取高光谱影像红、绿、蓝光谱范围内的3个波段合成真彩色图像；

S12.将真彩色图像裁剪为若干张N像素×N像素的分块图像：

S13.影像分割网络对每张分块图像进行图像像素类别判断；

S14.根据对分块图像的像素类别判断结果确定疑似病害木区域并提取。

在上述的基于深度学习的无人机高光谱影像秋季松材线虫病识别方法中，在步骤S12中，真彩色图像被裁剪为若干张重叠度在10％-30％之间的分块图像；

在步骤S14中，将分块图像的分类结果合并，将连续相邻的疑似病害木像素合并为疑似病害木区域，将疑似病害木区域面积大于预设面积且区域圆形度大于预设圆形度的区域提取作为疑似病害木区域以用于后续步骤。

在上述的基于深度学习的无人机高光谱影像秋季松材线虫病识别方法中，在步骤S2中，从疑似病害木区域的部分或全部像素光谱数据进行光谱特征向量提取；

从疑似病害木区域的区域高光谱影像进行空间特征向量提取。

在上述的基于深度学习的无人机高光谱影像秋季松材线虫病识别方法中，所述的深度学习网络包括经过单独训练的光谱特征向量提取网络和空间特征向量提取网络，并在步骤S2中，由光谱特征向量提取网络提取光谱特征向量，由空间特征向量提取网络提取空间特征向量。光谱特征向量提取网络和空间特征向量提取网络分别经过单独训练，能够保证这两个网络对光谱特征向量和空间特征向量的提取准确率。

在上述的基于深度学习的无人机高光谱影像秋季松材线虫病识别方法中，在步骤S3中，所述的深度学习网络将光谱特征向量和空间特征向量合并，并通过两层全连接神经网络进行分类以判断疑似病害木区域的类别。通过光谱特征和空间特征结合的方式，能够有效提高落叶树、林间裸地和病害木的区分效果。

在上述的基于深度学习的无人机高光谱影像秋季松材线虫病识别方法中，在步骤S2中，通过以下方式提取光谱特征向量：

S211.从疑似病害木区域随机选择M个像素；

S212.提取M个像素，并提取像素的高光谱波段的光谱反射率和光谱特征指数；

S213.光谱特征向量提取网络根据光谱反射率和光谱特征指数提取M个像素的光谱特征向量。

在上述的基于深度学习的无人机高光谱影像秋季松材线虫病识别方法中，在步骤S213之后还包括：

S214.通过两层全连接神经网络对光谱特征向量的各维度的M个像素特征进行特征提取；

S215.将提取后的各维度的特征合并组成最终的光谱特征向量。

在上述的基于深度学习的无人机高光谱影像秋季松材线虫病识别方法中，在步骤S2中，通过以下方式提取空间特征向量：

S221.提取疑似病害木区域外界矩形窗口区域的高光谱影像；

S222.通过PCA变换提取三个PCA主特征；

S223.利用PCA主特征合成假彩色图像；

S224.空间特征向量提取网络从假彩色图像中空间特征向量。

在上述的基于深度学习的无人机高光谱影像秋季松材线虫病识别方法中，步骤S1中，所述的高光谱影像为经过数据处理的高光谱正射影像；

步骤S3之后还包括：

S4.获取高光谱正射影像，根据正射影像地理坐标和地面分辨率计算病害木区域位置，输出病害木位置坐标。

本发明的优点在于：能够有效区分秋季变色落叶树、林间裸地和松材线虫病病害木，即使是针对低郁闭度林区和秋季中晚期也能够高准确率地识别出病害木，能够实现及时准确的病害木监测效果。

附图说明

图1为本发明结合光谱和空间特征的松材线虫病害木识别流程图；

图2为本发明分块图像的合并示意图；

图3为本发明对疑似病害木区域进行分类的深度学习网络结构图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步详细的说明。

如图1所示，本方案提出一种基于深度学习的无人机高光谱影像松材线虫病识别方法，利用无人机高光谱影像进行秋季松材线虫病病害木监测，识别病害木时首先通过影像分割网络提取高光谱影像疑似病害木区域，然后利用深度学习网络根据疑似病害木区域的部分像素光谱数据和区域高光谱影像分别提取光谱特征向量和空间特征向量，最后根据光谱特征向量和空间特征向量识别判断疑似病害木区域的类型以查找病害木或病害木区域并确定病害木区域位置，具体方法如下：

1)采集获取监测区域的无人机高光谱影像，通过辐射定标和校正软件校正高光谱影像，将像元亮度值转换为地表反射率，并利用无人机影像处理软件对高光谱影像进行数据处理，生成高光谱正射影像；

2)提取高光谱正射影像红、绿、蓝光谱范围内的3个波段合成真彩色图像，以20％的重叠度裁剪为500像素*500像素的分块图像，实际应用中，重叠度和分块图像的大小都可以视情况而更改，然后通过影像分割网络对每张分块图像进行图像像素类别判断，图像类别有正常松树、疑似病害木(病害木、林间裸地、变色落叶树)和其他地面区域三种。如图2所示，图中每个小方块表示每张分块图像的独有像素，相邻分块图像具有20％的重叠度，阴影小方块表示被分类为疑似病害木像素的分块图像，将分块图像的分类结果合并，将连续相邻的疑似病害木像素合并为疑似病害木区域，将疑似病害木区域面积大于预设面积的且区域圆形度大于预设圆形度区域提取作为疑似病害木区域进入下一步骤，预设面积一般设置为1m

如图3所示，下面进入对疑似病害木区域的分类步骤：

3)从疑似病害木区域随机选择100个像素，提取像素的所有高光谱波段的光谱数据，即光谱反射率和光谱特征指数，利用光谱特征提取网络提取M个像素，如100个像素的光谱特征向量，然后利用两层全连接神经网络FC1、FC2对光谱特征向量的各维度的M个像素特征进行特征提取，将提取后的各维度的特征合并组成最终的光谱特征向量；

4)提取疑似病害木区域外接矩形窗口区域的高光谱影像，通过PCA变换提取三个PCA主特征，利用PCA主特征合成假彩色图像，由空间特征提取网络提取假彩色图像的空间特征向量；

5)深度学习网络进一步将光谱特征向量和空间特征向量合并，结合光谱特征向量和空间特征向量，利用两层全连接神经网络对每个疑似病害木区域对象进行分类，采用Softmax激活函数输出分类结果，确定高光谱影像疑似病害木区域对象的类别，类别有三类：松材线虫病病害木、变色落叶树和林间裸地；

6)输出分类结果中的病害木对象，根据正射影像地理坐标和地面分辨率，计算病害木像素位置，输出病害木位置坐标。

具体地，各个网络构建方式如下：

(一)高光谱影像分割网络构建

1、建立无人机高光谱影像分类样本数据集

通过无人机搭载高光谱成像系统，采集松材线虫疫区的高光谱影像，影像地面分辨率为要求为10cm左右。通过辐射定标和校正软件校正高光谱影像，将像元亮度值转换为地表反射率。利用无人机影像处理软件对高光谱影像进行无人机数据处理，生成高光谱正射影像。利用高光谱正射影像红、绿、蓝光谱范围内的3个波段合成彩色图像，将图像裁剪为500*500的分块图像。利用样本标注软件标注分块图像上的正常松树、疑似病害木(病害木、林间裸地、变色落叶树)和其他地面区域，制作影像分割样本数据集；

2、影像分割网络的构建和训练

1)网络结构

影像分割网络采用深度学习图像分割网络Deeplab V3。网络输入是分块图像，输出是图像像素的类别，类别分为3类：正常松树、疑似病害木(病害木、林间裸地、变色落叶树)和其他地面区域，提取网络也可以用其他深度学习图像分割网络替代。

2)网络构建与训练

利用tensorflow或pytorch等深度学习工具构建网络，利用所有影像样本数据集对网络进行训练，通过翻转和旋转等数据增强方法扩充样本。样本中的80％作为训练样本，20％作为验证样本。设置训练优化器，学习率和训练次数，对网络进行训练。

(二)深度学习网络构建

深度学习包括前述经过训练的光谱特征提取网络和空间特征提取网络，利用tensorflow或pytorch构建网络，在构建和训练深度学习网络时，首选构建及训练光谱特征提取网络和空间特征提取网络，然后对深度学习网络进行整体训练，对深度学习网络进行整体训练时，光谱特征提取网络和空间特征提取网络由于已训练完成，所以这些网络的参数固定，只训练全连接层的参数，直接采用(一)中构建的疑似病害木区域进行训练，样本中的80％作为训练样本，20％作为验证样本。设置训练优化器，学习率和训练次数，对网络进行训练。

(1)光谱特征提取网络构建和训练：

1、建立地面反射光谱样本数据集

采集正常松树针叶、松材线虫病病害木针叶、变色落叶树叶片和林间裸地土壤，利用光谱辐射仪测量正常松树针叶、松材线虫病病害木针叶、变色落叶树和土壤的反射光谱。测量的反射光谱范围为350-1000nm，每次数据采集前都进行标准白板校正，每个样本重复测量多次，多次测量的数据取平均值作为样本反射光谱数据，建立包含落叶树、病害松树和正常松树的样本光谱数据集。

2、反射光谱数据处理

对样本光谱数据集的反射光谱数据进行预处理，主要包括光谱异常去除、噪声处理。根据样本标准差去除异常数据，计算每组样本在每处波段上的平均值和标准差，以平均值为基准，1.5倍标准差为上下限建立光谱区间，剔除超过所建立光谱区间的光谱曲线。通过数据平滑去除噪声，利用Savitzky-Golay卷积平滑方法，选取3×3的滑动窗口，采用k-1次多项式对窗口内的光谱数据点进行拟合，平滑去噪处理。根据无人机高光谱相机的光谱波段范围对地面光谱测量得到的所有样本光谱数据进行光谱重采样，将光谱波段重采样为无人机高光谱相机对应的波段，提取波段的光谱反射率。

3、特征波段的选择

对前一步计算的所有波段的光谱反射率采用ANOVA方法分析，确定对落叶树、病害松树和正常松树光谱具有显著差异的前100个特征波段。

4、光谱特征指数计算

对样本反射光谱数据进行处理，计算光谱一阶微分(导数)，计算光谱三边特征参数包括：红边(680nm-750nm)、黄边(550nm-582nm)和蓝边(490-530nm)的幅值、位置和面积三个参数，幅值是对应范围内的最大一阶微分值，位置是幅值对应的波长，面积是对应范围内的一阶微分值总和。计算光谱曲线的包络线，对光谱曲线进行进行包络线消除处理，计算光谱吸收特征：吸收位置、吸收深度、吸收宽度和吸收对称度。计算高光谱土壤调整植被指数指数(OSAVI)、结构不敏感色素指数(SIPI)、结构不敏感色素指数(SIPI)、植被衰减指数(PSRI)、类胡萝卜素反射指数1(CRI1)、归一化脱镁作用指数(NPQI)和光化学植被反射指数(PRI)。

5、网络构建和训练

采用BP神经网络构建本光谱特征提取网络，网络输入是样本反射光谱数据特征波段的光谱反射率和根据光谱反射率计算的光谱特征指数，输出是样本的类别，样本类别分为三类：落叶树、病害木和其他树。利用地面光谱测量获得的样本光谱数据对网络进行训练，选取样本中的80％作为训练样本，20％作为验证样本，设置训练优化器，学习率和训练次数，对网络进行训练，调整网络中间层神经元个数，根据网络训练的精度确定最佳网络结构和参数。

(2)空间特征提取网络

1、建立无人机高光谱影像分类样本数据集

将高光谱影像进行数据处理获得高光谱正射影像，将高光谱正射影像上的正常松树、松材线虫病病害木、变色落叶树和林间裸地裁剪成单个影像块，利用样本标注软件标注影像块的图像类别，制作影像样本数据集。

2、特征分析与特征变换

对影像样本数据集中的所有样本像素的光谱反射率进行主成分分析(PCA)，提取前3个PCA主特征，对影像样本数据集的所有图片进行主成分变换，转换成由前3个PCA主特征影像合成的RGB假彩色图片。

3、网络构建与训练

采用GoogleNet Inception V4构建本空间特征提取网络，网络输入是PCA主成分图像，输出是样本图片的类别，样本类别分为四类：正常松树、松材线虫病病害木、变色落叶树和林间裸地。利用所有影像样本数据集对网络进行训练。通过翻转和旋转等数据增强方法扩充样本。样本中的80％作为训练样本，20％作为验证样本。完成网络训练后，对网络中的Inception-C模块的输出进行global average pooling(每一维特征图计算所有像素的均值)后作为提取的空间特征向量。空间特征提取网络也可以用其他深度学习图像分类网络替代。

本方案针对高光谱影像，先对高光谱影像进行图像分割，筛选出疑似病害木区域，然后利用BP神经网络提取光谱特征，利用卷积神经网络提取主成分假彩色图像的空间特征，利用全连接神经网络进行光谱特征和空间特征的结合区分松材线虫病害木、变色落叶树、林间裸地，能够有效提高落叶树、林间裸地和病害木的区分效果，从而有效区分秋季变色落叶树、林间裸地和松材线虫病受害木，即使针对低郁闭度林区和秋季中晚期同样具有较高的监测效果。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

尽管本文较多地使用了影像分割网络、深度学习网络、疑似病害木区域、光谱特征向量、空间特征向量、分块图像等术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的。