一种基于高光谱成像监测茶树扦插苗生长的方法及系统

技术领域

本发明属于计算机视觉领域，具体涉及一种基于高光谱成像监测茶树扦插苗生长的方法及系统。

背景技术

茶树（

目前，传统的茶树扦插苗生物量的分析方法，主要通过人工测量，费时费力。光学传感器（高光谱、多光谱和RGB）的快速发展对农业产生了重大影响。随着高通量表型的技术，我们能够从图像数据中提取有用的表型特征。在近些年来，研究人员已经提出了多种机器学习的方法将高通量数据与作物生理生化参数相关联。与传统方法相比，高通量系统能够以更高效、准确和无损的方式提供感兴趣的植物特征。有利于在茶树育种与良种繁育过程中，快速准确的获取信息，加速繁育速率。

发明内容

本发明提供了一种基于高光谱成像监测茶树扦插苗生长的方法及系统。本发明首先利用Mask R-CNN提取新梢和母叶的光谱值，然后，利用MSC、S-G和1-D对光谱进行预处理，并且通过UVE、CARS和SPA筛选敏感波段，最后，提出一种CNN-GRU网络用于估计扦插苗新梢和根系的生物量，并且与SVM、RF、PLS三种机器学习方法和CNN、LSTM两种深度学习方法进行比较。

为实现上述发明目的，本发明采用以下技术方案予以实现：

本发明提供了一种基于高光谱成像监测茶树扦插苗生长的方法及系统，包括以下步骤：

S1：采集茶树扦插苗数据；

S2：将步骤S1的茶树扦插苗数据进行光谱反射率的提取；

S3：结合提取的光谱反射率对光谱进行预处理；

S4：对预处理后的光谱进行光谱特征波段的筛选；

S5：结合步骤S2、S3和S4的处理结果，利用CNN-GRU进行数据建模，并对其进一步验证。

进一步的，所述步骤S1中采集茶树扦插苗数据的步骤为：

S11：茶树扦插苗新梢和根系生物量的测定；

S12：高光谱数据的采集；

S13：黑白校正和标准化处理。

进一步的，所述步骤S12中高光谱相机具有像素为：1101×960（空间×光谱）像素。

进一步的，所述步骤S2是基于Mask R-CNN自动提取母叶和新梢光谱的方法，具体步骤为：

S21：将采集的图像进行数据扩增；

S22：利用Labelme软件（MIT USA）对图像进行手动标记并分类；

S23：标签数据保存在与原始照片对应的JSON文件中；

S24：将标签数据的JSON格式转换为COCO数据集格式，并将其输入神经网络进行训练；

S25：高光谱数据的提取，并将提取的所有像素的光谱反射率求平均值。

进一步的，所述步骤S3光谱预处理所利用的算法包括MSC算法、S-G算法和一阶导数（1-D）。

进一步的，所述步骤S4光谱特征波段的筛选所利用的算法包括SPA、CARS和UVE。

进一步的，所述步骤S5是利用CNN-GRU进行数据建模，并对其进一步验证，具体步骤为：

S51：首先利用CNN进行高光谱数据的特征提取；

S52：将高光谱数据和生物量数据输入到5*5的滤波器进行卷积，连续卷积4次，经过平均池化、序列展开，扁平化后，输入到GRU网络；

S53：经过3次门控循环，最后将预测的数据输入到全连接层，并由回归器输出；

S54：分别将新梢和母叶光谱数据和新梢、根系生物量建立回归模型；

S55：采用十折交叉验证，将数据集分成10份，轮流将其中9份作为训练数据，1份作为测试数据，重复三次，然后将结果求平均值；

S56：采用确定系数（R

S57：采用精准率，召回率和F1分数评价Mask R-CNN模型提取光谱信息的性能。

进一步的，所述步骤S54所利用的6种方法是：3种机器学习的方法（SVM、RF和PLS）和2种深度学习的方法（CNN和LSTM）与CNN-GRU网络。

本发现还提供了一种基于高光谱成像监测茶树扦插苗生长的方法及系统，包括：

采集系统，包括成像光谱相机、卤素灯线光源、计算机等部件。用来采集茶树扦插苗数据；

处理系统，执行以下操作：将采集到的数据输入到深度学习和机器学习的神经网络中，并进行光谱反射率提取、光谱的预处理、光谱特征波段的筛选；

分析系统，根据所述处理系统，对数据建模并验证，用于估计扦插苗新梢和根系的生物量，以高效、快速地判断茶树扦插苗和根的生长动态。

与现有技术相比，本发明具有的优点和有益效果是：

1、提出了一种基于Mask R-CNN茶树扦插苗母叶和新梢的分割模型。Mask R-CNN从拍摄的扦插苗RGB图像中分割母叶和新梢，提供新梢和母叶的像素点坐标，然后根据高光谱360通道提取母叶和新梢的光谱值。

2、提出了基于母叶和新梢光谱的多种光谱预处理和特征波段筛选的方法。利用多元散射校正（MSC）、一阶导数（1-D）、平滑（S-G）等方法对扦插苗母叶和新梢光谱进行预处理。利用（无信息变量消除）UVE、（竞争性自适应重加权）CARS、（采用连续投影算法）SPA对扦插苗母叶和新梢光谱进行特征波段的筛选。这样可以减小运算速度和提高模型精度。

3、提出了一种基于CNN-GRU的茶树扦插苗新梢和根系生物量的预测模型。利用LSTM-CNN网络与母叶和新梢光谱建立扦插苗新梢和根系生物量的预测模型，并且与三种机器学习的算法（SVM、RF、PLS）和两种深度学习的算法（LSTM和CNN）建立的预测模型进行比较。

附图说明

图1 为本发明的一种基于计算机视觉的茶树冻害评估方法的流程图。

图2 为茶树扦插苗标记的图像。

图3 高光谱拍摄扦插苗。

图4 穴盘中的扦插苗。

具体实施方式

结合以下具体实例对本发明的技术方案作进一步详细的说明。

实施例1

一种基于高光谱成像监测茶树扦插苗生长的方法及系统，流程图见图1，包括如下步骤：

步骤一、采集茶树扦插苗数据：

2021年11月13日到2022年7月2日，在中国山东省日照市富源春生态茶园（35°66′N，119°47′E），每隔25天取样一次，共取样10次。每次取样，都用高光谱相机采集光谱数据。此外，高光谱相机具有1101×960（空间×光谱）像素，采集图像的光谱范围在可见-近红外波段（391-1010nm）内，可测量360个波段的光谱反射率。

步骤二、基于Mask R-CNN的光谱反射率的提取

将采集的135张图像进行数据扩增，即旋转，水平翻转和竖直翻转。然后，利用Labelme软件（MIT USA）对图像进行手动标记。首先，用不同的颜色对新梢和母叶区域进行标记，并用不同颜色的标签对其进行分类。其中绿色代表新梢、红色代表母叶。标记外的区域都视作背景。然后，标签数据保存在与原始照片对应的JSON文件中。图2（a）是标记过程中的图像。我们将JSON格式的标记数据转换为可视图像，以获得图2（b）中的标记后的图像。接下来，我们将标签数据的JSON格式转换为COCO数据集格式，并将其输入神经网络进行训练。

表1新梢和母叶分割结果比较显示Mask R-CNN可以很好的分割新梢和母叶，提取两者的光谱的F1分数都能达到90%以上。因此，基于Mask R-CNN可以准确的提取扦插苗新梢和母叶的光谱。

表1 Mask R-CNN提取新梢和母叶的光谱。

步骤三、结合提取的光谱反射率对光谱进行预处理：

由于高光谱采集仪器或环境因素的影响，扦插苗母叶和新梢光谱存在散射效应、随机噪声和系统噪声等问题。因此，我们利用MSC、S-G和一阶导数（1-D）对母叶和新梢光谱进行预处理。其中，MSC算法能够消除散射水平不同带来的光谱差异，从而增强光谱与数据之间的相关性；S-G算法可以有效降低平均反射光谱的随机噪声；1-D可以去除基线偏移的过程并分离重叠的光谱峰。微分法-1D的公式见式（2）。

（2）

步骤四、对预处理后的光谱进行光谱特征波段的筛选：

为了减少数据运算量和提高后期建模的效果，我们利用SPA、CARS和UVE3个算法来选择所有光谱数据中有代表性的波段作为“特征波段”，剔除相关性不大的波段。其中，SPA算法可以选择含有最少冗余信息及最小共线性的波段组合。CARS算法是通过自适应重加权采样（ARS）技术选择出PLS模型中回归系数绝对值大的波长点，去掉权重小的波长点，利用交互验证选出RMSECV指最低的子集，可有效寻出最优变量组合。UVE算法能够降低模型的复杂性，改善PLS模型。

步骤五、利用CNN-GRU进行数据建模，并对其进一步验证：

为了更好的提取数据的底层特征，我们首先利用CNN进行高光谱数据的特征提取。将高光谱数据和生物量数据输入到5*5的滤波器进行卷积，连续卷积4次，经过平均池化、序列展开，扁平化后，输入到GRU网络。经过3次门控循环，最后将预测的数据输入到全连接层，并由回归器输出。

为了进一步验证CNN-GRU网络的性能，我们选择了3种机器学习的方法（SVM、RF和PLS）和2种深度学习的方法（CNN和LSTM）与CNN-GRU网络进行比较。本研究利用这6种方法，分别将新梢和母叶光谱数据和新梢、根系生物量建立回归模型。

为了进一步保证算法的准确性，本研究采用十折交叉验证，将数据集分成10份，轮流将其中9份作为训练数据，1份作为测试数据，重复三次，然后将结果求平均值。为了更精确的评价回归模型的性能，我们采用确定系数（R

本发明是一种基于高光谱成像监测茶树扦插苗生长的方法及系统，不仅可以高效、快速地判断茶树扦插苗和根的生长动态，而且为基于环境参数的茶树扦插苗生长建模奠定了良好的基础。目前，选育高质量的茶树苗木主要通过人工筛选，存在效率低、准确率差和主观性强等问题。因此，本研究提出一种基于母叶和新梢高光谱敏感波段监测茶树扦插苗生长量的方法。

以上实施例仅用以说明本发明的技术方案，而非对其进行限制；尽管参照前述实施例对本发明进行了详细的说明，对于本领域的普通技术人员来说，依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明所要求保护的技术方案的精神和范围。