一种基于目标检测的春石斛生长状态检测方法

技术领域

本发明涉及计算机视觉与人工智能的技术领域，尤其是指一种基于目标检测的春石斛生长状态检测方法。

背景技术

春石斛为兰科、石斛属，具有观赏价值以及药用价值，在中国华南地区其种植由来已久。春石斛植株体在开花前可分为萌芽、假鳞茎单片叶、多片叶展开等多个生长状态，且每个生长状态所需要的环境条件均不相同，尤其是光照强度、温度以及湿度，故在开花前准确识别春石斛的生长状态、并对其施加适宜的环境条件，是春石斛植株体健康生长的必要条件，是春石斛种植中至关重要的一环。

随着现代农业的发展，大棚种植技术日趋普遍。现如今，春石斛种植大棚内的环境条件，如光照强度、温湿度等，通过大棚设备已可以做到精准调控，而春石斛生长状态的识别，却仍采取工人的人工判断，这种方式不仅效率低下，且识别准确率不能得到保证。近几年来，我国加大了智慧农业的研发投入，人工智能技术正逐步涉及农业领域，若使用计算机视觉技术对春石斛生长状态进行识别，则可有效解决人工判断方式效率低下、准确率难以保证的弊端。因此，本设计希望能够通过设计一种基于目标检测的春石斛生长状态检测方法，实现大棚内春石斛生长状态的准确与高效识别。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于目标检测的春石斛生长状态检测方法，主要利用数据增强算法扩充春石斛原始集数据，再改进现有神经网络目标检测模型Cascade RCNN的backbone部分，以适用于大棚种植场景下的春石斛数据集，并设定训练参训对网络进行迭代训练，从而实现对春石斛生长状态的准确检测。

为实现上述目的，本发明所提供的技术方案为：一种基于目标检测的春石斛生长状态检测方法，包括以下步骤：

1)收集农业种植大棚内处于不同生长状态的春石斛的图像，构建原始数据集；

2)使用图像标注工具，对原始数据集中春石斛植株体进行人工标注；

3)根据大棚内环境与春石斛生长特点，使用数据增强的手段对所有原始数据集进行数据增强，构建训练集；

4)对神经网络目标检测模型Cascade RCNN进行backbone部分的改进，以匹配农业种植大棚场景下的春石斛；

5)对改进后的神经网络目标检测模型设定参数，使用训练集进行训练，并保存最优模型；

6)将待检测的图像输入保存好的模型中进行前向推理，再经NMS后处理得出待检测的图像中春石斛植株所处的生长状态，完成对春石斛生长状态的检测；其中，待检测的图像为采集的大棚内春石斛种植情况的图像。

在步骤1)中，春石斛开花前其整个生长周期被划分为萌芽、假鳞茎单片叶、多片叶展开、止叶形成和假鳞茎成熟这5个不同的生长状态，故需要采集处于每个不同生长状态的春石斛图像，构建原始数据集。

在步骤2)中，使用开源图像标注软件labelme，对原始数据集图像中的春石斛植株体进行标注，每一个植株体对应一条标注信息。

在步骤3)中，根据大棚内环境与春石斛植株生长特点，使用数据增强的手段对所有原始数据集进行数据增强，构建训练集；大棚内一天的光照水平均不相同，且春石斛植株生长过程中往往有弯曲现象，基于此种情况，故数据增强的手段包括：

a、亮度变化

模拟大棚内不同时刻的光照变化，对图像进行亮度变化；

b、随机旋转

模拟植株生长过程中的弯曲，对图像进行-15度到+15度的随即旋转；

c、随机翻转

对图像进行水平随即翻转；

d、随机剪裁

以植株体为中心，对原始图像进行剪裁。

在步骤4)中，在Cascade RCNN原有结构的基础上，对其backbone部分做进一步改进，改进方式为使用resnext结构替换原有的resnet结构，实现了模型宽度的扩展，提升了模型对春石斛的感知能力；改进后的模型具体情况如下：

a、网络结构

网络的输入大小为1200×900×3；

网络由5个主要部分组成：stem、backbone、neck、RPN、head，具体含义如下：

stem是网络的输入层，包含一个卷积层，卷积核个数为64，用以进行卷积操作并进行两倍下采样；一个最大池化层，滤波器数量为64，用以进行两倍下采样；stem部分实现4倍下采样，经过stem后，输入图像转化为300×225×64的特征图，作为网络下一部分backbone的输入；

backbone的功能是对图像进行特征提取，此处选用的是resnext101；resnext101由多个resnext模块组成，一个resnext模块分为前向卷积和远眺链接两部分：其一为前向卷积，前向卷积先对输入的特征图通道数降维至4，并分成C个组，再分别对每一组的特征图进行卷积，最后将每一组的通道数扩充至复原，再将全部C个组的结果相加；其二为远眺链接，远眺链接将输入特征图直接与前向卷积的结果相加，得到resnext模块的最终结果；由多个resnext模块组成的resnext101被分为4个阶段，第一阶段X1输出为300×225×256，第二阶段X2输出为150×113×512，第三阶段X3输出为75×57×1024，第四阶段X4输出为38×29×2048；

neck的功能是融合网络中的高低层特征，选用FPN结构，其输入为backbone的X1～X4四个阶段；FPN对输入的X1～X4分别进行卷积核为(1,1)、卷积核个数为256的卷积操作，得到四个特征图Q1、Q2、Q3、Q4，Q1维度为300×225×256、Q2维度为150×113×256、Q3维度为75×57×256、Q4维度为38×256，将Q4、Q3、Q2分别进行两倍上采样后，各与Q3、Q2、Q1相加，实现高低层特征的融合，此处采用的是最近邻上采样；再对Q1～Q4分别进行卷积核为(3,3)、卷积核个数为256的卷积操作，得到四个特征图P1、P2、P3、P4，P1维度为300×225×256、P2维度为150×113×256、P3维度为75×57×256、P4维度为38×256，对P4执行两倍最大池化操作得到P5，最终FPN输出5个维度不同的特征图，维度如下：P1为300×225×256，P2为150×113×256，P3为75×57×256，P4为38×29×256，P5为19×15×256；

RPN分为anchor生成器和RPN_head两部分，功能是生成候选框；anchor生成器对neck中FPN结构输出的5个特征图P1～P5，分别在每一个特征图的每个点上放置预设尺寸、长宽比为s、m、l的3种anchor，其中s取值范围0.5±0.3、m取值范围1.0±0.3、l取值范围2.0±0.8，故共有15种不同anchor，将与Ground Truth的IOU大于0.7的anchor定义为正样本，小于0.3的定义为负样本，其余anchor不参与训练；RPN_head含两个并行步骤，其一为对anchor进行定位回归、其二为对anchor进行正样本置信度回归，通过对anchor进行定位修正得到初步的候选框，对候选框按置信度排序，取前2000个候选框并执行阈值为0.7的NMS操作以剔除其中重叠度过高的候选框，将剩余的候选框作为RPN的输出，输入网络的后续部分；

head的功能是对候选框进行精确定位回归与类别回归；首先使用roi align将RPN输出的候选框，在对应的P1～P5中切割提取；再用池化层将切割提取到的特征图映射为7×7大小，送入级联RCNN；级联RCNN包含三个结构相同、IOU阈值分别为T

b、网络损失函数

在网络的训练过程中，网络总体损失函数包含L

L

L

式中，L

L

L

式中，L

在步骤5)中，对改进后的神经网络目标检测模型设定参数，使用训练集进行训练，并保存模型，具体情况如下：

a、设置训练参数

设置实验优化器为SGD，批次大小为4张，总迭代次数为12个epoch，学习率采用分段衰减策略，衰减倍数为10，第1～8个epoch学习率为0.0005，第9～12个epoch学习率为0.00005；

b、设置训练完成标志

训练完成标志为达到规定迭代次数；

c、保存神经网络模型

选择表现最优的模型，保存其结构和权重。

在步骤6)中，将待检测的图像输入保存好的模型中进行前向推理，得到初步的r个候选结果，由于初步的候选结果中存在包含同一目标重叠的现象，需在此处设计的后处理方式是NMS，取NMS的阈值为0.5，故对初步候选结果进行阈值为0.5的NMS过滤，得到最终结果，即无重叠的春石斛植株体定位与所处生长状态，完成对春石斛生长状态的检测。

本发明与现有技术相比，具有如下优点与有益效果：

1、针对性的数据增强手段有效扩充了原始数据集，不仅平衡了数据集量级和网络体量量级之间的差异，解决了神经网络容易过拟合的缺点，且提升了模型的泛化能力。

2、对网络结构的改进增强了模型的拟合能力，提高模型在大棚种植环境下对春石斛的检测表现。

3、模型的性能提高的同时，模型的参数量与计算量并未明显增加。

4、神经网络自身有特征学习的功能，无需人为设计复杂的春石斛特征。

5、与传统图像处理方法相比，神经网络模型在检测上有更高的鲁棒性、准确度。

附图说明

图1为本发明逻辑流程示意图。

图2为改进后的神经网络目标检测模型(Cascade RCNN)训练与测试流程图。

图3为待检测的春石斛图像。

图4为检测效果图。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

如图1至图4所示，本实施例所提供的基于目标检测的春石斛生长状态检测方法，包括以下步骤：

1)收集农业种植大棚内处于不同生长状态的春石斛的图像，构建原始数据集。

春石斛开花前其整个生长周期被划分为萌芽、假鳞茎单片叶、多片叶展开、止叶形成、假鳞茎成熟，此5个不同的生长状态，故需要采集处于每个不同生长状态的春石斛图像，构建原始数据集。

计算机视觉在智慧农业中的运用仍处于探索与起步阶段，以目标检测或其他计算机视觉手段检测植物生长的实例较少，而目前植物类尚无类别齐全、数量庞大的大规模公开数据集，故需要自行采集春石斛图像，用以构建原始数据集。

2)使用开源图像标注软件labelme，对原始数据集图像中的春石斛植株体进行标注，每一个植株体对应一条标注信息。

对原始数据集中每一张图像，选择图像中每一春石斛植株体进行标注，每一个植株体的标注信息包含类别与定位，即[x

3)根据大棚内环境与春石斛植株生长特点，使用数据增强的手段对所有原始数据集进行数据增强，构建训练集。大棚内一天的光照水平均不相同，且春石斛植株生长过程中往往有弯曲现象，基于此种情况，故数据增强的手段包括：

a、亮度变化

模拟大棚内不同时刻的光照变化，对图像进行亮度变化；

b、随机旋转

模拟植株生长过程中的弯曲，对图像进行-15度到+15度的随即旋转；

c、随机翻转

对图像进行水平随即翻转；

d、随机剪裁

以植株体为中心，对原始图像进行剪裁。

4)在Cascade RCNN原有结构的基础上，对其backbone部分做进一步改进，改进方式为使用resnext结构替换原有的resnet结构，实现了模型宽度的扩展，提升了模型对春石斛的感知能力。Cascade RCNN网络设计精巧，使用阈值逐步提高的三个级联结构逐步优化网络输出结果，以简单的手段显著地提升了自身的目标检测性能。在本实施中，借鉴论文Aggregated Residual Transformation for Deep Neural Networks的思想，将网络backbone的基础模块的前向通路数通道数进行削减的同时对前向通路的数量进行扩展，极大提升了backbone对图像的感知能力，具体网络结构与算法流程描述如下：

a、网络结构

网络的输入大小为1200×900×3；

网络由5个主要部分组成：stem、backbone、neck、RPN、head，具体含义如下：

stem是网络的输入层，包含一个卷积层，卷积核为(7,7)，卷积核个数为64，步长为2，padding为3；一个最大池化层，核为(3,3)，滤波器数量为64，步长为2，padding为1。stem部分实现4倍下采样，经过stem后，输入图像转化为300×225×64的特征图，作为网络下一部分backbone的输入。

backbone的功能是对图像进行特征提取，此处选用的是resnext101。resnext101由多个resnext模块组成，一个resnext模块分为前向卷积和远眺链接两部分：其一为前向卷积，前向卷积先对输入的特征图通道数降维至4，并分成C个组，再分别对每一组的特征图进行卷积，最后将每一组的通道数扩充至复原，再将全部C个组的结果相加；其二为远眺链接，远眺链接将输入特征图直接与前向卷积的结果相加，得到resnext模块的最终结果。由多个resnext模块组成的resnext101被分为4个阶段，第一阶段X1输出为300×225×256，第二阶段X2输出为150×113×512，第三阶段X3输出为75×57×1024，第四阶段X4输出为38×29×2048。

neck的功能是融合网络中的高低层特征，选用FPN结构，其输入为backbone的X1～X4四个阶段。FPN对输入的X1～X4分别进行卷积核为(1,1)、步长为1、padding为0、卷积核个数为256的卷积操作，该卷积操作的目的是统一通道数，得到四个特征图Q1、Q2、Q3、Q4，Q1维度为300×225×256、Q2维度为150×113×256、Q3维度为75×57×256、Q4维度为38×256，将Q4、Q3、Q2分别进行两倍上采样后，各与Q3、Q2、Q1相加，实现高低层特征的融合，此处采用的上采样是最近邻上采样；再对Q1～Q4分别进行卷积核为(3,3)、卷积核个数为256的卷积操作，得到四个特征图P1、P2、P3、P4，P1维度为300×225×256、P2维度为150×113×256、P3维度为75×57×256、P4维度为38×256，对P4执行两倍最大池化操作得到P5，最终FPN输出5个维度不同的特征图，维度如下：P1为300×225×256，P2为150×113×256，P3为75×57×256，P4为38×29×256，P5为19×15×256。

RPN分为anchor生成器和RPN_head两部分，功能是生成候选框。anchor生成器对FPN输出的5个特征图P1～P5，分别在每一个特征图的每个点上放置一定尺寸、长宽比为0.5、1、2的3种anchor，共有15种不同anchor，将与Ground Truth的iou大于0.7的anchor定义为正样本，小于0.3的定义为负样本，其余anchor不参与训练；RPN_head含两个并行步骤，其一为对anchor进行定位回归、其二为对anchor进行正样本置信度回归，通过对anchor进行定位修正得到初步的候选框，对候选框按置信度排序，取前2000个候选框并执行阈值为0.7的nms操作以剔除其中重叠度过高的候选框，将剩余的候选框作为RPN的输出，输入网络的后续部分。

head的功能是对候选框进行精确定位回归与类别回归。首先使用roi align将RPN输出的候选框，在对应的P1～P5中切割提取，公式如下：

其中k

b、网络损失函数

在网络的训练过程中，网络总体损失函数包含L

L

L

式中，L

L

L

式中，L

5)对改进后的神经网络目标检测模型设定参数，使用训练集进行训练，保存模型。需要特别声明的是，backbone部分加载ImageNet上预训练过的模型参数，其余部分皆采用平均值为0、标准差为0.01的高斯分布进行初始化，具体如下所述：

a、设置训练参数

设置实验优化器为SGD，批次大小为4张，总迭代次数为12个epoch，学习率采用分段衰减策略，衰减倍数为10，第1～8个epoch学习率为0.0005，第9～12个epoch学习率为0.00005；

b、设置训练完成标志

训练完成标志为达到规定迭代次数。但需指出，在实际操作中，每一epoch训练结束时，均使用验证集对网络模型性能进行评估，若连续5个epoch网络模型的性能均未提升，则认为该模型的训练已趋于收敛，在此种情况下即使未达到规定的训练epoch数，仍是完成训练。

c、保存神经网络模型

选择表现最优的模型，保存其结构和权重。

6)使用图像采集设备，采集大棚内春石斛种植情况的图像，将待检测的图像输入保存好的模型中进行前向推理，得到初步的100个候选结果，其中待检测的图像如图3所示。在实际操作中候选结果往往包含同一目标重叠的现象，故在此处设计的后处理方式是NMS，经多次实验尝试，取NMS的阈值为0.5可以取得较好的效果，故对初步推理结果进行阈值为0.5的NMS过滤，得到最终结果，即无重叠的春石斛植株体定位与所处生长状态，完成对春石斛生长状态的检测，效果如图4所示。

综上所述，在采用以上方案后，本发明为春石斛的生长状态检测提供了新的方法，能够克服人工判断效率低下且准确率无法保障的弊端，具有潜在经济效益与实际推广价值，值得推广。

以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。