基于N-MobileNetXt的菠菜幼苗水分胁迫等级分类系统及方法

技术领域

本发明属于图像识别和深度学习技术领域，具体涉及基于N-MobileNetXt的菠菜幼苗水分胁迫等级分类系统及方法。

背景技术

我国是世界上最大的设施农业生产国，但干旱和半干旱地区设施农业用水存在水资源供需矛盾突出的问题，实现设施作物高效节水管理尤为重要。菠菜在我国市场上有非常大的需求量，研究发现在菠菜生长发育过程中水分胁迫会对作物的生理生长产生影响，进而降低菠菜产量。因此，制定合理的灌溉策略是实现菠菜种植节水和高产的重要途径；对作物的水分胁迫进行精准识别并分级可以为设施农业的合理灌溉提供技术支持。

水分胁迫会导致植物表型出现症状，在一定时间的缺水条件下，植物叶片会枯萎、下垂，与没有水分胁迫的绿叶相比，叶子颜色和形态都会有明显变化。因此，通过图像技术识别水分胁迫下作物表型特征，进而对水分胁迫进行分级是有效且可行的，而且此方法为无损识别，避免了对农作物的伤害。

目前，用于探索水分胁迫下植物变化的图像主要有四种，荧光成像，热成像，高光谱图像和RGB图像；其中，荧光图像是在受控的实验室环境下获得的，在实际应用领域中面临一些挑战；热图像和高光谱图像特别容易受到实际环境中背景和照明变化的影响，而且这些成像传感器的成本极高，并不适用于设施农业领域。除了上述捕捉植物生理特性的特定成像传感器外，常规的RGB数字图像具有成本低，易携带等特点，在基于计算机视觉方法识别作物表型特征方面也发挥着重要作用。

随着计算机视觉的发展，图像处理和机器学习技术已广泛应用于农业领域，卷积神经网络可以从RGB图像中提取植物的不同水分胁迫表型特征，并具有很强的泛化能力，与传统机器学习提取特征相比具有更好的性能。因此，本发明提出一种基卷积神经网络模型的菠菜幼苗水分胁迫等级分类系统，实现对菠菜幼苗水分胁迫的无损检测。

发明内容

针对现有技术中上述缺陷，本发明提供了基于N-MobileNetXt的菠菜幼苗水分胁迫等级分类方法及系统，应用卷积神经网络，根据菠菜叶片图像识别菠菜幼苗的水分胁迫等级并分类，从而实现快速有效的菠菜幼苗水分胁迫检测以监测作物状态，为作物灌溉提供科学指导。

本发明通过如下技术方案实现：

基于N-MobileNetXt的菠菜幼苗水分胁迫等级分类系统，包括图像采集模块、图像预处理模块、图像特征提取模块及显示模块；

所述图像采集模块，用于采集进行水分胁迫等级识别的菠菜叶片图像，并发送给图像预处理模块；

所述图像预处理模块，用于将图像采集模块发送的菠菜叶片图像转换为图像特征提取模块所支持的图像格式和大小，并发送给图像特征提取模块；

所述图像特征提取模块，用于将图像预处理模块发送的菠菜叶片图像进行特征提取并分级；并发送给显示模块；

所述显示模块用于显示菠菜图像的水分胁迫等级分类结果。

进一步地，当图像采集模块发送的菠菜叶片图像的像素值大于或小于224px×224px时，图像预处理模块采用PyTorch框架中的reshape()函数，将原图的张量元素按顺序重组为新目标图像的宽和高，返回新张量的视图，以满足特征提取模块需求。

进一步地，所述图像特征提取模块所支持的图像格式为JPG和PNG格式，像素为224px×224px的三通道RGB彩色图。

另一方面，本发明还提供了基于N-MobileNetXt的菠菜幼苗水分胁迫等级分类系统的分类方法，具体包括如下内容：图像采集模块加载一张菠菜幼苗图片或视频中的一帧作为输入；将采集的图像输入到图像处理模块进行图像预处理，处理好的待检测图像继续输入到图像特征提取模块中，图像特征提取模块将图像预处理模块发送的菠菜叶片图像进行特征提取并分级，并通过显示模块输出等级结果。

进一步地，所述图像特征提取模块将图像预处理模块发送的菠菜叶片图像进行特征提取并分级，具体包括如下步骤：

S1：构建菠菜幼苗不同水分胁迫数据集并进行数据清洗，具体如下：

采集菠菜幼苗不同水分胁迫原图像，并将不清晰和不完整的图像删除；

S2：对图像进行数据增强操作并划分训练集和测试集，具体如下：

将清洗后的图像进行数据增强操作，然后把增强后的数据进行划分，划分为训练集和测试集；

S3：构建菠菜幼苗水分胁迫等级分类模型，具体如下：

S31、基于MobileNetXT网络模型，选用Relu6作为激活函数，获得特征图；

S32、将提取的特征图输入改进的沙漏残差模块，再通过分组卷积模块进行卷积操作，得到图像的深层特征；

S33、在N-MobileNetXt网络中引入NCMA注意力机制，构造菠菜幼苗水分胁迫等级分类模型；

S4：将数据集输入到菠菜幼苗水分胁迫等级分类模型中进行训练，获得训练好的分级模型，具体如下：

将训练集的图像数据输入到菠菜幼苗水分胁迫等级分类模型中进行训练，提取图像特征，然后使用测试集进行测试调参，最终获得菠菜幼苗水分胁迫等级分类模型；

S5：获取待分级的菠菜幼苗图像，输入分类模型中，输出水分胁迫等级，具体如下：

获取待分级的菠菜幼苗图像，并按照步骤S1中的图像预处理操作处理图像，得到符合模型输入大小的待检测菠菜幼苗图像，将其输入分类模型中进行分类，输出菠菜幼苗水分胁迫等级结果，完成对菠菜幼苗的水分胁迫无损分类任务。

进一步地，步骤S1中，采集菠菜幼苗不同水分胁迫原图像的条件包括顺光、逆光、阳光充足及阴天。

进一步地，步骤S2具体包括如下内容：

S21：对步骤S1中得到的所有菠菜幼苗不同水分胁迫原图像数据集，进行数据增强操作，扩大数据集；

S22：对扩大的数据集中不同水分胁迫等级进行标注，形成标签，构建样本数据集；

S23：将样本数据集按照8:2的比例划分为训练集和测试集。

进一步地，步骤S21中所述数据增强操作采用亮度增强、对比度增强、旋转或水平翻转的方式。

进一步地，步骤S3中，

所述改进的沙漏残差模块用于特征提取，所述NCAM注意力机制模块用于增强图像特征，所述分组卷积模块用于特征图压缩；

所述沙漏残差模块包括拓展层(Expansion layer)模块及投影层(Projectionlayer)模块，其中，投影层模块采用1×1卷积网络结构，用于将高维特征映射到低维空间，拓展层模块采用1×1卷积网络结构，用于将低维空间映射到高维空间，维度扩张倍数确定为5倍时准确率和模型大小最优；

所述NCAM注意力机制包括NAM注意力、同平均池化层及最大池化层三个并行支路，三个并行分支共同连接由多层感知机构成的共享网络，在共享网络中，首先经过SimConv卷积实现通道数压缩，然后连接PReLU激活函数，最后再通过一个SimConv层扩张到原通道数；经过共享网络后，生成对应的三个输出结果(nam_out、avg_out、max_out)，对其输出数据进行逐元素相加；最后通过sigmoid激活函数得到NCAM的输出结果；

所述分组卷积模块用于将特征图分为四组后，参数量变为原本的四分之一，有效减轻模型的计算压力。进一步地，步骤S4具体包括如下内容：

首先输入训练集对所述模型进行训练，判断损失函数的值是否随着时间的变化而减小，当损失函数值在一段时间内没有发生变化时，则说明已经收敛，此时采用测试集进行判断，判断所述模型是否能学习到这种特征；如果测试集的结果不达标，说明所述模型陷入局部最优解或并未学习到这种特征，则重新调整菠菜幼苗水分胁迫等级分类模型或初始参数，并重新进行训练；若测试集得到的结果符合要求，则说明训练完成，并保留训练好的最优模型的权重和参数。

与现有技术相比，本发明的优点如下：

1、本发明通过与图像技术相结合，采用独创的卷积神经网络架构对图像进行特征提取，在低成本且对样本无损伤的情况下，准确高效地实现对菠菜幼苗水分胁迫等级的实时识别；

2、本发明所述的菠菜幼苗水分胁迫等级分类的卷积神经网络模型，在大量复杂背景环境下拍摄的菠菜图像中取得了良好的识别分类效果，具备充分的可靠性；

3、本发明通过将改进沙漏残差模块嵌入到网络模型架构中用于提升模型性能；引入NCAM注意力机制替代CA注意力，弥补空间信息提取过程中的信息缺失，增强图像的特征提取能力；引入分组卷积模块可降低模型参数量，提高模型训练速度；

4、本发明的沙漏残差模块、NCAM注意力机制和引入的分组卷积模块，在增强模型特征提取能力的同时也大大减小了模型的参数量，充分体现了轻量级网络模型体积小、参数量少且效率高的优点，计算时间在可接受范围内，具备充分的实用性。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1为基于N-MobileNetXt的菠菜幼苗水分胁迫等级分类系统的系统框图；

图2为图像特征提取模块的工作过程示意图；

图3为菠菜幼苗图像数据增强图；

图4为MobileNetXt网络结构图；

图5为网络架构中改进的沙漏残差模块图；

其中，a为现有沙漏残差模块示意图，b为改进的沙漏残差模块示意图；

图6为网络架构中注意力模块结构图；

图7为网络架构中分组卷积模块结构图。

具体实施方式

为清楚、完整地描述本发明所述技术方案及其具体工作过程，结合说明书附图，本发明的具体实施方式如下：

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

实施例1

如图1所示，为本实施例的基于N-MobileNetXt的菠菜幼苗水分胁迫等级分类系统的系统框图，所述等级分类系统包括图像采集模块、图像预处理模块、图像特征提取模块及显示模块；所述图像采集模块、图像预处理模块、图像特征提取模块及显示模块依次连接；

所述图像采集模块，用于采集进行水分胁迫等级识别的菠菜叶片图像，并发送给图像预处理模块；图像采集模块包括本地图片上传和摄像头实时获取；摄像头实时拍摄过程中，图像采集模块对视频的每一帧进行识别分类；所述等级分类系统对获取图像的大小不做要求，但是要求采集或上传的菠菜叶片为RGB彩色图像；

所述图像预处理模块，用于将图像采集模块发送的菠菜叶片图像转换为图像特征提取模块所支持的图像格式和大小，并发送给图像特征提取模块；当图像采集模块发送的菠菜叶片图像的像素值大于或小于224px×224px时，图像预处理模块采用PyTorch框架中的reshape()函数，将原图的张量元素按顺序重组为新目标图像的宽和高，返回新张量的视图，以满足特征提取模块需求。

所述图像特征提取模块，用于将图像预处理模块发送的菠菜叶片图像进行特征提取并分级；并发送给显示模块；所述图像特征提取模块所支持的图像格式为JPG和PNG格式，像素为224px×224px的三通道RGB彩色图。

所述显示模块用于显示菠菜图像的水分胁迫等级分类结果及。

本实施例所述的基于N-MobileNetXt的菠菜幼苗水分胁迫等级分类系统的工作流程如下：

以对菠菜幼苗水分胁迫等级分类为例，所述图像采集模块需要加载一张菠菜幼苗图片或视频中的一帧作为输入；将采集的图像输入到本实施例的图像处理模块进行图像预处理，当输入图像不符合模型要求输入大小时，需要经过所述reshape()函数操作，修正图像；需要说明的是，数据增强操作只在训练模型过程中使用，本系统已经封装好最优模型参数，对单一图片进行测试时，则省略该步骤。处理好的待检测图像继续输入到特征提取模块中，根据提取到的图像特征以及模型训练好的权重及参数，该模块会对菠菜图像进行不同的胁迫等级分类，并输出等级结果；在显示模块中，显示出接收图像特征模块的输出值以及计算识别图像所用的时间，完成每一次识别过程都会保存到日志中，最后生成txt文件，方便后续追溯。

实施例2

本实施例提供了一种菠菜幼苗水分胁迫等级分类模型，以MobileNetXt为基础，针对复杂背景的分类问题对其加以改进，改进后的N-MobileNetXt网络结构如图4所示；首先输入224×224×3大小的菠菜幼苗图像，经过3×3卷积层、批标准化和ReLU6激活函数进行特征提取，将提取的特征图作为下一网络层的输入。模型架构中layer1-layer5和layer8网络层中加入本发明提出的改进的沙漏残差模块，达到提高模型识别准确率的效果；在模型的layer6和layer7网络层引入分组卷积，其目的是降低参数量，每一组卷积都会生成相应的特征图，将得到的特征融合在一起形成一张最终的特征图；为提高分类模型的准确率，在layer8网络层后引入NCAM注意力模块，通过多分支的设计，以更小的代价达到特征增强的效果；为压缩计算量，提高模型鲁棒性，使用二维自适应平均池化；最后连接Dropout层和全连接层进行分类任务。

具体地，如图2所示为所述图像特征提取模块将图像预处理模块发送的菠菜叶片图像进行特征提取并分级的流程示意图，需要说明的是，该模块中已经封装好菠菜幼苗水分胁迫分级模型，在系统具体操作中，不需要对模型进行训练和测试，可直接对图像预处理模块传来的图片进行特征提取并分级，具体包括如下步骤：

S1：构建菠菜幼苗不同水分胁迫数据集并进行数据清洗，具体如下：

采集菠菜幼苗不同水分胁迫原图像，并将不清晰和不完整的图像删除；

作为一种优选实施例，所述步骤S1中构建的菠菜幼苗水分胁迫数据集，主要是以种植于长条槽盆里的菠菜幼苗为样本，如图3所示，四个长条槽盆对应四个水分胁迫等级，分别为：无胁迫处理T1基质平均含水量37.5％，田间持水量的75％-85％；Ⅰ级胁迫T2基质平均含水量21.1％，田间持水量的55％-65％；Ⅱ级胁迫T3基质平均含水量10.2％，田间持水量的35％-45％；Ⅲ级胁迫T4基质平均含水量5.7％，田间持水量的15％-25％；菠菜生长到幼苗期开始进行实验，实验周期为14天，使用土壤多要素传感器对土壤湿度进行测量，当土壤含水量降至控制水分范围的下限时予以补水，使其保持在对应水分范围内，以确保实验的可靠性。本实施例中采用智能手机进行图像数据采集，拍摄过程中，设置图像比例为1:1，分辨率为3000×3000；采集过程中为复杂背景、自然条件下的菠菜幼苗，其中，包括顺光、逆光、阳光充足、阴天等情况，涵盖了实际种植中的各种环境，增强了模型算法的鲁棒性。

S2：对图像进行数据增强操作并划分训练集和测试集，具体如下：

将清洗后的图像进行数据增强操作，然后把增强后的数据进行划分，划分为训练集和测试集；

具体包括如下内容：

S21：对步骤S1中得到的所有菠菜幼苗不同水分胁迫原图像数据集，进行数据增强操作，扩大数据集；

S22：对扩大的数据集中不同水分胁迫等级进行标注，形成标签，构建样本数据集；

S23：将样本数据集按照8:2的比例划分为训练集和测试集。

作为一种优选实施例，步骤S21中所述数据增强操作采用亮度增强、对比度增强、旋转或水平翻转的方式；可提高数据集样本数量，使得模型对于复杂背景情况下拍摄的图像能够得到更准确的权重参数；

S3：如图4所示，构建菠菜幼苗水分胁迫等级分类模型，具体如下：

S31、基于MobileNetXT网络模型，选用Relu6作为激活函数，获得特征图；

S32、将提取的特征图输入改进的沙漏残差模块，再通过分组卷积模块进行卷积操作，得到图像的深层特征；

S33、在N-MobileNetXt网络中引入NCMA注意力机制，构造菠菜幼苗水分胁迫等级分类模型；

作为一种优选实施例，所述沙漏残差模块用于特征提取，所述NCAM注意力机制模块用于增强图像特征，所述分组卷积模块用于特征图压缩；

作为一种优选实施例，如图5所示，其中，图5的(a)为原网络的沙漏残差模块，针对原沙漏残差结构存在泛化能力差，计算量大和对于图像特征信息提取能力还存在欠缺的问题；本实施例对其做了以下改进，如图5的(b)所示：所述沙漏残差模块包括拓展层(Expansion layer)模块及投影层(Projection layer)模块，其中，投影层模块采用1×1卷积网络结构，用于将高维特征映射到低维空间，拓展层模块采用1×1卷积网络结构，用于将低维空间映射到高维空间，维度扩张倍数确定为5倍时准确率和模型大小最优；

具体改进点解释说明如下：

首先，通过3×3深度可分离卷积实现空间信息变化，由于高维度可以获取更多特征信息，因此进行了1×1卷积升维的操作；

然后，连接NAM无参注意力机制模块，该模块在增强图像特征的同时不增加额外参数量，接着连接1×1卷积降维和3×3深度可分离卷积；

最后，在跳跃连接(shortcut)结构部分加入二维自适应平均池化结构，不仅可以提升模型鲁棒性，还可以对数据有进一步浓缩的效果,提高了模型准确率，缓解了计算时存在的内存压力大的问题；

另外，需要特别说明的是，在运行时，只有当步长(stride)等于1且输入特征矩阵与输出特征矩阵的形状(shape)相同时才会触发shortcut连接，否则只会运行bottleneck部分。

作为一种优选实施例，如图6所示，本实施例所述NCAM注意力机制包括NAM注意力、同平均池化层及最大池化层三个并行支路，三个并行分支共同连接由多层感知机构成的共享网络，在共享网络中，首先经过SimConv卷积实现通道数压缩，然后连接PReLU激活函数，最后再通过一个SimConv层扩张到原通道数；经过共享网络后，生成对应的三个输出结果(nam_out、avg_out、max_out)，对其输出数据进行逐元素相加；最后通过sigmoid激活函数得到NCAM的输出结果；

具体改进点解释说明如下：

由于空间注意力SAM(Spartial Attention Module)子模块不适合应用于复杂背景下的空间信息提取，本实施例删除了CBAM注意力中的SAM子模块，引入NAM注意力，同平均池化层和最大池化层作为三个并行支路，一方面弥补了在空间信息提取时的缺失，另一方面对特征图进行特征增强和降维压缩操作；

所述NCAM注意力机制模块在通道和空间上都抑制了不显著的图像信息，且参数量也有一定程度的降低，对分类模型起到增益效果。

作为一种优选实施例，如图7所示，本实施例所述分组卷积模块用于将特征图分为四组后，参数量变为原本的四分之一，有效减轻模型的计算压力。

具体可将输入特征图按通道分成4组，即每组维度即为(H，W，C/4)，从而过滤器也分为4组，分组后的维度为(H

S4：将数据集输入到菠菜幼苗水分胁迫等级分类模型中进行训练，获得训练好的分级模型，具体如下：

将训练集的图像数据输入到菠菜幼苗水分胁迫等级分类模型中进行训练，提取图像特征，然后采用测试集进行测试调参，最终获得菠菜幼苗水分胁迫等级分类模型；

作为一种优选实施例，首先输入训练集对所述模型进行训练，判断损失函数的值是否随着时间的变化而减小，当损失函数值在一段时间内没有发生变化时，则说明已经收敛，此时采用测试集进行判断，判断所述模型是否能学习到这种特征；如果测试集的结果不达标，说明所述模型陷入局部最优解或并未学习到这种特征，则重新调整菠菜幼苗水分胁迫等级分类模型或者初始参数，并重新进行训练；如果测试集得到的结果符合要求，则说明训练完成，并保留训练好的最优模型的权重和参数。

S5：获取待分级的菠菜幼苗图像，输入分类模型中，输出水分胁迫等级，具体如下：

获取待分级的菠菜幼苗图像，并按照步骤S1中的图像预处理操作处理图像，得到符合模型输入大小的待检测菠菜幼苗图像，将其输入分类模型中进行分类，输出菠菜幼苗水分胁迫等级结果，完成对菠菜幼苗的水分胁迫无损分类任务。

在进行的步骤S4与S5的操作过程中，为了对水分胁迫等级分类模型结果进行评判，选择了精确率(Precision)、召回率(Recall)和特异度(Specificity)3个方面对其进行评估。

各类别分类性能评估如表1

各类别分类性能评估如表1所示；从表中可以看出，Ⅰ级胁迫精确率最高，达到95.2％，无胁迫类别召回率最高为95.7％，Ⅲ级胁迫特异度最高，达到98.5％，结果表明，N-MobileNetXt模型能够对菠菜幼苗的四种水分胁迫进行准确分级，能够满足实际应用中菠菜幼苗水分胁迫分级的要求。

以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。

此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。