基于深度学习的番茄病虫害检测装置与方法

技术领域

本发明涉及病虫害防控领域，尤其是涉及一种基于深度学习的番茄病虫害检测装置与方法。

背景技术

番茄，又名西红柿，果实营养丰富，可生食可煮食，亦可加工成番茄酱、汁等。番茄是全世界栽培最为广泛的果菜之一，目前中国各地已普遍种植，而且种植面积也在不断地扩大，除了有大面积的设施栽培，还有大面积的温室和大棚栽培等。

然而随着大面积种植的进行，西红柿病虫害问题正在不断地加重。根据病原的不同，番茄病害可以分为非侵染性和侵染性病害两大类。非侵染性病害是由不良环境条件引起植株出现多种生理障碍如变形、变色或死亡，主要有畸形果、裂果、日灼病、空洞果、果实着色不良、脐腐病和卷叶几种。其中脐腐病是果实近花柱一端变为黑褐色，然后腐烂，在高温干旱的季节较为常见，脐腐病发生的原因是由于果实缺钙引起相应组织坏死。而侵染性病害由真菌、细菌、病毒、线虫等病原物侵染引起，主要有番茄病毒病、番茄猝倒病、番茄立枯病、番茄早疫病、番茄灰霉病、番茄叶霉病、番茄枯萎病、番茄斑枯病、番茄青枯病等。番茄的主要害虫有温室白粉虱、美洲斑潜蝇、南美斑潜蝇、棉铃虫等。

目前在农业生产中，很多地区还是依靠有经验的农民用肉眼辨别番茄病虫害，不仅需要有多年务农经验的人才，并且耗时耗力，效率较低，难以满足我国农业现代化发展的需要。同时，人为判断容易错过最佳防治时期，导致番茄减产的同时，还带来了农药残留超标，环境污染的问题。

近年来提出的病虫害智能检测方法中，线性建模法需要对图像进行预处理和特征提取，对于非线性数据的识别率很低，结果并不是很理想。后来出现的 ART神经网络，BP神经网络等浅层神经网络，是建模识别病虫害图像的另一种方法。这种方法的成功率比起线性建模法来说有所提高，但是当背景或是光照条件变得复杂时，浅层神经网络难以应对，病虫害图像分类的正确率不能满足生产中的实际需求。

因此，实现对番茄病虫害快速而准确的识别是一个很重要的命题。本发明正是为此提出的番茄病虫害检测装置与方法，可以在农田里直接收集番茄叶片图像，操作简单便捷，同时通过深度学习神经网络，不需要图像预处理，高速而准确地识别出病虫害类型，给出预警信息，为接下来的病虫害防控和农药精准喷施提供可靠依据。

发明内容

本发明的目的是为了克服上述技术的不足，提供一种结构简单，易于操作的基于深度学习的番茄病虫害检测装置与方法。该发明利用深度学习神经网络，对番茄病虫害实现高效率、高精度的识别，具有实时性，自动化程度高，成本低廉的优点。

本发明的技术方案是提供一种基于深度学习的番茄病虫害检测装置与方法，包括用于录入番茄叶片图像的图像采集终端，用于存储与识别番茄叶片图像的服务器，用于统计与显示数据的客户端和预警模块。

所述图像采集终端包括外盒，置物板，摄像头，LED光源，控制面板，电源开关，摄像开关，和数据传送模块。外盒的材质是不透明塑料板，作为其他部件的容器的同时，可以遮挡太阳光，排除光照条件的不确定性。置物板位于外盒底部正中，作为采集叶片图像的背景板，提供统一的采集背景，从而提高深度学习神经网络识别图像的效率。置物板的正上方是摄像头和LED光源，在打开电源开关后，按下摄像开关会同时激活摄像头和LED光源。LED光源为叶片打光的同时摄像头照下叶片清晰图像，暂时保存至数据传送模块。数据传送模块同时连接摄像头和服务器，通过互联网将叶片图像传送到服务器。

所述服务器上加载有已经训练好的深度学习神经网络，叶片图像作为网络的输入，病虫害种类预测结果作为网络的输出。服务器内载程序负责把叶片图像存储到对应的文件夹中去，文件夹的命名方式是病虫害种类名+严重程度。当服务器收到相关命令，会将此批图像的信息统计起来，生成病虫害预警信息表。

所述深度神经网络主要由四个部分组成，包括特征提取块，残差块，Inception 块和全连接块；每个部分都是几个堆叠的同类别网络模块。

所述特征提取块是通过卷积－卷积－激活－正则化－最大池化－随机失活这几个神经网络层的组合来提取叶片图像中的特征，其中卷积核不断运动来回提取特征的方式，极大地减少了网络中参数的数目，利于网络快速识别。同时，一层层的网络会自动提取类似颜色，形状，纹理等图像的特征，避免了大量的预处理工作。

所述残差块是通过学习目标值与输入之间的残差来确保准确率不会随着网络的加深而降低。因为神经网络在反向传播的过程中要不断计算与传播梯度，随着网络层数的不算加深，梯度在传播过程中会不断减少，直至消失，带来梯度消失问题。这就会导致网络上层的参数更新和收敛都较快，而底层的参数因为梯度过小，基本得不到更新，限制了网络的性能。残差块借鉴了高速网络的跨层连接思想，但是用恒等映射代替了它。如果神经网络的输入是p，残差块通过捷径连接的方式将输入p直接传到输出作为结果的一部分，结果是R(p)＝T(p) +p。残差块改变了学习目标，从直接学习一个完整的输出，变为学习目标值R(p)和输入值p之间的差值——残差。当残差T(p)降为0时，随着网络的加深，准确率不会下降。

所述Inception块增加了网络的宽度，这样可以在保证网络性能的情况下减少网络的深度，减少计算量。Inception块用1×1的卷积用来跨通道组织信息，实现降维操作，同时分别用了3×3和5×5的卷积核，获得不同的感受野，最后进行拼接相当于不同尺度特征的融合。

所述全连接块通过减少特征的空间位置对分类带来的影响，将分布式特征映射到样本标记空间。因为只用单个全连接层无法解决非线性问题，本文通过多个全连接层的叠加来解决。第一个全连接层有1024个神经元，完成初步映射，第二个全连接层神经元的个数为待处理的图像种类数，输出每个种类的概率，最后用Softmax层进行归一化。

所述客户端为Java编写的电脑软件或手机APP，与服务器相连接，实时接收服务器输出的番茄病虫害种类信息，并以列表的方式显示。客户端可以接收用户发出的控制命令，从而以不同的方式检索和整合数据。

所述预警模块根据服务器输出的病虫害种类信息，判断当前病虫害严重程度和最佳防治时期，给出病虫害防治建议。

本发明首先要在服务器上使用学习框架keras+opencv来搭建深度学习神经网络。网络搭建完毕后，使用公开番茄病虫害数据集对网络模型进行训练和测试，得到已经训练好的网络模型。为了解决数据集大小有限和样本数量不均衡问题，采用离线数据增强方法。经过若干轮训练和测试，得到一个识别准确率约95％的深度学习神经网络。在目标农田里手持图像采集终端实地采集番茄叶片图像，将叶片通过终端侧面开口放入图像采集终端的中心位置，按下摄像开关，得到统一背景、排除外界光照条件影响的叶片清晰彩色图像。图像采集终端中的数据传送模块通过互联网将图像传送至服务器。服务器自动接收番茄叶片图像，并分批送入深度学习神经网络中，得到检测结果后，服务器内载程序负责把叶片图像存储到对应的文件夹中去，文件夹的命名方式是病虫害种类+严重程度。服务器收到客户端的控制命令后，将番茄病虫害种类信息整合成列表，发送到客户端。客户端的预警模块根据病虫害种类信息与预先学习到的番茄种植知识，给出番茄病虫害预警和防治建议，从而允许用户在病虫害最佳防治时间内精准施药。

与现有技术相比，本发明的有益效果是：

本发明的基于深度学习的番茄病虫害检测装置与方法，与现有的风扇系统相比，其结构简单，易于操作，成本低廉，便于携带，性价比高，高度智能化，同时具有十分完善的算法，识别精度已经达到95％，识别周期更短。

(1)本发明可以由农户手持，直接在农田里采集叶片图像，轻巧便捷的同时，无需使用者有较高的智能设备使用技能，降低了使用门槛，方便农户快速上手使用，更利于实际应用和推广。

(2)本发明在网络搭建编程中采取在线数据增强的方式，同时通过置物板提供统一的叶片图像背景，不需要在采集叶片图像后再进行手动图像预处理，省略了大量预处理时间，识别速度更快。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是流程图。

图2是图像采集终端的侧面图，其中控制面板、电源开关和摄像开关在外盒的顶部上表面，摄像头和LED灯在外盒的顶部下表面，数据传送模块在外盒的内腔中，是隐藏的。

图3是服务器上使用的深度学习神经网络的架构图。

具体实施方式

为了使本领域技术人员更好地理解本发明的技术方案，下面结合附图对本发明进行详细的描述，本部分的描述仅是示范性和解释性，不应对本发明的保护范围做任何限制。

本发明的一种基于深度学习的番茄病虫害检测装置与方法，包括以下步骤：

S1，网络搭建，在服务器上使用学习框架keras+opencv，基本结构如图3 所示。

网络第一部分的特征提取块包括2个连续的卷积核3×3的卷积层，1个ReLU 激活层，1个正则化层，1个最大池化层，1个随机失活层。连续的2个3*3的卷积核组合可以实现1个5*5的有效感受野，这在保持滤波器尺寸较小的同时，模拟了大型滤波器的效果，减少了参数。通过几个这样的块可以有效地提取叶片图像中的特征，而更深的层和更小的卷积核可以实现隐式正则化，使网络中的参数能在更短的周期内收敛。

网络第二部分的残差块是通过学习目标值与输入之间的残差来确保准确率不会随着网络的加深而降低。因为神经网络在反向传播的过程中要不断计算与传播梯度，随着网络层数的不算加深，梯度在传播过程中会不断减少，直至消失，带来梯度消失问题。这就会导致网络上层的参数更新和收敛都较快，而底层的参数因为梯度过小，基本得不到更新，限制了网络的性能。残差块借鉴了高速网络的跨层连接思想，但是用恒等映射代替了它。如果神经网络的输入是p，残差块通过捷径连接的方式将输入p直接传到输出作为结果的一部分，结果是 R(p)＝T(p)+p。残差块改变了学习目标，从直接学习一个完整的输出，变为学习目标值R(p)和输入值p之间的差值，即是残差。当残差T(p)降为0时，随着网络的加深，准确率不会下降。

网络第三部分的Inception块增加了网络的宽度，这样可以在保证网络性能的情况下减少网络的深度，减少计算量。Inception块用1×1的卷积用来跨通道组织信息，实现降维操作，同时分别用了3×3和5×5的卷积核，获得不同的感受野，最后进行拼接相当于不同尺度特征的融合。

网络第四部分的全连接层通过减少特征的空间位置对分类带来的影响，将分布式特征映射到样本标记空间。因为只用单个全连接层无法解决非线性问题，这里通过多个全连接层的叠加来解决。第一个全连接层有1024个神经元，完成初步映射，第二个全连接层神经元的个数为待处理的图像种类数，输出每个种类的概率，最后用Softmax层进行归一化。

本网络模型使用的模块数量是基于当前数据集而选择的较优方案，当数据集较大或者是较小时，可以适当增减模块数量以取得收敛速度和识别精度的平衡。

本网络模型选择的优化器为Adam_v2，学习率为0.001，损失函数为 binary_cross_entropy，计算真实标签和预测标签之间的交叉熵损失，交叉熵越大，表示两个标签之间的差别越大，也就是预测准确率越低。binary_cross_entropy 公式如下：

S2，网络训练，使用公开番茄病虫害数据集对网络模型进行训练和测试，得到已经训练好的网络模型。使用的数据集有3万多张番茄病虫害图像，包括约20种番茄病虫害，为了解决数据集大小有限和样本数量不均衡问题，采用离线数据增强方法。经过若干轮训练和测试，得到一个识别准确率让人满意的深度学习神经网络，从而实现对病虫害的检测。

S3，图像采集，在目标农田里手持图像采集终端实地采集番茄叶片图像，将叶片通过终端侧面开口放入图像采集终端的中心位置，按下摄像开关，得到统一背景、排除外界光照条件影响的叶片清晰彩色图像，如图2所示。

S4，图像检测，服务器接收从终端数据传送模块发来的番茄叶片图像，并分批送入深度学习神经网络中，得到检测结果后，服务器内载程序负责把叶片图像存储到对应的文件夹中去，文件夹的命名方式是病虫害种类+严重程度。收到客户端的控制命令后，将番茄病虫害种类信息整合成列表，发送到客户端。

S5，预警模块根据病虫害种类信息与预先学习到的番茄种植知识，给出番茄病虫害预警和防治建议。

以上对本发明实施例所提供的基于深度学习的番茄病虫害检测装置与方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。