一种复杂背景下的柑橘病害机器视觉识别方法

技术领域

本发明属于植物病害识别技术领域，涉及一种复杂背景下的柑橘病害机器视觉识别方法。

背景技术

农作物的病害是导致农作物减产，毁坏的最主要原因之一。近年来，基于图像识别的植物病害自动诊断在农业生产中发挥着重要作用，受到了广泛的关注。计算机视觉和图像处理已经被用于农业的各种诊断应用，如植物物种分类、叶片病害识别和植物病害严重程度估计。

目前，柑橘病害的诊断方法可大致分为现场诊断、嫁接诊断、电子显微镜观察、血清学诊断、DNA探针杂交和PCR(聚合酶链反应)扩增。在这些方法中，应用最广泛的是现场诊断方法，由于个人经验、知识、条件、限制等因素的不同，现场诊断的难度较高，识别准确率较低。发病区的果农不能采取及时的处理，一旦扩散开来将造成巨大的经济损失。就普遍柑橘种植地域比较分散的现状来看，人工检测柑橘病害的方法用时长、效率低，不能有效的解决问题。

现有的基于深度学习方法解决植物病害识别问题时，主要是采用图像分类的方法，它一次只能识别一种病害，但自然状态下的植物在相近部位可能感染多种病害或相同病害的多个病灶。并且当前研究的病害数据集大多为了减小识别难度而在实验理想条件下进行拍摄，数据集的背景以单一色调为主。存在现有模型无法适应自然条件下复杂背景的病害识问题，导致病害识别的准确率低，实际应用受限。

因此，亟需一种新的植物病害机器视觉识别方法来识别复杂背景下的柑橘病害。

发明内容

有鉴于此，本发明的目的在于提供一种复杂背景下的柑橘病害机器视觉识别方法，改进识别模型以及优化网络模块提升对复杂背景下的柑橘病害识别的准确率和效率。

为达到上述目的，本发明提供如下技术方案：

一种复杂背景下的柑橘病害机器视觉识别方法，具体包括以下步骤：

S1：在柑橘果园中实地采集复杂背景下的多种柑橘病害数据集；

S2：按照病害种类对数据集进行分类、标注，并按比例划分为训练集和验证集；

S3：调整模型预训练参数，并改进YOLOv5网络结构构建复杂背景下的柑橘病害识别模型；

S4：利用步骤S2中处理好的数据集对步骤S3复杂背景下的柑橘病害识别模型进行训练，并保存最优模型；

S5：使用训练好的模型对复杂背景下柑橘病害进行识别。

进一步，步骤S1中，柑橘病害包括潜叶蛾、炭疽、地衣、日灼、溃疡和缺锌六种常见的病害；复杂背景包括拍摄时的光照、角度、距离、模糊度的影响以及柑橘果树染病情况的密集度和多样性影响。

进一步，步骤S2中，基于专家经验按照病害种类分类提升后期标注的速度和质量。在标注过程中按照病害的特征分为整体标注和局部标注，潜叶蛾、地衣、日灼和缺锌四种病害的特征影响整张叶片或整个果实，需要采用整体标注，而炭疽和溃疡两种病害的特征只影响叶片或果实的局部位置，为了提升识别效果所以采用局部标注。而炭疽和溃疡的病害特征只影响叶片或果实的局部位置，为了提升识别效果所以采用局部标注：仅框出病灶。使用Python脚本按照8：2的比例随机划分为训练集和验证集。

进一步，步骤S3中，构建复杂背景下的柑橘病害识别模型，具体包括：在YOLOv5网络的基础上加入SimAM注意力机制和SIOU损失函数。

SimAM注意力机制加在SPPF模块前面。SimAM是一种简单有效的3D注意力模块，基于著名的神经科学理论提出优化能量函数以挖掘神经元的重要性在无需增加网络参数的情况下提升模型的识别效果。

采用SIOU Loss作为Bounding Box的损失函数，在惩罚指标中加入了预测框和实际框中心点的向量角度，使模型在训练阶段实现更快的收敛，并且在推理方面具有更好的性能。

进一步，步骤S3中，SIOU损失函数由Angle cost、Distance cost、Shape cost和IoU cost四个代价函数构成；

Angle cost的定义如下：

其中，Λ表示角度损失；

根据上面的Angle cost，定义了Distance cost：

其中，Δ表示距离损失，x，y表示实际框中心点和预测框中心点的坐标；

Shape cost定义如下：

/>

其中，Ω表示长宽比损失；

IoU cost定义为：

最后定义SIOU损失函数为：

进一步，步骤S4中，调整模型预训练参数，包括最大迭代次数、训练批次大小和学习率等，采用Mosaic数据增强技术，导入步骤S2中处理好的数据集对模型进行训练后对模型参数进行调整优化，使训练模型达到最佳训练效果并保存。

进一步，步骤S5中，使用训练好的模型进行柑橘病害识别，输入图像后能够识别出图像中病害病灶的具体位置以及名称。

本发明的有益效果在于：本发明的复杂背景柑橘病害机器视觉识别方法实际应用价值高，在数据集准备时充分考虑了复杂背景识别难的问题，采用单阶段目标检测神经网络搭建，可以同时检测多种柑橘病害的感染位置和种类，为柑橘病害识别提供了理论指导与技术支撑。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明复杂背景下的柑橘病害机器视觉识别方法的流程图；

图2为数据集中柑橘病害在不同复杂背景情况下的展示；

图3为复杂背景下的柑橘病害识别网络模型结构示意图；

图4为SimAM注意力机制模块示意图；

图5为SIOU损失函数的角度损失方案示意图。

图6为SIOU损失函数的距离损失方案示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

请参阅图1～图6，本发明提供一种复杂背景下的柑橘病害机器视觉识别方法，在柑橘果园中实地采集复杂背景下的多种柑橘病害数据集，并按照病害特征针对性标注数据集，改进识别模型以及优化网络模块提升对复杂背景下的柑橘病害识别的准确率和效率。正确识别柑橘病害的种类对于病害的预防和控制具有重要作用。现代农业对于农作物病害防控的重要技术措施之一就是喷洒农药，正确的识别病害的种类将有助于农药配比。所以本发明对柑橘果园病害的管理和防治具有实际价值。

本发明提供的复杂背景下的柑橘病害机器视觉识别方法，具体包括以下步骤：

步骤1：原始柑橘病害数据集的构建。

在图像识别领域中，原始图像数据对于训练模型至关重要。考虑到不同果园的病害感染种类、严重程度以及不同季节病害感染的不同特征情况，在一年内对重庆市永川区临江镇、何埂镇，南岸区迎龙镇三个地方的柑橘果园进行了多次拍摄。复杂背景包括了拍摄时的光照、角度、距离、模糊度的影响以及果树局部染病情况的密集度和多样性影响(如图2)。建立的数据集包含了潜叶蛾、炭疽、地衣、日灼、溃疡和缺锌六种常见的柑橘病害。

步骤2：数据集标注。

首先基于专家经验按照病害种类对数据集进行分类以提升后期标注过程的速度和质量。

使用Labelimg数据标注工具对所有数据集进行人工标注，标注的信息包含了图像中病害的坐标信息和分类信息。在标注过程中按照病害的特征分为整体标注和局部标注：潜叶蛾、地衣、日灼和缺锌的病害特征主要对整张叶片或整个果实造成影响，所以标注时进行整体标注：把叶片或果实整体框出。而炭疽和溃疡的病害特征只影响叶片或果实的局部位置，为了提升识别效果所以采用局部标注：仅框出病灶位置。

最后使用Python脚本按照8：2的比例随机划分为训练集和验证集。

步骤3：复杂背景下的柑橘病害机器视觉识别模型构建。

复杂背景下的柑橘病害机器视觉识别模型主要是在YOLOv5网络的基础上加入了SimAM注意力机制和SIOU损失函数，SimAM注意力机制加在了SPPF模块前面，改进后的网络结构示意图参见图3。

SimAM是一种简单有效的注意模块，与现有的通道关注模块和空间关注模块相比，该模块无需额外参数为特征图推导出3D注意力权值(参见图4)，有助于提升模型识别效果。在神经科学中，信息丰富的神经元通常表现出与周围神经元不同的放电模式。而且，激活神经元通常会抑制周围神经元，即空域抑制。换句话说，具有空域抑制效应的神经元应当赋予更高的重要性找到这些神经元最简单的实现是测量一个目标神经元和其他神经元之间的线性可分性。为了提升网络模型的识别效果，就需要评估每个神经元的重要性。每个神经元定义的能量函数如下：

/>

其中，t和x

传统的目标检测损失函数依赖于边界框回归指标的聚合，如预测框和真实框的距离、重叠区域和纵横比。迄今为止提出和使用的方法都没有考虑到所需真实框与预测框之间不匹配的方向。这种不足导致收敛速度较慢且效率较低，因为预测框可能在训练过程中“四处游荡”并最终产生更差的模型。SIOU损失函数考虑到所需回归之间的向量角度，重新定义了惩罚指标，能够有效提升模型训练和识别的速度和效果。

SIOU损失函数由Angle cost、Distance cost、Shape cost和IoU cost四个代价函数构成，其示意图参加图5。

Angle cost的定义如下：

其中，Λ表示角度损失；

根据上面的Angle cost，定义了Distance cost：

其中，Δ表示距离损失，x，y表示实际框中心点和预测框中心点的坐标；

Shape cost定义如下：

其中，Ω表示长宽比损失；

IoU cost定义为：

最后定义SIOU损失函数为：

步骤4：训练网络模型。

采用Mosaic数据增强技术，使用四张图像拼接成一张新图像，极大丰富了检测物体的背景，提升模型的识别能力。使用步骤2中准备好的数据集对网络模型进行训练，根据训练过程中计算得到的各项损失函数，监测神经网络训练时的收敛情况，同时分析最大迭代次数、训练批次大小、学习率等超参数对训练模型结果的影响，以便及时调整网络参数。使用验证集验证模型的性能，保存最优模型的网络权重。

步骤5：使用步骤4训练好的模型进行柑橘病害识别。

本发明方法对应所使用的硬件设备包括：配置Windows操作系统的计算机一台，支持模型加速训练的Tesla P100(12G)显卡一块，以及开源深度学习模型训练框架Pytorch，编程语言为Python。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。