基于结构信息和分层注意力策略的农作物病害检测方法

技术领域

本发明涉及农业病害检测方法技术领域，具体涉及一种基于结构信息和分层注意力策略的农作物病害检测方法。

背景技术

农业是人类生存和发展的基础之一。然而，农作物病害一直是农业产量和质量的主要威胁之一。农作物病害包括病毒、细菌、真菌、寄生虫等，它们可以导致农作物减产、质量下降甚至完全损失。随着全球气候变化和国际贸易的增加，农作物病害的传播和流行变得更加复杂和难以控制。传统上，农民和农业相关专家主要依赖于经验和目测来检测和分类农作物病害。这种方法存在主观性、不稳定性和时间成本高的问题。为了提高农作物病害的早期检测和治理效率，计算机视觉技术被引入到农业中。然而，现有的图像检测检测分类方法在面对细粒度农作物病害检测检测分类问题时仍然存在一些挑战。

现有的计算机视觉模型难以处理细粒度的农作物病害检测分类问题，因为农作物病害之间的差异通常非常微小，需要高度精确的检测分类模型。此外，不同地区和季节的病害表现也可能存在差异，使得模型训练和部署更加复杂。因此，有必要提出一种新颖的计算机视觉模型，能够针对农作物病害进行细粒度的图像检测检测分类，以帮助农业生产者及早检测和分类农作物病害，采取相应的措施来减轻其对农业的不利影响。

发明内容

本发明提出了一种基于结构信息和分层注意力策略的农作物病害检测方法，以解决现有的农作物病害检测模型精度较低的技术问题。

为解决上述技术问题，本发明提供了一种基于结构信息和分层注意力策略的农作物病害检测方法，包括以下步骤：

步骤S1：获取农作物病害数据集；

步骤S2：构建病害检测模型，所述病害检测模型由主干网络、结构信息学习模块、分层注意力选择模块、对比学习模块和数据增强模块组成；

所述结构信息学习模块，用于提取物体结构信息，并通过图卷积获取结构特征以整合进主干网络；

所述分层注意力选择模块，用于融合主干网络各层之间的注意力权重；

所述对比学习模块，用于增强同一类别农作物病害图像的特征相似度，并减少不同类别的特征相似度；

所述数据增强模块，用于使用注意力引导农作物病害图像进行裁剪和丢弃，将裁剪过的图片再输入到模型当中进行训练，以减少来自固定大小的图像块的噪声干扰；

步骤S3：将所述农作物病害数据集作为训练集和测试集，对所述病害检测模型进行训练；

步骤S4：将待检测的农作物图片输入训练后的病害检测模型，得到检测结果。

优选地，所述主干网络将农作物病害图像划分为固定大小的图像块，并在每个图像块上叠加一个相同大小的可学习向量和分类标记。

优选地，所述结构信息学习模块提取物体结构信息，并通过图卷积获取结构特征的方法包括以下步骤：

步骤S101：计算主干网络每个头部的图像块标记和分类标记之间的注意力权重

；

式中，

步骤S102：计算得到总注意力权重矩阵

；

步骤S103：计算

步骤S104：将

；

；

式中，

步骤S105：计算各图像块之间的边缘权重

；

步骤S106：采用图卷积方法提取农作物叶片对象的结构特征：

；

式中，

优选地，所述分层注意力选择模块融合主干网络各层之间的注意力权重的方法包括以下步骤：

步骤S201：计算主干网络中各层的注意力权重

；

；

上式中，K表示自注意头的个数；

步骤S202：根据以下公式融合各组的注意力权重：

；

式中，

步骤S203：对于各注意力头，选取注意力权重最大的K个图像块作为最大指标，将最大指标的位置作为索引，提取病害特征层之间的判别性标记

；

步骤S204：将分类标记与各层判别性标记连接，融合后得到

；

式中，

优选地，所述对比学习模块通过引入超参数

优选地，所述数据增强模块减少来自固定大小的图像块的噪声干扰的方法包括以下步骤：

步骤S401：选取主干网络中第

；

步骤S402：将归一化注意力矩阵

步骤S403：将归一化注意力矩阵

优选地，步骤S3中所述病害检测模型通过损失函数训练模型，所述损失函数的表达式为：

；

；

；

式中，

交叉熵损失函数的表达式为：

；

式中，

本发明还提供了一种基于结构信息和分层注意力策略的农作物病害检测系统，适用于上述的一种基于结构信息和分层注意力策略的农作物病害检测方法，所述系统包括数据获取模块、模型构建模块、模型训练模块和病害检测模块；

所述数据获取模块用于获取农作物病害数据集，并将数据集拆分为训练集和测试集；

所述模型构建模块用于建立病害检测模型；

所述模型训练模块采用训练集对所述病害检测模型进行训练；

所述病害检测模块将待检测的农作物图片输入训练后的病害检测模型，得到检测结果。

优选地，所述病害检测模型包括主干网络、结构信息学习模块、分层注意力选择模块、对比学习模块和数据增强模块；

所述结构信息学习模块，用于提取物体结构信息，并通过图卷积获取结构特征以整合进主干网络；

所述分层注意力选择模块，用于融合主干网络各层之间的注意力权重；

所述对比学习模块，用于增强同一类别农作物病害图像的特征相似度，并减少不同类别的特征相似度；

所述数据增强模块，用于使用注意力引导农作物病害图像进行裁剪和丢弃，将裁剪过的图片再输入到模型当中进行训练，以减少来自固定大小的图像块的噪声干扰。

本发明的有益效果至少包括：针对目前方法在农作物病害细粒度检测检测分类精度低，难以提高准确率问题。本发明提出了分层注意力选择模块以补偿农作物病害局部和病害特征层之间的缺失信息，该模块融合了各个病害特征层之间的注意力权重并过滤标记；然后引入了一个数据增强模块，分别使用注意力引导农作物病害图像进行裁剪和丢弃，将裁剪过的图片再输入到模型当中进行训练，以减少来自固定大小的图像块的噪声干扰；之后又引入了结构信息学习模块将农作物叶片对象的空间上下文信息融入主干网络中，然后利用多层特征的互补性和类间对比学习来增强病害特征的鲁棒性，以实现准确检测。

附图说明

图1为本发明实施例的方法流程示意图；

图2为本发明实施例的网络结构示意图；

图3为本发明实施例的主干网络的编码器机构示意图；

图4为本发明实施例的主干网络的多层感知MLP结构示意图；

图5为本发明实施例的分层注意力选择模块结构示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。

如图1所示，本发明实施例提供了一种基于结构信息和分层注意力策略的农作物病害检测方法，包括以下步骤：

步骤S1：获取农作物病害数据集。

具体地，本发明实施例中使用2018 AI challenger病害程度数据集，该数据集不仅分为不同农作物的病害，同时不同农作物还会有不同的病害，并且每个病害程度还分为健康，一般和严重三种病害程度，共有61个类别，能够进一步体现细粒度分类检测。

步骤S2：构建病害检测模型，病害检测模型由主干网络、结构信息学习模块、分层注意力选择模块、对比学习模块和数据增强模块组成；

结构信息学习模块，用于提取物体结构信息，并通过图卷积获取结构特征以整合进主干网络；

分层注意力选择模块，用于融合主干网络各层之间的注意力权重；

对比学习模块，用于增强同一类别农作物病害图像的特征相似度，并减少不同类别的特征相似度；

数据增强模块，用于使用注意力引导农作物病害图像进行裁剪和丢弃，将裁剪过的图片再输入到模型当中进行训练，以减少来自固定大小的图像块的噪声干扰。

具体地，如图2所示，本发明实施例的病害检测模型的主干网络backbone为ViT，训练集中数据格式为[H, W, C]的农作物病害图像会被输入到图像块嵌入层进行一维序列化，以更好地检测农作物病害图像信息，其中H表示农作物病害图像的高度，W表示宽度，C表示通道数。图像被处理成H×W/P

上述的一维序列化结果即图像块之后传入到transformer编码器中，编码器结构图如图3所示，首先通过每一层的多头自注意力 (MSA) 顺序传递，以统一从不同注意力头学习的信息。随后，它们被送入多层感知(MLP)块，MLP结构图如图4所示，通过全连接层和GELU激活函数进行预处理，以促进最终分类。transformer编码器第l层的输出如下：

其中LN()和

由于通过原始ViT嵌入层得到的标记具有较弱的判别性，这是由于固定大小的图像块可能会引入一些与图像主体内容无关的信息，即噪声，transformer中较高层的输入标记不一定保留原始标记相对重要的特征信息。

因此本发明实施例中采用了一个分层注意力选择模块，该模块融合了各层之间的注意力权重并过滤了标记。具体地，先前层的注意力权重如公式(4)和(5)所示：

(4)

(5)

其中，K表示模型中自注意头的个数，

分层注意力选择模块首先将ViT中的transformer层分成4组，如图5所示，每组的层数自下向上分别是2，2，6，2。每一组的transformer层注意力权重融合是通过注意力权重矩阵连乘来实现，每一组的注意力权重融合如公式(6)所示：

其中

得到每一组的注意力权重

(7)

其中

(8)

其中

原始的ViT通常忽略了图像块的空间关系，然而图像块的空间位置关系在细粒度检测分类任务中识别判别性图像块很重要，因此加入了一个结构信息学习模块来将农作物叶片对象的空间上下文信息整合到ViT中。

农作物叶片对象范围的定位是结构信息学习的前提。在transformer层中，图像块标记和分类标记之间的注意力权重描述了它对最终检测分类的重要性，这与图像块标记是否包含对象信息高度相关。因此，需要把transformer层中的注意力权重传给结构信息学习模块，在注意力权重的帮助下，农作物叶片对象可以被自然地定位。假设transformer层有H个头部，Q 和K是D维查询向量和所有标记的键向量，则注意力权重可以计算如下，如公式(9)所示：

(9)

其中

(10)

其中，(x,y)位置图像块标记与分类标记之间的注意力权重记为

(11)

利用极坐标测量最具判别性图像块与其他图像块之间的空间关系来获取农作物叶片对象的结构信息。将注意力权重最高的图像块视为最具判别性的图像块，并将其设置为参考图像块。给定参考图像块

(12)

(13)

其中

(14)

其中

来自最后三个transformer层的分类标记的特征被连接为最终的图像特征表示，它们都通过结构学习模块引入结构信息，这样可以利用它们的互补来带来性能提升。为了利用语义关系进行特征增强，采用对比学习来增强和当前训练的农作物病害同一类别的特征相似度，削弱不同类别的特征相似度。

为了挖掘硬负样本对有助于模型的训练，在对比学习损失中采用了超参数

其中N表示批量大小，

由于ViT将农作物病害图像分割成固定大小的图像块，随着数据量的增加，必然会生成网络不需要的图像噪声。因此引入了注意力引导数据增强来削弱图像噪声的影响，增加训练部分的数据量，提高网络的性能。提取了ViT中多头自注意力机制 (MSA) 生成的每一层的注意力矩阵。随后，这些农作物病害图像由这些注意力矩阵引导，包括注意力裁剪和注意力丢弃。

选择ViT中第

(17)

通过增强注意力矩阵

(18)

为了促使注意力矩阵表示更有鉴别力的农作物病害区域，引入了注意力丢弃。将大于阈值

(19)

由于检测对象的背景环境从图像中被部分消除，从而消除图像的部分背景噪声。提高了定位的准确性和结果的鲁棒性。

由于数据增强引入了新的输入图像，所以训练阶段的损失函数在原图像的交叉熵损失基础上又多了两个分量

其中

步骤S3：将农作物病害数据集作为训练集和测试集，对病害检测模型进行训练。

具体地，选用80%的数据作为训练集，剩余20%作为测试集。再加上对比学习的损失函数所以本农作物病害检测分类模型的最终损失函数如公式（21）所示：

这四种损失在反向传播过程中共同作用以优化模型的性能。其中

步骤S4：将待检测的农作物图片输入训练后的病害检测模型，得到检测结果。

本发明实施例中使用测试集图像对已经训练好的模型进行病害检测分类准确率测试结果如表1所示。

表1

通过对比结果可以看出本发明提出的方法在农作物病害检测的准确率最高。

本发明还提供了一种基于结构信息和分层注意力策略的农作物病害检测系统，适用于上述一种基于结构信息和分层注意力策略的农作物病害检测方法，其特征在于：系统包括数据获取模块、模型构建模块、模型训练模块和病害检测模块；数据获取模块用于获取农作物病害数据集，并将数据集拆分为训练集和测试集；模型构建模块用于建立病害检测模型；模型训练模块采用训练集对病害检测模型进行训练；病害检测模块将待检测的农作物图片输入训练后的病害检测模型，得到检测结果。

具体地，病害检测模型包括主干网络、结构信息学习模块、分层注意力选择模块、对比学习模块和数据增强模块；结构信息学习模块，用于提取物体结构信息，并通过图卷积获取结构特征以整合进主干网络；分层注意力选择模块，用于融合主干网络各层之间的注意力权重；对比学习模块，用于增强同一类别农作物病害图像的特征相似度，并减少不同类别的特征相似度；数据增强模块，用于使用注意力引导农作物病害图像进行裁剪和丢弃，将裁剪过的图片再输入到模型当中进行训练，以减少来自固定大小的图像块的噪声干扰。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，仅表达了本发明的较佳实施例而已，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。