一种粘虫板图像上小体积害虫检测方法及系统

技术领域

本发明涉及计算机图像处理技术领域，尤其涉及一种粘虫板图像上小体积害虫检测方法及系统。

背景技术

随着计算机视觉技术的发展，通过图像视觉代替人眼对害虫进行识别计数，可以有效解决人工害虫调查过程存在的不足。针对白粉虱、蓟马等设施农业中常发的害虫，近年来出现了很多基于深度学习的目标检测算法和提升目标检测精度的方法。

目前，利用粘虫板上的目标害虫数量调查作物虫害程度是害虫管理过程中常用的技术手段。有一种方法，通过构建基于多颜色空间融合的害虫识别分类模型，对预先采集的粘虫板图像进行害虫识别分类。此外，还有一种方法，通过使用分水岭算法从背景图像中进行昆虫分割，利用马氏距离法提取昆虫的颜色特征，进行害虫种类的鉴定，并在不同的图像分辨率下评估精度和计算成本。

但以上方法均是基于人工设计的特征进行害虫检测，存在田间应用时鲁棒性弱，尤其是对类似白粉虱、蓟马等小体积害虫检测精度表现一般，在实际应用中存在很大的局限。

发明内容

针对上述现有技术存在鲁棒性弱和精度不足的问题，本发明实施例提供一种粘虫板图像上小体积害虫检测方法及系统。

本发明提供一种粘虫板图像上小体积害虫检测方法，包括：获取目标图像，目标图像为捕获目标害虫的粘虫板图像；将目标图像输入至训练好的害虫检测识别模型，以确定目标害虫的种类信息和位置信息，训练好的害虫检测识别模型是基于单阶段目标检测算法构建的；通过种类信息和位置信息获取目标害虫的数量信息。

根据本发明提供的一种粘虫板图像上小体积害虫检测方法，在将目标图像输入至训练好的害虫检测识别模型，以确定目标害虫的种类信息和位置信息之前，还包括构建待训练的害虫检测识别模型；害虫检测识别模型，至少包括以下单元：CSPDarknet53单元、空间金字塔池化单元、路径聚合网络单元和输出单元。

根据本发明提供的一种粘虫板图像上小体积害虫检测方法，CSPDarknet53单元，包括：依次连接的输入层、第一卷积模块、第一残差模块、第二残差模块、第三残差模块、第四残差模块和第五残差模块；空间金字塔池化单元，包括最大池化层；路径聚合网络单元，包括：依次连接的第一拼接模块、第一上采样模块、第二拼接模块、第二上采样模块、第三拼接模块和第三上采样模块；以及依次连接的第一下采样模块、第四拼接模块、第二下采样模块、第五拼接模块、第三下采样模块和第六拼接模块；其中，第一拼接模块的输出端与第一下采样模块的输入端相连，第二拼接模块的输出端与第四拼接模块的输入端相连，第三拼接模块的输出端与第五拼接模块的输入端相连；输出单元，包括：第一YOLO Head模块、第二YOLO Head模块、第三YOLO Head模块；第二残差模块的输出端通过第二卷积模块与第一拼接模块的输入端相连；第三残差模块的输出端通过第三卷积模块与第二拼接模块的输入端相连；第四残差模块的输出端通过第四卷积模块与第三拼接模块的输入端相连；第五残差模块的输出端通过第五卷积模块与空间金字塔池化单元的输入端相连；空间金字塔池化单元的输出端通过特征融合模块分别与第三上采样模块以及第六拼接模块的输入端相连；特征融合模块包括依次连接的1个合并层和3个卷积层；第一拼接模块的输出端与第一YOLOHead模块的输入端相连；第五拼接模块的输出端与第二YOLO Head模块的输入端相连；第六拼接模块的输出端与第三YOLO Head模块的输入端相连；其中，第一残差模块、第五残差模块均分别包括4个依次连接的残差单元，第二残差模块、第三残差模块、第四残差模块均分别包括8个依次连接的残差单元；第五卷积模块包括依次连接的3个卷积层；第一拼接模块、第二拼接模块、第三拼接模块、第四拼接模块、第五拼接模块、第六拼接模块均分别包括依次连接的1个合并层和5个卷积层。

根据本发明提供的一种粘虫板图像上小体积害虫检测方法，在构建完成待训练的害虫检测识别模型之后，还包括：获取多个粘虫板样本图像，对每个粘虫板样本图像进行等距分割处理，并将每个粘虫板样本图像中不能整分的边界，使用黑色背景填充处理，获取多个粘虫板样本子图像；利用粘虫板样本子图像，构建粘虫板样本集；确定粘虫板样本集中每个粘虫板样本子图像对应的种类位置标签；种类位置标签包括目标害虫的种类信息标签和位置信息标签；基于图形图像标注工具，将每个粘虫板子样本图像和与其对应的种类位置标签组合为一个数据样本；由所有数据样本构建数据集；将数据集中的数据样本按照预设比例进行划分，构建训练集，验证集和测试集；利用训练集和验证集，对待训练的害虫检测识别模型进行训练。

根据本发明提供的一种粘虫板图像上小体积害虫检测方法，利用训练集和验证集，对待训练的害虫检测识别模型进行训练，包括：步骤1，设置初始学习率，基于ADAM优化法，利用训练集对待训练的害虫检测识别模型进行预训练，获取初步训练的害虫检测识别模型；步骤2，利用验证集对初步训练的害虫检测识别模型进行初步验证，获取初步训练的害虫检测识别模型的初步训练损失值和验证集的初步验证准确率；步骤3，迭代执行步骤1至步骤2，并在每次迭代的过程中，逐步增加回调函数，在确认初步训练损失值至少连续3次减少，并且初步验证准确率没有连续下降的情况下，直至达到预设次数，以获取预训练的害虫检测识别模型，执行步骤4；在初步训练损失值持续3次未减少或者初步验证准确率连续下降的情况下，则停止迭代，获取预训练的害虫检测识别模型，执行步骤4；步骤4，减小初始学习率，并再次基于ADAM优化法，利用训练集对预训练的害虫检测识别模型进行训练，获取再训练的害虫检测识别模型；步骤5，利用验证集对再训练的害虫检测识别模型进行再验证，获取再训练的害虫检测识别模型的再训练损失值和验证集的再验证准确率；步骤6，迭代执行步骤4至步骤5，并在每次迭代的过程中，逐步增加回调函数，在确认再训练损失值至少连续3次减少，并且再验证准确率没有连续下降的情况下，直至达到预设次数，以获取训练好的害虫检测识别模型；在再训练损失值持续3次未减少或者再验证准确率连续下降的情况下，则停止迭代，获取训练好的害虫检测识别模型。

根据本发明提供的一种粘虫板图像上小体积害虫检测方法，在获取目标图像之后，还包括：对目标图像进行等距分割处理，并将目标图像中不能整分的边界，使用黑色背景填充处理，获取多个目标子图像；其中，每两个相邻的目标子图像之间有重叠区域，重叠区域的大小与目标害虫的体型大小正相关；相应地，将目标图像输入至训练好的害虫检测识别模型，以确定目标害虫的种类信息和位置信息，包括：分别将每个目标子图像输入至训练好的害虫检测识别模型，以确定目标害虫的种类信息和位置信息。

根据本发明提供的一种粘虫板图像上小体积害虫检测方法，分别将每个目标子图像输入至训练好的害虫检测识别模型，以确定目标害虫的种类信息和位置信息，包括：将目标子图像输入至训练好的害虫检测识别模型，确定与目标子图像对应的检测识别结果；检测识别结果为目标害虫的种类信息和位置信息；分别将每个多个目标子图像相关的检测识别结果映射至；基于非极大值抑制法，对重叠区域进行重复计数冗余剔除，获取目标图像上目标害虫的种类信息和目标图像位置信息。

本发明还提供一种粘虫板图像上小体积害虫检测系统，包括：包括：图像获取模块，用于获取目标图像，目标图像为捕获目标害虫的粘虫板图像；害虫检测识别模块，用于将目标图像输入至训练好的害虫检测识别模型，以确定目标害虫的种类信息和位置信息，训练好的害虫检测识别模型是基于单阶段目标检测算法构建的；数量信息获取模块，用于通过统计检测出的种类信息和位置信息获取目标害虫的数量信息。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如上述任一种粘虫板图像上小体积害虫检测方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种粘虫板图像上小体积害虫检测方法的步骤。

本发明提供的粘虫板图像上小体积害虫检测方法及系统，采用针对小体积害虫检测的深度学习模型统计粘虫板图像上目标害虫的数量，利用特征拼接来扩大特征图和增加残差单元的手段，实现对田间粘虫板图像上小体积害虫的自动准确检测，为害虫的种群密度估计提供一种精准的数据采集方法，并对后期害虫防治策略提供数据基础。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的粘虫板图像上小体积害虫检测方法的流程示意图之一；

图2是本发明提供的害虫检测识别模型的结构示意图；

图3是本发明提供的分割粘虫板图像的示意图；

图4是本发明提供的目标子图像的拼接示意图；

图5是本发明提供的粘虫板图像采集设备结构示意图；

图6是本发明提供的粘虫板图像上小体积害虫检测方法的流程示意图之二；

图7是本发明提供的粘虫板图像上小体积害虫检测系统的结构示意图；

图8是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在本发明实施例的描述中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

为了实现设施农业中小体积害虫的自动监测，基于深度学习技术，本发明提出一种粘虫板图像上小体积目标害虫检测识别方法。

下面结合图1-图8描述本发明实施例所提供的粘虫板图像上小体积害虫检测方法和系统。

图1是本发明提供的粘虫板图像上小体积害虫检测方法的流程示意图之一，作为一个可选实施例，如图1所示，包括但不限于以下步骤：

步骤101，获取目标图像，目标图像为捕获目标害虫的粘虫板图像；

步骤102，将目标图像输入至训练好的害虫检测识别模型，以确定目标害虫的种类信息和位置信息，训练好的害虫检测识别模型是基于单阶段目标检测算法构建的；

步骤103，通过统计检测出的种类信息和位置信息获取目标害虫的数量信息。

作为一种可选地实施例，图像采集设备可以设置在各个粘虫板旁，用于实时获取粘虫板图像；也可以在粘虫板对害虫捕捉完成后，将粘虫板回收后，带到光线充足、利于拍摄的环境，提高图片质量，节省设备成本。

进一步地，在步骤101中，图像采集设备对每个粘虫板进行图像采集，获取目标图像。

可选地，目标图像采集时间可以选在光照较好的时间段，或是对图像采集设备进行补光。

进一步地，在步骤102中，将图像采集设备获取的目标图像输入至训练好的害虫检测识别模型，通过对目标图像的特征提取，检测识别目标害虫的种类信息和在目标图像上的位置信息。

可选地，训练好的害虫检测识别模型可以是基于单阶段的目标检测算法(YOLO系列)构建的。

可选地，目标害虫可以是蓟马、粉虱或蚜虫中的任一种。

进一步地，在步骤103中，根据目标害虫的种类信息和位置信息进行计数统计，获取该目标害虫的数量信息。

本发明提供的粘虫板图像上小体积害虫检测方法，采用针对小体积害虫检测的深度学习模型统计粘虫板图像上目标害虫的数量，利用特征拼接和扩大残差单元的手段，实现对粘虫板图像上小体积害虫的自动准确检测，为害虫的种群密度估计提供一种精准的数据采集方法，并对后期害虫防治策略提供数据基础。

基于上述实施例，作为一个可选实施例，在将目标图像输入至训练好的害虫检测识别模型，以确定目标害虫的种类信息和位置信息之前，还包括构建待训练的害虫检测识别模型；害虫检测识别模型，至少包括以下单元：CSPDarknet53单元、空间金字塔池化单元、路径聚合网络单元和输出单元。

需要说明的是，害虫检测识别模型是基于单阶段的目标检测算法YOLOv4模型构建的，能有效解决输入的图像中目标害虫体积小、目标特征容易被噪声淹没影响检测识别的问题。

其中，CSPDarknet53单元作为害虫检测识别模型的主干网络，主要用于对输入的图像进行特征提取，并将图像特征提取结果输出至路径聚合网络和金字塔池化单元。

其中，金字塔池化单元(Spatial Pyramid Pooling，SPP)，用于选择最大值作为池化后的值；能够更好地提取图像特征，提高神经网络的特征提取能力并降低过拟合发生的可能。

其中，路径聚合网络(Path Aggregation Network，PANet)用于对输入的特征图像进行缩放拼接处理；包含可以通过管道聚合的信息的组件，位于害虫检测识别模型的neck位置，用于对输入的特征图像进行缩放拼接处理，通过对所有level的特征进行池化，缩短了最低层和顶层之间的距离，并且使用增强路径来丰富每个级别的特征，能够准确地保有助于正确定位像素点的空间信息，快速、简单且非常有效，提升了特征提取过程。

其中，输出单元为检测层，用于输出目标害虫的种类信息和位置信息。

本实施例通过CSPDarknet53单元、空间金字塔池化单元、路径聚合网络单元和输出单元构建待训练的害虫检测识别模型，使害虫检测识别模型能够自动地学习图像中的特征，实现目标害虫特征自动提取种类信息和位置信息的检测识别。

图2是本发明提供的害虫检测识别模型的结构示意图，作为一个可选实施例，如图2所示，害虫检测识别模型包括CSPDarknet53单元、空间金字塔池化单元、路径聚合网络单元和输出单元；

CSPDarknet53单元，包括：依次连接的输入层、第一卷积模块、第一残差模块、第二残差模块、第三残差模块、第四残差模块和第五残差模块；

空间金字塔池化单元，包括最大池化层；

路径聚合网络单元，包括：依次连接的第一拼接模块、第一上采样模块、第二拼接模块、第二上采样模块、第三拼接模块和第三上采样模块；以及依次连接的第一下采样模块、第四拼接模块、第二下采样模块、第五拼接模块、第三下采样模块和第六拼接模块；

其中，第一拼接模块的输出端与第一下采样模块的输入端相连，第二拼接模块的输出端与第四拼接模块的输入端相连，第三拼接模块的输出端与第五拼接模块的输入端相连；

输出单元，包括：第一YOLO Head模块、第二YOLO Head模块、第三YOLO Head模块；

第二残差模块的输出端通过第二卷积模块与第一拼接模块的输入端相连；

第三残差模块的输出端通过第三卷积模块与第二拼接模块的输入端相连；

第四残差模块的输出端通过第四卷积模块与第三拼接模块的输入端相连；

第五残差模块的输出端通过第五卷积模块与空间金字塔池化单元的输入端相连；第五卷积模块包括依次连接的3个卷积层；

空间金字塔池化单元的输出端通过特征融合模块分别与第三上采样模块以及第六拼接模块的输入端相连；特征融合模块包括依次连接的1个合并层和3个卷积层；

第一拼接模块的输出端与第一YOLO Head模块的输入端相连；

第五拼接模块的输出端与第二YOLO Head模块的输入端相连；

第六拼接模块的输出端与第三YOLO Head模块的输入端相连；

其中，第一残差模块、第五残差模块均分别包括4个依次连接的残差单元，第二残差模块、第三残差模块、第四残差模块均分别包括8个依次连接的残差单元；

第五卷积模块包括依次连接的3个卷积层；

第一拼接模块、第二拼接模块、第三拼接模块、第四拼接模块、第五拼接模块、第六拼接模块均分别包括依次连接的1个合并层和5个卷积层。

需要说明的是，本实施例在YOLOv4网络模型对8倍降采样处的特征图进行2倍上采样，与4倍降采样处的特征图进行拼接，建立4倍降采样处的新YOLO检测层。由于特征图越大，对小体积目标害虫越敏感，本实施例通过叠加浅层特征图相邻特征到不同通道，让网络同时学习到深层和浅层的特征，以此来使模型有了细粒度特征，增加了对小体积目标害虫的检测识别能力。

可选地，针对因田间粘虫板图像质量退化造成待检测害虫特征不明显的问题，将第一残差模块以及第二残差模块中的残差单元个数扩大4倍，深入学习和挖掘浅层特征图中害虫的细粒度特征，可以获取更多浅层网络的害虫特征信息，从而更精准的提取目标害虫的浅层特征及位置信息。

本实施例通过对害虫检测识别模型的构建，使其能够准确、快速的实现粘虫板图像的特征提取以及对目标害虫种类信息和位置信息的检测识别，可弥补现有技术的害虫检测方式对目标害虫检测识别不精度不足等缺陷，适应了对小体积目标害虫准确检测的需求，提高小体积目标害虫的检测率。

基于上述实施例，作为一个可选实施例，在构建完成待训练的害虫检测识别模型之后，还包括构建训练集，验证集和测试集：

获取多个粘虫板样本图像，对每个粘虫板样本图像进行等距分割处理，并将每个粘虫板样本图像中不能整分的边界，使用黑色背景填充处理，获取多个粘虫板样本子图像；

利用粘虫板样本子图像，构建粘虫板样本集；

确定粘虫板样本集中每个粘虫板样本子图像对应的种类位置标签；种类位置标签包括目标害虫的种类信息标签和位置信息标签；

基于图形图像标注工具，将每个粘虫板子样本图像和与其对应的种类位置标签组合为一个数据样本；

由所有数据样本构建数据集；

将数据集中的数据样本按照预设比例进行划分，构建训练集，验证集和测试集以及测试集；

利用训练集和验证集，对待训练的害虫检测识别模型进行训练。

作为一个可选实施例，将多个原始为2560×1920像素大小的粘虫板样本图像进行7×5等距分割，并将每个粘虫板样本图像中不能整分的边界，使用黑色背景填充处理，分割成35个416×416像素大小的粘虫板样本子图像。对粘虫板样本图像进行分割，一方面，可以适应深度学习框架通常需要方形图像分辨率，提高处理速度，降低内存需求；另一方面，可以增加小体积目标害虫在粘虫板图像中的相对大小。

进一步地，粘虫板样本子图像中随机截取出1200张用以构建粘虫板样本集。

进一步地，确定粘虫板样本集中每个粘虫板样本子图像对应的种类位置标签；种类位置标签包括目标害虫的种类信息标签和位置信息标签。

进一步地，对粘虫板样本集中每张粘虫板样本子图像的目标害虫，利用图形图像标注软件工具labelImg对目标害虫标注种类位置标签，形成XML文件。

进一步地，将每个粘虫板样本子图像和与其对应的标注好的XML文件组合成一个数据样本，获得由所有数据样本构建的数据集。

进一步地，按照一定的比例(通常约为：70％、10％和20％)将数据集随机划分为训练集、验证集以及测试集；本实例中训练集包括700张图像数据样本，验证集包括100张图像数据样本，测试集包括200张图像数据样本。

进一步的，利用训练集和验证集，对待训练的害虫检测识别模型进行训练。

本实施例通过将大图分割成小图，再对小图进行标签标注，构建训练集，验证集和测试集。降低了对害虫检测识别模型的内存需求；提高了小体积目标害虫在粘虫板图像的相对比例，能够提高特征学习的准确度，从而提升最终的检测识别精度；此外，可在此基础上建立完整的害虫图像信息库，为后续对待训练的害虫检测识别模型提供训练样本和验证样本。

基于上述实施例，作为一个可选实施例，利用训练集和验证集，对待训练的害虫检测识别模型进行训练，包括：

步骤1，设置初始学习率，基于ADAM优化法，利用训练集对待训练的害虫检测识别模型进行预训练，获取初步训练的害虫检测识别模型；

步骤2，利用验证集对初步训练的害虫检测识别模型进行初步验证，获取初步训练的害虫检测识别模型的初步训练损失值和验证集的初步验证准确率；

步骤3，迭代执行步骤1至步骤2，并在每次迭代的过程中，逐步增加回调函数，在确认初步训练损失值至少连续3次减少，并且初步验证准确率没有连续下降的情况下，直至达到预设次数，以获取预训练的害虫检测识别模型，执行步骤4；

在初步训练损失值持续3次未减少或者初步验证准确率连续下降的情况下，则停止迭代，获取预训练的害虫检测识别模型，执行步骤4；

步骤4，减小初始学习率，并再次基于ADAM优化法，利用训练集对预训练的害虫检测识别模型进行训练，获取再训练的害虫检测识别模型；

步骤5，利用验证集对再训练的害虫检测识别模型进行再验证，获取再训练的害虫检测识别模型的再训练损失值和验证集的再验证准确率；

步骤6，迭代执行步骤4至步骤5，并在每次迭代的过程中，逐步增加回调函数，在确认再训练损失值至少连续3次减少，并且再验证准确率没有连续下降的情况下，直至达到预设次数，以获取训练好的害虫检测识别模型；

在再训练损失值持续3次未减少或者再验证准确率连续下降的情况下，则停止迭代，获取训练好的害虫检测识别模型。其中，在训练过程中增加回调函数，以此来达到训练过程中逐渐缩小学习率，提升模型性能的目的。

在一个实施例中，步骤1中，预先设置迭代次数为100次，最大学习率为0.001，最小学习率设置为0.000001，优化器可以使用常见的ADAM；利用训练集中每4个数据样本作为一个批次输入至待训练的害虫检测识别模型网络，对待训练的害虫检测识别模型进行预训练，获取初步训练的害虫检测识别模型。

进一步地，步骤2中，利用验证集对初步训练的害虫检测识别模型进行初步验证，获取初步训练的害虫检测识别模型的初步训练损失值和验证集的初步验证准确率。

进一步地，步骤3中，迭代执行步骤1至步骤2，并在每次迭代的过程中，逐步增加回调函数，在确认初步训练损失值至少连续3次减少，并且初步验证准确率没有连续下降的情况下，迭代执行步骤1至步骤2，直至达到100次，以获取预训练的害虫检测识别模型，执行步骤4；在初步训练损失值持续3次未减少或者初步验证准确率连续下降的情况下，则停止迭代，获取预训练的害虫检测识别模型，执行步骤4。

进一步地，步骤4中，在预训练完成的基础上，设置迭代次数为100次，最大学习率从0.001减少到0.0001，最小学习率设置为0.000001。在训练过程中仍采用ADAM优化算法来更新网络权重等参数，利用训练集中每4个数据样本作为一个批次输入至预训练的害虫检测识别模型网络，利用训练集对预训练的害虫检测识别模型进行训练，获取再训练的害虫检测识别模型。

进一步地，步骤5中，利用验证集对再训练的害虫检测识别模型进行再验证，获取再训练的害虫检测识别模型的再训练损失值和验证集的再验证准确率。

进一步地，步骤6中，迭代执行步骤4至步骤5，并在每次迭代的过程中，逐步增加回调函数，在确认再训练损失值至少连续3次减少，并且再验证准确率没有连续下降的情况下，迭代执行步骤4至步骤5，直至达到100次，输出的网络权重，就是最终的模型权重，获取训练好的害虫检测识别模型；

在再训练损失值持续3次未减少或者再验证准确率连续下降的情况下，则停止迭代，输出的网络权重，就是最终的模型权重，获取训练好的害虫检测识别模型。

其中，本实施例通过设置合适数值的学习率，使害虫检测识别模型在训练和验证过程中，其损失值不会收敛得过于缓慢，也不至于无法收敛。

需要说明的是，在通过本实施例训练得到的害虫检测识别模型，将目标害虫设置为蓟马和粉虱，使用该模型对200张目标害虫粘虫板图像进行检测测试，测试结果表明，该检测模型对蓟马的检测的精确度为97.94％，对粉虱检测的精确度为97.42％，都高于现有的技术的精确度。

本实施例通过对待训练的害虫检测识别模型进行训练，获取训练好的害虫检测识别模型，该模型具有容错性强、检测准确率率高的特点，可以检测识别粘虫板图像上目标害虫的种类信息和位置信息，为获取目标害虫的数量信息提供基础。

图3是本发明提供的分割粘虫板图像的示意图，作为一个可选实施例，如图3所示，在获取目标图像之后，还包括对目标图像的预处理：

对目标图像进行等距分割处理，并将目标图像中不能整分的边界，使用黑色背景填充处理，获取多个目标子图像；

其中，每两个相邻的目标子图像之间有重叠区域，重叠区域的大小与目标害虫的体型大小正相关；

相应地，将目标图像输入至训练好的害虫检测识别模型，以确定目标害虫的种类信息和位置信息，包括：

分别将每个目标子图像输入至训练好的害虫检测识别模型，以确定目标害虫的种类信息和位置信息。

可选地，目标图像的像素范围可根据需要设定。在本发明后续实施例中均以后期以像素为2560×1920像素大小的图像作为目标图像进行说明，其不视为对本发明保护范围的限定。

需要说明的是，重叠区域的设定防止位于分割边界上的害虫图像被分割后，分布在相邻的目标子图像上，导致计数时被重复或遗漏，进而影响计数准确率。

在一个实施例中，将2560×1920像素大小的目标图像以一种重叠的划分方式进行7×5等距分割，并将目标图像中不能整分的边界，使用黑色背景填充处理，分割成35个416×416像素大小的粘虫板样本子图像。

重叠划分是指在分割过程中相邻的两个目标子图像具有一定像素的重叠，如图3所示，图中的斜线阴影部分区域即划分到区块1中形成416×416像素的目标子图像，又被划分到区块2中，同样形成416×416的目标子图像。阴影区域宽度的选择由目标害虫的大小决定；例如当目标害虫设定为蓟马和粉虱时，由于蓟马和粉虱的像素在10×10～20×20之间，综合考虑将重叠区域宽度选择为20像素。

进一步地，将分割后得到的每个目标子图像输入至训练好的害虫检测识别模型。

本实施例通过对目标图像进行等距离重叠分割，以适应深度学习框架通常需要方形图像分辨率，提高处理速度，降低了对害虫检测识别模型的内存需求，增加了小体积目标害虫在粘虫板图像中的相对大小，从而提高了害虫检测识别模型对目标害虫的检测识别精度。

基于上述实施例，作为一个可选实施例，分别将每个目标子图像输入至训练好的害虫检测识别模型，以确定目标害虫的种类信息和位置信息，包括对输入图像的处理；以及相应地，对输出结果的处理：

将目标子图像输入至训练好的害虫检测识别模型，确定与目标子图像对应的检测识别结果；所述检测识别结果为目标害虫的种类信息和位置信息；

分别将每个多个目标子图像相关的检测识别结果映射至所述目标图像；

基于非极大值抑制法，对重叠区域进行重复计数冗余剔除，获取目标图像上目标害虫的种类信息和位置信息。

作为一个可选地实施例，以416×416像素大小目标子图像为例，将所有的目标子图像逐一输入至训练好的害虫检测识别模型，确定浅层网络的害虫特征信息，经过降采样、上采样以及拼接处理后，获取目标子图像上检测识别结果。

进一步地，将目标子图像的检测识别结果映射至目标图像，映射的位置公式为：

(X,Y)＝[(N-D)(j-1),(N-D)(i-1)]+(x,y)；

其中，(X,Y)为目标图像上的行列坐标值，(x,y)为目标子图像上的行列坐标值，N为目标子图像的单边像素(N＝416)，i表示行号(1≤i≤N)，j为列号(1≤j≤N)，D为重叠区域宽度(D＝20)。

进一步地，将重叠区域中重复检测计数的害虫进行冗余剔除，获取最终整个原始图像上的目标害虫检测识别计数结果。其中重复计数剔除方法为：首先将目标子图像上所检测出的蓟马或粉虱等目标害虫的位置信息映射到原始的目标图像上，然后利用非极大值抑制(Non-Maximum Suppression，NMS)算法来去除目标图像上同一个目标害虫上的多个目标框，使每个检测出的害虫目标只保留一个目标框，实现重复检测的剔除。目标子图像的拼接如图4所示，将目标子图像a和目标子图像b的检测识别结果进行合并成图像c，然后采用非极大值抑制(Non-Maximum Suppression，NMS)的方式，剔除两个检测框中评分较低的框，保留得分较高的检测框。

本实施例通过将所有目标子图像的检测识别结果映射至目标图像，再对重叠部分去冗余，能精准确定目标图像上目标害虫的种类信息和位置信息，进而准确获取目标害虫的数量信息，为害虫的种群密度估计提供一种精准的数据采集方法，并对后期害虫防治策略提供数据基础。

图5是本发明提供的粘虫板图像采集设备结构示意图，作为一个可选实施例，如图5所示，包括：

太阳能供电板501，用于将光能转换为电能；

图像采集控制器与摄像头模块502，用于对目标图像的采集；

粘虫板503，用于对目标害虫进行捕获，为获取目标图像提供基础；

蓄电池504，用于将太阳能供电板1提供的电能转换成化学能储存下来，并为整个设备的运行提供电能；

支撑粘虫板的横杆505，用于支撑粘虫板503；

竖直支撑杆506，用于支撑整个设备；

安装三脚架507，用于固定整个设备。

图6是本发明提供的粘虫板图像上小体积害虫检测方法的流程示意图之二，作为一个可选实施例，如图6所示，其整个实施步骤包括但不限于：

步骤601，安装部署粘虫板图像采集设备；

步骤602，采集粘虫板图像；

步骤603，根据目标害虫特征，构架待训练的害虫检测识别模型；

步骤604，制作目标图像害虫数据集，构建训练集、验证集以及测试集；

步骤605，利用训练集和验证集对待训练的害虫检测识别模型进行训练，获取训练好的目标害虫检测模型；

步骤606，将目标图像输入至训练好的害虫检测识别模型，获取目标害虫的数量信息；

在步骤601中，将待检测田地均匀分为多块检测子田地，在每块子田地的固定位置安装部署如图5所示的粘虫板图像采集设备。

进一步地，在步骤602中，在预设时间点使用图像采集控制器与摄像头模块502对粘虫板503进行图像采集。

进一步地，在步骤603中，构建待训练的害虫检测识别模型；

害虫检测识别模型，包括：CSPDarknet53单元、空间金字塔池化单元、路径聚合网络单元和输出单元。

其中，CSPDarknet53单元为害虫检测识别模型的主干网络，用于对输入的图像进行特征提取；

金字塔池化单元，用于选择最大值作为池化后的值；

路径聚合网络单元，用于对输入的特征图像进行缩放拼接处理；

输出单元为检测层，用于输出目标害虫的种类信息和位置信息。

具体地，CSPDarknet53单元，包括：依次连接的1个输入层、第一卷积模块、第一残差模块、第二残差模块、第三残差模块、第四残差模块和第五残差模块；

具体地，空间金字塔池化单元，包括最大池化层。

具体地，路径聚合网络单元，包括：依次连接的第一拼接模块、第一上采样模块、第二拼接模块、第二上采样模块、第三拼接模块和第三上采样模块；以及依次连接的第一下采样模块、第四拼接模块、第二下采样模块、第五拼接模块、第三下采样模块和第六拼接模块；

其中，第一拼接模块的输出端与第一下采样模块的输入端相连，第二拼接模块的输出端与第四拼接模块的输入端相连，第三拼接模块的输出端与第五拼接模块的输入端相连。

具体地，输出单元，包括：第一YOLO Head模块、第二YOLO Head模块、第三YOLOHead模块。

具体地，第二残差模块的输出端通过第二卷积模块与第一拼接模块的输入端相连；第三残差模块的输出端通过第三卷积模块与第二拼接模块的输入端相连；第四残差模块的输出端通过第四卷积模块与第三拼接模块的输入端相连。

具体地，第五残差模块的输出端通过第五卷积模块与空间金字塔池化单元的输入端相连。

具体地，空间金字塔池化单元的输出端通过特征融合模块分别与第三上采样模块以及第六拼接模块的输入端相连；特征融合模块包括依次连接的1个合并层和3个卷积层。

具体地，第一拼接模块的输出端与第一YOLO Head模块的输入端相连；第五拼接模块的输出端与第二YOLO Head模块的输入端相连；第六拼接模块的输出端与第三YOLO Head模块的输入端相连。

具体地，第一残差模块、第五残差模块均分别包括4个依次连接的残差单元，第二残差模块、第三残差模块、第四残差模块均分别包括8个依次连接的残差单元。

具体地，第五卷积模块包括依次连接的3个卷积层。

具体地，第一拼接模块、第二拼接模块、第三拼接模块、第四拼接模块、第五拼接模块、第六拼接模块均分别包括依次连接的1个合并层和5个卷积层。

需要说明的是，在YOLOv4网络模型对8倍降采样处的特征图进行2倍上采样，与4倍降采样处的特征图进行拼接，建立4倍降采样处的新YOLO检测层。特征图越大，对小体积目标害虫越敏感，通过叠加浅层特征图相邻特征到不同通道，让网络同时学习到深层和浅层的特征，以此来使模型有了细粒度特征，增加了对小体积目标害虫的检测识别能力。

进一步地，在步骤604中，将多个原始为2560×1920像素大小的粘虫板样本图像进行7×5等距分割，并将每个粘虫板样本图像中不能整分的边界，使用黑色背景填充处理，分割成35个416×416像素大小的粘虫板样本子图像。对粘虫板样本图像进行分割，一方面，可以适应深度学习框架通常需要方形图像分辨率，提高处理速度，降低内存需求；另一方面，可以增加小体积目标害虫在粘虫板图像中的相对大小。粘虫板样本子图像中随机截取出1200张用以构建粘虫板样本集；确定粘虫板样本集中每个粘虫板样本子图像对应的种类位置标签；种类位置标签包括目标害虫的种类信息标签和位置信息标签；对粘虫板样本集中每张粘虫板样本子图像的目标害虫，利用图形图像标注软件工具labelImg对目标害虫标注种类位置标签，形成XML文件；将每个粘虫板样本子图像和与其对应的标注好的XML文件组合成一个数据样本，获得由所有数据样本构建的数据集；按照一定的比例(通常为：70％、10％和20％)将数据集随机划分为训练集、验证集以及测试集；本实例中训练集包括700张图像数据样本，验证集包括100张图像数据样本，测试集包括200张图像数据样本。

进一步的，利用训练集和验证集，对待训练的害虫检测识别模型进行训练。

进一步地，在步骤605中，步骤1中，预先设置迭代次数为100次，最大学习率为0.001，最小学习率设置为0.000001，优化器可以使用常见的ADAM；利用训练集中每4个数据样本作为一个批次输入至待训练的害虫检测识别模型网络，对待训练的害虫检测识别模型进行预训练，获取初步训练的害虫检测识别模型。

进一步地，步骤2中，利用验证集对初步训练的害虫检测识别模型进行初步验证，获取初步训练的害虫检测识别模型的初步训练损失值和验证集的初步验证准确率。

进一步地，步骤3中，迭代执行步骤1至步骤2，并在每次迭代的过程中，逐步增加回调函数，在确认初步训练损失值至少连续3次减少，并且初步验证准确率没有连续下降的情况下，迭代执行步骤1至步骤2，直至达到100次，以获取预训练的害虫检测识别模型，执行步骤4；

在初步训练损失值持续3次未减少或者初步验证准确率连续下降的情况下，则停止迭代，获取预训练的害虫检测识别模型，执行步骤4。

进一步地，步骤4中，在预训练完成的基础上，设置迭代次数为100次，最大学习率从0.001减少到0.0001，最小学习率设置为0.000001。在训练过程中仍采用ADAM优化算法来更新网络权重等参数，利用训练集中每4个数据样本作为一个批次输入至预训练的害虫检测识别模型网络，利用训练集对预训练的害虫检测识别模型进行训练，获取再训练的害虫检测识别模型。

进一步地，步骤5中，利用验证集对再训练的害虫检测识别模型进行再验证，获取再训练的害虫检测识别模型的再训练损失值和验证集的再验证准确率。

进一步地，步骤6中，迭代执行步骤4至步骤5，并在每次迭代的过程中，逐步增加回调函数，在确认再训练损失值至少连续3次减少，并且再验证准确率没有连续下降的情况下，迭代执行步骤4至步骤5，直至达到100次，输出的网络权重，就是最终的模型权重，获取训练好的害虫检测识别模型；

在再训练损失值持续3次未减少或者再验证准确率连续下降的情况下，则停止迭代，输出的网络权重，就是最终的模型权重，获取训练好的害虫检测识别模型。

进一步地，在步骤606中，将2560×1920像素大小的目标图像以一种重叠的划分方式进行7×5等距分割，并将目标图像中不能整分的边界，使用黑色背景填充处理，分割成35个416×416像素大小的粘虫板样本子图像。重叠划分是指在分割过程中相邻的两个目标子图像具有一定像素的重叠，如图3所示，图中的斜线阴影部分区域即划分到区块1中形成416×416像素的目标子图像，又被划分到区块2中，同样形成416×416的目标子图像。阴影区域宽度的选择由目标害虫的大小决定；例如当目标害虫设定为蓟马和粉虱时，由于蓟马和粉虱的像素在10×10～20×20之间，综合考虑将重叠区域宽度选择为20像素。

进一步地，将分割后得到的每个目标子图像输入至训练好的害虫检测识别模型。

将所有的目标子图像逐一输入至训练好的害虫检测识别模型，确定浅层网络的害虫特征信息，经过降采样、上采样以及拼接处理后，获取目标子图像上检测识别结果。

进一步地，将目标子图像的检测识别结果映射至目标图像，映射的位置公式为：

(X,Y)＝[(N-D)(j-1),(N-D)(i-1)]+(x,y)；

其中，(X,Y)为目标图像上的行列坐标值，(x,y)为目标子图像上的行列坐标值，N为目标子图像的单边像素(N＝416)，i表示行号(1≤i≤N)，j为列号(1≤j≤N)，D为重叠区域宽度(D＝20)。

进一步地，将重叠区域中重复检测计数的害虫进行冗余剔除，获取最终整个原始图像上的目标害虫检测识别计数结果。其中重复计数剔除方法为：首先将目标子图像上所检测出的蓟马或粉虱等目标害虫的位置信息映射到原始的目标图像上，然后利用非极大值抑制(Non-Maximum Suppression，NMS)算法来去除目标图像上同一个目标害虫上的多个目标框，使每个检测出的害虫目标只保留一个目标框，实现重复检测的剔除。目标子图像的拼接如图4所示，将目标子图像a和目标子图像b的检测识别结果进行合并成图像c，然后采用非极大值抑制(Non-Maximum Suppression，NMS)的方式，剔除两个检测框中评分较低的框，保留得分较高的检测框。

本发明提供的粘虫板图像上小体积害虫检测方法，采用针对小体积害虫检测的深度学习模型统计粘虫板图像上目标害虫的数量，利用特征拼接和扩大残差单元的手段，实现对粘虫板图像上小体积害虫的自动准确检测，为害虫的种群密度估计提供一种精准的数据采集方法，并对后期害虫防治策略提供数据基础。

图7是本发明提供的粘虫板图像上小体积害虫检测系统的结构示意图，作为一个可选实施例，如图7所示，主要包括但不限于以下模块：

图像获取模块701，用于获取目标图像，目标图像为捕获目标害虫的粘虫板图像；

害虫检测识别模块702，用于将目标图像输入至训练好的害虫检测识别模型，以确定目标害虫的种类信息和位置信息，训练好的害虫检测识别模型是基于单阶段目标检测算法构建的；

数量信息获取模块703，用于通过统计检测出的种类信息和位置信息获取目标害虫的数量信息。

在一个实施例中，通过图像获取模块701获取目标图像，将目标图像输出至害虫检测识别模块702，害虫检测识别模块702对图像获取模块701输出的目标图像进行检测识别处理，确定目标害虫的种类信息和位置信息，以确定目标害虫的种类信息和位置信息，训练好的害虫检测识别模型是基于单阶段目标检测算法构建的；数量信息获取模块703通过害虫检测识别模块702输出的种类信息和位置信息，获取目标害虫的数量信息。

作为一种可选地实施例，图像获取模块701中的图像采集设备可以设置在各个粘虫板旁，用于实时获取粘虫板图像；也可以在粘虫板对害虫捕捉完成后，将粘虫板回收后，带到光线充足、利于拍摄的环境，提高图片质量，节省设备成本。

进一步地，图像获取模块701中的图像采集设备对每个粘虫板进行图像采集，获取目标图像；

可选地，目标图像采集时间可以选在光照较好的时间段，或是对图像采集设备进行补光。

进一步地，害虫检测识别模块702将图像采集设备获取的目标图像输入至训练好的害虫检测识别模型，通过对目标图像的特征提取，检测识别目标害虫的种类信息和在目标图像上的位置信息。

可选地，训练好的害虫检测识别模型可以是基于单阶段的目标检测算法(YOLO系列)构建的。

可选地，目标害虫可以是蓟马、粉虱或蚜虫中的任一种。

进一步地，数量信息获取模块703根据目标害虫的种类信息和位置信息进行计数统计，获取该目标害虫的数量信息。

需要说明的是，本发明实施例提供的粘虫板图像上小体积害虫检测系统，在具体执行时，可以基于上述任一实施例的粘虫板图像上小体积害虫检测方法来实现，对此本实施例不作赘述。

本发明提供的粘虫板图像上小体积害虫检测系统，采用针对小体积害虫检测的深度学习模型统计粘虫板图像上目标害虫的数量，利用特征拼接来扩大特征图和增加残差单元的手段，实现对田间粘虫板图像上小体积害虫的自动准确检测，为害虫的种群密度估计提供一种精准的数据采集方法，并对后期害虫防治策略提供数据基础。

图8是本发明提供的电子设备的结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行粘虫板图像上小体积害虫检测方法，该方法包括：获取目标图像，目标图像为捕获目标害虫的粘虫板图像；将目标图像输入至训练好的害虫检测识别模型，确定目标害虫的种类信息和位置信息，并通过统计检测出的种类信息和位置信息获取目标害虫的数量信息，训练好的害虫检测识别模型是基于单阶段目标检测算法构建的。

此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述各方法所提供的粘虫板图像上小体积害虫检测方法，该方法包括：获取目标图像，目标图像为捕获目标害虫的粘虫板图像；将目标图像输入至训练好的害虫检测识别模型，确定目标害虫的种类信息和位置信息，并通过统计检测出的种类信息和位置信息获取目标害虫的数量信息，训练好的害虫检测识别模型是基于单阶段目标检测算法构建的。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的粘虫板图像上小体积害虫检测方法，该方法包括：获取目标图像，目标图像为捕获目标害虫的粘虫板图像；将目标图像输入至训练好的害虫检测识别模型，确定目标害虫的种类信息和位置信息，并通过统计检测出的种类信息和位置信息获取目标害虫的数量信息，训练好的害虫检测识别模型是基于单阶段目标检测算法构建的。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。