一种基于边界关键点感知的多尺度害虫图像检测方法

技术领域

本发明涉及害虫图像检测技术领域，具体涉及一种基于边界关键点感知的多尺度害虫图像检测方法。

背景技术

传统的害虫识别是依靠少数研究者、植保科技工作人员通过手工检查，肉眼观察来完成。这种凭主观直觉和群体经验的识别方法效率低，且由于受到识别者的主观影响，导致了识别率不稳定。特别是在识别任务重时，识别准确率大大降低，影响了测报的时效性和准确度。同时，由于植保科技人员有限，而且有的位置偏远，出入不方便，他们不能随时到现场识别害虫，往往根据农民对害虫的形态的描述来识别虫，但农民的专业知识有限，无法提供准确的描述，因此，可能会造成对害虫种类的误判，导致不能及时防治害虫，造成巨大的农业经济损失。

由于计算机技术的飞速发展，基于计算机视觉技术的害虫识别方法得到广泛的应用。这种识别方法不仅在很大程度上解决了科技人员不足、人工识别难以完成大量昆虫识别的难题，还能够利用现有的识别系统及时的跟踪害虫的生长状态，进行及时有效地防治，降低害虫造成的损失。但是，现有技术也面临着诸多挑战，比如目标尺度多变，图像背景复杂和害虫类别具有多样性。例如，对于同一害虫检测任务，目标尺度差距较大，有的虫害尺度较小，比如麦蚜虫，有的害虫尺度很大，比如蛾类虫害。目标尺度变化大，不利于精准定位，尤其是对于小尺度的害虫，识别难度更大，检测时很容易出现害虫目标的漏检和误检。

因此，如何精准提取不同尺度的害虫特征表达，提升多尺度害虫分类和定位精度，已成为亟待解决的技术问题。

发明内容

本发明的目的在于提供一种基于边界关键点感知的多尺度害虫图像检测方法，该方法能够解决现有技术中存在的不足，提升多尺度害虫目标识别和定位的精度以及多尺度害虫图像检测的精度与准确率。

为实现上述目的，本发明采用了以下技术方案：

一种基于边界关键点感知的多尺度害虫图像检测方法，该方法包括以下步骤：

(1)获取害虫图像数据，从获取的害虫图像数据中随机选择多尺度害虫图像，选取与所选害虫图像对应的害虫目标坐标信息和类别标签，将选取的害虫样本按7：2：1分为训练样本集、评估样本集和测试样本集，并对害虫训练样本集进行扩增，得到扩增后的训练样本集。

(2)构建多尺度害虫特征提取网络，将获取的害虫图像数据中的多尺度害虫图像输入多尺度害虫特征提取网络，从中提取多尺度害虫特征，并利用多尺度害虫特征构建基于边界点感知的多尺度害虫区域推荐模型，同时对基于边界点感知的多尺度害虫区域推荐模型进行训练。

(3)从测试样本集中获取待测害虫图像，利用多尺度害虫特征提取网络获取待测害虫图像的多尺度特征，将多尺度特征输入训练好的基于边界点感知的多尺度害虫区域推荐模型，获取待测害虫图像的感兴趣区域推荐框。

(4)构建多类别害虫目标微调网络，将待测害虫图像的感兴趣区域推荐框输入多类别害虫目标微调网络，对感兴趣区域推荐框进行多类别分类和边界框位置回归，得到害虫目标的类别和坐标位置，统计害虫目标数量。所述多类别害虫目标微调网络的输入为害虫图像的感兴趣区域推荐框，输出为害虫目标的类别和坐标位置，多类别害虫目标微调网络的第一层为感兴趣区域池化层提取害虫特征，第二层为4096个神经元的全连接层，第三层为C+1(C类加上1个背景)个神经元的全连接层，输出害虫目标类别，与第三层并列的第四层为4*(C+1)个神经元的全连接层，直接回归得到害虫目标位置。

具体地说，步骤(1)中所述的“对害虫训练样本集进行扩增，得到扩增后的训练样本集”，其具体包括以下步骤：首先，对训练样本集中的每张害虫图像进行随机裁剪操作；然后，对训练样本集中的每张害虫图像的害虫目标区域进行灰度变换和随机翻转；接着，对经过随机翻转和灰度变换后的训练样本集中的每幅害虫图像中的害虫目标区域，进行粘贴、复制，增加害虫目标样本；最后，将处理后的样本与原始样本融合，组成扩增后的训练样本集。

步骤(2)中所述的“构建多尺度害虫特征提取网络，将获取的害虫图像数据中的多尺度害虫图像输入多尺度害虫特征提取网络，从中提取多尺度害虫特征，并利用多尺度害虫特征构建基于边界点感知的多尺度害虫区域推荐模型，同时对基于边界点感知的多尺度害虫区域推荐模型进行训练”，其具体包括以下步骤：

(21)由于害虫目标尺度各异，仅仅采用单一尺度的害虫特征信息，对多尺度害虫的识别精度不足，因此，本发明提出一种多尺度害虫特征提取网络，该多尺度害虫特征提取网络为深度多尺度残差网络，该网络能够增强害虫的多尺度特征表达。

构建多尺度害虫特征提取网络，将多尺度害虫图像深度输入多尺度害虫特征提取网络，从中提取丰富的多尺度害虫特征；多尺度害虫特征提取网络的第一层是卷积层，7x7的卷积核，滑动窗口每隔2个像素进行一次采样，输出64个特征图，每个特征图采用卷积核大小为3x3，每2个像素进行一次最大池化的下采样，然后将下采样后的特征图输入到多尺度害虫特征提取网络中；多尺度害虫特征提取网络包括16个残差块，每个残差块包括3个并列的卷积层，第一个是卷积核大小为1x1，填充为0的卷积层，第二个是卷积核大小为3x3，填充为3，膨胀系数为3，第三个是卷积核大小为6x6，填充为6，膨胀系数为6，输出特征图大小与输入的特征图保持一致，三个并列的卷积层输出的特征图融合，与上一层卷积层输出的特征图相加，得到害虫多尺度特征；然后经过一个卷积核大小为2x2，每隔2个像素采样一次，输出下采样后的特征图。

(22)由于害虫目标尺度不同，在提取害虫感兴趣区域时，采用现有的固定的锚点方法，存在锚点设置不合适，难以提取不同尺度的害虫感兴趣区域的缺陷，因此，本发明提出了一种基于边界点感知的多尺度害虫区域推荐模型，基于边界关键点感知的多尺度害虫区域推荐模型，通过学习害虫目标框的边界关键点，达到害虫目标的精准定位，实现多尺度害虫感兴趣区域的准确提取。

构建基于边界点感知的多尺度害虫区域推荐模型，基于边界点感知的多尺度害虫区域推荐模型包括边界关键点感知网络和后处理模块；构建边界关键点感知网络，边界关键点感知网络包括一层特征变换卷积层、两个并列的左上角关键点预测模块和右下角关键点预测模块；特征变换卷积层采用512个卷积核大小3x3，进行多尺度害虫特征变换，输出512个多尺度害虫特征；左上角关键点预测模块为2个神经元的全连接层，用于编码左上角关键点位置信息，利用sigmoid函数，获取左上角关键点的概率值的热力图；同样地，右下角关键点预测模块为2个神经元的全连接层，用于编码右下角点位置信息，利用sigmoid函数，获取右下角关键点的概率值的热力图；构建后处理模块，对于模型预测的左上角关键点和右下角关键点，根据预测的概率值，选择前N个关键点，通过暴力枚举方式，得到N*N个边界框，边界框的位置由左上角关键点和右下角关键点的位置确定；对于N*N个边界框来说，若其左上角关键点的横坐标值小于右下角关键点的横坐标值，且左上角关键点的纵坐标值小于右下角关键点的纵坐标值，则对应的边界框保留，其得分为相应的左上角和右下角的置信得分的平均值，经过非极大值抑制算法(NMS)，得到K个害虫目标区域推荐框；

(23)基于边界点感知的多尺度害虫区域推荐模型包括训练正负样本点的确定和损失函数的定义；对基于边界点感知的多尺度害虫区域推荐模型进行训练，首先确定训练正负样本点：定义正样本区域，以真实害虫目标边界框的关键点为中心，k为半径得到一个正样本区域；获取害虫目标的边界关键点，获取边界关键点热力图，并通过以下映射关系式获取害虫图像对应的关键点坐标位置：x

然后，采用下式所示的多尺度害虫区域推荐模型的损失函数计算出预测样本点与真实样本点之间的损失值：

其中，L

最后，采用神经网络的梯度反向传播算法更新网络参数，完成基于边界点感知的多尺度害虫区域推荐模型的训练。

由以上技术方案可知，本发明通过构建多尺度害虫特征提取网络获取害虫的多尺度特征编码信息，增强了多尺度害虫的特征表达能力，提升了多尺度害虫检测的精度；利用基于边界关键点感知的多尺度害虫区域推荐模型获取害虫图像的感兴趣区域，克服了现有技术中采用锚点方式带来的参数设置困难的问题，能够更精准地定位多尺度害虫目标位置，由此提升了害虫目标识别和定位的精度。本发明提出了两阶段的基于边界关键点感知的多尺度害虫图像检测方法，能够应用在大规模多尺度多类别的害虫目标识别和定位区域，提升多尺度害虫图像检测的准确率。

附图说明

图1为本发明的方法流程图；

图2为本发明中边界感知网络训练的正负样本选择方法示意图；

图3为采用本发明对多尺度害虫进行检测的检测结果效果图。

具体实施方式

下面结合附图对本发明做进一步说明：

如图1所示的一种基于边界关键点感知的多尺度害虫图像检测方法，该方法包括以下步骤：

(1)获取害虫图像数据，从获取的害虫图像数据中随机选择多尺度害虫图像，选取与所选害虫图像对应的害虫目标坐标信息和类别标签，将选取的害虫样本按7：2：1分为训练样本集、评估样本集和测试样本集，并对害虫训练样本集进行扩增，得到扩增后的训练样本集。

(2)构建多尺度害虫特征提取网络，将获取的害虫图像数据中的多尺度害虫图像输入多尺度害虫特征提取网络，从中提取多尺度害虫特征，并利用多尺度害虫特征构建基于边界点感知的多尺度害虫区域推荐模型，同时对基于边界点感知的多尺度害虫区域推荐模型进行训练。

(3)从测试样本集中获取待测害虫图像，利用多尺度害虫特征提取网络获取待测害虫图像的多尺度特征，将多尺度特征输入训练好的基于边界点感知的多尺度害虫区域推荐模型，获取待测害虫图像的感兴趣区域推荐框。

(4)构建多类别害虫目标微调网络，将待测害虫图像的感兴趣区域推荐框输入多类别害虫目标微调网络，对感兴趣区域推荐框进行多类别分类和边界框位置回归，得到害虫目标的类别和坐标位置，统计害虫目标数量。多类别害虫目标微调网络的第一层为感兴趣区域池化层提取害虫特征，第二层为4096个神经元的全连接层，第三层为C+1(C类加上1个背景)个神经元的全连接层，输出害虫目标类别，与第三层并列的第四层为4*(C+1)个神经元的全连接层，直接回归得到害虫目标位置。多类别害虫目标微调网络的输入为害虫图像的感兴趣区域推荐框，输出为害虫目标的类别和坐标位置。

具体地说，步骤(1)中所述的“对害虫训练样本集进行扩增，得到扩增后的训练样本集”，其具体包括以下步骤：首先，对训练样本集中的每张害虫图像进行随机裁剪操作；然后，对训练样本集中的每张害虫图像的害虫目标区域进行灰度变换和随机翻转；接着，对经过随机翻转和灰度变换后的训练样本集中的每幅害虫图像中的害虫目标区域，进行粘贴、复制，增加害虫目标样本；最后，将处理后的样本与原始样本融合，组成扩增后的训练样本集。

步骤(2)中所述的“构建多尺度害虫特征提取网络，将获取的害虫图像数据中的多尺度害虫图像输入多尺度害虫特征提取网络，从中提取多尺度害虫特征，并利用多尺度害虫特征构建基于边界点感知的多尺度害虫区域推荐模型，同时对基于边界点感知的多尺度害虫区域推荐模型进行训练”，其具体包括以下步骤：

(21)由于害虫目标尺度各异，仅仅采用单一尺度的害虫特征信息，对多尺度害虫的识别精度不足，因此，本发明提出一种多尺度害虫特征提取网络，该多尺度害虫特征提取网络为深度多尺度残差网络，该网络能够增强害虫的多尺度特征表达。

构建多尺度害虫特征提取网络，将多尺度害虫图像深度输入多尺度害虫特征提取网络，从中提取丰富的多尺度害虫特征；多尺度害虫特征提取网络的第一层是卷积层，7x7的卷积核，滑动窗口每隔2个像素进行一次采样，输出64个特征图，每个特征图采用卷积核大小为3x3，每2个像素进行一次最大池化的下采样，然后将下采样后的特征图输入到多尺度害虫特征提取网络中；多尺度害虫特征提取网络包括16个残差块，每个残差块包括3个并列的卷积层，第一个是卷积核大小为1x1，填充为0的卷积层，第二个是卷积核大小为3x3，填充为3，膨胀系数为3，第三个是卷积核大小为6x6，填充为6，膨胀系数为6，输出特征图大小与输入的特征图保持一致，三个并列的卷积层输出的特征图融合，与上一层卷积层输出的特征图相加，得到害虫多尺度特征；然后经过一个卷积核大小为2x2，每隔2个像素采样一次，输出下采样后的特征图。

(22)由于害虫目标尺度不同，在提取害虫感兴趣区域时，采用现有的固定的锚点方法，存在锚点设置不合适，难以提取不同尺度的害虫感兴趣区域的缺陷，因此，本发明提出了一种基于边界点感知的多尺度害虫区域推荐模型，基于边界关键点感知的多尺度害虫区域推荐模型，通过学习害虫目标框的边界关键点，达到害虫目标的精准定位，实现多尺度害虫感兴趣区域的准确提取。

构建基于边界点感知的多尺度害虫区域推荐模型，基于边界点感知的多尺度害虫区域推荐模型包括边界关键点感知网络和后处理模块；构建边界关键点感知网络，边界关键点感知网络包括一层特征变换卷积层、两个并列的左上角关键点预测模块和右下角关键点预测模块；特征变换卷积层采用512个卷积核大小3x3，进行多尺度害虫特征变换，输出512个多尺度害虫特征；左上角关键点预测模块为2个神经元的全连接层，用于编码左上角关键点位置信息，利用sigmoid函数，获取左上角关键点的概率值的热力图；同样地，右下角关键点预测模块为2个神经元的全连接层，用于编码右下角点位置信息，利用sigmoid函数，获取右下角关键点的概率值的热力图；构建后处理模块，对于模型预测的左上角关键点和右下角关键点，根据预测的概率值，选择前N个关键点，通过暴力枚举方式，得到N*N个边界框，边界框的位置由左上角关键点和右下角关键点的位置确定；对于N*N个边界框来说，若其左上角关键点的横坐标值小于右下角关键点的横坐标值，且左上角关键点的纵坐标值小于右下角关键点的纵坐标值，则对应的边界框保留，其得分为相应的左上角和右下角的置信得分的平均值，经过非极大值抑制算法(NMS)，得到K个害虫目标区域推荐框。

(23)基于边界点感知的多尺度害虫区域推荐模型包括训练正负样本点的确定和损失函数的定义；对基于边界点感知的多尺度害虫区域推荐模型进行训练，首先确定训练正负样本点：如图2所示，定义正样本区域，以真实害虫目标边界框的关键点为中心，k为半径得到一个正样本区域；获取害虫目标的边界关键点，获取边界关键点热力图，并通过以下映射关系式输入害虫图像对应的关键点坐标位置：x

然后，采用下式所示的多尺度害虫区域推荐模型的损失函数计算出预测样本点与真实样本点之间的损失值：

其中，L

对于预测的一对目标边界关键点来说，如果预测点的位置在真实点附近，那么，这些边界点仍然可以生成有效的区域推荐框，再训练多尺度害虫区域推荐模型，真实点附近的负样本点比其它负样本点更重要，对网络训练更有利，因此，本发明采用的损失函数通过给这些真实点附近预测点的损失一个权重(1-y

最后，采用神经网络的梯度反向传播算法更新网络参数，完成基于边界点感知的多尺度害虫区域推荐模型的训练。

图3为利用本发明方法对多类别害虫图像进行检测的检测结果效果图，由图3可以看出，尽管害虫目标的尺度不一，尤其是存在一些害虫目标的尺度非常小，但是本发明所述的检测方法仍然表现很好，不存在漏检的情况。这是由于本发明在引入了多尺度害虫目标提取网络后，又通过边界点感知的多尺度害虫区域推荐模型来获取高质量的害虫候选区域，从而使获取到的多尺度害虫目标的特征得到丰富，使得多尺度害虫区域推荐网络(即多尺度害虫区域推荐模型)能够感知潜在的害虫目标候选区域，实现了多尺度害虫目标的精准识别。

以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。