一种同色系背景下目标果实检测方法及检测系统

技术领域

本公开涉及智慧农业相关技术领域，具体的说，是涉及一种同色系背景下目标果实检测方法及检测系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，并不必然构成在先技术。

在传统果蔬产业的整个生产周期中，目前各阶段仍以人工作业为主，存在耗时费力、成本高、效率低等问题，因此，复杂果园环境下的生产自动化为该产业发展的必然趋势，一般是通过检测果实的实际情况确定药肥变量喷施的时机、产量预估以及智能采摘的时间，因此果实目标的精准快速检测，具有重要意义。

发明人发现，真实果园环境下目标果实的识别，通常伴随枝干遮挡、果实重叠、光照变化等干扰，对绿色果实而言，更是由于其与叶片背景颜色极为相近的原因，容易造成叶片与绿色果实的相互混检，使得果实识别难度急剧攀升，影响了果园管理的智能化进程。

目前，该领域已积累了一定的研究基础，大多沿用机器学习与深度学习两个方向。其中，基于机器学习的识别方法通常伴随预处理、特征选择等操作，不能实现端到端的检测流程，且识别效果容易受到自然环境下各种干扰的影响。基于深度学习的识别方法，虽然在精度上有了显著提升，且能够实现端到端的检测流程，但由于卷积等操作以及模型对锚框的依赖，导致其需要耗费大量的计算与存储资源，识别速度尚达不到实时性要求。

发明内容

本公开为了解决上述问题，提出了一种同色系背景下目标果实检测方法及检测系统，可满足智能采摘、药肥变量喷施、产量预估等智能化农业应用的检测要求，能够同时提高检测速度和精度。

为了实现上述目的，本公开采用如下技术方案：

一个或多个实施例提供了一种同色系背景下目标果实检测方法，包括如下步骤：

获取同色系背景下目标果实的图像数据，并对图像进行预处理；

对获取的图像数据采用深度卷积网络进行图像特征提取，并通过特征金字塔网络进行融合，获得融合后的预测特征图；

对于特征金字塔网络的每一层级的特征图分别进行预测，通过分类与回归两个分支，以全卷积的方法生成目标果实的预测值。

一个或多个实施例提供了一种同色系背景下目标果实检测系统，包括：

图像获取模块：被配置为用于获取同色系背景下目标果实的图像数据，并对图像进行预处理；

特征图提取及融合模块：被配置为用于对获取的图像数据采用深度卷积网络进行图像特征提取，并通过特征金字塔网络进行融合，获得融合后的预测特征图；

预测模块：被配置为用于对于特征金字塔网络的每一层级的特征图分别进行预测，通过分类与回归两个分支，以全卷积的方法生成目标果实的预测值。

一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述方法所述的步骤。

一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述方法所述的步骤。

与现有技术相比，本公开的有益效果为：

(1)本公开在保证精度的前提下提升速度，平衡准确率与效率两者之间的关系，结合各自动化应用在果园环境下的实际作业需求，提出精度高、速度快、鲁棒性强、适应能力好的目标果实检测模型。

(2)本公开可以快速准确的检测同色系背景下目标果实的位置，以单阶段、全卷积的方式进行预测，在精度与速度两个方面均能高效识别果实，且同色系背景环境下鲁棒性强，满足实际作业的需求。

(3)本公开摆脱了主流检测算法对锚框的依赖，使得算法在复杂度、检测速度、占用存储、适应能力等方面均有显著提升，有效改善模型部署到各智能化农业应用时的稳定性与适用性。

本公开附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的限定。

图1本公开实施例1的检测方法整体流程图；

图2本公开实施例1的同色系背景下采集到的不同干扰场景下的果实图像；

图3本公开实施例1的检测方法对应的检测模型的结果预测阶段结构图；

图4本公开实施例1的不同尺度果实采用实施例1的检测方法预测的效果图

图5本公开实施例1的正采样区域映射到输入目标果实图片上的划分示意图；

图6本公开实施例1的检测模型训练过程中单次迭代的整体流程图；

图7是本公开实施例1的对两种同色系背景下的果实的采用实施例1的检测方法的检测效果。

具体实施方式：

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。需要说明的是，在不冲突的情况下，本公开中的各个实施例及实施例中的特征可以相互组合。下面将结合附图对实施例进行详细描述。

实施例1

在一个或多个实施方式中公开的技术方案中，如图1所示，一种同色系背景下目标果实检测方法，包括如下步骤：

步骤1、获取同色系背景下目标果实的图像数据，并对图像进行预处理；

步骤2、对获取的图像数据采用深度卷积网络进行图像特征提取，并通过特征金字塔网络进行融合，获得融合后的预测特征图；

步骤3、对于特征金字塔网络的每一层级的特征图分别进行预测，通过分类与回归两个分支，以全卷积的方法生成目标果实的预测值。

本实施例中融合了深度卷积网络及金字塔网络进行特征图的提取，以单阶段、全卷积的方式进行预测，在精度与速度两个方面均能高效识别果实，且同色系背景环境下鲁棒性强，满足实际作业的需求。

步骤1中，可以通过图像采集装置如摄像头等，在同色系背景下采集不同种类的果实图像；

所述预处理的方法包括对图像进行填充和剪裁处理。

步骤2中，对获取的图像数据采用深度卷积网络进行图像特征提取，并通过特征金字塔网络进行融合的方法，具体为：以卷积神经网络(ResNet)为骨干架构，提取图像特征；将ResNet中各残差块输出的特征图，按照自顶向下与横向连接的方式进行融合，使深层特征图与浅层特征图具有相同水平的语义容量,从而逐渐丰富底层特征图的语义表示容量，得到特征金字塔即为融合后的预测特征图；

本实施例中，图像特征提取的方法，具体为：将图像以batch为单位输出到残差网络ResNet中，执行卷积和池化操作；通过卷积和池化操作逐渐丰富深层特征图所包含的特征表达能力。

本实施例中，图像特征融合的方法，具体为：将ResNet中各残差块输出的不同尺寸的特征图，按照自顶向下与横向连接的方式进行融合，使深层特征图与浅层特征图具有相同水平的语义容量，得到特征金字塔。

可选的，横向连接以1×1卷积改变通道数至固定值，如可以为256；

可选的，自顶向下可以为采用最近邻插值法上采样至相同尺寸，最后以像素级相加的方式融合深层特征与浅层特征。

本实施例融合深度卷积网络和特征金字塔网络构建的预测模型，能够有效提升预测模型对于不同尺度尤其是小尺度目标果实的分割效果。

步骤3中，对于特征金字塔网络的每一层级的特征图分别进行预测，通过分类与回归两个分支，以全卷积的方法预测一个类别敏感的语义图作为果实存在的概率，以及一个正样本对应原图中心点与边框坐标的映射关系，即为生成的目标果实的预测值，方法具体为：

步骤31、按照目标果实标注框的尺度，将目标果实标注框分配到不同层级的特征图负责预测，再以收缩因子，得到该层负责预测的标注框在特征图上的正采样区域，确定特征图上每一个空间位置为正样本或者负样本；

按尺度分配具体为：可以依据目标果实标注框的面积，将目标果实标注框分配到最适合预测的特征图中负责预测；

正负样本判定具体为：记当前特征图为Pl，将其负责预测的标注框按照下采样倍数s得到Pl上的对应区域，并以收缩系数σ进行收缩，得到正采样区域Rpos，Rpos内的空间位置为正采样点，反之均为负采样点。

步骤32、对每一个正样本通过分类与边框回归分支，预测该正样本属于果实的置信度以及该正样本与真实标注框之间的正则化偏移。

可选的，如图6所示，上述步骤1-3的实现过程中可以在融合了金字塔网络的全卷积神经网络模型中实现，本实施例的目标果实检测模型为融合了金字塔网络的全卷积神经网络模型，模型结构也更为简洁，可以包括负责提取特征的骨干网络；负责融合特征的特征金字塔及负责产生预测结果的预测分支网络三部分组成；骨干网络、特征金字塔以及预测分支网络依次连接，其中，骨干网络和预测分支网络分别采用卷积神经网络。

可选的，对融合了金字塔网络的全卷积神经网络模型进行训练的方法，包括如下步骤：

(1)获取同色系背景下包含不同类型的干扰的果实图像，进行预处理，并以图像中目标果实的最小外接矩阵进行标注，得到果实图像的标注信息。

可选的，选择绿色果实并在同色系背景下拍摄图片，使采集到的图像尽可能包含不同类型的干扰以尽可以代表真实的果园环境，如图2所示。

将采集的图像统一尺寸至600×400，再以图像中目标果实的最小外接矩阵进行标注，可以借助labelme图像标注软件，按照MS COCO数据集的格式生成标注文件，方便后续生成模型的训练目标。

(2)对获取的图像数据采用深度卷积网络进行图像特征提取，并通过特征金字塔网络进行融合。

采用ResNet提取图像特征，并使用其最后三个残差块conv3，conv4，conv5的输出进行特征融合来构建特征金字塔网络，记为{C

本实施例中，特征融合的步骤：C

横向连接以1×1卷积改变通道数至固定值，如可以为256；

自顶向下即为采用最近邻插值法上采样至相同尺寸，最后以像素级相加的方式融合深层特征与浅层特征。得到最后融合后的特征金字塔{P

(3)对于特征金字塔网络的每一层级的特征图分别进行预测，通过分类与回归两个分支，以全卷积的方法生成目标果实的预测值；

该步骤与前述步骤3的方法一致。具体的，如图3所示，对{P

(4)根据步骤(1)中的标注信息(标注框)确定特征图上每一个空间位置的训练目标，步骤如下：

(4-1)尺度分配：按照目标果实图像标注信息的目标果实标注框尺寸，将目标果实标注框分配给不同层级的特征图；与前述步骤31相同。

具体的，该步骤中，为了使模型的训练更加稳定，为{P

[r

其中，控制尺度范围的超参数η依据步骤(1)中采集数据构成的数据集，依据数据集划分的验证集上的评估表现调整超参数取值。采用这种方式，不仅提升了每一层中正样本空间位置的数量，在一定程度上缓解了正负样本不平衡问题，也能够起到同时优化相邻层级特征图语义表达的效果。

依照以上特征层级分配策略预测图像，负责预测的特征图上正采样区域内所有空间位置的预测效果映射到原图上，如图4所示，包括柿子和苹果两种果实，果实的尺度不同，其将被分配到不同层级的特征图中负责预测，图中颜色深的特征图层为被分配的区域。

(4-2)正负样本判定：以下采样倍数与收缩系数划分正采样区域。方法与步骤31中相同。

本实施例中，具体的，给定一个真实框G:(x

计算G’的中心点坐标(c’

再以收缩系数σ对G’收缩得到正采样区域R

训练阶段，R

(4-3)确定特征图上每一个空间位置的训练目标，包括分类与回归目标，具体可以为按照正采样点所对应的标注框信息，得到其分类目标与正则化边框偏移目标。

由于目标果实图像中目标果实的尺度变化较大，直接回归边框数值并不稳定，因此，本实施例中，采用回归预测边框与真实框之间的正则化偏移的方式来代替。首先将正样本点(x,y)通过下采样比例s

R

其中，s

(5)计算步骤(3)中目标果实的预测值与训练目标之间的损失，并通过梯度反向传播(SGD)更新网络参数，迭代训练并评估，从而得到最优模型。

本实施例中，目标果实的预测值与训练目标之间的损失包括分类损失和回归损失。

可选的，针对分类损失，由于其正样本数量相对较少，存在一定的正负样本不平衡问题，可选的，本实施例中采用Focal Loss损失函数计算损失数值。

可选的，针对回归损失，可以采用Smooth L1 Loss损失函数来进行计算。

总损失，可以如式(6)所示：

其中，

如上式(6)所示，L

实施例2

基于实施例1，本实施例提供一种同色系背景下目标果实检测系统，包括：

图像获取模块：被配置为用于获取同色系背景下目标果实的图像数据，并对图像进行预处理；

特征图提取及融合模块：被配置为用于对获取的图像数据采用深度卷积网络进行图像特征提取，并通过特征金字塔网络进行融合，获得融合后的预测特征图；

预测模块：被配置为用于对于特征金字塔网络的每一层级的特征图分别进行预测，通过分类与回归两个分支，以全卷积的方法生成目标果实的预测值。

实施例3

本实施例提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1的方法所述的步骤。

实施例4

本实施例提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1的方法所述的步骤。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。