一种能够缓和表达瓶颈的目标果实检测方法及系统

技术领域

本发明属于智慧农业领域，尤其涉及一种能够缓和表达瓶颈的目标果实检测方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

随着我国综合国力的不断增强，人们对美好生活的追求也更高了。人工智能的出现不仅促进了科技水平的高速发展，也明显提高了人们的生活水平，越来越多地应用于制造工业、智慧农业、生物医学等领域。为了使智慧农业更加稳健地发展，相关科研人员不断进行探索，在目标检测、语义分割等领域提出了很多先进的方法和不断更新的模型，并付诸实施将其服务于农业领域，收获了巨大的优秀成果。当机器人走进实际的果园进行果实采摘和产量预测时，对目标的识别与定位就显得非常关键，因此，对于目标检测的研究层出不穷。

真实的果园环境是非常复杂的，采集到的果实图像存在各种各样的干扰，包括多光照(顺光、逆光、侧光)、重叠遮挡、露水、阴影等因素，以及当目标果实的颜色和背景枝叶颜色相近时，可称之为同色系果实，则需要舍弃单纯地依靠颜色来进行识别或分割的方法。对目标进行检测的方法大部分都需要来自锚框或者区域建议的超参数，增加了计算成本和运行空间。另外，当骨干网络对整幅图像进行特征提取时，由于存在表达瓶颈，特征提取的效果或多或少地受到限制，对模型性能有影响。

发明内容

为了解决上述背景技术中存在的技术问题，本发明提供一种能够缓和表达瓶颈的目标果实检测方法及系统，其能够减轻表达瓶颈，对于不同设置的鲁棒性强，泛化性好，没有过多的超参数，在提高检测精度的同时也没有增加计算成本，能够精准高效地对目标进行识别检测。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供一种能够缓和表达瓶颈的目标果实检测方法。

一种能够缓和表达瓶颈的目标果实检测方法，包括：

建立训练数据集：获取目标图像，并进行预处理，得到训练数据集；

目标果实检测模型的构建：以轻量级网络ReXNet和FPN特征网络作为特征提取网络，得到不同尺度大小的特征图；FPN特征网络的输出连接fovea头部预测网络，根据ATSS自适应样本选择法得到的正样本区域，将每一个正样本通过fovea头部预测网络，得到目标类别和边界框的预测；

模型训练：采用训练数据集对构建的目标果实检测模型进行训练，调整参数直至目标果实检测模型收敛，得到训练完的目标果实检测模型；

目标检测：利用训练后的目标果实检测模型，依据待检测的目标图像，得到目标果实检测结果。

进一步的，建立训练数据集包括：对获取的目标图像进行Mosaic数据增强，然后采用Labelme标注软件对目标果实进行标注，获得训练数据集。

进一步的，将训练数据集中的目标图像输入轻量级网络ReXNet，对目标图像进行特征提取，得到特征图；将所述特征图输入FPN特征网络，对特征图进行高层丰富语义信息和低层丰富位置信息的特征融合，得到不同尺度大小的特征图。将不同尺度大小的特征图输入fovea头部预测网络，根据ATSS自适应样本选择法得到的正样本区域，将每一个正样本通过分类与边界框回归分支，得到其属于果实的置信度以及其与真实框之间的正则化边框偏移，进行目标类别和边界框的预测。

进一步的，采用平滑L1损失函数计算正样本预测的正则化边框偏移与回归目标之间的损失。通过梯度反向传播，对目标果实检测模型进行迭代，采用遗传算法选择最优超参数，得到最优目标果实检测模型，完成训练过程。

本发明的第二个方面提供一种能够缓和表达瓶颈的目标果实检测系统。

一种能够缓和表达瓶颈的目标果实检测系统，包括：

建立训练数据集模块，其被配置为：获取目标图像，并进行预处理，得到训练数据集；

目标果实检测模型构建模块，其被配置为：以轻量级网络ReXNet和FPN特征网络作为特征提取网络，得到不同尺度大小的特征图；FPN特征网络的输出连接fovea头部预测网络，根据ATSS自适应样本选择法得到的正样本区域，将每一个正样本通过fovea头部预测网络，得到目标类别和边界框的预测；

模型训练模块，其被配置为：采用训练数据集对构建的目标果实检测模型进行训练，调整参数直至目标果实检测模型收敛，得到训练完的目标果实检测模型；

目标检测模块，其被配置为：利用训练后的目标果实检测模型，依据待检测的目标图像，得到目标果实检测结果。

本发明的第三个方面提供一种计算机可读存储介质。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一个方面所述的一种能够缓和表达瓶颈的目标果实检测方法中的步骤。

本发明的第四个方面提供一种计算机设备。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一个方面所述的一种能够缓和表达瓶颈的目标果实检测方法中的步骤。

与现有技术相比，本发明的有益效果是：

(1)为了使人工智能更好地服务于农业劳动、快捷有效地对目标果实进行识别和摘取等操作，本发明提出了一种能够缓和表达瓶颈的目标果实检测方法，鲁棒性强，泛化性好，没有多余的超参数，在提高检测精度的同时没有增加计算成本，能够精准高效地对目标进行识别检测，适用于果实产量预测、采摘等应用，满足机器人工作的需求。

(2)本发明是一种轻量级网络，运行速度快，方便嵌入到移动式设备中，例如机器人视觉系统，具有强大的特征提取功能，能有效缓和表达瓶颈，提升模型检测性能，保证机器人能够更快更准地采摘。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1(a)是本发明实施例中获取的雨后果实图像；

图1(b)是本发明实施例中获取的枝叶遮挡果实图像；

图1(c)是本发明实施例中获取的果实重叠图像；

图1(d)是本发明实施例中获取的侧光果实图像；

图1(e)是本发明实施例中获取的逆光果实图像；

图1(f)是本发明实施例中获取的顺光果实图像；

图1(g)是本发明实施例中获取的反光果实图像；

图1(h)是本发明实施例中获取的夜间果实图像；

图1(i)是本发明实施例中获取的远景密集图像；

图2是本发明实施例中模型检测目标整体流程图；

图3是本发明实施例中预测结果阶段结构图；

图4是本发明实施例中ATSS自适应选择训练样本算法流程图；

图5是本发明实施例中输入图像正样本区域图；

图6是本发明实施例中模型目标检测效果图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一

如图2所示，本实施例提供了一种能够缓和表达瓶颈的目标果实检测方法，本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器和系统，并通过终端和服务器的交互实现。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务器、云通信、中间件服务、域名服务、安全服务CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。本实施例中，该方法包括以下步骤：

S101建立训练数据集：获取目标图像，并进行预处理，得到训练数据集；

具体的，获取真实场景下的存在各种干扰因素的目标RGB图像，然后对图像进行Mosaic数据增强，以四张训练图片混合成一张的方式来扩充数据，并使用Labelme标注软件对目标果实进行标注，制作好数据集。

示例的：

S1011：使用分辨率大小为6000×4000的单反相机，在存在各种真实干扰的情况下采集目标图像的RGB图像如图1(a)-如图1(i)，然后将图像大小处理为600×400。

S1012：对数据进行预处理，去除特征模糊等无实用价值的数据，并对剩余图像使用Mosaic方法进行数据增强，其方法是将四张训练图片混合成一张，来扩充数据。

S1013：使用labelme软件标注出图像中肉眼可见的目标果实的轮廓。

S1014：制作数据集。

S102目标果实检测模型的构建：以轻量级网络ReXNet和FPN特征网络作为特征提取网络，得到不同尺度大小的特征图；FPN特征网络的输出连接fovea头部预测网络，根据ATSS自适应样本选择法得到的正样本区域，将每一个正样本通过fovea头部预测网络，得到目标类别和边界框的预测；

具体的，关于提取特征并融合。将ReXNet-2.2x模型作为骨干网络，可以减轻卷积神经网络表达瓶颈，对目标图像进行特征提取，提高检测精度且不增加任何计算成本，提升模型性能。将提取到的特征图输入到FPN特征网络当中，进行高层丰富语义信息和低层丰富位置信息的特征融合，丰富语义信息，以此来提升模型对不同尺度目标果实的分割效果。

关于自适应选择正负样本。根据目标的统计学特征，使用自适应训练样本选择法ATSS来自动地选择正负样本区域，对候选正样本进行筛选，并得到最终正样本区域。如图4所示，该阶段主要分为三个步骤：

S1021：选取候选正样本。根据目标的统计学特征，对于图像的每个真实框g，基于L2距离公式，在L层金字塔每一层上选择中心离g的中心最近的k个锚框，真实框g将会有k×L个候选正样本。

S1022：计算交并比IoU。对于每一个候选对象，计算它们和真实框之间的交并比作为D

S1023：得到最终正样本区域。将交并比均值与标准差之和作为真实框的IoU阈值t

关于预测网络。如图3所示，预测网络依附在每一个金字塔层上，将FPN输出的融合结果输入到fovea头部预测网络中，根据ATSS自适应样本选择法得到的正样本区域，将每一个正样本通过分类与边界框回归分支，得到其属于果实的置信度以及其与真实框之间的正则化偏移，进行目标类别和边界框的预测，如图5所示。

S103模型训练：采用训练数据集对构建的目标果实检测模型进行训练，调整参数直至目标果实检测模型收敛，得到训练完的目标果实检测模型；

使用平滑L1损失函数计算正样本预测的正则化边框偏移与回归目标之间的损失。通过梯度反向传播，对模型进行迭代，使用ReLU6激活函数使得梯度更有效地传播，同时又不会造成太多额外的计算代价。使用遗传算法选择最优超参数，得到最优模型。

示例的：

S1031：计算损失。使用平滑L1损失函数计算正样本预测的正则化边框偏移与回归目标之间的损失。

S1032：更新参数。通过梯度反向传播，更新参数，对模型进行迭代，使用ReLU6激活函数使得梯度更有效地传播，同时又不会造成太多额外的计算代价。

S1033：选择最优超参数。使用遗传算法选择最优超参数，得到最优模型。

S104目标检测：利用训练后的目标果实检测模型，依据待检测的目标图像，得到目标果实检测结果。

其中，目标果实检测结果包括目标果实的类别。

示例的，以绿色目标果实为例，得到模型检测效果如图6所示。

实施例二

本实施例提供了一种能够缓和表达瓶颈的目标果实检测系统。

一种能够缓和表达瓶颈的目标果实检测系统，包括：

建立训练数据集模块，其被配置为：获取目标图像，并进行预处理，得到训练数据集；

目标果实检测模型构建模块，其被配置为：以轻量级网络ReXNet和FPN特征网络作为特征提取网络，得到不同尺度大小的特征图；FPN特征网络的输出连接fovea头部预测网络，根据ATSS自适应样本选择法得到的正样本区域，将每一个正样本通过fovea头部预测网络，得到目标类别和边界框的预测；

模型训练模块，其被配置为：采用训练数据集对构建的目标果实检测模型进行训练，调整参数直至目标果实检测模型收敛，得到训练完的目标果实检测模型；

目标检测模块，其被配置为：利用训练后的目标果实检测模型，依据待检测的目标图像，得到目标果实检测结果。

此处需要说明的是，上述建立训练数据集模块、目标果实检测模型构建模块、模型训练模块和目标检测模块对应于实施例一中的步骤S101至S104，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。

实施例三

本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的一种能够缓和表达瓶颈的目标果实检测方法中的步骤。

实施例四

本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的一种能够缓和表达瓶颈的目标果实检测方法中的步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。