基于密度图回归的卷积神经网络的花量统计方法、系统、设备及介质

技术领域

本发明属于计算机视觉、卷积学习等的技术领域，具体涉及一种基于密度图回归的卷积神经网络的花量统计方法、系统、设备及介质。

背景技术

随着现代农业技术智能化的发展，花朵计数成为了在精细化农业智能化生产中重要的一步。花量统计有助于果园的花期管理，为果农科学合理调节花量，确保果实产量提供参考。同时，对果树成花率的监控和产量预测有重要的意义。

尽管现在关于花量统计有较多的研究，但是依然存在一些未解决好的方法。无论是人工统计还是采用目标检测的方式对花朵进行检测，最终汇总获得花量结果的方法都无法做到精确地统计花朵花量，目前人工方法通常是果农用肉眼和经验进行大致的花量预估，而目标检测方法虽然能很准确的定位到花朵位置，但是目标检测在对于既密集又小的花上，很容易造成漏检和误检的情况，并且需要较长时间完成花朵的统计。这些使得在花量统计上效率和精度上不足。

所以，在对目标位置不是严格要求下，如何提高在花量统计的准确性和降低检测时间是有待解决的问题。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于密度图回归的卷积神经网络的花量统计方法、系统、设备及介质，其可以对花朵进行精准计数，提高农业精细化作业，降低人力成本，实现花量的快速计数，为花期管理和产量预测提供信息。

本发明的第一个目的在于提供一种基于密度图回归的卷积神经网络的花量统计方法。

本发明的第二个目的在于提供一种基于密度图回归的卷积神经网络的花量统计系统。

本发明的第三个目的在于提供一种计算机设备。

本发明的第四个目的在于提供一种存储介质。

本发明的第一个目的可以通过采取如下技术方案达到：

基于密度图回归的卷积神经网络的花量统计方法，包括下述步骤：

构建卷积神经网络模型；所述卷积神经网络模型采用多列以卷积-池化-卷积-池化为主要特征的卷积神经网络以生成密度图；

获取自然条件下的花期花朵图像；

根据得到的花期花朵图像制作标签，构建数据集，划分训练集、验证集和测试集；

利用训练集，训练卷积神经网络模型；

每完成一次训练，在验证集中对当前卷积神经网络模型进行基于密度图回归的验证，对验证集中模型预测的花量与实际花量进行对比，根据验证集的结果看是否需要终止模型训练，更改超参数之后再训练，最终选取在验证集中的最优的卷积神经网络模型作为最终的花量统计模型，并在测试集中对模型进行评估，获得模型的最终效果；

利用最终的花量统计模型生成密度图，计算花量统计结果。

作为优选的技术方案，所述卷积神经网络模型，具体包括：

采用多列卷积神经网络的结构，包括短、中、长三种分支子网络结构，其中，

短分支子网络结构为：卷积-池化-卷积-池化-卷积，并选用9×9的卷积核；

中分支子网络结构为：卷积-池化-卷积-池化-卷积-卷积，并选用5×5的卷积核；

长分支子网络结构为：卷积-池化-卷积-池化-卷积-卷积-卷积，并选用3×3的卷积核；

池化层采用2×2最大池化层。

作为优选的技术方案，所述获取自然状态条件下的花期花朵图像，具体包括如下步骤：

采用高清摄像头对处于花期的树进行拍摄，选取不同方位、不同光照、不同冠层、不同天气的图像，剔除肉眼无法清楚识别花朵的图像。

作为优选的技术方案，所述根据得到的花朵图像制作标签，构建数据集，划分训练集、验证集和测试集，具体包括：

对筛选后的图像进行数据增强，包括随机裁剪、平移、翻转、旋转以及亮度变化；

对花朵各种形态以及遮挡状态进行标注；

根据获得到的标注点信息，采用固定方差二维高斯核算法生成花朵密度图。

作为优选的技术方案，所述在验证集中对当前卷积神经网络模型进行基于密度图回归的验证，根据验证集的结果调整当前卷积神经网络模型的参数，选取最优的卷积神经网络模型作为花量统计模型，具体包括：

利用验证集对当前卷积神经网络模型进行验证，所述密度图回归采用均方差损失函数，使用欧氏距离测量真实值与预测密度之间的差异，具体表示为：

其中，θ是网络中一组可学习参数；N是训练图像的数量；x

不断迭代优化，修改动量、学习率，直至模型收敛，损失函数不再下降，达到性能要求；

计算多个不同超参数下的验证集的结果，选出最佳的超参数下的卷积神经网络模型作为最终的花量统计模型。

作为优选的技术方案，所述在测试集中对模型进行评估具体如下式：

其中，M是测试图像的数量，z

作为优选的技术方案，所述利用最终的花量统计模型生成密度图，计算花量统计结果，具体包括：

将目标图像输入到最终的花量统计模型，依次经过多个卷积核大小不同的分支子网络，将分支子网络输出的特征图进行融合，在经过一轮1×1卷积，得到最终密度图，对最终密度图进行积分，其结果即为该目标图像花量的总数。

本发明的第二个目的可以通过采取如下技术方案达到：

基于密度图回归的卷积神经网络的花量统计系统，应用于所述的基于密度图回归的卷积神经网络的花量统计方法，包括构建单元、采集单元、训练单元、优化单元、选择单元以及计数单元；

所述构建单元用于构建卷积神经网络模型；所述卷积神经网络模型采用多列以卷积-池化-卷积-池化为主要特征的卷积神经网络以生成密度图；

所述采集单元用于获取自然条件下的花期花朵图像；

所述制作单元用于根据获得的花期图像，构建数据集，划分训练集、验证集和测试集；

所述训练单元利用训练集，训练卷积神经网络模型；

所述优化单元在每完成一次训练后，在验证集中对当前卷积神经网络模型进行基于密度图回归的验证，根据验证结果调整当前卷积神经网络的参数；

所述选择单元用于通过在验证集中的评估结果，选取最优的卷积神经网络模型作为花量统计模型；

所述计数单元利用最终的花量统计模型生成密度图，计算花量统计结果。

本发明的第三个目的可以通过采取如下技术方案达到：

一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器从存储器加载所存储的程序并执行时，实现所述的基于密度图回归的卷积神经网络的花量统计方法。

本发明的第四个目的可以通过采取如下技术方案达到：

一种计算机可读存储介质，存储有程序，所述程序被处理器执行时，实现所述的基于密度图回归的卷积神经网络的花量统计方法。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明采用了一种新的针对花小而量多的基于密度图的花量统计方法，而非采用传统人工计数、基于颜色阈值、目标检测、特殊传感器而实现对花量进行估测，实现快速准确统计花量。

2、本发明使用不同大小的卷积核的子网络用于特征的提取，每列的子网络通过学习以适应花朵分辨率大小尺度不同的情况，使得模型在花期不同形态的花量统计下更加具鲁棒性，以获得更好的计数结果。

3、本发明相比于现有的花朵检测统计计数提升了模型在计数高密度花量时的精度，同时相比目标检测方法，该技术不需要精确的边界框大小和精准的边界框位置，提升了模型的专一性，输出更快的密度图和计数结果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1是本发明实施例1的基于密度图回归的卷积神经网络花量统计方法的流程图；

图2是本发明实施例1的卷积神经网络结构图；

图3是本发明实施例1的数据标注示意图；

图4是本发明实施例2的基于密度图回归的卷积神经网络花量统计系统的结构框图

图5是本发明实施例3的计算机设备的结构框图；

图6是本发明实施例4的存储介质的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例1

如图1所示，本实施例提供了一种基于密度图回归的卷积神经网络花量统计方法，该方法包括以下步骤：

S101、构建卷积神经网络模型，所述卷积神经网络模型采用多列以卷积-池化-卷积-池化为主要特征的卷积神经网络以生成密度图；

进一步的，所述卷积神经网络模型的结构如图2所示，每个子网络有不同大小的卷积核以适应更多不同形态尺度的花朵。本实施例的卷积神经网络采用三个并行的分支网络，每个子网络的随着卷积核大小的减小，网络越来越深，每个网络的前端基本采用卷积-池化-卷积-池化的结构，即：

1)短分支子网络结构为：卷积-池化-卷积-池化-卷积，并选用9×9的卷积核；

2)中分支子网络结构为：卷积-池化-卷积-池化-卷积-卷积，并选用5×5的卷积核；

3)长分支子网络结构为：卷积-池化-卷积-池化-卷积-卷积-卷积，并选用3×3的卷积核；

经过两次2×2的池化Relu激活函数，输出的分辨率降低为原来的1/4，前端的卷积核大小分别采用9×9、5×5和3×3。后端网络则是沿用前端网络的卷积核大小，每列采用不同数量的卷积核加深网络，可以提取更多深层次的图像特征；最终将所有的子网络的特征图进行融合，最后采用尺寸为1×1的卷积核，将融合后的特征图映射到密度图。

S102、获取自然条件下的花期花朵图像；

进一步的，通过RGB相机采集自然条件下花期花朵的图片，选取不同方位、不同光照、不同冠层、不同天气的图像，剔除肉眼无法清楚识别花朵的图像。然后根据图像清晰度，从原来的6000x4000像素的图像中随机裁剪出多幅1024x768像素的图像。

S103、根据得到的花朵图像制作标签，构建数据集，划分训练集、验证集和测试集，具体如下：

S1031、在不受约束的场景中，由于需要手工标记每个花的位置，成像环境变化较大，计数和标记任务繁重。为了使标记数据多样化，采用数据增强的方式，其中包括随机平移，随机剪切，翻转(水平和垂直)和旋转，最终获得可用于标注的图像。

S1032、处于自然生长状态的花朵在图像中会呈现出不同的形态。因此，标记原则主要集中花朵的整个中心形态，如图3所示。无论花是完整的还是被遮挡的，本实施例主要标记可以看清的花朵的中心。

S1033、本实施例较佳实施方式中，所述花朵密度标签的获取方法包括通过图像的人头标注与高斯核卷积获得。在花朵密度图的生成中以固定方差的二维高斯分布作为表示，有利于按照花朵的坐标在图像中进行叠加。这种采用固定高斯核可以简单地模糊每个花朵的标注点，不需要得到花朵的精确位置，使得网络更加容易学习，即：

F(x)＝H(x)*G

其中，每朵花的位置为x

S1034、本实例将300对数据作为训练集、182对数据作为验证集、182对数据作为测试集，所述数据对包括原始图像和对应的花朵密度图。

S104、利用训练集，训练神经网络模型；

S105、每完成一次训练，在验证集中对当前卷积神经网络模型进行基于密度图回归的验证，根据验证结果调整当前卷积神经网络的参数，选取最优的卷积神经网络模型作为最终的花量统计模型，密度回归是将标注好的图像(标注时每朵花都会被标注一个点，一个图像里面的点相加就是这张图像的花量)进行高斯模糊，得到密度图，密度图的每个像素值相加就是花量。模型的最终目的就是获得一个可以将输入图像输入直接得到密度图的最佳的模型。

上述步骤S105具体为：

S1051、利用验证集对当前卷积神经网络模型进行验证，所述密度图回归采用均方差损失函数，使用欧氏距离测量真实值与预测密度之间的差异，具体表示为：

其中，θ是网络中一组可学习参数；N是训练图像的数量；x

S1052、不断迭代优化，修改动量、学习率，直至模型收敛，损失函数不再下降，达到性能要求；

S1053、计算多个不同超参数下的验证集的结果，选出最佳的超参数下的卷积神经网络模型作为最终的花量统计模型。

S106、在测试集中对模型进行评估，如下式：

其中，M是测试图像的数量，z

可以理解的是，评估测试集的作用是测试集用来估计学习过程中模型预测的结果与实际上的结果的误差，测试集不能参与到模型的选择中，包括超参数的确认。因此，加入验证集，使用多个不同的超参数进行训练，训练时候模型慢慢收敛，损失函数稳定。不同超参数产生不同的模型，在验证集中寻找最佳模型的一组。最终最优测试集。“模型收敛，损失函数不再下降，达到性能要求”这是在训练过程中随着训练，损失函数收敛；“根据验证结果调整当前卷积神经网络的参数，选取最优的卷积神经网络模型作为花量统计模型”这是验证集的作用：评估模型效果(是否过拟合、收敛情况)、调整超参数(采用多个超参数训练，获得多组模型比较选最优)。

S107、利用最终的花量统计模型生成密度图，计算花量统计结果，具体为：

将目标图像输入到最终的花量统计模型，依次经过多个卷积核大小不同的分支子网络，将分支子网络输出的特征图进行融合，在经过一轮1×1卷积，得到最终密度图，对最终密度图进行积分，其结果即为该目标图像花量的总数。

实施例2

如图4所示，在本申请的实施例2中，提供了一种基于密度图回归的卷积神经网络花量统计系统，包括构建单元、采集单元、训练单元、优化单元、选择单元以及计数单元；

所述构建单元用于构建卷积神经网络模型；所述卷积神经网络模型采用多列以卷积-池化-卷积-池化为主要特征的卷积神经网络以生成密度图；

所述采集单元用于获取自然条件下的花期花朵图像；

所述制作单元用于根据获得的花期图像，构建数据集，划分训练集、验证集和测试集；

所述训练单元利用训练集，训练卷积神经网络模型；

所述优化单元在每完成一次训练后，在验证集中对当前卷积神经网络模型进行基于密度图回归的验证，根据验证结果调整当前卷积神经网络的参数；

所述选择单元用于选取最优的卷积神经网络模型作为花量统计模型；

所述计数单元利用最终的花量统计模型生成密度图，计算花量统计结果。

在此需要说明的是，上述实施例提供的系统仅以上述各功能单元的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能单元或模块完成，即将内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能，该系统是应用于上述实施例的基于密度图回归的卷积神经网络花量统计方法。

实施例3

如图5所示，在本申请的实施例3中，提供了一种计算机设备，该计算机设备可以为计算机，其通过系统总线501连接的处理器502、存储器、输入装置503、显示器504和网络接口505，该处理器用于提供计算和控制能力，该存储器包括非易失性存储介质506和内存储器507，该非易失性存储介质506存储有操作系统、计算机程序和数据库，该内存储器507为非易失性存储介质中的操作系统和计算机程序的运行提供环境，处理器502执行存储器存储的计算机程序时，实现上述实施例1的基于密度图回归的卷积神经网络花量统计方法，具体如下：

构建卷积神经网络模型；所述卷积神经网络模型采用多列以卷积-池化-卷积-池化为主要特征的卷积神经网络以生成密度图；

获取自然条件下的花期花朵图像；

根据得到的花期花朵图像制作标签，构建数据集，划分训练集、验证集和测试集；

利用训练集，训练卷积神经网络模型；

每完成一次训练，在验证集中对当前卷积神经网络模型进行基于密度图回归的验证，对验证集中模型预测的花量与实际花量进行对比，根据验证集的结果看是否需要终止模型训练，更改超参数之后再训练，最终选取在验证集中的最优的卷积神经网络模型作为最终的花量统计模型，并在测试集中对模型进行评估，获得模型的最终效果；

利用最终的花量统计模型生成密度图，计算花量统计结果。

实施例4

如图6所示，在本申请的实施例4中，提供了一种存储介质，该存储介质为计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施例1的基于密度图回归的卷积神经网络花量统计方法，具体如下：

构建卷积神经网络模型；所述卷积神经网络模型采用多列以卷积-池化-卷积-池化为主要特征的卷积神经网络以生成密度图；

获取自然条件下的花期花朵图像；

根据得到的花期花朵图像制作标签，构建数据集，划分训练集、验证集和测试集；

利用训练集，训练卷积神经网络模型；

每完成一次训练，在验证集中对当前卷积神经网络模型进行基于密度图回归的验证，对验证集中模型预测的花量与实际花量进行对比，根据验证集的结果看是否需要终止模型训练，更改超参数之后再训练，最终选取在验证集中的最优的卷积神经网络模型作为最终的花量统计模型，并在测试集中对模型进行评估，获得模型的最终效果；

利用最终的花量统计模型生成密度图，计算花量统计结果。

需要说明的是，本申请的实施例4的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。