一种基于无人机的稻穗检测计数与水稻估产方法

技术领域

本发明属于稻穗检测和水稻估产领域，具体涉及一种基于无人机的稻穗检测计数与水稻估产方法。

背景技术

水稻种植属于数量密集场景，具有以下特点：种植密度高、稻穗排列密集、稻穗体积小。另外，光线变化明显，图像受影响大。上述因素都给基于图像的稻穗检测工作带来困难。早期基于手持相机的稻穗检测，受拍摄高度和拍摄角度的限制，拍摄所得稻穗图片遮挡严重，其稻穗检测结果难以直接用于田间产量估算。而无人机拍摄所得的稻穗俯视图，释放了相机拍摄角度和高度的限制。

另一方面，当今农业中水稻估产工作的开展形式主要为：传统人工田间测量、气象方法和利用卫星遥感技术对水稻产量进行预测。劳动力密集型，耗时长，田间情况复杂，不易测量，在大面积使用性较差；气象方法受仪器设备限制且大面积估算产量的抽样和观测仍然存在困难；遥感技术容易受多变的天气田间和低分辨率的影响而导致预测结果波动大、鲁棒性和稳健性较弱。

发明内容

本发明为了克服现有技术存在的不足，提供了一种基于无人机的稻穗检测计数与水稻估产方法，所述稻穗检测计数与水稻估产方法通过无人机拍摄的图像信息和无人机的飞行参数，可实现田间稻穗的精准检测与高效估产。

本发明解决上述技术问题的技术方案是：

一种基于无人机的稻穗检测计数与水稻估产方法，包括以下步骤：

S1：根据无人机拍摄的稻穗正射影像的视频和图像，以此构建水稻稻穗图像数据集；

S2：根据水稻稻穗图像数据集，构建旋转稻穗检测计数模型；

S3：对旋转稻穗检测计数模型的训练效果进行评估，确定用于田间水稻估产的旋转稻穗检测计数模型的最终结构和检测权重；

S4：将旋转稻穗检测计数模型搭载在无人机飞行控制模块中，根据无人机飞行时的稻穗检测计数结果，融合水稻大田遍历的实时飞行参数，构建可预测的大田水稻穗数与无人机飞行参数模型；

S5：采集并统计大田水稻的稻穗的质量信息，根据采样稻穗的质量信息矩阵和大田水稻穗数与无人机飞行参数模型，建立基于无人机RGB图像和无人机飞行参数的水稻估产模型，并实现对大田水稻产量进行预测。

优选的，在步骤S1中，所述的水稻稻穗图像数据集的构建方法为：

S11：选取多个水稻品种的齐穗期的稻穗作为水稻稻穗图像数据集的拍摄对象；

S12：采取无人机手动飞行和航线任务飞行两种模式下获取稻穗拍摄正射影像的RGB视频和RGB图像的原始数据；

S13：对稻穗图像的原始数据进行标注和预处理；

S14：构建旋转稻穗检测计数模型的稻穗图像数据集：将标注和预处理后的水稻稻穗图像数据集按训练集：验证集：测试集等于a：b：c的比例，随机拆分训练集、验证集和测试集，得到最终的水稻稻穗图像数据集。

优选的，在步骤S13中，对正射影像的视频和图像按预设的视频帧间隔拆解图片帧以得到高分辨率的稻穗图像，将稻穗图像与无人机直接获取的图像共同作为数据集；采用Labelme进行图像多边形标注，并通过标注信息预处理将每张高分辨率的稻穗图像中的多边形稻穗标记框转化为最小外接矩形标记框，输出每个最小外接矩形标记框的位置信息和角度信息，作为水稻稻穗图像数据集的标签文件；对所得到的稻穗图像和图像标注信息进行图像数据增强，完成数据集扩充。

优选的，在步骤S2中，所述旋转稻穗检测计数模型的构建方法为：

S21：以YOLOv5检测网络为基线，引入能够利用上下文特征的轻量级注意力机制以及引入同时整合稻穗空间特征和通道特征的注意力机制；

S22：对YOLOv5检测网络中的目标检测器进行改进，引入圆形标签平滑角度分类信息处理方法至稻穗目标检测框中；

S23：对YOLOv5检测网络中的颈部网络卷积层进行改进，以标准卷积和深度可分离卷积重构新卷积组。

优选的，在步骤S21中，所述的轻量级注意力机制的引入方法为：

搭建可利用上下文特征信息的轻量级注意力机制算法，将特征图的信息聚合后再重新分布到局部特征中，以此来调整YOLOv5检测网络的网络响应，包括特征图的特征聚合操作和特征图的激活操作；

引入同时整合稻穗空间特征和通道特征的注意力机制的步骤为：

对输入的特征图从通道维度上进行分组，得到多个稻穗子特征图后，对每一个稻穗子特征图同时从特征图的通道维度和空间维度进行函数卷积操作，将得到的稻穗子特征图进行汇集，最后洗牌重组稻穗特征图，对每一组稻穗子特征图进行融合输出。

优选的，在步骤S23中，所述的新卷积组由标准卷积和深度可分离卷积构成；生成新的稻穗特征图进行拼接后，通过洗牌重组将深度可分离卷积生成的稻穗特征图镶嵌到标准卷积生成的稻穗特征图的各个部分中。

优选的，在步骤S3中，对旋转稻穗检测计数模型的训练效果进行评估并确定用于田间水稻估产的旋转稻穗检测计数模型的最终结构和检测权重的方法为：

将旋转稻穗检测计数模型进行消融试验结果对比、以及将旋转稻穗检测计数模型与YOLOv5、YOLOv3、Faster-RCNN三个模型的验证精度和检测精度对比；采用K折交叉验证的方式，将所有数据集随机分成K个相同大小的子集，选择其中一个子集作为验证集、另选其中一个作为测试集、剩下的K-2个子集作为训练集，使用训练集来训练旋转稻穗检测计数模型，并用验证集来评估旋转稻穗检测计数模型的训练效果，再用检测集合来检验旋转稻穗检测计数模型的检测效果；重复上述步骤K次，每次选择不同的子集作为验证集、测试集，其余的K-2作为训练集，将K次验证结果的平均值作为旋转稻穗检测计数模型的性能评估效果，以训练效果最优的权重文件作为旋转稻穗检测计数模型的检测权重。

优选的，在步骤S4中，根据无人机飞行的稻穗检测计数结果，融合水稻大田遍历的实时飞行参数，具体方法为：

A1：将旋转稻穗检测计数模型搭载于无人机飞行控制模块的处理模块中，并接入无人机的摄像头；

A2：采集估产田块区域的位置信息，将该位置信息输入到无人机飞行控制模块内，通过处理模块规划无人机的飞行航线，其中，所述飞行航线要求能够完全遍历估产区域且航线的旁向重叠率为0，以保证无人机的每一条飞行航线刚好没有重叠地衔接遍历；

A3：无人机按照规划好的飞行航线进行飞行作业，无人机进入飞行航线并开启稻穗正射影像的录制模式，直到估产田块遍历完毕，得到估产田块的稻穗影像录制数据和无人机遍历田块的飞行记录数据；

A4：遍历估产田块的无人机飞行记录数据和稻穗正射影像录制数据，通过时间戳和无人机相关操作标志位来匹配对应，得到飞行过程中的稻穗图像信息和无人机参数的时间戳匹配数据、每个时间戳的稻穗图片帧中检测到的稻穗数量，与稻穗图片帧匹配的无人机飞行速度、高度、实际地理位置经纬坐标和无人机摄像头的操作记录参数。

优选的，在步骤S4中，所述的可预测的大田水稻穗数与无人机飞行参数模型的构建方法为：

B1：对所得的稻穗图像信息和无人机飞行参数数据按比例随机划分为两部分作交叉验证，其中一部分数据为建模数据集；剩下的另一部分验证数据集；

B2：基于所得到的稻穗图像信息和无人机参数建模数据集，根据时间戳匹配数据后建立大田水稻穗数与无人机飞行参数模型，以每时刻的无人机飞行速度（v）、飞行高度（h）作为自变量输入，以每时刻无人机稻穗视频图片帧检测到的画面中稻穗数量（N）为因变量，得到可预测的大田水稻穗数与无人机飞行参数模型的矩阵计算表达式为：

；

式中：H为无人机遍历水稻估产区域时实时高度的参数矩阵；V为无人机遍历水稻估产区域时实时速度的参数矩阵；N为无人机遍历水稻估产区域时实时获取的稻穗图片帧的检测稻穗数量参数矩阵；

B3：使用R²作为评估所建立的大田水稻穗数与无人机飞行参数模型的指标，其中，R²越大，则表明所建立的大田水稻穗数与无人机飞行参数模型越好；

B4：对所建立大田水稻穗数与无人机飞行参数模型进行稻穗数量反演；将验证集中的无人机遍历水稻估产区域的实时飞行速度和飞行高度输入所建立的大田水稻穗数与无人机飞行参数模型中，获得预测的水稻估产区域的稻穗总数。

优选的，在步骤S5中，采集并统计大田水稻的稻穗的质量信息，根据采样稻穗的质量信息矩阵和大田水稻穗数与无人机飞行参数模型，对大田水稻产量进行预测，具体方法为：

S51：采集并统计大田水稻的稻穗质量信息：对水稻估产区域进行若干株稻穗采样，对采样的稻穗晾晒至恒定质量后，对样本进行稻穗考种，统计稻穗的质量得到稻穗质量矩阵M；

S52：所得到的稻穗质量矩阵M作为变量，融合到建立的大田水稻穗数与无人机飞行参数模型，得到水稻估产区域的预测水稻产量，其水稻产量预测公式为：

；

式中：W为所统计的稻穗质量矩阵；H为无人机遍历水稻估产区域时实时高度的参数矩阵，V为无人机遍历水稻估产区域时实时速度的参数矩阵；其中，M与水稻品种、施肥相对量相关，S为水稻品种参数矩阵，F为水稻施肥量差异矩阵，A为单个水稻品种的稻穗采样测量质量矩阵。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明的基于无人机的稻穗检测计数与水稻估产方法所构建的旋转稻穗检测模型可以解决数量密集场景的田间稻穗检测中的稻穗尺寸小、排列密集、严重遮挡和重叠造成的稻穗检测精度不高的问题，从而有利于提升稻穗检测精度。

2、本发明的基于无人机的稻穗检测计数与水稻估产方法融合了无人机飞行参数，通过时间戳的匹配方式将旋转稻穗检测计数结果与无人机实时飞行参数融合，建立了田间检测稻穗数量与无人机飞行参数模型，为田间水稻估产工作提供了新的关系范式。

3、本发明的基于无人机的稻穗检测计数与水稻估产方法结合稻穗的质量参数矩阵，得到大田水稻产量结果的预测估算，对精准农业和智慧农业在水稻种植业的技术发展和作业准确率以及作业效率的提升有较大的促进意义。

4、本发明的基于无人机的稻穗检测计数与水稻估产方法基于无人机低空航空图像对稻穗进行旋转检测，可以解决遥感技术在水稻估产的低分辨率问题，同时融合无人机飞行参数遍历稻田，提升水稻估产的效率，对精准农业中水稻产业智能化的技术发展起到推动作用。

附图说明

图1为本发明的基于无人机的稻穗检测计数与水稻估产方法的流程图。

图2为旋转稻穗检测计数模型的消融试验的结果示意图。

图3为旋转稻穗检测计数模型的检测计数效果示意图，其中，图3（A）为检测效果图，图3（B）为计数效果图。

图4为融合无人机RGB图像和无人机飞行参数的田间水稻估产流程示意图。

图5为旋转稻穗检测计数模型融合无人机飞行参数的田间估产的验证结果图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

参见图1-图5，本发明的基于无人机的稻穗检测计数与水稻估产方法，包括以下步骤：

S1：根据无人机拍摄的稻穗正射影像（例如RGB视频或RGB图像），构建水稻稻穗图像数据集；具体包括以下步骤：

S11：选取多个水稻品种的齐穗期的稻穗作为水稻稻穗数据集的拍摄对象；

S12：采取无人机手动飞行和航线任务飞行两种模式下来获取稻穗拍摄正射影像的RGB视频和RGB图像的原始数据；

S13：对稻穗图像原始数据标注和预处理：

具体为：对正射影像的视频和图像按预设的视频帧间隔拆解图片帧，得到高分辨率的稻穗图像，将稻穗图像与无人机直接获取的图像共同作为数据集；采用Labelme进行图像多边形标注，并通过标注信息预处理将每张高分辨率图像中的多边形稻穗标记框转化为最小外接矩形标记框，输出每个最小外接矩形标记框的位置信息和角度信息，作为水稻稻穗图像数据集的标签文件；最后对所得稻穗图像和图像标注信息进行图像数据增强，扩充数据集以避免旋转稻穗检测计数模型的过拟合和提升旋转稻穗检测计数模型的泛化能力；

其中，图像标注信息转换为最小外接矩形框的算法步骤如下：

（1）输入JSON文件路径、稻穗图像路径、结果TXT文件保存路径、标签名称和名称序号；

（2）遍历稻穗图像和JSON文件，以关键字信息定位稻穗原始注释信息；

（3）定义长边表示法的计算方法：判断最小外接矩形的长边，以x轴正方向为基准，逆时针旋转碰到的第一条长边的角度即为该目标最小外接矩形框的方向角度；

（4）分别调用OpenCV库中的函数来获取每个稻穗最小外接矩形的顶点坐标和根据长边表示法确定方向角度；

（5）判断所计算的最小外接矩形标记框是否超出图像范围，若是，以计算最小外界矩形框与图像边界角点作垂足形式，调整稻穗的最小外界矩形框；

（6）以一张稻穗图像为单元，接续保存该图像中所有稻穗的最小外界矩形框信息于一个对应的转换稻穗图像注释信息的TXT文档中；

（7）输出含有每个稻穗最小标注外接矩形框的顶点坐标和方向角度的TXT文件；

S14：构建旋转稻穗检测计数模型的水稻稻穗图像数据集：将标注和预处理后的水稻稻穗图像数据集按训练集：验证集：测试集等于8：1：1的比例，随机拆分训练集、验证集和测试集，得到最终的水稻稻穗图像数据集。

S2：根据水稻稻穗图像数据集；采用基于深度学习技术构建旋转稻穗检测计数模型，包括以下步骤：

S21：在YOLOv5检测网络中引入能够利用上下文特征的轻量级注意力机制以及引入同时整合稻穗空间特征和通道特征的注意力机制；

其中，可利用上下文特征的轻量级的Gather Excite注意力机制的引入方法为：

Gather Excite注意力机制构造了一种轻量级的函数，让旋转稻穗检测计数模型在网络进程中更好地利用上下文特征信息，将特征图的信息聚合后再重新分布到局部特征中，以此来调整网络响应；上述过程主要分为Gather操作和Excite操作：其中，Gather操作可以在较大的空间范围内聚合特征响应，其步骤为：首先定位目标对象的区域，然后定位感兴趣区域，从该感兴趣区域中聚集重要的稻穗特征信息，压缩次要的图像噪音信息；Excite操作可以将聚合的信息重新分布到局部特种图中，将Gather操作所聚集的稻穗特征图与原始输入图像通过激活函数进行激活操作，还原稻穗特征图尺寸；两者组合操作，最终产生和原始输入的纬度相同的新张量。

其中，Gather Excite注意力机制的算法公式为：

；

式中：x为c通道数的输入特征图；

同时整合稻穗空间特征和通道特征Shuffle 注意力机制的引入方法为：

Shuffle 注意力机制(SA)可以有效地结合空间注意力机制和通道注意力机制，用于捕获具有通道依赖和空间依赖的稻穗特征，将两种注意力机制类型的优势结合的Shuffle 注意力机制可以大大提升稻穗检测计数模型的稻穗检测效果；另外，Shuffle 注意力机制首先对输入的特征图从通道维度上进行分组，得到多个稻穗子特征图后，对每一个稻穗子特征图同时进行通道注意力和空间注意力操作，然后将得到的子特征图进行汇集，最后使用Channel Shuffle操作对每一组稻穗子特征图进行融合输出。

其中，Shuffle 注意力机制(SA)的算法公式如下：

；

式中：H和W分别是输入特征图X(X

S22：对YOLOv5检测网络中的目标检测器进行改进，引入圆形标签平滑角度分类信息至稻穗目标检测框中；

目标检测器实现过程基于如步骤S13中的稻穗边界框的定义方法来对图像中的稻穗目标进行稻穗目标框预测；其中，使用长边五参数表示法来定义稻穗检测旋转边界框，标签文件的格式为[x

进一步地，在稻穗目标检测器中引入圆形标签平滑方法，将角度的回归转化为角度分类，解决现有的角度回归中存在的角度周期性和边的交换性问题；其中，圆形标签平滑的算法实现步骤为：

（1） 输入稻穗真实边界框的角度theta；

（2） 从稻穗真是边界框加载theta；

（3） 在角度分类检测模块设定分类的角度类别数；

（4） 将theta 输入到圆形标签平滑的算法计算公式：

CSL(theta)=gaussion (theta)；

（5） 用 BCEWithLogitsLoss计算角度分类损失；

（6）结合边界框位置的五参数和角度将所得的旋转稻穗边界框可视化输出；

在上述过程中，圆形标签平滑的算法公式CSL(x)如下：

；

式中：g(theta)为高斯窗口函数，r为高斯函数的窗口半径。

S23：对YOLOv5检测网络中的颈部网络卷积层进行改进，以标准卷积和深度可分离卷积重构新卷积组，具体方法如下：

在旋转稻穗检测计数模型的颈部网络将传统的标准卷积替换新卷积组，新卷积组由标准卷积和深度可分离卷积构成，生成新的稻穗特征图进行拼接后，通过洗牌重组将深度可分离卷积生成的稻穗特征图镶嵌到标准卷积生成的稻穗特征图的各个部分中，整个过程可以较高程度地保留稻穗特征图通道中的隐藏连接，有效避免稻穗特征在深层网络中丢失，提升稻穗检测网络的效果。

所述卷积组重构步骤如下：输入参数为：输入特征的通道数c1、输出特征的通道数c2、卷积核的大小k、卷积核的步长s、分组卷积参数g和是否使用激活函数；先定义两个卷积层Conv1 和 Conv2，其中，Conv1的输入维度为 c1，输出维度为 c2 的一半，使用 k×k 的卷积核，步长为 s，不使用填充，组数为 g，并且是否使用激活函数根据参数 act 来确定；Conv2的输入和输出维度都为 c2 的一半，使用 5×5 的卷积核，步长为 1，不使用填充，组数为c2 的一半，根据参数 act 决定是否使用激活函数。在 forward 方法中，首先对输入x 应用 Conv1 得到特征 x

S3. 对旋转稻穗检测模型进行消融试验，与现有模型的验证和检测效果对比，确定用于田间水稻估产的旋转稻穗检测计数模型的最终结构和检测权重，具体步骤为：

为了验证所构建的旋转稻穗检测模型的性能，分为三方面效果对比：消融试验结果对比、与YOLOv5、YOLOv3、Faster-RCNN三个模型的验证精度和检测精度对比。

具体的，采用K折交叉验证的方式，将所有数据集随机分成K个相同大小的子集，选择其中一个子集作为验证集、另选其中一个作为测试集、剩下的K-2个子集作为训练集，使用训练集来训练旋转稻穗检测计数模型，并用验证集来评估旋转稻穗检测计数模型的训练效果，再用测试集合来检验旋转稻穗检测计数模型的检测效果。重复上述步骤K次，每次选择不同的子集作为验证集、测试集，其余的K-2作为训练集，将K次验证结果的平均值作为旋转稻穗检测计数模型的性能评估效果，以训练效果最优的权重文件作为旋转稻穗检测计数模型的检测权重。

图2为消融实验的交叉验证结果；图3为旋转稻穗检测模型在不同光照和稻穗在不同自然状态下的检测结果和计数效果示意图。

S4：根据无人机飞行的稻穗检测计数结果，融合水稻大田遍历的实时飞行参数，构建可预测的大田水稻穗数与无人机飞行参数模型：

如图4所示，在步骤S4中，根据无人机飞行的稻穗检测计数结果，融合水稻大田遍历的实时飞行参数，具体方法为：

A1：基于步骤S2构建的旋转稻穗检测计数模型，将该旋转稻穗检测计数模型搭载于无人机飞行控制模块的处理模块中，并接入无人机的摄像头；

A2：采集估产田块区域的位置信息，将该位置信息输入无人机飞行控制模块内，通过处理模块规划无人机的飞行航线，其中，所述飞行航线能够完全遍历估产区域且航线的旁向重叠率为0，保证无人机的每一条飞行航线刚好没有重叠地衔接遍历；

A3：无人机按照规划好的飞行航线进行飞行作业，无人机进入飞行航线并开启稻穗正射影像的录制模式，直到估产田块遍历完毕，得到估产田块的稻穗图像视频录制数据和无人机遍历田块的飞行记录数据；

A4：遍历估产田块的无人机飞行记录数据和稻穗正射影像录制数据，通过时间戳和标志位来匹配对应，得到飞行过程中的稻穗图像信息和无人机参数的匹配数据：每个时间戳的稻穗图片帧中检测到的稻穗数量，与稻穗图片帧匹配的无人机飞行速度、高度、实际地理位置经纬坐标和无人机摄像头操作记录参数等。

在步骤S4中，所述的可预测的大田水稻穗数与无人机飞行参数模型的构建方法为：

B1：对所得的稻穗图像信息和无人机飞行参数数据按4：1进行随机划分为两部分作交叉验证，其中一部分数据为建模数据集，用于模型建立，剩下的另一部分验证数据集，作为模型验证数据；

B2：基于所得到的稻穗图像信息和无人机参数建模数据集，根据时间戳匹配数据后建立大田水稻穗数与无人机飞行参数模型，以每时刻的无人机飞行速度（v）、飞行高度（h）作为模型的自变量输入，以每时刻无人机稻穗视频图片帧检测到的画面稻穗数量（N）为模型的因变量，得到模型的矩阵计算表达式为：

；

式中，H为无人机遍历水稻估产区域时实时高度的参数矩阵，V为无人机遍历水稻估产区域时实时速度的参数矩阵，N为无人机遍历水稻估产区域时实时获取的稻穗图片帧的检测稻穗数量参数矩阵；

可选的，以本研究现有的数据举例，上述模型的具体表达式可以为：

；

；

B3：使用拟合优度指标R

B4：对所建立大田水稻穗数与无人机飞行参数模型进行稻穗数量反演；将验证集中数据的无人机遍历水稻估产区域的实时飞行速度和飞行高度输入所建立的大田水稻穗数与无人机飞行参数模型，获得预测的水稻估产区域的稻穗总数。

S5：采集并统计大田水稻的稻穗的质量信息，根据采样稻穗的质量信息矩阵和大田水稻穗数与无人机飞行参数模型，对大田水稻产量进行预测，其方法如下：

S51：采集并统计大田水稻的稻穗质量信息：对水稻估产区域进行若干株稻穗采样，对采样的稻穗晾晒至恒定质量后，对样本进行稻穗考种，统计稻穗的质量得到稻穗质量矩阵M；

S52：所得到的稻穗质量矩阵M作为变量，融合到建立的大田水稻穗数与无人机飞行参数模型，得到水稻估产区域的预测水稻产量，其水稻产量预测公式为：

；

式中：W为所统计的稻穗质量矩阵；H为无人机遍历水稻估产区域时实时高度的参数矩阵，V为无人机遍历水稻估产区域时实时速度的参数矩阵。其中，M与水稻品种、施肥差异（施肥相对量）相关，S为水稻品种参数矩阵，F为水稻施肥量差异矩阵，A为单个水稻品种的稻穗采样测量质量矩阵。

稻穗的质量矩阵M以单个品种的稻穗质量A均值M=4.41克/穗、单个品种和无施肥的对照组水稻大田为例进行估产，基于所建立的大田水稻穗数与无人机飞行参数模型，以无人机设定飞行高度为10m和飞行速度为1m/s和1.5m/s的无人机实时波动的飞行高度和速度输入水稻产量预测模型中，进行水稻产量预测的效果。

图5为旋转稻穗检测计数模型融合无人机飞行参数的田间估产的验证结果图；将预测水稻产量与实际人工水稻测产数据对比，作误差分析，评估本发明的基于无人机的稻穗检测计数与水稻估产方法的准确性，可见，产量预测的最佳效果的误差仅为1.56%，最高误差不超过16%，为无人机高效水稻估产提供新途径，对无人机田间水稻检测计数与估产工作的发展具有重要的促进意义。

上述为本发明较佳的实施方式，但本发明的实施方式并不受上述内容的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。