一种水稻插秧机性能检测系统及方法

技术领域

本发明属于图像处理技术领域，涉及一种水稻插秧机插秧性能鉴定系统及方法。

背景技术

在田间作业机械的性能检测方面，还依赖于传统的测试装备与试验方法，设备自动化水平低，鉴定过程信息化程度低，采集样本数据依赖人为主观意识等问题，需要用新的检测方法和设备来提高田间作业机械性能检测的自动化水平。

插秧机在国内外较为成熟并普遍使用，插秧机的主要技术特点，一是基本苗、栽插深度、株距等指标可以量化调节，插秧机所插基本苗由每亩所插的穴数及每穴株数所决定，根据水稻群体质量栽培扩行减苗等要求，插秧机行距和株距可以按照设定距离进行设定，并且可以进行多档或无级调整，达到适宜基本苗要求，同时插深也可以通过手柄方便地精确调节，能充分满足农艺技术要求。目前判断水稻插秧机的工作性能主要靠主观判断，包括如何识别得到漏插穴数、漂秧数、伤秧数等指标，自动化水平低。

发明内容

本发明所要解决的技术问题是，如何实现对水稻插秧机性能的自动检测，得到漏插穴数、漂秧数、伤秧数等性能指标。

为解决上述技术问题，本发明提供一种水稻插秧机性能检测系统，包括无人机，在无人机下方设置一相机，相机具有图像存储介质，图像存贮存储介质通过有线或无线与计算机进行通信，计算机具有数据处理单元，对所获得的图像进行数据处理，并根据处理结果判断水稻插秧机性能是否达到设定标准。

所述数据处理单元包括以下程序模块：

预处理模块：对原始图像进行预处理，将水稻秧苗图像从泥田背景中分离出来；

特征参数提取模块：通过提取图像特征参数，完成对预处理后的秧苗图像的量化表示，确定每一穴秧苗质心坐标，计算相邻质心间距离，用于判断有无漏秧状况；同时提取秧苗轮廓和形态特征，秧苗轮廓和形态特征包括狭长度、矩形度、球状性、紧凑度、圆形度、HU不变矩参数，得到的秧苗轮廓和形态特征参数作为判断是否存在漂秧、伤秧的依据；

分类模型建立模块：建立BP神经网络模型，将特征参数提取模块提取的秧苗轮廓和形态特征参数作为神经网络中的输入层，秧苗形态类别作为输出层；

秧苗形态识别模块：利用分类模型建立模块得到的最优BP神经网络模型，将预处理得到的秧苗图像进行训练，完成对水稻秧苗形态的识别。

一种水稻插秧机性能检测方法，包括以下步骤：

步骤一.获得原始水稻图像，对原始水稻图像进行预处理，将水稻秧苗图像从泥田背景中分离出来；

步骤二.通过提取图像特征参数，完成对预处理后的秧苗图像的量化表示，确定每一穴秧苗质心坐标，计算相邻质心间距离，用于判断有无漏秧状况；同时提取秧苗轮廓和形态特征，秧苗轮廓和形态特征包括狭长度、矩形度、球状性、紧凑度、圆形度、HU不变矩参数，得到的秧苗轮廓和形态特征参数作为判断是否存在漂秧、伤秧的依据；

步骤三.建立BP神经网络模型，将特征参数提取模块提取的6类秧苗轮廓和形态特征参数作为神经网络中的输入层，秧苗形态类别作为输出层；

步骤四.利用步骤三得到的最优BP神经网络模型，将预处理得到的秧苗图像进行训练，完成对水稻秧苗形态的识别，最终显示识别结果。

本发明所达到的有益效果：本发明的一种水稻插秧机性能检测系统，以无人机为平台，融合图像处理技术来提高田间作业机械性能检测的工作效率。利用无人机对其工作过的秧田进行低飞拍照，再对图片进行秧苗分割识别得到漏插穴数，漂秧数，伤秧数等，判断水稻插秧机的工作性能，实现对水稻插秧机的漏插率、漂秧率和伤秧率进行自动化检测。

同时，本发明使用无人机航拍，通过图像处理，通过相关特征数据，计算目标参数，得到试验项目结果，弥补传统手段的局限性，减少检测人员工作量，降低人为干扰，提高检测过程中工作效率，方便保存试验数据。

附图说明

图1是本发明的水稻插秧机性能检测系统硬件与软件示意图；

图2为手机端无线下载秧苗图像图；

图3为一穴秧苗图像处理示意图；

图4为多穴秧苗图像处理示意图；

图5为多穴连续秧苗形态识别结果图，a为有水稻田秧苗，b为无水稻田秧苗。

具体实施方式

下面结合附图对本发明作进一步详细的描述。

实施例1

本发明提供的一种水稻插秧机性能检测系统，包括无人机，在无人机下方设置一相机，相机具有图像存储介质，图像存贮存储介质通过有线或无线与计算机进行通信，计算机具有数据处理单元，对所获得的图像进行数据处理，并根据处理结果判断水稻插秧机性能是否达到设定标准。

如图1所示，本实施例中，为获取高清的稻田秧苗图像，采用大疆精灵四 RTK版作为图像采集装置，所述大疆精灵四RTK版包括无人机，机身上的圆柱形RTK天线头是区别于普通无人机的显著特征之一，使得此无人机拥有更好的抗磁干扰能力与精准定位能力，通过遥控器登录千寻账号后，将提供厘米级的定位数据，继而在郊外农田中规划航线时能更安全可靠地获取秧苗信息。机身下方搭载的2000万像素的一英寸CMOS相机，满足后续处理手段对图片的清晰度要求。

大疆精灵四RTK版专属的SDK(Software Development Kit)遥控器直接连接Android或iOS移动设备，运行DJI Pilot，GS Pro地面站专业版等应用程序。 CMOS相机的摄像头拍摄实时视频和照片，下载保存至相机存储介质中，所述相机存储介质为SD卡或固态硬盘；或利用4G网卡将图像由移动设备上传到云端服务器，再由指挥中心的计算机下载下来，进行快速数据处理。即使摄像头正在将图像或视频捕获到存储介质中，预览图和完整图像数据也能允许在移动设备上查看。

图像采集前期工作：在目标地区的水稻插秧时间，利用图像采集装置进行图像采集，获取完整清晰的稻田秧苗图像。选择天气炎热干燥，风力影响小，满足无人机起飞条件，适合获取秧苗各个形态的航拍图片。无人机飞行高度为 2m，速度1m/s，拍摄的稻田秧苗样本集的部分图像如图4(a)所示。

所述数据处理单元包括以下程序模块：

预处理模块：由于光线强度和泥田成分复杂等原因导致相机成像特性存在差异，需要对原图进行预处理以获得标准统一的初步图像。

对原始图像进行预处理，将水稻秧苗图像从泥田背景中分离出来，预处理过程依次包括灰度化处理、阈值分割、二值化、形态学滤波处理。

灰度化处理：去除原始图像RGB包含的冗余信息，减少后续过程的计算量；

通过OTSU阈值分割法：OTSU是由日本学者大津(Nobuyuki Otsu)提出的一种自适应阈值确定方法，OTSU阈值分割法不受图像亮度和对比度的影响，按照灰度特性将图像分成前景(即目标)和背景(即环境)两部分，通过遍历图像中所有像素点得到阈值T，使得前景和背景两部分的像素区分度最大，由于秧苗自身与泥田背景存在较大颜色差异，可以得出一个阈值T来区分两者，为下一步的二值化确定参数。

二值化：利用秧苗的绿色与泥田的土褐色差异，得到二值化图片；

形态学滤波处理：二值化图片中还存在孤立的噪声点，边界存在凸刺、凹坑等现象，对下一步的特征参数提取造成干扰，通过对图片进行形态学运算，包括腐蚀、膨胀、开运算和闭运算等操作消除噪声，得到标准化的秧苗图像。本系统基于开运算、闭运算设计形态学滤波器，通过开运算去除泥田背景中的细小尖刺和离散噪声，通过闭运算填充目标秧苗内部的细小孔洞、平滑目标区域的边缘，两种运算处理后，目标的形状轮廓基本保持不变。

形态学滤波过程：

1)开运算：通过半径为m1(如5)像素的圆盘形滤波器对二值图像进行开运算处理，保持目标秧苗区域尺寸与形状不失真，同时消除比圆盘滤波器小的噪声，利用滤波器B对图像A进行开运算，定义为：

式中，

2)闭运算：通过长度为m2(如5)、角度为β(如45°)的线形滤波器，对二值图像进行闭运算处理，填充秧苗内部区域并对区域边缘进行光滑处理，

利用滤波器B对图像A进行闭运算，定义为：

式中，·表示做闭运算，

特征参数提取模块：图像特征是对图像的抽象描述，通过提取图像特征参数，完成对图像的量化表示，确定每一穴秧苗质心坐标，计算相邻质心间距离，用于判断有无漏秧状况；同时提取秧苗轮廓和形态特征，秧苗轮廓和形态特征包括狭长度、矩形度、球状性、紧凑度、圆形度、HU(HU Ming-Kuei，Visual pattern recognition by moment invariants)不变矩等参数，得到的秧苗轮廓和形态特征参数作为判断是否存在漂秧、伤秧的依据。

分类模型建立模块：建立BP神经网络模型，将特征参数提取模块提取的6 类秧苗轮廓和形态特征参数作为神经网络中的输入层，秧苗形态类别作为输出层。

对预处理后的图像进行特征提取后，运用分类器对特征参数进行分类，以区分正作用特征参数和副作用特征参数，降低特征参数维度、减少过拟合；再对已知数据类型样本的特征参数进行有效性筛选和提取，采用反向传播算法对多层前馈的神经网络的权值和误差进行重复调整训练，使BP神经网络对输入特征参数的预测结果与期望向量的差满足设定要求，为秧苗形态识别提供最终的判断结果。

建立分类模型具体步骤为：

1)对前期采集到稻田秧苗原图A进行裁剪，将合格秧苗单穴图像B、漂秧单穴图像C、伤秧单穴图像D分离出来，将合格秧苗单穴图像B、漂秧单穴图像C、伤秧单穴图像D类图像分别置于Data文件夹内的合格秧苗子文件夹、漂秧子文件夹和伤秧子文件夹中；

通过MATLAB软件读取图像，并运行相关函数，如rgb2gray灰度化函数、 im2bw二值化函数、imdilate膨胀函数、imerode腐蚀函数、bwareaopen降噪函数、regionprops区域属性函数、invmoments图像矩函数等，计算特征参数结果，将Data文件夹内的图像数据在各子文件夹内按设定比例随机划分作为训练集、验证集和测试集；并对训练集中的特征参数数据做归一化处理，构成输入矩阵。

具体地，经裁剪后，在Data文件夹中，合格秧苗子文件夹内有B类合格秧苗图像D

2)在MATLAB环境下创建BP神经网络，包括输入层、隐含层和输出层，各层之间互连，输入层节点个数选择输入有效特征向量维数，隐含层节点个数通过反复试凑选择出准确度最高、误差最小的结果，输出层节点个数取输出结果向量维数，对于一张单穴秧苗图片输出结果为三种秧苗类别的其中之一；

3)将步骤1)中训练集中经过归一化处理后的特征参数数据集载入输入层，包括狭长度、矩形度、球状性、紧凑度、圆形度、HU不变矩；在三层BP神经网络中，隐含层神经元的激活函数为logsig函数(线性函数)，输出层激活函数为purelin函数(非线性函数)，所述激活函数用于对神经元输出做线性和非线性变换；

4)选择BP神经网络的训练函数为traingdx函数(梯度下降自适应学习率训练函数)，学习函数为learngdm函数(梯度下降动量学习函数)，学习函数利用神经元的输入与误差、权值或阈值的学习速率来修改权值和阈值的增量，使单个神经元输出误差最小，当误差对权值的偏导数大于零时，权值调整量为负，实际输出大于期望输出，权值向减少方向调整，使得实际输出与期望输出的差减少；当误差对权值的偏导数小于零时，权值调整量为正，实际输出小于期望输出，权值向增大方向调整，使得实际输出与期望输出的差减少；调整期间阈值会跟随权值一起自动调整；

5)设置网络权系数，所述网络权系数包括隐藏节点数、最大训练次数、训练要求精度、显示训练迭代过程和训练学习率等；在训练过程中训练函数(traingdx) 不断调用学习函数(learngdm)，通过检测是否达到设定的训练步数或训练结果是否达到精度要求，判断是否结束训练，得到最终的合格秧苗、漂秧和伤秧BP 神经网络模型；

6)读取步骤1)裁剪好的验证集单穴秧苗图像，计算相关特征参数数据，将所述特征参数数据送入BP神经网络的输入层，与步骤5)得到的BP神经网络模型匹配，输出秧苗类型的判断结果，判断结果为合格秧苗、漂秧、伤秧三种中的一种；将判断结果与单穴秧苗图像所在的步骤1)中子文件夹名称进行对比，对训练效果进行优劣评价；根据验证集的正确率再次调整超参数得到BP神经网络模型为最优，所述超参数包括学习率、隐含层中神经元的个数、迭代次数和训练集数据规模等；

7)依次读取测试数据集中未参与训练、验证过程的单穴秧苗图像，判断识别若干张，统计正确率。

秧苗形态识别模块：利用分类模型建立模块得到的最优BP神经网络模型训练模型，将无人机拍到的稻田中连续秧苗图像作为统计对象(软件可以对连续水稻图片自动分离单穴秧苗)，完成对水稻秧苗形态的识别，最终显示识别结果，并导出处理结果到EXCEL表格中，以满足鉴定人员的可视化需求。

处理结果示例：

以在某稻田采集到的的图片为实验样本，以秧苗质心间的距离判断是否有漏秧状况，以狭长度、矩形度、球状性、紧凑度、圆形度、HU不变矩共6组特征值作为漂秧与伤秧的区分标准，最终处理得到的结果如图5(a)、(b)所示。依据鉴定大纲DG/T 008-2019，通过人工对样本(a)、(b)计数，得出：(a) 中秧苗总数为30穴，漏插数为0，漂秧数为2，伤秧数为2，合格秧数为26；得出(b)中秧苗总数为50穴，漏插数为0，漂秧数为1，伤秧数为3，合格秧数为46。两者对比，可得出软件识别结果与人工观察结果存在细微差别，图(a) 中一穴伤秧未成功识别，图(b)中由于秧苗间出现黏连导致误判成漏插，总体误差在可允许范围内，正确率大于96.7％。统计结果说明，该算法具有可行性，设计思路合理可靠，但功能需要继续完善，准确率需要进一步提高。

一种水稻插秧机性能检测方法，包括以下步骤：

步骤一.获得原始水稻图像，对原始水稻图像进行预处理，将水稻秧苗图像从泥田背景中分离出来；

步骤二.通过提取图像特征参数，完成对预处理后的秧苗图像的量化表示，确定每一穴秧苗质心坐标，计算相邻质心间距离，用于判断有无漏秧状况；同时提取秧苗轮廓和形态特征，秧苗轮廓和形态特征包括狭长度、矩形度、球状性、紧凑度、圆形度、HU不变矩参数，得到的秧苗轮廓和形态特征参数作为判断是否存在漂秧、伤秧的依据；

步骤三.建立BP神经网络模型，将特征参数提取模块提取的6类秧苗轮廓和形态特征参数作为神经网络中的输入层，秧苗形态类别作为输出层；

步骤四.利用步骤三得到的最优BP神经网络模型，将预处理得到的秧苗图像进行训练，完成对水稻秧苗形态的识别，最终显示识别结果。

实施例2

在特征参数提取模块中，特征参数提取过程具体包括以下步骤：

1)通过预处理得到的秧苗图像，利用Regionprops函数属性选择质心坐标(Centroid)对秧苗代表的白色连通区域进行质心点标记，为了更好地分离出秧苗，对连通区域做膨胀处理，用每一个标记一(如红色的“*”)代表相应穴秧苗的质心；

2)提取秧苗的特征参数：秧苗的形状大小已知，但由于轮廓边界不规则，且秧苗朝向具有较强随机性，水平和垂直方向的投影距离不能直接代表其长度与宽度。所以先确定秧苗的主轴，然后计算反映秧苗形状特征的主轴方向上的长度和与垂直方向上的宽度，形成一外接矩形，所述外接矩形即为秧苗的最小外接矩形(Minimum Enclosing Rectangle，MER)，最小外接矩形的长宽比代表秧苗自身的狭长度，Matlab库函数中Minboundrect可提供周长最小(Minimum Perimter Bounding Rectangle，MPBR)和面积最小(Minimum AreaBounding Rectangle，MABR)的矩形，本实施例选择Area，即在秧苗轮廓外包围面积最小矩形，用秧苗Area内像素和与最小矩形面积之比得到矩形度，利用秧苗轮廓的内切圆与外接圆半径之比得到球状性，利用秧苗轮廓周长与区域面积关系计算出紧凑度、圆形度。

狭长度：定义秧苗轮廓外接矩形的狭长程度，又称长宽比，反映每穴秧苗在图像中投影的高度、宽度及秧苗区域方向，定义为L；

L＝longth/width (式3)

式中:longth为最小面积矩形的长边，width为最小面积矩形的宽边；

矩形度：定义秧苗对其外接矩形的充满程度，反映每穴秧苗的分叉情况，定义为R；

R＝S

式中:S

球状性：定义秧苗区域内分别以质心为圆心，做内切圆与外接圆，反映秧苗的形状大小，定义为S；

S＝r

式中:r

紧凑度：定义秧苗的紧凑程度，反映秧苗边缘轮廓的粗糙情况，定义为C；

式中:Perimeter为秧苗周长，即秧苗边界的像素点和；

圆形度：反应秧苗边界的复杂程度，反映秧苗的形态特征，定义为O；

式中:秧苗面积为S

Hu.M.K在1962年提出了一组特征量包括七个不变矩[M1,M2， M3,M4,M5,M6,M7]，并证明了M1～M7均具有平移、旋转和尺度不变性，利用矩函数可以描述图像形状的全局特征，用作图像识别，本实施例通过库函数Invmoments求得HU不变矩，设一穴水稻秧苗图像大小为L*H，L为图像的长， H为图像的宽，单位为像素，针对所述水稻秧苗图像，将像素的坐标看做一个二维随机变量(x,y)，f(x,y)代表该点处的灰度值，即得到下列图像矩的定义，

式中，m

式中，m

其(p+q)阶矩m

其相应的(p+q)阶中心矩μ

则对应的归一化中心矩η

其中

根据上述形态特征公式，包括式(3)、式(4)、式(5)、式(6)、式 (7)和式(16)，对合格秧苗、漂秧、伤秧单穴图像处理，计算对应的形态参数，从而提取到6组特征，12组数据，并通过对若干组数据进行求和、平均、取方差等，得出不同形态秧苗的特征取值范围，所述6组特征包括狭长度、矩形度、球状性、紧凑度、圆形度、HU不变矩，所述12组数据包括L、R、S、C、O、M

其它技术特征与实施例1相同。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。