一种农作物秧苗定位方法

技术领域

本发明属于农业机械自动化技术领域，具体为一种农作物秧苗定位方法。

背景技术

智能机械除草作业有两种主流的策略，其一是首先获取杂草的位置，而后定点铲除杂草。其二是准确地获取农作物秧苗的位置，然后躲避农作物的秧苗，在没有农作物秧苗的位置统一执行除草动作即可。相比较于杂草，农作物的生长位置比较规律，所以获取农作物秧苗的位置、而后执行除草动作是首选。尤其对于较低矮的农作物而言，例如生菜、甘蓝、花椰菜等等，只要获取一株作物的形心位置，就能够让除草执行机构精确地躲避它。但是目前，虽然以相机为硬件、利用深度学习训练的识别模型能够以较高的准确率识别作物秧苗，但是却较难准确地获取作物秧苗的位置信息；利用激光雷达可以较精确地获取作物秧苗的位置信息，但是却较难识别作物种类。针对上述弊端，结合相机与激光雷达的优势，我们提出了一种农作物秧苗定位方法。

发明内容

本发明的目的在于提供一种农作物秧苗定位方法。采用相机图像与激光雷达点云相融合的策略，包括以下步骤：

S1、固定相机与激光雷达的相对位置；

S2、将相机与激光雷达在时间维度与空间维度进行对齐；对比相机的拍摄帧率与激光雷达的扫描频率，以二者中频率较低者为基准，间隔提取频率较高者获得的数据，数据提取频率设定为二者中的较低频率，采用时间戳作为相机与激光雷达在时间维度对齐的标准；将相机坐标系和激光雷达坐标系分别进行齐次变换，然后按照如下公式将激光雷达坐标系融合到图像坐标系，

q

其中，q

S3、获取作物秧苗识别模型；改进一次拍摄检测(SSD)模型，采用相机拍摄农田中包含作物秧苗的图像，训练作物秧苗识别模型，而后用一个矩形方框包围识别出的农作物秧苗；

S4、将激光雷达点云投射到相机图像上；

S5、对图像包围框中的点云进行聚类运算，获取点云的中心点坐标；具体地，根据S3中识别出农作物秧苗包围框的左上角点和右下角点的坐标，获得包围框的竖直中心线，以该竖直中心线为中轴，将包围框在宽度尺度上缩小至原包围框的三分之一；对该小包围框中的雷达点云进行筛选，当雷达点符合下式时，该雷达点将被用来做聚类运算；然后求取用来做聚类运算的所有雷达点的三维坐标值的平均值，继而生成一个新的空间坐标点；这个新的空间坐标点即被认为是作物秧苗的形心位置，以该形心代表作物秧苗所处的空间位置。

f(x)-R

其中，f(x)代表根据种植模式和相机位置而获得的图像坐标系原点到农作物秧苗的平均距离，L

S6、输出农作物秧苗的空间位置坐标。

优选地，步骤S1中根据相机图像的尺度，调整激光雷达的扫描中心平面对准相机图像的中心高度。

优选地，步骤S3保留了经典SSD模型中最后1个特征图与输出层的链节，放弃了前5个特征图与最后输出层的链节。

优选地，对于步骤S3中拍摄的包含作物秧苗的图像，采用可视化的图像标定工具，标定图像中的目标农作物秧苗，并且生成对应的标签，忽视图像中的背景物体；这步操作对于后续通过深度学习训练获得的作物秧苗识别模型而言，达到了自动过滤背景物体的目的。

与现有技术相比，本发明提供了一种农作物秧苗定位方法，具备以下有益效果：

1、本发明充分地利用了相机与激光雷达的优势，以相机为硬件，通过深度学习技术获得了能够准确地识别作物秧苗的识别模型，以激光雷达为硬件，能够精确地测定作物秧苗的方位信息，通过发明相机与激光雷达的融合方法，实现了二者优势的融合，达到了对农作物秧苗进行定位的目的，这是现有的相机或者激光雷达无法单独完成的。

2、在经典SSD模型中，前部较大的特征图适合识别细微的特征，后部较小的特征图适合识别宏观的特征，由于本发明面向应用，实际作业时，相机会刻意拍摄农田中的农作物，所以农作物会是图像中明显的、具有宏观特征的物体，本发明保留了经典SSD模型中最后1个特征图与输出层的链节，放弃了前5个特征图与最后输出层的链节。该发明既能够准确地识别出图像中农作物，还提高了算法的运行速度。

3、本发明将包围框在宽度尺度上缩小至原包围框的三分之一，可以更加精确地锁定作物秧苗形心附近的激光雷达点，相比较于不对包围框进行缩小处理，本发明对作物秧苗的定位精度更高。

附图说明

图1为本发明的流程图；

图2为本发明的“改进一次拍摄检测(SSD)模型”的网络示意图；

图3为本发明测试的“改进一次拍摄检测(SSD)模型”识别生菜的结果；

图4为本发明的测试的单线激光雷达点云投射到相机图像上的结果；

图5为本发明中在宽度方向上缩小至原包围框三分之一的新包围框和激光雷达点云。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅附图1-5，以对农田中的生菜(Lactuca sativa L.var.ramosa Hort.)秧苗进行定位为例，首先根据相机图像的尺度，将激光雷达的扫描中心平面对准相机图像的中心高度，然后在任意一种农业机械的框架上，固定相机与激光雷达。采用帧率为40fps的相机(即40Hz)，与扫描频率为10Hz的激光雷达，以激光雷达的扫描频率为基准，按照每4张(即每隔3张)图像的频率提取相机图像，采用相机与激光雷达的时间戳对齐二者的起始时刻。参考相机的说明书或者使用手册，获取相机的内参。将相机坐标系和激光雷达坐标系分别进行齐次变换，然后按照如下公式将激光雷达坐标系融合到图像坐标系，

q

其中，q

在农田中采集大量的生菜图像，利用LabelImg插件标记图像中的生菜，并且生成对应的标签。保留经典SSD模型中最后1个特征图与输出层的链节，放弃前5个特征图与最后输出层的链节，如图2所示。使用Tensorflow或者百度飞桨作为深度学习框架，将上述生菜图像和对应的标签导入改进后的SSD模型进行训练，获取生菜识别模型。当使用该模型再次识别生菜时，会有一个矩形框包围图像中的生菜，如图3所示。

将激光雷达点云投射到相机图像上，如图4所示。对图像包围框中的点云进行聚类运算，获取点云的中心点坐标；具体地，根据识别出农作物秧苗包围框的左上角点和右下角点的坐标，获得包围框的竖直中心线，以该竖直中心线为中轴，将包围框在宽度尺度上缩小至原包围框的三分之一，如图5所示；对该小包围框中的雷达点云进行筛选，当雷达点符合下式时，该雷达点将被用来做聚类运算；然后求取用来做聚类运算的所有雷达点的三维坐标值的平均值，继而生成一个新的空间坐标点；这个新的空间坐标点即被认为是作物秧苗的形心位置，以该形心代表作物秧苗所处的空间位置。

f(x)-R

其中，f(x)代表根据种植模式和相机位置而获得的图像坐标系原点到农作物秧苗的平均距离，L

最后以图像坐标系为基准(即在图像坐标系中)，输出新的空间坐标点的三维坐标值，此时即获得了相对于相机而言的，生菜秧苗的具体方位信息，即完成了对生菜秧苗的定位。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。