基于激光与图像信息融合的行走控制方法及装置

技术领域

本发明涉及农业信息技术领域，尤其涉及一种基于激光与图像信息融合的行走控制方法及装置。

背景技术

农业机械的自动驾驶及在自动驾驶工况下的自动化作业是未来农业发展的必然趋势。为实现车辆的准确控制及作业的精准实施，稳定、安全、准确的车辆及机具定位至关重要。

随着机械化作业的普及，作物的栽培规范化程度的不断提高，农业环境总体可以分为两部分：行间及地头；相应地，农作业机械在农业环境中的行走控制也可以分为：行间行走控制及地头转向控制。相应地，要求农作业机械能够实现高精度的行间行走，并在地头时实现及时、稳定、准确地转向控制。从而对作物行的稳定探测、地头的识别提出了较高的要求。

在农业环境内的车辆导航控制中，激光和相机被较多地采用于植物的探测。利用激光的反射信号、机器学习分析相机图像等方法可识别作物，利用GNSS系统提供的全局信息结合内部存储地图的匹配可用于判断车辆是否达到地头位置。

目前的方法，利用北斗信号强弱判断处于果园/温室等行间或地头，在行间时，利用2维激光雷达探测作物并计算横向偏差并计算航向偏差，在地头位置时则利用北斗定位信息来计算导航参量。

可以实现在无GNSS信号覆盖的室内实现高精度定位，甚至定位精度可达十厘米级。但是，该方法有效距离短，费用较高，在信号长期被遮蔽尤其是金属物体较多时，误差较大，结果不可靠。然而，果园或温室等作业环境由于树叶或温室顶层结构等影响，易出现信号被遮蔽的情况。

发明内容

针对现有技术存在的问题，本发明提供一种基于激光与图像信息融合的行走控制方法及装置。

本发明提供一种基于激光与图像信息融合的行走控制方法，包括：通过激光雷达，获取当前区域的激光反射点列，同时通过读码相机获取行进过程中的QR码信息；对所述点列进行直线拟合，得到作物列的位姿，根据作物列的位姿进行方向控制；行驶过程中若读取到QR码，则读取出QR中的地头信息，并根据读取的地头信息，进行转向控制。

根据本发明一个的基于激光与图像信息融合的行走控制方法，所述QR码中的地头信息，包括地头的转向属性、地头类型、地头编号或者行号中任意一项或多项。

根据本发明一个的基于激光与图像信息融合的行走控制方法，所述通过读码相机获取行进过程中的QR码信息，包括：通过车辆前后设置的读码相机，分别获取前后两个方向的QR码信息。

根据本发明一个的基于激光与图像信息融合的行走控制方法，若读取到的地头信息为不可转向，则控制车辆后退，直至探测到可转向QR码。

根据本发明一个的基于激光与图像信息融合的行走控制方法，所述通过读码相机获取行进过程中的QR码信息之前，还包括：

在行间地头的预设位置处，设置含有QR码标识的标志物。

根据本发明一个的基于激光与图像信息融合的行走控制方法，所述对所述点列进行直线拟合，得到作物列的位姿，根据作物列的位姿进行方向控制，包括：

利用随机采样一致方法RANSAC对作物区点列直线拟合，得到作物列的位姿；基于作物列的位姿获，确定车辆舵角，基于车辆舵角控制行驶方向。

根据本发明的基于激光与图像信息融合的行走控制方法，所述对所述点列进行直线拟合之前，还包括：采用基于密度的聚类方法对激光噪声点进行剔除。

本发明还提供一种基于激光与图像信息融合的行走控制装置，包括：获取模块，用于通过激光雷达，获取当前区域的激光反射点列，同时通过读码相机获取行进过程中的QR码信息；第一处理模块，用于对所述点列进行直线拟合，得到作物列的位姿，根据作物列的位姿进行方向控制；第二获取模块，用于行驶过程中若读取到QR码，则读取出QR中的地头信息，并根据读取的地头信息，进行转向控制。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于激光与图像信息融合的行走控制方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于激光与图像信息融合的行走控制方法的步骤。

本发明提供的基于激光与图像信息融合的行走控制方法及装置，利用QR码存储农业环境信息，可包括地头可通过性、地头号码等信息。具有成本低、可提供信息丰富等优点。利用QR码内包含地头特性、地头号码等信息，实现车辆的后退、左转、右转控制，不受作物枝叶等遮挡的影响，避免如GNSS等受遮挡影响定位精度的缺陷。该方法实现了作物行检测、对行控制、地头识别等功能，在提高管理作业效率、作业质量的同时车辆的行驶安全。可为农业环境内的定位及导航控制提供一种稳定、低价的系统。并且可弥补农业车辆全域范围内导航过程中的定位成本高、稳定性低的问题。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的基于激光与图像信息融合的行走控制方法的流程示意图；

图2是本发明提供的应用场景图；

图3是本发明提供的控制系统组成模块示意图；

图4是本发明提供的基于激光与图像信息融合的行走控制装置的结构示意图；

图5是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明基于农业环境及农作业的要求及特点，针对上述所提出的对行及地头转向控制等所需的环境感知及控制要求，提供了一种包括作物行检测、对行控制、地头识别及人机交互机制等功能模块的农业机械自动导航控制方法。该方法可广泛应用于各作物的作业场景，如果园和温室等场景。

下面结合图1-图5描述本发明的基于激光与图像信息融合的行走控制方法及装置。图1是本发明提供的基于激光与图像信息融合的行走控制方法的流程示意图，如图1所示，本发明提供基于激光与图像信息融合的行走控制方法，包括：

101、通过激光雷达，获取当前区域的激光反射点列，同时通过读码相机获取行进过程中的QR码信息。

本发明采用激光雷达、相机等测量方法用于农业环境感知，其中，激光雷达用于作物行信息提取、相机用于地头的识别。通过设置在车辆上的激光雷达进行扫描，扫描的激光反射后，便可得到对应的障碍物信息。对当前区域进行激光扫描后，得到多个反射点构成的激光反射点列。同时，通过读码相机检测行驶过程中的QR码。

102、对所述点列进行直线拟合，得到作物列的位姿，根据作物列的位姿进行方向控制。

图2是本发明提供的应用场景图，如图2所示，作业车辆在行驶过程中需要和作物列(或者是作物行，具体根据分布情况确定)保持预设间隔，行驶控制需要让作业车辆满足此条。在确定作物列的位姿后，容易实现对应的航向控制。

103、行驶过程中若读取到QR码，则读取出QR中的地头信息，并根据读取的地头信息，进行转向控制。

在一个可选实施例中，QR码中的地头信息，包括地头的转向属性、地头编号或者行号中任意一项或多项。

转向属性可以包括，允许左转、允许右转和禁止转向等。地头类型可以包括采光地头和普通地头。由于通常情况仅为靠墙端地头具有转向空间，因此当判读为采光端地头时，车辆不允许转向，只能后退。

此外，也可以是只获取地头编号或者行号，在车辆的内部储存有地头编号或者行号对应的转向属性和地头类型。例如，读取到地头编号A001，从内部存储中判断获知到该地头是只允许右转的转向属性，则进行右转；读取到B002号地头，该地头类型为采光端地头，则不允许转向。

本发明的基于激光与图像信息融合的行走控制方法，利用QR码存储农业环境信息，可包括地头可通过性、地头号码等信息。具有成本低、可提供信息丰富等优点。利用QR码内包含地头特性、地头号码等信息，实现车辆的后退、左转、右转控制，不受作物枝叶遮挡的影响，避免如GNSS等受遮挡影响定位精度的缺陷。该方法实现了作物行检测、对行控制、地头识别等功能，在提高管理作业效率、作业质量的同时保障了搭载人员及车辆的安全。可为农业环境内的定位及导航控制提供一种稳定、低价的系统。并且可弥补农业车辆全域范围内导航过程中的定位成本高、稳定性低的问题。

在一个实施例中，所述通过读码相机获取行进过程中的QR码信息，包括：通过车辆前后设置的读码相机，分别获取前后两个方向的QR码信息。

考虑到地头存在无法转向的情况，此时若原地无法掉头车辆只能后退。在后退过程中，若前后均设有读码相机，则可以利于后端设置的读码相机读取后退过程中的QR码信息。

在一个实施例中，若读取到的地头信息为不可转向，则控制车辆后退，直至探测到可转向QR码。

如上述实施例提到的，利用读码相机获取的QR码信息，如获取当前行号/地头号码。获知当前地头为日光温室靠墙端地头或者为弧形采光端地头，或为果园等非可通过性地头等，由于通常情况仅为温室靠墙端地头或果园等地头状况平坦且具有足够空间等情况下，因此当判读为非可通过性地头时，车辆后退直至探测到QR码并控制车辆转向至下一行，以此实现果园/温室全范围内的定位及导航控制。

在一个实施例中，通过读码相机获取行进过程中的QR码信息之前，还包括：在行间地头的预设位置处，设置含有QR码标识的标志物。

在每一行的地头均设置对应的标志牌，标识牌上根据可实施的转向属性，设置对应的QR码，从而有利于车辆行驶过程中的转向控制。

在一个实施例中，所述对所述点列进行直线拟合，得到作物列的位姿，根据作物列的位姿进行方向控制，包括：利用随机采样一致方法RANSAC对作物区点列直线拟合，得到作物列的位姿；基于作物列的位姿，确定车辆舵角，基于车辆舵角控制行驶方向。

在一个实施例中，对所述点列进行直线拟合之前，还包括：采用基于密度的聚类方法对激光噪声点进行剔除。

该方法利用激光传感器信息获取作物行，并利用DBSCAN剔除噪声点，及利用随机采样一致方法RANSAC对作物区点列直线拟合,从而获取导航线，实现行间对行控制。结合QR码的地头识别实现全局的导航控制。

根据本发明的方案，可采用人-机交互的控制策略以提高系统的灵活性和安全性，系统构成及具体方案如下：

系统以车载控制器作为核心处理器，外围电路主要由GPRS模块、激光传感器探测模块、读码相机模块、环境信息输入模块、行进方向控制模块及地头转向控制模块等组成。

图3是本发明提供的控制系统组成模块示意图，如图3所示，系统基本工作原理及过程为：利用二维激光雷达获取作物区域激光反射点列；采用基于密度的聚类方法DBSCAN剔除噪声点，并利用随机采样一致方法RANSAC对作物区点列直线拟合,从而获得稳定的行间控制车辆舵角；利用读码相机检测QR码并获取码内信息，获取地头号码，为作业车辆提供全局相对位置信息并为车辆准确控制提供信息支持。

下面对本发明提供的基于激光与图像信息融合的行走控制装置进行描述，下文描述的基于激光与图像信息融合的行走控制装置与上文描述的基于激光与图像信息融合的行走控制方法可相互对应参照。

图4是本发明提供的基于激光与图像信息融合的行走控制装置的结构示意图，如图4所示，该基于激光与图像信息融合的行走控制装置包括：获取模块401、第一处理模块402和第二获取模块403。其中，获取模块401用于通过激光雷达，获取当前区域的激光反射点列，同时通过读码相机获取行进过程中的QR码信息；第一处理模块402用于对所述点列进行直线拟合，得到作物列的位姿，根据作物列的位姿进行方向控制；第二获取模块403用于行驶过程中若读取到QR码，则读取出QR中的地头信息，并根据读取的地头信息，进行转向控制。

本发明实施例提供的装置实施例是为了实现上述各方法实施例的，具体流程和详细内容请参照上述方法实施例，此处不再赘述。

本发明实施例提供的基于激光与图像信息融合的行走控制装置，利用QR码存储农业环境信息，可包括地头可通过性、地头号码等信息。具有成本低、可提供信息丰富等优点。利用QR码内包含地头特性、地头号码等信息，实现车辆的后退、左转、右转控制，不受作物繁茂树叶遮挡的影响，避免如GNSS等受遮挡影响转向控制的缺陷。该方法实现了作物行检测、对行控制、地头识别等功能，在提高管理作业效率、作业质量的同时保障了搭载人员及车辆的安全。可为农业环境内的定位及导航控制提供一种稳定、低价的系统。并且可弥补农业车辆全域范围内导航过程中的定位成本高、稳定性低的问题。

图5是本发明提供的电子设备的结构示意图，如图5所示，该电子设备可以包括：处理器(processor)501、通信接口(Communications Interface)502、存储器(memory)503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信。处理器501可以调用存储器503中的逻辑指令，以执行基于激光与图像信息融合的行走控制方法，该方法包括：通过激光雷达，获取当前区域的激光反射点列，同时通过读码相机获取行进过程中的QR码信息；对所述点列进行直线拟合，得到作物列的位姿，根据作物列的位姿进行方向控制；行驶过程中若读取到QR码，则读取出QR中的地头信息，并根据读取的地头信息，进行转向控制。

此外，上述的存储器503中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的基于激光与图像信息融合的行走控制方法，该方法包括：通过激光雷达，获取当前区域的激光反射点列，同时通过读码相机获取行进过程中的QR码信息；对所述点列进行直线拟合，得到作物列的位姿，根据作物列的位姿进行方向控制；行驶过程中若读取到QR码，则读取出QR中的地头信息，并根据读取的地头信息，进行转向控制。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的基于激光与图像信息融合的行走控制方法，该方法包括：通过激光雷达，获取当前区域的激光反射点列，同时通过读码相机获取行进过程中的QR码信息；对所述点列进行直线拟合，得到作物列的位姿，根据作物列的位姿进行方向控制；行驶过程中若读取到QR码，则读取出QR中的地头信息，并根据读取的地头信息，进行转向控制。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。