一种基于视觉的葡萄园果树行间导航线提取方法

技术领域

本发明涉及果实运输机器人导轨技术领域，具体涉及一种基于视觉的葡萄园果树行间导航线提取方法。

背景技术

自主移动机器人在作物行间行驶的时候，需要依靠相机、激光、雷达等传感器获取两侧作物或者两侧道路边界的信息，并依据这些信息生成导航线，进而引导机器人在作物行间行驶。

移动机器人在作物行间进行导航线提取主要分三步进行，第一步为两侧作物或者边界的特征点提取，第二步为对两侧作物或者边界特征点进行直线拟合，第三步为依据两侧生成的直线进行中间导航线的拟合（一般做法为取两侧直线的角平分线作为导航线）。在第一步的两侧作物或者边界的特征点提取中，需要通过一些机器视觉手段获取作物或者边界的特征点，并且滤除可能对拟合造成干扰的非本果树行的特征点；第二步的直线拟合过程，是需要依据第一步获得的两侧关键点特征，使用最小二乘法、霍夫变换、随机采样一致性等算法对特征点进行直线拟合，获取两侧作物或者边界的拟合直线；第三步的导航线提取过程是依据第二步提取的两侧直线，生成中间拟合的导航线，一般采用角平分线作为中间的导航线。

在论文“基于中值点Hough变换玉米行检测的导航线提取方法”中提出了一种基于中值点Hough变换作物行检测的导航线提取算法。首先，其改进了传统的2G-R-B算法，再结合中值滤波、最大类间方差法和形态学操作实现土壤背景与玉米苗带的分割；其次，通过均值法提取玉米苗带特征点，然后采用中值点Hough变换拟合垄间两侧玉米苗列线；最后将检测出的双侧玉米苗列线为导航基准线，利用夹角正切公式提取导航线。

但是，在如图1所示的葡萄园场景下，一侧为果树枝干，另外一侧为支撑杆，由于果树枝干形态各异，光照变化强烈，背景前景颜色相近，所以基于阈值分割、灰度变化、边缘检测等的传统机器视觉方案难以完成两侧作物或者边界特征点的提取，因此也无法完成后续导航线拟合的过程；此外，葡萄园场景下，果树侧底部通常经过除草作业无杂草覆盖，而支撑杆侧底部通常有杂草覆盖，因此，对于两侧不同的情况需要制定不同的特征点提取策略；现有的研究没有涉及葡萄园场景下的导航线提取方法，已有的果园场景下的导航线提取方法不适用于葡萄园场景。

发明内容

本发明的目的在于克服现有技术存在的问题，提供一种基于视觉的葡萄园果树行间导航线提取方法，使得果实运输机器人能在葡萄园行间自主获取导航线进行运输任务。

为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：

一种基于视觉的葡萄园果树行间导航线提取方法，该方法包括：

利用RGB相机获取当前果树行的彩色图像；

使用基于深度学习的YOLOP算法获取果树行间两侧的果树和支撑架的包络框，并获得可行驶区域语义分割的掩码图；

使用图像形态学处理方法提取果树行间两侧的特征点，对果树行间两侧的特征点分别使用随机采样一致性算法进行直线拟合，取角平分线作为导航线。

进一步的，该方法的具体流程如下：

步骤一）获取一帧RGB图像；

步骤二）通过基于深度学习的YOLOP算法获取果树行间两侧的果树侧和支撑架侧的包络框，并且获得果树行的可行驶区域的掩码图；

步骤三）提取当前果树行的可行驶区域，并且去除其他果树行可行驶区域的干扰；

步骤四）经过步骤三）处理后，在当前果树行的可行驶区域掩码图的左侧提取果树侧的特征点集合A；

步骤五）经过步骤三）处理后，在当前果树行的可行驶区域掩码图的右侧提取支撑架侧的特征点集合B；

步骤六）对左右两侧的特征点集合A和特征点集合B，分别进行随机采样一致性直线拟合，获取左右两侧的边界直线解析式；

步骤七）将步骤六）获得的两侧边界直线取角平分线作为导航线，计算公式如下所示：

步骤八）依据当前导航线的斜率k计算偏转角度，并将该偏转角度发送到运动控制模块，控制相应的果实运输机器人进行运动；

步骤九）从步骤一）重复该流程。

进一步的，所述步骤三）中，首先对可行驶区域掩码图进行膨胀+腐蚀图像形态学操作，去除噪声点，再选取其中面积最大的粘连区域作为当前果树行的可行驶区域。

进一步的，所述步骤四）中，首先初始化果树侧的特征点集合A，对于果树侧，以图像中线为分割线，遍历图像左侧的所有包络框，对于每个包络框，如果右下角点落于可行驶区域内，则将该包络框的右下角点作为特征点加入到集合A中构成果树侧的特征点集合A。

进一步的，所述步骤五）中，首先初始化支撑架侧的特征点集合B，在可行驶区域的掩码图右侧的y轴方向上，每间隔一定像素值采样特征点，并且加入到集合B中构成支撑架侧的特征点集合B。

本发明的有益效果是:

1.在葡萄园果树行间可以稳定可靠地提取两侧特征点，并且生成导航线。

2.该导航线提取方法可以在葡萄园场景下部署果实运输机器人，通过计算当前时刻机器人的行驶方向和导航线之间的偏转角度，让机器人进行实时的方向调整，让机器人可以在果树行间无碰撞行驶，完成在葡萄园果树行间的运输、巡检等任务。

附图说明

图1为葡萄园场景图；

图2为本发明方法的流程图；

图3为本发明YOLOP算法输出的果树行的可行驶区域掩码图；

图4为本发明对图3中的可行驶区域掩码图进行膨胀+腐蚀图像形态学操作、并去除噪声点后的果树行的可行驶区域掩码图，其中图4a为可行驶区域筛选前的掩码图，图4b为可行驶区域筛选后的掩码图；

图5为本发明果树侧特征点提取示意图；

图6为本发明支撑架侧特征点提取示意图；

图7为本发明获取当前果树行的可行驶区域掩码图左右两侧的边界直线示意图。

具体实施方式

下面将参考附图并结合实施例，来详细说明本发明。

一种基于视觉的葡萄园果树行间导航线提取方法，该方法包括：

利用RGB相机获取当前果树行的彩色图像；

使用基于深度学习的YOLOP算法获取果树行间两侧的果树和支撑架的包络框，YOLOP算法可同时完成目标检测以及语义分割任务，并获得可行驶区域语义分割的掩码图；

使用图像形态学处理方法提取果树行间两侧的特征点，对果树行间两侧的特征点分别使用随机采样一致性算法进行直线拟合，取角平分线作为导航线。

如图2所示，该方法的具体流程如下：

步骤一）获取一帧RGB图像；

步骤二）通过基于深度学习的YOLOP算法获取果树行间两侧的果树侧和支撑架侧的包络框，并且获得果树行的可行驶区域的掩码图，其如图3所示；

步骤三）提取当前果树行的可行驶区域，并且去除其他果树行可行驶区域的干扰；

步骤四）经过步骤三）处理后，在当前果树行的可行驶区域掩码图的左侧提取果树侧的特征点集合A；

步骤五）经过步骤三）处理后，在当前果树行的可行驶区域掩码图的右侧提取支撑架侧的特征点集合B；

步骤六）对左右两侧的特征点集合A和特征点集合B，分别进行随机采样一致性直线拟合，获取左右两侧的边界直线解析式，其如图7所示；

步骤七）将步骤六）获得的两侧边界直线取角平分线作为导航线，计算公式如下所示：

步骤八）依据当前导航线的斜率k计算偏转角度，并将该偏转角度发送到运动控制模块，控制相应的果实运输机器人进行运动；

步骤九）从步骤一）重复该流程。

所述步骤三）中，首先对可行驶区域掩码图进行膨胀+腐蚀图像形态学操作，去除噪声点，再筛选出其中面积最大的粘连区域作为当前果树行的可行驶区域，如图4a和图4b所示，分别是筛选前和筛选后的当前果树行的可行驶区域掩码图。

所述步骤四）中，首先初始化果树侧的特征点集合A，如图5所示，对于果树侧，以图像中线为分割线，遍历图像左侧的所有包络框，对于每个包络框，如果右下角点落于可行驶区域内，则将该包络框的右下角点作为特征点加入到集合A中构成果树侧的特征点集合A。

所述步骤五）中，首先初始化支撑架侧的特征点集合B，如图6所示，由于支撑架的底部常有杂草覆盖，机器人开进草丛中会产生危险，需要限制机器人的运动范围在可行驶区域内，因此在可行驶区域的掩码图右侧的y轴方向上，每间隔一定像素值采样特征点，并且加入到集合B中构成支撑架侧的特征点集合B。

本发明原理

本发明使用深度学习（目标检测、语义分割）+传统视觉相结合的方法对左右两侧进行特征点提取，首先通过多任务（目标检测、语义分割）深度学习网络输出所有的果树和支撑架的包络框、以及地面可行驶区域的掩码图，再通过传统视觉的方式精准提取两侧的特征点，并且在在葡萄果树行间，针对果树侧和支撑架侧不同的特点，采用不同的特征点提取方法，再分别进行直线拟合，取角平分线作为导航线，该导航线提取方法可以在葡萄园场景下部署果实运输机器人，通过计算当前时刻机器人的行驶方向和导航线之间的偏转角度，让机器人进行实时的方向调整，让机器人可以在果树行间无碰撞行驶，完成在葡萄园果树行间的运输、巡检等任务。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。