一种判断串型水果采摘过程中突发干扰的方法

技术领域

本发明涉及水果采摘技术领域，具体涉及一种判断串型水果采摘过程中突发干扰的方法。

背景技术

葡萄、荔枝、龙眼为代表的串型水果大多仍以人工采摘为主，人工采摘劳动强度大、采摘效率低、采摘时间长，极易错过最佳的水果采摘周期，从而影响水果采摘后的口感、甚至造成果实减产，影响种植成本。

目前，随着机械智能化、数字化科技的发展，越来越多的自动化采摘机械已经应用于串型水果的采摘过程；例如，中国专利文献CN111602517A公开了一种串型水果分布式视觉主动感知方法及其应用，其通过分布式视觉方案，大视场相机确定大范围水果和品质判断、辅助采摘顺序规划，小视场相机确定具体采摘水果的姿态和位置信息、辅助具体采摘过程，减少采摘作业信息决策不足和机械手作业活动冗余的技术问题，有效提高串型水果的采摘效率；此外，其通过分布式视觉主动感知方法来智能观察串型水果目标，机械手通过不断探索找到最适宜的采摘点，降低采摘遮挡或重叠水果的不确定性，切实解决单次采摘失败导致机器人终止任务的问题，提高采摘机器人的智能化与自动化水平，提高采摘机器人的工作效率和水果收获率。然而，在采摘过程中，由于风力、重力、天气等多重因素的影响，会出现枝条移动、枝条断裂、枝叶掉落等突发情况，从而对运行的采摘机械手造成干扰、影响采摘机械手的正常运行；若采摘机器人无法及时应对突发的干扰情况，极易出现错采、漏采、采摘机械手损伤枝条以及采摘机械手自身破损等问题，影响采摘效率的同时增加采收成本。

发明内容

针对以上现有技术存在的问题，本发明的目的在于一种判断串型水果采摘过程中突发干扰的方法，该方法能够及时判断采摘过程中出现的突发干扰情况，从而及时、有效的对干扰进行拦截，有效避免突发干扰造成的采摘机械手(具体为采摘执行器)偏离既定位置、采摘机械手(具体为采摘执行器)损伤、枝条损伤等问题，进而高效、准确的完成串型水果的采摘。

本发明的目的通过以下技术方案实现：

一种判断串型水果采摘过程中突发干扰的方法，其特征在于：采用包括移动底盘、采摘机械臂、采摘执行器、双目立体视觉相机、单目视觉相机、拦截装置与工控机的采摘机器人，具体步骤为：

步骤S1、利用双目立体视觉相机定位串型水果的采摘点、并将其(即采摘点)发送给工控机，工控机通过采摘机械臂控制采摘执行器向采摘点运动；同时，单目视觉相机记录包含采摘点、采摘执行器与采摘机械臂的大视场图片；

步骤S2、以采摘机械臂的进给速度为参照标准，单目视觉相机按照该进给速度进行实时拍照、抓取图片，比较相邻两个时刻的大视场图片，判断是否触发拦截装置；

步骤S3、若步骤S2中判断为是，则开启拦截装置并驱动采摘机械臂与采摘执行器继续沿采摘点运动、实现采摘，若步骤S2中判断为否、则直接沿既定路线实现串型水果的采摘。

基于上述方案的进一步优化，所述采摘机械臂、单目视觉相机、工控机分别设置在移动底盘上(且确保单目视觉相机的视场中始终存在采摘机械臂、采摘执行器与串型水果的大视场)；采摘执行器设置在采摘机械臂末端(即远离移动底盘的一端)且双目立体视觉相机设置在采摘机械臂末端(即远离移动底盘一端)的法兰盘上，拦截装置设置在采摘执行器外圈、且与采摘机械臂末端(即远离移动底盘一端)固定连接；采摘机械臂控制器、采摘执行器、拦截装置、双目立体视觉相机、单目视觉相机分别与工控机电性连接。

基于上述方案的进一步优化，所述步骤S1中双目立体视觉相机定位串型水果的采摘点的具体步骤为：

步骤S11、双目立体视觉相机通过YOLOv4算法识别串型水果果实后、取一帧图像进行定位识别，通过HSV色域值对识别到的串型水果果实串进行颜色分割，分离出串型水果果实与枝条的图像；

步骤S12、对分离出的串型水果果实识别框与枝条识别框进行重合度判断，具体为：

式中：C表示重合度大小；x

若满足重合度条件，则认为以枝条识别框下方的果实识别框为对应枝条的从属果实；若未满足重合度条件、即未能成功配对枝条，则移出对应的枝条图像；

步骤S13、对于完成从属果实关系配对的枝条，单独提取出该枝条图像，并将其图像区域二值化为单值连通域；

步骤S14、将枝条的单值连通域图像的高度方向划分为十等分，判断每条等分线水平方向上的连通域宽度，并将相邻水平方向上的宽度值进行两两相减、获得宽度差值△X

步骤S15、将步骤S14获得的采摘点像素坐标(x

基于上述方案的进一步优化，所述步骤S11具体为：

步骤S111、通过预训练完成的YOLOv4识别串型水果图像，并截取识别框内的图像；

步骤S112、针对截取的图像，利用统计的串型水果果实与枝条的H(色相)、S(饱和度)、V(明亮度)数值范围对图像进行色域分割；

步骤S113、对色域分割后的图像进行二值化处理，再进行凸包填充，输出连通域的最小矩形区域；

步骤S114、通过获取的最小矩形区域，获取串型水果果实与枝条的相机像素坐标、识别框中心点与识别框长和宽的信息。

基于上述方案的进一步优化，所述步骤S15通过双目视差计算采摘点的世界坐标具体为：

式中：Q表示双目立体视觉相机的重投影矩阵；T表示双目立体视觉相机的基线距离；f表示焦距；x’、x分别表示双目立体视觉相机的左、右相机视图的横坐标，d表示视差，X、Y、Z分别表示目标在世界坐标系下的距离分量；W表示权重参数。

基于上述方案的进一步优化，所述步骤S2具体为：

步骤S21、首先，采用采摘机械臂图片、采摘点图片训练YOLOv4模型，并将训练部署好的YOLOv4模型嵌入到工控机内，YOLOv4模型所使用的损失函数L

式中，IOU表示图像的置信度值；A表示预测框、B表示真实框，ρ表示欧式距离，A

在单目视觉相机按照采摘机械臂进给速度进行拍照、抓取图片时，对每张图片用YOLOv4模型识别图片中的采摘机械臂、采摘点；

步骤S22、分别用置信度框将一幅图像中识别的采摘机械臂、采摘点框起来，并比较两个置信度框的宽度、高度，将高度最大、最小以及宽度最大、最小以外的大视场部分设置为黑色，获得拦截比较图；

步骤S23、比较单目视觉相机相邻两个时刻的拦截比较图，依次判断是否出现第一情况、第二情况与第三情况，若出现其中(即第一情况、第二情况与第三情况)中的任一情况，则触发拦截装置；

第一情况为：后一时刻的采摘机械臂与采摘点的置信度框边缘之间有断线；

第二情况为：后一时刻的采摘点置信度框几何中心点与前一时刻采摘点置信度框几何中心点坐标之间的偏移量超过偏移阈值；

第三情况为：采摘机械臂置信度框与采摘点置信度框中间存在不属于前一时刻的异物。

基于上述方案的进一步优化，所述第一情况判断的具体方法为：

步骤S231、应用canny边缘检测算法，分别提取采摘机械臂与采摘点两个检测框(即置信度框)的边缘：

首先，计算不同像素点的梯度强度：

式中：G(x,y)表示梯度幅值；θ(x,y)表示梯度方向；G

然后，应用非极大值抑制与双阈值处理的方法，在梯度方向上保留局部极大值、获取准确的检测框边缘：

若G(x,y)≥高阈值，则为强边缘；若低阈值≤G(x,y)＜高阈值，则为弱边缘；若G(x,y)<低阈值，则为非边缘；

步骤S232、对提取分离出来的边缘区域，进行连通性分析：

首先，分别获得采摘机械臂连通分量的中心点坐标C

式中，(x

然后，计算采摘机械臂与采摘点之间的连通分量中心点之间的距离D：

最后，预设连接阈值D

基于上述方案的进一步优化，所述第二情况判断的具体方法为：

首先，分别获得前一时刻采摘点的几何中心点C

式中，(x

然后，计算前一时刻与后一时刻采摘点的几何中心点的偏移量D

最后，预设偏移阈值D

基于上述方案的进一步优化，所述第三情况判断的具体方法为：

对采摘机械臂与采摘点之间进行颜色差异分析，获得采摘机械臂与采摘点之间的颜色差异H

式中，I

预设颜色阈值H

以下是本发明方案所具备的技术效果：

本申请通过首先通过双目立体视觉相机对串型水果的采摘点进行识别，然后利用单目视觉相机实时记录包含采摘点、采摘执行器与采摘机械臂的大视场图片，通过对采摘机械臂与采摘点之间置信度框的实时比较，从而判断采摘过程中是否出现突发干扰，并通过设置在采摘机械臂上的拦截装置对出现的突发干扰进行实时、有效的拦截，避免突发干扰造成采摘机械臂或采摘执行器偏移(易造成采摘机械臂、采摘执行器、串型水果等损伤)、双目立体相机视觉被遮挡(易导致无法二次定位)、采摘点不精确导致的错采或漏采等问题，进而保证采摘精度、提升采摘效率、降低采摘成本，避免由于采摘过程导致的串型水果不良率提升、保证串型水果的种植效益。

附图说明

图1为本发明实施例中双目立体视觉相机获取采摘点的流程图。

图2为本发明实施例中单目视觉相机获得拦截比较图的示意图。

图3为本发明实施例中采摘机器人的整体结构示意图。

其中，1、采摘机械臂；2、工控机；3、移动底盘；4、拦截装置；5、双目立体视觉相机；6、采摘执行器。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

实施例1：

参照下图1～3所示：一种判断串型水果采摘过程中突发干扰的方法，本实施例中，以荔枝为例，其特征在于：采用包括移动底盘3、采摘机械臂1、采摘执行器6、双目立体视觉相机5、单目视觉相机、拦截装置4与工控机2的采摘机器人，采摘机械臂1、单目视觉相机、工控机2分别设置在移动底盘3上(且确保单目视觉相机的视场中始终存在采摘机械臂1、采摘执行器6与串型水果的大视场，若单目视觉相机直接设置在移动底板3无法实现上述目的，可将单目视觉相机单独设置)，同时，移动底盘3可采用现有技术常见的履带式移动小车(参见图3所示)；采摘执行器6设置在采摘机械臂1末端(即远离移动底盘3的一端)且双目立体视觉相机5设置在采摘机械臂1末端(即远离移动底盘3一端)的法兰盘上，拦截装置4设置在采摘执行器6外圈、且与采摘机械臂1末端(即远离移动底盘3一端)固定连接；采摘机械臂1控制器、采摘执行器6、拦截装置4、双目立体视觉相机5、单目视觉相机分别与工控机2电性连接。

具体步骤为：

步骤S1、利用双目立体视觉相机5定位串型水果的采摘点：

步骤S11、双目立体视觉相机5通过YOLOv4算法识别串型水果果实后、取一帧图像进行定位识别，通过HSV色域值对识别到的串型水果果实串进行颜色分割，分离出串型水果果实与枝条的图像；包括：

步骤S111、通过预训练完成的YOLOv4识别串型水果图像，并截取识别框内的图像；

步骤S112、针对截取的图像，利用统计的串型水果果实与枝条的H(色相)、S(饱和度)、V(明亮度)数值范围对图像进行色域分割；

步骤S113、对色域分割后的图像进行二值化处理，再进行凸包填充，输出连通域的最小矩形区域；

步骤S114、通过获取的最小矩形区域，获取串型水果果实与枝条的相机像素坐标、识别框中心点与识别框长和宽的信息。

步骤S12、对分离出的串型水果果实识别框与枝条识别框进行重合度判断，具体为：

式中：C表示重合度大小；x

若满足重合度条件，则认为以枝条识别框下方的果实识别框为对应枝条的从属果实；若未满足重合度条件、即未能成功配对枝条，则移出对应的枝条图像；

步骤S13、对于完成从属果实关系配对的枝条，单独提取出该枝条图像，并将其图像区域二值化为单值连通域，参见图1所示的左侧两幅图；

步骤S14、如图1所示的最中间的一幅图，将枝条的单值连通域图像的高度方向划分为十等分，判断每条等分线水平方向上的连通域宽度，并将相邻水平方向上的宽度值进行两两相减、获得宽度差值△X

步骤S15、将步骤S14获得的采摘点像素坐标(x

式中：Q表示双目立体视觉相机5的重投影矩阵；T表示双目立体视觉相机5的基线距离；f表示焦距；x’、x分别表示双目立体视觉相机5的左、右相机视图的横坐标，d表示视差，X、Y、Z分别表示目标在世界坐标系下的距离分量；W表示权重参数。

并将其(即采摘点)发送给工控机2，工控机2通过采摘机械臂1控制采摘执行器6向采摘点运动；同时，单目视觉相机记录包含采摘点、采摘执行器6与采摘机械臂1的大视场图片。

步骤S2、以采摘机械臂1的进给速度为参照标准，单目视觉相机按照该进给速度进行实时拍照、抓取图片，比较相邻两个时刻的大视场图片，判断是否触发拦截装置4；具体为：

步骤S21、首先，采用采摘机械臂1图片、采摘点图片训练YOLOv4模型，并将训练部署好的YOLOv4模型嵌入到工控机2内，YOLOv4模型所使用的损失函数L

式中，IOU表示图像的置信度值；A表示预测框、B表示真实框，ρ表示欧式距离，A

在单目视觉相机按照采摘机械臂进给速度进行拍照、抓取图片时，对每张图片用YOLOv4模型识别图片中的采摘机械臂1、采摘点(采摘点可通过上述双目立体视觉相机5获取后、利用坐标点转换方法将世界坐标转换为单目视觉相机坐标系内的点，坐标点转换方法采用本领域常见方法即可、例如手眼标定算法)；

步骤S22、分别用置信度框将一幅图像中识别的采摘机械臂1、采摘点框起来，并比较两个置信度框的宽度、高度，将高度最大、最小以及宽度最大、最小以外的大视场部分设置为黑色，获得拦截比较图，参见图2所示；

步骤S23、比较单目视觉相机相邻两个时刻的拦截比较图，依次判断是否出现第一情况、第二情况与第三情况，若出现其中(即第一情况、第二情况与第三情况)中的任一情况，则触发拦截装置4(即首先判断是否出现第一情况，若出现、则触发拦截并不进行第二情况与第三情况的判断，若未出现、则进行是否出现第二情况的判断；若出现第二情况、则触发拦截并不进行第三情况的判断，若未出现、则进行是否出现第三情况的判断；若出现第三情况、则触发拦截，若未出现、则按照既定路线进行采摘)；

第一情况为：后一时刻的采摘机械臂1与采摘点的置信度框边缘之间有断线；

第一情况判断的具体方法为：步骤S231、应用canny边缘检测算法，分别提取采摘机械臂1与采摘点两个检测框(即置信度框)的边缘：

首先，计算不同像素点的梯度强度：

式中：G(x,y)表示梯度幅值；θ(x,y)表示梯度方向；G

然后，应用非极大值抑制与双阈值处理的方法(非极大值抑制采用本领域常规方法，本实施例不做过多限定)，在梯度方向上保留局部极大值、获取准确的检测框边缘：

若G(x,y)≥高阈值，则为强边缘；若低阈值≤G(x,y)＜高阈值，则为弱边缘；若G(x,y)<低阈值，则为非边缘(需要说明的是，高阈值与低阈值根据实际情况进行预设)；

步骤S232、对提取分离出来的边缘区域，进行连通性分析：

首先，分别获得采摘机械臂1连通分量的中心点坐标C

式中，(x

然后，计算采摘机械臂1与采摘点之间的连通分量中心点之间的距离D：

最后，预设连接阈值D

第二情况为：后一时刻的采摘点置信度框几何中心点与前一时刻采摘点置信度框几何中心点坐标之间的偏移量超过偏移阈值；

第二情况判断的具体方法为：

首先，分别获得前一时刻采摘点的几何中心点C

式中，(x

然后，计算前一时刻与后一时刻采摘点的几何中心点的偏移量D

最后，预设偏移阈值D

第三情况为：采摘机械臂1置信度框与采摘点置信度框中间存在不属于前一时刻的异物；

第三情况判断的具体方法为：

对采摘机械臂1与采摘点之间进行颜色差异分析，获得采摘机械臂1与采摘点之间的颜色差异H

式中，I

预设颜色阈值H

步骤S3、若步骤S2中判断为是，则开启拦截装置4并驱动采摘机械臂1与采摘执行器6继续沿采摘点运动、实现采摘，若步骤S2中判断为否、则直接沿既定路线实现串型水果的采摘。

实施例2：

作为对本发明实施例方案的进一步优化，一种串型水果精确采摘方法，在实施例1方案的基础上，第一情况中采摘机械臂1连通分量的中心点坐标C

由于采摘点与采摘机械臂的置信度框均为矩形框，因此，将(X

其中，

根据上述公式分别求出C

实施例3：

作为对本发明实施例方案的进一步优化，在实施例1或实施例2方案的基础上，拦截装置4采用三面包围的折叠机构、从而实现对采摘执行器6的左、右侧面与顶面进行包围，参照图3所示。