基于单目相机与双目相机识别串型水果母枝的方法

技术领域

本发明涉及水果智能采摘技术领域，具体涉及一种基于单目相机与双目相机识别串型水果母枝的方法。

背景技术

我国是龙眼、葡萄、荔枝等串型水果的主要生产国，种植和生产总量位居世界前列，具有巨大的经济潜力；例如荔枝，作为亚热带典型的串型水果，在我国华南地区，种植荔枝已成为农民脱贫致富的重要经济支柱之一。

目前，采摘串型水果基本依靠人工进行，采摘劳动强度大、采摘费用高，浪费大量的人力物力。随着科技的进步以及智能化水平的发展，采摘机器人的研究和应用越来越多，给果园管理以及水果采摘带来一定的便捷，同时，也有效解放了人力、降低了人力成本。人工在采摘串型水果的过程中，需要优先确定果串的母枝，以采摘、剪断母枝的方式，使果串与果树分离；从母枝进行果串的剪断确保果串的完整性、避免其散成若干小串，从而有利于储存、运输以及保证果串的美观性，确保其经济价值。但是，由于串型水果自身生长特点，果串整体极易随机分布生长，从而造成果串识别难、母枝识别定位难、无法准确找到整个串型水果母枝的问题，从而使得替代人工采摘作业的串型水果智能化采摘系统在广泛应用方面面临巨大挑战。

发明内容

针对以上现有技术存在的问题，本发明的目的在于提供一种基于单目相机与双目相机识别串型水果母枝的方法，该方法能够精确、有效的识别果串以及对果串母枝进行定位，从而实现智能化采摘串型水果、采摘效率高，有效降低人力成本。

本发明的目的通过以下技术方案实现：

一种基于单目相机与双目相机识别串型水果母枝的方法，其特征在于：

S001、采用单目CCD相机随机获取连同串型水果特征在内的多副彩色图像；

S002、选取并划分彩色图像内的多个果实目标以及非果实目标，并分别提取果实目标以及非果实目标的纹理特征值与颜色特征值，作为正负样本；

S003、采用支持向量机SVM对正负样本进行训练、生成多个弱分类器；然后采用AdaBoost算法构造强分类器，通过强分类器分割单目CCD相机获取的彩色图像，并将从图像中识别到的果实目标单独存储成彩色图像I

S004、重复步骤S002～S003，分别得到识别树枝与叶子的强分类器；然后分别在去除图像I

S005、根据果实的分布位置将果串分为单果实果串、双果实果串以及多果实果串，进而确定彩色图像I

S006、根据步骤S005中所确定的果串类型进行母枝确定：

对于单果实果串，其与果实相连的树枝即为母枝；

对于双果实果串与多果实果串，首先在彩色图像I

S007、利用双目CCD相机获取果串母枝的双目立体图像，取双目CCD相机左图像中的母枝外接矩形几何中心点作为特征匹配点，在右图像中搜索与特征匹配点灰度值最接近且使归一化互相关函数达到最大值的点，实现特征匹配，得到母枝的几何中心点；

S008、最后计算母枝几何中心点的空间坐标，实现对母枝的定位。

采用对果串类型分类以及利用贯串轮廓线外切矩形的中垂线进行母枝的确定，一是能有效消除每颗果实所连接的分枝的干扰、提高辨认精度；二是快速识别到果串的母枝，增加识别效率以及减少识别时间。

作进一步优化，所述步骤S001中串形水果特征包括果实、叶子以及树枝。

作进一步优化，所述步骤S005中采用果串分类原则进行单果实果串、双果实果串以及多果实果串的分类；

具体为：单果实果串：若一个果实的几何中心与其他任何果实的几何中心之间的欧式距离大于单个果实的平均直径，则该果实为单果实果串；双果实果串：若两个相邻果实几何中心间的欧式距离小于这两个果实的直径和，则这两个果实为一个双果实果串；多果实果串：若两个以上果实中，任意两个果实几何中心之间的欧式距离均小于两个果实的直径和，则该组果实为多果实果串。

作进一步优化，所述步骤S006中通过彩色图像I

作进一步优化，所述步骤S007中在右图像中搜索与特征匹配点灰度值最接近且使归一化互相关函数达到最大值的点的步骤具体为：

首先，通过双目CCD相机左图像P

式中，F(m,n)表示归一化相关函数；(m,n)表示右图像相对于左图像的位置向量；W

式中，F(m,n)的取值范围为[-1,1]；

当F(m,n)＝-1时，左图像的特征匹配点与右图像的待匹配点完全不相关；

当F(m,n)＝1时，左图像的特征匹配点与右图像的待匹配点完全匹配，即待匹配点为特征匹配点灰度值最接近且为使其归一化互相关函数达到最大值的点。

优选的，所述匹配窗口通常为3*3的匹配窗口。

作进一步优化，所述左图像与右图像在进行特征匹配前进行极线校正，从而使左图像与右图像的极线处于水平方向，即使左图像与右图像图像的光心处于同一水平线上。

优选的，采用Bouguet极线校正算法进行极线校正。

作进一步优化，所述步骤S008中采用三角测量原理计算母枝几何中心点的空间坐标。

本发明具有如下技术效果：

本发明提供的方法能快速、有效、准确的确定串型水果的母枝，避免果实分枝的干扰以及果实、叶子的遮挡影响母枝的识别，从而避免采摘时无法准确对母枝进行剪断、导致串型水果散开或果实易脱落，进而影响后续储存、运输。

本发明方法有效提高采摘串型水果过程中的智能化水平，自动对果树进行拍照、分析以及母枝空间坐标点的确认，提高了采摘的工作效率以及串型水果的收率。

附图说明

图1为本发明实施例中识别串型水果母枝的流程图。

图2为本发明实施例中识别串型水果母枝的原理示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例：

如图1～2所示，以荔枝串型水果为例，一种基于单目相机与双目相机识别串型水果母枝的方法，其特征在于：

S001、采用单目CCD相机随机获取连同串型水果果实、叶子以及树枝等特征在内的多副彩色图像；

S002、选取并划分彩色图像内的多个果实目标以及非果实目标，并分别提取果实目标以及非果实目标的纹理特征值与颜色特征值，作为正负样本；

S003、采用支持向量机SVM对正负样本进行训练、生成多个弱分类器；然后采用AdaBoost算法构造强分类器，通过强分类器分割单目CCD相机获取的彩色图像，并将从图像中识别到的果实目标单独存储成彩色图像I

S004、重复步骤S002～S003，分别得到识别树枝与叶子的强分类器；然后分别在去除图像I

S005、根据果实的分布位置并采用果串分类原则将果串分为单果实果串、双果实果串以及多果实果串，进而确定彩色图像I

具体为：单果实果串：若一个果实的几何中心与其他任何果实的几何中心之间的欧式距离大于单个果实的平均直径，则该果实为单果实果串；双果实果串：若两个相邻果实几何中心间的欧式距离小于这两个果实的直径和，则这两个果实为一个双果实果串；多果实果串：若两个以上果实中，任意两个果实几何中心之间的欧式距离均小于两个果实的直径和，则该组果实为多果实果串。

S006、根据步骤S005中所确定的果串类型进行母枝确定：

对于单果实果串，其与果实相连的树枝即为母枝；

对于双果实果串与多果实果串，首先在彩色图像I

S007、利用双目CCD相机获取果串母枝的双目立体图像，取双目CCD相机左图像中的母枝外接矩形几何中心点作为特征匹配点，在右图像中搜索与特征匹配点灰度值最接近且使归一化互相关函数达到最大值的点，具体步骤为：

首先，通过双目CCD相机左图像P

式中，F(m,n)表示归一化相关函数；(m,n)表示右图像相对于左图像的位置向量；W

式中，F(m,n)的取值范围为[-1,1]；

当F(m,n)＝-1时，左图像的特征匹配点与右图像的待匹配点完全不相关；

当F(m,n)＝1时，左图像的特征匹配点与右图像的待匹配点完全匹配，即待匹配点为特征匹配点灰度值最接近且为使其归一化互相关函数达到最大值的点。实现左图像与右图像的特征匹配，得到母枝的几何中心点；

匹配窗口通常为3*3的匹配窗口。

左图像与右图像在进行特征匹配前需要进行极线校正，从而使左图像与右图像的极线处于水平方向，即使左图像与右图像图像的光心处于同一水平线上；采用Bouguet极线校正算法进行极线校正。

S008、最后采用三角测量原理计算母枝几何中心点的空间坐标，实现对母枝的定位。

采用对果串类型分类以及利用贯串轮廓线外切矩形的中垂线进行母枝的确定，一是能有效消除每颗果实所连接的分枝的干扰、提高辨认精度；二是快速识别到果串的母枝，增加识别效率以及减少识别时间。

本方法采用单目相机与双目相机的结合进行串型水果的母枝识别，能够精确、有效的识别果串以及对果串母枝进行定位，从而实现智能化采摘串型水果、采摘效率高，有效降低人力成本。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。