具有水果对采摘和混合电动气动机器人臂的机器人水果收获机

技术领域

本发明总体上涉及农业机械，尤其涉及水果收获机器人。

背景技术

农业操作比如水果收获传统上需要大量的体力劳动。然而，已经提出了用于使这些操作自动化的各种解决方案。例如，Sarig在1993年第54卷的《农业工程研究杂志》的“Robotics of Fruit Harvesting:A State-of-the-art Review”中提供了多种水果采摘机器人学解决方案的评论。美国专利3646741描述了一种作物收获设备，其特别适于采摘树生作物，比如水果和坚果。

Peterson等人在1999年第42卷第4期的《美国农业工程师学会会报》的“A SystemsApproach to Robotic Bulk Harvesting of Apples”中描述了一种机器人批量苹果收获机。PCT国际公开WO2006/063314描述了一种农业机器人系统，用于农作物的收获、修剪、剔除、除草、测量和管理。

Beaten等人在Chamonix,France,2007的第六届田间和服务机器人国际会议FSR2007的“Autonomous Fruit Picking Machine:A Robotic Apple Harvester”中描述了一种自主水果采摘机。Scarfe等人在2009年2月的第四届自主机器人和代理国际会议记录的“Development of an Autonomous Kiwifruit Picking Robot”中描述了一种猕猴桃采摘机器人。

美国专利7765780描述了一种机器人，其绘制田地地图以确定植物位置、植物上水果的数量和大小以及每个植物上水果的大致位置，然后可以为自己或另一机器人计划和实施有效的采摘计划。De-An等人在2011年第110卷的《生物系统工程》的“Design andControl of an Apple Harvesting Robot”中描述了一种由操纵器、末端执行器和基于图像的视觉伺服控制系统构成的机器人装置。

Energid Technologies(Cambridge,Massachusetts)在2012年4月的“RoboticMass Removal of Citrus Fruit”中提出了一种用于收获的大规模移除方法。

美国专利9475189描述了一种收获系统，其包括多个机器人、一个或多个传感器以及一个或多个计算机。机器人安装在面向待收获区域的公共框架上，并且每个配置成通过从固定的接近角度到达和抓取农作物来收获农作物。传感器配置成获取该区域的图像。计算机配置为识别图像中的作物，并引导机器人收获识别的作物。

发明内容

这里描述的本发明的实施例提供了一种收获系统，包括竖直框架、多个线性机器人、多个相机以及处理器。竖直框架配置为定位成与待收获的扇区相对。机器人成对布置成竖直堆叠在框架中，每对包括第一和第二机器人，第一和第二机器人配置成沿着竖直轴一起移动，沿着水平轴彼此独立地移动，并且具有配置成接近扇区并收获水果的相应第一和第二机器人臂。多个相机配置为获取扇区的图像。处理器配置为识别图像中的水果并控制机器人收获水果。

通常，每个机器人有四个自由度。在一些实施例中，处理器配置为在图像中识别群集对水果，并且引导成对机器人彼此邻接并同步收获群集对的两个水果。在一示例实施例中，处理器配置为引导成对机器人抓取群集对的两个水果，并且仅在抓取两个水果之后，采摘群集对的水果。

在公开的实施例中，处理器配置为基于图像构建指示水果的3-D坐标、水果的定向和水果的状态的扇区的模型，并且从该模型导出多个机器人的工作时间表，该工作时间表指定(i)成对机器人在竖直位置之间的移动，以及(ii)在成对机器人的每个竖直位置，水平移动成对机器人中的每个机器人并收获水果。

在一些实施例中，每个机器人臂包括气动驱动机构和电动马达驱动机构，这两个机构都配置成伸展和缩回机器人臂。在一实施例中，处理器配置为通过共同驱动气动驱动机构和电动马达驱动机构来控制机器人臂接近扇区。

根据本发明的实施例，还提供了一种收获方法，该方法包括与待收获的扇区相对地定位竖直框架，该竖直框架具有多个线性机器人，其成对布置且竖直堆叠在框架中，每对包括第一和第二机器人，第一和第二机器人配置成沿着竖直轴一起移动，沿着水平轴彼此独立地移动，并且具有配置成接近扇区并收获水果的相应第一和第二机器人臂。使用多个相机获取扇区的图像。使用处理器，识别图像中的水果并控制机器人收获水果。

从下面结合附图对本发明实施例的详细描述中，将更全面地理解本发明，其中：

附图说明

图1是根据本发明实施例的机器人水果收获机的示意图；

图2是根据本发明实施例的图1的机器人水果收获机中的框架的示意图；

图3是示出根据本发明实施例的机器人臂的等距视图和多个侧视图的示意图；以及

图4是根据本发明实施例的流程图，其示意性地示出了用于采摘群集对苹果的方法。

具体实施方式

概述

这里描述的本发明实施例提供了改进的机器人水果收获系统和相关的收获方法。举例来说，这里描述的实施例主要涉及苹果的收获。然而，所公开的技术通常以类似的方式适用于其他合适类型的水果和农作物的收获。

在一些实施例中，收获系统包括竖直框架，其配置为定位成与待收获的扇区相对。多个四维(4自由度—DOF)线性机器人安装在框架中，并配置成从扇区收获水果。机器人成对布置，竖直堆叠在框架中。在示例实施例中，框架包括三对机器人。在一实施例中，两个这样的框架背靠背地安装在公共平台上，例如用于同时收获两行果园。为了清楚起见，下面的描述集中在一个框架上。

在典型场景中，一行树被视为待收获的“水果墙”，而扇区是在收获系统的给定位置处收获的“水果墙”的一部分。扇区的尺寸由框架的尺寸决定。

每个机器人对安装在线性致动器(称为“台架”)上，其配置为沿着框架中的竖直轴移动，并且该对中的每个机器人配置为沿着台架水平移动。因此，给定对中的两个机器人沿着竖直轴一起移动，并且沿着水平轴彼此独立地移动。

每个机器人包括线性伸缩机器人臂，其包括合适的末端执行器。机器人臂配置为接近扇区并收获水果。在一些实施例中，每个机器人臂包括气动驱动机构和电动马达驱动机构，两者都配置成伸展和缩回机器人臂。通常，气动驱动机构配置成以第一速度移动机器人臂，并且电动马达驱动机构配置成以比第一速度慢的第二速度移动机器人臂。这种双驱动机构使机器人臂能够将快速和粗略的进出树运动(使用气动驱动机构)与较慢但更精确的运动(使用电动马达驱动机构)相结合。

该系统还包括配置成获取扇区图像的多个相机。在一示例实施例中，相应的相机安装在每个机器人臂的基座上，以便从远处获取扇区图像。从远处成像(与将相机与末端执行器一起移入和移出树相反)有利于获得树和水果的多个视点，并避免灰尘、水、树叶和其他障碍物。

该系统的处理器配置成识别由相机获取的图像中的水果，并控制机器人收获水果。通常，处理器基于图像构建指示水果的3-D坐标、水果的定向和水果的状态的扇区的模型。例如，给定水果的状态可以指示水果是从顶部、底部还是侧面等附着到树上，水果是否可由机器人臂触及或被阻挡，和/或任何其他相关信息。处理器从该模型导出多个机器人的工作时间表。在其他指令中，工作时间表规定了机器人对如何在竖直位置之间移动，以及在成对机器人的每个竖直位置，对中的每个机器人如何水平移动并收获水果。

在一些实施例中，处理器配置成接收各种指令，比如待收获的水果的目标百分比，或者与每个扇区相对应花费的目标持续时间。处理器从扇区的3-D模型中得出最符合指令的最佳工作时间表。

在一些实施例中，该系统能够识别和收获群集对水果。这一特征提高了生产率，因为传统上，一对中的仅一个水果被收获，而另一个被浪费。在本发明的一些实施例中，处理器在图像中识别群集对水果，并引导成对机器人彼此邻接并同步收获群集对的两个水果。

框架中的机器人的机械配置设计成能够收获群集对水果。如下文将详细描述，安装在公共台架上的每对中的机器人能够在需要时独立操作(用于收获单独水果)并在需要时将它们的臂紧密地邻接在一起(用于收获群集对水果)。

本文描述了由同步机器人对收获成对苹果的示例过程。在所公开的过程中，两个机器人抓取群集对中的两个苹果，然后才开始一个接一个地实际采摘。这样，当第一个苹果被摘下时，另一个苹果已被抓取，因此不会掉落或受到损坏。

系统描述

图1是根据本发明实施例的机器人水果收获机20的示意图。在本示例中，收获机20被设计用于自动采摘苹果。

收获机20，在此也称为收获系统，包括便携式平台24，其上安装有一个或多个竖直框架28。框架28也称为“翼”。每个框架28配置为定位成与待收获的扇区相对。在图1的示例中，系统20包括背靠背安装在平台24上的两个框架28。在该实施方式中，系统20在两行树之间的果园过道中移动。例如，平台24可以自主移动或者可以由拖拉机拖动。

平台24通常停放成框架28面向过道两侧的相应扇区，用于同时收获行的两侧。两个框架28之间的距离可以是可配置的，以匹配树行之间的实际距离，例如手动或自动使用电致动器和接近传感器。然而，在替代实施例中，单个框架实施方式也是可能的。为了清楚起见，下面的描述涉及单个框架28的操作。

图2是示出根据本发明实施例的系统20中的框架28的元件的示意图。为了便于解释，结合参考图1和2。

在一实施例中，三个致动器32(也称为“线性台架”或简称为“台架”)安装在框架28中。两个致动器36(也称为“机器人”)面向扇区安装在每个致动器32上。本示例中的每个致动器32包括水平轨道，其能够在框架28中竖直移动，例如使用合适的电动马达。每个台架32能够独立于其他台架32竖直移动。台架32的竖直运动总范围被设计成覆盖扇区的整个高度。机械和/或软件限制通常被设置为避免台架之间的碰撞。

每个机器人36能够沿着其所安装在的台架32水平移动，例如使用合适的电动马达。机械和/或软件限制通常被设置为避免机器人之间的碰撞。每个机器人36包括线性伸缩机器人臂40，其配置成伸展、接近扇区区、收获水果以及朝向框架28缩回。

因此，每个机器人36具有四个完全受控的自由度：(1)通过台架32的运动的竖直运动，(2)沿着台架的水平运动，(3)通过臂40的运动进入和离开树的运动，以及(4)滚动(“θ”)，即臂40和附接的抓取器围绕其纵向轴线的旋转。给定对中的两个机器人36(即安装在给定台架32上的两个机器人)被约束为沿着竖直轴一起移动，但能够沿着水平轴(沿着台架)彼此独立地移动，以及进出树。

在各种实施例中，系统20的各种移动部件可以使用各种类型的线性致动器来实现。以下描述将各种致动器称为“台架”32、“机器人”36和“臂”40，以避免混淆并更好地区分不同的系统元件。此外，每个臂40通常包括多个致动器，如下所述。

通常，给定台架32上的成对机器人36相对于框架28的竖直平面以倾斜角度安装。这个角度使得臂40能够从最佳的接近角度接近水果，该角度不一定平行于地面。通常，接近角度是软件可配置的，例如，每个单独机器人36、每对机器人(即每个台架32)或框架28中的所有机器人。每个机器人臂40在其端部具有合适的末端执行器(“抓取器”)42。

在本示例中，末端执行器配置为采摘苹果。在这个示例中，末端执行器包括配置用于抓取苹果的三个指状件、用于限制指状件施加到苹果的抓取力的力限制器以及用于感测苹果的接近度的接近传感器。实际的采摘动作是通过使末端执行器绕其纵向轴线做偏心运动(机械的或受控的)旋转来完成的，远离树缩回。这一过程将在下面详细介绍。

在替代实施例中，例如为了采摘其他类型的水果，可以使用任何其他合适的末端执行器。例如，用于采摘橙子的末端执行器可以包括上述指状件、力限制器和接近传感器，并且还包括用于从肢体无损地切割橙子的切割器。

在一些实施例中，系统20包括多个水平输送器44，每对机器人36下方有一个输送器。竖直输送器48联接到每个框架28的水平输送器上。每个机器人36在采摘水果并向框架28缩回之后，释放水果，使得水果落到水平输送器44上。水平输送器将水果输送到竖直输送器48，其从框架的水平输送器44收集水果并将它们输送到中央输送器(图中隐藏)。中央输送器从两个框架28聚集水果，并将水果运送到例如箱柜填充机用于进一步加工。

在一些实施例中，系统20还包括多个相机56，其配置为获取部分扇区的图像。相机56可以包括例如红-绿-蓝(RGB)、单色、近红外(NIR)或其他红外(IR)、热或其他合适类型的相机。在本示例中，每个相机56安装在相应机器人臂40的基座上。因此，相机与机器人一起竖直和水平移动，但不进出树。

系统20还包括处理器60，其执行系统的各种计算任务。在其他任务中，处理器60接收由相机56获取的图像，识别图像中的水果(例如苹果)，并控制机器人36收获水果。处理器60通常配置成通过(I)控制竖直移动台架32的马达，(ii)控制沿着台架32水平移动机器人36的马达，以及(iii)控制移动机器人臂40和致动末端执行器42的驱动机构来控制机器人36。

在一些实施例中，一旦系统20定位成与待收获的扇区相对，处理器60就在多个竖直和水平位置之间移动相机56(通过移动机器人36)，并指示相机从各个位置获取扇区的图像，以便获得可以分析的大量视觉数据。

基于从相机56接收的图像，处理器60构建指示水果的3-D坐标的扇区的模型。处理器60从该模型导出机器人36的工作时间表。工作时间表将机器人分配给水果，并且例如规定每个台架32的竖直运动作为时间的函数，每个机器人36沿着台架32的水平运动作为时间的函数，以及每个机器人臂40的操作作为时间的函数。

在一些实施例中，处理器60接收用于生成工作时间表的用户定义的指令。例如，用户定义的指令可以包括：

-待收获的水果的目标百分比(例如至少收获80％水果的指令)。

-与每个扇区相对应花费的最大持续时间。

-是否收获群集对水果的指令。

-定义适合收获的水果的特征(如大小、颜色或成熟度)。

处理器60从扇区的3-D模型导出与指令最匹配的最佳工作时间表。

通常，处理器60包括一个或多个通用处理器，其以软件编程来执行这里描述的功能。例如，软件可以通过网络以电子形式下载到任何或所有处理器，或者可替代地或另外，它可被提供和/或存储在非暂时性有形介质上，比如磁、光或电子存储器。

示例机器人臂配置

图3是示出根据本发明实施例的机器人臂40的多个视图的示意图。通常，系统20中的机器人36的所有机器人臂40都是这种结构。

机器人臂40的等距视图示出在图的右下角。臂40包括基座68和伸缩组件，伸缩组件包括外部伸缩元件72和内部伸缩元件。末端执行器(“抓取器”)42位于内部伸缩元件76的远端。臂40还包括受控旋转致动器80，其配置为绕臂40的纵向轴线旋转末端执行器42，以便采摘由末端执行器保持的水果(在本示例中为苹果)。

电动马达82配置成驱动电动驱动机构，其相对于基座68移动伸缩组件。此外，气动驱动机构(通常是气动致动器，在该视图中未示出)配置成伸展和收缩伸缩组件，即相对于外部伸缩元件72移动内部伸缩元件76。

等距视图示出了臂40处于其完全伸展(最长)位置。臂40的伸展通过(I)外部伸缩元件72相对于基座68的运动，以及(ii)内部伸缩元件76相对于外部伸缩元件72的运动来实现。

侧视图84示出了处于其完全收缩位置(最短位置，也称为基座位置)的臂40。在该位置，外部伸缩元件72相对于基座68完全收缩，并且内部伸缩元件76完全收缩在外部伸缩元件72内部。

侧视图88示出了处于部分伸展位置的臂40。在该位置，外部伸缩元件72相对于基座68完全伸展，但内部伸缩元件76完全收缩在外部伸缩元件72内部。

侧视图92示出了处于完全伸展位置的臂40(类似于等距视图)。在该位置，外部伸缩元件72相对于基座68完全伸展，并且内部伸缩元件76完全伸出外部伸缩元件72。

侧视图96类似于侧视图92，但示出了伸缩组件的内部。侧视图100是伸缩元件72和76的内部的放大视图。该视图示出了用于将内部伸缩元件76移入和移出外部伸缩元件72的气动致动器104。

在一实施例中，电动马达驱动机构相对于基座68移动伸缩组件，并且气动驱动机构相对于外部伸缩元件72移动内部伸缩元件76。然而，可替代地，两个驱动机构中的任何一个可以用于移动臂40的任何元件。

电驱动机构(例如电动马达82)和气动驱动机构(例如气动致动器104)都由处理器60控制。处理器60通常配置成在闭环中感测和控制每个驱动机构的位置和速度。在一实施例中，电驱动机构的运动范围在0-650mm之间，气动驱动机构的运动范围是额外的0-300mm。因此，当一起操作时，臂40在完全收缩位置和完全伸展位置之间的总运动范围是0-950mm。臂40的水平抓取范围稍微低一些，约为0-820mm，因为臂是倾斜的并且不平行于地面。上面给出的尺寸纯粹是为了举例。在替代实施例中可以使用任何其他合适的尺寸。

图1-3中所示的系统20及其元件(比如机器人36和臂40)的配置是纯粹为了概念清楚而选择的示例配置。在替代实施例中，可以使用任何其他合适的配置。例如，该系统可以具有每个框架28的任何其他合适数量的台架32，和/或每个台架32的任何其他合适数量的机器人36。

在示例实施例中，框架28提供1300mm(水平长度)乘4400mm(高度)的总收获面积。在该实施例中，高度尺寸覆盖在框架28的两个位置：框架28的总高度为3700mm(并且臂40由于其倾斜角度而在完全伸展时达到～3800mm的高度)的下部位置和框架28的总高度为4300mm(并且臂40在完全伸展时达到～4400mm的高度)的上部位置。运输过程中，框架28的总高度为3700mm。

在该实施例中，机器20的宽度(两个框架28之间的间隔)在全开时为2700mm，在全闭时为1700mm。在另一实施例中，机器20的全开宽度为2900mm，全闭宽度为1800mm，臂40的水平抓取范围约为0-880mm。以上所有尺寸仅作为示例给出。在替代实施例中，可以使用任何其他合适的尺寸。

采摘群集对水果

常规的收获技术通常不能收获群集水果。在某些情况下，在收获之前，疏伐过程会将群集减少到单个水果，或者最多减少到一对水果。常规的收获方法通常只能采摘一对中的一个水果，而另一个被浪费了。

在本发明的一些实施例中，系统20的硬件和软件设计成能够收获群集对果实。这种能力是通过(I)成对机器人36在台架32上将它们的臂40紧密邻接在一起的能力，以及(ii)由成对这样的机器人36以协调的方式采摘成对集群水果的特别设计的过程来实现的。

图4是根据本发明实施例的流程图，其示意性地示出了用于采摘群集对苹果的方法。该方法在处理器60的控制下由给定台架32上的成对机器人36执行。在一些实施例中，图4的方法被实现为机器人36的整体工作时间表的一部分，如上所述。

该方法开始于对检测步骤110，处理器60检测由相机56获取的图像中的群集对苹果。在对几何检测步骤114，处理器60估计(I)群集对作为整体的位置坐标，(ii)对中的每个单独苹果的位置坐标，以及(iii)对中的每个单独苹果的空间定向。

在臂选择步骤118，处理器60分配两个机器人臂40之一作为主臂，第二机器人臂40作为副臂。分配可以是任意的，或者基于某种选择标准。在一示例实施例中，处理器60基于树中每个水果的深度(距框架28的距离)和/或每个臂40与其被分配采摘的相应水果之间的距离来选择主臂。可替代地，可以使用任何其他合适的标准。

在定位步骤122，处理器60将成对机器人36移动到框架28中的合适水平和竖直位置，与群集对苹果相对。如上所述，通过向上或向下移动台架32，向机器人施加竖直运动。通过沿着台架32移动机器人36来施加水平移动。

在初始接近步骤126，处理器60开始以高速向群集对伸展两臂40。在一实施例中，处理器60继续臂40的快速初始接近，直到臂的末端执行器42到达距水果的预定距离。

在初始接近过程中，处理器60将每个臂40的末端执行器42围绕臂的纵向轴线旋转(使用旋转致动器80)到最适合采摘相应水果的滚动角。该滚动角称为末端执行器(“抓取器”)的“采摘位置”。处理器60可以基于水果的估计空间定向(在上面的步骤114估计)来确定适当的滚动角。

在主臂接近步骤130，处理器60停止副臂，并缓慢地伸展主臂。当主臂到达苹果时，处理器60致动主臂的末端执行器42以抓取苹果。

然后，在副臂接近步骤134，处理器60缓慢地伸展副臂。当副臂到达苹果时，处理器60致动副臂的末端执行器42以抓取苹果。

现在，在采摘步骤138，在双臂已经安全地抓取群集对中的它们各自的苹果之后，处理器60指示两个机器人采摘苹果。由于在开始采摘操作之前两个苹果都被抓取，所以采摘一个苹果不会导致另一个苹果掉落。

通常，处理器60致动两臂的旋转致动器80来旋转苹果。同时，处理器60将两臂水平地(沿着台架32)远离彼此移动，直到达到某个预定的水平间距。这个动作将两个苹果从树上分离，并且还确保苹果彼此很好地分离以避免损坏。

然后，在缩回步骤142，处理器60以高速缩回两臂机器人远离树。同时，处理器60将臂40的末端执行器42旋转到“水果释放位置”，即旋转到最适合将苹果掉落到水平输送器44上的滚动角。

同时，处理器60将两臂水平地进一步远离彼此移动，直到达到预定的水平间距，其足以避免在输送器44上碰伤苹果。在释放步骤146，处理器60致动两臂的末端执行器42来将苹果释放到输送器44上。

图4的方法流程是纯粹为了概念清晰而描述的示例流程。在替代实施例中，处理器60可以以任何其他合适的方式控制成对机器人36，用于协调地采摘聚集对苹果。

虽然这里描述的实施例主要解决水果的收获，但这里描述的方法和系统也可以用于其他应用，比如应用成对机器人臂来执行其他任务，比如稀疏或修剪。

因此，应当理解，上述实施例是作为示例引用的，并且本发明不限于上文具体示出和描述的内容。相反，本发明的范围包括上述各种特征的组合和子组合，以及本领域技术人员在阅读前述描述后会想到的并且在现有技术中没有公开的其变化和修改。通过引用结合在本专利申请中的文件被认为是本申请的组成部分，除了在这些结合的文件中以与本说明书中明确或隐含的定义相冲突的方式定义的任何术语的范围之外，应该只考虑本说明书中的定义。