挂在牵引车上的自主农业设备

技术领域

本公开涉及一种牵引车，其被配置成识别定位在牵引车附近的一件或多件农业设备，并行驶至该一件或多件农业设备中的一件，以便将该设备附接到拖车。

背景技术

拖车通常是由动力牵引车辆牵拉的无动力车辆、工具或设备。当提到农业设备时，动力牵引车辆典型地是指牵引车(后装载或前装载)或配置成附接到拖车并牵拉拖车的任何其他车辆。拖车可以是任何类型的农业机具，诸如浇水机(bailer)、平板拖车、犁、播种机、收割机、打捆机等。在前装载牵引车的情况下，拖车(即无动力车辆)实际上可能位于牵引车辆(即提供动力的车辆)的前方。

拖车可以使用拖车挂接装置附接到牵引车。接收器挂接装置安装在牵引车上，并连接到拖车挂接装置以形成连接。当处理农用设备时，牵引车和拖车之间的连接点(即挂接装置)可能根据拖车的机具的类型而变化。

拖车挂接装置可以是球窝式、备用轮鹅颈式、拖车千斤顶式、吊环式、挂索驱动式、牵引杆式或三点式挂接装置。也可以使用其他附接机构。除了拖车和牵引车之间的机械连接之外，在一些示例中，拖车电连接到牵引车。这样，电连接允许拖车从动力牵引车的尾灯电路获取馈电，从而允许拖车具有与动力牵引车的灯同步的灯。

牵引车操作员面临的一些挑战是将牵引车连接到拖车，因为需要不止一个人。例如，一个人(例如操作员)驾驶牵引车，而另外的一个或多个人需要观察牵引车和拖车，并向操作员提供关于牵引车必须采取以与挂接装置对准的路径的指导。如果为操作员提供指导的人不适应将牵引车挂到拖车，那么他们可能难以提供有效的指令来指引牵引车的路径。

传感器技术的最新进展导致了改进的车辆安全系统。用于检测和避免碰撞的布置和方法变得可用。这种操作员辅助系统使用位于车辆上的传感器来检测正在发生的碰撞。在一些示例中，系统可以警告操作员一种或多种驾驶情况，以防止或最大程度减少碰撞。此外，当车辆正在向前方向上行进时，传感器和相机也可以用于警告操作员可能的障碍物。因此，希望提供一种包括传感器的系统来克服牵引车的操作员面临的挑战。

发明内容

一个总体方面包括一种使用挂接辅助系统反向操纵牵引车以附接到拖车的方法，该方法包括：进入挂接辅助模式。该方法还包括在用户接口上显示相机图像，其中所显示的图像显示至少一个相机。该方法还包括在通信中的用户接口处接收所选拖车的指示。该方法还包括利用计算设备确定规划路径，即从初始位置到邻近拖车的最终位置的牵引车路径，该牵引车路径包括配置成将牵引车沿着牵引车路径从初始位置移动到最终位置的操纵。该方法还包括在与计算设备通信的驱动系统处自主地遵循从初始位置到最终位置的牵引车路径。

实施方式可以包括以下一个或多个特征。该方法还包括：当牵引车沿着牵引车路径移动时，在神经网络处连续地检测牵引车路径内的一个或多个对象。该方法还可以包括当检测到对象时在计算设备处改变牵引车路径。检测一个或多个拖车的方法包括：在与神经网络通信的一个或多个成像设备处捕获一个或多个图像，所述一个或多个成像设备中的至少一个定位在拖车面向向后方向的后侧上。该方法还可以包括在神经网络处确定一个或多个图像中的一个或多个拖车。在用户接口上显示的方法还包括：在控制器处接收来自定位在牵引车的后部上并与控制器通信的一个或多个相机的一个或多个图像；以及在控制器处叠加指示牵引车沿着其行驶的预期路径的路径表示，该预期路径从牵引车挂接装置处开始。选择拖车的方法还包括：在控制器处通过用户接口接收第一命令，该第一命令指示路径表示的变化，使得路径表示在感兴趣的点处结束；以及在控制器处基于第一命令调整路径表示，并且其中路径规划由挂接辅助系统的控制器完成。该方法还包括：在到达最终位置之前，在驱动系统处将牵引车停止或暂停在中间位置，该中间位置比初始位置更靠近最终位置。该方法还可以包括在驱动系统处修改与牵引车相关联的一个或多个牵引车悬架，以将牵引车挂接装置与拖车挂接装置对准。该方法还可以包括在驱动系统处自主地遵循从中间位置到最终位置的牵引车路径。该方法还可以包括在驱动系统处将牵引车挂接装置与拖车挂接装置连接。将牵引车挂接装置与拖车挂接装置连接的方法包括修改与牵引车相关联的一个或多个牵引车悬架，以将牵引车挂接装置与拖车挂接装置对准。

本公开的一个方面提供了一种在向后方向上朝向感兴趣的点自主地驾驶车辆的方法。该方法包括在数据处理硬件处接收来自定位在车辆的后部上并与数据处理硬件通信的相机的一个或多个图像。该方法还包括在数据处理硬件处从与数据处理硬件通信的用户接口接收操作员规划路径。操作员规划路径包括多个航路点。该方法包括从数据处理硬件向与数据处理硬件通信的驱动系统传输一个或多个命令，该命令导致车辆沿着操作员规划路径自主地操纵。该方法包括在数据处理硬件处确定当前车辆位置。此外，该方法包括在数据处理硬件处基于操作员规划路径确定估计的后续车辆位置。估计的后续车辆位置在从当前车辆位置沿着操作员规划路径的后续航路点处。该方法还包括在数据处理硬件处确定从当前车辆位置到估计的后续车辆位置的路径调整。此外，该方法包括从数据处理硬件向驱动系统传输指令，该指令导致车辆基于路径调整朝向估计的后续车辆位置自主地操纵。

本公开的另一方面提供了一种用于在向后方向上朝向感兴趣的点自主地操纵车辆的系统。该系统包括：数据处理硬件；和存储器硬件，其与数据处理硬件通信。存储器硬件存储指令，当在数据处理硬件上执行时，该指令导致数据处理硬件执行包括上述方法的操作。

本公开的各方面的实施方式可以包括一个或多个以下任选特征。在一些实施方式中，该方法包括：将路径覆盖在一个或多个图像上；以及通过与数据处理硬件通信的用户接口接收命令。该命令包括将路径调整为操作员规划路径的指令。该命令可以包括调整路径的距离的指令。在一些示例中，该命令包括调整路径的角度的指令。该命令可以包括调整路径的末端部分的角度的指令。

在一些示例中，确定当前车辆位置包括接收与一个或多个车轮相关联的车轮编码器传感器数据和接收转向角传感器数据。当前车辆位置基于车轮编码器传感器数据和转向角传感器数据。

在附图和以下描述中阐述了本公开的一个或多个实施方式的细节。其他方面、特征和优点将从说明书和附图以及权利要求书显而易见。

附图说明

图1是具有用户接口的示例性牵引车的示意图，该用户接口显示牵引车后面的拖车的指示。

图2是示例性牵引车的示意图。

图3A和图3B是沿着规划路径自主地操纵的示例性牵引车的透视图。

图4A是处于初始位置的示例性牵引车的透视图。

图4B是处于中间位置的示例性牵引车的透视图。

图4C是处于最终位置的示例性牵引车的透视图。

图5A至图5D是连接到示例性牵引车系统的拖车挂接装置的示例性挂接装置的透视图。

图6A和图6B是第二示例性牵引车系统的示意图。

图7A和图7B是系统的示例性状态图表的示意图。

图8A和图8B是第二示例性牵引车系统的示例性角度模式的示意图。

图9A和图9B是第二示例性牵引车系统的示例性距离模式的示意图。

图10A和图10B是第二示例性牵引车系统的示例性双圆弧模式的示意图。

图11A至图11B是轨迹生成计算的示意图。

图12A至图12D是第二示例性牵引车系统的运动估计计算的示意图。

图13是在向后方向上朝向感兴趣的点自主地驾驶车辆的示例性方法的示意图。

图14是用于反向操作牵引车以附接到第一和第二示例性牵引车系统的拖车的操作的示例性布置的流程图。

图15是在向后方向上朝向感兴趣的点自主地驾驶车辆的示例性方法的示意图。

各个附图中类似的参考符号表示类似的元件。

具体实施方式

牵引车(诸如但不限于后装载牵引车或前装载牵引车车，在下文中称为牵引车)可以被配置成牵引拖车。牵引车可以是其它类型的车辆和农业设备，它们被提供动力并被配置成牵拉其它农业机具。拖车可以是任何类型的农业机具，诸如浇水机、平板拖车、犁、播种机、收割机、打捆机等。在前装载牵引车的情况下，拖车(即无动力车辆)实际上可能位于牵引车(即提供动力的车辆)的前方。在下文中，所有此类设备都将被称为拖车。

牵引车通过拖车挂接装置连接到拖车。希望有一种牵引车，其能够朝向拖车自主地操纵并附接到拖车，从而不需要操作员驾驶牵引车(例如，在向后方向上)，同时另外一个或多个人向操作员提供关于必须采取以与拖车并最终与拖车的挂接装置对准的路径的指导。这样，具有自主驾驶和挂接特征的牵引车为操作员提供了在将牵引车挂接到拖车时更安全且更快捷的体验。

参考图1至图2B，在一些实施方式中，牵引车100的操作员想要牵引拖车200、200a-200c，例如，来自一组拖车200、200a-200c的特定拖车200a-200c。牵引车100可以被配置成接收与所选拖车200、200a-200c相关联的操作员选择144的指示并朝向所选拖车200、200a-200c自主地行驶。牵引车100可以包括驱动系统110，驱动系统110基于具有例如x、y和z分量的驱动命令横跨表面操纵牵引车100。如图所示，驱动系统110包括右前车轮112、112a、左前车轮112、112b、右后车轮112、112c和左后车轮112、112d。驱动系统110也可以包括其他车轮配置。驱动系统110还可以包括制动系统120和加速系统130，制动系统120包括与每个车轮112、112a-112d相关联的制动器，加速系统130被配置成调整牵引车100的速度和方向。此外，驱动系统110可以包括悬架系统132，该悬架系统132包括与每个车轮112、112a-112d相关联的轮胎、轮胎空气、弹簧、减震器以及将牵引车100连接到其车轮112、112a-112d并允许牵引车100和车轮112、112a-112d之间相对运动的联动装置。悬架系统132通过隔离噪音、颠簸和振动来改善牵引车100的操纵并提供更好的乘坐质量。此外，悬架系统132被配置成调整牵引车100的高度，允许牵引车挂接装置160与拖车挂接装置210对准，这允许牵引车100和拖车200之间的自主连接。

牵引车100可以通过相对于由牵引车100限定的三个相互垂直的轴线的各种运动组合横跨表面移动：横向轴线X、前后轴线Y和中心竖直轴线Z。横向轴线X在牵引车100的右侧R和左侧之间延伸。沿着前后轴线Y的向前驱动方向被指定为F，也称为向前运动。此外，沿着前后方向Y的向后或后向驱动方向被指定为R，也称为向后运动。当悬架系统132调整牵引车100的悬架时，牵引车100可以围绕X轴线和/或Y轴线倾斜，或者沿着中心竖直轴线Z移动。这里所示的示例是位于牵引车100的后方位置的拖车200。然而，这在本质上仅仅示出为示例性的，并且本领域技术人员将能够将该实施例应用于也位于牵引车100的前部或大体上后部位置的拖车200。备选地，本领域技术人员能够将该实施例应用于具有前装载牵引车挂接装置160的牵引车100。此外，为了简化绘图，所示的牵引车100和拖车200使用带有球形挂接装置和接收器的挂接装置。其他类型的挂接装置可以用于示例性实施例。

牵引车100可以包括诸如显示器的用户接口140。用户接口140经由一个或多个输入机构或触摸屏显示器142从操作员接收一个或多个用户命令，和/或向操作员显示一个或多个通知。用户接口140与控制器300通信，控制器300又与传感器系统400通信。在一些示例中，用户接口140显示牵引车100的环境的图像，导致一个或多个命令被用户接口140(从操作员)接收，该命令启动一个或多个行为的执行。控制器300包括计算设备(或处理器)302(例如，具有一个或多个计算处理器的中央处理单元)，其与能够存储可在计算处理器上执行的指令的非暂时性存储器304(例如，硬盘、闪存、随机存取存储器)通信。

控制器300执行操作员辅助系统310，操作员辅助系统310又包括路径遵循子系统320。路径遵循子系统320从路径规划系统550接收规划路径552(图3A和图3B)，并执行行为322-330，行为322-330向驱动系统110发送命令301，导致牵引车100在向后方向R上围绕规划路径552自主地行驶。

路径遵循子系统320包括制动行为322、变速行为324、转向行为326、挂接装置连接行为328和悬架调整行为330。每个行为330、330a-330c导致牵引车100采取行动，诸如向后行驶、以特定角度转弯、刹车、加速、减速等等。通过控制驱动系统110，更具体地说，通过向驱动系统110发出命令301，控制器300可以在任何方向上横跨表面操纵牵引车100。例如，控制器300可以将牵引车100从初始位置(如图5A所示)操纵到最终位置(如图5C所示)。在最终位置，牵引车100的挂接装置联接器162与拖车200的挂接装置联接器212对准，挂接装置联接器212连接牵引车100和所选的拖车200、200a-200c。

牵引车100可以包括传感器系统400，以提供可靠和稳健的自主驾驶。传感器系统400可以包括不同类型的传感器，这些传感器可以单独使用或彼此一起使用，以产生对牵引车的环境的感知，该感知用于牵引车100基于由传感器系统400检测到的对象和障碍物自主地驾驶和做出智能决策。传感器可以包括但不限于一个或多个成像设备(诸如相机)410和传感器420，诸如但不限于雷达、声纳、LIDAR(光检测和测距，其可能需要测量散射光的属性以找到远处目标的距离和/或其他信息的光学遥感)、LADAR(激光检测和测距)等。此外，当牵引车100在向前方向F上或在向后方向R上行进时，相机410和传感器420可以用于通过经由用户接口140的听觉警报和/或视觉警报来警告操作员可能的障碍物。因此，传感器系统400对于提高在半自主或自主条件下操作的牵引车100的安全性特别有用。

在一些实施方式中，牵引车100包括后相机410、410a，后相机410、410a安装成提供牵引车100的后行驶路径的视图。此外，在一些示例中，牵引车100包括为牵引车100提供前行驶路径的视图的前相机410、410b、定位在牵引车100的右侧上的右相机410、410c以及定位在牵引车100的左侧上的左相机410、410d。左相机410、410d和右相机410、410c提供了牵引车100的附加侧视图。在这种情况下，除了沿着前和后行驶路径检测到的对象和障碍物之外，牵引车100还可以检测定位在牵引车100的任一侧上的对象和障碍物。相机410、410a-410d可以是单目相机、双目相机或能够提供牵引车100的后行进路径的视图的另一种类型的感测设备。

在一些实施方式中，牵引车100包括一个或多个神经网络(NN) 500，例如深度神经网络(DNN)，以改善牵引车100的自主驾驶。DNN 500是计算机科学和其他学科中使用的计算方法，并且基于大量神经单位的集合，大致地模仿生物大脑利用由轴突连接的大簇生物神经元解决问题的方式。DNN 500是自学习和受训的，而不是编程的，并且在解决方案特征检测难以在传统计算机程序中表达的领域表现出色。换句话说，DNN 500是一组设计用于识别模式的算法。DNN 500通过机器感知、标记或聚类原始输入来解释传感器系统数据402(例如，来自传感器系统400)。被识别的模式是数值向量，诸如图像、文本、声音或时间序列的所有真实世界的数据都被转换成向量。DNN 500包括与DNN非暂时性存储器504通信的多层非线性处理单元502。DNN非暂时性存储器504存储指令，当在非线性处理单元502上执行时，这些指令导致DNN 500提供输出506、508。每个非线性处理单元502被配置成使用通过训练习得的参数来变换输入或信号(例如，传感器系统数据402)。从输入(例如，传感器系统数据402)到输出506、508的一系列变换发生在多层非线性处理单元502处。因此，DNN 500能够基于图像412或传感器数据422来确定位置，从而消除了具有DGPS或GPS的需要。

DNN 500接收传感器系统数据402(包括图像412和/或传感器数据422)，并基于接收的数据402向用户接口140提供图像输出506和/或向控制器300提供数据输出508。在一些示例中，DNN 500从与DNN 500通信的相机410接收牵引车100的后视图的图像412。DNN 500分析图像412，并在接收的图像412中识别一个或多个拖车200。DNN 500还可以从与DNN 500通信的传感器420接收传感器数据420，并分析接收的传感器数据420。基于分析的图像412(或分析的图像412和传感器数据422)，DNN 500例如通过坐标系来识别每个识别的拖车200相对于牵引车100的位置。这样，DNN 500在用户接口140上显示接收的图像412，该图像显示位于牵引车100后面一定距离处的识别的拖车200、200a-200c的拖车表示146、146a-146c。如图1所示，第一拖车200a、第二拖车200b和第三拖车200c定位在牵引车100的后面。这样，用户接口140显示分别与第一拖车200a、第二拖车200b和第三拖车200c相关联的第一拖车表示146a、第二拖车表示146b和第三拖车表示146c。

操作员可以选择拖车表示146、146a-146c中的一个，该拖车表示指示操作员希望牵引车100自动地驾驶并连接到与所选拖车表示146相关联的拖车200、200a-200c，即操作员选择144。在一些示例中，用户接口是触摸屏显示器142；这样，操作员可以用他的手指指向并选择拖车表示146。在其他示例中，用户接口140不是触摸屏，并且操作员可以使用输入设备(诸如但不限于旋钮或鼠标)来选择拖车表示146、146a-146c中的一个。

当操作员选择他/她希望牵引车100连接到的拖车200、200a-200c时，路径规划系统550基于所选拖车200、200a-200c相对于牵引车100的位置(例如，取向和距离)的定位(由DNN 500从接收的传感器系统数据402确定)来规划牵引车100和拖车200之间的路径552(图3)。当牵引车100朝向所选拖车200(如图1所示的第一拖车200a)自主地倒车时，规划路径552允许牵引车100自主地行驶并连接到拖车200。路径规划系统550为牵引车100规划路径552以自主地操纵，使得牵引车100在距拖车200预定距离D内的中间位置处于大体上平行于拖车200对准且背离拖车200的取向上，其中牵引车100的挂接装置160与拖车200的挂接装置210基本上对准。

在一些示例中，路径规划系统550是控制器300的一部分，如图2A所示；而在其他示例中，路径规划系统550是DNN 500的一部分，如图2B所示。参考图2A，当操作员选择与操作员希望牵引车100朝向其自主地行驶并与其连接的拖车200a相关联的拖车表示146a时，DNN500a向控制器300发送数据输出508，该数据输出包括所选拖车200a和所选拖车200a相对于牵引车100的位置。在这种情况下，路径规划系统550a规划牵引车100和所选拖车200a之间的路径552。路径规划系统550a可以使用几种方法来确定路径552。图3A和图3B提供了用于路径规划的方法。在一些示例中，路径规划系统550a在向后方向R上延伸其前后轴线Y，而拖车200a在向前方向上围绕拖车200的长度延伸前后轴线。路径规划系统550a绘制第一圆554和第二圆556，第一圆554在第一切点555处相切于面向拖车前后轴线的牵引车前后轴线Y，第二圆556在第二切点557处相切于面向牵引车前后轴线Y的拖车前后轴线。第一圆554和第二圆556在交点558处相交。第一圆554和第二圆556的大小可以基于牵引车100和拖车200之间的距离、位于牵引车100和拖车200之间的障碍物和对象以及任何其他考虑因素来调整和操控。路径规划系统550a确定路径552，遵循牵引车前后轴线Y直到第一切点555，然后沿着第一圆554的弧移动直到交点558，然后沿着第二圆556的弧移动直到第二切点557，然后遵循拖车前后轴线。这样，规划的路径552将牵引车100定位在大体上平行于拖车200对准且背离拖车200a的取向上，其中牵引车100的挂接装置160与拖车200的拖车挂接装置210的挂接装置接收器212基本上对准。换句话说，牵引车100的前后轴线Y与拖车200a的前后轴线T基本上对准。图3A示出了其中牵引车100的前后轴线Y基本上平行于拖车200a的前后轴线T的路径552的示例。而图3B示出了其中牵引车100的前后轴线Y基本上不平行于拖车200a的前后轴线T的路径552的示例。

继续参照图2A、图3A和图3B，在一些示例中，当牵引车100沿着规划路径552自主地行驶时，DNN 500基于接收的传感器系统数据402(即图像412)向控制器300连续地发送当牵引车100沿着规划路径552移动时所选拖车200a相对于牵引车100的位置。由于图像412随着牵引车100接近所选拖车200a而更新，因此所选拖车200a相对于牵引车100的位置也随着牵引车100移动靠近所选拖车200a而改变。在一些示例中，DNN 500识别沿着规划路径552的一个或多个对象，并向路径规划系统550a发送与该一个或多个对象的位置相关的数据。在这种情况下，路径规划系统550a可以重新计算规划路径552以避开该一个或多个对象。在一些示例中，路径规划系统550a确定碰撞的概率，并且如果碰撞的概率超过预定阈值，则路径规划系统550a调整路径并将其发送到路径遵循子系统320。

重新参考图2B，在一些实施方式中，DNN 500包括路径规划系统550b。这样，路径规划系统550b可以基于习得的行为来确定路径552。例如，DNN 500确定所选拖车200a的位置，并基于该位置确定牵引车100的路径552。在一些示例中，确定的路径552可以类似于关于图3A和图3B描述的路径。然而，其他路径确定方法也是可能的。类似地，DNN 500(即DNN 500的路径规划系统550b)基于当牵引车100在路径552周围移动时可能在规划路径552内识别的一个或多个对象(移动的或静止的)来调整规划路径552。在一些示例中，路径规划系统550b确定碰撞的概率，并且如果碰撞的概率超过预定阈值，则路径规划系统550b调整路径并将其发送到路径遵循子系统320。

重新参考图2A和图2B，一旦路径规划系统550规划了路径552，路径遵循子系统320被配置成执行导致驱动系统110自主地遵循规划路径552的行为。因此，路径遵循子系统320包括一个或多个行为322-330，这些行为一旦被执行，就允许牵引车100沿着规划路径552自主地行驶。行为322-330可以包括但不限于制动行为322、变速行为324、转向行为326、挂接装置连接行为328和悬架调整行为330。

制动行为322可以基于规划路径552来执行以停止牵引车100或将牵引车减速。制动行为322向驱动系统110(例如制动系统120)发送信号或命令301，以停止牵引车100或降低牵引车100的速度。

变速行为324可以基于规划路径552来执行以通过加速或减速来改变牵引车100的速度。变速行为324将信号或命令301发送给制动系统120以用于减速或发送给加速系统130以用于加速。

转向行为326可以基于规划路径来执行以改变牵引车100的方向。这样，转向行为326向加速系统130发送指示转向角的信号或命令301，导致驱动系统110改变方向。

图4A至图4C示出了相对于所选拖车200a处于初始位置P

参考图5A-5D，在一些示例中，当牵引车100处于中间位置P

控制器300确定牵引车挂接装置联接器162的顶部部分和拖车挂接装置联接器212的底部部分之间的相对高度H

参考图1和图6A至图7B，示出了第二示例性牵引车100。同样，牵引车100可以包括配置成捕获牵引车100的环境的图像412的相机410。图像412显示在显示器142上，显示器142示出了定位在牵引车100后面的拖车200的拖车表示。操作员识别接收的图像412中的轨迹或路径554，该轨迹或路径554将牵引车挂接装置联接器552定位在拖车挂接装置联接器212下方或附近。基于图像412中操作员识别的路径554，牵引车100沿着识别的路径554自主地行驶。

牵引车100可以包括用户接口400。用户接口400可以包括用作输入机构的显示器142、旋钮143和按钮145。在一些示例中，显示器142可以显示旋钮143和按钮145。而在其他示例中，旋钮143和按钮145是旋钮按钮组合。在一些示例中，用户接口400经由一个或多个输入机构或触摸屏显示器142从操作员接收一个或多个操作员命令，和/或向操作员显示一个或多个通知。用户接口400与牵引车控制器300通信，牵引车控制器300又与传感器系统400通信。在一些示例中，显示器142显示牵引车100的环境的图像，该图像导致一个或多个命令被用户接口400(从操作员)接收，该命令启动一个或多个行为的执行。在一些示例中，用户显示器142显示牵引车100的后方环境的表示图像。在这种情况下，操作员可以选择图像的表示内的位置，该表示指示操作员希望车辆自主地操纵朝向的环境。在一些示例中，用户显示器142显示定位在牵引车100后面的拖车200的一个或多个表示。在这种情况下，操作员选择牵引车100自主地操纵朝向的拖车200的表示。

显示器142显示牵引车100的预期路径554，该路径叠加在牵引车100的后方环境的相机图像412上。操作员可以使用用户接口400改变预期路径554。例如，操作员可以转动模拟虚拟转向轮的旋钮143。当操作员转动旋钮143时，在显示器142上显示的预期路径更新。操作员调整显示的路径554，直到显示在显示器142上的预期路径与用户希望牵引车100驶向的拖车表示或其他对象相交。一旦用户对所显示的预期路径554感到满意，则操作员执行指示最终确定路径554的动作，这允许牵引车100自主地遵循规划路径554。规划路径554是从牵引车挂接装置联接器552到拖车挂接装置接收器/联接器212的路径。车轮路径552是车轮将沿着规划路径554移动的估计路径。

在一些实施方式中，用户可以调整三种路径模式312，包括如图8A和图8B所示的用于调整路径的弯曲角度的角度模式314，如图9A和图9B所示的用于调整预期路径554的长度的距离模式316，以及任选地如图10A和图10B所示的用于调整“接近角”的双弧模式318，该角度用于在操纵结束时车辆将如何相对于拖车(或其他对象)定向。由于双弧模式是任选的，如果用户对当前构建的路径(圆弧)感到满意，则用户可以通过再次按压按钮来最终确定操纵选择。否则，用户第三次调整旋钮以改变双弧或其他合适路径的形状。这允许调整到拖车或其他对象的最终接近角。一旦用户对接近角的选择感到满意，他/她就按压按钮来最终确定路径选择。

牵引车控制器300包括计算设备(或处理器)302(例如，具有一个或多个计算处理器的中央处理单元)，其与能够存储可在计算处理器302上执行的指令的非暂时性存储器304(例如，硬盘、闪存、随机存取存储器)通信。

牵引车控制器300执行操作员辅助系统310，该操作员辅助系统310从路径系统550接收规划路径552，并执行行为330、330a-330c，这些行为向驱动系统110发送命令301，导致牵引车100在向后方向R(在所示示例中)上围绕规划路径554自主地行驶。

路径遵循行为330包括制动行为330a、变速行为330b和转向行为330c。在一些示例中，路径遵循行为330还包括挂接装置连接行为和悬架调整行为。每个行为330、330a-330c导致牵引车100采取行动，诸如向后行驶、以特定角度转弯、刹车、加速、减速等等。通过控制驱动系统110，更具体地说，通过向驱动系统110发出命令301，牵引车控制器300可以在任何方向上横跨表面操纵牵引车100。

牵引车100可以包括传感器系统400，以提供可靠和稳健的驾驶。传感器系统400可以包括不同类型的传感器，这些传感器可以单独使用或彼此一起使用，以产生对牵引车100的环境的感知，该感知用于牵引车100基于由传感器系统400检测到的对象和障碍物来行驶和辅助操作员做出智能决策。传感器系统400可以包括一个或多个相机410。在一些实施方式中，牵引车100包括后相机410、410a，后相机410、410a安装成提供牵引车100的后行驶路径的视图。后相机410可以包括鱼眼镜头，该鱼眼镜头包括超广角镜头，该超广角镜头产生强烈的视觉变形，旨在创建宽的全景或半球形图像。鱼眼相机捕获具有非常宽的视角的图像。此外，由鱼眼相机捕获的图像具有特有的凸状非线性外观。也可以使用其他类型的相机来捕获牵引车100的后部的图像。

传感器系统400还可以包括IMU(惯性测量单元)420，其被配置成测量牵引车的线性加速度(使用一个或多个加速度计)和旋转速率(使用一个或多个陀螺仪)。在一些示例中，IMU 420还确定牵引车100的航向基准。因此，IMU 420确定牵引车100的俯仰、侧倾和横摆。

传感器系统400可以包括其他传感器，诸如但不限于雷达、声纳、LIDAR(光检测和测距，其可能需要测量散射光的属性以找到远处目标的距离和/或其他信息的光学遥感)、LADAR(激光检测和测距)等。

牵引车控制器300执行挂接辅助系统310，该系统从相机410接收图像412，并将牵引车路径552叠加在接收的图像412上。

重新参考图6A至图6B，牵引车控制器300执行挂接辅助系统310，该系统辅助操作员选择路径552，以朝向拖车200自主地驾驶牵引车100。操作员可以通过用户接口140(例如，在显示器142上进行选择)来启动挂接辅助系统160的执行。一旦启动，挂接辅助系统160就指示显示器142显示牵引车100的路径552，该路径552叠加在牵引车100的后方环境的相机图像143上。操作员可以使用用户接口140改变规划路径552。例如，操作员可以转动模拟虚拟转向轮的旋钮143。当操作员转动旋钮143时，显示在显示器142上的规划路径552被更新。操作员调整显示的路径552，直到显示在显示器142上的更新的规划路径552与操作员希望牵引车100驶向的拖车表示138或其他对象相交。一旦操作员对所显示的规划路径552感到满意，则操作员执行指示最终确定路径552的动作，这允许牵引车100自主地遵循规划路径。

在一些实施方式中，挂接辅助系统160包括轨迹生成器560、运动估计器570和路径跟踪器580。轨迹生成器560基于操作员选择的路径552确定牵引车100的估计位置。运动估计器570确定牵引车100的实际位置，并且路径跟踪器580基于估计位置Pe和实际位置Pa确定误差562，并且调整牵引车100的规划路径552以消除实际位置Pa和估计位置Pe之间的误差562。

在一些实施方式中，轨迹生成器560从相机410接收图像143，并将车辆路径552叠加在接收的图像143上。操作员可以基于一个或多个路径模式312来调整路径552的选择。在一些示例中，路径模式312包括具有角度子模式314和距离子模式316的弧模式312。在一些示例中，路径模式312可以包括双弧模式318。因此，操作员可以在角度子模式314、距离子模式和/或双弧模式318之间进行选择，以确定和调整到拖车200或对象的路径552。

参考图7A和图7B，在一些示例中，角度子模式314和距离子模式316是弧模式312(图7A)的一部分，因此，操作员首先选择模式312、318，然后选择所选模式312、318内的子模式。这样，例如，显示器142可以显示操作员可以从中选择的弧模式按钮145和双弧模式按钮145。图7B示出了其中每个子模式/模式314、316、318为独立的示例。因此，按钮145的按压或推动在三种模式314、316、318之间旋转。

角度子模式314被配置成调整路径552的弯曲角度，如图8A和图8B所示。因此，操作员可以向右转动旋钮143，导致显示的路径552具有向右的弯曲，如图8A所示。此外，操作员可以向左转动旋钮143，导致显示的路径552具有向左的弯曲，如图8B所示。距离子模式316被配置成调整预期路径552的长度，如图8A和图8B所示。例如，参考图8A，操作员可以旋转旋钮143以将路径552的目的地定位在图像143中的拖车表示138附近。参考图8B，图像143示出了具有比图8A所示的路径更短的长度的路径552。因此，在这种情况下，操作员可能希望牵引车100在向后方向R上自主地移动几米。双弧模式318被配置成调整接近角，该接近角指示牵引车100将如何在路径552的末端相对于拖车200(或其他对象)定向，如图10A和图10B所示。例如，双弧模式318帮助操作员将牵引车100与拖车200对准，使得牵引车100的前后轴线Y与拖车200的前后轴线Y对准，这在牵引车100和拖车200之间的挂接过程中帮助操作员。参考图11A和图11B，弧模式312和双弧模式318都具有相同的端点；然而，双弧模式318允许调整朝向拖车200的接近角。在一些示例中，当操作员切换到双弧模式318时，轨迹生成器560使开始位置和结束位置保持相同。在双弧模式318中，操作员可以仅调整到拖车200的接近角。在双弧模式318中，操作员不调整距离。在一些示例中，操作员选择的路径552的半径和长度决定了牵引车100的最终位置。车辆控制器150使用杜宾斯路径来确定作为最佳计算的路径552。

在一些实施方式中，其中双弧模式318为任选的，如果操作员基于弧模式312的选择对路径552满意，则操作员可以通过按压按钮145来最终确定路径552。否则，操作员第三次调整旋钮143以改变双弧或其他合适路径552的形状。这允许调整到拖车200或其他对象的最终接近角。一旦操作员对接近角的选择满意，他/她就按压按钮145以最终确定路径选择。

在一些实施方式中，操作员将牵引车100停放在拖车200或其他对象或感兴趣的点在牵引车100的后相机410的视野内的位置。牵引车100的发动机可以空转，并且变速器处于“驻车”位置。操作员可以通过按压按钮145和/或在显示器142上进行选择来启动轨迹生成器560。在一些示例中，显示器142显示允许操作员启动弧模式312的可选择选项或按钮145。轨迹生成器560通过执行弧模式312的角度子模式314开始，如图7A和图7B所示。操作员切换到距离子模式316，以通过例如按压按钮145来调整路径552的距离。在一些示例中，通过在角度子模式314和距离子模式316之间切换并调整路径552，直到期望的路径552显示在显示器上，操作员可以调整路径552。操作员调整路径552，使得路径552的外部边界554与拖车200(即，图像143内的拖车表示138)或其他感兴趣的点相交。

在一些实施方式中，到拖车200或感兴趣的点的最终接近角对于例如将车辆前后轴线Y与拖车前后轴线Y对准是重要的。在这种情况下，操作员可以选择或按压“弧/双弧模式”按钮145(显示在显示器142上)并切换到双弧模式318。在双弧模式318中，路径552的先前设置的端点保持不变，并且操作员用旋钮143调整最终接近角。当操作员对最终接近角和完整的轨迹或路径552满意时，操作员可以通过执行动作来确认所选的路径552。在一些示例中，操作员将变速器切换到倒档，这表示操作员对显示的路径552满意。在一些示例中，操作员在踩下制动器的情况下将变速器切换到倒档，然后释放制动器，并且牵引车100遵循所选路径552。在一些示例中，当车辆沿着路径552在向后方向R上自主地操纵时，操作员可以通过例如按压制动器来停止牵引车100。这导致车辆控制器150退出挂接辅助系统160。

在一些实施方式中，轨迹生成器560将路径距离设置为默认值，这允许操作员仅调整转向角，直到其与拖车200或其他感兴趣的点相交。

在一些实施方式中，不调整最终接近角。相反，最终接近角始终与初始车辆离去角相同。因此，最终车辆前后轴线Y平行于初始车辆前后轴线Y。在这种情况下，操作员调整路径552的最终位置以与拖车相交。

在一些示例中，当牵引车100沿着路径552在向后方向R上操纵时，显示器142可以显示牵引车100沿着路径552的行进。例如，显示器142可以显示投影在地面上的原始轨迹，但是由车辆的变化位置更新。显示器142还可以显示车辆遵循该轨迹的程度的指示。

在一些实施方式中，轨迹生成器560从其他车辆系统接收数据以生成路径552。在一些示例中，轨迹生成器560接收由(x, y, θ)限定的车辆姿态数据，其中x是牵引车100的中心在X-Y平面中沿着横向轴线X的位置，y是车辆的中心在X-Y平面中沿着前后轴线Y的位置，并且θ是牵引车100的航向。此外，轨迹生成器560可以从旋钮143接收旋钮143的位置，例如旋钮角度。轨迹生成器560还可以接收模式按钮状态(即，弧模式312或双弧模式318)和子模式按钮状态(即，角度子模式314或距离子模式316)。基于接收的数据，轨迹生成器560调整路径552并指示显示器142显示路径552。在一些示例中，路径552包括外部边界554和牵引球路径166，牵引球路径166是牵引球122的估计路径。轨迹生成器560还可以指示显示器142显示当前模式或子模式状态，该状态指示驾驶员已经选择来调整路径552的模式/子模式。

重新参考图6A和图6B，一旦操作员经由用户接口140指示他的路径选择完成，车辆控制器150执行操作员辅助系统320以遵循规划路径552。操作员辅助系统320包括路径遵循行为330。路径遵循行为330接收所选路径552，并执行一个或多个行为330a-330b，这些行为向驱动系统110发送命令194，导致牵引车100沿着规划路径552自主地行驶。当牵引车100沿着规划路径552自主地操纵时，挂接辅助系统160基于运动估计器570和路径跟踪器连续地更新路径552，如下文所讨论。

重新参考图6A和图6B，当牵引车100沿着路径552在向后方向R上自主地操纵时，运动估计器570确定牵引车100的当前位置Pa。如先前所讨论，轨迹生成器560基于规划路径552确定牵引车100应该在哪里，即估计位置Pe；因此，运动估计器确定牵引车100的实际位置Pa。在一些示例中，运动估计器包括输出相对车辆位置和速度的运动估计算法。例如，运动估计算法可以包括扩展卡尔曼滤波器(EKF)。EKF使用测量值，诸如但不限于来自4个车轮的编码器(例如，每转96个刻度（tick）)和转向角。运动估计器570融合测量值以确定牵引车100的实际位置。由于当牵引车100在向后方向上自主地移动时牵引车100的速度较慢，运动估计器570可以使用自行车模型。自行车模型使用在前面的单个转向车轮来代表两个前车轮，并且使用在后面的单个非转向车轮来代表两个后车轮。车轮由单个刚性连杆连接。运动被限制到二维水平地平面。自行车模型的输入是速度和转向角，而其状态是位置和航向。运动估计器570估计线速度和旋转速度以及位置(例如，车辆的取向)。在一些示例中，运动估计器570考虑来自传感器系统400的传感器数据，例如相机、雷达、GPS测量值，以改善任何漂移。

在一些实施方式中，运动估计器570使用扩展卡尔曼滤波器(EKF)。EKF方程也在下面作为方程(3)-(7)提供。状态向量具有方程1中所示的九个元素：

前三个是车辆的“姿态”(x, y, θ)。接下来的两个是线速度和角速度(v, ω)。最后四个是四个轮胎行驶的距离(d

完整的测量向量具有方程2中所示的五个元素：

前四个还是四个轮胎行驶的距离(d

运动估计器570提供车辆速度估计。通常通过将距离变化除以时间变化(Δd/Δt)来计算近似速度，但是，对于这里的情况，该方法将是有很大噪声的，在这里，车轮编码器计数相对较少，并且车辆移动相对较慢。因此，为了避免涉及将距离变化除以时间变化(Δd/Δt)的直接计算，运动估计器570基于测量的车轮累积距离通过使用EKF来估计车辆线速度v，并且不存在涉及除法的显式速率计算。

扩展卡尔曼滤波器可以写成两个预测方程和三个测量方程。预测方程为：

方程(3)提供状态μ的更新。方程(4)提供协方差Σ的更新。协方差提供了状态的当前不确定性的估计。矩阵R是状态μ的噪声协方差。

测量更新方程为：

方程(5)设置最优卡尔曼增益K的值。

方程(6)提供状态μ的更新。方程(7)提供协方差Σ的更新。矩阵Q是测量z的噪声协方差。

为了预测，需要定义非线性向量函数g。矩阵G是该向量函数的导数。为了方便起见，也会提供。向量函数g由下式给出：

这里，w是车辆的“轮距宽度”。更具体地说，它是从左轮胎的中心到右轮胎的中心的横向距离。假设轮胎之间的前距离和后距离相同。轴距由l表示。注意，在最后两个元素中，在从d

矩阵G具有九行和九列。令

I为9×9单位矩阵。则有，

所有其他元素都为零。

完整的更新假设车轮刻度和车轮角度的测量值同时可用。如果仅车轮刻度可用，则可以单独地结合车轮刻度，如果仅车轮角度可用，则可以单独地结合车轮角度。对于完整的更新，定义了向量h。矩阵H是该向量函数的导数。为了方便起见，也会提供。向量函数h由下式给出：

矩阵H是h的导数，并且是5×9的矩阵。非零元素为

注意，某些量(h

可以考虑仅由车轮刻度组成的测量，也可以考虑仅由转向角组成的测量。然而，这些变型不包括在内，因为考虑到已经提供的信息，这些变型是直接的。

在车辆沿着规划路径552在向后方向R上的自主操纵期间，轨迹生成器560基于规划路径552(即估计位置Pe)确定牵引车100应该在哪里；而运动估计器570确定牵引车100的实际位置Pa；因此，路径跟踪器580基于估计位置Pe和实际位置Pa确定误差562。路径跟踪器580基于误差562调整车辆的当前位置Pa，使得牵引车100继续遵循规划路径552。

参考图12A至图12D，在一些实施方式中，路径跟踪器580执行纯追踪方法以将牵引车100保持在规划路径552上。以预定的时间间隔，例如每分钟，对操作员选择的路径552进行采样，以产生沿着规划路径552的牵引球路径166定位的多个航路点168。路径跟踪器580(例如，算法)将从运动估计器570接收的当前牵引球位置和航向Pa与下一个航路点位置Pb相比较。车辆挂接辅助系统160朝向当前航路点Pb(即车辆正驶向的航路点)不断地调整车辆转向。路径跟踪器580允许车辆牵引球122跟踪每个航路点168。换句话说，路径跟踪器580允许牵引球122沿着牵引球路径166到达每个航路点。在一些示例中，航路点168被从世界坐标转换成车辆坐标。例如，路径跟踪器580基于牵引球位置Pa和航路点位置Pb计算转弯圆的中心Cc。然后，路径跟踪器580基于转弯圆的中心计算车辆转弯半径Rr。最后，路径跟踪器580使用阿克曼角基于转弯圆的中心计算转向角。换句话说，路径跟踪器580将估计位置Pe与当前位置Pa进行比较，以确保车辆正遵循该路径，并确定下一个航路点Pb，并且确定或调整从当前车辆位置和航向到下一个或后续航路点Pb的路径。因此，路径跟踪器580保持牵引车100沿着规划路径自主地操纵，并且当牵引车100偏离规划路径时调整车辆的行为或行驶。

在一些示例中，控制器包括对象检测系统(未示出)，其识别沿着规划路径552的一个或多个对象。在这种情况下，挂接辅助系统160调整路径552以避开检测到的一个或多个对象。在一些示例中，挂接辅助系统160确定碰撞的概率，并且如果碰撞的概率超过预定阈值，则挂接辅助系统160调整路径552并将其发送给操作员辅助系统320。

一旦操作员指示进入所选路径552，则车辆控制器150执行操作员辅助系统320，该系统320又包括路径遵循行为330。路径遵循行为330接收所选路径552，并执行一个或多个行为330a-330b，这些行为向驱动系统110发送命令194，导致牵引车100沿着规划路径在向后方向R上自主地行驶。

路径遵循行为330a-b可以包括一个或多个行为，诸如但不限于制动行为330a、变速行为330b和转向行为330c。每个行为330a-330b导致牵引车100采取行动，诸如向后行驶、以特定角度转弯、刹车、加速、减速等等。通过控制驱动系统110，更具体地说，通过向驱动系统110发出命令194，车辆控制器150可以在任何方向上横跨道路表面操纵牵引车100。

制动行为330a可以基于规划路径来执行以停止牵引车100或将牵引车减速。制动行为330a向驱动系统110(例如制动系统(未示出))发送信号或命令194，以停止牵引车100或降低牵引车100的速度。

变速行为330b可以基于规划路径552来执行以通过加速或减速来改变牵引车100的速度。变速行为330b将信号或命令194发送给制动系统120以用于减速或发送给加速系统1320以用于加速。

转向行为330c可以基于规划路径552来执行以改变牵引车100的方向。这样，转向行为330c向加速系统140发送指示转向角的信号或命令194，导致驱动系统110改变方向。

图13示出了朝向所选拖车200、200a自主地操纵牵引车100(如图1至图12D所示)的方法800的操作的示例布置。在框802，方法800包括通过接收操作员想要自主地将牵引车100挂接到拖车200、200a的指示来启动挂接辅助模式。该指示可以是通过牵引车100的用户接口140上的选择、将牵引车置于倒车(无反转)或任何其他指示。在框804，DNN 500检测并定位牵引车100后面的一个或多个拖车200、200a-200c，并通过用户接口140显示分别与一个或多个识别的拖车200、200a-200c相关联的拖车表示146、146a-146c。备选地，相机图像显示在显示器142上。在判定框806，方法800等待操作员选择144。通过从显示器上的一个或多个拖车表示146、146a-146c中选择一个，或通过操纵用户输入旋钮143，直到路径表示(即路径跟踪器480)与显示的图像上的感兴趣点(即包括挂接装置图像位置的拖车表示146)对准，操作员可以从显示的图像中进行选择。当操作员选择与所选拖车200a相关联的拖车表示146、146a-146c时，在框808，方法800包括规划从牵引车100的初始位置P

图14提供了使用图1至图8B中描述的系统在向后方向R上朝向感兴趣的点(诸如拖车200)自主地操纵牵引车100(例如牵引车辆)的方法900的操作的示例布置。在框902，方法900包括在数据处理硬件152处接收来自定位在牵引车100的后部上并与数据处理硬件152通信的相机142的一个或多个图像143。在框904，方法900包括在数据处理硬件152处从与数据处理硬件152通信的用户接口130接收操作员规划路径162。操作员规划路径162包括多个航路点168。在框906，方法900包括从数据处理硬件152向与数据处理硬件152通信的驱动系统110传输一个或多个命令161、194，该命令导致牵引车100沿着操作员规划路径162自主地操纵。在框908，方法900包括在数据处理硬件152处确定当前车辆位置Pa。在框910，方法900包括在数据处理硬件152处基于操作员规划路径确定估计的后续车辆位置，估计的后续车辆位置在从当前车辆位置Pa沿着操作员规划路径162的后续航路点Pb处。在框912，方法900包括在数据处理硬件152处确定从当前车辆位置Pa到估计的后续车辆位置Pb的路径调整。在框914，方法900包括从数据处理硬件152向驱动系统110传输指令，该指令导致牵引车100基于路径调整朝向估计的后续车辆位置Pb自主地操纵。

图10提供了使用图1至图8B中描述的系统在向后方向R上朝向感兴趣的点(诸如拖车200)自主地操纵牵引车100(例如牵引车辆)的另一方法1000的操作的示例布置。在框1002，方法1000包括在数据处理硬件152处接收来自定位在牵引车100的后部上并与数据处理硬件152通信的一个或多个相机142的一个或多个图像143。在框1004，方法1000包括在数据处理硬件152处从与数据处理硬件152通信的用户接口130接收操作员规划路径162。在框1006，方法1000包括从数据处理硬件152向与数据处理硬件152通信的驱动系统110传输一个或多个命令，该命令导致牵引车100沿着操作员规划路径162自主地操纵。在框1008，方法1000包括在数据处理硬件152处基于操作员规划路径162确定估计的车辆位置Pe。在框1010，方法1000包括在数据处理硬件152处确定当前车辆位置Pa。在框1012，方法1000包括在数据处理硬件152处基于估计的车辆位置Pe和当前车辆位置Pa确定误差184。在框1014，方法1000包括在数据处理硬件152处确定一个或多个路径调整命令，该命令导致牵引车100从当前车辆位置Pa自主地操纵到估计的车辆位置Pe，从而消除误差184。在框1016，方法1000从数据处理硬件152向驱动系统110传输一个或多个路径调整命令。

在一些示例中，方法900、1000包括将路径覆盖在一个或多个图像143上以及通过与数据处理硬件152通信的用户接口130接收命令。该命令包括将路径调整为操作员规划路径162的指令。在一些示例中，该命令包括调整路径的距离的指令。该命令可以包括调整路径的角度的指令和/或调整路径的末端部分的角度的指令。

在一些实施方式中，确定当前车辆位置包括接收与一个或多个车轮112相关联的车轮编码器传感器数据145和接收转向角传感器数据145。当前车辆位置Pa基于车轮编码器传感器数据145和转向角传感器数据145。

如先前所讨论，所提出的算法被设计成在使用或不使用GPU、图形加速器、训练或FPGA的情况下在标准CPU中实时工作。此外，所提出的方法提供了一种只需要来自操作员的初始输入的自动化方法。此外，所描述的系统在为操作员提供指南和自动化所有向后的功能之间提供了折衷。

这里描述的系统和技术的各种实施方式可以在数字电子电路、集成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或它们的组合中实现。这些各种实施方式可以包括在可编程系统上可执行和/或可解释的一个或多个计算机程序中的实施方式，该可编程系统包括至少一个可编程处理器，该可编程处理器可以是专用或通用的，被联接以从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令，以及向存储系统、至少一个输入设备和至少一个输出设备发送数据和指令。

这些计算机程序(也称为程序、软件、软件应用或代码)包括用于可编程处理器的机器指令，并且可以用高级过程和/或面向对象的编程语言和/或汇编/机器语言来实现。如本文所用，术语“机器可读介质”和“计算机可读介质”是指用于向可编程处理器提供机器指令和/或数据的任何计算机程序产品、装置和/或设备(例如，磁盘、光盘、存储器、可编程逻辑器件(PLD))，包括接收机器指令作为机器可读信号的机器可读介质。术语“机器可读信号”是指用于向可编程处理器提供机器指令和/或数据的任何信号。

本说明书中描述的主题和功能操作的实施方式可以在数字电子电路中实现，或者在包括本说明书中公开的结构及其结构等同物的计算机软件、固件或硬件中实现，或者在它们中的一个或多个的组合中实现。此外，本说明书中描述的主题可以实现为一个或多个计算机程序产品，即编码在计算机可读介质上的计算机程序指令的一个或多个模块，用于由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基底、存储器设备、实现机器可读传播信号的物质的组合物、或者它们中的一个或多个的组合。术语“数据处理装置”、“计算设备”和“计算处理器”涵盖用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机或多个处理器或计算机。除了硬件之外，该装置还可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。传播信号是人工生成的信号，例如机器生成的电、光或电磁信号，其被生成来编码信息以传输到合适的接收器装置。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应该被理解为要求以所示的特定顺序或相继次序执行此类操作，或者执行所有示出的操作，以获得期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统组件的分离不应被理解为要求所有实施例中的这种分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中或者封装到多个软件产品中。

已经描述了许多实施方式。然而，应当理解，在不脱离本公开的精神和范围的情况下，可以进行各种修改。因此，其他实施方式在所附权利要求书的范围内。