车辆的监督控制

(本申请是申请日为2017年5月22日、申请号为2017800441684、发明名称为“车辆的监督控制”的申请的分案申请。)

背景

本说明书涉及车辆的监督控制。

车辆的人或自主驾驶造成与车辆如何根据车辆状态和环境状态(包括其他车辆和障碍物)驾驶相关联的风险。

人类驾驶员通常可以控制车辆安全可靠地前往目的地，例如，在与其他车辆和行人共用的道路网络上，同时遵守适用的道路规则。对于自驾驶(我们有时将术语“自驾驶”与“自主”可互换使用)车辆，可以基于实时传感器数据、地理数据(诸如地图)、监管和规范数据(道路规则)以及历史信息(诸如交通模式)来生成一系列控制动作。

发明内容

一般来说，在一方面，接收表达在规划的行驶路线的命名的行驶区段内操作车辆的目标的命令。目标跨越(例如，以比控制输入更高或更抽象的级别表达)控制输入的时间序列，这些控制输入要被递送给车辆的制动器、加速器、转向器(steering)或其他操作致动器中的一个或多个。命令被表达以使车辆沿着命名的行驶区段的选定的人造行驶结构进行操作。确定车辆的可行的操作方式以实现该命令。根据所确定的可行的操作方式，向车辆的制动器、加速器、转向器或其他操作致动器中的一个或多个生成一系列控制输入。该命令是从远离车辆的源接收的。

实现可包括以下特征中的两项或者更多项中的一个或任何组合。源包括遥操作设施。源位于另一车辆中。命令是从人或进程或人与进程的组合(例如，在远程源处)接收的。在远程源处向人类操作者提供车辆及其环境的显示。

一般来说，在一方面，接收表达在规划的行驶路线的命名的行驶区段内操作车辆的目标的命令。目标跨越控制输入的时间序列，这些控制输入要被递送给车辆的制动器、加速器、转向器或其他操作致动器中的一个或多个。命令被表达以使车辆沿着命名的行驶区段的选定的人造行驶结构进行操作。确定车辆的可行的操作方式以实现该命令。根据所确定的可行的操作方式，向车辆的制动器、加速器、转向器或其他操作致动器中的一个或多个生成一系列控制输入。响应于替代目标的可用选项的显示，从车辆处的人类操作者接收该命令。

实现可包括以下特征中的两项或者更多项中的一个或任何组合。显示包括车辆内的视频显示。可用选项显示为图标。可用选项显示在显示器上，该显示器是方向盘(steering wheel)、中央控制台或前座背部的部分，或位于车辆其他位置。可用选项显示在抬头显示器上。可用选项与车辆正朝向其行驶的至少一个人造行驶结构的表示一起被显示。目标包括行驶车道。目标包括行驶车道以外的其他。

一般来说，在一方面，接收表达在规划的行驶路线的命名的行驶区段内操作车辆的目标的命令。目标跨越控制输入的时间序列，这些控制输入要被递送给车辆的制动器、加速器、转向器或其他操作致动器中的一个或多个。命令被表达以使车辆沿着命名的行驶区段的选定的人造行驶结构进行操作。确定车辆的可行的操作方式以实现该命令。根据所确定的可行的操作方式，向车辆的制动器、加速器、转向器或其他操作致动器中的一个或多个生成一系列控制输入。目标包括除了单车道变换以外的操纵。

实现可包括以下特征中的两项或者更多项中的一个或任何组合。操纵包括两个或更多个车道变换。操纵包括改变速度。操纵包括使车辆停在允许停车的地方。操纵包括进入道路的肩部。操纵包括在坡道上行进。操纵包括U形转弯。操纵包括紧急停止。确定车辆的可行的操作方式以实现命令包括确定操作方式不会违反车辆的操作规则。

一般来说，在一方面，接收表达在规划的行驶路线的命名的行驶区段内操作车辆的目标的命令。目标跨越控制输入的时间序列，这些控制输入要被递送给车辆的制动器、加速器、转向器或其他操作致动器中的一个或多个。命令被表达以使车辆沿着命名的行驶区段的选定的人造行驶结构进行操作。确定车辆的可行的操作方式以实现该命令。确认可行的操作方式不会违反车辆的操作规则。根据所确定的可行的操作方式，向车辆的制动器、加速器、转向器或其他操作致动器中的一个或多个生成一系列控制输入。

实现可包括以下特征中的一个或两项或者更多项中任何组合。如果可行的操作方式将违反车辆的操作规则，则将违反规则的程度最小化或完全排除该可行的操作方式，或者在执行操作规则或忽略操作规则之间采用折衷策略。目标包括车道变换。

一般来说，在一方面，接收表达在规划的行驶路线的命名的行驶区段内操作车辆的目标的命令。目标跨越控制输入的时间序列，这些控制输入要被递送给车辆的制动器、加速器、转向器或其他操作致动器中的一个或多个。命令被表达以使车辆沿着命名的行驶区段的选定的人造行驶结构进行操作。确定车辆的可行的操作方式以实现该命令。根据所确定的可行的操作方式，向车辆的制动器、加速器、转向器或其他操作致动器中的一个或多个生成一系列控制输入。响应于操作者激活位于车辆中的按钮而接收命令。

一般来说，在一方面，接收表达在规划的行驶路线的命名的行驶区段内操作车辆的目标的命令。目标跨越控制输入的时间序列，这些控制输入要被递送给车辆的制动器、加速器、转向器或其他操作致动器中的一个或多个。命令被表达以使车辆沿着命名的行驶区段的选定的人造行驶结构进行操作。确定可行的操作方式以实现命令。根据所确定的可行的操作方式，向车辆的制动器、加速器、转向器或其他操作致动器中的一个或多个生成一系列控制输入。命令是从计算机进程接收的。

实现可包括以下特征中的两项或者更多项中的一个或任何组合。计算机进程正在远离车辆的位置运行。计算机进程正在车辆处运行。命名的行驶区段包括被指名的或编号的高速公路、道路或街道，或高速公路、道路或街道的识别的车道。

一般来说，在一方面，向车辆的人类操作者或其他乘客显示在行驶路线的命名的行驶区段内操作车辆的一个或多个任选目标的表示的表示。目标与沿着命名的行驶区段的一个或多个人造行驶结构的车辆操作相关联。每个目标跨越控制输入的时间序列，这些控制输入要被递送给车辆的制动器、加速器、转向器或其他操作致动器中的一个或多个。从人类操作者或其他乘客接收对目标中的一个或多个的选择。

实现可包括以下特征中的两项或者更多项中的一个或任何组合。所显示的表示包括图标，每个图标表示任选目标中的一个或多个。所显示的表示包括覆盖在命名的行驶区段的至少一部分的表示上的一个或多个任选目标的视觉表示。任选目标显示在抬头显示器上。任选目标显示在视频显示器上。任选目标显示在方向盘上。

其他的方面、实现、特征和优点还可以表达为系统、部件、方法、软件产品、经营商业的方法、用于执行功能的装置或步骤、以及在其他方式中。

根据以下描述和权利要求，其他方面、实现、特征和优势将变得显而易见。

附图说明

图1是车辆的框图。

图2是用于生成控制动作的系统的框图。

图3是车辆的框图。

图4是生成控制动作的进程的流程图。

图5是世界模型进程的示意图。

图6是规划进程的框图。

图7是修剪进程的框图。

图8是框图。

图9是计算机系统的框图。

图10是车道识别进程的流程图。

图11是车道选择进程的流程图。

图12是交通场景的示意图。

图13是可行的轨迹的示意图。

图14是候选轨迹集的示意图。

图15和16是第一和第二候选行驶车道的示意图。

图17是时间k的框图。

图18,19和20是显示器。

具体实施方式

如图1所示，这里我们描述了断言对车辆10的操作的监督控制的方法。监督控制可以由位于车辆内部的人类操作者11或位于车辆外部(例如，在远离车辆的位置处)的遥操作者13断言。(在一些实施方式中，监督控制可以由车内计算机进程15或远程进程171单独或与人类操作者组合来断言。)监督控制可以由人类操作者(或计算机进程)所提供的监督命令191断言。

监督命令表达在车辆操作中要达到的目标(诸如移动或操纵)。通常，由监督命令所表达的目标不表达在例如为了到达目的地而要遵循的一系列道路或根据规划路线从一条命名的(被指名的或编号的)道路到另一条道路作出的转弯的高水平，它也不表达在例如到车辆的加速器、制动器、转向器或其他驱动机构的控制输入的低水平。相反，在一些实现中，监督命令可以表达短期移动目标，仅举几例，诸如改变车辆在道路网络上的行驶车道或者走有限的通道的出口匝道，或者在街道上的下一个可用位置停车。

因此，监督控制和监督命令可以利用道路和其他人造行驶路径的物理特征，包括允许沿着路线区段的替代短途路径的特征。例如，高速公路通常具有多个车道、肩部、坡道、休息区域以及其他特征，这些特征可以是由操纵人员(或计算机进程)为各种目的而做出的选择的主题。监督控制和监督命令可以涉及在城市环境的街道网络内导航交叉路口、经过缓慢移动的车辆或在街道之间转弯。

在我们在此描述的系统和技术的一些实现中，由人类操作者选择或指定监督命令(我们有时广泛地使用术语“选择”，以包括在所呈现的选项中做出选择或指定或陈述目标或命令，即使没有呈现替代选择或者它们的组合)。人类操作者可以是或可以不是车辆中的乘客。人类操作者可以使用多种可能的输入模态中的一种或多种来作出选择，例如，通过使用鼠标点击显示屏、说出目标或选择、触摸触敏显示屏，或输入信息(仅举几个示例)以实现目标(例如，车辆的行驶车道或转弯方向)。行驶车道有时也被称为“车道走廊”。

选定的监督命令被提供给车辆的控制系统21(直接在车辆内或从远程人类操作者的位置无线地提供到车辆)。然后，自驾驶车辆的控制系统21使用算法来确定方向盘，制动器和油门输入23的序列，以使车辆执行输入以实现由监督命令表达的目标，同时避免与障碍物(例如其他车辆、骑自行车者、行人等)碰撞并遵守道路规则(例如遵守交通标志和信号，并在交叉路口遵守适当的优先权)。

在一些实现中，因此，我们在此描述的系统和技术提供了一种控制车辆的方式，该方式至少部分地与由坐在车辆驾驶员座位上的人类操作者直接控制车辆的转向器、油门、制动器或其他驱动机构25形成对比。在我们在此描述的系统和技术的一些实现中，使用监督命令的车辆的监督控制不需要完全替代车辆的完全自主控制或者车辆的完全人为控制。相反，任何两种或所有三种模态 (完全自主、完全人为、监督控制)可以合作地或者不时地用于控制车辆。

在一些实现中，监督控制由车辆内部的人类操作者使用，并且是在更高的概念或监督级别上命令车辆的行驶而不必须不断地监视和调整转向器、油门和制动水平的便利方式。因此，监督控制模式导致更舒适、压力更小的驾驶体验。

除了车内监督控制之外或与车内监督控制相结合，车辆的监督控制对于远程控制车辆是有用的(我们有时将其称为“遥操作”)。遥操作是控制未被占用的车辆(例如，已经让乘客下车并且正在接载另一名乘客的路上的自驾驶出租车)的有用方法或者被已经丧失能力的乘客或者以其他方式需要帮助的乘客占用。在这种场景下，远程定位的遥操作者观察来自车辆的数据流27，该数据流27包括例如由车辆上的一个或多个相机收集的前视视频流。然后，遥操作者为车辆的控制系统选择短期移动或操纵或其他监督目标以执行或实现，例如，切换到不同的行驶车道或不同的即将到来的道路。短期监督控制目标作为监督命令无线地传输到位于车辆上的控制计算机或其他控制系统21，该控制计算机或其他控制系统21随后向车辆开发并执行在给定的道路条件下实现目标所必需的一系列输入23。

在这种遥操作场景中，如果遥操作者和车辆之间的通信链路经受通信延迟 (即，等待时间)，则监督命令的监督特性，例如基于车道的控制，可能特别有用。在这种实例中，远程遥操作者可能难以指定方向盘，制动器和油门输入的序列以沿着期望的路径或操纵准确地控制车辆。相反，这里描述的基于车道或其他监督控制的方面使用通常以低得多的频率呈现的监督命令，并且产生对等待时间的降级效果稳健的车辆运动。

如上所述，在一些实现中，使得能够在车辆上或使用遥操作来选择表示短期目标(例如基于车道的控制)的监督命令是有用的。在一些情况下，当操作者如此希望并且允许遥操作者在某些条件下(例如，如果操作者变得丧失能力) 控制车辆时，车辆内部的操作者可以使用监督命令来控制车辆。在一些情况下，车内操作者和远程操作者两者都可以基本上同时选择非冲突的监督命令；在从车辆和从远程操作者提供的监督命令之间发生冲突的情况下，可以使用冲突解决机制来调解冲突。

因此，我们在此描述的系统和技术使得能够由车辆内部或车辆外部(例如，在远程位置处)的操作者通过选择监督命令或以其他方式识别短期操纵或其他目标(例如，在道路网络上的车辆的期望行驶车道)来控制车辆的操作。

我们广泛地使用术语“自驾驶(或自主)车辆”以包括，例如，将乘客或物体或两者从一个或多个上车位置运送到一个或多个下车位置的任何移动设备，而不总是(或者在一些情况下)需要人类操作者的直接控制或监督，例如，无需人类操作者随时接管控制责任。自驾驶车辆的一些示例是自驾驶道路车辆、自驾驶越野车辆、自驾驶运输车、自驾驶汽车、自驾驶公共汽车、自驾驶货车或卡车、无人机或飞机等。虽然不需要人类操作者进行控制，但正如我们在此讨论的，由人类操作者(车辆内或远程)的监督控制可以应用于完全自驾驶车辆或非完全自驾驶车辆(有时也称为“部分自动化”车辆)。

我们广泛地使用术语“监管数据”(或者有时，术语“操作规则”或“道路规则”)以包括，例如，法规、法律，以及管理设备的用户(诸如道路使用者，包括车辆驾驶员)的行为模式的正式或非正式规则。这些包括道路规则以及最佳实践和乘客或操作者偏好，以类似的精度和深度描述。我们广泛使用术语“历史信息”以包括，例如道路使用者(包括行人和骑自行车者)的行为模式的统计数据，在每种情况下，可能作为位置、一天的某时、一周中的某天、季节性和天气数据或其他相关特征或它们的组合的函数。

我们广泛使用术语“监督控制”以包括，例如满足以下的任何类型的控制：以通常比到车辆的加速器、制动器、转向器或其他驱动机构25的直接控制输入31所需的频率小的频率发生，或者应用于比与每个这样的直接控制输入相关联的时间帧长的时间帧，或者应用于比到汽车的驱动机构的典型的控制输入所应用至的最小距离长的行驶距离。例如，监督控制的频率可以小于每几秒一次，或每分钟一次，或每几分钟一次，或甚至更少。在某些情况下，监督控制所应用至的时间帧可能长于几秒或长于几分钟。例如，监督控制所应用至的行驶距离可以大于几百英尺，或大于一英里，或大于几英里。

我们广泛地使用术语“目标(objective)”以包括，例如，相对于道路和其他人造行驶路径的物理特征的行驶目的(goal)或操纵，包括允许沿路线区段的替代短途路径或操纵的特征。

我们广泛地使用术语“监督命令”以包括，例如，通过任何类型的界面(包括人类用户界面)以任何方式或通过任何动作或手势或话语进行的监督控制目标的任何陈述、选择、挑选、识别或其他表达。

关于自主车辆的控制的附加信息在2016年3月23日提交的美国专利申请 S/N.15/078,143中阐述，该文献的全部内容通过引用结合于此。

如图2所示，在一些涉及促进自驾驶道路(或其他)车辆10的操作的实现中，例如，可以在没有直接人为控制或监督控制的情况下驾驶车辆通过环境12，同时避免与障碍物14(诸如其他车辆、行人、骑自行车者和环境元素)碰撞并且遵守操作规则(例如，道路规则16)。在自主车辆的情况下，为实现自动化驾驶，车辆(例如，与车辆相关联的(例如，附接到车辆的)计算机系统或数据处理装备18(也参见图9))首先通常构建世界模型20。

大约说来，世界模型是车辆环境的表示，例如，使用来自地理位置设备、地图或地理信息系统或它们的组合，以及检测其他车辆、骑自行车者、行人或其他障碍物的传感器的数据来构建。为了构建世界模型，计算机系统 (例如，在车辆上)从安装至车辆(我们有时称为“自我车辆(ego vehicle)”) 的各种传感器22(例如，激光雷达(LIDAR)、单目或立体相机、雷达(RADAR)) 收集数据自我车辆，然后分析该数据以确定环境中的相关物体(障碍物)的位置和运动属性(我们有时称为障碍物信息24)。术语“相关物体”广泛地包括，例如，其他车辆、骑自行车者、行人和动物，以及杆、路缘、交通锥、交通标志、交通信号灯和障碍。环境中也可能存在不相关的物体，诸如路边小的碎片和植被。在一些实例中，自驾驶车辆还依赖于由车辆到车辆或车辆到基础设施通信26收集的障碍物信息。

给定世界模型，自驾驶车辆上的计算机系统采用算法进程28来自动生成候选轨迹集30，并且执行该集合的选定轨迹31(由轨迹选择进程37确定)通过环境朝向指定目的32，并且响应于它可以沿途接收的监督命令191，选择替代轨迹。术语“轨迹集”广泛地包括，例如，从一个地方到另一个地方(例如，从上车位置到下车位置)的一组路径或路线。在一些实现中，轨迹可以包括转换序列，每个转换从一个世界状态到后续世界状态。

指定的目的通常由算法进程34提供，该算法进程34例如依赖于关于乘客的目的地的乘客提供的信息35或由算法进程提供的目的目的地或两者的组合。“目标(goal)”一词广泛用于包括，例如，自驾驶或其他车辆要达到的目标，诸如临时下车地点、最终下车地点、目的地等，或者保持当前的航向。术语“乘客”广泛用于包括，例如由自驾驶或其他车辆运载的一个或多个人，或者确定由自驾驶车辆运载的物体的目的地的一方等等。在一些实例中，该方远离车辆并在操作之前或操作期间向车辆提供目的信息。

在一些实例中，自驾驶或其他车辆要达到的目的(或其他要达到的目标)不是物理位置，而是在没有预定的目的地的情况下维持车辆航向或速度，或继续某一航向(例如，沿罗盘方向行驶)的命令。

自动生成的候选轨迹集30可以包含一个或多个轨迹，每个轨迹至少具有以下属性：

1)应该是可行的，例如，可以由车辆在车辆的当前或预期的运行速度下以合理的精确度遵循；

2)它应该是无碰撞的，例如，如果车辆沿着该轨迹行驶，它不会与任何物体碰撞；以及

3)它应遵守预定义的规则集，其可包括当地的操作规则或道路规则，常见的驾驶惯例17，或一般类别的乘客或特定乘客的驾驶偏好19或这些因素中的任意两个或多个的组合。这些以及可能的其他类似因素有时一起通常被称为操作规则(我们有时将操作规则称为驾驶规则)。当遵守所有预定义驾驶规则的轨迹不存在时，轨迹可以最小化化违反规则的严重性和程度。

在其中环境(例如，道路)与在他们自己的意愿下独立移动的其他独立代理21(包括车辆、行人和骑自行车者)共享的情境中，自动化候选轨迹生成应该满足上述三个属性。

自动化候选轨迹生成还应该系统地确保在涉及若干相关驾驶规则，或存在多个障碍物的复杂场景中，或不存在将符合所有驾驶规则的轨迹的场景中，或两个或多个这些条件的组合的场景中自我车辆将正确地遵守驾驶规则。

给定自动生成的候选轨迹集，轨迹选择进程37选择供车辆遵循的轨迹31。除了接收候选轨迹集30并选择轨迹31之外，轨迹选择进程响应于由例如，车辆上的驾驶员或其他乘客或远程遥操作者提供的监督命令191。监督命令可以包括，例如，选择行驶车道、转到不同的道路上、改变速度、停止行驶、或其他典型的移动或其他目标。响应于监督命令，轨迹选择进程确定是否存在满足监督命令的候选轨迹并选择合格候选轨迹作为选定的轨迹。

在我们在此描述的系统和技术的一些实施方式中，车辆的控制动作可以基于实时传感器数据和历史信息，其使得车辆能够安全且可靠地响应由乘客或遥操作者提供的监督命令，同时例如，在与其他车辆和行人共享的道路网络上行驶，并遵守适用的驾驶规则。

如图3所示，示例系统50可以包括以下基本元素中的一些或全部：

(A)传感器52，能够测量或推断或测量和推断自我车辆的状态54和状况56的属性，诸如车辆的位置，线性和角速度以及加速度以及前进方向。这种传感器可以包括但不限于例如GPS，测量车辆线性加速度和角速率两者的惯性测量单元；单独的车轮速度传感器和单独的车轮滑移率的推导估计；单独的车轮制动压力或制动扭矩传感器；发动机扭矩或单独的车轮扭矩传感器；以及方向盘角度和角速率传感器，以及它们的组合。被感测的车辆的属性还可以包括汽车上的软件进程的状况、轮胎压力和机械故障等。

(B)传感器58，能够测量车辆的环境12的属性。这种传感器包括但不限于，例如，激光雷达(LIDAR)、雷达(RADAR)、可见光、红外或热光谱中的单目或立体摄像机、超声波传感器、飞行时间(TOF)深度传感器以及温度和雨水传感器，以及它们的组合。来自这些传感器的数据可被处理以产生关于其他车辆、行人、骑自行车者、滑板车、车厢、推车、动物和其他移动物体的类型、位置、速度和估计的未来运动的信息。来自这样的传感器的数据还可用于识别和解释相关的物体和特征，诸如静态障碍物(例如，杆，标志，路缘，交通信号灯，交通标记锥和桶，道路分隔物，树木)，道路标记以及道路标志。这种类型的传感器通常可用于具有驾驶员辅助能力或高度自动化驾驶能力的车辆 (例如，自驾驶车辆)上。

(C)设备60，能够传送其他车辆的状态和状况的测量的或推断的或两者的属性，诸如其他车辆的位置、线性和角速度和加速度以及前进方向。这些设备包括车辆到车辆(V2)和车辆到基础设施(V2I)通信设备和用于通过点对点或自组织网络或通过两者进行无线通信的设备。设备可以跨电磁频谱(包括无线电和光通信)或其他介质(例如，声学通信)进行操作。

(D)提供关于环境的历史，实时或预测(或其中任何两个或更多个)数据的数据源，包括交通拥堵更新和天气状况。在一些实例中，这种数据被存储在车辆上的存储器存储单元65上，或者通过无线通信从远程定位的数据库传输到车辆。

(E)数据源64，提供从GIS数据库中提取的道路地图，可能包括道路几何属性的高精度地图，描述道路网络连通性的地图，描述道路物理属性的地图 (诸如车辆行驶车道和骑自行车者行驶车道的数量、车道宽度、车道交通方向、车道标记类型和位置)，以及描述道路特征的空间位置的地图，诸如人行横道，各种类型的交通标志(例如，停止，让行)，以及各种类型的交通信号灯(例如，红黄绿指示灯，闪烁的黄色或红色指示灯，右转或左转箭头)。在一些实例中，这种数据被存储在车辆上的存储器单元65上，或者通过无线通信从远程定位的数据库67传输到车辆。

(F)数据源66，提供关于先前在一天的类似时间沿着给定路段行驶的车辆的驾驶属性(例如，典型的速度和加速度分布)的历史信息。在一些实例中，这种数据被存储在车辆上的存储器存储单元上，或者通过无线通信从远程定位的数据库传输到车辆。

(G)位于车辆上的计算机系统18(数据处理器)，该计算机系统18能够执行算法69，例如，如本申请中所述。算法处理上述源提供的数据并且(除了下面讨论的其他结果之外)计算自我车辆可以在短期未来时间范围内通过局部环境遵循的潜在轨迹(时间范围可以是，例如，大约2-5秒，但在某些情况下，时间范围可以更短(例如，几分之一秒)或更长(例如几十秒，几分钟或许多分钟))等。算法还可以联合分析潜在的轨迹，环境的属性(例如相邻车辆和其他障碍物的位置)，以及当地道路网络的属性(即行驶车道的位置和物理属性)来识别替代行驶车道或者包含供自我车辆沿其行驶的安全轨迹的其他行驶路径。

(H)连接到计算机系统的在车辆上的显示设备70(或者也可以远程定位以供遥操作者使用)，以向车辆操作者或遥操作者提供各种各样的信息。如图18所示，在一些示例中，该信息包括在自我车辆202前方的环境的视频显示200，以及已经使用例如，我们在本文中描述的系统和技术识别以包含用于自我车辆的安全轨迹的以半透明覆盖、彩色轮廓或其他格式204的形式的行驶车道的视觉识别。在一些实例中，如果车辆处于倒车档以辅助倒车操纵，或者如果车辆处于前进档以提供类似于后视镜的功能以通知车辆操作者 (或遥操作者)车辆后方的交通，则显示设备还从车辆206的后部传输视频信息。

在一些实例中，还向操作者提供其他信息，关于例如车辆208的操作、状态或状况、人类驾驶员或乘客的警觉性或健康状况、车辆轨迹、地图，从一个或多个传感器导出的信息、关于障碍物的信息、各种类型的警报，表示操作者可以选择的可能操纵的输入控制210，以及其他信息，以及其中任意两个或多个的组合。在遥操作场景中，显示设备位于诸如办公室之类的远程位置处，在那里其可以由遥操作者查看。在一些实例中，显示设备是标准视频监视器200、头戴式虚拟现实显示设备、车内抬头显示器220(图19)、安装在车辆中央控制台中或嵌入在前座背部(对车辆后部的乘员可见)或安装在车辆的其他位置的显示设备，或可以采用其他形式。例如，如图20 所示，方向盘230可包括按钮232，操作者可通过按钮232发送用于给定操纵的监督命令；以及简单直观图标234的中央电子显示器，图标234表示用户可从中选择的替代方案(在这种情况下，车道变为左侧或右侧)。

(I)连接到显示设备70或嵌入显示设备70内，并连接到计算机系统18 (并且因此位于车辆上或位于远程位置处或两者)的输入设备53(如图18、 19和20所示)，在其典型状态下允许位于车辆内部或在远程位置处的操作者选择监督目标或表达监督目标的监督命令，例如，包含安全轨迹的潜在的多行驶车道中的一个，并且在某些情况下，还指定车辆的期望速度。更广泛地，可以由操作者通过输入设备指定各种操纵中的任何一个或多个(或组合)，包括车道变换、U形转弯(例如，通过使用“U形转弯”按钮)、停靠路肩上、停车、多点转弯或走坡道等。例如，通过使用输入设备来选择特定的期望行驶车道，操作者指定车辆的一般期望路径，而不必须以高频提供特定的转向器、制动器和油门命令。

输入设备53可以采用多种形式，包括触摸屏(其将使操作者能够触摸屏幕的一部分以指示行驶车道)、鼠标或轨迹球、或键盘、或视觉系统或音频系统，这些系统可以解释操作者的手势或话语或其中两个或多个的组合。输入设备还可以采用标准方向盘和踏板组(例如制动器和油门)的形式，在这种情况下，操作者可以通过操控方向盘以指示期望的操纵来指定期望的行驶车道(即，将方向盘向右转动将指示选择车辆右侧的行驶车道的期望)，并且致动踏板以调节期望的车辆速度设定点。在遥操作场景中，输入设备位于远程位置(诸如办公室)或其他车辆(诸如货车或拖车)中，在那里其可以由遥操作者查看。遥操作场景不排除将方向盘和踏板用作远程位置处的输入设备。

在一些实施方式中，输入设备的操作状态允许位于车辆内部或在远程位置处的操作者直接命令车辆方向盘、制动器和油门的位置，选择档位，并激活转向信号灯、危险警示灯和其他指示灯，换句话说，以传统方式驾驶车辆。虽然这种形式的直接车辆控制在某些情况下可能具有缺点(例如，当遥操作者和车辆之间的通信链路经历长的通信延迟时)，但在某些情况下，它作为备用控制模式是有用的，例如，在其中不能安全地执行基于车道的控制或其他监督控制的场景中，例如，在碰撞已经导致基于车道或其他监督控制所需的某些车辆传感器损坏的情况下。

(J)无线通信设备72，被配置为将数据从远程定位的数据库传输到车辆并将数据传输到远程定位的数据库等。在一些实例中，所传输的数据包括从显示车辆前方或后方或两者的场景的相机捕获的视频信息。在一些实例中，传输的数据携带各种各样的附加信息，包括例如，车辆的操作、状态或状况、车辆的轨迹、最佳轨迹、与地图相关的信息、从一个或多个传感器导出的信息、关于障碍物的信息、各种类型的警报和其他信息，以及它们中任意两个或多个的组合。

(K)具有特征和功能(例如，致动器)的车辆10，所述特征和功能被仪表化以接收和作用于对应于控制动作(例如，转向、加速、减速、档位选择) 的直接命令76并且用于来自计算机系统的辅助功能(例如，转弯指示器激活)。术语“直接命令”广泛用于包括例如递送给车辆的操作特征和功能的任何指令、方向、任务、请求或呼叫，或它们的组合。术语“控制动作”广泛用于包括，例如，与使车辆沿轨迹的至少一部分前进或执行某些其他操作所必需的，有用的或相关联的任何动作，激活或致动。我们有时广泛地使用术语“控制输入”来指被发送以引起控制动作发生的信号、指令或数据。

(L)计算机系统18可以访问的在车辆上的存储器65，例如用于存储上述任何数据和信息。

下文所述，并且如图3所示(也参见图9)是用于由远程遥操作者或位于车辆内部的操作者对车辆进行监督控制(例如，基于车道的控制)的示例技术 80，导致一组或一系列控制动作82由致动器或其他驱动机构87使用(例如，可响应控制动作的车辆的特征和功能)并基于实时传感器数据、其他数据源和历史信息。在一些实现中，这些技术至少包括在车辆10中的计算机系统18上运行的以下进程(示例性进程中的步骤在图4中示出)：

(A)世界模型进程84，也如图5所示，该世界模型进程84分析例如通过车载传感器87和数据源89所收集的数据86，以及通过车辆到车辆或车辆到基础设施通信设备所接收的数据，以生成表征自我车辆及其环境的量83的估计(以及与估计相关联的相关统计)。大约说来，世界模型基于传入的数据估计自我车辆和环境的状态。世界模型在给定时间内产生的估计被称为截至那时的世界状态88。

表达为世界状态的一部分的量包括但不限于以下统计：自我车辆的当前位置、速度和加速度；对其他附近车辆、行人、骑自行车者、滑板车、车厢、推车、和其他移动物体或障碍物的类型、位置、速度和当前意图的估计；附近静态障碍物(例如，杆、标志、路缘，交通标志锥和桶、道路分隔物、树木) 的位置和类型；以及道路标记、道路标志和交通信号灯的位置、类型和信息内容。在一些实例中，世界状态还包括关于道路的物理属性的信息(诸如车辆和骑自行车者的车道数、车道宽度、车道交通方向、车道标记类型和位置，以及道路特征(诸如人行横道、交通标志和交通信号灯)的空间位置)。世界状态 88包含对自我车辆和附近车辆的状态的概率估计，包括最大似然估计、误差协方差和对感兴趣变量的充分统计。

如图5中还示出的，当相对于给定时间执行世界模型进程84时，从所有可用的车辆传感器和数据源捕获数据并且处理该数据以计算截至那时的以下量83中的一些或全部：

1.自我车辆在全球坐标系中的位置和前进方向。在一些实例中，这些量是使用GPS系统直接测量的，或是通过已知技术(例如，结合来自GPS、IMU (惯性测量单元)、车轮速度传感器和可能的其他传感器(诸如激光雷达传感器)的信息的所谓“定位”方法)计算的。

2.自我车辆的线性和角速度以及加速度。在一些实例中，使用IMU系统直接测量这些量。

3.自我车辆的转向角。在一些实例中，该量是由标准的汽车传感器直接测量的。

4.停车标志、让行标志、限速标志以及与自我车辆的当前行驶方向相关的其他交通标志的位置。在一些实例中，使用在市场上可购买到的设备或通过已知技术测量这些量。在一些实例中，还从包括此类信息的在市场上可购买到的地图数据(例如，来自诸如

5.可行驶路面的边界，划分各个行驶车道的标记(包括这样的标记的位置和类型两者)，以及未铺砌轨道的已识别边缘。在一些实例中，使用在市场上可购买到的传感器或通过已知技术测量这些量。在一些实例中，这些量也是从市场上可购买到的地图数据收集的，如第4项所述。

6.与自我车辆的当前行驶方向相关的交通信号灯的状态(例如，红色/黄色/绿色/箭头)。在一些实例中，通过在市场上可购买到的设备或已知技术测量这些量。

7.人行横道、停止线及其他道路特征的位置。在一些实例中，从市场上可购买到的地图数据收集这些量，如第4项所述。在一些情况下，这些量从车载传感器导出。

8.其他车辆、行人、骑自行车者、滑板车、车厢、手推车及与自我车辆的当前行驶车道有关的其它移动物体的位置及速度。在一些实例中，使用从市场上可购买到的设备测量这些量。

9.可行驶路面上的静态障碍物(例如杆、标志、路缘、交通标记锥和桶、道路分隔物、树木)的位置。在一些实例中，使用从市场上可购买到的设备测量这些量。

10.当前的大气状况，例如，是否下雪或下雨，以及是否冷到足以使路面结冰。在一些实例中，使用标准汽车雨水传感器和温度传感器直接测量或推断这些量。

11.关于先前在一天的类似时间沿着路段行驶的车辆的驾驶属性(例如，典型的速度和加速度分布)的历史信息。在一些实例中，这种数据被存储在车辆上的存储器存储单元上，或者通过无线通信从远程定位的数据库传输到车辆。

在一些实例中，计算机系统18在缺少上面列出的完整的数量集的情况下有用地起作用。在一些实例中，上面1到11中描述的被计算量中的一个或多个被存储在车辆上的存储器单元中。

(B)规划进程90，也如图6所示，规划进程90将世界状态88(例如，世界模型的输出形式的数据结构)作为输入，并且采用已知的数值或分析方法以便估计或预测物理自我车辆可以可行地从给定时间到某个未来时间遵循的轨迹集(即，由时间索引的一系列状态)，称为截至那时的可行的轨迹集98。图12示出了在给定时间自我车辆的世界状态的示意图。图13示出了对应的可行的轨迹集。术语“可行地”广泛地用于包括，例如在给定当前道路几何形状、路面状况和环境状况的情况下，在车辆的当前或预期运行速度下，车辆可以以合理精确度遵循轨迹的情境。在规划进程中采用的典型算法方法包括基于状态格的方法、快速探索随机树、数值优化等。可行的轨迹集通常包含多个轨迹，但在一些实例中，包含一个或零个轨迹。

(C)修剪进程110，也如图7所示，修剪进程110将世界状态88和可行的轨迹集98作为输入，并且通过采用已知的碰撞检查方法，从进一步分析中消除被确定与在世界模型进程中识别的任何静态或动态物体或障碍物碰撞的或被预测在未来某个时间发生碰撞的任何轨迹。图14示出了基于图13的轨迹集的修剪进程产生的候选轨迹集。

通过采用可行驶路面的轨迹和边界两者的几何属性的分析，修剪进程还从进一步分析中消除任何横跨可行驶路面边界的轨迹，无论是通过离开道路还是以可能导致与迎面车辆碰撞的方式横跨到迎面而来的交通车道中。如果分析表明可以安全地横跨到迎面而来的交通车道中，为了经过缓慢移动的或停放的车辆，或执行多点转弯或U形转弯，那么修剪进程可能会忽略这些轨迹。如果分析表明可以安全地越过路面的边界到路肩上，那么修剪进程可能会忽略这些轨迹。

在一些实例中，修剪进程还从进一步考虑中消除违反当地操作规则或道路规则、常见的驾驶惯例，或一般类别的乘客或特定乘客的驾驶偏好或这些因素中的任何两个或多个的组合的任何轨迹。

在一些实例中，修剪进程还从进一步考虑中消除不能满足与轨迹的“成本”相关的条件的任何轨迹，其中可以通过分析与驾驶任务相关的任何数量的属性来确定成本，包括轨迹的几何属性(当沿轨迹行驶时，其影响将由乘客体验的舒适度)、当地操作规则或道路规则、常见驾驶惯例、或一般类别乘客的或与轨迹相关联的特定乘客的驾驶偏好的违反的类型、发生频率和严重性。

修剪进程的输出被称为截至那时的候选轨迹集119。

(D)如图10所示的车道识别进程110，该车道识别进程110将世界状态 88和候选轨迹集119作为输入，并且识别没有候选行驶车道、一条候选行驶车道或多于一条候选行驶车道，在这些候选行驶车道中，自我车辆可以安全地从给定的时间行驶到未来的某个时间。候选行驶车道被构想为包含一个或多个候选轨迹的管状结构，并且可以被限制在单个行驶车道(即，自我车辆的当前行驶车道)，或者可以表现出一个或多个车道变换。通过分析候选轨迹和道路网络两者的空间属性，通过识别包含候选轨迹的被连接车道区段来生成候选行驶车道。图15和16分别示出了基于图14的候选轨迹集的车道识别进程所生成的两个候选行驶车道。候选行驶车道不一定与街道、道路或高速公路上的标记车道对齐，并且候选行驶车道可以与肩部重叠或位于肩部内。

用于分析候选轨迹和道路网络两者的空间属性的示例程序如下：

1)将通常包括在道路网络数据库中并描述感兴趣的(多个)道路的结构、地理属性和连接性属性的道路“主干”路径离散到紧密间隔的点；在某些情况下，这种分析可能不需要离散化；具有主干离散点或参数化曲线的表示可能是足够的)；并且如果车道合并或发散，则对于某些点可能会有多个潜在的车道；

2)分析围绕自我车辆的区域中的每个紧密间隔的点，以确定该点是否位于距感兴趣的特定候选轨迹指定的小距离内。如果点位于指定的距离内，则声明该点和该点周围的区域(大小与典型行驶车道的宽度相似)为候选行驶车道的一部分。步骤1-2的输出是管状结构，感兴趣的候选轨迹位于该管状结构内。

3)对候选轨迹集中的所有候选轨迹重复1-2的进程，以识别与每个候选轨迹相关联的候选行驶车道。

4)通过计算与每个候选行驶车道之间的几何相似度相关的度量，分析由 1-3生成的所有候选行驶车道的相似性。具有超过预定义阈值的几何相似度的候选行驶车道可以组合成单个候选行驶车道。

车道识别进程的输出被称为截至那时的候选行驶车道集121。

虽然在本示例中我们提到了车道识别和候选行驶车道集，但是除了车道变换之外，各种各样的目标以及行驶路径和操纵(诸如U形转弯，多点转弯和停车操纵)可以同样是识别进程110的主题，并且可以通过识别包含候选轨迹的被连接的行驶路径区段来生成候选行驶路径。下面讨论的与车道相关的概念的类似替代方案也是可能的。

在一些实例中，候选行驶车道集(或其他候选行驶路径集)通过各种显示媒体和方法呈现给例如位于车辆内部或位于远程位置处或位于车辆内部和位于远程位置处的操作者，包括与候选行驶车道相关联的图标表示的呈现(图20)，在抬头显示器(图19)上向位于车辆内部的操作者呈现与每个候选行驶车道相关联的半透明覆盖，或者在由车载相机捕获的视频流顶上与每个候选行驶车道相关联的半透明覆盖的呈现，并在视频屏幕(图18)或虚拟现实头戴式显示器上显示给远程车辆操作者，以及其他方法。在一些实现中，可以基于传感器和地图数据向操作者显示自由空间的估计；然后，操作者可以指定几何路径，规划的路径应接近该几何路径，或避免限制该几何路径以供规划器使用。

(E)车道(或其他类型的行驶路径)选择进程120，如图11所示，该车道选择进程120将候选行驶车道(或其他行驶路径)集121作为输入，并且在一些实例中，将由例如位于车辆内部或位于远程位置处的操作者通过(多个) 输入设备提供的监督命令191作为输入。来自操作者的输入识别或以其他方式选择候选集内的潜在多个行驶车道(或其他类型的行驶路径)中的一个作为自我车辆的期望行驶车道或行驶路径。在一些实例中，输入设备是传统的车辆方向盘和踏板组，或触摸屏、鼠标、语音命令识别系统、或其他通用输入设备，或它们的组合。在一些实例中，除了提供用于车道选择或其他操纵的装置之外，输入设备还允许操作者激活车灯(例如，信号灯、危险警示灯和前照灯)、车辆喇叭、锁和其他标准功能。

如果操作者没有选择行驶车道(或其他行驶路径)，则通过分析当前行驶车道或路径以及候选行驶车道或路径集的空间属性，选择与当前行驶车道或路径最紧密相关联的行驶车道(或其他行驶路径)作为期望的行驶车道。例如，这可以通过分析候选行驶车道集中的所有候选行驶车道，并计算与当前行驶车道与所有候选行驶车道之间的几何相似度相关的度量来实现。选择与当前行驶车道具有最高几何相似度的候选行驶车道作为期望的行驶车道。

车道选择进程的输出被称为选定的行驶车道131(或者在其他示例中，选定的行驶路径)。

如果候选行驶车道集是空的，因此阻止选择期望的行驶车道并且暗示不存在候选轨迹，则可以启动紧急停车程序，其中车辆自动施加最大制动力或以更舒适的速率减速，只要车辆不会沿着其当前路径撞击物体。

(F)基于车道的或其他监督控制进程140(参见图4)，该控制进程140 将期望的行驶车道或行驶路径作为输入，并且生成由致动器(例如，能够响应控制动作的车辆特征和功能)使用的一系列控制动作82以引导车辆通过期望的行驶车道或其他移动或目标。沿着具有限定的车道边界的期望行驶车道引导车辆的可能方式很多，并且包括示例性方法，例如以下：

1)采用模型预测控制(MPC)来识别一系列控制动作，这些控制动作受约束于所得的车辆轨迹必须位于期望的行驶车道边界内，具有目的(通过在MPC问题中成本函数的公式化来表达)保持接近期望行驶速度的行驶速度，以及靠近期望行驶车道的所计算的中心线的位置。

2)采用纯追踪控制方法以期望速度跟踪期望行驶车道的中心线。更一般地，采用位于PD(比例-微分)控制方法的一般族中的控制方法。

作为基于车道的或其他监督控制进程的一部分，如果选定的行驶车道需要自我车辆改变车道，则可以在适当的时间自动激活车道变换信号。同样作为基于车道的或其他监督控制进程的一部分，如果选定的行驶车道需要自我车辆执行紧急停车或在路肩处停车，则可以在适当的时间自动启动危险警示灯。

其他实施方式也在下述权利要求书的范围内。

例如，尽管讨论的大部分内容涉及车道变换监督命令，但是如上所述，各种各样的其他操纵、移动和其他动作可以是监督命令的主题。

我们还将讨论集中在作为监督命令来源的人类操作者。然而，在一些实现中，监督命令由机器或机器与人类操作者结合来选择或表达。