响应于施工区域手势信号的自动驾驶车辆机动

相关申请的交叉引用

本申请要求于2021年10月29日提交的题为“SYSTEM AND METHOD FOR ANAUTONOMOUS VEHICLE”的第63/273,868号美国临时申请、于2022年8月31日提交的题为“AUTONOMOUS VEHICLE MANEUVER IN RESPONSE TO CONSTRUCTION ZONE HAND SIGNALS”的第17/823,689号美国非临时申请和于2022年8日31日提交的题为“AUTONOMOUS VEHICLEMANEUVER IN RESPONSE TO EMERGENCY HAND SIGNALS”的第17/823,698号美国非临时申请的优先权，这些申请通过引用并入本文。

技术领域

本公开总体上涉及自动驾驶车辆。更具体地，本公开涉及响应于施工区域手势信号的AV机动。

背景技术

自动驾驶车辆技术的一个目标是提供能够在有限或无驾驶员辅助的情况下安全导航的车辆。在一些情况下，诸如施工工人或执法人员等人员可能会使用手势信号或手持标志改变或引导交通。如果没有人类驾驶员，很难确定手势信号或手持标志的意图。

发明内容

本公开认识到与自动驾驶车辆导航相关的各种问题和先前未满足的需求，并且更具体地，与当手势信号(和手持标志)被用于引导或改变自动驾驶车辆在道路上的行驶路径时缺乏高效地检测手势信号(和手持标志)的技术相关的各种问题和先前未满足的需求。在一个示例场景中，假定自动驾驶车辆在道路上行驶，并且遇到正在使用手势信号(和手持标志)改变交通的人。如果不确定手势信号(和手持标志)的解释，自动驾驶车辆将无法遵守该人员提供的交通控制指令。这可能会导致自动驾驶车辆、道路上的其他车辆、和行人的驾驶条件不安全。本公开的某些实施例为当前自动驾驶车辆技术的技术问题提供了独特的技术解决方案，包括上述用于改进自动驾驶车辆导航的那些问题。

使用监督的手势信号检测系统

本公开考虑了使用监督服务器的被配置用于手势信号检测的系统和方法。在一个示例场景中，当自动驾驶车辆在道路上行驶时，它可能会遇到使用手势改变交通的人。自动驾驶车辆可以与控制设备相关联，该控制设备被配置为促进自动驾驶车辆的自动驾驶。

控制设备可以从由自动驾驶车辆的传感器捕获的传感器数据中检测手势信号。控制设备可以使用手势信号机器学习模块来确定手势信号的解释，该手势信号机器机器学习模块被预训练以根据传感器数据来预测各种手势信号的解释。控制设备可以根据手势信号的解释来确定用于自动驾驶车辆的提议轨迹。提议轨迹可以遵循手势信号的解释。例如，如果手势信号表示所有车辆停车，则提议轨迹可以是停止自动驾驶车辆。

在某些实施例中，控制设备可以具有根据提议轨迹独立导航自动驾驶车辆的自主性。在某些实施例中，控制设备可以具有部分自主性，并且可能需要来自监督服务器的确认或另一轨迹。例如，控制设备可以将传感器数据和提议轨迹传输到监督服务器。监督服务器可以由分布式云计算来实现，并且因此与自动驾驶车辆上的控制设备相比具有更多的计算资源。

监督服务器可以确定手势信号是否正在使用。例如，监督可以被配置为区分授权人员(诸如施工工人、执法人员或应急人员)何时正在执行手势信号、或者不良行为者试图通过执行手势信号来篡改自动驾驶车辆。监督服务器还可以确定由控制设备确定的提议轨迹是否导致自动驾驶车辆超出操作设计域，操作设计域指示自动驾驶车辆能够在其中自主行驶的预先映射的区域。如果监督服务器确定手势信号正在使用，并且提议轨迹没有导致自动驾驶车辆超出操作设计域，则监督服务器向控制设备传输确认消息，以根据提议轨迹导航自动驾驶车辆。否则，监督服务器可以确定第二提议轨迹并且将其传输到控制设备。当检测到手持信号时，可以执行类似的操作。

在一个实施例中，一种系统包括自动驾驶车辆、与自动驾驶车辆相关联的控制设备、和监督服务器。自动驾驶车辆被配置为沿着道路行驶，其中自动驾驶车辆包括至少一个传感器。控制设备包括第一处理器，该第一处理器被配置为访问由至少一个传感器捕获的传感器数据，其中传感器数据提供关于自动驾驶车辆前方的区域的至少一部分的信息。第一处理器从传感器数据中检测到人正在使用手势信号改变道路上的交通流。第一处理器确定手势信号的解释。第一处理器根据手势信号的解释确定用于自动驾驶车辆的提议轨迹。第一处理器向监督服务器传输提议轨迹和传感器数据中的至少一项。监督服务器与控制设备可操作地耦合。监督服务器包括第二处理器，该第二处理器被配置为接收提议轨迹和传感器数据中的至少一项。第二处理器确定手势信号是否正在用于改变交通流。响应于确定手势信号正在用于改变交通流，第二处理器确定提议轨迹是否引起自动驾驶车辆超出操作设计域，操作设计域指示自动驾驶车辆能够在其中自主行驶的预先映射的地理区域。响应于确定提议轨迹没有引起自动驾驶车辆超出操作设计域，第二处理器向控制设备传输指示执行提议轨迹的指令。

在一个实施例中，一种系统包括自动驾驶车辆和与自动驾驶车辆相关联的控制设备。自动驾驶车辆被配置为沿着道路行驶，其中自动驾驶车辆包括至少一个传感器。控制设备包括第一处理器，该第一处理器被配置为访问由至少一个传感器捕获的传感器数据，其中传感器数据提供关于自动驾驶车辆前方的区域的至少一部分的信息。第一处理器从传感器数据中检测到人正在使用手势信号改变道路上的交通流。第一处理器确定手势信号的解释。第一处理器根据手势信号的解释确定用于自动驾驶车辆的提议轨迹。第一处理器根据提议轨迹导航自动驾驶车辆。

响应于施工区域手势信号的自动驾驶车辆机动

本公开考虑了被配置用于响应于施工区域手势信号的自动驾驶车辆机动的系统和方法。在某些情况下，手势信号可以是特定于施工区域的。例如，施工工人可以挥手以引导特定方向的交通从施工现场分流，举手以指示迎面而来的交通停车，或者任何其他施工区域相关手势信号。

所公开的系统被配置为检测施工区域相关手势信号。例如，自动驾驶车辆上的控制设备可能检测到施工区域、以及施工工人正在使用施工区域相关手势信号改变交通。作为响应，控制设备可以确定施工区域相关手势信号的解释并且根据施工区域相关手势信号的解释来确定用于自动驾驶车辆的提议轨迹。控制设备可以根据提议轨迹导航自动驾驶车辆。

在某些实施例中，控制设备可以向监督服务器传输提议轨迹。监督服务器可以确认、更新或否决提议轨迹，类似于如上所述。

在一个实施例中，一种系统包括自动驾驶车辆和与自动驾驶车辆相关联的控制设备。自动驾驶车辆被配置为沿着道路行驶，其中自动驾驶车辆包括至少一个传感器。控制设备包括第一处理器，该第一处理器被配置为访问由至少一个传感器捕获的传感器数据，其中传感器数据提供关于自动驾驶车辆前方的区域的至少一部分的信息。第一处理器从传感器数据中检测施工区域。第一处理器从传感器数据中检测到施工工人正在使用施工区域相关手势信号改变交通流，其中施工工人在与施工区域相邻的交通车道上并且面对迎面而来的交通。第一处理器确定施工区域相关手势信号的解释。第一处理器根据施工区域相关手势信号的解释确定用于自动驾驶车辆的提议轨迹。第一处理器根据提议轨迹导航自动驾驶车辆。

在一个实施例中，一种系统包括自动驾驶车辆、与自动驾驶车辆相关联的控制设备、和监督服务器。自动驾驶车辆被配置为沿着道路行驶，其中自动驾驶车辆包括至少一个传感器。控制设备包括第一处理器，该第一处理器被配置为访问由至少一个传感器捕获的传感器数据，其中传感器数据提供关于自动驾驶车辆前方的区域的至少一部分的信息。第一处理器从传感器数据中检测施工区域。第一处理器从传感器数据中检测到施工工人正在使用施工区域相关手势信号改变交通流，其中施工工人在与施工区域相邻的交通车道上并且面对迎面而来的交通。第一处理器确定施工区域相关手势信号的解释。第一处理器根据施工区域相关手势信号的解释确定用于自动驾驶车辆的提议轨迹。第一处理器向监督服务器传输提议轨迹和传感器数据中的至少一项。监督服务器可操作地耦合到控制设备。监督服务器包括第二处理器，该第二处理器被配置为接收提议轨迹和传感器数据中的至少一项。第二处理器确定施工区域相关手势信号是否正在用于改变交通流。响应于确定施工区域相关手势信号正在用于改变交通流，第二处理器确定提议轨迹是否引起自动驾驶车辆超出操作设计域，操作设计域指示自动驾驶车辆能够在其中自主行驶的预先映射的地理区域。响应于确定提议轨迹没有引起自动驾驶车辆超出操作设计域，第二处理器向控制设备传输指示执行提议轨迹的指令。

响应于紧急情况手势信号的自动驾驶车辆机动

本公开考虑了被配置用于响应于紧急情况手势信号的自动驾驶车辆机动的系统和方法。在某些情况下，手势信号可以是特定于诸如道路事故或拥堵交通等道路异常的。例如，应急人员可以挥手以引导特定方向的交通以避免道路异常，举手以指示迎面而来的交通停车，或者任何其他紧急情况相关手势信号。

所公开的系统被配置为检测紧急情况相关手势信号。例如，自动驾驶车辆上的控制设备可能检测到道路异常、以及应急人员正在使用紧急情况相关手势信号改变交通。作为响应，控制设备可以确定紧急情况相关手势信号的解释并且根据紧急情况相关手势信号的解释来确定用于自动驾驶车辆的提议轨迹。控制设备可以根据提议轨迹导航自动驾驶车辆。在某些实施例中，控制设备可以向监督服务器传输提议轨迹。监督服务器可以确认、更新或否决提议轨迹，类似于如上所述。

在一个实施例中，一种系统包括自动驾驶车辆和与自动驾驶车辆相关联的控制设备。自动驾驶车辆被配置为沿着道路行驶，其中自动驾驶车辆包括至少一个传感器。控制设备包括第一处理器，该第一处理器被配置为访问由至少一个传感器捕获的传感器数据，其中传感器数据提供关于自动驾驶车辆前方的区域的至少一部分的信息。第一处理器从传感器数据中检测道路异常，该道路异常包括道路事故、道路封闭或拥堵交通中的一项。第一处理器从传感器数据中检测到应急人员正在使用紧急情况相关手势信号改变交通流，其中应急人员在与道路异常相邻的行车道上并且面对迎面而来的交通。第一处理器确定紧急情况相关手势信号的解释。第一处理器根据紧急情况相关手势信号的解释来确定用于自动驾驶车辆的提议轨迹。第一处理器根据提议轨迹导航自动驾驶车辆。

在一个实施例中，一种系统包括自动驾驶车辆、与自动驾驶车辆相关联的控制设备、和监督服务器。自动驾驶车辆被配置为沿着道路行驶，其中自动驾驶车辆包括至少一个传感器。控制设备包括第一处理器，该第一处理器被配置为访问由至少一个传感器捕获的传感器数据，其中传感器数据提供关于自动驾驶车辆前方的区域的至少一部分的信息。第一处理器从传感器数据中检测道路异常，该道路异常包括道路事故、道路封闭或拥堵交通中的一项。第一处理器从传感器数据中检测到应急人员正在使用紧急情况相关手势信号改变交通流，其中应急人员在与道路异常相邻的行车道上并且面对迎面而来的交通。第一处理器确定紧急情况相关手势信号的解释。第一处理器根据紧急情况相关手势信号的解释来确定用于自动驾驶车辆的提议轨迹。第一处理器向监督服务器传输提议轨迹和传感器数据中的至少一项。监督服务器与控制设备可操作地耦合。监督服务器包括第二处理器，该第二处理器被配置为接收提议轨迹和传感器数据中的至少一项。第二处理器确定紧急情况相关手势信号是否正在用于改变交通流。响应于确定紧急情况相关手势信号正在用于改变交通流，第二处理器确定提议轨迹是否引起自动驾驶车辆超出操作设计域，操作设计域指示自动驾驶车辆能够在其中自主行驶的预先映射的地理区域。响应于确定提议轨迹没有引起自动驾驶车辆超出操作设计域，第二处理器向控制设备传输指示执行提议轨迹的指令。

因此，所公开的系统被集成到改进自动驾驶车辆导航的附加实际应用中。这为自动驾驶车辆、其他车辆和行人带来了更安全的驾驶体验。

本公开的某些实施例可以包括这些优点中的一些、全部或不包括这些优点。通过结合附图和权利要求进行的以下详细描述，将更能够清楚地理解这些优点和其他特征。

附图说明

为了更完整地理解本公开，现在参考以下结合附图和详细描述的简要描述，其中相同的附图标记表示相同的部分。

图1示出了被配置用于手势信号检测的系统的实施例；

图2示出了图1的系统的示例操作流程；

图3示出了被配置用于实现自动驾驶车辆、监督服务器和第三方之间的通信的系统的实施例；

图4示出了自动驾驶车辆与监督系统之间的系统中的数据流的实施例；

图5示出了用于使用监督服务器根据手势信号进行自动驾驶车辆导航的方法的示例流程图；

图6示出了用于根据施工区域手势信号的自动驾驶车辆导航的方法的示例流程图；

图7示出了用于根据紧急情况相关手势信号的自动驾驶车辆导航的方法的示例流程图；

图8示出了被配置为实现自主驾驶操作的示例自动驾驶车辆的框图；

图9示出了用于提供由图8的自动驾驶车辆使用的自主驾驶操作的示例系统；以及

图10示出了图8的自动驾驶车辆中包括的车载控制计算机的框图。

具体实施方式

如上所述，当手势信号(或手持标志)用于引导自动驾驶车辆在道路上行驶时，先前的技术无法提供高效、可靠和安全的解决方案来检测手势信号(或手持标志)。本公开提供了各种系统、方法和设备，以检测手势信号(或手持标志)，确定手势信号(或手持标志)的解释，并且根据所确定的手势信号的解释更新自动驾驶车辆的导航。可以参考图1至图10来理解本公开的实施例及其优点。图1至图10用于描述用于检测手势信号(或手持标志)、确定手势信号(或手持标志)的解释以及根据所确定的手势信号(或手持标志)解释来更新自动驾驶车辆的导航的系统和方法。

系统概述

图1示出了系统100的实施例，该系统100被配置为确定自动驾驶车辆802所经历的手势信号104或手持标志104的解释，并且根据手势信号104或手持标志104来确定提议轨迹。图1还示出了自动驾驶车辆802行驶的道路102的简化示意图，其中自动驾驶车辆802遇到或经历手势信号104或手持标志104。在本公开中，响应于检测到手势信号104而描述的操作可以响应于检测到可以传达与手势信号104相同的解释146的相应或对应手持标志104而执行。在某些实施例中，系统100包括经由网络110与一个或多个自动驾驶车辆802和应用服务器180通信耦合的监督服务器160。网络110使得能够在系统100的组件之间进行通信。网络110允许监督服务器160与自动驾驶车辆802、系统、应用服务器180、数据库、设备等通信。网络110也允许自动驾驶车辆802与自动驾驶车辆802、系统、监督服务器160、应用服务器180、数据库、设备等通信。自动驾驶车辆802包括控制设备850。控制设备850包括与存储器126进行信号通信的处理器122。存储器126存储软件指令128，该软件指令在由处理器122执行时引起控制设备850执行本文中描述的一个或多个操作。监督服务器160包括与存储器168进行信号通信的处理器162。存储器168存储软件指令170，该软件指令在由处理器162执行时引起监督服务器160执行本文中描述的一个或多个操作。在其他实施例中，系统100可以并非具有所列出的所有组件，和/或可以具有其他元件来代替或补充上述元件。系统100可以如图所示进行配置，或者以任何其他配置进行配置。

法律要求穿越公路和道路的车辆在车辆安全操作方案中遵守法规和法规。对于自动驾驶车辆802、特别是自动驾驶牵引拖车，识别其系统中的故障、识别执法部门给出的指令、识别手势信号或手持标志给出的指令、以及安全停车的能力对于车辆的合法和安全操作是必要的。以下详细描述了用于自动驾驶车辆在道路上安全合法操作的系统和方法，包括执行使自动驾驶车辆符合法律的动作，同时就其状况向周围车辆发信号通知。

在一个示例场景中，假定自动驾驶车辆802正在道路102上行驶，其中有人正在使用手势信号104和/或手持标志104改变交通流。系统100(例如，经由控制设备850和/或监督服务器160)被配置为检测手势信号104和/或手持标志104，确定手势信号104和/或手持标志104的含义(即，手势信号104和/或手持标志104的解释146)，根据观察到的手势信号104和/或手持标志104来确定用于自动驾驶车辆802的提议轨迹480、476，并且指示自动驾驶车辆802执行提议轨迹。在图2-图5中更详细地描述了这种操作。

在一些情况下，自动驾驶车辆802可能会遇到正在使用施工区域相关手势信号104改变交通的施工工人106，其中施工工人106与施工区域108相邻。系统100确定施工区域相关手势信号104的解释146并且根据施工区域相关手势信号104的解释146来确定用于自动驾驶车辆802的提议轨迹480、476。在图2-图4和图6中更详细地描述了这种操作。

在一些情况下，自动驾驶车辆802可能会遇到使用紧急情况相关手势信号104改变交通的应急人员106，其中应急人员106与道路异常112(例如，道路事故或拥堵交通)相邻。系统100确定紧急情况相关手势信号104的解释146并且根据紧急情况相关手势信号104的解释146来确定用于自动驾驶车辆802的提议轨迹480、476。在图2-图4和图7中更详细地描述了这种操作。

系统组件

网络110可以包括能够传输音频、视频、信号、数据、消息或前述各项的任何组合的任何互连系统。网络110可以包括以下各项中的全部或一部分：局域网(LAN)、广域网(WAN)、城域网(MAN)、个域网(PAN)、无线PAN(WPAN)、覆盖网络、软件定义网络(SDN)、虚拟专用网(VPN)、分组数据网络(例如，互联网)、移动电话网络(例如，蜂窝网络，诸如4G或5G)、普通老式电话(POT)网络、无线数据网络(例如，WiFi、WiGig、WiMAX等)、长期演进(LTE)网络、通用移动电信系统(UMTS)网络、对等(P2P)网络、Bluetooth网络、近场通信(NFC)网络、Zigbee网络、Z波网络、WiFi网络和/或任何其他合适的网络。

示例自动驾驶车辆

在一个实施例中，自动驾驶车辆802可以包括附接到拖车以将货物或货品从一个位置运输到另一位置的半卡车牵引车单元(参见图8)。自动驾驶车辆802通常被配置为以自主模式沿着道路行驶。自动驾驶车辆802可以使用图8-图10中详细描述的多个组件进行导航。自动驾驶车辆802的操作在图8-图10中更详细地描述。下面的对应描述包括对自动驾驶车辆802的某些组件的简要描述。

控制设备850通常可以被配置为控制自动驾驶车辆802及其组件的操作，并且促进自动驾驶车辆802的自主驾驶。控制设备850还可以被配置为确定自动驾驶车辆802前方的、安全行驶并且没有物体或障碍物的路径，并且导航自动驾驶车辆802以在该路径中行驶。该过程在图8-图10中更详细地描述。控制设备850通常可以包括与自动驾驶车辆802的其他组件进行信号通信的一个或多个计算设备(参见图8)。在本公开中，控制设备850可以互换地称为车载控制计算机850。

控制设备850可以被配置为通过分析传感器数据130和/或地图数据134来检测自动驾驶车辆802行驶的道路上和周围的物体。例如，控制设备850可以通过实现物体检测机器学习模块132来检测道路上及其周围的物体。物体检测机器学习模块132可以使用神经网络和/或机器学习算法来实现，用于从图像、视频、红外图像、点云、雷达数据等中检测物体。下面将更详细地描述物体检测机器学习模块132。控制设备850可以从定位于自动驾驶车辆802上的传感器846接收传感器数据130，以确定安全的行驶路径。传感器数据130可以包括由传感器846捕获的数据。

传感器846可以被配置为捕获在其检测区域或视场内的任何物体，诸如地标、车道标记、车道边界、道路边界、车辆、行人、道路/交通标志等。在一些实施例中，传感器846可以被配置为检测雨、雾、雪和/或任何其他天气状况。传感器846可以包括检测和测距(LiDAR)传感器、雷达传感器、摄像机、红外相机、超声波传感器系统、阵风检测系统、麦克风阵列、热电偶、湿度传感器、气压计、惯性测量单元、定位系统、红外传感器、运动传感器、雨水传感器等。在一些实施例中，传感器846可以被定位在自动驾驶车辆802周围，以捕获自动驾驶车辆802周围的环境。关于传感器846的进一步描述，参见图8的对应描述。

控制设备

在图8中更详细地描述了控制设备850。简言之，控制设备850可以包括与存储器126和网络接口124进行信号通信的处理器122。处理器122可以包括执行如本文中描述的各种功能的一个或多个处理单元。存储器126可以存储处理器122用于执行其功能的任何数据和/或指令。例如，存储器126可以存储软件指令128，该软件指令在由处理器122执行时引起控制设备850执行本文中描述的一个或多个功能。

处理器122可以是图8中描述的数据处理器870中的一个。处理器122包括可操作地耦合到存储器126的一个或多个处理器。处理器122可以是任何电子电路系统，包括状态机、一个或多个中央处理单元(CPU)芯片、逻辑单元、核心(例如，多核处理器)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)或数字信号处理器(DSP)。处理器122可以是可编程逻辑器件、微控制器、微处理器或前述各项的任何合适的组合。处理器122可以通信耦合到网络接口124和存储器126并且与网络接口124和存储器126进行信号通信。一个或多个处理器可以被配置为处理数据，并且可以用硬件或软件来实现。例如，处理器122可以是8位、16位、32位、64位或任何其他合适的架构。处理器122可以包括用于执行算术和逻辑运算的算术逻辑单元(ALU)、向ALU提供操作数并且存储ALU运算的结果的处理器寄存器、以及从存储器取回指令并且通过指导ALU、寄存器和其他组件的协调操作来执行指令的控制单元。一个或多个处理器可以被配置为实现各种指令。例如，一个或多个处理器可以被配置为执行软件指令128以实现本文中公开的功能，诸如关于图1-图10描述的功能中的一些或全部。在一些实施例中，本文中描述的功能使用逻辑单元、FPGA、ASIC、DSP或任何其他合适的硬件或电子电路系统来实现。

网络接口124可以是图8中描述的网络通信子系统892的组件。网络接口124可以被配置为使得能够进行有线和/或无线通信。网络接口124可以被配置为在自动驾驶车辆802与其他设备、系统或域之间进行数据通信。例如，网络接口124可以包括NFC接口、Bluetooth接口、Zigbee接口、Z波接口、射频识别(RFID)接口、WIFI接口、局域网(LAN)接口、广域网(WAN)接口、城域网(MAN)接口、个域网(PAN)接口、无线PAN(WPAN)接口、调制解调器、交换机和/或路由器。处理器122可以被配置为使用网络接口124发送和接收数据。网络接口124可以被配置为使用任何合适类型的通信协议，如本领域普通技术人员所理解的。

存储器126可以是图8中描述的数据存储装置890中的一个。存储器126可以是易失性或非易失性的，并且可以包括只读存储器(ROM)、随机存取存储器(RAM)、三元内容可寻址存储器(TCAM)、动态随机存取存储器(DRAM)和静态随机存取存储器(SRAM)。存储器126可以包括本地数据库、云数据库、网络附接存储装置(NAS)等中的一种或多种。存储器126可以存储图1-图10中描述的任何信息、以及可操作以在由处理器122执行时实现本文中描述的(多个)功能的任何其他数据、指令、逻辑、规则或代码。例如，存储器126可以存储软件指令128、传感器数据130、物体检测机器学习模块132、地图数据134、路线计划136、驾驶指令138、手势信号检测模块140、操作设计域144、手势信号/手持标志解释146、实时场景和车辆数据470、合规性模块166、提议轨迹480、476、和/或任何其他数据/指令。软件指令128包括在由处理器122执行时引起控制设备850执行本文中描述的一个或多个功能的代码，诸如图1-图10中描述的功能中的一些或全部。存储器126包括一个或多个磁盘、磁带驱动器或固态驱动器，并且可以用作过流数据存储设备，以在程序被选择以供执行时存储这样的程序，并且存储在程序执行期间读取的指令和数据。

物体检测机器学习模块132可以由处理器122执行软件指令128来实现，并且通常可以被配置为从传感器数据130中检测物体和障碍物。物体检测机器学习模块132可以使用神经网络和/或机器学习算法来实现，该算法用于从诸如图像、视频、红外图像、点云、雷达数据等任何数据类型中检测物体。

在一些实施例中，可以使用机器学习算法来实现物体检测机器学习模块132，诸如支持向量机(SVM)、朴素贝叶斯、逻辑回归、k最近邻、决策树等。在一些实施例中，物体检测机器学习模块132可以利用多个神经网络层、卷积神经网络层、长短期存储器(LSTM)层、双向LSTM层、递归神经网络层等，其中这些层的权重和偏差在物体检测机器学习模块132的训练过程中被优化。物体检测机器学习模块132可以通过训练数据集来训练，该训练数据集可以包括在每个样本中用一个或多个物体标记的数据类型的样本。例如，训练数据集可以包括在每个样本图像中用(多个)物体标记的物体(例如，车辆、车道标记、行人、路标、障碍物等)的样本图像。类似地，训练数据集可以包括在每个样本数据中用(多个)物体标记的其他数据类型的样本，诸如视频、红外图像、点云、雷达数据等。物体检测机器学习模块132可以通过训练数据集和传感器数据130来训练、测试和细化。物体检测机器学习模块132使用传感器数据130(其未用物体标记)来提高它们在检测物体时的预测精度。例如，在检测传感器数据130中的物体时，可以使用有监督和/或无监督机器学习算法来验证物体检测机器学习模块132的预测。

地图数据134可以包括城市或区域的虚拟地图，该虚拟地图包括自动驾驶车辆802行驶的道路。在一些示例中，地图数据134可以包括地图958和地图数据库936(参见图9以了解地图958和地图数据库936的描述)。地图数据134可以包括诸如道路、路径、高速公路等可行驶区域和诸如地形等不可行驶区域(由占用网格模块960确定，参见图9以了解占用网格模块960的描述)。地图数据134可以指定道路标志、车道、车道标记、车道边界、道路边界、交通信号灯、障碍物等的位置坐标。

路线计划136可以是从起始位置(例如，第一自动驾驶车辆发射台/着陆台)行进到目的地(例如，第二自动驾驶车辆发射台/着陆台)的计划。例如，路线计划136可以按照从起始位置到目的地的特定顺序指定一个或多个街道、道路和高速公路的组合。路线计划136可以指定阶段，包括第一阶段(例如，从起始位置/发射台移出)、多个中间阶段(例如，沿着一个或多个特定街道/道路/高速公路的特定车道行进)和最后阶段(例如，进入目的地/着陆台)。路线计划136可以包括关于从起始位置到目的地的路线的其他信息，诸如该路线计划136中的道路/交通标志等。

驾驶指令138可以由规划模块962实现(参见图9中的规划模块962的描述)。驾驶指令138可以包括用于根据路线计划136的每个阶段的驾驶规则来适配自动驾驶车辆802的自动驾驶的指令和规则。例如，驾驶指令138可以包括用于以下操作的指令：保持在自动驾驶车辆802所行驶的道路的速度范围内，相对于传感器846所观察到的变化来适配自动驾驶车辆802的速度(诸如周围车辆的速度、传感器846的检测区域内的物体的速度)等等。

手势信号检测模块140可以由处理器122执行软件指令128实现，并且通常可以被配置为检测手势信号104和手持标志104，并且确定检测到的手势信号104和手持标志104的解释146(例如，意图)。手势信号检测模块140可以使用神经网络和/或机器学习算法来实现，该算法用于从任何数据类型(诸如图像、视频、红外图像、点云、雷达数据等)检测手势信号104和手持标志104。在一些实施例中，手势信号检测模块140可以使用机器学习算法(诸如SVM、朴素贝叶斯、逻辑回归、k最近邻、决策树等)来实现。在一些实施例中，手势信号检测模块140可以利用多个神经网络层、卷积神经网络层，LSTM层、双向LSTM层、递归神经网络层等，其中这些层的权重和偏差在手势信号检测模块140的训练过程中被优化。

手势信号检测模块140可以通过训练数据集来训练，该训练数据集可以包括数据类型的样本，每个样本在每个相应样本数据中标记有相应手势信号104或手持标志104。例如，训练数据集可以包括执行手势信号104和/或手持标志104(例如，车辆前进、减速、停车、靠边停车等)的人的样本图像，该样本图像在每个样本图像中标记有相应手势信号104和/或手持标志104的解释146。类似地，训练数据集可以包括其他数据类型的样本，诸如在每个样本数据中标记有手势信号104和/或手持标志104的视频、红外图像、点云、雷达数据等。手势信号检测模块140可以通过训练数据集和传感器数据130进行训练、测试和细化。手势信号检测模块140使用传感器数据130(其未标记有手势信号104或手持标志104)来增加手势信号104和手持标志104以及相应解释146的检测的预测的准确性。例如，在检测传感器数据130中的手势信号104和手持标志104时，可以使用有监督和/或无监督机器学习算法来验证手势信号检测模块140的预测。

手势信号检测模块140可以基于对来自车辆传感器子系统844中的传感器846的传感器数据130的分析来确定一个或多个行人正在用手势信号或手持标志改变交通流。手势信号检测模块140然后可以使用该确定来向规划模块962(参见图9)发送用于适当改变自动驾驶车辆的轨迹的指令。备选地或附加地，手势信号检测模块140可以创建包括实时场景和车辆数据470的数据分组，该数据分组被传递到监督服务器160。一个或多个处理器122执行操作，该操作允许系统根据有人(例如，行人、交通官员、十字路口警卫、施工工人、执法官员或第一响应者)用手势信号或手持标志控制交通流的区域的适用法规来操作自动驾驶车辆802。由传感器846捕获的传感器数据130被提供给控制设备850，使得可以确定手势信号或手持标志的使用。合规性模块166可以确定自动驾驶车辆802应当采取什么行动来根据适用(即，当地)法规进行操作。由传感器846捕获的传感器数据130可以被提供给合规性模块166，使得可以适当地确定和执行根据自动驾驶车辆的状态的最佳行动方案。备选地或附加地，合规性模块166可以结合另一操作或控制模块(诸如车辆子系统840(参见图8)、规划模块962(参见图9)等)来确定行动方案。

合规模块166可以由处理器122执行软件指令128来实现，并且可以被配置为确定自动驾驶车辆802应当采取什么行动来根据适用(即，当地)法规(诸如道路法规)进行操作。例如，合规模块166可以知道自动驾驶车辆802的位置，并且使用该位置来确定当地道路法规，诸如速度限制、是否存在建筑区、学校区、拥堵交通、事故等。基于该信息和/或本文中描述的任何其他数据，合规性模块166可以确定自动驾驶车辆802遵循当地道路法规要采取的行动。在某些实施例中，合规性模块166可以与车辆子系统840(参见图8)和图9中描述的任何(多个)组件一起工作以执行这些操作。

监督服务器

监督服务器160可以包括一个或多个处理设备，并且通常被配置为在自动驾驶车辆802在运输过程中监督自动驾驶车辆802的操作，并且监督自动驾驶车辆802的行驶。监督服务器160还可以被配置为向系统100的其他组件提供硬件和/或软件资源。例如，监督服务器160可以被配置为向一个或多个自动驾驶车辆802提供指令172、提议轨迹480、476以及其他数据/指令。

监督服务器160可以包括处理器162、网络接口164、用户接口165和存储器168。监督服务器160的组件可操作地彼此耦合。处理器162可以包括执行监督服务器160的各种功能的一个或多个处理单元。存储器168可以存储由处理器162用来执行其功能的任何数据和/或指令。例如，存储器168可以存储软件指令170，该软件指令在由处理器162执行时引起监督服务器160执行本文中描述的一个或多个功能。监督服务器160可以如图所示进行配置，或者以任何其他合适的配置进行配置。

在一个实施例中，监督服务器160可以由用于监督自动驾驶车辆802的操作的计算设备集群来实现。例如，监督服务器160可以由使用分布式计算和/或云计算系统的多个计算设备来实现。在另一示例中，监督服务器160可以由一个或多个数据中心中的多个计算设备来实现。因此，在一个实施例中，监督服务器160可以包括比控制设备850多的处理能力。监督服务器160与自动驾驶车辆802及其组件(例如，控制设备850)进行信号通信。

处理器162包括一个或多个处理器。处理器162可以是任何电子电路系统，包括状态机、一个或多个CPU芯片、逻辑单元、核心(例如，多核处理器)、FPGA、ASIC或DSP。处理器162可以是可编程逻辑器件、微控制器、微处理器或前述各项的任何合适的组合。处理器162可以通信耦合到网络接口164、用户接口165和存储器168并且与网络接口164、用户接口165和存储器168进行信号通信。一个或多个处理器被配置为处理数据，并且可以用硬件或软件来实现。例如，处理器162可以是8位、16位、32位、64位或任何其他合适的架构。处理器162可以包括用于执行算术和逻辑运算的ALU(算术逻辑单元)、向ALU提供操作数并且存储ALU运算的结果的处理器寄存器、以及从存储器取回指令并且通过指导ALU、寄存器和其他组件的协调操作来执行指令的控制单元。一个或多个处理器被配置为实现各种指令。例如，一个或多个处理器被配置为执行软件指令170以实现本文中公开的功能，诸如关于图1-图10描述的功能中的一些或全部。在一些实施例中，本文中描述的功能可以使用逻辑单元、FPGA、ASIC、DSP或任何其他合适的硬件或电子电路系统来实现。

网络接口164可以被配置为使得能够进行监督服务器160的有线和/或无线通信。网络接口164可以被配置为在监督服务器160与其他设备、服务器、自动驾驶车辆802、系统或域之间进行数据通信。例如，网络接口164可以包括NFC接口、Bluetooth接口、Zigbee接口、Z波接口、RFID接口、WIFI接口、LAN接口、WAN接口、PAN接口、调制解调器、交换机和/或路由器。处理器162可以被配置为使用网络接口164发送和接收数据。网络接口164可以被配置为使用任何合适类型的通信协议，如本领域普通技术人员所理解的。

用户接口165可以包括一个或多个用户接口，该用户接口被配置为与诸如远程操作者184等用户交互。远程操作者184可以经由通信路径186访问监督服务器160。在某些实施例中，用户接口165可以包括监督服务器160的外围设备，诸如显示器、键盘、鼠标、触控板、触摸板、麦克风、网络摄像头、扬声器等。在某些实施例中，用户接口165可以包括图形用户界面、软件应用或网络应用。远程操作者184可以使用用户接口165来访问存储器168以查看存储在存储器168中的任何数据。远程操作者184可以确认、更新和/或否决路由计划136和/或存储在存储器168中的任何其他数据。

存储器168可以是易失性或非易失性的，并且可以包括ROM、RAM、TCAM、DRAM和SRAM。存储器168可以包括本地数据库、云数据库、NAS等中的一种或多种。存储器168可以存储图1-图10中描述的任何信息、以及可操作以在由处理器162执行时实现本文中描述的(多个)功能的任何其他数据、指令、逻辑、规则或代码。例如，存储器168可以存储软件指令170、传感器数据130、物体检测机器学习模块132、地图数据134、路线计划136、驾驶指令138、指令172、提议轨迹480、476、用于确认手势信号检测的模块472、用于确认轨迹计划的模块474和/或任何其他数据/指令。软件指令170可以包括在由处理器162执行时引起监督服务器160执行本文中描述的一个或多个功能的代码，诸如图1-图10中描述的功能中的一些或全部。存储器168包括一个或多个磁盘、磁带驱动器或固态驱动器，并且可以用作过流数据存储设备，以在程序被选择以供执行时存储这样的程序，并且存储在程序执行期间读取的指令和数据。

用于确认手势信号检测的模块472可以由处理器162执行软件指令170来实现，并且通常被配置为确认手势信号104(或手持标志104)是否正在使用及其解释。在某些实施例中，用于确认手势信号检测的模块472可以通过神经网络、卷积神经网络等来实现。在某些实施例中，用于确认手势信号检测的模块472可以使用分布式计算机系统的云计算来实现。因此，在某些实施例中，用于确认手势信号检测的模块472可以比自动驾驶车辆802中车载的手势信号检测模块140具有更高的精度。

用于确认轨迹计划的模块474可以由处理器162执行软件指令170来实现，并且通常被配置为确认轨迹是否使自动驾驶车辆802超出操作设计域144(例如，自动驾驶车辆802是否可以根据轨迹被自主地导航)。在某些实施例中，用于确认轨迹计划的模块474可以通过神经网络、卷积神经网络等来实现。在某些实施例中，用于确认轨迹计划的模块474可以通过使用分布式计算机系统的云计算来实现。因此，在某些实施例中，用于确认轨迹计划的模块474可以比自动驾驶车辆802中车载的规划模块962(参见图9)和/或手势信号检测模块140具有更高的精度。

应用服务器

应用服务器180可以是被配置为经由网络110与诸如监督服务器160、自动驾驶车辆802、数据库等其他设备通信的任何计算设备。应用服务器180可以被配置为执行本文中描述的功能，并且例如使用其用户接口经由通信路径182与远程操作者184交互。应用服务器180的示例包括但不限于台式计算机、膝上型计算机、服务器等。在一个示例中，应用服务器180可以充当远程操作者184可以从其访问监督服务器160的呈现层。这样，监督服务器160可以例如经由网络110向应用服务器180发送路由计划136、传感器数据130、指令172、提议轨迹480、476和/或任何其他数据/指令。在与应用服务器180建立通信路径182之后，远程操作者184可以查看接收的数据，并且确认、更新和/或否决指令172中的任何一个，例如，提议轨迹480、476。

远程操作者184可以是与监督服务器160相关联并且可以访问监督服务器160的个人。例如，远程操作者184可以是管理员，其可以访问和查看关于自动驾驶车辆802的信息，诸如传感器数据130、驾驶指令138、路线计划136、指令172、提议轨迹480、476、以及存储器168上可获取的其他信息。在一个示例中，远程操作者184可以经由网络110从充当呈现层的应用服务器180访问监督服务器160。当手势信号使用时自动驾驶车辆的操作的示例流程图

图2示出了当手势信号和/或手持标志104(参见图1)使用时自动驾驶车辆802(参见图1和图8)的安全操作的示例流程图。尽管出于说明的目的，该图以特定顺序描述了功能操作，但该过程不限于任何特定的操作顺序或布置。相关领域的技术人员将理解，该图中描绘的各种操作可以以各种方式省略、重新布置、组合和/或改编。

如图2所示，在操作202中，车辆传感器子系统844接收指示自动驾驶车辆(图8中的802)的环境条件的视觉信号、听觉信号、或视觉信号和听觉信号两者、以及车辆健康或传感器活动数据(例如，图1的传感器数据130)。这些视觉和/或听觉信号数据从车辆传感器子系统844传输到控制设备850，如在操作204中。在操作206中，手势信号检测模块(图1中的140)接收从车辆传感器子系统844传输的数据。然后，在操作208中，该手势信号检测模块(图1中的140)确定手势信号或手持标志正在使用并且需要可操作的动作。指示需要改变自动驾驶车辆的方案的信息可以包括检测来自行人的手势信号、检测手持标志(例如，停车、减速)、检测振荡手电筒(例如，行人挥动的手电筒以指示交通流)、或者检测人站在道路中或旁边时向自动驾驶车辆发信号通知的其他指示符。备选地，如将在图4中详细描述的，手势信号检测模块可以向监督系统(图1中的160)或指挥中心发送信息，以供监督系统或指挥中心处的计算设施或监督系统/指挥中心的操作者(图1的184)查看。在操作210中，合规性模块(图1中的166)可以使用指示需要改变自动驾驶车辆的行动方案的该信息来制定要采取的新的行动方案，该行动方案考虑到手势信号或手持标志的使用。要采取的行动方案可以包括减速、停车、驶入路肩、改变路线、在保持在同一条一般路线上的同时改变车道等等。要采取的行动方案可以包括发起与自动驾驶车辆上存在的任何监督或人机交互系统的通信。然后，在操作212中，可以将要采取的行动方案从控制设备850传输到自主控制系统。在操作214中，车辆控制子系统848然后引起自动驾驶车辆802(参见图1和图8)根据从控制设备850接收的要采取的行动方案来操作。

应当理解，本文中公开的过程中的特定操作顺序或层次结构是示例性方法的示例。基于设计偏好，可以理解，在保持在本公开的范围内的同时，可以重新布置过程中的操作的特定顺序或层次结构。所附方法要求以样本顺序呈现各种操作的当前元素，并不表示局限于所呈现的特定顺序或层次结构。

自动驾驶车辆监督系统

图3示出了系统300的实施例，该系统300被配置用于实现自动驾驶车辆802、监督服务器160和第三方360之间的通信。在所示实施例中，系统300包括一个或多个自动驾驶车辆802、具有人类操作者184的控制中心或监督系统160、以及用于第三方360交互的接口362。人类操作者184也可以称为图1中描述的远程中心操作者(RCO)。自动驾驶车辆802、监督系统160和用户接口362之间的通信通过网络110来进行。在一些情况下，在不是车队中的所有自动驾驶车辆802都能够与监督系统160通信的情况下，自动驾驶车辆802可以通过网络110或直接彼此通信。如关于图8所述，每个自动驾驶车辆802的控制设备850可以包括用于与其他设备、系统等进行数据传输的网络通信子系统892。

自动驾驶车辆802可以与监督系统160通信。监督系统160可以用于很多目的，包括：确定使用手势信号或手持标志来引导交通；存在使用手势信号或手持标志的人；确定响应于手势信号或手持标志的使用而要采取的动作；指示自动驾驶车辆802执行最小风险条件(MRC)机动等等。

为了允许车队中的自动驾驶车辆802与监督系统160或指挥中心之间的通信，每个自动驾驶车辆802可以配备有通信网关。通信网关可以具有以下任何功能：允许自动驾驶车辆到监督系统的通信(即，V2C)和监督系统到自动驾驶车辆的通信(C2V)；允许车队内的自动驾驶车辆到自动驾驶车辆的通信(V2V)；传输通信网关的可用性或状态；确认所接收的通信；确保自动驾驶车辆802与监督系统160之间的远程命令周围的安全性；以设定的时间间隔可靠地传达自动驾驶车辆的位置；使得监督系统160能够针对位置和车辆健康状态对自动驾驶车辆802进行ping；允许将各种传感器数据直接流式传输到命令或监督系统160；允许自动驾驶车辆802与监督系统160之间的自动警报；符合ISO 21434标准；等等。

监督系统160或指挥中心可以由一个或多个人(也称为操作者或远程操作者184)操作。远程操作者184可以查看由与指挥中心的监督系统160进行接触的一个或多个自动驾驶车辆802提供的数据。响应于自动驾驶车辆802提供的数据，远程操作者184可以查看数据并且向自动驾驶车辆802发送命令，或者向诸如执法部门、服务提供商(例如，卡车维修人员、拖车操作者)、客户等第三方发送信息。在指挥中心的监督系统160内，可以有一个或多个计算模块，来自自动驾驶车辆802的数据可以被传递到该计算模块以进行处理。备选地或附加地，远程操作者184可以经历多个操作以确定哪些类型的命令、指令或信息应当被传递回自动驾驶车辆802。由一个或多个自动驾驶车辆802提供的数据可以包括以下中的任何一个：相机视频、相机图像数据、LIDAR云数据、或指示手势信号或手持标志的使用的其他数据、以及关于一个或多个自动驾驶车辆802周围的交通流和道路状况的信息。

监督系统160或指挥中心可以允许第三方360与监督系统操作者184、自动驾驶车辆802、或操作者184和自动驾驶车辆802两者交互。第三方360可以是其货物正在运输的客户、执法或紧急服务提供商、或者在需要服务时协助自动驾驶车辆802的人。在其与第三方360的交互中，监督系统160可以识别不同级别的访问，使得关心运输的时间或进度的客户可以仅被允许查看自动驾驶车辆802的状态更新，或者可以能够查看状态并且向监督系统160提供关于优先处理哪些参数(例如，速度、经济性、维持最初计划路线)的输入。通过向监督系统160提供关于参数优先级的输入，客户可以影响自动驾驶车辆802的路线和/或操作参数。远程操作者184可以具有特定证书，或者具有验证第三方(例如，执法部门)的证书的能力，该第三方可以访问来自自动驾驶车辆的相机视图，包括自动驾驶车辆802的周围环境和车厢内部的相机视图。

在某些实施例中，系统可以包括系统100(参见图1)和系统300的组件中的一些或全部组件。例如，系统100(参见图1)可以包括第三方360，并且关于系统300描述的操作可以由图1的系统100执行。

标识行人的手势信号的系统的特征

图4示出了自动驾驶车辆802与监督系统160(即，控制中心)之间的系统中的数据流400的实施例。自动驾驶车辆802可以包括多个子系统，如图8中所述。关于图4，自动驾驶车辆802包括手势信号检测模块140、规划模块962、车辆控制子系统、合规性模块166、车辆驱动子系统842(例如，车辆致动模块)和车辆传感器子系统844(在图8中)。在自动驾驶车辆802上，车辆传感器子系统向手势信号检测模块140提供传感器数据(图1中的130)，诸如相机图像、相机视频剪辑、以及可以指示使用手势信号或手持标志来引导交通的任何传感器数据。

监督系统160可以包括多个组件，该组件用于与自动驾驶车辆802以及可能的第三方进行通信，以及用于从其他数据源(例如，执法信息、交通信息服务器、气象服务)接收信息。操作者或远程中心操作者184可以是监督系统160的一部分。操作者184可以查看来自一个或多个自动驾驶车辆802的数据，包括不能由控制设备(图1中的850)自信地分析的数据。除了通信模块和操作者之外，监督系统160还可以包括用于确认手势信号检测的模块472、用于确认计划的模块474(例如，轨迹的改变、对最小风险条件机动的需要)、以及遵守并且监督操作者设计的计划以通过一个或多个自动驾驶车辆的模块802。

在一些实现中，数据可以在包括自动驾驶车辆802和监督系统160的系统中传递和处理，该监督系统能够识别手势信号或手持标志的使用，并且对其做出适当反应，以引导车辆交通，如图4所示。传感器数据(图1中的130)可以由手势信号检测模块140接收，该手势信号检测模块将检测手势信号和手持标志并且对其进行分类，例如，改变路线、停车、缓慢前进、缓慢驶出车道。手势信号检测模块140然后将数据传递到规划模块962，该规划模块响应于由手势信号检测模块140标识的手势信号或手持标志的类型来创建经更新的(或提议的)轨迹规划480。经更新的轨迹计划480被传递到监督系统160。手势信号检测模块140还创建实时场景和车辆数据分组470，当规划模块962创建经更新的轨迹计划480时，该实时场景和车辆数据分组470经由优先级通信链路482传递到监督系统160。车辆数据分组470可以包括与自动驾驶车辆802的组件相关的健康数据、传感器数据(图1中的130)和/或任何其他数据。优先级通信链路482可以是高优先级链路，包括通过检测手势信号或手持标志使用而触发的最高优先级链路。监督系统160可以将经更新的轨迹计划480和车辆数据分组470呈现给监督操作者(RCO)184以供查看。

手势信号(图1中的104)可以包括以指示交通应当停止的方式举起的手、指示交通应当开始并且保持移动的挥手、指示交通方向改变的手部动作等。手持标志(图1中的104)可以包括带有诸如“停止”和“缓慢”等字样的标志，也可以包括照明器具，尤其是在夜间。照明器具可以包括各种颜色(例如，白色、黄色、橙色)的照明棒或手电筒(即，火炬)，以指示交通流的变化。在讨论手持标志时，也可以使用旗臶并且将其视为一种备选工具。旗臶可以包括用于引导交通流的彩色旗臶或用于指示道路状况的图案旗臶，诸如封闭道路。在一些情况下，手势信号可以来源于另一车辆或自行车的驾驶员，用于代替或补充照明信号。

然后，监督操作者184可以经由监督系统160的人机界面指示472“是”492手势信号或手持标志正在使用、或者“否”494手势信号或手持标志未用于指挥车辆交通。可以向自动驾驶车辆802上的合规性模块166和车辆控制子系统848发送使用手势信号的确认492，该确认表明由自动驾驶车辆802创建的建议的经更新的轨迹计划是对手势信号或手持标志的适当响应，其中由手势信号或手持标志的由自动驾驶车辆802创建的提议的经更新的轨迹计划480可以是确认计划474。也就是说，用于确认轨迹更新的模块474或用于执行最小风险条件机动的指令、以及自动驾驶车辆802上的合规性模块166和车辆控制子系统848经由车辆驱动子系统842执行经更新的轨迹计划480。

当确定手势信号或手持标志正在用于引导车辆交通，并且提议的经更新的轨迹计划480是合适的时，监督操作者184可以向合规性模块166和车辆控制子系统848传输确认498，该确认498指示根据计划轨迹480导航自动驾驶车辆802。当确定手势信号或手持标志未用于引导车辆交通494或者提议的经更新的轨迹计划480不合适496时，监督操作者184可以为自动驾驶车辆802制定合适的轨迹计划476。轨迹计划476可以被传递499到自动驾驶车辆802上的合规性模块166和车辆控制子系统848，并且该轨迹计划476可以由车辆驱动子系统842执行。监督系统160(例如，经由自动化系统和/或操作者184)将继续监测自动驾驶车辆802，特别是在导航通过交通由手势信号或手持标志引导的区域期间。一旦自动驾驶车辆802已经安全地行驶通过行人使用手势信号或手持标志引导交通的区域，监督操作者184就能够关闭提供实时场景和车辆数据470的优先级通信链路482。此外，当由自动驾驶车辆802、远程操作者184和/或监督服务器160中的任何一个创建的计划动作或轨迹可能引起自动驾驶车辆802超出其操作设计域(例如，偏离地图、在地理围栏或先前映射区域之外)时，自动驾驶车辆802能够分析并且与监督系统操作者184通信。此外，在一些情况下，监督操作者184可以精通手势信号或手持标志中的地区/管辖区差异，并且操作者184将能够适当地指示自动驾驶车辆802。

如上所述，自动驾驶车辆802上的传感器和系统可以与监督系统160合作，以确认自动驾驶车辆802对手势信号正在使用的分析，并且确认自动驾驶车辆802提议的轨迹更新(例如，轨迹480)是适当的。轨迹更新的适当性可以与操作设计域(ODD)(图1中的146)或由外部源提供给自动驾驶车辆802或监督系统160的信息进行比较。由系统提供的关于位置的信息(诸如地图系统或交通更新)可以指示可以使用手势信号的区域，诸如学校附近的十字路口、施工区域和交通事故附近的区域。例如，学校附近的地区可以有人行横道，由过街警卫看管，当孩子们过街时，该警卫使用手持标志或手势信号来阻止交通。这样的区域可以在手势信号检测模块140中被注意到，使得将更仔细地检查这些区域中的传感器数据(图1中的130)以获取手势信号的使用。在一些情况下，使用手势信号或手持标志来指挥一个地区的交通不仅可以取决于位置，还可以取决于一天中的时间，诸如仅在晚上11点至凌晨5点之间活动的施工现场，或者预计学生每天仅两次穿越一小时时段的学校。

如本文中描述的自动驾驶车辆802、特别是自动驾驶卡车可以被配置为执行以在遵守适用规则、法律和法规的同时安全穿越路线的动作可以包括由人类驾驶的自动驾驶卡车成功完成的动作。这些动作或机动可以被描述为自动驾驶车辆802的特征，因为这些动作可以是存储在控制设备(图1中的850)上的可执行程序。这些动作或特征可以包括与检测到某些类型的条件或物体的反应相关的那些动作或特征，诸如：响应于检测到具有闪光灯的应急车辆的适当运动；响应于检测到一个或多个车辆接近自动驾驶车辆802的适当运动、响应于遇到十字路口的运动或动作；执行与相邻车道或交通区域中的交通的合并；检测到需要清洁一个或多个传感器以及清洁适当的传感器；等等。自动驾驶车辆802的其他特征可以包括任何类型的机动所需要的动作或特征，包括实现上述反作用的特征或动作所需要的动作或特征。这样的特征(其可以被视为支持特征)包括：保持适当跟车距离的能力；以适当的信号和运动向右和向左转弯的能力等等。这些支持特征以及上面列出的反作用特征可以包括控制或改变转向、发动机功率输出、制动器或其他车辆控制子系统848(参见图8)。

本文中描述的系统和方法允许自动驾驶车辆802在自动驾驶车辆802中没有人类驾驶员的情况下从第一点导航到第二点，并且遵守安全合法操作的指令，包括通过手势信号或手持标志给出的指令。尽管分析的各方面被描述为在自动驾驶车辆802上执行，但是这些可以由监督系统160或远程计算设施执行。相反地，或者附加地，被描述为由监督系统或操作者184执行的方面，这些方面可以由自动驾驶系统在自动驾驶车辆802上执行，包括在检测手势信号用于引导交通的环境或区域的自动驾驶车辆802之外的其他自动驾驶车辆上执行。根据手势信号进行导航的示例方法

图5示出了用于根据手势信号104进行自动驾驶车辆导航的方法500的示例流程图。可以对方法500进行修改、添加或省略。方法500可以包括更多、更少或其他操作。例如，可以并行地或者以任何合适的顺序来执行操作。虽然有时被讨论为系统100、自动驾驶车辆802、控制设备850、监督服务器160或其中任何一个的组件执行操作，但是任何合适的系统或系统组件可以执行方法500的一个或多个操作。例如，方法500的一个或多个操作可以至少部分以分别来自图1和图8的软件指令128、软件指令170和处理指令880的形式来实现，这些软件指令存储在非暂态的、有形的、机器可读介质(例如，分别自图1和图8的存储器126、存储器168和数据存储装置890)上，该软件指令在由一个或多个处理器(例如，分别来自图1或图8的处理器122、162和870)运行时可以引起一个或多个处理器执行操作502-528。

在操作502，控制设备850访问由与自动驾驶车辆802相关联的传感器846捕获的传感器数据130。例如，当自动驾驶车辆802沿着道路102行驶时，传感器846捕获传感器数据130并且将传感器数据130传输到控制设备850。

在操作504，控制设备850从传感器数据130中检测到人106正在使用手势信号104改变道路102上的交通流。例如，控制设备850可以将传感器数据130馈送到物体检测机器学习模块132和/或手势信号检测模块140，以确定道路102上的物体(例如，人106、人106持有的旗臶、交通标志、手持标志等)，并且确定手势信号104(和/或手持标志104)是否正在用于引导交通，类似于图1-图4中所述。

在操作506，控制设备850确定手势信号104的解释。在该过程中，控制设备850可以访问训练数据集，该训练数据集包括多个数据样本，诸如图像、视频、LiDAR数据、雷达数据、点云数据和任何其他数据格式。下面的描述描述了使用训练数据集的图像。然而，应当理解，在确定手势信号104的解释时可以使用任何数目和任何组合的样本数据格式。训练数据集中的每个样本数据可以被标记有相应手势信号。例如，关于训练数据集中的图像，每个相应图像被标记有相应图像中示出的手势信号的解释。控制设备850从传感器数据130中提取在其中检测到手势信号104(例如，由物体检测机器学习模块132和/或手势信号检测模块140)的第一特征集合。第一特征集合指示手势信号104的类型。例如，手势信号104的类型可以是减速、靠边停车、停车、向右变道、向左变道、或者可以用于引导交通的任何合适的手势信号。第一特征集合可以由包括数值的第一向量表示。控制设备850可以从训练数据集中的图像中提取第二特征集合。类似地，控制设备850可以从训练数据集中的每个图像(和/或其他数据样本)中提取特征。图像可以示出特定手势。图像可以被标记有特定手势信号的特定解释。第二特征集合可以指示特定手势信号的类型。第二特征集合可以由包括数值的第二向量表示。控制设备850可以确定第一向量与第二向量之间的距离。例如，控制设备850可以确定第一向量与第二向量之间的欧氏距离(Euclidian distance)。在相同或另一示例中，控制设备850可以确定第一向量与第二向量之间的余弦相似性得分。响应于确定第一向量与第二向量之间的距离小于阈值距离(例如，小于2％、1％等)，控制设备850可以确定(从传感器数据检测到)手势信号的解释对应于特定手势信号的特定解释(如图所示)。否则，控制设备850可以确定(从传感器数据检测到的)手势信号的解释不对应于(在图像中示出的)特定手势信号的特定解释。类似地，如果手持标志104被检测到，则控制设备850可以执行类似的操作以确定手持标志104的解释。

在操作508，控制设备850根据手势信号104的解释146确定自动驾驶车辆802的提议轨迹480。在某些实施例中，提议轨迹480可以遵循手势信号104的解释146。例如，如果手势信号104的解释是停车，则提议轨迹480可以停止自动驾驶车辆802。在另一示例中，如果手势信号104的解释是减速，则提议轨迹480可以使自动驾驶车辆802减速。也可以设想手势信号104的其他解释和相应提议轨迹480，诸如停车、变道等。控制设备850可以通过更新路线计划136来确定提议轨迹480。例如，控制设备850可以通过更新自动驾驶车辆802的逐转弯导航来确定提议轨迹480。

在操作510，控制设备850向监督服务器160传输提议轨迹480和传感器数据130。在某些实施例中，控制设备850还可以向监督服务器160传输实时场景和车辆数据470。

在操作512，监督服务器160接收提议轨迹480和传感器数据130。在操作514，监督服务器160确定手势信号104是否正在用于改变交通流。监督服务器160可以基于从传感器数据130中检测到的一个或多个指示来确定手势信号104正在用于改变交通流。例如，如果人106面对迎面而来的交通并且执行手势信号104，并且人106穿着建筑制服、执法制服、护理人员制服、应急人员制服等，则监督服务器160可以确定手势信号104正在用于改变交通。监督服务器160还可以确定人106在交通车道上或在十字路口的中间。监督服务器160还可以确定人106是否在施工区域108或道路异常112附近。例如，监督服务器160可以确定人106(和/或自动驾驶车辆802)是否在已知的使用手势信号104(或手持标志104)来引导交通的区域中，例如，施工区、道路封闭区、学校区、道路事故附近的区域、拥堵交通、任何其他道路异常等。监督服务器160可以使用该信息作为手势信号104可以用于引导交通的指示。在某些实施例中，监督服务器160可以执行以下操作，以确定手势信号104是否正在用于改变交通流。

监督服务器160可以访问地图数据134，该地图数据包括城市地图的至少一部分，该城市地图包括自动驾驶车辆802行驶的道路102。监督服务器160可以根据地图数据134确定自动驾驶车辆802正在其中使用已知手势信号104或手持信号104来控制(例如，改变、引导)交通的特定区域内行驶。该特定区域可以包括学校道路交叉区域、施工区域、道路事故区域等。监督服务器160可以(相对于在其他位置捕获的其他传感器数据130)优先处理传感器数据130的分析，以用于在捕获传感器数据130的这些特定区域中的手势信号检测(或手持标志检测)。

在某些实施例中，监督服务器160可以基于捕获传感器数据130时的时间窗口来优先处理传感器数据130的分析。例如，监督服务器160可以确定自动驾驶车辆802在特定时间窗口期间在特定区域(如上所述)内行驶，诸如施工现场的活动时间、学校开放时间或学校关闭时间。监督服务器160可以(相对于在其他时间窗口中捕获的其他传感器数据130)在捕获传感器数据130时的这样的时间窗口中优先处理该传感器数据130的分析以用于手势信号检测(或手持标志检测)。

监督服务器160可以被配置为区分授权人员106(诸如施工工人、执法人员、应急人员)何时正在执行手势信号104、或者不良行为者试图通过执行手势信号104来篡改自动驾驶车辆802。例如，监督服务器160可以实现机器学习算法，该算法被预训练以区分授权人员106何时正在执行手势信号104以改变交通和不良行为者试图通过执行手势信号104来篡改自动驾驶车辆802。

类似地，如果人106面对迎面而来的交通并且持有手持标志104，则监督服务器160可以确定手持标志104正在用于改变交通。

在某些实施例中，控制设备850可以被配置为执行监督服务器160的一个或多个操作。如果确定手势信号104正在用于改变交通流，则方法500前进到操作520。否则，方法500前进到操作516。

在操作516，监督服务器160可以确定用于自动驾驶车辆802的第二提议轨迹476。第二提议轨迹476可以由监督服务器160基于分析接收的数据并且执行自动驾驶车辆802的多个驾驶模拟来确定。远程操作者184可以更新、确认或否决第二提议轨迹476。

在操作518，监督服务器160向控制设备850传输第二提议轨迹476，使得自动驾驶车辆802根据第二提议轨迹476被导航。例如，控制设备850可以接收第二提议轨迹476，并且根据第二提议轨迹476导航自动驾驶车辆802。

在操作520，监督服务器160确定提议轨迹480是否引起自动驾驶车辆802超出操作设计域144。例如，操作设计域144可以指示自动驾驶车辆802能够在其中自主行驶(即，控制设备850能够在其中自信地自主导航自动驾驶车辆)的先前映射的地理区域和位置。先前映射的地理区域和位置可以在地图数据134中指示。如果确定提议轨迹480引起自动驾驶车辆802超出操作设计域144，则方法500前进到操作522。否则，方法500前进到操作526。

在操作522，监督服务器160确定用于自动驾驶车辆802的第三提议轨迹476。第三提议轨迹476可以由监督服务器160基于分析接收的数据并且执行自动驾驶车辆802的多个驾驶模拟来确定。远程操作者184可以更新、确认或否决第三提议轨迹476。

在操作524，监督服务器160向控制设备850传输第三提议轨迹476，使得自动驾驶车辆802根据第三提议轨迹476被导航。例如，控制设备850可以接收第三提议轨迹476，并且根据第三提议轨迹476导航自动驾驶车辆802。

在操作526，监督服务器160向控制设备850传输指示执行提议轨迹480的指令172。在操作528，控制设备850根据提议轨迹480导航自动驾驶车辆802。

在某些实施例中，如果控制设备850确定提议轨迹480引起自动驾驶车辆802超出操作设计域144，则控制设备850可以指示自动驾驶车辆802执行最小风险条件机动，诸如靠边停车、停车等。无论最小风险条件机动何时执行，控制设备802都可以通知监督服务器160。例如，控制设备850可以向监督服务器160传送指示最小风险条件机动被执行的消息。

在某些实施例中，控制设备850可以向一个或多个其他自动驾驶车辆802传输所决定和最终确定的任何提议轨迹480、476，例如，这些自动驾驶车辆正在朝着正在执行手势信号104(或手持标志104)的人106的位置前进，并且在距人106(或领先的自动驾驶车辆802)的阈值距离内，诸如在一百英尺、二百英尺或任何其他合适的距离内。

在某些实施例中，监督服务器160可以向一个或多个其他自动驾驶车辆802传输所决定和最终确定的任何提议轨迹480、476，例如，这些自动驾驶车辆正在朝着正在执行手势信号104(或手持标志104)的人106的位置前进，并且在距人106(或领先的自动驾驶车辆802)的阈值距离内，诸如在一百英尺、二百英尺或任何其他合适的距离内。

尽管方法500的一些操作被描述为由控制设备850执行，并且其他操作被描述为由监督服务器160执行，但是本公开考虑了其他实施例。在某些实施例中，方法500的所有操作可以由监督服务器160执行。在某些实施例中，方法500的所有操作可以由控制设备850执行。例如，控制设备850可以执行操作502-508，并且根据提议轨迹480导航自动驾驶车辆802。例如，控制设备850可以具有执行这些操作的完全自主性。在另一示例中，控制设备850可以具有部分自主性，并且可能需要来自监督服务器160的确认(例如，指令172)或经更新的轨迹(例如，轨迹476)。

在某些实施例中，监督服务器160可以向第三方360传输传感器数据130和提议轨迹480、476。第三方360可以查看接收的数据，并且提供关于什么驾驶和行驶参数要被优先处理的输入。监督服务器160可以从第三方360接收关于要优先处理的一个或多个驾驶和行驶参数的输入，诸如速度、燃料节省参数或维持原始计划的路线(例如，路线计划136)。监督服务器160可以基于所接收的输入来更新提议轨迹480、476，并且向控制设备850传输经更新的轨迹480和476用于自动驾驶车辆导航。

用于根据施工区域手势信号进行导航的示例方法

图6示出了根据施工区域手势信号104的用于自动驾驶车辆导航的方法600的示例流程图。可以对方法600进行修改、添加或省略。方法600可以包括更多、更少或其他操作。例如，可以并行地或者以任何合适的顺序来执行操作。虽然有时被讨论为系统100、自动驾驶车辆802、控制设备850、监督服务器160或其中任何一个的组件执行操作，但是任何合适的系统或系统组件都可以执行方法600的一个或多个操作。例如，方法600的一个或多个操作可以至少部分以分别来自图1和图8的软件指令128、软件指令170和处理指令880的形式来实现，这些软件指令存储在非暂态的、有形的、机器可读介质(例如，分别自图1和图8的存储器126、存储器168和数据存储装置890)上，该软件指令在由一个或多个处理器(例如，分别来自图1或图8的处理器122、162和870)运行时可以引起一个或多个处理器执行操作602-612。

在操作602，控制设备850访问由与自动驾驶车辆802相关联的传感器846捕获的传感器数据130，类似于图1-图5中所述。

在操作604，控制设备850从传感器数据130中检测施工区域108。控制设备850可以通过以下方式来从传感器数据130中检测施工区域108的指示：将传感器数据130馈送到物体检测机器学习模块132、从传感器数据130中提取特征集合，其中特征集合可以指示在传感器数据130中指示的物体的物理属性，诸如形状、大小、颜色、位置、移动、标识符等。控制设备850可以确定物体包括施工设备、交通锥、交通屏障、施工工人106和/或与施工区域108相关联的任何其他物体中的至少一项。

在操作606，控制设备850确定是否从传感器数据130中检测到施工区域相关手势信号104。施工区域相关手势信号104的示例可以包括本文中描述的手势信号104中的任何一个。控制设备850可以通过将传感器数据130馈送到手势信号检测模块140和/或物体检测机器学习模块132来确定是否检测到施工区域相关手势信号104，类似于图1-图5中所述。

例如，控制设备850可以确定施工工人106正在使用施工区域相关手势信号104(和/或施工区域相关手持标志104)改变交通流，其中施工工人106在与施工区域108相邻的行车道上(例如，在阈值距离内，例如在10英尺、8英尺等内)并且面对迎面而来的交通。在某些实施例中，检测到施工区域相关手势信号104和/或该人是施工工人106可以包括确定施工工人106穿着建筑制服。如果确定检测到施工区域相关手势信号104，则方法600前进到操作608。否则，方法600返回到操作602。

在操作608，控制设备850确定施工区域相关手势信号104的解释146。例如，在手势信号104是施工区域相关手势信号104的情况下，控制设备850可以执行图5的操作506中描述的操作。同样，在检测到施工区域相关手持标志104的情况下，控制设备850可以执行类似的操作。

在操作610，控制设备850根据施工区域相关手势信号104的解释146来确定用于自动驾驶车辆802的提议轨迹480。控制设备850可以类似于图5的操作510中所述的那样来确定提议轨迹480。提议轨迹480可以遵循施工区域相关手势信号104的解释146。例如，如果施工区域相关手势信号104的解释146是向前前进，则提议轨迹480可以是向前移动。在另一示例中，如果施工区域相关手势信号104的解释146是减速，则提议轨迹480可以是减速。

在操作612，控制设备850根据提议轨迹480导航自动驾驶车辆802。在某些实施例中，在从传感器数据130中检测到施工区域相关手持标志104的情况下，控制设备850和监督服务器160可以执行类似的操作，类似于图5中所述。

在某些实施例中，在从传感器数据130中检测到施工区域相关手持标志104的情况下，控制设备850和监督服务器160可以执行类似的操作，类似于图5中所述。

在某些实施例中，控制设备850和监督服务器160可以执行与图5中描述的操作类似的操作。例如，响应于在操作610处确定提议轨迹480，控制设备850可以向监督服务器160传输施工区域相关手势信号104的解释146和提议轨迹480。类似于图5的操作514中所述，监督服务器160可以接收所传输的数据，并且确定施工区域相关手势信号104是否正在用于改变交通流。如果确定施工区域相关手势信号104正在用于改变交通流，则监督服务器可以确定提议轨迹480是否引起自动驾驶车辆802超出操作设计域144。如果确定提议轨迹480没有引起自动驾驶车辆802超出操作设计域144，则监督服务器160可以向控制设备850传输指令172，其中指令172指示执行提议轨迹480。控制设备850可以接收指令172并且根据提议轨迹480导航自动驾驶车辆802。

在某些实施例中，如果监督服务器160确定施工区域相关手势信号104没有用于改变交通，则监督服务器160可以确定用于自动驾驶车辆802的第二提议轨迹476，并且向控制设备850传输第二提议轨迹476。控制设备480可以接收第二提议轨迹476，并且根据第二提议轨迹476导航自动驾驶车辆802。

在某些实施例中，如果监督服务器160确定提议轨迹480引起自动驾驶车辆802超出操作设计域144，则监督服务器160可以确定用于自动驾驶车辆的第三提议轨迹476，并且向控制设备850传输第三提议轨迹476。控制设备480可以接收第三提议轨迹476，并且根据第三提议轨迹476导航自动驾驶车辆802。

在某些实施例中，监督服务器160可以向一个或多个其他自动驾驶车辆802传输最终提议轨迹480、476，例如正在朝着道路异常112行驶的那些自动驾驶车辆802，类似于图5中所述。

在某些实施例中，控制设备850和监督服务器160中的一者或两者可以确定施工区域相关手势信号104是否正在用于改变交通流。

在某些实施例中，确定施工区域相关手势信号104是否正在用于改变交通流可以包括：访问地图数据134，根据地图数据134确定自动驾驶车辆802正在其中使用已知手势信号104来控制交通的特定区域内行驶，其中特定区域包括施工区域，以及优先处理传感器数据130的分析以进行手势信号检测，其中该传感器数据130是当自动驾驶车辆802在特定区域内行进时捕获的，类似于图5中所述。

在某些实施例中，确定施工区域相关手势信号104是否正在用于改变交通流可以包括：确定自动驾驶车辆802在特定时间窗口期间在特定区域内行驶，其中特定时间窗口包括施工现场的活动时间，以及优先处理传感器数据130的分析以进行手势信号检测，其中该传感器数据130是在特定时间窗期间捕获的，类似于图5中所述。类似地，如果施工工人106面对迎面而来的交通并且持有施工区域相关手持标志104，则监督服务器160和/或控制设备850可以确定施工区域相关手持标志正在用于改变交通。

在某些实施例中，控制设备850和/或监督服务器160可以确定提议轨迹480、476是否引起自动驾驶车辆802超出操作设计域144并且执行适当的动作，类似于图1-图5中所述。

在某些实施例中，监督服务器160可以向第三方360传送传感器数据130和提议轨迹480、476，并且接收来自第三方的输入，类似于图5中所述。监督服务器160可以基于所接收的输入来更新提议轨迹480、476，并且向控制设备850传输经更新的轨迹480和476用于自动驾驶车辆导航。

用于根据应急人员手势信号进行导航的示例方法

图7示出了根据紧急情况相关手势信号104的用于自动驾驶车辆导航的方法700的示例流程图。可以对方法700进行修改、添加或省略。方法700可以包括更多、更少或其他操作。例如，可以并行地或者以任何合适的顺序来执行操作。虽然有时被讨论为系统100、自动驾驶车辆802、控制设备850、监督服务器160或其中任何一个的组件执行操作，但是任何合适的系统或系统组件都可以执行方法700的一个或多个操作。例如，方法700的一个或多个操作可以至少部分以分别来自图1和图8的软件指令128、软件指令170和处理指令880的形式来实现，这些软件指令存储在非暂态的、有形的、机器可读介质(例如，分别自图1和图8的存储器126、存储器168和数据存储装置890)上，该软件指令在由一个或多个处理器(例如，分别来自图1或图8的处理器122、162和870)运行时可以引起一个或多个处理器执行操作702-612。

在操作702，控制设备850访问由与自动驾驶车辆802相关联的传感器846捕获的传感器数据130，类似于图1-图5中所述。

在操作704，控制设备850从传感器数据130中检测道路异常112。道路异常112可以是道路事故、道路封闭、拥堵交通等。控制设备850可以通过以下方式来从传感器数据130中检测道路异常112的指示：将传感器数据130馈送到物体检测机器学习模块132、从传感器数据130中提取特征集合，其中特征集合可以指示在传感器数据130中指示的物体的物理属性，诸如形状、大小、颜色、位置、移动、标识符等。控制设备850可以确定物体包括与道路异常112相关联的任何物体，诸如交通锥、交通屏障、阈值区域内超过阈值数目的车辆(即，拥堵的交通)、道路上的碰撞、道路上的静止物体等。

在操作706，控制设备850确定是否从传感器数据130中检测到紧急情况相关手势信号104。紧急情况相关手势信号104的示例可以包括本文中描述的手势信号104中的任何一个。控制设备850可以通过将传感器数据130馈送到手势信号检测模块140和/或物体检测机器学习模块132来确定是否检测到紧急情况相关手势信号104，类似于图1-图5中所述。例如，控制设备850可以确定应急人员106正在使用应急情况相关手势信号104(和/或应急情况相关手持标志104)改变交通流，其中应急人员106在与道路异常112相邻的行车道上(例如，在阈值距离内，例如在10英尺、8英尺等内)并且面对迎面而来的交通。应急人员106例如可以是执法人员、消防员或护理人员。在某些实施例中，检测到紧急情况相关手势信号104和/或该人是应急人员106可以包括确定应急人员106穿着执法制服、消防员制服或护理人员制服。如果确定检测到紧急情况相关手势信号104，则方法700前进到操作708。否则，方法700返回到操作702。

在操作708，控制设备850确定紧急情况相关手势信号104的解释146。例如，在手势信号104是紧急情况相关手势信号104的情况下，控制设备850可以执行图5的操作506中描述的操作。同样，在检测到紧急情况相关手持标志104的情况下，控制设备850可以执行类似的操作。

在操作710，控制设备850根据紧急情况相关手势信号104的解释146来确定用于自动驾驶车辆802的提议轨迹480。控制设备850可以类似于图5的操作510中所述的那样来确定提议轨迹480。提议轨迹480可以遵循紧急情况相关手势信号104的解释146。例如，如果紧急情况相关手势信号104的解释146是向前前进，则提议轨迹480可以是向前移动。在另一示例中，如果紧急情况相关手势信号104的解释146是减速，则提议轨迹480可以是减速。在另一示例中，紧急情况相关手势信号104可以是指示右侧、前方和后方的车辆停车并且左侧的车辆前进的手部运动或旗臶挥舞。如果紧急情况相关手势信号104的解释是应急人员106右侧、前方和后方的车辆停车并且左侧的车辆前进，则如果自动驾驶车辆802在应急人员的左侧，则提议轨迹480可以向前移动，而如果自动驾驶车辆802在应急人员106的右侧、前方和后方中的任何一个，则提议轨迹480可以是停车。

在操作712，控制设备850根据提议轨迹480导航自动驾驶车辆802。在某些实施例中，在从传感器数据130中检测到紧急情况相关手持标志104的情况下，控制设备850和监督服务器160可以执行类似的操作，类似于图5中所述。在某些实施例中，控制设备850和监督服务器160可以执行与图5中描述的操作类似的操作。例如，响应于在操作710处确定提议轨迹480，控制设备850可以向监督服务器160传输紧急情况相关手势信号104的解释146和提议轨迹480。类似于图5的操作514中所述，监督服务器160可以接收所传输的数据，并且确定紧急情况相关手势信号104是否正在用于改变交通流。如果确定紧急情况相关手势信号104正在用于改变交通流，则监督服务器可以确定提议轨迹480是否引起自动驾驶车辆802超出操作设计域144。如果确定提议轨迹480没有引起自动驾驶车辆802超出操作设计域144，则监督服务器160可以向控制设备传输指令172，其中指令172指示执行提议轨迹480。控制设备850可以接收指令172并且根据提议轨迹480导航自动驾驶车辆802。

在某些实施例中，如果监督服务器160确定紧急情况相关手势信号104没有用于改变交通，则监督服务器160可以确定用于自动驾驶车辆802的第二提议轨迹476，并且向控制设备480传输第二提议轨迹476。控制设备480可以接收第二提议轨迹476，并且根据第二提议轨迹476导航自动驾驶车辆802。

在某些实施例中，如果监督服务器160确定提议轨迹480引起自动驾驶车辆802超出操作设计域144，则监督服务器160可以确定用于自动驾驶车辆的第三提议轨迹476，并且向控制设备850传输第三提议轨迹476。控制设备480可以接收第三提议轨迹476，并且根据第三提议轨迹476导航自动驾驶车辆802。

在某些实施例中，监督服务器160可以向一个或多个其他自动驾驶车辆802传输最终提议轨迹480、476，例如正在朝着道路异常112行驶的那些自动驾驶车辆802，类似于图5中所述。在某些实施例中，控制设备850和监督服务器160中的一者或两者可以确定紧急情况相关手势信号104是否正在用于改变交通流。

在某些实施例中，确定紧急情况相关手势信号104是否正在用于改变交通流可以包括：访问地图数据134，根据地图数据134确定自动驾驶车辆802正在其中使用已知手势信号104来控制交通的特定区域内行驶，其中特定区域包括学校道路交叉区域、施工区域或道路事故区域中的一项，以及优先处理传感器数据130的分析以进行手势信号检测，其中该传感器数据130是当自动驾驶车辆在特定区域(例如，道路事故、拥堵交通等)内行驶时捕获的，类似于图5中所述。

在某些实施例中，确定紧急情况相关手势信号104是否正在用于改变交通流可以包括：确定自动驾驶车辆802在特定时间窗口期间在特定区域内行驶，其中特定时间窗口包括施工现场的活动时间、学校开放时间或学校关闭时间中的一项，以及优先处理传感器数据130的分析以进行手势信号检测，其中该传感器数据130是在特定时间窗期间捕获的，类似于图5中所述。类似地，如果应急人员106面对迎面而来的交通并且持有紧急情况相关手持标志104，则监督服务器160和/或控制设备850可以确定紧急情况相关手持标志正在用于改变交通。

在某些实施例中，控制设备850和/或监督服务器160可以确定提议轨迹480、476是否引起自动驾驶车辆802超出操作设计域144并且执行适当的动作，类似于图1-图5中所述。

在某些实施例中，监督服务器160可以向第三方360传送传感器数据130和提议轨迹480、476，并且接收来自第三方的输入，类似于图5中所述。监督服务器160可以基于所接收的输入来更新提议轨迹480、476，并且向控制设备850传输经更新的轨迹480和476用于自动驾驶车辆导航。

在某些实施例中，系统可以包括图1的系统100和图3的系统300的一个或多个组件，并且被配置为执行图4中描述的数据流400、图2的方法200、图5的方法500和图6的方法600的一个或多个操作。

示例自动驾驶车辆及其操作

图8示出了可以在其中确定自主驾驶操作的示例车辆生态系统800的框图。如图8所示，自动驾驶车辆802可以是半挂卡车。车辆生态系统800可以包括若干系统和组件，这些系统和组件可以生成一个或多个信息/数据源和相关服务和/或将其向可以位于自动驾驶车辆802中的车载控制计算机850递送。车载控制计算机850可以与多个车辆子系统840进行数据通信，所有这些车辆子系统可以驻留在自动驾驶车辆802中。可以提供车辆子系统接口860以促进车载控制计算机850与多个车辆子系统840之间的数据通信。在一些实施例中，车辆子系统接口860可以包括控制器局域网(CAN)控制器以与车辆子系统840中的设备通信。

自动驾驶车辆802可以包括支持自动驾驶车辆802的操作的各种车辆子系统。车辆子系统840可以包括车辆驱动子系统842、车辆传感器子系统844、车辆控制子系统848和/或网络通信子系统892。图8所示的车辆驱动子系统842、车辆传感器子系统844和车辆控制子系统848的组件或设备是示例。自动驾驶车辆802可以如图所示来配置，或者根据任何其他配置来配置。

车辆驱动子系统842可以包括可操作以为自动驾驶车辆802提供动力运动的组件。在示例实施例中，车辆驱动子系统842可以包括引擎/电机842a、车轮/轮胎842b、变速器842c、电气子系统842d和电源842e。

车辆传感器子系统844可以包括被配置为感测关于自动驾驶车辆802的环境或状况的信息的多个传感器846。车辆传感器子系统844可以包括一个或多个相机846a或图像捕获设备、雷达单元846b、一个或多个热传感器846c、无线通信单元846d(例如，蜂窝通信收发器)、惯性测量单元(IMU)846e、激光测距仪/LiDAR单元846f、全球定位系统(GPS)收发器846g、刮水器控制系统846h。车辆传感器子系统844还可以包括被配置为监测自动驾驶车辆802的内部系统(例如，O

IMU 846e可以包括被配置为基于惯性加速度来感测自动驾驶车辆802的位置和取向变化的传感器(例如，加速度计和陀螺仪)的任何组合。GPS收发器846g可以是被配置为估计自动驾驶车辆802的地理位置的任何传感器。为此，GPS收发器846g可以包括可操作以提供关于自动驾驶车辆802相对于地球的位置的信息的接收器/传输器。雷达单元846b可以表示利用无线电信号来感测自动驾驶车辆802的本地环境内的物体的系统。在一些实施例中，除了感测物体之外，雷达单元846b还可以被配置为感测靠近自动驾驶车辆802的物体的速度和航向。激光测距仪或LiDAR单元846f可以是被配置为使用激光来感测自动驾驶车辆802所处的环境中的物体的任何传感器。相机846a可以包括被配置为捕获自动驾驶车辆802的环境的多个图像的一个或多个设备。相机846a可以是静止图像相机或运动视频相机。

相机846a可以是后向和前向的，使得可以从自动驾驶车辆周围观察到行人、以及他们发出的任何手势信号或行人持有的标志。这些相机846a可以包括摄像机、具有用于特定波长的滤波器的相机、以及适合于检测手势信号、手持交通标志、或手势信号和手持交通标志两者的任何其他相机。声音检测阵列(诸如麦克风或麦克风阵列)可以被包括在车辆传感器子系统844中。声音检测阵列的麦克风可以被配置为接收有关当局存在的音频指示或来自当局的指令，包括警报器和诸如“靠边停车”等命令。这些麦克风安装或定位在车辆的外部，特别是自动驾驶车辆的牵引车部分的外部。所使用的麦克风可以是任何合适的类型，被安装为使得其在自动驾驶车辆静止时以及以正常行驶速度行驶时都有效。

车辆控制子系统848可以被配置为控制自动驾驶车辆802及其组件的操作。因此，车辆控制子系统848可以包括各种元件，诸如油门和档位选择器848a、制动单元848b、导航单元848c、转向系统848d和/或自主控制单元848e。油门和档位选择器848a可以被配置为控制例如引擎的操作速度，并且继而控制自动驾驶车辆802的速度。油门和档位选择器848a可以被配置为控制变速器的档位选择。制动单元848b可以包括被配置为使自动驾驶车辆802减速的机构的任何组合。制动单元848b可以以标准方式使自动驾驶车辆802减速，包括通过使用摩擦使车轮减速或引擎制动。制动单元848b可以包括可以在制动被施加时防止制动器抱死的防抱死制动系统(ABS)。导航单元848c可以是被配置为确定自动驾驶车辆802的行驶路径或路线的任何系统。导航单元848c还可以被配置为在自动驾驶车辆802操作时动态地更新驾驶路径。在一些实施例中，导航单元848c可以被配置为合并来自GPS收发器846g的数据和一个或多个预定地图，以便确定自动驾驶车辆802的行驶路径。转向系统848d可以表示可以可操作以在自主模式或驾驶员控制模式中调节自动驾驶车辆802的航向的机构的任何组合。

自动驾驶控制单元848e可以表示控制系统，该控制系统被配置为标识、评估和避免或以其他方式越过自动驾驶车辆802的环境中的潜在障碍物或障碍。通常，自主控制单元848e可以被配置为在没有驾驶员的情况下控制自动驾驶车辆802以进行操作，或者在控制自动驾驶车辆802时提供驾驶员辅助。在一些实施例中，自主控制单元848e可以被配置为合并来自GPS收发器846g、雷达单元846b、LiDAR单元846f、相机846a和/或其他车辆子系统的数据，以确定自动驾驶车辆802的行驶路径或轨迹。

网络通信子系统892可以包括网络接口，诸如路由器、交换机、调制解调器等。网络通信子系统892可以被配置为在自动驾驶车辆802与其他系统、服务器等之间建立通信。网络通信子系统892还可以被配置为向其他系统发送数据和从其他系统接收数据。

自动驾驶车辆802的功能中的很多或全部功能可以由车载控制计算机850控制。车载控制计算机850可以包括执行存储在非暂态计算机可读介质(诸如数据存储设备890或存储器)中的处理指令880的至少一个数据处理器870(其可以包括至少一个微处理器)。车载控制计算机850还可以表示可以用于以分布式方式控制自动驾驶车辆802的个体组件或子系统的多个计算设备。在一些实施例中，数据存储设备890可以包含由数据处理器870可执行以执行自动驾驶车辆802的各种方法和/或功能(包括关于图1-图10描述的那些方法和功能)的处理指令880(例如，程序逻辑)。

数据存储设备890也可以包含附加指令，包括用于向车辆驱动子系统842、车辆传感器子系统844和车辆控制子系统848中的一个或多个传输数据、从其接收数据、与其交互、或控制其的指令。车载控制计算机850可以被配置为包括数据处理器870和数据存储设备890。车载控制计算机850可以基于从各种车辆子系统(例如，车辆驱动子系统842、车辆传感器子系统844和车辆控制子系统848)接收的输入来控制自动驾驶车辆802的功能。

图9示出了用于提供精确的自主驾驶操作的示例性系统900。系统900可以包括可以在车载控制计算机850中操作的若干模块，如图8中所述。车载控制计算机850可以包括如图9的左上角所示的传感器融合模块902，其中传感器融合模块902可以执行至少四个图像或信号处理操作。传感器融合模块902可以从位于自动驾驶车辆上的相机获取图像，以执行图像分割904，从而检测位于自动驾驶车辆周围的运动物体(例如，其他车辆、行人等)和/或静态障碍物(例如，停车标志、减速带、地形等)的存在。传感器融合模块902可以从位于自动驾驶车辆上的LiDAR传感器获取LiDAR点云数据项，以执行LiDAR分割906，从而检测位于自动驾驶车辆周围的物体和/或障碍物的存在。

传感器融合模块902可以对图像和/或点云数据项执行实例分割908，以标识位于自动驾驶车辆周围的物体和/或障碍物周围的轮廓(例如，框)。传感器融合模块902可以执行时间融合910，其中来自一个图像和/或一帧点云数据项的物体和/或障碍物与来自随后在时间上接收的一个或多个图像或帧的物体或障碍物相关或相关联。

传感器融合模块902可以融合来自从相机获取的图像和/或从LiDAR传感器获取的点云数据项的物体和/或障碍物。例如，传感器融合模块902可以基于两个相机的位置来确定来自相机中的一个相机的、包括位于自动驾驶车辆前方的车辆的一半的图像与由另一相机捕获的车辆相同。传感器融合模块902可以将融合的物体信息发送给跟踪或预测模块946，并且将融合的障碍物信息发送给占用网格模块960。车载控制计算机可以包括可以从存储在车载控制计算机中的地图数据库958中检索地标的占用网格模块960。占用网格模块960可以根据从传感器融合模块902获取的融合障碍物和存储在地图数据库958中的地标来确定可驾驶区域和/或障碍物。例如，占用网格模块960可以确定可驾驶区域可以包括减速带障碍物。

在传感器融合模块902下方，车载控制计算机850可以包括基于LiDAR的物体检测模块912，该模块可以基于从位于自动驾驶车辆上的LiDAR传感器914获取的点云数据项来执行物体检测916。物体检测916技术可以从点云数据项提供物体的位置(例如，在3D世界坐标中)。在基于LiDAR的物体检测模块912下方，车载控制计算机可以包括基于图像的物体检测模块918，该模块可以基于从位于自动驾驶车辆上的相机920获取的图像来执行物体检测924。例如，物体检测918技术可以采用基于深度图像的物体检测924(例如，机器学习技术)来从由相机920提供的图像中提供物体的位置(例如，在3D世界坐标中)。

自动驾驶车辆上的雷达956可以扫描在自动驾驶车辆前方的区域或自动驾驶车辆驶向的区域。雷达数据可以被发送给传感器融合模块902，该传感器融合模块可以使用雷达数据来将雷达956检测到的物体和/或障碍物与从LiDAR点云数据项和相机图像两者检测到的物体和/或阻碍物相关联。雷达数据还可以被发送给跟踪或预测模块946，该干扰模块可以对雷达数据执行数据处理以通过物体跟踪模块948来跟踪物体，如下面进一步所述。

车载控制计算机可以包括跟踪或预测模块946，该干扰模块接收来自点云的物体的位置和来自图像的物体的位置、以及来自传感器融合模块902的融合物体。跟踪或预测模块946还接收雷达数据，利用该雷达数据，跟踪或预测模块946可以通过物体跟踪模块948从在一个时刻获取的一个点云数据项和一个图像到在另一后续时刻获取的另一(或下一)点云数据项和另一图像来跟踪物体。

跟踪或预测模块946可以执行物体属性估计950，以估计在图像或点云数据项中检测到的物体的一个或多个属性。物体的一个或多个属性可以包括物体的类型(例如，行人、汽车或卡车等)。跟踪或预测模块946可以执行行为预测952，以估计或预测在图像和/或点云中检测到的物体的运动模式。行为预测952可以被执行以检测在不同时间点接收的一组图像(例如，连续图像)中或者在不同时间点接收的一组点云数据项(例如，顺序点云数据项)中的物体的位置。在一些实施例中，可以针对从相机接收的每个图像和/或从LiDAR传感器接收的每个点云数据项执行行为预测952。在一些实施例中，可以执行(例如，运行或进行)跟踪或预测模块946，以通过每隔一个或在每隔预定数目的从相机接收的图像或从LiDAR传感器接收的点云数据项之后(例如，在每隔两个图像之后或在每隔三个点云数据项之后)执行行为预测952来减少计算负载。

行为预测952特征可以根据雷达数据确定自动驾驶车辆周围的物体的速度和方向，其中速度和方向信息可以用于预测或确定物体的运动模式。运动模式可以包括在从相机接收到图像之后在未来的预定时间长度内物体的预测轨迹信息。基于预测的运动模式，跟踪或预测模块946可以将运动模式情景标签分配给物体(例如，“位于坐标(x，y)处”、“停止”、“以50mph的速度行驶”、“加速”或“减速”)。情景标签可以描述物体的运动模式。跟踪或预测模块946可以向规划模块962发送一个或多个物体属性(例如，物体的类型)和运动模式情景标签。跟踪或预测模块946可以使用由系统900及其任何数目和组合的组件获取的任何信息来执行环境分析954。

车载控制计算机可以包括规划模块962，该规划模块从跟踪或预测模块946接收物体属性和运动模式情景标签，从融合定位模块926接收可驾驶区域和/或障碍物、以及车辆位置和姿态信息(下文进一步描述)。

规划模块962可以执行导航规划964，以确定自动驾驶车辆可以在其上行驶的一组轨迹。该组轨迹可以基于可驾驶区域信息、物体的一个或多个物体属性、物体的运动模式情景标签、障碍物的位置和可驾驶区域信息来确定。在一些实施例中，导航规划964可以包括在紧急情况下确定自动驾驶车辆可以安全停放的道路旁边的区域。规划模块962可以包括行为决策966，以响应于确定道路上的变化条件(例如，交通灯变黄，或者自动驾驶车辆因为另一车辆在自动驾驶车辆前面行驶并且在自动驾驶车辆的位置的预定安全距离内的区域中而处于不安全的驾驶条件)而确定驾驶动作(例如，转向、制动、油门)。规划模块962执行轨迹生成968，并且从由导航规划操作964确定的该组轨迹中选择轨迹。所选择的轨迹信息可以由规划模块962发送给控制模块970。

车载控制计算机可以包括控制模块970，该控制模块970从规划模块962接收提议轨迹，并且从融合定位模块926接收自动驾驶车辆的位置和姿态。控制模块970可以包括系统标识符972。控制模块970可以执行基于模型的轨迹细化974以细化提议轨迹。例如，控制模块970可以应用滤波(例如，卡尔曼滤波器)以使提议轨迹数据平滑和/或使噪声最小化。控制模块970可以通过基于细化的提议轨迹的信息和自动驾驶车辆的当前位置和/或姿态来确定要施加的制动压力的量、转向角、用于控制车辆速度的油门量、和/或变速器档位来执行稳健控制976。控制模块970可以将所确定的制动压力、转向角、油门量和/或变速器档位发送给自动驾驶车辆中的一个或多个设备，以控制和促进自动驾驶车辆的精确驾驶操作。

由基于图像的物体检测模块918执行的基于深度图像的物体检测924也可以用于检测道路上的地标(例如，停车标志、减速带等)。车载控制计算机可以包括融合定位模块926，该融合定位模块获取从图像中检测到的地标、从存储在车载控制计算机上的地图数据库936中获取的地标、由基于LiDAR的物体检测模块912从点云数据项中检测到的地标、来自里程计传感器944或旋转编码器的速度和位移、以及来自位于自动驾驶车辆上或中的GPS/IMU传感器938(即，GPS传感器940和IMU传感器942)的自动驾驶车辆的估计位置。基于该信息，融合定位模块926可以执行定位操作928以确定自动驾驶车辆的位置，该位置可以被发送给规划模块962和控制模块970。

融合定位模块926可以基于GPS和/或IMU传感器938来估计自动驾驶车辆的姿态930。自动驾驶车辆的姿态可以被发送给规划模块962和控制模块970。融合定位模块926还可以基于(例如，拖车状态估计934)例如由IMU传感器942提供的信息(例如，角速率和/或线速度)来估计拖车单元的状态(例如，位置、可能的移动角度)。融合定位模块926还可以检查地图内容932。

图10示出了自动驾驶车辆802中包括的车载控制计算机850的示例性框图。车载控制计算机850可以包括至少一个处理器1004和存储器1002，该存储器上存储有指令(例如，分别在图1和图8中的软件指令128和处理指令880)。在由处理器1004执行时，该指令将车载控制计算机850和/或车载控制计算机850的各种模块配置为执行图1-图10中描述的操作。传输器1006可以向自动驾驶车辆中的一个或多个设备传输信息或数据或者从其接收信息或数据。例如，传输器1006可以向方向盘的一个或多个电机发送指令以转向自动驾驶车辆。接收器1008接收由一个或多个设备传输或发送的信息或数据。例如，接收器1008从里程计传感器接收当前速度的状态，或者从变速器接收当前变速器档位。传输器1006和接收器1008还可以被配置为与上面在图8和图9中描述的多个车辆子系统840和车载控制计算机850进行通信。

虽然在本公开中提供了若干实施例，但应当理解，在不脱离本公开的精神或范围的情况下，所公开的系统和方法可以以很多其他特定形式来体现。本实施例被认为是说明性的而非限制性的，并且意图不限于本文中给出的细节。例如，可以将各种元件或组件组合或集成到另一系统中，或者可以省略或不实现某些特征。

此外，在不脱离本公开的范围的情况下，在各种实施例中描述和图示为分立或分离的技术、系统、子系统和方法可以与其他系统、模块、技术或方法组合或集成。被示出或讨论为彼此耦合或直接耦合或通信的其他项目可以通过某种接口、设备或中间组件间接耦合或通信，无论是电的、机械的还是其他的。改变、替换和变化的其他示例是本领域技术人员能够确定的，并且可以在不偏离本文中公开的精神和范围的情况下进行。

为了帮助专利局和根据本申请发布的任何专利的任何读者解释本申请所附的权利要求，申请人注意到，除非在特定权利要求中明确使用了“手段”或“步骤”，否则不打算援引本申请提交之日存在的《美国法典》第35卷第112(f)节。

本公开的实现可以根据以下章节进行描述，其特征可以以任何合理的方式进行组合。

条款1.一种系统，包括：

自动驾驶车辆，被配置为沿着道路行驶，其中自动驾驶车辆包括至少一个传感器；

控制设备，与自动驾驶车辆相关联并且包括第一处理器，第一处理器被配置为：

访问由至少一个传感器捕获的传感器数据，其中传感器数据提供关于自动驾驶车辆前方的区域的至少一部分的信息；

从传感器数据中检测施工区域；

从传感器数据中检测到施工工人正在使用施工区域相关手势信号改变交通流，其中施工工人在与施工区域相邻的交通车道上并且面对迎面而来的交通；

确定施工区域相关手势信号的解释；

根据施工区域相关手势信号的解释确定用于自动驾驶车辆的提议轨迹；以及

根据提议轨迹导航自动驾驶车辆。

条款2.根据条款1的系统，其中从传感器数据中检测到施工工人正在使用施工区域相关手势信号改变交通流包括确定施工工人穿着施工制服。

条款3.根据条款1的系统，其中从传感器数据中检测施工区域包括：

从传感器数据中提取特征集合，其中特征集合指示在传感器数据中指示的物体的物理属性；以及

确定物体包括施工设备、交通锥或交通屏障中的至少一项。

条款4.根据条款1的系统，其中：

施工区域相关手势信号是指示所有车辆向前前进的手部运动或旗臶挥舞；以及

提议轨迹遵循施工区域相关手势信号的解释，使得如果施工区域相关手势信号的解释是向前前进，则提议轨迹是向前移动。

条款5.根据条款1的系统，其中：

施工区域相关手势信号是指示所有车辆减速的手部运动或旗臶挥舞；以及

提议轨迹遵循施工区域相关手势信号的解释，使得如果施工区域相关手势信号的解释是减速，则提议轨迹是减速。

条款6.根据条款1的系统，其中确定施工区域相关手势信号的解释包括：

访问包括多个图像的训练数据集，其中多个图像中的相应图像被标记有在相应图像中示出的手势信号的解释；

从传感器数据中提取在其中检测到施工区域相关手势信号的第一特征集合，其中：

第一特征集合指示施工区域相关手势信号的类型；

第一特征集合由包括数值的第一向量表示；

从多个图像中的图像中提取第二特征集合，其中：

图像示出特定手势信号；

图像被标记有特定手势信号的特定解释；

第二特征集合指示特定手势信号的类型；

第二特征集合由包括数值的第二向量表示；

确定第一向量与第二向量之间的距离；以及

响应于确定第一向量与第二向量之间的距离小于阈值百分比，确定施工区域相关手势信号的解释对应于特定手势信号的特定解释。

条款7.根据条款1的系统，其中第一处理器还被配置为：

确定提议轨迹引起自动驾驶车辆超出操作设计域；以及

指示自动驾驶车辆执行最小风险条件机动，最小风险条件机动包括靠边停车或停车。

条款8.根据条款1的系统，其中自动驾驶车辆是附接到拖车的半卡车牵引车单元。

条款9.根据条款1的系统，其中第一处理器还被配置为向一个或多个其他自动驾驶车辆传输提议轨迹。

条款10.根据条款1的系统，其中传感器数据包括相机视频、相机图像数据以及光检测和测距(LiDAR)云数据中的至少一项。

条款11.一种系统，包括：

自动驾驶车辆，被配置为沿着道路行驶，其中自动驾驶车辆包括至少一个传感器；

控制设备，与自动驾驶车辆相关联并且包括第一处理器，第一处理器被配置为：

访问由至少一个传感器捕获的传感器数据，其中传感器数据提供关于自动驾驶车辆前方的区域的至少一部分的信息；

从传感器数据中检测施工区域；

从传感器数据中检测到施工工人正在使用施工区域相关手势信号改变交通流，其中施工工人在与施工区域相邻的交通车道上并且面对迎面而来的交通；

确定施工区域相关手势信号的解释；

根据施工区域相关手势信号的解释确定用于自动驾驶车辆的提议轨迹；以及

向监督服务器传输提议轨迹和传感器数据中的至少一项；

监督服务器，与控制设备可操作地耦合，并且包括第二处理器，第二处理器被配置为：

接收提议轨迹和传感器数据中的至少一项；

确定施工区域相关手势信号是否正在用于改变交通流；

响应于确定施工区域相关手势信号正在用于改变交通流，确定提议轨迹是否引起自动驾驶车辆超出操作设计域，操作设计域指示自动驾驶车辆能够在其中自主行驶的预先映射的地理区域；以及

响应于确定提议轨迹没有引起自动驾驶车辆超出操作设计域，向控制设备传输指示执行提议轨迹的指令。

条款12.根据条款11的系统，其中第一处理器还被配置为：

从监督服务器接收指令；以及

根据提议轨迹导航自动驾驶车辆。

条款13.根据条款11的系统，其中第二处理器还被配置为响应于确定施工区域相关手势信号未正在用于改变交通流而：

确定用于自动驾驶车辆的第二提议轨迹；以及

向控制设备传输第二提议轨迹。

条款14.根据条款13的系统，其中第一处理器还被配置为：

从监督服务器接收第二提议轨迹；以及

根据第二提议轨迹导航自动驾驶车辆。

条款15.根据条款11的系统，其中第二处理器还被配置为响应于确定提议轨迹引起自动驾驶车辆超出操作设计域而：

确定用于自动驾驶车辆的第三提议轨迹；以及

向控制设备传输第三提议轨迹。

条款16.根据条款15的系统，其中第一处理器还被配置为：

从监督服务器接收第三提议轨迹；以及

根据第三提议轨迹导航自动驾驶车辆。

条款17.根据条款11的系统，其中第二处理器还被配置为向一个或多个其他自动驾驶车辆传输提议轨迹。

条款18.根据条款11的系统，其中确定施工区域相关手势信号是否正在用于改变交通流包括：

访问地图数据，地图数据包括城市的地图的至少一部分，城市的地图包括道路；

根据地图数据确定自动驾驶车辆正在其中使用已知手势信号来控制交通的特定区域内行驶，其中特定区域包括施工区域；以及

优先处理传感器数据的分析以用于手势信号检测，其中传感器是当自动驾驶车辆在特定区域内行驶时捕获的。

条款19.根据条款18的系统，其中确定施工区域相关手势信号是否正在用于改变交通流包括：

确定自动驾驶车辆在特定时间窗口期间在特定区域内行驶，其中特定时间窗口包括施工现场的活动时间；以及

优先处理传感器数据的分析以用于手势信号检测，其中传感器数据是在特定时间窗口期间捕获的。

条款20.根据条款11的系统，其中第二处理器还被配置为：

向第三方传送传感器数据；

向第三方传送提议轨迹；

从第三方接收关于要优先处理的一个或多个行驶参数的输入，其中一个或多个行驶参数包括速度、燃料节省参数或维持原始计划的路线；

基于所接收的输入来更新提议轨迹；以及

向控制设备传输经更新的轨迹。

条款21.一种系统，包括：

自动驾驶车辆，被配置为沿着道路行驶，其中自动驾驶车辆包括至少一个传感器；

控制设备，与自动驾驶车辆相关联并且包括第一处理器，第一处理器被配置为：

访问由至少一个传感器捕获的传感器数据，其中传感器数据提供关于自动驾驶车辆前方的区域的至少一部分的信息；

从传感器数据中检测道路异常，道路异常包括道路事故、道路封闭或拥堵交通中的一项；

从传感器数据中检测到应急人员正在使用紧急情况相关手势信号改变交通流，其中应急人员在与道路异常相邻的交通车道上并且面对迎面而来的交通；

确定紧急情况相关手势信号的解释；

根据紧急情况相关手势信号的解释来确定用于自动驾驶车辆的提议轨迹；以及

根据提议轨迹导航自动驾驶车辆。

条款22.根据条款21的系统，其中应急人员是执法人员、消防员或护理人员。

条款23.根据条款21的系统，其中从传感器数据中检测到应急人员正在使用紧急情况相关手势信号改变交通流包括确定应急人员穿着执法制服、消防员制服或护理人员制服。

条款24.根据条款21的系统，其中：

紧急情况相关手势信号是指示所有车辆停车的手部运动或旗臶挥舞；以及

提议轨迹遵循紧急情况相关手势信号的解释，使得如果紧急情况相关手势信号的解释是所有车辆停车，则提议轨迹是停车。

条款25.根据条款21的系统，其中：

紧急情况相关手势信号是指示所有车辆前进的手部运动或旗臶挥舞；以及

提议轨迹遵循紧急情况相关手势信号的解释，使得如果紧急情况相关手势信号的解释是所有车辆前进，则提议轨迹向前移动。

条款26.根据条款21的系统，其中：

紧急情况相关手势信号是指示右侧、前方和后方的车辆停车并且左侧的车辆前进的手部运动或旗臶挥舞；

提议轨迹遵循紧急情况相关手势信号的解释，使得如果紧急情况相关手势信号的解释是应急人员右侧、前方和后方的车辆停车并且左侧的车辆前进，则：

如果自动驾驶车辆在应急人员的左侧，则提议轨迹是向前移动；以及

如果自动驾驶车辆在应急人员的右侧、前方和后方，则提议轨迹是停车。

条款27.根据条款21的系统，其中确定紧急情况相关手势信号的解释包括：

访问包括多个图像的训练数据集，其中多个图像中的相应图像被标记有在相应图像中示出的手势信号的解释；

从传感器数据中提取在其中检测到紧急情况相关手势信号的第一特征集合，其中：

第一特征集合指示紧急情况相关手势信号的类型；

第一特征集合由包括数值的第一向量表示；

从多个图像中的图像中提取第二特征集合，其中：

图像示出特定手势信号；

图像被标记有特定手势信号的特定解释；

第二特征集合指示特定手势信号的类型；

第二特征集合由包括数值的第二向量表示；

确定第一向量与第二向量之间的距离；以及

响应于确定第一向量与第二向量之间的距离小于阈值百分比，确定紧急情况相关手势信号的解释对应于特定手势信号的特定解释。

条款28.根据条款21的系统，其中从传感器数据中检测道路异常包括：

从传感器数据中提取特征集合，其中特征集合指示在传感器信息中指示的物体的物理属性；以及

确定物体包括与道路异常相关联的物体，其中物体包括交通锥或交通屏障。

条款29.根据条款21的系统，其中第一处理器还被配置为向一个或多个其他自动驾驶车辆传输提议轨迹。

条款30.根据条款21的系统，其中传感器数据包括相机视频、相机图像数据以及光检测和测距(LiDAR)云数据中的至少一项。

条款31.一种系统，包括：

自动驾驶车辆，被配置为沿着道路行驶，其中自动驾驶车辆包括至少一个传感器；

控制设备，与自动驾驶车辆相关联并且包括第一处理器，第一处理器被配置为：

访问由至少一个传感器捕获的传感器数据，其中传感器数据提供关于自动驾驶车辆前方的区域的至少一部分的信息；

从传感器数据中检测道路异常，道路异常包括道路事故、道路封闭或拥堵交通中的一项；

从传感器数据中检测到应急人员正在使用紧急情况相关手势信号改变交通流，其中应急人员在与道路异常相邻的交通车道上并且面对迎面而来的交通；

确定紧急情况相关手势信号的解释；

根据紧急情况相关手势信号的解释来确定用于自动驾驶车辆的提议轨迹；以及

向监督服务器传输提议轨迹和传感器数据中的至少一项；

监督服务器，与控制设备可操作地耦合，并且包括第二处理器，第二处理器被配置为：

接收提议轨迹和传感器数据中的至少一项；

确定紧急情况相关手势信号是否正在用于改变交通流；

响应于确定紧急情况相关手势信号正在用于改变交通流，确定提议轨迹是否引起自动驾驶车辆超出操作设计域，操作设计域指示自动驾驶车辆能够在其中自主行驶的预先映射的地理区域；以及

响应于确定提议轨迹没有引起自动驾驶车辆超出操作设计域，向控制设备传输指示执行提议轨迹的指令。

条款32.根据条款31的系统，其中第一处理器还被配置为：

从监督服务器接收指令；以及

根据提议轨迹导航自动驾驶车辆。

条款33.根据条款31的系统，其中第二处理器还被配置为响应于确定紧急情况相关手势信号未正在用于改变交通流而：

确定用于自动驾驶车辆的第二提议轨迹；以及

向控制设备传输第二提议轨迹。

条款34.根据条款33的系统，其中第一处理器还被配置为：

从监督服务器接收第二提议轨迹；以及

根据第二提议轨迹导航自动驾驶车辆。

条款35.根据条款31的系统，其中第二处理器还被配置为响应于确定提议轨迹引起自动驾驶车辆超出操作设计域而：

确定用于自动驾驶车辆的第三提议轨迹；以及

向控制设备传输第三提议轨迹。

条款36.根据条款35的系统，其中第一处理器还被配置为：

从监督服务器接收第三提议轨迹；以及

根据第三提议轨迹导航自动驾驶车辆。

条款37.根据条款31的系统，其中第二处理器还被配置为向一个或多个其他自动驾驶车辆传输提议轨迹。

条款38.根据条款31的系统，其中确定紧急情况相关手势信号是否正在用于改变交通流包括：

访问地图数据，地图数据包括城市的地图的至少一部分，城市的地图包括道路；

根据地图数据确定自动驾驶车辆正在其中使用已知手势信号来控制交通的特定区域内行驶，其中特定区域包括学校道路交叉区域、施工区域或道路事故区域中的一项；以及

优先处理传感器数据的分析以用于手势信号检测，其中传感器是当自动驾驶车辆在特定区域内行驶时捕获的。

条款39.根据条款38的系统，其中确定紧急情况相关手势信号是否正在用于改变交通流包括：

确定自动驾驶车辆在特定时间窗口期间在特定区域内行驶，其中特定时间窗口包括施工现场的活动时间、学校开放时间或学校关闭时间中的一项；以及

优先处理传感器数据的分析以用于手势信号检测，其中传感器数据是在特定时间窗口期间捕获的。

条款40.根据条款31的系统，其中第二处理器还被配置为：

向第三方传送传感器数据；

向第三方传送提议轨迹；

从第三方接收关于要优先处理的一个或多个行驶参数的输入，其中一个或多个行驶参数包括速度、燃料节省参数或维持原始计划的路线；

基于所接收的输入来更新提议轨迹；以及

向控制设备传输经更新的轨迹。

条款41.根据条款1至10中任一项的系统，其中处理器还被配置为执行根据条款11至20中任一项的一个或多个操作。

条款42.根据条款11至20中任一项的系统，其中处理器还被配置为执行根据条款1至10中任一项的一个或多个操作。

条款43.一种装置，包括用于执行根据条款1至20中任一项的一个或多个操作的部件。

条款44.一种非暂态计算机可读介质，存储指令，指令在由一个或多个处理器执行时引起一个或多个处理器执行根据条款1至20中任一项的操作。

条款45.一种方法，包括根据条款1至20中任一项的系统的操作。

条款46.根据条款21至30中任一项的系统，其中处理器还被配置为执行根据条款31至40中任一项的一个或多个操作。

条款47.根据条款21至30中任一项的系统，其中处理器还被配置为执行根据条款31至40中任一项的一个或多个操作。

条款48.一种装置，包括用于执行根据条款21至40中任一项的一个或多个操作的部件。

条款49.一种非暂态计算机可读介质，存储指令，指令在由一个或多个处理器执行时引起一个或多个处理器执行根据条款21至40中任一项的操作。

条款50.一种方法，包括根据条款21至40中任一项的系统的操作。

条款51.一种根据条款1至20中任一项的系统，其中处理器还被配置为执行根据条款21至40中任一项的一个或多个操作。

条款52.根据条款21至40中任一项的系统，其中处理器还被配置为执行根据条款1至20中任一项的一个或多个操作。

条款53.一种装置，包括用于执行根据条款1至40中任一项的一个或多个操作的部件。

条款54.一种非暂态计算机可读介质，存储指令，指令在由一个或多个处理器执行时引起一个或多个处理器执行根据条款1至40中任一项的操作。

条款55.一种方法，包括根据条款1至40中任一项的系统的操作。

条款56.一种根据条款1至40中任一项的系统。