用于自主交通工具的多级人工干预服务

技术领域

本公开总体上涉及用于自主交通工具的基于智能运输基础设施的多级人工干预服务。

背景技术

当自主交通工具(autonomous vehicle,AV)子系统中的一个或多个AV子系统(例如，行驶的、传感的、监管的、等等)面临不可预见或无法管理的情况时，产生AV对人工干预(disengagement)的需要。许多人工干预涉及非关键性风险并且以相对低的速度发生。这指示当前的AV操作技术对于完全自主部署没有准备好，尤其是在城市场景中。此外，在恶劣的环境和物理周围状况(诸如恶劣天气、雪、大雨、道路施工等)中，AV可能会具有甚至更高的人工干预率。

为了解决此类问题，处置人工干预事件的基本要求在于具有备用交通工具控制机制。直观上，最公知的方法在于使得人类备用驾驶员处于AV内。然而，始终具有人类驾驶员是不切实际的，并且即使存在，将后人工干预AV控制权移交给人类驾驶员也可能存在风险。考虑到附加的人类因素(诸如分心、精神状态、注意力缺乏等)，万一发生人工干预时获得对交通工具的控制权的反应时间并不总是充足的。处置此类事件的误差裕度很低，并且使人类知情并不总是最好的解决方案。附加地，对基于人类的交通工具遥控操作的许可可能会受到跨各种地理区域的当地官方的管辖。

附图说明

图1图示出根据本公开的各方面的示例智能运输基础设施系统。

图2图示出根据本公开的各方面的、对人工干预服务的注册、认证、认知和订阅的事件流程图。

图3图示出根据本公开的各方面的人工干预过程。

图4图示出根据本公开的各方面的人工干预原因/理由的归类表。

图5图示出根据本公开的各方面的多个人工干预级别和特征的表。

图6图示出根据本公开的各方面的自主交通工具。

图7图示出根据本公开的各方面的安全性系统。

图8图示出根据本公开的各方面的路边单元。

具体实施方式

本公开涉及一种基于智能运输基础设施的自主交通工具(AV)人工干预服务，其具有如由情况或环境要求的、以及如由易于发生潜在人工干预的AV请求的基于多个人工干预级别(disengagement level,DL)的处置。人工干预服务实现对AV人工干预的情况的检测、对发起人工干预的决策、以及实现数据交换协议和消息内容来意识到从最小驾驶控制、中等控制、完全驾驶控制、以及不可能控制(极端事件)变化的多种需求类型的人工干预。服务由诸如路边单元(roadside unit,RSU)之类的边缘基础设施执行，以更好地解决由需要紧急处置的人工干预事件所施加的实时、高可靠性和高可用性连接性要求。

图1图示出根据本公开的各方面的示例智能运输基础设施系统100。

智能运输基础设施系统100包括自我AV 110、路边单元(RSU)(边缘基础设施)120、另一AV 130、数据中心140(例如，OEM数据中心140.1、监管数据中心140.2、紧急响应数据中心140.3)、以及易受伤害的道路使用者(道路行动者)150。这些组件中的每个组件具有无线、蜂窝和/或有线通信能力。

自我AV 110具有自主驾驶能力。术语“自主交通工具”可描述能够在不具有驾驶员输入的情况下实现至少一种导航改变的交通工具。导航改变可描述或包括交通工具的转向、制动、或加速/减速中的一项或多项的改变。即使在交通工具不是完全自动(例如，在有驾驶员输入或无驾驶员输入的情况下完全操作)的情况下，也可以将交通工具描述为自主的。AV可以包括能够在某些时间段期间在驾驶员控制下进行操作并且在其他时间段期间无需驾驶员控制进行操作的那些交通工具。AV还可以包括仅控制交通工具导航的一些方面的交通工具，交通工具导航的一些方面诸如转向(例如，在交通工具车道约束之间维持交通工具路线)或在某些情形下(但并非在所有情形下)进行一些转向操作，但可能将交通工具导航的其他方面留给驾驶员(例如，制动或在某些情形下进行制动)。AV还可以包括在某些情形下共享对交通工具导航的一个或多个方面的控制(例如，动手操作(诸如响应于驾驶员的输入))的交通工具和在某些情形下控制交通工具导航的一个或多个方面(例如，放手操作(诸如独立于驾驶员的输入))的交通工具。AV还可以包括在某些情形下(诸如在某些环境状况下(例如，空间区域、道路状况))控制交通工具导航的一个或多个方面的交通工具。在一些方面中，AV可以处置交通工具的制动、速率控制、速度控制和/或转向的一些或所有方面。AV可以包括能够在没有驾驶员的情况下操作的那些交通工具。交通工具的自主性级别可以由交通工具的汽车工程师协会(Society of Automotive Engineer,SAE)级别(例如，由SAE例如在SAE J3016 2018：道路机动交通工具的驾驶自动化系统相关术语的分类和定义中定义)或由其他相关专业组织进行描述或确定。SAE级别可以具有范围从最小级别(例如，0级(说明性地，基本上没有驾驶自动化))到最大级别(例如，5级(说明性地，完全驾驶自动化))的值。

RSU 120包括一个或多个无线(或有线)收发器122、一个或多个图像采集设备124(例如，相机)、一个或多个警报设备126(例如，闪烁红灯)、一个或多个处理器(处理电路系统)(未示出)、一个或多个非暂态计算机可读存储介质(未示出)、等等。RSU 120总体上位于智能运输基础设施系统100的边缘处(例如，沿其中自我AV 110行进或停放的道路被设置)，但本公开不限于此方面。

RSU 120可以经由以太网、光纤、无线、有线或蜂窝等通信地耦合到数据中心140。而且，RSU 120可以采用专用通信协议，诸如专用短程通信(dedicated short rangecommunication,DSRC)或类似协议。DSRC可以是用于汽车使用的单向或双向短程到中程无线通信信道以及相对应的协议集(例如，包括开源)和标准(例如，在美国、欧洲、等等)。DSRC或类似协议可以提供RSU 120与自我AV 110、其他AV 130、VRU 150和/或其他RSU等等之间的通信。

步骤0——对人工干预服务(Disengagement Service,DS)的注册、认证、认知和订

图2图示出根据本公开的各方面的、对人工干预服务的注册、认证、认知和订阅的事件流程图200。

在人工干预服务之前，在对人工干预的需要产生之前存在对自我AV 110的设置。相互存在发现210经由RSU 120与自我AV 110之间的基于广播的发现消息传送交换而发生。随后是预人工干预服务注册220-230、认证240-250、对由RSU 120(边缘基础设施)提供的人工干预服务的认知260、以及自我AV 110对人工干预服务的订阅270-280。

预人工干预服务注册阶段220-230包括自我AV 110向RSU 120传输注册请求消息220，该注册请求消息220包括例如自我AV标识(identification,ID)。RSU 120通过向自我AV 110发送服务资格确认消息230来进行响应。

认证阶段240-250包括自我AV 110向RSU 120传输认证请求消息240。RSU 120通过向自我AV 110发送认证成功消息250来进行响应。该认证可以是安全的，因为认证请求消息240可以是基于密钥的，在这种情况中认证成功消息250包括唯一认证密钥。

人工干预服务阶段260包括RSU 120向AV 110传输所提供的人工干预服务(DS)认知消息(DS awareness message,DSAM)260。DSAM 260主要用于向自我AV 110提供在RSU120处可用的所提供的人工干预服务(诸如人工干预级别)的列表。该人工干预服务的列表可以被存储在数据库290中。

在订阅阶段270-280期间，自我AV 110利用与可用于选择作为DSAM 260中指定的选项中的一个选项的人工干预服务订阅有关的特定服务ID来发起订阅请求270。作为响应，RSU 120发送订阅确认280连同所指派的唯一人工干预服务订户ID。订户ID可以是由RSU120独立但唯一指派的人工干预服务订户ID。

图3-图5图示出根据本公开的各方面的人工干预服务的细节。图3图示出人工干预过程300。图4图示出人工干预的原因/理由的归类表400。并且图5图示出多个人工干预级别和特征的表500。应当领会的是，表400和500仅仅是示例并且不旨在具有限制性。

在步骤0的对人工干预服务的注册、认证、认知和订阅之后，包括步骤1-6的基于基础设施的人工干预服务开始。

步骤1——自主驾驶人工干预请求消息310

自主AV 110具有自主驾驶能力，并且可以基于其传感器和控制数据或统计信息来确定其应当从基础设施请求人工干预服务。由此，自我AV 110发起人工干预请求(disengagement request,DREQ)。自我AV 110生成人工干预请求DREQ消息310。自主驾驶人工干预请求消息310可以由自我AV 110的传感器触发，或者替代地由自我AV 110中的乘客触发。

人工干预请求消息310包括但不限于以下AV相关数据中的一个或多个：唯一自我AV ID、自我AV地理位置、自我AV传感器状态、自我AV控制系统状态和自我AV请求人工干预、具有相应时间戳的环境/情境感知数据/分析，以及任何其他事件特定的分析(诸如即将发生的碰撞、轻微/重大事故等)。RSU 120处的唯一自我AV ID在上述步骤0期间被建立。例如，自我AV地理位置可以处于X、Y、Z坐标中。例如，自我AV传感器信息可以包括关于检测区域(例如，包括如ETSI中的集体感知服务(Collective Perception Service,CPS)中的自由空间和对象列表)的类型(例如，相机、LIDAR(光检测和测距)、雷达(radar))和置信度。例如，AV传感器状态可以包括：打开的/关闭的、活跃的(在唤醒模式中)、工作的、有缺陷的、等等。例如，AV控制系统状态可以包括：活跃的、关闭的、工作的、或有缺陷的。自我AV请求人工干预可以是是或否。

RSU 120从自我AV 110接收人工干预请求消息310，其还可以包括与自我AV 110或自我AV 110的附近区域相关的感知数据和/或分析报告。人工干预请求消息310还可以包括人工干预的理由。本文中被称为原因ID(Cause ID,CID)和子CID的唯一ID被指派给人工干预的理由和子理由。CID和子CID在图4的表400中被示出，这仅是示例并且不被认为是限制性的。假设RSU 120或基础设施的其他部分具有存储的查找表，并且自我AV 110仅需要报告CID和子CID以指定理由。

步骤2——从其他道路行动者收集环境/情境感知数据320

当接收到自主驾驶人工干预请求消息310时，RSU 120可以可选地发起对来自附近行动者(诸如处于自我AV 110的附近区域中的其他AV 130、VRU 150、其他RSU等)的附加环境和感知数据的拉取请求320。如下文进一步讨论的，人工干预级别的确定可以至少部分地基于该拉取的感知数据。

自我AV 110的附近区域中的该附加环境和情境感知数据可以由RSU 120来请求，以用于经由采集自我AV 110周围环境中的冗余或多样化信息来验证其自己的感知数据和分析。RSU 120可以具有其自己的图像采集(例如，相机)和感测/感知设备(例如，雷达和lidar)。例如，数据格式可以基于ETSI集体感知服务(CPS)，并且包括诸如检测、跟踪、位置信息、分层成本图、传感器信息、所感知的静态/动态对象之类的字段，这些字段冗余地或协作地帮助收集自我AV 110的周围环境的更多信息。除由RSU 120的自身的传感器生成的数据之外，此类数据可以用作对环境或情况的冗余的或增强的感知。该拉取机制辅助RSU 120达成关于哪个人工干预级别需要被指派给接收到的人工干预请求消息310并且进一步为后续人工干预级别响应的执行准备好自己的决策。

替代地或附加地，在接收到自主驾驶人工干预请求消息310之前，感知数据或分析报告可以由自我AV 110、自我AV 110的附近区域中的道路行动者130、150或另一RSU提供。RSU 120能够在不依赖于周围的AV 130的情况下做出人工干预决策。总体上无论如何，周围的交通工具130会与RSU 120共享它们的感知数据，并且感知数据处于RSU 120的支配下。在一些情况中，在RSU 120自身的传感器的视场(Field of View,FoV)被遮挡和/或自我AV传感器数据和/或分析报告不可用的情况下，RSU 120还可以具体地实时地从处于紧邻附近区域中的周围的交通工具130、行人/VRU 150或其他RSU请求附加数据。

步骤3——RSU 120处的人工干预级别决策和响应行动指令330生成

RSU 120基于感知数据和/或分析来确定多人工干预级别协议的人工干预级别和相对应的后人工干预交通工具行动。

RSU 120聚合并处理处于其支配下可用的、来自一个或多个源的传感器数据/分析：(1)RSU 120自身对自我AV 110周围的情况或环境的感知；(2)自我AV提供的数据/分析；以及(3)周围的道路行动者提供的数据/分析。

然后，RSU 120对响应人工干预级别请求DREQ消息310所需的人工干预级别做出决策，并生成用于采取行动的过程的指令330。图5示出了表500，表500列出了处于RSU 120的支配下以用于达成决策的多个人工干预级别(DL)和特征。

符合当地法规地，RSU 120做出人工干预的决策和级别。此外，一旦对DL的决策被做出，在不同优先级/DL下要采取的行动可以被映射到原因的紧迫性(例如，非常紧急相对于不太紧急)以及原因的频率(例如，最频繁相对于不太频繁)。

步骤4——人工干预级别请求/响应消息340的生成

在RSU 120向自我AV 110传输后人工干预交通工具行动指令之前，RSU 120可以向数据中心140传输人工干预级别请求DL-REQ消息340以用于进行一项或多项合规性检查，该人工干预级别请求DL-REQ消息340包括所确定的或潜在的人工干预级别和相对应的后人工干预交通工具行动、或者一个或多个潜在的人工干预级别和相对应的行动。该人工干预级别请求消息340还可以包括与自我AV 110或自我AV 110的附近区域有关的感知数据和/或分析、和/或周期性/持久性人工干预日志和协商。例如，数据中心140可以是用于对自我AV110的能力进行合规性检查的原始装备制造商(original equipment manufacturer,OEM)数据中心140.1。

替代地或附加地，数据中心140可以是用于用当地法规进行合规性检查的监管数据中心140.2，因为人工干预强制技术在不同的地理区域中可能是不同的。为此，风险、安全性级别和许可的人工干预级别的定义应符合当地法律。由此，RSU 120与监管数据中心140.2的交互对于交换与法律合规性相关的检查是重要的，其包括取决于安全性严重性/紧迫性而获得排他性许可。不同的地理区域可能具有关于谁可以在紧急情况下进行干预的不同的法律。例如，在德国，在紧急情况下，没有驾驶员被允许在AV中进行干预。相反，能够远程地监测AV、但主要由于与AV相关联的安全性法律而不能远程地驱动AV的技术管理程序可以被允许。如果由AV提出的替代操纵不符合道路交通法并且被认为有风险，即使是由AV提出的替代操纵也可能不会被批准。由此，基于人工干预级别请求DL-REQ消息340.2和相对应的人工干预级别响应DL-RESP消息340.2的法规检查可以是对跨不同的地理区域的人工干预服务实现有价值的步骤。

一旦所有合规性检查被完成，一个或多个数据中心140就向RSU 120发送人工干预级别响应DL-RESP消息340(其包括用于根据表400安全执行人工干预而要被采取的行动)，从而指示在人工干预级别请求DL-REQ消息340中指定的潜在的人工干预级别和行动是否可以在符合OEM和/或当地管辖权的自我AV 110上被执行。RSU 120将等待将具有行动指令的自主驾驶人工干预响应消息350传输至自我AV 110，直到从数据中心140接收到指示能力合规性和/或监管合规性的人工干预级别响应DL-RESP消息340之后。

可选地，人工干预级别请求DL-REQ消息340还可以包括将人工干预请求DREQ分析/统计信息(法律准许的)备份到云以创建历史数据库以供进一步分析的选项。与本地区域相关联的基于人工干预请求DREQ的分析被存储在数据库中，并且根据需求周期性地被更新。分析/统计信息数据库可以帮助确定其中AV容易人工干预的特定区域，并且辅助政府机构通过在此类领域上工作(例如，修复道路、安装更多传感器、安装更多基础设施等)来减少未来的人工干预问题。然而，该特征是可选的，并且RSU 120可能能够计算分析/统计信息。

步骤5——传输特定的基于DL的适当行动指令消息350

当接收到指示合规性的人工干预级别响应DL-RESP消息340时，RSU 120然后向自我AV 110传输自主驾驶人工干预响应行动指令消息350，其包括如图5中的表500中所示的后人工干预交通工具行动指令。替代地或附加地，在DL-5(非常紧急)或DL-6(极其紧急)的情况下，RSU 120将特定的基于DL的适当行动消息350传输到紧急响应数据中心140.3。

同时，RSU 120可以向智能运输基础设施系统100中自我AV 110的附近区域中的另一交通工具130、VRU 150或其他RSU传输广播消息、警报器、警报等关于在它们的周围环境中的即将发生的人工干预的指示，以便建立路边认知。此类信息甚至可以被当地交通当局用于交通规划、路线改变、道路封闭、或根据符合当地规则的其他类似行动。附加地，取决于紧迫性或情况，此类信息对于宣布或广播与人工干预相关的临时路段封闭是有用的。

通常，后人工干预交通工具行动指令消息350导致自我AV 110的自主驾驶控制级别降低，但本公开不限于此方面。该指令可以使级别保持相同，尽管可能以不同的方式，或者甚至使级别在某些情况下增加。

步骤6——人工干预级别响应AV控制360和/或紧急响应者调遣

然后，人工干预级别响应AV控制360和/或紧急响应者调遣(仅对于DL-5和DL-6)根据图5的表500被执行。

DL-6在本文中被定义为更危险且由此极其紧急的情况。例如，如果自我AV 110由于恶劣天气而受到人工干预，从而导致传感器掉电(blackout)(这意味着传感器中的一个或多个传感器可能不会完全起作用或完全“掉电”(即，不具有感知能力))，则RSU 120可以在操纵自我AV 110时采取特定机制。一些示例情况如下。

第一示例情况是当自我AV 110上的传感器不工作但RSU 120处的传感器起作用时。操纵会基于RSU传感器。在其中RSU传感器也不起作用的情况中，RSU 120仍然可以从一个或多个交通工具130或道路上具有可操作的传感器的其他行动者(例如，VRU 150)取得传感器数据。

第二示例情况是其中没有传感器(例如，自我AV 110、RSU 120、其他交通工具130、VRU 150)可操作并且“掉电”的情况。在这种情况下，在掉电之前，自我AV 110本应当已经向RSU 120报告分析。在掉电之前，RSU 120会具有路段、静态对象和/或动态对象的先前相对应的MAP-HD图。基于该数据，RSU 120然后计算安全操纵以及使自我AV 110停止所需的安全性计量(例如，与附近区域中的障碍物/对象的最小距离检查)。然后，所得到的航路点/轨迹/操纵指令与自我AV 110共享，然后自我AV 110执行指令以将自身操纵到安全性(例如，对自我AV 110的紧急安全停止模式的执行)。

第三示例情况是其中RSU 120还可以附加地或可选地向紧急响应数据中心140.3以及监管数据中心140.2发出命令，以取决于人工干预级别来关闭特别受天气影响的路段。当路段处于RSU辅助的操纵操作下时，此类封闭会例如经由本地可用的公告服务被传递给该路段的路线改变潜在用户。

第四示例情况是其中除RSU 120的干预之外，自我AV乘客具有去激活自主驾驶功能以主要地用于获得占用者的安全感的选项。由乘客触发的控制产生的可能的人工干预行动会生成人工干预请求DREQ类型的消息，但是其具有指示该人工干预请求DREQ消息310是乘客发起的的字段。此类乘客发起的人工干预请求REQ会被分类为DL-6，并且相对应的行动被采取。

可选地，在人工干预的任何步骤或级别处，在诸如传感器掉电、自动化驾驶控制功能完全损坏等之类的例外情况中，位于云中的远程/遥控人类知情驾驶员的帮助可以根据由基础设施对短距离遥操作驾驶至安全性的请求来采取。然而，这是可选的并且也服从当地法律，并且如果RSU 120调用此类请求则是可调用的。同样，调用此类遥操作驾驶的另一个理由可能也是为了遵守在不可预见的情况下保留此类功能的政府法规。由此，本公开不排除在边缘基础设施处使人类知情或使云具有人类知情能力和调用遥操作驾驶的可能性。

当AV子系统中的一个或多个AV子系统面临不可预见或无法管理的情况时对于AV的人工干预频繁或偶尔的需要预计成为在公共道路上采用AV的障碍。如由情况或环境所要求的、以及如由易于发生潜在人工干预的AV所请求的具有多级处置规定的基于基础设施的AV人工干预确保在发生此类情况或环境触发时安全有效地处置AV的人工干预情况。

图6示出了包括安全性系统700的AV 600(也参见图7)。应当领会的是，AV 600和安全性系统700本质上是示例性的，并且由此可出于解释的目的而被简化。元件的位置和关系距离被提供作为示例并且不限于此。取决于特定实现方式的要求，安全性系统700可以包括各种组件。如图6和图7所示，安全性系统700可以包括一个或多个处理器602、一个或多个图像采集设备604(诸如，一个或多个相机)、一个或多个位置传感器606(诸如，全球导航卫星系统(Global Navigation Satellite System，GNSS)、全球定位系统(Global PositioningSystem，GPS))、一个或多个存储器702、一个或多个地图数据库704、一个或多个用户接口706(诸如，显示器、触摸屏、麦克风、扬声器、一个或多个按钮和/或开关等)、以及一个或多个无线收发器708、710、712。无线收发器708、710、712可以根据不同的期望的无线电通信协议或标准来配置。作为示例，无线收发器(例如，第一无线收发器708)可以根据短程移动无线电通信标准(诸如例如，蓝牙、Zigbee等)来配置。作为另一示例，无线收发器(例如，第二无线收发器710)可以根据中程或宽程移动无线电通信标准(例如，根据相对应的3GPP(第三代合作伙伴计划)标准的3G(例如，通用移动通信系统–UMTS)、4G(例如，长期演进–LTE)和/或5G移动无线电通信标准等)来配置。作为另一示例，无线收发器(例如，第三无线收发器712)可根据无线局域网通信协议或标准(诸如例如，根据IEEE 802.11(例如，802.11、802.11a、802.11b、802.11g、802.11n、802.11p、802.11-12、802.11ac、802.11ad、802.11ah等))来配置。一个或多个无线收发器708、710、712可被配置成用于经由天线系统、使用空中接口来传输信号。

一个或多个处理器602可以包括应用处理器714、图像处理器716、通信处理器718、或任何其他合适的处理设备。类似地，取决于特定应用的要求，图像采集设备604可以包括任意数量的图像采集设备和组件。图像采集设备604可包括一个或多个图像捕获设备(例如，相机、CCD(电荷耦合器件)、或任何其他类型的图像传感器)。安全性系统700也可包括将一个或多个处理器602通信地连接至一个或多个图像采集设备604的数据接口。例如，第一数据接口可包括任何有线和/或无线的一个或多个第一链路720，该一个或多个第一链路720用于将由一个或多个图像采集设备604采集的图像数据传输至一个或多个处理器602(例如，传输至图像处理器716)。

无线收发器708、710、712可以例如经由第二数据接口被耦合到一个或多个处理器602(例如，被耦合到通信处理器718)。第二数据接口可以包括用于将由无线收发器708、710、712采集的无线电传输数据传输至一个或多个处理器602(例如，传输至通信处理器718)的任何有线和/或无线的一个或多个第二链路722。

存储器702以及一个或多个用户接口706可以经由第三数据接口被耦合到一个或多个处理器602中的每个处理器。第三数据接口可以包括任何有线和/或无线的一个或多个第三链路724。此外，位置传感器606可例如经由第三数据接口耦合至一个或多个处理器602中的每个处理器。

此类传输还可以包括AV 600与AV 600的环境中的一个或多个其他(目标)AV之间的通信(单向或双向)(例如，以促进AV 600鉴于在AV 600的环境中的其他(目标)AV或与其他(目标)AV一起协作地导航)，或甚至包括向正在传输的AV 600的附近区域中的未指定接收者进行的广播传输。

收发器708、710、712中的一个或多个收发器可被配置成实现一个或多个交通工具对外界(vehicle to everything,V2X)通信协议，该交通工具对外界(V2X)通信协议可以包括交通工具对交通工具(vehicle to vehicle,V2V)、交通工具对基础设施(vehicle toinfrastructure,V2I)、交通工具对网络(vehicle to network,V2N)、交通工具对行人(vehicle to pedestrian,V2P)、交通工具对设备(vehicle to device,V2D)、交通工具对网格(vehicle to grid,V2G)、以及其他协议。

一个或多个处理器602中的每个处理器714、716、718可包括各种类型的基于硬件的处理设备。作为示例，每个处理器714、716、718可包括微处理器、预处理器(诸如图像预处理器)、图形处理器、中央处理单元(CPU)、支持电路、数字信号处理器、集成电路、存储器，或适于运行应用以及用于图像处理和分析的任何其他类型的设备。在一些方面中，每个处理器714、716、718可包括任何类型的单核心或多核心处理器、移动设备微控制器、中央处理单元等。这些处理器类型可各自包括具有本地存储器和指令集的多个处理单元。此类处理器可包括用于从多个图像传感器接收图像数据的视频输入，并且还可包括视频输出能力。

本文中所公开的处理器714、716、718中的任一者可被配置成用于根据可被存储在一个或多个存储器702中的存储器中的程序指令来执行某些功能。换句话说，一个或多个存储器702中的存储器可存储在由处理器(例如，由一个或多个处理器602)执行时控制系统(例如，安全性系统)的操作的软件。例如，一个或多个存储器702中的存储器可存储一个或多个数据库和图像处理软件、以及经训练的系统(诸如神经网络、或深度神经网络)。一个或多个存储器702可包括任何数量的随机存取存储器、只读存储器、闪存、盘驱动器、光存储、磁带存储装置、可移动存储装置、以及其他类型的存储装置。

在一些方面中，安全性系统700可进一步包括诸如用于测量AV 600的速度的速度传感器608(例如，速度计)之类的组件。安全性系统还可包括用于测量AV 600沿一条或多条轴线的加速度的一个或多个(单轴或多轴)加速度计(未示出)。安全性系统700可以进一步包括附加传感器或不同的传感器类型，诸如超声波传感器、热传感器、一个或多个雷达传感器610、一个或多个LIDAR传感器612(其可集成在AV 600的前照灯中)、等等。雷达传感器610和/或LIDAR传感器612可以被配置成用于提供经预处理的传感器数据(诸如雷达目标列表或LIDAR目标列表)。第三数据接口可以将速度传感器608、一个或多个雷达传感器610、以及一个或多个LIDAR传感器612耦合至一个或多个处理器602中的至少一个处理器。

一个或多个存储器702可将数据存储在例如数据库中或以任何不同格式存储数据，这些数据例如指示已知地标的位置。一个或多个处理器602可以处理AV 600的环境的传感信息(诸如图像、雷达信号、来自对两个或更多个图像的光检测与测距或立体处理的深度信息)以及位置信息(诸如GPS坐标、AV的自我运动等)，以确定AV 600相对于已知地标的当前位置，并细化对AV的位置的确定。该技术的某些方面可以被包括在定位技术(诸如映射和路由模型)中。

地图数据库704可包括存储用于AV 600(例如，用于安全性系统700)的(数字)地图数据的任何类型的数据库。地图数据库704可以包括与各种项目(包括道路、水景、地理特征、商业、感兴趣的点、餐馆、加油站等)在参考坐标系中的位置相关的数据。地图数据库704不仅可以存储此类项目的位置，还可以存储与这些项目相关的描述符，包括例如与存储的特征中的任何特征相关联的名称。在此类方面中，一个或多个处理器602中的处理器可通过到通信网络的有线或无线数据连接(例如，通过蜂窝网络和/或互联网等)从地图数据库704下载信息。在一些情形下，地图数据库704可存储稀疏数据模型，包括针对AV 600的某些道路特征(例如，车道标记)或目标轨迹的多项式表示。地图数据库704还可以包括各种公认的地标的所存储的表示，这些所存储的表示可以被提供以确定或更新AV 600相对于目标轨迹的已知位置。地标表示可以包括诸如地标类型、地标位置、以及其他潜在标识符之类的数据字段。

此外，安全性系统700可包括例如在高级驾驶辅助系统(advanced drivingassistance system,ADAS)和/或驾驶辅助系统及自动化驾驶系统中实现的驾驶模型。作为示例，安全性系统700可以包括(例如，作为驾驶模型的一部分的)形式模型(诸如，安全性驾驶模型)的计算机实现方式。安全性驾驶模型可以是或可包括对适用于自驾驶(地面)交通工具的可适用法律、标准、政策等的解释进行形式化的数学模型。安全性驾驶模型可被设计为实现例如三个目标：第一，法律的解释在它符合人类如何解释法律的意义上应该听起来是合理的；第二，解释应该带来有用的驾驶策略，这意味着它将带来灵活的驾驶策略而不是过度防御性的驾驶，该过度防御性的驾驶不可避免地会使其他人类驾驶员感到迷惑并将阻塞交通，并且进而限制系统部署的可缩放性；以及第三，在可以严格地证明自驾驶(自主)交通工具正确地实现该法律的解释的意义上，解释应当是高效地可验证的。说明性地，安全性驾驶模型可以是或可包括用于安全性保障的数学模型，该数学模型实现对危险情况的恰当响应的标识和执行，使得可以避免自身导致的事故。

安全性驾驶模型可以实现应用驾驶行为规则的逻辑，诸如以下五条规则：不要从后面撞人；不要鲁莽地加塞；通行权是给予的，而不是取得的；小心具有有限能见度的区域；以及如果你能避免事故而不造成另一起事故，你就必须这样做。应当注意的是，这些规则不是限制性的并且也不是排他性的，并且可以根据需要在各个方面进行修改。这些规则而是表示社会驾驶合约，该社会驾驶合约取决于地区而可能是不同的，并且还可能随着时间的推移而发展。虽然这五条规则目前适用于大多数国家，但它们可能并不完整并且可能会被修改。

如上文所描述的，AV 600可包括也参考图7来描述的安全性系统700。

AV 600可包括例如与AV 600的引擎控制单元(engine control unit,ECU)集成或分离的一个或多个处理器602。

一般而言，安全性系统700可生成数据来控制或辅助控制ECU和/或AV 600的其他组件，以直接地或间接地控制对AV 600的驾驶。

图8图示出根据本公开的各方面的路边单元(RSU)800。作为示例，RSU 800包括存储器810、处理电路系统820、无线通信设备830、GPS接收器840、GPS/无线天线850、一个或多个图像采集设备(例如，相机)860、一个或多个警报设备(例如，闪烁红灯)870、以及一个或多个感测/感知设备(例如，雷达、激光雷达等)。存储器810(在其他情况下称为非暂态计算机可读存储介质)被配置成用于存储要由处理电路系统820执行的指令。无线通信设备830被配置成用于通过GPS/无线天线850接收和传输数据。GPS接收器840被配置成用于为应用提供位置、时间和计时信号。

如本文中所使用的术语“数据”可被理解为包括采用任何合适的模拟或数字形式的信息，例如，作为文件、文件的部分、文件集、信号或流、信号或流的部分、信号或流的集等等被提供的信息。进一步地，术语“数据”还可用于意指对信息的例如以指针的形式的引用。然而，术语“数据”不限于上述示例，并且可采取各种形式并表示如本领域中理解的任何信息。

例如，如本文中所使用的术语“处理器”可被理解为允许处置数据的任何种类的技术性实体。可根据由处理器执行的一个或多个特定功能来处置数据。进一步地，如本文中使用的处理器可以理解为任何种类的电路(例如，任何种类的模拟或数字电路)。由此，处理器可以是或者可包括模拟电路、数字电路、混合信号电路、逻辑电路、微处理器、加速器、中央处理单元(CPU)、图形处理单元(Graphics Processing Unit,GPU)、数字信号处理器(Digital Signal Processor,DSP)、现场可编程门阵列(Field Programmable GateArray,FPGA)、集成电路、专用集成电路(Application Specific Integrated Circuit,ASIC)等、或其任何组合。下文将进一步详细描述的相应功能的任何其他种类的实现方式也可以被理解为处理器、控制器或逻辑电路。应当理解的是，任何两个(或更多个)本文中详述的处理器、控制器或逻辑电路可被实现为具有等效功能等等的单个实体，并且相反地，本文中详述的任何单个处理器、控制器或逻辑电路可被实现为具有等效功能等等的两个(或更多个)分开的实体。

如本文中所使用，“存储器”被理解为数据或信息可以被存储在其中以供取回的计算机可读介质。由此，对本文中所包括的“存储器”的引用可被理解为是指易失性存储器或非易失性存储器，包括随机存取存储器(random access memory,RAM)、只读存储器(read-only memory,ROM)、闪存、固态存储装置、磁带、硬盘驱动器、光驱等等、或其任何组合。在本文中，寄存器、移位寄存器、处理器寄存器、数据缓冲器等等也由术语存储器包含。术语“软件”指代任何类型的可执行指令，包括固件。

除非明确地指定，否则术语“发射”涵盖直接的发射(点到点)和间接的发射(经由一个或多个中间点)两者。类似地，术语“接收”涵盖直接的接收和间接的接收两者。此外，术语“发射”、“接收”、“传递”和其他类似的术语涵盖物理传输(例如，对无线电信号的传输)和逻辑传输(例如，通过逻辑软件级连接对数字数据的传输)两者。例如，处理器或控制器可通过与另一处理器或控制器的软件级连接、以无线电信号的形式发射或接收数据，其中，物理发射和接收由诸如RF收发器和天线之类的无线电层组件处置，并且通过软件级连接的逻辑发射和接收由处理器或控制器执行。术语“传递”涵盖发射和接收中的一者或这两者，即，在传入方向和传出方向中的一个或两个方向上的单向或双向传递。术语“计算”涵盖经由数学表达式/等式/关系进行的‘直接’计算和经由查找表或散列表以及其他数组索引或搜索操作进行的‘间接’计算两者。

“交通工具”可以被理解为包括任何类型的被驾驶对象。作为示例，交通工具可以是具有内燃机、反作用式引擎、电驱动对象、混合驱动对象或其组合的被驾驶对象。交通工具可以是或者可以包括汽车、公共汽车、小型公共汽车、货车、卡车、房车、交通工具拖车、摩托车、自行车、三轮车、火车机车、火车车厢、移动机器人、个人运输器、船只、船、潜水器、潜艇、无人机、飞机、火箭等等。

本文中的各实施例可利用一个或多个机器学习模型来执行或控制交通工具的功能(或本文中所描述的其他功能)。例如，如本文中所使用的术语“模型”可被理解为根据输入数据提供输出数据的任何种类的算法(例如，根据输入数据生成或计算输出数据的任何种类的算法)。机器学习模型可由计算系统执行以渐进地改进特定任务的性能。在一些方面中，可在训练阶段期间基于训练数据来调整机器学习模型的参数。可在推断阶段期间使用经训练的机器学习模型基于输入数据来作出预测或决策。在一些方面中，可使用经训练的机器学习模型来生成附加训练数据。可在第二训练阶段期间基于所生成的附加训练数据来调整附加机器学习模型。可在推断阶段期间使用经训练的附加机器学习模型来基于输入数据作出预测或决策。

本文中所描述的机器学习模型可采取任何合适的形式或利用任何合适的技术(例如，以用于训练目的)。例如，这些机器学习模型中的任何机器学习模型均可利用监督式学习、半监督式学习、无监督式学习、或强化学习技术。

在监督式学习中，可使用训练数据集来建立模型，该训练数据集既包括输入又包括对应的期望输出(说明性地，每个输入可与针对该输入的期望或预期输出相关联)。每个训练实例可包括一个或多个输入并且包括期望输出。训练可包括通过训练实例迭代以及使用目标函数来教导模型预测针对新的输入的输出(说明性地，对于训练集中不包括的输入)。在半监督式学习中，训练集中的输入中的部分可能缺少相应的期望输出(例如，一个或多个输入可能不与任何期望或预期的输出相关联)。

在无监督式学习中，可从仅包括输入而不包括期望输出的训练数据集来建立模型。无监督式模型可用于说明性地通过发现数据中的模式而找到该数据中的结构(例如，对数据点的分组或聚类)。可在无监督式学习模型中实现的技术可包括例如自组织图、最近邻映射、k均值聚类、以及奇异值分解。

强化学习模型可包括正反馈或负反馈以改善准确性。强化学习模型可尝试使一个或多个目标/回报最大化。可在强化学习模型中实现的技术可包括例如Q学习、时域差(temporal difference,TD)和深度对抗网络。

本文中所描述的各个方面可利用一个或多个分类模型。在分类模型中，输出可限于值的有限集合(例如，一个或多个类)。分类模型可输出针对具有一个或多个输入值的输入集的类。输入集合可包括传感器数据，诸如图像数据、雷达数据、LIDAR数据等等。如本文中所描述的分类模型可例如对某些驾驶状况和/或环境状况(诸如天气状况、道路状况)等等进行分类。本文中对分类模型的引用可设想实现例如下列技术中的任何一种或多种技术的模型：线性分类器(例如，逻辑回归或朴素贝叶斯分类器)、支持向量机、决策树、提升树、随机森林、神经网络或最近邻。

本文中所描述的各方面可利用一个或多个回归模型。回归模型可基于具有一个或多个值的输入集合(说明性地，从具有一个或多个值的输入集合开始或使用具有一个或多个值的输入集合)输出连续范围中的数字值。本文中对回归模型的引用可设想实现例如下列技术(或其他合适技术)中的任何一种或多种技术的模型：线性回归、决策树、随机森林、或神经网络。

本文中所描述的机器学习模型可以是或可包括神经网络。神经网络可以是任何种类的神经网络，诸如卷积神经网络、自编码器网络、变分自编码器网络、稀疏自编码器网络、循环神经网络、去卷积网络、生成性对抗网络，前瞻性神经网络、和积神经网络等等。神经网络可包括任何数量的层。对神经网络的训练(例如，调整神经网络的层)可使用或可基于任何种类的训练原理，诸如，反向传播(例如，使用反向传播算法)。

本公开的技术还可以在以下示例中描述。

示例1。一种智能运输基础设施系统的组件，该组件包括：处理装置；以及非暂态计算机可读存储介质，该非暂态计算机可读存储介质包括指令，该指令当由处理装置执行时，使得处理装置用于：从具有自主驾驶能力的交通工具接收自主驾驶人工干预请求消息；基于与交通工具或交通工具的附近区域相关的感知数据或分析来确定多人工干预级别协议中的人工干预级别以及相对应的后人工干预交通工具行动；以及向交通工具传输自主驾驶人工干预响应消息，该自主驾驶人工干预响应消息包括后人工干预交通工具行动指令。

示例2。如示例1的组件，其中，自主驾驶人工干预请求消息包括自主驾驶人工干预请求理由。

示例3。如示例1的组件，其中，与交通工具或交通工具的附近区域相关的感知数据或分析由交通工具在自主驾驶人工干预请求消息中提供或与自主驾驶人工干预请求消息一起提供。

示例4。如示例1的组件，其中，在接收到自主驾驶人工干预请求消息之前，与交通工具或交通工具的附近区域相关的感知数据或分析由交通工具、交通工具的附近区域中的道路行动者或另一智能运输基础设施组件提供。

示例5。如示例1的组件，其中，指令进一步使处理装置：当接收到自主驾驶人工干预请求消息时，发起对来自交通工具的附近区域中的道路行动者或另一智能运输基础设施组件的附加感知数据的拉取请求，并且基于所拉取的感知数据附加地执行确定步骤。

示例6。如示例1的组件，其中，智能运输基础设施系统包括路边单元(RSU)，该RSU位于智能运输基础设施系统的边缘处，并且该RSU包括组件。

示例7。如示例6的组件，其中，RSU包括：感测装置，该感测装置用于从交通工具的附近区域收集感知数据。

示例8。如示例1的组件，其中，后人工干预交通工具行动指令使得交通工具的自主驾驶控制的级别被降低。

示例9。如示例1的组件，其中，在自主驾驶人工干预响应消息的传输之前，指令进一步使得处理装置用于：向数据中心传输人工干预级别请求消息以用于对交通工具的能力或对当地法规进行合规性检查，该人工干预级别请求消息包括所确定的人工干预级别和相对应的后人工干预交通工具行动。

示例10。如示例9的组件，其中，指令进一步使得处理装置用于：在从数据中心接收到指示能力或法规合规性的人工干预级别响应消息后，执行自主驾驶人工干预响应消息至交通工具的传输。

示例11。如示例9的组件，其中，被传输到数据中心的人工干预级别请求消息进一步包括与交通工具或交通工具的附近区域相关的感知数据或分析。

示例12。如示例1的组件，其中，指令进一步使得处理装置用于：将自主驾驶人工干预响应消息传输至紧急响应数据中心。

示例13。如示例1的组件，其中，指令进一步使得处理装置用于：向交通工具的附近区域中的智能运输基础设施系统中的另一交通工具或另一组件传输关于自主驾驶人工干预的广播消息。

示例14。如示例1的组件，其中，自主驾驶人工干预请求消息由交通工具中的乘客触发。

示例15。一种智能运输基础设施系统的路边单元(RSU)，该RSU包括：处理装置；以及非暂态计算机可读存储介质，该非暂态计算机可读存储介质包括指令，该指令当由处理装置执行时，使得处理装置用于：从具有自主驾驶能力的交通工具接收自主驾驶人工干预请求消息；基于与交通工具或交通工具附近相关的感知数据或分析来确定多人工干预级别协议中的人工干预级别以及相对应的后人工干预交通工具行动；以及向交通工具传输自主驾驶人工干预响应消息，该自主驾驶人工干预响应消息包括后人工干预交通工具行动指令。

示例16。如示例15的RSU，进一步包括：感测装置，该感测装置用于从交通工具的附近区域收集感知数据。

示例17。如示例16的RSU，其中，在自主驾驶人工干预响应消息的传输之前，指令进一步使得处理装置用于：向数据中心传输人工干预级别请求消息以用于对交通工具的能力或对当地法规进行合规性检查，该人工干预级别请求消息包括所确定的人工干预级别和相对应的后人工干预交通工具行动。

示例18。如示例17的RSU，其中，指令进一步使得处理装置用于：在从数据中心接收到指示能力或法规合规性的人工干预级别响应消息后，执行自主驾驶人工干预响应消息至交通工具的传输。

示例19。一种智能运输基础设施系统的非暂态计算机可读存储介质，该非暂态计算机可读存储介质具有存储于其中的程序指令，该程序指令当由处理电路系统执行时，使得处理电路系统用于：从具有自主驾驶能力的交通工具接收自主驾驶人工干预请求消息；基于与交通工具或交通工具的附近区域相关的感知数据或分析来确定多人工干预级别协议中的人工干预级别以及相对应的后人工干预交通工具行动；以及向交通工具传输自主驾驶人工干预响应消息，该自主驾驶人工干预响应消息包括后人工干预交通工具行动指令。

示例20。如示例19的方法，其中，程序指令进一步使得处理电路系统用于：当接收到自主驾驶人工干预请求消息时，发起对来自交通工具的附近区域中的道路行动者或另一智能运输基础设施组件的附加感知数据的拉取请求，并且基于所拉取的感知数据附加地执行确定步骤。

示例21。如示例19的方法，其中，程序指令进一步使得处理电路系统用于：在自主驾驶人工干预响应消息的传输之前，向数据中心传输人工干预级别请求消息以用于对交通工具的能力或对当地法规进行合规性检查，该人工干预级别请求消息包括所确定的人工干预级别和相对应的后人工干预交通工具行动。

示例22。如示例21的方法，其中，程序指令进一步使得处理电路系统用于：在从数据中心接收到指示合规性的人工干预级别响应消息后，执行自主驾驶人工干预响应消息至交通工具的传输。

示例23。如示例19的方法，其中，程序指令进一步使得处理电路系统用于：将自主驾驶人工干预响应消息传输至紧急响应数据中心。

示例24。如示例19的方法，其中，程序指令进一步使得处理电路系统用于：向交通工具的附近区域中的智能运输基础设施系统中的道路行动者或路边单元(RSU)传输关于自主驾驶人工干预的广播消息。

尽管前面已经结合示例性方面来进行描述，但是应当理解，术语“示例性”仅仅意指作为示例，而不是最好的或最佳的。因此，本公开旨在涵盖可被包含在本公开范围内的替代方案、修改和等效方案。

尽管在本文中已说明和描述了各特定方面，然而将由本领域的普通技术人员领会的是，在不背离本申请的范围的情况下，可以用各种替代和/或等效实现方式来代替所示出和描述的特定方面。本申请旨在涵盖本文中所讨论的各特定方面的任何修改或变体。