交通灯状态监控和交通灯到车道的分配的方法和系统

技术领域

本公开总体上涉及车辆，更具体地，涉及调节车辆交通流量的交通信号的检测和解释。

背景技术

自主车辆是一种能够感知其环境并在很少或没有用户输入的情况下进行导航的车辆。自主车辆使用诸如雷达、激光雷达、图像传感器等感测设备来感测其环境。自主车辆系统进一步使用来自全球定位系统(GPS)技术、导航系统、车辆到车辆通信、车辆到基础设施技术和/或线控驱动系统的信息来导航车辆。

尽管自主车辆和半自主车辆提供了许多优于传统车辆的潜在优势，但在某些情况下，可能需要改进车辆的操作。例如，自主车辆使用一个或多个感测设备来检测交通设备。自主车辆还确定从交通设备发出的交通信号。为了规划车辆的路线，自主车辆必须知道所检测到的交通设备与哪个车道相关，并且必须知道交通设备的当前的交通信号或状态(例如，红灯、绿灯、黄灯、绿色箭头等)。在某些情况下，相关车道和/或当前交通信号的确定是不准确的。

因此，期望提供一种用于检测和解释交通设备的交通信号的改进的系统和方法。还期望提供一种用于确定与所确定的交通信号相关联的车道的改进的系统和方法。此外，结合附图以及前述技术领域和背景，从随后的详细描述和所附权利要求中，本公开的其他期望的特征和特性将变得显而易见。

发明内容

提供了用于一种解释交通信息的系统和方法。在一实施例中，一种方法包括：由处理器接收来自多个车辆的视觉数据，其中视觉数据与具有一个或多个车道的道路的交叉口相关联；由所述处理器接收来自所述多个车辆的车辆数据，其中所述车辆数据与所述道路的交叉口相关联；由所述处理器基于所述视觉数据确定与所述交叉口相关联的交通信号灯的第一状态；由处理器基于所述车辆数据确定与交叉口相关联的交通信号灯的第二状态；由处理器基于时间同步来关联第一状态和第二状态；由所述处理器基于所述关联将所述交通信号灯分配给所述道路的车道；以及由处理器传送交通信号灯到车道的分配，以用于控制多个车辆中的一个车辆。

在各种实施例中，该方法包括：由处理器基于关联的第一状态和第二状态确定交通信号灯的状态变化；由处理器基于车辆数据确定与车道相关联的车辆速度；并且其中所述关联基于交通信号灯的状态变化和车辆速度。

在各种实施例中，确定第一状态基于联合隐马尔可夫模型。在各种实施例中，联合隐马尔可夫模型包括迭代期望最大化方法。在各种实施例中，确定第二状态基于经训练的机器学习模型。

在各种实施例中，该方法包括：由处理器将行为状态与来自多个车辆的每个车辆数据相关联；由所述处理器基于关联的行为状态和与所述车辆数据相关联的时间来聚合来自所述多个车辆的车辆数据；以及用经训练的机器学习模型处理聚合的车辆数据。

在各种实施例中，行为状态是加速状态、正在停止状态、已停止状态和巡航状态中的至少一种。

在各种实施例中，所述聚合是基于聚合状态函数和聚合状态函数的逆(inverse)。

在各种实施例中，第一状态是绿色状态、黄色状态和红色状态中的至少一个，并且其中第二状态是绿色状态、黄色状态和红色状态中的至少一个。

在另一个实施例中，提供了一种用于解释交通信息的系统。该系统包括：第一数据存储设备，其存储来自多个车辆的视觉数据，其中该视觉数据与具有一个或多个车道的道路的交叉口相关联；第二数据存储设备，其存储来自多个车辆的车辆数据，其中该车辆数据与道路的交叉口相关联；以及处理器，其被配置为：接收视觉数据和车辆数据，基于视觉数据确定与交叉口相关联的交通信号灯的第一状态，基于车辆数据确定与交叉口相关联的交通信号灯的第二状态，基于时间同步关联第一状态和第二状态，基于所述关联将交通信号灯分配给道路的车道。

在各种实施例中，处理器还被配置为：基于关联的第一状态和第二状态来确定交通信号灯的状态变化；基于车辆数据确定与车道相关联的车辆速度；其中基于交通信号灯状态的变化和车辆速度进行关联。

在各种实施例中，处理器被配置成基于联合隐马尔可夫模型来确定第一状态。在各种实施例中，联合隐马尔可夫模型包括迭代期望最大化方法。在各种实施例中，处理器被配置成基于经训练的机器学习模型来确定第二状态。

在各种实施例中，处理器还被配置为：将行为状态与来自多个车辆的每个车辆数据相关联；基于关联的行为状态和与车辆数据相关联的时间，聚合来自多个车辆的车辆数据；并用经训练的机器学习模型处理聚合的车辆数据。

在各种实施例中，行为状态是加速状态、正在停止状态、已停止状态和巡航状态中的至少一种。

在各种实施例中，处理器基于聚合状态函数和聚合状态函数的逆来进行聚合。

在各种实施例中，第一状态是绿色状态、黄色状态和红色状态中的至少一个，并且其中第二状态是绿色状态、黄色状态和红色状态中的至少一个。

在各种实施例中，该系统包括远离所述多个车辆的云服务器，该云服务器包括第一数据存储设备、第二数据存储设备和处理器。

在各种实施例中，所述云服务器被配置为将交通信号灯到车道的分配传送给所述多个车辆，用于控制所述多个车辆。

附图说明

下文将结合以下附图描述示例性实施例，其中相同的附图标记表示相同的元件，并且其中：

图1是示出根据各种实施例的具有解释系统的自主车辆的功能框图；

图2是示出根据各种实施例的包括解释系统的自主驾驶系统的数据流图；

图3是示出根据各种实施例的解释系统的数据流图；

图4是根据各种实施例的解释系统所使用的模型的图示；

图5包括多个图表，示出了根据各种实施例的由解释系统使用的信号相位的不同车辆行为状态；

图6包括多个图表，示出了根据各种实施例的由解释系统使用的对于每个车辆行为的集合函数；和

图7是示出根据各种实施例的可以由解释系统执行的解释方法的流程图。

具体实施方式

下面的详细描述本质上仅仅是示例性的，并不旨在限制应用和使用。此外，不旨在受到前面的技术领域、背景技术、发明内容或下面详细描述中提出的任何明示或暗示的理论的约束。如这里所使用的，术语“模块”指的是任何硬件、软件、固件、电子控制组件、处理逻辑和/或处理器设备中的单独项或任何组合，其包括但不限于：专用集成电路(ASIC)、电子电路、处理器(共享的、专用的或成组的)和执行一个或多个软件或固件程序的存储器、组合逻辑电路和/或提供所述功能的其他合适的组件。

在此可以根据功能和/或逻辑块组件和各种处理步骤来描述本公开的实施例。应当理解，这样的块组件可以由被配置为执行指定功能的任何数量的硬件、软件和/或固件组件来实现。例如，本公开的实施例可以采用各种集成电路组件，例如存储元件、数字信号处理元件、逻辑元件、查找表等，其可以在一个或多个微处理器或其他控制设备的控制下执行各种功能。此外，本领域技术人员将理解，本公开的实施例可以结合任何数量的系统来实施，并且这里描述的系统仅仅是本公开的示例性实施例。

为了简洁起见，本文可能未详细描述与信号处理、数据传输、信令、控制和系统的其他功能方面(以及系统的各个操作组件)相关的传统技术。此外，本文包含的各图中所示的连接线旨在表示各种元件之间的示例性的功能关系和/或物理耦合。应当注意，本公开的实施例中可以存在许多替代的或附加的功能关系或物理连接。

参照图1，根据各种实施例，总体上以100示出的解释系统与车辆10相关联。通常，解释系统100处理由布置在车辆10上的一个或多个感测设备提供的数据(如将在下面更详细讨论的)，以检测车辆10的环境中的交通设备。解释系统100然后解释当前交通信号(例如，红灯、绿灯、黄灯、绿色箭头、红色闪烁、黄色闪烁等)。在各种实施例中，解释系统100利用众包(crowd sourced)信息，其包括两个独立的观察通道(相机vs车辆动态CAN总线)来监控交通信号灯状态。在各种实施例中，解释系统100利用众包信息，使用两个独立观察通道之间的时间相关函数来找到交通信号灯到车道的分配。在各种实施例中，自主车辆10使用交通信号灯状态和交通信号灯到车道的分配做出关于导航车辆10通过环境的决定。

如图1所示，车辆10通常包括底盘12、车身14、前轮16和后轮18。车身14布置在底盘12上，并且基本上封闭车辆10的部件。车身14和底盘12可以共同形成框架。每个车轮16-18在车身14的相应拐角附近可旋转地联接到底盘12。

在各种实施例中，车辆10是自主车辆，并且解释系统100被结合到自主车辆10(以下称为自主车辆10)中。自主车辆10例如是自动控制将乘客从一个位置运送到另一个位置的车辆。在所示实施例中，车辆10被描绘为乘用车，但应当理解，由交通设备调节的任何其他车辆也可以使用，包括摩托车、卡车、运动型多功能车(SUV)、休闲车(RV)、船舶、飞机或简单机器人等。在示例性实施例中，自主车辆10是所谓的四级或五级自动系统。四级系统表示“高度自动化”，指的是自动驾驶系统在即使驾驶员没有对干预请求做出适当响应的动态驾驶任务的所有方面的特定驾驶模式性能。五级系统表示“完全自动化”，指的是自动驾驶系统在可能由人类驾驶员管理的所有道路和环境条件下的动态驾驶任务的所有方面的全时表现。可以理解，在各种实施例中，自主车辆10可以是任何自动化水平或者根本不具有自动化(例如，当系统100简单地将概率分布呈现给用户用于决策时)。

如图所示，自主车辆10通常包括推进系统20、传动系统22、转向系统24、制动系统26、传感器系统28、致动器系统30、至少一个数据存储设备32、至少一个控制器34和通信系统36。在各种实施例中，推进系统20可以包括内燃机、诸如牵引马达的电机和/或燃料电池推进系统。传动系统22被配置成根据可选择的速度比将动力从推进系统20传递到车轮16-18。根据各种实施例，传动系统22可以包括步进比自动变速器、无级变速器或其他合适的变速器。制动系统26被配置为向车轮16-18提供制动扭矩。在各种实施例中，制动系统26可包括摩擦制动器、线控制动器、再生制动系统(如电机)和/或其他合适的制动系统。转向系统24影响车轮16-18的位置。尽管出于说明的目的被描绘为包括方向盘，但是在本公开范围内设想的一些实施例中，转向系统24可以不包括方向盘。

传感器系统28包括一个或多个感测设备40a-40n，其感测自主车辆10的外部环境和/或内部环境的可观察状况。感测设备40a-40n可以包括但不限于雷达、激光雷达、全球定位系统、光学相机、热相机、超声波传感器、惯性测量单元和/或其他传感器。在各种实施例中，感测设备40a-40n包括一个或多个图像传感器，其生成由解释系统100使用的图像传感器数据。

致动器系统30包括一个或多个致动器装置42a-42n，其控制一个或多个车辆特征，例如但不限于推进系统20、传动系统22、转向系统24和制动系统26。在各种实施例中，车辆特征可以进一步包括内部和/或外部车辆特征，例如但不限于门、行李箱和车厢特征，例如空气、音乐、照明等。

通信系统36被配置为向和从其他实体48无线传送信息，例如但不限于其他车辆(“V2V”通信)、基础设施(“V2I”通信)、远程系统和/或个人设备(参照图2更详细地描述)。在示例性实施例中，通信系统36是无线通信系统，其被配置为使用IEEE 802.11标准或使用蜂窝数据通信经由无线局域网进行通信。然而，附加的或替代的通信方法，例如专用短程通信(DSRC)信道，也被认为在本公开的范围内。DSRC信道是指专为汽车使用而设计的单向或双向的短程至中程无线通信信道，以及相应的一组协议和标准。

数据存储设备32存储用于自动控制自主车辆10的数据。在各种实施例中，数据存储设备32存储可导航环境的定义地图。在各种实施例中，定义地图是从车辆10的传感器数据构建的。在各种实施例中，从远程系统和/或其他车辆接收地图。可以理解，数据存储设备32可以是控制器34的一部分，与控制器34分离，或者是控制器34的一部分和独立系统的一部分。

控制器34包括至少一个处理器44和计算机可读存储设备或介质46。处理器44可以是任何定制的或市场上可买到的处理器、中央处理单元(CPU)、图形处理单元(GPU)、与控制器34相关联的几个处理器中的辅助处理器、基于半导体的微处理器(以微芯片或芯片组的形式)、宏处理器、它们的任何组合、或通常用于执行指令的任何设备。计算机可读存储设备或介质46可以包括例如只读存储器(ROM)、随机存取存储器(RAM)和保活存储器(KAM)的易失性和非易失性存储。KAM是持久或非易失性存储器，其可用于在处理器44断电时存储各种操作变量。计算机可读存储设备或介质46可以使用多种已知存储设备中的任何一种来实现，例如PROM(可编程只读存储器)、EPROM(电学可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、闪存或能够存储数据的任何其他电、磁、光或组合存储设备，其中一些存储设备表示控制器34在控制自主车辆10时使用的可执行指令。

指令可以包括一个或多个单独的程序，每个程序包括用于实现逻辑功能的可执行指令的有序列表。当由处理器44执行时，这些指令接收并处理来自传感器系统28的信号，执行用于自动控制自主车辆10的部件的逻辑、计算、方法和/或算法，并产生控制信号给致动器系统30，以基于逻辑、计算、方法和/或算法自动控制自主车辆10的部件。尽管在图1中仅示出了一个控制器34，但是自主车辆10的实施例可以包括任意数量的控制器34，这些控制器34通过任意合适的通信介质或通信介质的组合进行通信，并且协作来处理传感器信号、执行逻辑、计算、方法和/或算法，并且生成控制信号以自动控制自主车辆10的特征。

在各种实施例中，控制器34的一个或多个指令包含在解释系统100中，并且当由处理器44执行时，其集成来自感测设备28的实时信息和来自数据存储设备的信息，并且基于此输出交通信号状态和/或交通信号灯到车道的分配。控制器34的指令进一步利用这些值为导航车辆10通过环境将使用的车辆机动进行决策和规划。

可以理解，控制器34可以被实现为多个控制器，包括至少一个位于车辆上的控制器和至少一个远离车辆的控制器。在这样的实施例中，解释系统100的功能可以在任何控制器34上实现，包括部分在车辆的第一控制器上实现，部分在例如驻留在服务器系统上的第二控制器上实现。

可以理解，本文公开的主题为可以被认为是标准或基线的非自主车辆或自主车辆10和/或基于协调自主车辆10的远程运输系统(未示出)的自主车辆提供了某些增强的特征和功能。为此，可以对非自主车辆、自主车辆和基于远程运输系统的自主车辆进行修改、增强或补充，以提供下面更详细描述的附加特征。出于示例性目的，以下示例将在自主车辆的背景下讨论。

根据各种实施例，控制器34实现如图2所示的自主驾驶系统(ADS)50。也就是说，控制器34的合适的软件和/或硬件组件(例如，处理器44和计算机可读存储设备46)被用来提供与车辆10结合使用的自主驾驶系统50。

在各种实施例中，自主驾驶系统50的指令可以通过功能、模块或系统来组织。例如，如图2所示，自主驾驶系统50可以包括计算机视觉系统54、定位系统56、引导系统58和车辆控制系统60。可以理解，在各种实施例中，指令可以被组织到任何数量的系统中(例如，组合、进一步划分等)，因为本公开不限于本示例。

在各种实施例中，计算机视觉系统54合成和处理传感器数据，并预测车辆10的环境的对象和特征的存在、位置、分类和/或路径。在各种实施例中，计算机视觉系统54可以结合来自多个传感器的信息，包括但不限于相机、激光雷达、雷达和/或任何数量的其他类型的传感器。

定位系统56处理传感器数据以及其他数据，以确定车辆10相对于环境的位置(例如，相对于地图的局部位置、相对于道路车道的精确位置、车辆航向、速度等)。引导系统58处理传感器数据以及其他数据，以确定车辆10要遵循的路径。车辆控制系统80根据所确定的路径产生用于控制车辆10的控制信号。

在各种实施例中，控制器34实现机器学习技术来辅助控制器34的功能，例如特征检测/分类、障碍物躲避、路线遍历、映射、传感器集成、地面实况确定等。

在各种实施例中，图1的解释系统100可以被包括在ADS 50内，例如，作为引导系统58的一部分，或者可以如图所示与ADS 50通信(例如，通过通信系统)。例如，解释系统100从计算机视觉系统54和定位系统56接收数据，并提供用于决策的交通信号灯信息和/或车道信息，以最终确定车辆10的路径。

如关于图3更详细示出的，并且继续参考图1和图2，解释系统100包括收集模块102、视觉域交通信号灯状态监控模块104、运动学域交通信号灯状态监控模块106、分配模块108、收集数据存储110和模型数据存储112。

收集模块102接收从任意数量的车辆10感测的视觉数据114a-114n作为输入。例如，当通过十字路口时，每个车辆10收集来自它们的车辆相机的视觉数据。在各种实施例中，每个车辆10对相机数据执行本地交通信号灯检测和识别方法，并且通过消除偶然遮挡、错误检测或遗漏检测，使用固有的跟踪/时间相关关系来提高准确性。然后，每个车辆10将预处理后的视觉数据114a-114n传送给解释系统100(例如，托管在云服务器(未示出)上)。收集模块102将收集的视觉数据114a-114n存储在数据存储设备的收集数据存储110中，用于进一步处理。

收集模块102还从任意数量的车辆10接收车辆数据116a-116n作为输入。在各种实施例中，车辆数据116a-116n包括但不限于GPS位置和时间、速度、中断状态、偏航率、车道分配等。例如，当车辆10通过十字路口时，每个车辆10收集在CAN总线或其他通信介质上传送的车辆数据。收集模块102将收集的车辆数据116a-116n存储在数据存储设备的收集数据存储110中，用于进一步处理。

视觉域交通状态监控模块104从收集数据存储110中检索收集的视觉数据用于处理。视觉域交通状态监控模块104使用联合隐马尔可夫模型(HMM)处理收集的数据，该模型存储在例如数据存储设备的模型数据存储112中，以确定每一时间t的交通信号灯的状态，其称为视觉信号灯状态数据118。例如，如图4所示，联合HMM模型利用来自车辆(车辆1，车辆2，…)的观测值210(O1，O2，O3…)和状态(G，A，R)200之间的状态转换(p1，p2，…)的空间相关性来过滤出各个车辆10的检测中的任何错误或遗漏检测。在各种实施例中，联合HMM模型使用迭代期望最大化方法，其中：

E-step:P(O|u,θ)＝∑

M-Step:Q(θ,θ’)＝∑

再参考图3，运动学域交通信号灯状态监控模块104从收集数据存储110中检索收集的车辆数据用于处理。运动学域交通信号灯状态监测模块104用例如存储在模型数据库112中的机器学习模型处理收集的车辆数据，以确定每一时间t的交通信号灯状态，其称为运动学灯状态数据120。例如，运动学域交通信号灯状态监控模块104将收集的车辆数据与行为状态相关联。例如，行为状态可以被定义为但不限于加速状态、正在停止状态、已停止状态和巡航状态。可以理解，可以预定义任何数量的行为状态。运动学域交通信号灯状态监控模块104评估车辆数据并将车辆数据与定义的行为状态之一相关联。例如，如图5所示，示出速度和时间的上侧图所示的车辆1以一定的速度行驶，直到看到灯从绿色变为红色；由于红灯它减速并停车。示出速度和时间的中间图所示的车辆2接近十字路口、看到红灯并停车。示出速度和时间的下侧图中所示的车辆3接近十字路口、看到绿灯并通过。

运动域交通信号灯状态监控模块104然后使用例如聚合状态函数聚合给定时间帧的每个状态中的数据，聚合状态函数为：

F

例如，如图6所示，过去一个月中每天从上午10:00到上午10:05的所有车辆状态都使用聚合状态函数进行聚合。然后，通过机器学习(ML)模型处理每个行为状态的集合状态函数和时间t的导数函数，以确定给定时间戳的交通信号状态(例如，红色、绿色、黄色)。可以理解，ML模型可以是任何经过训练的机器学习模型，例如但不限于神经网络、支持向量机等。

分配模块106接收视觉信号灯状态数据118、运动学信号灯状态数据120以及与运动学信号灯状态数据120相关联的车辆数据122。分配模块106基于视觉信号灯状态数据118和运动学信号灯状态数据120与相关联的车辆数据122之间的相关性将信号灯分配给车道，并提供信号灯到车道分配数据124。例如，分配模块106基于时间相关过滤器将视觉交通信号灯状态数据118和运动学信号灯状态数据120相关联，并基于相关联的数据确定信号灯状态的变化(例如，红色到绿色、绿色到黄色、黄色到红色)。分配模块106根据车辆数据122确定每个车道的速度，车辆数据122在时间上与信号灯状态的变化(例如，时间加上延迟)相关联。分配模块106然后基于交通信号灯状态的变化以及车道速度与和信号灯状态的变化相关联的预定速度的比较，将信号灯分配给车道。

现在参考图6并继续参考图1-5，说明在各种实施例中的用于确定交通信号灯到车道分配的方法500。可以理解，根据本公开的内容，方法500内的操作顺序不限于图5所示的执行顺序，而是可以根据本公开以一个或多个不同的顺序来执行。在各种实施例中，方法500的一个或多个步骤可以被移除或添加，而不改变方法500的构思。

在一个示例中，该方法可以在505处开始。在510处，从多个车辆10收集预处理的视觉数据114a-114n。然后，或者基本上同时，在520处，从多个车辆10收集预处理的车辆数据116a-116n。然后，在530处，如上文所讨论的，使用联合HMM处理所收集的视觉数据114a-114n，以确定不同时间的交通信号灯状态，并提供视觉信号灯状态数据118。在540处，使用经训练的ML模型处理收集的车辆数据118a-118n，以确定不同时间的交通信号灯状态，并提供运动学信号灯状态数据112。然后，在550处，视觉交通信号灯状态数据118和运动学交通信号灯状态数据120基于时间被关联。在560处，根据关联的信号灯状态数据确定信号灯状态的变化(例如，从红色到绿色、从绿色到黄色、从黄色到红色)。在570处，从车辆数据122中确定车道速度，其在时间上与信号灯状态的变化相关联(例如，当时的车辆速度加上延迟)。然后，在580处，基于交通信号灯状态的变化和与交通信号灯状态的变化在时间上相关联的车道速度，将信号灯分配给车道。然后，在590处，信号灯到车道的分配数据124被传送到例如车辆10，用于车辆控制。然后，该方法可以在600结束。

虽然在前面的详细描述中已经给出了至少一个示例性实施例，但是应当理解，存在大量的变化。还应当理解，一个或多个示例性实施例仅仅是示例，并不旨在以任何方式限制本公开的范围、适用性或配置。相反，前面的详细描述将为本领域技术人员提供实现一个或多个示例性实施例的便利路线图。应当理解，在不脱离所附权利要求及其法律等同阐述的本公开的范围的情况下，可以对元件的功能和布置进行各种改变。