车辆以及用于车辆的控制系统和方法

本申请是申请日为2020年1月8日、申请号为202080008813.9(PCT/EP2020/050262)、发明名称为“用于车辆的控制系统”的发明专利申请的分案申请。

技术领域

本公开内容涉及用于车辆的控制系统，并且特别地涉及用于确定是否以及何时输出在车辆附近的检测到的道路交通标志的指示的控制系统。本发明的方面涉及控制系统、方法、存储介质和车辆。

背景技术

众所周知，道路车辆例如汽车具有一个或更多个前向摄像机来收集与由车辆正在行驶的道路相关的数据。特别地，前向摄像机可以用于收集与车辆沿其行驶的道路上或道路旁边的道路交通标志有关的数据。收集到的数据可以由车载图像处理子系统处理以确定通过交通标志显示的信息，以及然后可以例如通过在车辆的仪表盘显示器上显示该信息来将所确定的信息传递至车辆驾驶员。

为此目的而使用前向摄像机的缺点在于摄像机可能无法检测到某些道路标志或者图像处理子系统可能会基于收集到的数据做出存在某个道路标志的错误决定。例如，如果给定的道路标志倾斜、脏污或者被树木或灌木部分地覆盖，则可能会发生这种情况。这种问题还可能导致向车辆驾驶员显示交通标志晚于对于他们能够就交通标志上的信息做出适当反应而言更可取的时间。另外，前向摄像机具有有限的检测范围。

另外已知使用车辆的导航子系统来确定车辆应该遵守的速度限制。具体地，这通过确定车辆当前沿其行驶的道路并且检索与所确定的道路或路段相关联的速度限制来实现。还可以在仪表盘显示器上向驾驶员显示所确定的速度限制。

这可能的缺点在于，与车辆行驶所沿的特定道路相关联的速度限制可能不可用或丢失，或者通过导航子系统检索到的信息可能过时。

本发明的目的是解决与现有技术相关联的缺点中的一个或更多个缺点。

发明内容

根据本发明的一方面，提供了一种用于车辆的控制系统。控制系统可以包括一个或更多个控制器。控制系统可以被配置成从车辆的视觉子系统接收视觉道路交通标志数据。控制系统可以被配置成从车辆的导航子系统接收导航道路交通标志数据。控制系统可以被配置成确定在车辆附近的检测到的道路交通标志的特征，检测到的道路交通标志包括在接收到的视觉道路交通标志数据和接收到的导航道路交通标志数据这二者的至少一者中，其中，该特征为是否需要预先通知检测到的道路交通标志。控制系统可以被配置成根据所确定的特征以及根据检测到的道路交通标志是包括在视觉道路交通标志数据中、还是包括在导航道路交通标志数据中、亦或是包括在视觉道路交通标志数据和导航道路交通标志数据二者中来确定是否输出检测到的道路交通标志的指示。

本发明的优点在于它提供了控制逻辑来融合从两个独立的源——即视觉子系统和导航子系统——接收的数据，以提高对车辆附近的道路交通标志进行检测的准确性。特别地，本发明减少了未检测到但存在于附近的标志的数目(“假否定”)，减少了太晚检测到的标志的数目(“晚肯定”)，并且减少了检测到但不存在于附近的标志的数目(“假肯定”)。具体地，本发明改进了其中假否定率通常为5％-10％以及假肯定率通常为每100公里0.5个-1个标志的现有技术系统。控制系统以更高的准确性将检测到的道路交通标志通知车辆驾驶员和/或一个或更多个其他车辆子系统作为由道路上的物理交通标志指示的前面或即将到来的危险区域的持续提醒。

控制系统可以包括电子控制单元或者一个或更多个控制器。例如，所述控制系统可以包括具有用于从视觉子系统和导航子系统接收电子信号的电气输入的电子处理器。电子控制器或者一个或更多个控制器可以具有与之相关联的微处理器，该微处理器被编程以执行所需的功能。例如，该系统可以包括电耦接至电子处理器并且其中存储有指令的电子存储装置。被配置成确定在车辆附近的检测到的道路交通标志的特征的控制系统可以包括处理器，该处理器被配置成访问存储装置并执行其中存储的指令，使得其可操作成基于接收到的视觉道路交通标志数据和接收到的导航道路交通标志数据的至少之一来确定检测到的道路交通的特征。

另外，电子控制器或者一个或更多个控制器可以具有内部存储装置或相关联的外部存储装置，例如，固态存储装置。应当理解，贯穿本文件提及的所有功能性“装置”可以被认为是一个或更多个电子控制单元或控制器内的控制功能。

控制系统可以被配置成确定检测到的道路交通标志的多个特征。

该特征可以为检测到的道路交通标志是永久性的还是临时性的。

如果检测到的道路交通标志是永久性的并且包括在视觉道路交通标志数据和导航道路交通标志数据二者中，则控制系统可以被配置成输出检测到的道路交通标志的指示。

如果检测到的道路交通标志是永久性的并且仅包括在视觉道路交通标志数据中，则控制系统可以被配置成确定导航子系统是否有权限访问指示检测到的道路交通标志的数据，并且如果导航子系统没有权限访问指示检测到的道路交通标志的数据，则输出检测到的道路交通标志的指示。

如果检测到的道路交通标志是临时性的并且包括在视觉道路交通标志数据中，则控制系统可以被配置成输出检测到的道路交通标志的指示。

如果检测到的道路交通标志是以下任何一种，则该特征可以是永久性的：

停车标志；

让路标志；

禁止进入标志；

禁止机动车标志；

野生动物标志；

自行车标志；

行人标志；

儿童标志；

向左或向右急转弯标志；

向左或向右双转弯标志；以及

具有或没有优先的交叉口标志。

如果检测到的道路交通标志是以下任何一种，则该特征可以是暂时性的：

湿滑道路标志；

排队标志；

双向道路变窄标志；

左侧或右侧道路变窄标志；以及，

施工标志。

如果需要预先通知检测到的道路交通标志并且检测到的道路交通标志包括在导航道路交通标志数据中，则控制系统可以被配置成输出检测到的道路交通标志的指示。

控制系统可以被配置成如果需要在车辆与检测到的道路交通标志之间的距离大于阈值时输出检测到的道路交通标志的指示，则确定需要预先通知。

视觉子系统的检测范围可以小于或等于阈值。

如果检测到的道路交通标志是以下任何一种，则控制系统可以被配置成确定需要预先通知检测到的道路交通标志：

停车标志；

让路标志；

行人标志；以及

儿童标志。

车辆的附近可以包括沿着由车辆正在行驶的道路。

车辆的附近可以包括车辆前方的方向。

控制系统可以被配置成将检测到的道路交通标志的指示输出至车辆的驾驶员。

控制系统可以被配置成使检测到的道路交通标志的指示显示持续车辆行驶的特定距离。

控制系统可以包括车辆的驾驶室中的显示设备。控制系统可以被配置成将检测到的道路交通标志的指示从一个或更多个控制器输出至显示设备。显示设备可以被配置成向驾驶员显示检测到的道路交通标志的指示。

显示设备可以是车辆的仪表显示器面板和/或头部显示器(“平视显示器”)。

显示设备可以被配置成使检测到的道路交通标志的指示显示持续车辆行驶的特定距离。

行驶的特定距离可以取决于检测到的道路交通标志。

显示设备可以被配置成显示检测到的道路交通标志的指示，直至车辆经过检测到的道路交通标志为止。

控制系统可以包括视觉子系统。视觉子系统可以包括至少一个车载前视摄像机，所述车载前视摄像机被配置成接收检测到的道路交通标志的图像数据。

视觉子系统可以包括图像处理单元，该图像处理单元被配置成从接收到的图像数据中提取检测到的道路交通标志的一个或更多个特征以发送至一个或更多个控制器。

控制系统可以包括导航子系统。导航子系统可以包括车辆的远程信息处理控制单元。

根据本发明的另一方面，提供了一种用于车辆的方法。该方法可以包括从车辆的视觉子系统接收视觉道路交通标志数据。该方法可以包括从车辆的导航子系统接收导航道路交通标志数据。该方法可以包括确定在车辆附近的检测到的道路交通标志的特征，所述检测到的道路交通标志包括在接收到的视觉道路交通标志数据和接收到的导航道路交通标志数据这二者的至少之一中，其中，该特征为是否需要预先通知检测到的道路交通标志。该方法可以包括根据所确定的特征以及根据检测到的道路交通标志是包括在视觉道路交通标志数据中、还是包括在导航道路交通标志数据中、亦或是包括在视觉道路交通标志数据和导航道路交通标志数据二者中来确定是否输出检测到的道路交通标志的指示。

根据本发明的另一方面，提供了一种其上存储有指令的非暂态计算机可读存储介质，所述指令在由一个或更多个电子处理器执行时使所述一个或更多个电子处理器执行上述方法。

根据本发明的另一方面，提供了一种包括如上所述的控制系统的车辆。

在本申请的范围内，明确地意在在前述段落中、在权利要求中和/或在下面的描述和附图中——并且特别是在其各个特征中——阐述的各个方面、实施方式、示例和替选可以单独或以任意组合使用。即，所有实施方式和/或任何实施方式的特征可以以任何方式和/或组合进行组合，除非这些特征不兼容。申请人保留相应地更改任何最初提交的权利要求或提交任何新权利要求的权利，包括将任何最初提交的权利要求修改为引用根据任何其他权利要求的任何特征和/或并入任何其他权利要求的任何特征的权利，尽管最初未以这种方式要求保护。

附图说明

现在将参照附图仅通过示例的方式描述本发明的一个或更多个实施方式，在附图中：

图1示出了沿着道路行驶的车辆的示意性平面图以及车辆前方在道路侧边处的交通标志，该车辆包括根据本发明的一方面的控制系统；以及

图2示出了由图1的控制系统执行的方法的步骤。

具体实施方式

本发明提供了用于检测沿车辆正在行驶或将要行驶的道路的一个或更多个道路交通标志并且向驾驶员通知所述一个或更多个道路交通标志的车辆控制系统和方法。特别地，与道路交通标志有关的数据是从车辆的视觉子系统和车辆的导航子系统两者采集的，并且两组采集的数据的融合允许关于要将什么信息传递至驾驶员的确定。这样的数据融合提高了传递至驾驶员的信息的准确性和完整性。

图1示出了沿道路12行驶的车辆10。在车辆10前方并且道路12旁边是向车辆的驾驶员显示信息的道路交通标志14，下面会更详细地讨论。

车辆10包括视觉子系统16，视觉子系统16又包括安装在车辆10上的一个或更多个摄像机18。摄像机18面向前并且安装在车辆10的前部。摄像机18被配置成采集车辆10周围环境特别是车辆10前方的图像数据。具体地，当车辆10接近交通标志14时，摄像机18检测与道路交通标志14相关联的图像数据。视觉子系统16还包括图像处理单元20，图像处理单元20被配置成对由摄像机18采集和收集的图像数据进行处理和分析。特别地，图像处理单元20提取道路交通标志14的一个或更多个特征，以确定道路交通标志14是哪种特定类型的道路交通标志。图像处理单元20可以使用字符识别以及/或者确定检测到的交通标志14的整体形状，以确定道路标志的具体类型，并且从而确定正在给予驾驶员的信息。

车辆10还包括导航子系统22，导航子系统22包括诸如全球定位系统(GPS)的卫星导航设备，卫星导航设备被配置成确定车辆10的地理位置，特别是车辆10沿其行驶的道路12的地理位置。导航子系统22包括地图数据，地图数据包括关于车辆10正在沿其行驶的道路12的信息，例如道路12的速度限制、与道路相关联的危险以及即将到来的交叉口(junction)。具体地，地图数据包括关于沿道路12定位的包括交通标志14的各种道路交通标志的信息。导航子系统22可以是车辆10的远程信息处理控制单元的一部分。

车辆10还包括控制器30，控制器30具有输入32、一个或更多个处理器34和输出36。输入32被配置成接收来自视觉子系统16的视觉数据，并且特别是指示道路交通标志14——例如，由图像处理单元20提取的标志14的一个或更多个特征——的数据。输入32还被配置成接收来自导航子系统22的导航数据或地图数据，并且特别是指示车辆10的确定的地理位置附近的道路交通标志的数据。如下面更详细地讨论的，处理器34被配置成确定由视觉子系统16和/或导航子系统22检测到的道路交通标志提供的信息是否要引起驾驶员的注意。当确定要通知驾驶员检测到的道路标志14的存在时，输出36被配置成向车辆10的一个或更多个其他子系统或设备发送指示，以照此通知驾驶员。

车辆10还包括在车辆10的舱室中的呈仪表显示面板和/或头部显示器(“平视显示器”)形式的显示设备38。显示设备38被配置成根据接收到的来自输出36的信号来例如以复制标志的图标的形式显示对由检测到的道路交通标志提供的信息的指示。

视觉子系统16、导航子系统22、控制器30和显示设备38可以被认为形成车辆的控制系统40。替选地，这些部件中的一个或更多个，但包括控制器30，可以被认为形成控制系统40。控制系统40可以包括一个或更多个控制器，以提供本文所述的控制器30的功能。

图2示出了当车辆10沿道路12行驶时由控制器30和其他车辆子系统执行的方法50的步骤。当车辆10沿道路12行驶时，前向摄像机18持续地采集车辆周围环境的图像数据，并且图像数据由图像处理单元20进行分析。通常，摄像机18具有约30米的范围。一旦图像处理单元20已经通过从所收集的图像数据中提取特征而确定任何道路交通标志的存在，则将关于这些确定的道路标志的存在的信息发送至控制器30，并且特别地，在方法50的步骤52处由输入32接收指示至少一个道路交通标志的该视觉道路交通标志数据。

类似地，导航子系统22持续地跟踪车辆10的位置，并且特别是车辆10沿道路的具体位置。导航子系统22检索与车辆10的所确定的位置的附近——例如沿着道路12——的道路交通标志(或其他限制/规则)有关的信息。具体地，在方法50的步骤54处，由输入32接收指示检测到的道路交通标志的类型的数据以及可能的其相对于车辆10的位置的数据。

处理器34对在来自视觉子系统16的视觉道路交通标志数据和来自导航子系统22的导航道路交通标志数据之一或两者中包括的检测到的道路交通标志14进行分析。特别地，处理器34确定检测到的道路交通标志14的一个或更多个特征。

在本上下文中，由处理器34确定的检测到的道路标志14的特征之一是其是所谓的“永久”标志还是“临时”标志。永久标志可以被视为永久存在于其在路边处的位置的标志。相反，临时标志是仅存在于其检测到的位置有限的时间段——例如在道路12上或在道路12附近的建筑工程时段期间——的标志。在步骤56处，处理器34做出关于检测到的道路标志是永久的还是临时的确定。处理器34可以使用检测到的道路标志的不同特征，以便例如通过对其相对于道路的位置和高度、其整体尺寸和/或形状、和/或其相对于道路表面的倾斜进行分析来确定其是永久的还是临时的。

如果在步骤56中由视觉子系统16检测的检测到的道路交通标志被分类为永久的，则在步骤58处，处理器34检查接收到的视觉道路交通标志数据和导航道路交通标志数据两者是否都包括检测到的道路交通标志14。

可以被分类为本质上是永久的道路交通标志的类型的示例为停车标志、让行标志、禁止通行标志、禁止机动车标志、野生动物标志、骑自行车者标志、行人标志、儿童标志、向左或向右急转弯标志、向左或向右双转弯标志、以及具有或不具有优先标志的交叉口。

如果在步骤58处确定接收到的视觉数据和导航数据两者都包括检测到的道路交通标志14，则这被认为是对特定道路标志的肯定识别。处理器34可以检查检测到的道路交通标志距车辆10的相对位置或距离在视觉数据与导航数据之间是否一致，以确保它们指的是同一检测到的标志。在这种情况下，在步骤60处，输出36向显示设备38发送以下控制信号：向驾驶员显示检测到的道路交通标志的指示，或者至少向驾驶员显示由检测到的道路交通标志提供的信息的指示。也就是说，输出36被配置成向驾驶员发送检测到的道路交通标志的指示。

然而，如果在步骤58处确定检测到的道路交通标志14不包括在接收到的视觉数据和导航数据两者中，则在步骤62处，处理器34确定接收到的视觉数据和导航数据中的哪一个包括检测到的道路交通标志14。

如果在步骤62处确定检测到的道路交通标志14仅包括在接收到的视觉道路交通标志数据中，则处理器34在步骤64处做出关于导航子系统22是否有权限访问指示特定的检测到的道路交通标志14的数据的进一步确定。导航子系统22可以仅存储与道路12上存在的所有不同类型的永久交通标志的子集有关的信息。如果导航子系统22未存储关于检测到的道路交通标志14已经被确定为的特定类型标志的位置的信息，则处理器34因此不能检查导航子系统22是否也已经检测到该道路交通标志。在这种情况下，在步骤66处，输出36自动向显示设备38发送用于显示检测到的道路交通标志66的指示的控制信号。

然而，如果导航子系统22确实存储了关于检测到的道路交通标志14被确定为的特定类型标志的信息，但是导航子系统22只是没有检测到该道路标志14(使得该道路标志14未包括在导航道路交通标志数据中)，则在步骤68处，控制器30不控制显示设备38显示检测到的道路交通标志的指示。这种情况可能发生或是因为导航子系统22尚未确定由视觉子系统16检测到的标志在车辆附近。在这种情况下，校测到道路交通标志14被确定为视觉子系统16做出的假肯定检测(步骤68)。

返回至步骤62，如果确定仅在接收到的导航道路交通标志数据中包括检测到的道路交通标志14，则在步骤70处，处理器34做出对另外的特征的确定，特别是是否需要预先通知该特定的检测到的道路交通标志14。具体地，处理器34做出如下确定：是否需要在通过方法50中的前述步骤提供的通知之前进一步或更早地通知驾驶员车辆10正在接近检测到的道路交通标志14。

视觉子系统16的摄像机18可以仅具有车辆10前方的有限视觉范围，例如约30米。对于某些类型的道路交通标志，当车辆10距道路交通标志仍超过30米时，通知车辆驾驶员在这样的道路交通标志上显示的信息将是有益的。也就是说，在由视觉子系统16检测到即将到来的道路交通标志之前，使驾驶员意识到即将到来的道路交通标志将是有益的。这样的危险或警告标志可以包括停车标志、让行标志、行人标志和儿童标志中的任何标志。具体地，提供某些标志的所谓“预先通知”向驾驶员提供在到达交通标志之前需要采取行动——例如，降低车速——的警告。

换句话说，如果需要在视觉子系统16的检测范围之外——即大于车辆10与检测到的道路交通标志14之间的阈值距离——将包括在由导航子系统22提供的导航数据中的检测到的道路交通标志14通知给驾驶员(步骤70)，则在步骤72处，输出36命令显示设备38向驾驶员显示第二道路交通标志14的指示。否则，在步骤74处，输出36不发送这样的指令或者保留发送这样的控制信号，直到车辆10正在经过检测到的道路交通标志14，或者至少直到车辆10与检测到的道路交通标志14之间的距离小于阈值距离。此时，视觉子系统16也已经检测到道路交通标志14。

返回至方法50中的步骤56，如果处理器34替代地将检测到的道路交通标志14分类为本质上是临时的，则在步骤76处，输出36自动向显示设备38发送用于显示检测到的道路交通标志14的指示的控制信号。应当理解，本质上是临时的交通标志不会存储在导航系统中，并且因此隐含的是检测到的标志14包括在视觉数据中。也就是说，例如在建筑工程的有限时段期间，与临时标志的存在有关的信息将不会被导航子系统22存储并且因此将不会被检测到。为此，与检测到的道路交通标志14本质上是永久的情况不同，当检测到的道路交通标志14本质上是临时的时，处理器34不进行用于确定标志是否已经被导航子系统22检测到的另外的检查。因此，为了确定驾驶员被适当地通知即将到来的临时道路交通标志，在步骤76处控制器30命令要通知驾驶员临时标志之前仅需要由视觉子系统16检测到临时标志。

可以被确定为本质上是临时的道路交通标志的示例包括湿滑道路标志、排队标志、双向道路变窄标志、左侧或右侧道路变窄标志、以及建筑或工程标志。

处理器34可以参照标志相对于道路的位置/高度、标志的倾斜度、标志的尺寸和/或由标志显示的特定信息来确定标志本质上是临时的。

当输出36向显示设备38发送控制信号时，可以在车辆10行驶的特定距离内向驾驶员显示对检测到的道路交通标志14的指示。在速度限制标志的情况下，检测到的道路交通标志14总是显示给驾驶员；而其他类型的标志可以给驾驶员显示到确定车辆10已经行驶通过道路上的该标志为止。可以根据由交通标志显示的特定信息、在不同的时间段或不同的车辆行驶距离向驾驶员显示不同类型的危险标志。例如，可以在车辆行驶经过指示下一英里有落石风险的道路交通危险标志之后一英里内向驾驶员显示该标志。

应当理解，在不脱离本申请的范围的情况下，可以对本发明进行各种改变和修改。

在上述实施方式中，道路交通标志在车辆正在行驶的道路上并且在车辆前方；然而，在不同的实施方式中，道路交通标志可以在车辆附近的任何地方。例如，道路交通标志可以在道路的侧边处或道路本身上(例如，在临时道路标志的情况下)。道路交通标志可以在车辆正在接近的不同道路上，或者在车辆现在已经离开的道路上。车辆附近可以包括车辆前方或到车辆后方的特定区域或距离，无论车辆当前是否在道路上。车辆附近可以包括沿车辆正在行驶的(计划的)路线的特定距离。车辆附近可以包括通常靠近车辆的区域。

上述实施方式中由控制系统40执行的方法步骤的特定顺序在不同的实施方式中可以不同。此外，在不同的实施方式中，可以仅执行上述方法步骤的子集。

在上述实施方式中，当确定输出检测到的道路交通标志的指示时，将用于向驾驶员显示检测到的交通标志或至少与交通标志有关信息的控制信号发送至显示设备38。在不同的实施方式中，输出可以替代地或另外地将检测到的道路交通标志的指示发送至车辆10的另一子系统例如智能巡航控制功能，使得可以采取适当的行动。

在上述实施方式中，除了控制器之外，控制系统还包括视觉子系统、导航子系统和显示设备；然而，在不同的实施方式中，控制系统可以仅包括一个或更多个控制器，或其他所述子系统的子集，或另外的子系统。