用于验证自主车辆的传感器的位置或取向的设备

技术领域

本发明涉及一种用于验证自主车辆的传感器的位置或取向的设备和方法，一种包括一个或多个传感器和所述设备的车辆，尤其涉及飞行中传感器位置验证。

背景技术

为了执行自主或自动驾驶任务，车辆通常具有适于感知周围环境的某些方面的一系列传感器。这类传感器可以包括面向特定方向的摄像机(例如后视镜取代摄像机、前视摄像机或下视摄像机)或提供环视的摄像机、如红外或夜视摄像机等热敏传感器以及如雷达或激光雷达装置的飞行时间传感器。

这些传感器的正确位置或取向对于可靠的性能至关重要。通常，在特定时间点校准和重新校准传感器，并且它们的操作取决于在校准过程期间假设的对准的持久性。如果例如摄像机无意地被移动，则其外部校准参数将不再是可接受的。传感器位置或取向的变化可以快速发生，例如由于车辆或摄像机安装的轻微碰撞，或者慢速发生，例如由于安装缺陷或震动。在任一种情况下，各个传感器可以继续提供数据，当缺陷未被注意到时，可能会导致收集传感器数据以进行的自主或自动任务的不规范、错误和可能的失败。

由于这些原因，需要一种能够执行传感器位置或取向验证的系统。有利地，这种系统不需要在自主车辆中安装其他传感器或其他物理器具。

发明内容

这些问题中的至少一部分通过如权利要求1所述的系统、如权利要求9所述的车辆、如权利要求11所述的方法以及如权利要求12所述的计算机产品来解决。从属权利要求涉及独立权利要求的主题的其他有利实现方式。

本发明涉及一种用于验证自主车辆的一个或多个传感器的位置或取向的设备，其中，所述一个或多个传感器提供车辆的周围环境的相继的传感器数据。所述设备包括验证模块，所述验证模块被配置为比较所述相继的传感器数据并基于所述相继的传感器数据中的偏差验证所述一个或多个传感器中的至少一个传感器的位置或取向。

传感器的精确性质与该设备运行所遵循的原理无关。相反，传感器数据可以从电磁频率(例如光学、红外或无线电)或声学频率(例如超声)的所有范围内的检测中获得。形容词“相继的”被广泛理解，例如可以指偶然的、离散重复的或连续不断的。验证模块可以单独地和/或跨不同传感器以及在特定的和/或不同的时间比较一个传感器的传感器数据，在这种情况下，验证模块将有利地被配置为存储和检索传感器数据的至少一部分。传感器数据中的偏差可以是在不同时间创建的和/或由不同传感器提供的，并携带关于传感器之一的位置或取向的信息的任何差异。位置或取向的验证可以具有二元结果(传感器就位/传感器未就位)，或得出更详细的结果(例如，详述传感器当前取向的角度)。验证可以涉及阈值和/或预定义公差，和/或产生对传感器移位严重程度的估计。在得到新的传感器数据时，应驾驶员或车辆中另一系统的请求，和/或根据某个常规时间表，可以例如连续不断地执行比较和/或验证。在验证位置时，验证模块可以例如被配置为假设在车辆启动之后捕获的第一传感器数据仍是在正确位置导出的，并将后续的传感器数据与这些初始数据进行比较。实施例还可以指定定期更新为比较而存储的数据。

然而，可选地，相继的传感器数据可以包括指示传感器的正确位置或取向的校准数据，在这种情况下，验证模块可以被配置为将当前传感器数据与校准数据进行比较。

校准数据在校准过程中生成。保持校准数据的优点在于，可以检测到缓慢的恶化(例如在数天内)，即使车辆已经没有在运行；如果存在这样的校准数据，则验证模块可以因此被配置为存储和/或检索该数据以进行比较。

可选地，验证模块被配置为借助于包括将传感器周围环境中的图案进行局部定位来比较相继的传感器数据。

图案的局部定位可以通过标准图案识别算法来实现。适于针对验证传感器的位置或取向而进行比较的图案可以包括在车辆上的固定位置处的特征，特别是当车辆停止时还可以包括在车辆外的固定位置处的特征。如果特征被包含在由多个传感器提供的数据中，则由一个传感器提供的数据中的该特征的定位相对于由一个或有利地多于一个的其他传感器提供的定位的偏差也可以用于验证。这还可以包括随时间变化的定位差异的比较。

可选地，验证模块被配置为将车辆的结构特征局部定位为图案。特别地，这样的图案可以是也被在校准传感器中采用的固定点，其形状的一部分例如为：边缘、镜或槽的位置；另一传感器；灯；或如字迹或明显着色区域等设计元素。

特别是，所有位置上的所有摄像机类型，包括热测距摄像机，可以在卡车与馈送相交的地方被单独验证。传感器的交叉校准验证也可以是脱机的和在线的。例如，激光雷达传感器可以与可见光摄像机交叉检查，可以通过激光雷达点云聚类、分割和帧反向投影进行交叉检查。

可选地，如果车辆是包括在车架上的车厢的商用车辆，则验证模块被配置为通过针对位于车厢上的传感器局部定位车厢上的结构特征，并针对位于车架上的传感器局部定位车架上的结构特征，来比较相继的传感器数据。

车厢(或驾驶室)尤其可以空气悬挂在车架上(例如，通过空气波纹管)。在这种情况下，车厢可以相对于车架移动。通常，专用于检测车辆姿态的传感器，例如激光雷达传感器或雷达传感器，位于车架上，而例如用于镜取代传感器则刚性地连接到车厢。为了避免由于车厢和车架的相对运动引起的影响，验证模块可以在验证传感器数据变化时考虑传感器的相应位置。

可选地，如果车辆是包括在挂车上的牵引车的商用车辆，则验证模块被配置为针对位于牵引车上的传感器局部定位牵引车上的结构特征，并针对位于挂车上的传感器局部定位挂车上的结构特征。

由于牵引车相对于挂车的相对运动，特别是在运营商用车辆时，这可能也是有利的。

可选地，验证考虑了车辆的驾驶情况，并且图案是道路标记(如驾驶车道标记)、交通障碍(如车祸或护栏或护柱)、路缘或交通灯。

自主车辆经常会区分不同驾驶情况之间的操作，并且例如商用车辆在高速公路上的情况或在交通灯处等待的车辆的情况等情况可以足够稳定，以便验证模块执行校准评估。这种情况尤其可以用于在观察相同特征或图案的传感器之间执行交叉校准。

可选地，如果车辆包括至少两个传感器，则验证模块被配置为将由两个传感器中的一个传感器提供的相继的传感器数据与两个传感器中的另一个传感器提供的相继的传感器数据进行比较。

如上所述，如果两个传感器检测到它们各自视场中的共同特征、对象或图案，则可以执行这种交叉校准。其也可以用于不同类型的传感器，如激光雷达传感器与可见光摄像机之间的交叉检查，这可能涉及如激光雷达点云聚类、合适的分割和帧反向投影等技术。

可选地，如果车辆包括多个传感器，则验证模块被配置为通过多个传感器中的一个传感器的传感器数据验证多个传感器中的另一传感器的位置或取向。

如果出于某种原因，一个传感器未产生足够的传感器数据，如在传感器严重未对准或已脱落的情况下，则这尤其可能是有益的。适用于这种过程的自主车辆上的多个传感器的典型集合包括环视系统，或者是例如出于安全原因而冗余的传感器。

实施例还涉及包括一个或多个传感器和根据上述描述的设备的车辆，所述一个或多个传感器用于提供车辆的周围环境的相继的传感器数据，以便执行自动驾驶任务。

可选地，所述车辆是商用车辆。

可选地，所述车辆的传感器包括以下中的一个或多个：

-镜取代或后视传感器(例如摄像机)，

-下视摄像机，

-前视摄像机，

-侧视摄像机，

-环视摄像机，

-雷达传感器，

-激光雷达传感器，

-超声波传感器。

在商用车辆中，镜取代摄像机和下视摄像机通常位于车厢上，而雷达传感器、激光雷达传感器和超声波传感器安装在车架上。特别是，后视传感器和下视传感器也可以存在于挂车上。位于牵引车上的设备可以被配置为如果挂车被装接到牵引车，则自动检测挂车上的传感器，并访问其数据流。

本发明还涉及一种用于验证自主车辆的传感器位置的方法，所述车辆包括一个或多个传感器，其用于提供车辆的周围环境的相继的传感器数据。该方法的特点在于以下步骤：

-比较相继的传感器数据；

-基于相继的传感器数据中的偏差来验证一个或多个传感器中的至少一个传感器的位置或取向。

该方法可以应用于在其各自视场中具有自车辆的大多数环境感知传感器，例如后视(例如镜取代)摄像机、下视环视摄像机、热摄像机和/或例如激光雷达或雷达装置等飞行时间传感器。

该方法通过检测由于传感器位置变化而导致的变化来验证卡车或挂车的传感器位置。在检测到传感器错位后，可以发出警告以由驾驶员或车间纠正传感器设置。

本发明还涉及一种具有软件代码的计算机产品，其中软件代码被调整成使得在被数据处理系统处理时，数据处理系统执行上述方法。特别地，本发明的实施例可以通过ECU中的软件或ECU的软件模块来实现。

附图说明

在下文中，系统和/或方法的一些示例将仅通过示例的方式、并针对附图进行描述，在附图中：

图1描绘了用于验证自主车辆的传感器的位置或取向的设备。

图2描绘了用于验证存在于自主商用车辆上的多个传感器的位置或取向的设备的一个更详细的实施例。

图3示出了在用于比较和验证传感器的位置或取向的传感器数据中的特征的叠加。

图4示出了通过模板匹配对传感器数据进行比较，以根据传感器馈送中的相关性变化进行在线验证。

图5示出了用于验证自主车辆的传感器的位置或取向的方法的步骤。

具体实施方式

图1描绘了用于验证自主商用挂车50的传感器的位置或取向的设备100。车辆50包括传感器510，在本实施例中，该传感器510是后视摄像机，其视场由出现的虚线指示。传感器510提供车辆50的周围环境的相继的传感器数据，在这种情况下，提供车辆50的周围环境的摄像机图像。特别是，传感器数据包括源自车辆的边缘54的图案。设备100被配置为访问传感器数据，并且包括验证模块110，该验证模块110被配置为执行相继的传感器数据的比较113以及基于相继的传感器数据中的偏差对传感器的位置或取向的验证117，在该实施例中其在由传感器数据传达的图像内的边缘54的位置。

图2示出了用于验证通常存在于自主商用车辆50上的传感器510、520、......的位置或取向的设备100的实施例。车辆50包括牵引车辆，该牵引车辆有车厢53和车架55以及挂车57。车厢特别地包括后视摄像机510、前视摄像机和雷达520以及环视鱼眼摄像机530等。特别是，车架搭载有以前向为中心的广角雷达传感器540和用于侧向的类似雷达传感器550，它们各自的视场有重叠。挂车包括多个鱼眼摄像机560、570，其与车厢上的鱼眼摄像机530一起在多个覆盖区域中提供车辆的环绕视场。此外，描绘了在挂车上的一对后视激光雷达传感器580、590。挂车和/或牵引车可包括在该图中未详述的其他传感器。

车辆上的传感器，包括所提到的传感器510、520、...，重复地提供用于各种自主和自动化驾驶任务的各个传感器数据。传感器数据被设备100获取并提供给验证模块110。验证模块110在本实施例中被配置为单个数据处理单元，但也可以分布在多个这样的单元上，或者与车辆50的现有电子控制单元以各种程度相结合。

在本实施例中，验证模块110以多种方式比较和验证传感器数据。一种方式是通过存储单独传感器的数据(可能包括传感器校准信息)，并将该传感器的当前数据与所述存储的数据进行比较，以便识别可归因于传感器未对准或移位的偏差。例如，可以将安装在车厢53上的后视摄像机510的图像与先前的这种图像进行比较，并且可以评估车厢53的结构图案的局部位置，例如边缘54的位置。如果在比较的图像中边缘54的位置偏离高于特定阈值的程度，则可以发出关于后视摄像机510的不准确取向的警告，例如向驾驶员、向自主车辆50的高级系统或向远离车辆50的地方(如车间)发出所述警告。在这里，在车辆50的一部分(车厢53)上观察与传感器(这里是后视摄像机510)刚性连接的结构图案(这里是车辆边缘54)。

作为另一种方式，可以直接验证通过车辆上的其他传感器直接观察的传感器的位置或取向。在所描绘的实施例中，鱼眼摄像机530出现在后视摄像机510的图像中，并且后视摄像机510的图像因此可以用于直接检测鱼眼摄像机530的位置或取向的偏差。另外，传感器之间的刚性连接，如这里用于后视摄像机510和鱼眼摄像机530的刚性连接，是有利的。

另一种方式涉及通过至少两个不同的传感器同时观察到的自车辆50上的或其外的特征。可以比较和验证不同传感器的传感器数据中这些特征的相对位置。在这种情况下，合适的图案识别甚至可以允许利用仅仅是瞬时可见的特征。

例如，两个鱼眼摄像机560、570可以都提供牵引车辆的车架55的后挡泥板的一个方面，例如在弯道中或在牵引车辆与挂车57之间存在角度的其他情况下。可以将由两个相应摄像机560、570提供的图像中挡泥板的边缘的位置之间的差异与先前确定的这种差异进行比较，其中变化至少表明两个摄像机560、570之一的潜在移位。车辆的其他特征可以替代性地使用或作为交叉检查使用。鱼眼摄像机560、570刚性连接到挂车，并且与牵引车辆的挡泥板上的结构相比，两个摄像机560、570观察挂车57的结构(例如横向防钻撞装置58上的点)的角度可以用作监测传感器校准的更稳定的标记。

验证模块还可以被配置为使用远离车辆的物体或标记。这对于在其各自传感器数据中不具有车辆结构特征的传感器可以是特别有利的。在本实施例中，描绘了这样一种情况，即两个后激光雷达传感器580、590都在它们各自的视场中定位特定的街道护柱70，这可以用于确定两个激光雷达传感器580、590的视线之间的角度差。将其与两条视线的先前或校准数据进行比较，所述两条视线尤其可以从与描绘的柱不同的对象获得，这可以用于监测两个激光雷达传感器580、590的校准。用于在交通中取向的对象可以对这种验证特别有利，特别是如果在其他自动驾驶任务的情况下已经实现了这些对象在传感器馈送中的识别，并且这些对象可以仅用于校准验证。

如上所述的位置或取向的类似检查还可以配置用于前视摄像机520，用于广角雷达传感器530、540，以及车辆50上的其他传感器。

图3示出了传感器数据中的特征的叠加，作为用于比较和验证商用车50上的传感器(例如，后视摄像机510)的位置或取向的实施例。在该图的左侧，示出了由外感后视传感器(例如镜取代传感器)捕获的图像，包括具有车厢53和挂车55的商用车辆50的部件。

根据实施例，车厢53(或挂车55)的图案517用于验证示例性摄像机的正确位置或取向。在该实施例中，图案517包括车厢53的各种边缘/凹槽和铭文或标签(例如，广告字迹或标识)，其可以以正确的取向存储为图案结构。验证模块尤其可以被配置为执行图案识别，对于该图案识别已知多种方法或算法。然后，可以通过将当前的图案结构与存储的图案结构重叠，并验证图像是否匹配来执行验证，例如，通过验证所捕获的当前图像中的和存储的图案结构中的各种边缘/凹槽是否处于相同位置。这在右侧示出，其中仅显示了具有来自车厢上的凹槽和广告字迹的突出显示的结构特征517的图像的摘录。可以将这些结构特征517的位置与后续图像中的相应位置进行比较，以便验证示例性摄像机的对准。验证可以涉及偏差在平移和/或旋转自由度方面的阈值或公差，并且验证模块可以被配置成给例如驾驶员、高级系统或远离车辆的目的地(例如车间)发送信息和/或触发警告。

图4示出了通过模板匹配对验证模块中的传感器数据进行比较，以根据图3的外感后视传感器510的馈送中的相关变化进行在线验证。图案匹配的方法可以包括将传感器数据与来自模板的数据进行匹配，为此，验证模块可以获得输入数据，例如经由车辆到基础设施或移动通信获得。在本图中，由验证模块执行的图案匹配算法借助于通过车辆到基础设施或移动通信获得的模板80识别标识518。术语“图案匹配”被广泛地理解，并且还可以包括用于热图案的方法。该图的右侧示出了图像中特定结构的匹配强度图。根据颜色或强度代码绘制这种图上的点或像素，其中较高的值表示两个比较的图像匹配得更好。描绘了一种示例性情况，即根据显示在该图的右侧上的代码，对于当前传感器图像(中间图像)和存储的校准参考结构(左侧的图像)，标识518的部分相匹配。

图5示出了用于验证自主车辆50的传感器位置的方法的步骤，车辆50包括用于提供车辆周围环境的相继的传感器数据的一个或多个传感器。该方法的第一步包括比较S110相继的传感器数据。该比较S110可以针对由单独传感器在不同时间点提供的传感器数据和/或针对由不同传感器在相同时间和不同时间提供的传感器数据执行。比较S110相继的传感器数据尤其可以还涉及校准数据。可以采用车载环境感知传感器、例如摄影机来交叉检查传感器的正确位置和取向和车辆上的其他传感器的正确位置和取向，方法是使用主车辆/自车辆几何结构和纹理结构来找到特征并将它们与先前校准的传感器信号进行比较来检测变化。

该方法也可以是计算机实现的方法。本领域技术人员将容易认识到，可以通过编程的计算机执行各种上述方法的步骤。实施例还旨在涵盖程序存储设备，例如数字数据存储介质，其是机器或计算机可读的和编码机器可执行的或计算机可执行的程序指令，其中当在计算机或处理器上执行时，所述指令执行上述方法的一些或全部行动。

说明书和附图仅说明了本公开的原理。因此，将理解的是，本领域技术人员将能够设计各种布置，这些布置尽管在本文中未明确地描述或示出，但是体现了本公开的原理并且包括在本公开的范围内。

此外，虽然每个实施例都可以作为单独的示例存在，但是要注意的是，在其他实施例中，可以不同地组合所定义的特征，即在一个实施例中描述的特定特征也可以在其他实施例中实现。在本文中，除非表明某个特定组合不是预期的，否则本公开涵盖这些组合。

当由处理器提供时，附图中所示的各种元件的功能可以由单个专用处理器、由单个共享处理器或由多个单独的处理器提供，其中一些可以共享。此外，术语“处理器”或“电子控制单元”的显式使用不应被解释为排他性地指能够执行软件的硬件，并且可以隐含地包括但不限于数字信号处理器(DSP)硬件、网络处理器、应用程序特定的集成电路(ASIC)、现场可编程门阵列(FPGA)、用于存储软件的只读存储器(ROM)、随机存取存储器(RAM)和非易失性存储器。还可以包括其他传统和/或自定义的硬件。

附图标记列表

50 车辆

53 牵引车的车厢(拖车头)

54 边缘

55 牵引车的车架

56 车架的后挡泥板

57 挂车

58 挂车的防钻撞装置

70 街道护柱

80 标识模板

100 用于验证传感器的位置或取向的设备

110 验证模块

113 相继的传感器数据的比较

117 传感器位置的验证

510 后视摄像机

517 传感器数据中车辆的结构特征

518 传感器数据中车辆上的标识

520 前视摄像机和雷达

530 车厢上的环视鱼眼摄像机

540、550 牵引车架上的广角雷达传感器

560、570 挂车上的环视鱼眼摄像机

580、590 挂车上的后视激光雷达传感器

S110、S120 方法的步骤