提供周围车辆的车辆几何估计的方法和装置

技术领域

本公开涉及一种用于提供周围车辆的车辆几何形状的估计的方法。

此外，本公开针对一种用于提供周围车辆的车辆几何形状的估计的系统。

另外，本公开涉及包括这种系统的车辆。

此外，本公开针对一种包括指令的计算机可读介质，该指令由计算机执行时，使计算机执行这种方法。

背景技术

这种方法、系统和计算机可读介质用于能够自主驾驶的车辆中。此外，它们可以用于具有人类驾驶员的车辆中，以辅助该人类驾驶员驾驶。

在两种情况下，即自动驾驶和辅助驾驶，所谓的自车或第一车辆必须拥有关于周围车辆的信息，这些周围车辆是潜在的障碍。为此，车辆配备有相应的传感器单元，包括例如光学相机、雷达设备、超声波单元或激光雷达单元。自车的周围环境由传感器单元持续监测，并且传感器测量值被转换为描述周围车辆的对象信息。

发明内容

本公开的目的是改进这种对象信息。

本公开的独立权利要求的主题至少部分地解决或减轻了该问题，其中进一步的示例被并入从属权利要求中。

根据第一方面，提供一种用于提供周围车辆的车辆几何形状的估计的方法，包括：

a.接收周围车辆的至少部分的图像，该部分包括固定到周围车辆上的牌照，

b.在接收到的图像中检测牌照并提取牌照的字母数字识别码，

c.经由无线数据连接从数据库请求链接到字母数字识别码的车辆几何参数，

d.经由无线数据连接从数据库接收车辆几何参数，以及

e.基于接收到的车辆几何参数估计车辆几何形状。

接收到的图像通常具有图像数据的形式，即包含关于图像内容的信息的计算机可读数据。

接收到的图像可以已由视觉传感器单元捕获，视觉传感器单元例如包括光学相机、雷达设备、超声波单元、激光雷达单元等。在这种情况下，图像可以是静止的或移动的。如果图像是移动的，它也可以是一系列静止的图像帧。

应当注意，该方法的步骤是自动执行的，即由数据处理设备执行。

根据本公开方法具有的优点是可以提供非常稳定、鲁棒和准确的车辆几何形状的估计。这是由于这样的事实，即，仅依靠安装在自车上的视觉传感器单元检测到的信息的方法必须解决传感器单元的潜在有限视野。这意味着无法检测到被其他对象(例如，其他周围车辆)遮挡的对象(例如，周围车辆)。此外，根据视觉传感器单元与检测到的周围车辆之间的相对位置，车辆几何形状的估计可能会失真。与之对比，使用来自数据库的车辆几何参数作为几何估计的基础是非常准确的，因为该参数不受检测误差(例如失真)的影响。此外，从数据库中接收到的车辆几何参数始终是完整的。因此，被检测对象的遮挡不会产生负面影响。

为此，数据库包括至少一个包含字母数字识别码的条目和至少一个包含相应车辆几何参数的条目。例如，官方车辆登记数据库就是这种情况。当然，也可以在私有数据库中提供这些数据。

牌照检测算法可以使用已知的检测算法，例如最大稳定极值区域(MaximallyStable Extremal Region，MSER)算法或基于神经网络的深度学习检测算法，以在图像帧中定位牌照并提取字母数字识别码。

数据查询和数据检索可以使用诸如TLS 1.2之类的安全标准传输协议。额外地或替代地，数据库可以以严格的访问控制安全地存储在云中。此外，从数据库接收到的车辆几何参数可以被加密，并且仅出于短期跟踪目的对本地缓存可见，而不存储实际接收到的车辆几何参数。

可以为第一车辆提供估计，其中周围车辆在第一车辆的视野内。因此，通过根据本公开的方法来估计几何形状的周围车辆可以位于第一车辆的周围或环境中，该第一车辆也可以被指定为自车。自车可以自动驾驶或至少能够辅助人类驾驶员驾驶。这意味着根据本公开的方法可以在自车上执行。当然，可以同时在自车上执行这些方法中的一个以上，例如，对被检测到的每个周围车辆执行一个方法。

在本公开中，车辆几何参数可以包括车辆类型标识符、车辆型号标识符和车辆尺寸参数中的至少一种。车辆类型标识符应理解为关于车辆类型(例如，卡车、客车、摩托车)的信息，例如代码。车辆型号标识符应理解为与车辆制造商和制造商程序内的具体型号有关的信息。车辆尺寸参数例如是周围车辆的长度、宽度或高度。当然，也可以使用更复杂的车辆尺寸参数，例如包含车辆的边界框。需要注意的是，车辆尺寸参数可以是实际测量值或其简化。

一般而言，车辆几何参数被定义为字母数字串，其包括关于车辆几何形状的信息或者可以从其导出关于车辆几何形状的信息。

需要注意的是，对于本公开，车辆几何参数还可以包括车辆几何参数的集合。例如，这样的集合包括周围车辆的长度、高度和宽度。

字母数字识别码可以用作用于跟踪车辆的标识符。这意味着牌照的字母数字识别码用于将在随后的图像帧中检测到的周围车辆与相应的先前图像帧相关联，从而也将车辆几何形状的对应估计(例如边界框)转换到新帧。与已知的标识符相比，牌照的字母数字识别码是唯一的，至少在一个管辖范围内是如此。同样重要的是要注意牌照不经历更改。因此，不会发生ID切换的问题。因此，提高了检测性能。

通过对接收到的图像执行对象检测方法，可以额外地在接收到的图像中检测周围车辆。这进一步增强了检测性能。对象检测方法可以是由经训练的学习算法执行的深度学习方法，该算法被配置为基于来自监督训练的标记数据来确定对象。

此外，可以从接收到的图像中的检测到的周围车辆提取额外的车辆几何参数。因此，该方法至少有两个以上的车辆几何参数可用。因此，该方法可以提供一个相对精确的车辆几何形状的估计。如果与数据库的连接不可用，则从检测到的图像中提取的额外的车辆几何参数也可以用作备用解决方案。额外的车辆几何参数也可以是车辆尺寸参数。因此，额外的车辆几何参数可以与周围车辆的长度、宽度或高度有关。额外的车辆几何参数也可以包括描述检测到的周围车辆的边界框的数据。

同样，额外的车辆几何参数应被理解为它也可以包括车辆几何参数的集合。

此外，可以将从数据库接收的车辆几何参数和额外的车辆几何参数进行组合。这增强了该方法的检测性能。例如，如果参数之一是错误的，则这不一定导致车辆几何形状的错误估计，因为可以通过相应的其他参数来补偿该误差。

从数据库接收到的车辆几何参数和额外的车辆几何参数的组合也可以被指定为参数融合。

该方法可以确定与所提取的字母数字标识码相关联的车辆几何参数是否先前已经从数据库中检索到。如果是这种情况，可以认为没有必要再次检索相同的车辆几何参数。换言之，该方法可以仅在第一次检测到字母数字识别码时执行。因此，只有在检测到新的牌照时才可以触发该方法。这使得该方法从计算的角度来看是高效的。

根据第二方面，提供了一种用于提供周围车辆的车辆几何形状的估计的系统。该系统包括能够连接到视觉传感器单元以从视觉传感器单元接收图像的数据处理设备。数据处理设备具有牌照检测单元，其被配置为在从视觉传感器单元接收到的图像中检测牌照。此外，数据处理设备包括字符识别单元，其被配置为提取由牌照检测单元在接收到的图像中检测到的牌照的字母数字识别码。此外，提供了一种车辆几何估计单元，其被配置为提供车辆几何形状的估计。该系统还具有连接到数据处理设备并被配置为经由无线数据连接与数据库交换数据的通信单元。因此，可以以高精度和可靠性来估计车辆几何形状。如已经结合根据本发明的方法解释的那样，对于周围车辆至少部分地被遮挡的情况也是如此。

视觉传感器单元可以包括光学相机、雷达设备、超声波单元、激光雷达单元等。

系统的至少一些单元可以是软件单元。

数据处理设备还可以包括被配置为跟踪牌照的牌照跟踪单元。因此，可以使用牌照来跟踪固定有牌照的车辆。这提供了出色的跟踪可靠性，因为牌照是唯一的，至少在一个管辖范围内是如此。因此，排除了与ID切换相关的跟踪不准确性。

数据处理设备还可以包括：车辆检测单元，被配置为从视觉传感器单元接收到的图像中检测周围车辆；车辆跟踪单元，被配置为跟踪车辆；以及额外的车辆几何估计单元，被配置为从接收到的图像中检测到的周围车辆中提取额外的车辆几何形状的估计。因此，可以在不使用牌照的情况下额外地跟踪周围的车辆。此外，还可以根据接收到的图像额外地估计车辆几何形状。因此，数据处理设备为检测周围车辆和估计相应的车辆几何形状提供了两种单独的可能性。换言之，数据处理设备在这些方面是冗余的，因此在操作上是鲁棒的。

数据处理设备可以另外包括融合单元，其被配置为将经由通信单元从数据库接收到的车辆几何参数和由额外的车辆几何估计单元从接收到的图像中提取的额外的车辆几何参数进行组合。因此可以提供增强的检测性能。

此外，该系统可以包括视觉传感器单元，其被配置为捕获车辆的部分的图像。视觉传感器单元连接到数据处理设备以便将捕获的图像传递到数据处理设备。因此，可以以简单且可靠的方式捕获包括周围车辆的图像。

该系统可以另外地包括数据库，该数据库包括链接到牌照的字母数字识别码的至少一个车辆几何参数，该数据库经由无线数据连接链接到通信单元。因此，可获得高质量的车辆几何参数。

根据第三方面，提供了一种包括根据本公开的系统的车辆。包括该系统的车辆可以被指定为自车。因此，自车能够以高精度估计位于其环境中的周围车辆的几何形状。

根据第四方面，提供了一种包括指令的计算机可读介质，该指令由计算机执行时，使计算机执行根据本公开的方法。该计算机可读介质提供了已经描述过的与本公开的方法相关的相同效果和优点。

本公开的方法可以至少部分地由计算机实施，并且可以以软件或硬件，或软件和硬件来实现。此外，该方法可以通过在提供数据处理功能的装置上运行的计算机程序指令来执行。数据处理设备可以是合适的计算装置，例如电子控制模块等，其可以是分布式计算机系统。数据处理设备或计算机可以分别包括处理器、存储器、数据接口等中的一个或多个。

应当注意，以上示例可以彼此组合，而不考虑涉及的方面。因此，该方法可以与结构特征相结合，同样，该系统可以与上述关于该方法的特征相结合。

本发明的这些和其他方面将通过参考下文描述的示例变得清除并得到阐明。

附图说明

下面将参照以下附图描述本发明的示例。

图1示出了根据本公开的车辆，包括根据本公开的系统和根据本公开的计算机可读介质，并且能够执行根据本公开的用于提供周围车辆的车辆几何形状的估计的方法，

图2示出了运行期间的图1的车辆，以及

图3示意性地示出了根据本公开的用于提供周围车辆的车辆几何形状的估计的方法。

附图仅仅是示意性表示并且仅用于说明本发明的示例。原则上相同或等效的元件具有相同的附图标记。

具体实施方式

图1示出了包括系统12的车辆10，该系统12用于提供周围车辆40(仅在图2中示出)的车辆几何形状的估计。

系统12包括视觉传感器单元14，该视觉传感器单元14被配置为捕获周围车辆40的图像I。在本示例中，视觉传感器单元14是光学相机单元。

此外，系统12包括连接到视觉传感器单元14的数据处理设备16。数据处理设备16和视觉传感器单元14之间的连接被配置为使得由视觉传感器单元14捕获的图像I可以被传递到数据处理设备16。

因此，数据处理设备16被配置为从视觉传感器单元14接收图像I。

在下文中，假设由视觉传感器单元14捕获的图像I包括周围车辆40的部分，其中该部分包括固定到周围车辆40的牌照42(参见图2)。

此外，数据处理设备16包括牌照检测单元18，该牌照检测单元18被配置为在从视觉传感器单元14接收到的图像I中检测牌照42。

另外，数据处理设备16具有字符识别单元20，该字符识别单元20被配置为提取牌照42的字母数字识别码。

此外，数据处理设备16具有车辆几何估计单元22，该车辆几何估计单元22被配置为提供对周围车辆40的几何形状的估计。

数据处理设备16还包括牌照跟踪单元24，用于在图像帧集合内跟踪牌照42。

数据处理设备16还配备有车辆检测单元26。车辆检测单元26被配置为从视觉传感器单元14接收到的图像I中检测周围车辆40。

另外，数据处理设备16具有车辆跟踪单元28，该车辆跟踪单元28被配置为跟踪周围车辆40。

数据处理设备16还具有额外的车辆几何估计单元30，该车辆几何估计单元30被配置为提取由车辆检测单元26在接收到的图像I中检测到的周围车辆40的车辆几何形状的额外估计。

数据处理设备16另外包括融合单元32，该融合单元32被配置为将由车辆几何估计单元22提供的车辆几何参数和由额外的车辆几何估计单元30从接收到的图像I中提取的额外的车辆几何参数进行组合。

此外，系统12包括通信单元34，该通信单元34连接到数据处理设备16并且被配置为经由无线数据连接38(参见图2)与数据库36交换数据。

系统12被配置为执行用于提供周围车辆40的车辆几何形状的估计的方法。这将另外参考图2和图3来解释。

应当注意，为此目的，提供计算机可读介质作为数据处理设备16的部分。计算机可读介质包括指令，当由计算机执行时，使计算机执行该方法。

此外，为此目的，系统12还包括数据库36，该数据库36包括链接到牌照42的字母数字识别码的至少一个车辆几何参数。

数据库36不形成车辆10的部分。

然而，数据库36经由无线数据连接38链接到车辆10的通信单元34。

作为用于提供周围车辆40的车辆几何形状的估计的方法的输入，图像I由视觉传感器单元14捕获。图像I包括周围车辆40的至少部分，该部分包括其牌照42。

图像I由数据处理设备16接收(图3中的步骤S1)。

然后，由牌照检测单元18在接收到的图像I中检测牌照42，并且由字符识别单元20提取对应的字母数字识别码(图3中的步骤S2)。

更详细地，对于周围车辆40，提取字母数字识别码DEF23B(参见图2)。

随后，评估是否已经结合该特定字母数字标识码执行了数据库请求。如果已经执行，可以放弃该方法。

如果没有执行，则继续该方法并且经由无线数据连接38从数据库36请求链接到字母数字标识码的车辆几何参数P(图3中的步骤S3)。

通信单元34用于执行该步骤。

假设这样的用于特定的字母数字识别码的车辆几何参数P可在数据库36获得，数据库36通过提供该车辆几何参数P来回答请求。

仅出于说明目的，车辆几何参数P可以是包括周围车辆40的长度、宽度和高度的参数集合。

因此，数据处理设备16经由无线数据连接38从数据库36接收车辆几何参数P(图3中的步骤S4)。

同样，通信单元34用于将车辆几何参数P从数据库36传递到数据处理设备16。

更详细地，车辆几何参数P被传送到几何估计单元22。

在几何估计单元22内，车辆几何参数P要么被直接用作车辆几何形状的估计，要么被用作用于生成这样的车辆几何形状的估计的输入参数。

总之，通过使用牌照42的字母数字识别码作为索引从数据库36请求车辆几何参数P来提供对周围车辆40的车辆几何形状的估计。

此外，可以对由视觉传感器单元14捕获的图像I执行对象检测方法，该图像在数据处理设备16中(更准确地说是在车辆检测单元26中)被接收。因此，在图像I中，至少检测到周围车辆40(图3中的步骤S6)。

基于此，通过额外的车辆几何估计单元30，从图像I中获得额外的车辆几何参数P'(图3中的步骤S7)。

为了说明的目的，可以再次假设从图像I中提取周围车辆40的长度、宽度和高度的值。

车辆几何参数P(即，已经从数据库36接收的周围车辆的高度、宽度和长度)以及额外的车辆几何参数P'(即，已经从图像I中提取的周围车辆的高度、宽度和长度)然后可以在融合单元32中组合或融合(图3中的步骤S8)。

在这种情况下，例如，比较长度、高度和宽度的对应值并且总是将较大的值用于估计周围车辆40的几何形状。

此外，字母数字识别码用作在接收到的图像I中检测到的周围车辆40的标识符，并且基于此，在图像帧的集合内跟踪周围车辆40。

本领域技术人员在实践要求保护的发明时，从对附图、公开内容和所附权利要求的研究，可以理解和实现对所公开示例的其他变化。在权利要求中，词语“包括”不排除其他元件或步骤，并且不定冠词“一(a)”或“一个(an)”不排除复数。单个处理器或其他单元可以实现权利要求中记载的若干项或步骤的功能。在相互不同的从属权利要求中记载了某些措施这一事实并不表明这些措施的组合不能有利地使用。计算机程序可以存储/分布在合适的介质上，例如与其他硬件一起提供或作为其一部分提供的光存储介质或固态介质，但也可以以其他形式分布，例如经由互联网或其他有线或无线电信系统。权利要求中的任何参考符号不应被解释为限制权利要求的范围。

附图标记列表

10 车辆

12 用于提供周围车辆的车辆几何形状的估计的系统

14 视觉传感器单元

16 数据处理设备

18 牌照检测单元

20 字符识别单元

22 车辆几何估计单元

24 牌照跟踪单元

26 车辆检测单元

28 车辆跟踪单元

30额外的车辆几何估计单元

32 融合单元

34 通信单元

36 数据库

38 无线数据连接

40 周围车辆

42 牌照

P 车辆几何参数

P' 额外的车辆几何参数

I 图像