确定车辆附近的占用地图的条目的车辆、系统和方法

技术领域

本公开涉及用于确定车辆附近的占用地图的条目的车辆、系统和方法。

背景技术

占用网格(OG，其也可以称为占用地图网格或占用地图)是包含被某种对象占用的单元的信息(例如概率)的单元(例如具有固定宽度和高度)的地图。通常使用Dempster-Shafer(DS)理论的变型来确定占用网格地图。

占用网格被广泛地用于高级驾驶员辅助系统和自主驾驶中，因为占用网格可以被解释成车辆周围的障碍物地图(其中，被占用的单元是不可驾驶的区域)。存在需要占用网格作为输入信息的几种高级功能，诸如交通拥堵辅助或超车避免碰撞。

因此，需要用于确定占用网格的有效且可靠的方法和系统。

发明内容

本公开提供了一种计算机实现的方法、计算机系统、车辆和非暂时性计算机可读介质。在说明书和附图中给出了实施方式。

在一个方面，本公开涉及一种用于确定车辆附近的占用地图的条目的计算机实现的方法，该方法包括由计算机硬件组件执行的以下步骤：获取第一传感器的车辆附近的第一传感器数据(换句话说：由第一传感器获取车辆附近的第一传感器数据)；获取第二传感器的车辆附近的第二传感器数据(换句话说：由第二传感器获取车辆附近的第二传感器数据)；确定第一传感器数据中与车辆附近的潜在对象(例如，建筑物、树木、其它车辆或行人)相对应的第一传感器数据部分；基于所述第一传感器数据部分，确定第二传感器数据中与潜在对象的位置相对应的第二传感器数据部分；以及基于第一传感器数据部分和第二传感器数据部分来确定占用地图的条目。

换句话说，如果在由第一传感器获取的第一传感器数据中检测到潜在对象(换句话说：确定对象潜在地存在或以高概率存在)，则确定由第二传感器获取的第二传感器数据的与第一传感器数据的表示潜在对象的部分相对应的一部分，并且基于第一传感器数据和第二传感器数据的相应部分来确定占用网格地图的一个或多个条目。第一传感器数据部分和第二传感器数据部分可以表示车辆附近的至少基本相同的区域(2D或3D)。

将理解的是，占用地图可以由矩阵(对于二维占用地图)或张量(对于三维占用地图)表示，其中，矩阵的两个维度中的各个维度(或张量的三个维度中的各个维度)对应于空间中的维度(对于2D占用地图，在平面中，对于3D占用地图，在三维空间中)。矩阵或张量的在特定行或列(或大致位置)处的值(换句话说：条目)可以对应于对象是否(潜在地)存在于该位置的信息，并且可以由布尔值表示值(例如，对于对象存在为“真(true)”，对于对象不存在为“假(false)”)，或者可以由与对象存在的概率相对应的值(例如，介于0至1之间(或介于0％至100％之间)的指示概率的数字，或者模糊值(例如，“不存在”、“最可能不存在”、“最可能存在”或“存在”))表示，或者指示没有关于对象存在的信息可用。此外，不同的对象可以由占用网格的不同值或条目表示，例如，针对移动对象的特定值和针对不移动对象的另一值，或者针对建筑物、车辆或行人的不同值。

第一传感器数据部分也可以被称为块(patch)。块可以是(第一传感器数据的)(在空间上)连接的(适当)子集，例如图像的裁剪，或者是在空间上相邻雷达测量结果的子集。

第二传感器数据部分可以是(第二传感器数据的)(在空间上)连接的(适当)子集，例如图像的裁剪，或者是在空间上相邻雷达测量结果的子集。

确定占用地图的条目可以包括确定占用地图的多于仅一个条目(即，占用地图的多于一个单元的条目)。例如，可以确定占用地图的与第一传感器数据部分(并且因此第二传感器数据部分)所对应的位置对应的块。例如，一旦确定了块，就可以确定要在占用地图中将块包括在何处。例如，块可以被包括在占用地图中的一位置处，该位置是基于车辆的位置以及(潜在)对象的确定的距离和角度(相对于车辆)来确定的，或者例如块可以被包括在占用地图中的一位置处，以使得其适合先前确定的占用地图的条目。

根据另一方面，第一传感器包括雷达(雷达检测和测距)传感器。根据另一方面，第二传感器包括摄像头。

已经发现，使用雷达数据作为第一传感器数据并且使用图像数据作为第二传感器数据提供了用于可靠地确定占用地图(或占用地图的条目)的数据。例如，雷达传感器数据可以用于确定对象可能潜在地位于何处，并且可以将图像数据的与该位置相对应的一部分与雷达数据一起使用来确定占用地图的条目。

根据另一方面，第一传感器数据包括第一传感器的随时间堆叠的多个测量结果，并且第二传感器数据包括第二传感器的随时间堆叠的多个测量结果。另选地，第一传感器数据包括第一传感器的已经由第一(人工)神经网络处理并随时间堆叠的多个测量结果，和/或第二传感器数据包括第二传感器的已经由第二(人工)神经网络处理并随时间堆叠的多个测量结果。例如，当第一传感器包括雷达传感器时，第一人工神经网络可以被称为雷达块网络。例如，当第二传感器包括摄像头时，第二人工神经网络可以被称为摄像头块网络。

通过堆叠传感器数据，可以将在各种时间实例(换句话说：时间点)处获取的传感器数据组合成一个数据集，从而可以得到与仅一个时间实例的传感器数据相比更可靠的信息。

根据另一方面，该计算机实现的方法还包括由计算机硬件组件执行的以下步骤：基于第二传感器数据(其可以是输入摄像头图像)确定分割图像；以及确定分割图像的分割图像部分；其中，进一步基于分割图像部分来确定占用地图的条目。将理解的是，整个第二传感器数据可以被分割，或者仅第二传感器数据部分可以被分割来获得分割图像部分。分割图像部分可以包括与第二传感器数据部分的像素相对应的像素(换句话说：可以具有相同的大小或维度并且与第二传感器数据中的相同位置相对应)。

分割图像部分可以具有与第二传感器数据部分相同的维度。第二传感器数据部分和分割图像部分可以被拼接(concatenate)(使得可以使用拼接结果来代替第二传感器数据部分)。

已经发现，使用分割图像来确定占用地图的条目可以改进占用地图的确定。

根据另一方面，使用第三神经网络来确定分割图像。

根据另一方面，第一传感器数据部分包括预定的第一传感器数据部分大小的第一传感器块，第二传感器数据部分包括预定的第二传感器数据部分维度大小的第二传感器块。

例如，如果第一传感器数据或第二传感器数据由矩阵表示，则维度大小可以指列数或行数。

根据另一方面，第一传感器数据部分大小和第二传感器数据部分大小是在至少一个维度上具有相同大小的多维数据。

根据另一方面，多维数据包括与时间、宽度、高度和特征相关的维度，其中，第一传感器数据部分大小的多维数据和第二传感器数据部分的多维数据在与宽度和高度相关的维度上具有相同大小。

这可以允许将第一传感器数据部分的多维数据和第二传感器数据部分的多维数据组合成组合数据集。已经发现，当使用人工神经网络对数据集进行处理时，使用组合数据集可以增强结果。

根据另一方面，第二传感器数据部分被确定成使得由第二传感器数据部分覆盖的车辆附近的区域与由第一传感器数据部分覆盖的车辆附近的区域相关。

根据另一方面，基于第一传感器数据部分的拐角点到第二传感器数据的映射来确定第二传感器数据部分。确定第二传感器数据部分还可以包括：基于映射的拐角点确定第二传感器数据的相关部分；以及基于调整相关部分的大小来确定第二传感器数据部分。

根据另一方面，基于第一传感器数据部分的每个点到第二传感器数据的映射来确定第二传感器数据部分。

根据另一方面，基于第一传感器数据部分和第二传感器数据部分使用人工神经网络来确定占用地图的条目。

已经发现，利用基于(人工)神经网络的低能级(low level)融合方法(例如，摄像头-雷达低能级融合方法)，可以有效且可靠地确定占用网格。

根据另一方面，基于手动标记的占用网格地图数据中的至少一个或基于根据第三传感器确定的占用网格地图数据来训练人工神经网络。

该方法可以提供在计算上有效的、基于人工神经网络的摄像头-雷达低能级融合占用网格确定方法。

该方法提供了基于神经网络的方法，例如用于摄像头-雷达融合(或雷达-摄像头融合)。例如，可以在低能级上提供雷达-摄像头融合，并且可以以块(而不是在全局上)来对融合进行处理。

在另一方面，本公开涉及计算机系统，所述计算机系统包括多个计算机硬件组件，所述多个计算机硬件组件被配置成执行本文所描述的计算机实现的方法的几个或全部步骤。

该计算机系统可以包括多个计算机硬件组件(例如，处理单元、至少一个存储单元和至少一个非暂时性数据存储器)。将理解的是，可以提供进一步的计算机硬件组件并将其用于执行计算机系统中的计算机实现的方法的步骤。该非暂时性数据存储器和/或存储单元可以包括计算机程序，该计算机程序用于指示计算机例如使用处理单元和至少一个存储单元来执行本文所描述的计算机实现的方法的几个或全部步骤或方面。

在另一方面，本公开涉及一种车辆，该车辆包括：如上所述的计算机系统、第一传感器和第二传感器。

在另一方面，本公开涉及一种非暂时性计算机可读介质，该非暂时性计算机可读介质包括用于执行本文所描述的计算机实现的方法的几个或全部步骤或方面的指令。计算机可读介质可以被配置成：诸如光盘(CD)或数字通用盘(DVD)的光学介质；诸如硬盘驱动器(HDD)的磁性介质；固态驱动器(SSD)；诸如闪速存储器的只读存储器(ROM)；等。此外，计算机可读介质可以被配置成经由诸如互联网连接的数据连接能够访问的数据存储器。计算机可读介质可以例如是在线数据存储库或云存储。

本公开还涉及一种计算机程序，该计算机程序用于指示计算机执行本文所描述的计算机实现的方法的几个或全部步骤或方面。

附图说明

本文结合示意性示出的以下附图来描述本公开的示例实施方式和功能：

图1是根据各种实施方式的用于使用神经网络确定占用地图的摄像头-雷达融合的图示；

图2A是根据各种实施方式的用于占用网格确定的低能级摄像头-雷达融合网络的图示；

图2B是根据各种实施方式的用于占用网格确定的低能级摄像头-雷达融合网络的图示；

图3是根据各种实施方式的集中式ADAS/AD控制器中的低能级融合占用网格确定方法的硬件实现的图示；以及

图4是例示根据各种实施方式的用于确定车辆附近的占用地图的条目的方法的流程图。

100根据各种实施方式的用于使用神经网络确定占用地图的摄像头-雷达融合的图示

102 LIDAR检测

104 由摄像头和雷达传感器提供的数据

106 GPS数据

108 LIDAR占用地图

110 堆叠的雷达检测

112 堆叠的摄像头图像

114 框

116 数据

118 LIDAR地面真值

120 传感器读数

122 (人工)神经网络

124 输出地图

126 指示训练的箭头

128 指示切片成块和推导的箭头

130 指示将块重组到地图的箭头

200 根据各种实施方式的用于占用网格确定的低能级摄像头-雷达融合网络的图示

202 摄像头图像

204 雷达检测

206 用于堆叠的模块

208 块提取器

210 摄像头块网络

212 雷达块网络

214 融合网络

216 占用网格块

250 根据各种实施方式的用于占用网格确定的低能级摄像头-雷达融合网络的图示

252 分割神经网络

254 分割图像

256 块提取器

300 根据各种实施方式的集中式ADAS/AD控制器中的低能级融合占用网格确定方法的硬件实现的图示

302 摄像头

304 雷达传感器

306 ADAS/AD控制器

308 用于块准备和堆叠的模块

310 用于批形成的模块

312 用于推导神经网络的模块

400 例示了根据各种实施方式的用于确定车辆附近的占用地图的条目的方法的流程图

402 获取第一传感器的车辆附近的第一传感器数据的步骤

404 获取第二传感器的车辆附近的第二传感器数据的步骤

406 确定第一传感器数据的第一传感器数据部分的步骤

408 确定第二传感器数据的第二传感器数据部分的步骤

410 基于第一传感器数据部分和第二传感器数据部分来确定占用地图的条目

具体实施方式

根据各种实施方式，可以通过累积来自各种传感器(例如，雷达、摄像头、LIDAR(光检测和测距))的读数并将所累积的读数变换成随时间变化的概率来确定占用网格地图(换句话说，可以确定占用网格的条目)。

根据各种实施方式，可以使用机器学习方法(例如人工神经网络(简言之，其也可以称为神经网络，例如递归神经网络或长期短期记忆网络))来确定占用网格。神经网络的输入可以是来自传感器的原始数据。可以提供低能级的融合，从而导致提高性能。中央ADAS(高级驾驶员辅助系统)/AD(自主驾驶)控制ECU(电子控制单元)可以用于接收雷达检测和摄像头视频流，以提供低能级融合。

图1示出了根据各种实施方式的用于使用神经网络确定占用地图的摄像头-雷达融合的图示100。

可以适时地堆叠由摄像头和(例如具有前覆盖或360度覆盖的)雷达传感器提供的数据104，以便获得堆叠的雷达检测110和堆叠的摄像头图像112。对于每个有效的雷达检测，(从堆叠的雷达检测110中)截出NxWxHxC大小的周围环境块(patch)，其中，N是堆叠的读数的数量，WxH是块网格大小(W是宽度，h是高度)并且C是特征通道的数量(检测存在、速度等)，如框114所示。

此外，准备来自摄像头图像(换言之：堆叠的摄像头图像112)的对应的2D块。对于每个变量N和C，索引R用于雷达数据，并且索引C用于摄像头数据。

例如，可以使用允许将3D雷达检测(x，y和z坐标，如果没有可用的雷达高程，则z＝0)映射到图像平面上对应的2D点的摄像头/雷达校准矩阵。

可以例如通过使用以下方法中的一个来对准两个块(即，雷达块和图像块)。

在可能比第二方法快的用于对准的第一方法中，可以在图像平面上计算雷达块的(例如四个)拐角点的像素位置，并且可以截出覆盖所有(例如四个)标记的界定框。通过使用图像调整大小操作，可以使图像块的大小与雷达块的大小相同。

在用于对准的第二方法中，其在计算上可能比第一方法昂贵，但是其可以提供更好的结果，每个点(x，y，z)都可以从雷达网格单独映射到图像平面。一旦知道了雷达网格的所有像素位置，就可以应用图像扭曲(warp)技术(具有或不具有插值或其它深度完成技术)以获得最终图像块，该最终图像块可以与雷达块很好地对准。

基于以上所述，(大小为N

为了有效地训练神经网络，可能需要地面真值标记。根据各种实施方式，提供了一种用于有效数据标记的方法，该方法可以改进训练数据准备时间。根据各种实施方式，可以通过手动场景标记来获得地面真值，或者例如，如果在数据收集车辆中LIDAR传感器可用，则可以提供半自动方法。首先，可以使用基于卫星的无线电导航数据(如GPS(全球定位系统))在整个日志(记录的连续行驶)持续时间内堆叠LIDAR检测102，以获得堆叠的LIDAR扫描和GPS数据106。在第二步骤中，地面去除方法可以拒绝属于路面的不相关检测。在进一步的步骤中，过滤方法可以去除移动的对象。结果可以是累积的LIDAR OG地图108。可以利用矢量图形工具非常高效地手动标记获得的2D鸟瞰图，因为整个场景只需要进行一次即可。

可以使用包括数据(雷达块和图像块)和标记(基于累积的LIDAR OG地图108)两者的数据116来训练神经网络122，如箭头126所示。可以针对每个新传感器读数120执行推导(即，使用经训练的人工神经网络)，如箭头128所示。每个新传感器读数120可以包括雷达块和图像块，它们可以被切片(slice)成块。切片可以指从全局鸟瞰图图像中截出各雷达检测周围的数据块。NN(神经网络)输出的块可以利用加权方法重组(recast)到输出地图124上，如箭头130所示，该加权方法用于出现在几个块中并由多于一个的网络推导预测的点。

将理解的是，如果将NN 122用于训练数据中的输入数据120，即针对训练数据存在根据LIDAR GT(地面真值)118的情况，则基于NN输出确定的地图124和LIDAR GT 118可能相似或相同。

可以使用Pandora LIDAR(具有5个摄像头)和6xSRR4雷达。

图2A示出了根据各种实施方式的用于占用网格确定的低能级摄像头-雷达融合网络的图示200。例如，可以使用前置雷达和摄像头数据。在检测被模块206堆叠之后，摄像头图像202和雷达检测204可以被提供给块提取器208。块提取器208可以接收堆叠的雷达检测和摄像头图像202作为输入，并且可以将块提供给摄像头块网络210和雷达块网络212。

各传感器网络(CP_Net–摄像头块网络210、RP_Net–雷达块网络212)提供的数据可以使用融合网络214进行融合，以便确定占用网格块216。图2A所示的低能级摄像头-雷达融合网络也可以称为后期低能级融合网络，因为这两个数据通道(摄像头和雷达)都在第一阶段(分别由摄像头块网络210和由雷达块网络212)单独地进行处理并且在稍后阶段(由融合网络212)进行融合。如图2A所示的融合仍然是低能级融合网络，因为不存在两个占用网格地图的融合，而是由两个先前网络(分别由摄像头块网络210和雷达块网络212)提取的特征的融合。可以在以前未经任何其它方法或算法处理的原始传感器数据上训练摄像头块网络210和雷达块网络212，并且可以一次训练所有三个子网络(摄像头块网络210、雷达块网络212和融合网络214)。

可以使用在各个雷达检测周围覆盖6x6 m的块的61x61个单元(各个单元的大小为0.1m x 0.1m)的矩形网格大小(WxH)。雷达的堆叠历史可以设置为以每秒10个样本的频率记录的5个样本，其中，检测存在(例如，对象是否潜在地存在的指示)、检测速度(例如，潜在对象的速度)作为特征。对于摄像头，只能使用具有RGB颜色空间的一个图像(换句话说：摄像头图像可能不会及时(或随着时间)堆叠)。

图2B示出了根据各种实施方式的用于占用网格确定的低能级摄像头-雷达融合网络的图示250。图2B所示的各种要素与图2A所示的要素相似或相同，因此可能使用相同的附图标记，并且可能省略重复的描述。

类似于图2A所示的块提取器208，图2B所示的各块提取器256可以接收堆叠的雷达检测和摄像头图像202作为输入，并且可以将块提供给摄像头块网络210和雷达块网络212。此外，块提取器256可以接收分割图像254作为输入数据，该分割图像254可以使用神经网络基于摄像头图像202来确定，该神经网络可以被称为分割神经网络252。

分割神经网络252可以执行原始图像的高级分割。然后，分割图像(换句话说：分割图像254)也可以由块提取器256进行处理，以便在各个对象检测周围截出块(类似于来自原始图像202的块)。

然后可以将例如可以以RGB(红绿蓝)或灰度级提供的分割图像与原始图像RGB通道(换句话说：摄像头图像202的RGB通道)拼接，以便获得RGBC图像，其中C是对象类别通道。例如，对象类别通道可以包括针对各个对象类别的预定义值。

分割神经网络252可以改进(占用网格)块的确定，因为分割神经网络252可以包含对场景的高级了解(因为各个对象类别都标记为不同的颜色)，并且可以提高给定占用网格地图中的边缘的清晰度(sharpness)。

图3示出了根据各种实施方式的集中式ADAS/AD控制器306中的低能级融合占用网格确定方法的硬件(HW)实现的图示300。

对于根据各种实施方式的能级融合方法，摄像头数据(来自摄像头302)和雷达数据(来自雷达传感器304)二者都由单个单元(例如集中式ADAS/Ad控制器306)接收。由于形成图像块需要了解雷达块，因此可能难以在两个传感器中单独实现初始神经网络处理。集中式ADAS/AD控制器306可以接收原始雷达和摄像头流二者，并且可以具有足够的处理能力以能够执行NN推导。

雷达中的检测数可能会受到限制(例如，由CAN连接限制为64个，或者由以太网连接限制为128个)，以使得给定雷达的所有块可以形成一个大批(batch)，这可以缩短专用加速器的推导时间。批是存储器组织单元，其允许一次处理所有数据(例如，通过去除对多个CPU-GPU(中央处理单元–图形处理单元)传输的需求)，并且另外允许优化计算时间。

通过不为每个雷达检测创建块，而是通过将整个检测地图划分成块大小的网格，可以减少所需计算的数量。这可能会导致多个雷达检测属于一个网格块。最终处理可能只需要推导实际上在其中具有雷达检测的网格块。

根据各种实施方式，NN块处理允许限制所需的计算数量，并且不需要处理稀疏数据，这继而允许在集中式ADAS/AD控制器306中进行有效的计算。

集中式ADAS/AD控制器306可以包括用于块准备和堆叠的模块308、用于批形成的模块310以及用于推导神经网络的模块312。

图4示出了例示根据各种实施方式的用于确定车辆附近的占用地图的条目的方法的流程图400。在402处，可以获取第一传感器的车辆附近的第一传感器数据。在404处，可以获取第二传感器的车辆附近的第二传感器数据。在406处，可以确定第一传感器数据中与车辆附近的潜在对象相对应的第一传感器数据部分。在408处，可以基于第一传感器数据部分来确定第二传感器数据中与潜在对象的位置相对应的第二传感器数据部分。在410处，可基于第一传感器数据部分和第二传感器数据部分来确定占用地图的条目。

根据各种实施方式，第一传感器可以包括或可以是雷达传感器。根据各种实施方式，第二传感器可以包括或可以是摄像头。

根据各种实施方式，第一传感器数据可以包括或可以是第一传感器的随时间堆叠的多个测量结果，或者可以包括或可以是第一传感器的已经由第一神经网络处理并随时间堆叠的多个测量结果，并且第二传感器数据可以包括或可以是第二传感器的随时间堆叠的多个测量结果，或者可以包括或可以是第二传感器的已经由第二神经网络处理并且随时间堆叠的多个测量结果。

根据各种实施方式，该方法还可以包括：基于第二传感器数据确定分割图像；以及确定分割图像的分割图像部分。可以进一步基于分割图像部分来确定占用地图的条目。

根据各种实施方式，可以使用第三神经网络来确定分割图像。

根据各种实施方式，第一传感器数据部分可以包括或可以是预定的第一传感器数据部分大小的第一传感器块，并且第二传感器数据部分可以包括或可以是预定的第二传感器数据部分维度大小的第二传感器块。

根据各种实施方式，第一传感器数据部分大小和第二传感器数据部分大小可以是在至少一个维度上具有相同大小的多维数据。

根据各种实施方式，多维数据可以包括与时间、宽度、高度和特征相关的维度，其中，第一传感器数据部分大小的多维数据和第二传感器数据部分的多维数据在与宽度和高度相关的维度上具有相同大小。

根据各种实施方式，第二传感器数据部分可以被确定成使得由第二传感器数据部分覆盖的车辆附近的区域与由第一传感器数据部分覆盖的车辆附近的区域相关。

根据各种实施方式，可以基于第一传感器数据部分的拐角点到第二传感器数据的映射来确定第二传感器数据部分。

根据各种实施方式，其中，可以基于第一传感器数据部分的每个点到第二传感器数据的映射来确定第二传感器数据部分。

根据各种实施方式，可以基于第一传感器数据部分和第二传感器数据部分使用人工神经网络来确定占用地图的条目。

根据各种实施方式，可以基于手动标记的占用网格地图数据中的至少一个或基于根据第三传感器确定的占用网格地图数据来训练人工神经网络。

上述步骤402、404、406、408、410和其它步骤中的各个步骤都可以由计算机硬件组件执行。