生成用于定位的环境模型的方法和系统

技术领域

本公开内容涉及一种生成用于定位的环境模型的方法。本公开内容还涉及一种生成用于定位移动实体(mobile entity)的环境模型的移动实体。此外，本公开内容涉及一种生成用于定位移动实体的环境模型的系统。

背景技术

先进的驾驶系统和自主驾驶汽车需要关于道路和车辆可以在其上行驶的其它区域的高精度地图。自动驾驶汽车需要的以高准确度确定车辆在道路上的位置不能够通过常规导航系统(诸如卫星导航系统，例如GPS、Galileo、GLONASS)或其他已知的定位技术(比如三角测量等)来实现。然而，特别地，当自动驾驶车辆在具有多个车道的道路上移动时，期望的是准确地确定该车辆在所述车道中的一个上的位置。

关于高精度导航，必须访问数字地图，在该数字地图中与自主驾驶车辆的安全驾驶相关的对象被捕获。用自动驾驶车辆的测试和模拟表明，需要对车辆的环境和道路规格的非常详细的了解。

然而，道路的环境的常规数字地图——其现今与车辆移动的GNSS追踪结合使用——可能足以支持驾驶员控制的车辆的导航，但是它们对于自动驾驶车辆不是足够详细的。使用专门的扫描车辆扫描道路提供多得多的细节，但是极其复杂、耗时并且昂贵。

期望的是提供一种生成用于定位的环境模型的方法，该方法使得能够以高精度创建自动驾驶移动实体的环境的精确模型，该模型包含道路信息和位于自动驾驶移动实体的环境中的驾驶相关对象的其他信息。另外的期望是提供一种生成用于定位移动实体的环境模型的移动实体以及一种生成用于定位移动实体的环境模型的系统。

发明内容

在本权利要求1中限定了一种生成用于定位的环境模型的方法的一实施方案。

根据一实施方案，所述生成用于定位的环境模型的方法包括从移动实体生成扫描环境的3D模型的步骤，所述移动实体是例如自动驾驶汽车。所述3D模型被解释为是所述移动实体的所述扫描环境的表示的点云。在下一步骤中，执行将所述3D模型的所述点云分割成所述点云的多个分割部分。在随后的步骤中，通过分析所述点云的所述分割部分中的每个来由所述点云对3D对象进行建模。

在随后的步骤中，执行3D模型匹配。将所述扫描环境的生成的3D模型与所述环境的现有的3D模型进行匹配。在所述方法的下一步骤中，通过将所述环境的现有的3D模型与所述扫描环境的生成的3D模型进行配比(align)来生成是所述环境的改进的3D模型的表示的数据库。

所述方法可以可选地包括生成示出移动实体例如自主控制的车辆正在行驶的路径的轨迹的步骤。通过评估由移动实体的摄像机系统捕获的图像或通过评估从车辆的其他传感器获得的数据来在移动实体侧执行所述轨迹的生成。为此目的，可以使用多种技术，例如VO(Vison Odometry，视觉里程计)技术或SLAM(Simultaneous Localization andMapping，即时定位与地图构建)技术。

用以将扫描环境描绘为3D模型的点云可以被生成为密集的或半密集的点云。提供扫描环境的表示作为移动实体的环境的3D模型的点云生成可以基于在所述轨迹的生成步骤期间获得的输入数据。根据另一可能的实施方案，所述点云可以是直接由安装在移动实体中的摄像机系统的原始图像或由其他传感器数据创建的。

在点云分割步骤期间，生成的点云将被分割成小片段(piece)，即被分割成分割部分，基于在移动实体的环境中检测到的对象在空间中的物理分布，所述分割部分与该对象相关联。

在对于来自所述点云的分割部分中的每个进行点云3D建模的步骤期间，将创建检测到的对象的相应的3D模型。可以用形状、大小、定向、空间中的位置等来对检测到的3D对象进行建模。其他属性，诸如对象类型、颜色、纹理等，也可以被添加到从扫描环境的3D模型的点云提取的对象。为此目的，可以使用一些传统的2D对象识别算法。添加到检测到的对象的所有属性可以提供用以识别3D对象中的每个的附加信息。

在3D模型匹配的步骤期间，可以使用扫描环境的生成的3D模型来与环境的现有的3D模型进行比较。可以在移动实体/车辆侧或在远程服务器侧执行匹配过程。环境的已经现有的3D模型可以被解释为点云，并且可以存储在远程服务器的移动实体的存储单元中。

对于某一环境，例如道路的一段，通过多个移动实体生成的环境的多个3D模型可以被匹配。然而，这些模型中的一些可能被错误地匹配。可以使用诸如RANSAC(RandomSample Consensus，随机样本一致性)的离群值移除方法以提高3D模型匹配过程的鲁棒性。

结果，扫描环境的新生成的3D模型和环境的现有的3D模型的每个匹配对将提供附加信息。环境的匹配的3D模型的物理位置或环境中的对象的物理位置在理论上应完全相同，从而为系统添加一些约束。通过这些新的约束，3D模型的两个数据库之间的系统误差可以被大大降低。这也有助于将环境/场景的3D模型的两个非同步化的数据库进行配比以及将它们合并在一起。

所述方法允许扫描环境的多个3D模型可以被比较和配比，以及然后可以被合并在一起。通过将各个模型合并和配比在一起，可以生成场景的全局3D模型/地图。

以此方式生成的地标/3D模型的数目可以比通过一些传统的对象检测和识别算法生成的地标/3D模型的数目高得多，因为新的用于生成环境模型的方法不要求必需识别对象。对环境的3D模型的密集的/半密集的点云的评估允许容易地和直接地提取对象的一些几何信息，诸如对象的位置、大小、高度、形状、定向等。

此外，所提出的用于生成环境模型的方法所使用的基于点云的对象匹配对视角不敏感，因此所述方法可以被用来配比具有大视角差异(甚至方向逆转)的对象。所提出的方法可以独立地工作或作为对一些其他方法(诸如基于特征点的配比)的良好补充而工作。

所提出的生成用于定位的环境模型可以用在自主车辆导航、自主车辆定位的领域中，以及用于众包数据库生成和用于配比、合并和优化众包数据库。为了定位移动实体，在移动实体/车辆侧，可以使用环境的3D模型的密集的或半密集的点云在环境中搜索地标。将找到的地标与存储在是环境的先前生成的3D模型的表示的数据库中的地标进行匹配。配比数据可以是从在道路的相对侧上行驶的多个移动实体/车辆收集的。来自在其他困难场景中行驶的多个移动实体/车辆的数据的配比可以被改进。

权利要求11中限定了一种生成用于定位移动实体的环境模型的移动实体，例如自动驾驶车辆。

根据一可能的实施方案，所述生成用于定位移动实体的环境模型的移动实体包括：环境传感器单元，用以扫描所述移动实体的环境；以及存储单元，用以存储所述移动实体的扫描环境的生成的3D模型。所述移动实体还包括处理器单元，用以执行指令，当与所述存储单元协作由所述处理器单元执行所述指令时，所述指令执行如上文所描述的生成用于定位移动实体的环境模型的方法的处理步骤。

权利要求12中限定了一种生成用于定位移动实体的环境模型的系统。

根据一可能的实施方案，所述系统包括用于生成移动实体的扫描环境的3D模型的移动实体，其中所述3D模型被解释为点云。所述系统还包括远程服务器，所述远程服务器包括处理器单元和存储单元以存储所述移动实体的环境的现有的3D模型。所述处理器单元被实施用以执行指令，当与所述存储单元协作由所述远程服务器的所述处理器单元执行所述指令时，所述指令执行上文所描述的生成用于定位移动实体的环境模型的方法的处理步骤。所述处理步骤至少包括将生成的3D模型与环境的现有的3D模型进行匹配以及生成环境的改进的3D模型的数据库。

在下面的详细描述中阐明了附加特征和优点。应理解，前述的一般描述和下面的详细描述都仅仅是示例性的，并且意在提供用于理解权利要求的本质和特征的概述或框架。

附图说明

附图被包括以提供进一步理解，并且被并入说明书中并且构成说明书的一部分。这样，从结合附图进行的以下详细描述将更充分地理解本公开内容，在附图中：

图1例示了一种生成用于定位的环境模型的方法的示例性简化流程图；以及

图2示出了一种生成用于定位移动实体的环境模型的系统的示例性简化块图。

具体实施方式

在下面参考图1解释了一种生成用于定位的环境模型的方法，该方法可以被用来例如生成自主驾驶移动实体/车辆的环境模型，该模型可以被用于定位该移动实体/车辆，图1例示了该方法的不同步骤。

车辆沿着路径行驶并且沿着行驶路径收集包含有关车辆的环境的信息的数据。所收集的数据可以与已经存在于车辆中的关于车辆的环境的信息/数据进行配比。此信息可以存储在车辆的内部存储单元中的数据库的形式提供。通过将在沿着路径行驶时捕获的数据与先前存储的数据进行配比和匹配，可以创建新的复合数据集。特别地，由行驶车辆的传感器系统当前扫描的环境的3D模型与相同环境的先前创建的3D模型进行匹配和配比，以产生表示环境并且特别地表示车辆的行驶路线的环境中的驾驶相关对象的新的数据库。

图2示出了移动实体10和远程服务器20以及它们各自的部件，所述部件可以被用来执行生成用于定位移动实体的环境模型的方法。在对该方法的步骤的以下描述中描述了系统的不同部件。

图1中所示出的步骤S1是可选的并且与在移动实体(例如自动驾驶车辆)移动期间生成该移动实体的轨迹有关。在轨迹生成步骤S1期间，将确定在一个场景中移动的移动实体/车辆的路径/轨迹。为此目的，移动实体/车辆10的环境传感器11收集关于该移动实体/车辆行驶所沿的路径的环境的信息。为了获得该轨迹，可以通过VO(视觉里程计)技术或SLAM(即时定位与地图构建)技术来评估由移动实体的环境传感器捕获的数据。

环境传感器11可以包括摄像机系统，比如CCD摄像机，该摄像机系统可以适合于捕获可见图像和/或红外图像。该摄像机系统可以包括简单的单目摄像机或替代地立体摄像机，该立体摄像机可以具有彼此远离安装的两个成像传感器。另一些传感器，比如至少一个雷达传感器或至少一个激光传感器或至少一个RF信道传感器或至少一个红外传感器，可以被用于扫描和检测移动实体10的环境以及用于生成移动实体10移动所沿的轨迹。

根据一可能的实施方案，轨迹生成步骤S1可以包括移动实体所使用的交通车道的确定。此外，轨迹的生成可以包括生成移动实体的速度或加速度中的至少一个的分布图(profile)。可以在步骤S1中在三个空间方向上确定移动实体10的速度/加速度。此外，可以在步骤S1中确定定义道路的特定特性的重要参数，例如，宽度、方向、曲率、每个方向上的车道的数目、车道的宽度或道路的表面结构。

借助于被配置为3D点云的3D模型在步骤S2中对由沿着路径/轨迹行驶的移动实体/车辆10扫描的环境进行建模。该3D模型是由在沿着轨迹行驶期间移动实体的整个扫描环境生成的。环境中的驾驶相关对象被描述在生成的3D模型中作为点云的部分。

3D点云可以被生成为具有不同程度的密度。因此，可以在步骤S2中生成密集的或半密集的点云作为扫描环境的表示。扫描环境的3D模型的点云可以存储在移动实体10的存储单元12中。

在步骤S3中评估在步骤S2中生成的3D模型/点云。在评估3D模型中包括的生成的点云期间，该点云被分割成片段/部分，该分割基于所述片段/部分在空间中的物理分布。评估算法可以确定点云中的哪些点属于某一对象，例如场景中的树、信号灯、其他车辆等。根据一可能的实施方案，可以通过使用神经网络的算法(例如人工智能算法)来执行对环境的3D模型的完整点云的评估。

在步骤S4中，可以通过分析点云的分割部分中的每个来对在扫描环境的生成的3D模型的点云中识别的3D对象进行建模/提取。对扫描环境的3D模型中的对象的建模/提取从生成的3D点云直接完成。结果，对于扫描环境的3D模型的点云的每个分割部分，可以创建与捕获的情景中的对象的形状、大小、定向和/或位置有关的信息。

在步骤S5中，除了扫描环境的3D模型的提取的对象的形状、大小、定向和/或定位之外，诸如对象类型、颜色、纹理等的其他属性可以被添加到生成的3D模型中的提取的对象中的每个。使表征扫描环境的生成的3D模型中的3D对象的相应的属性与提取的/建模的对象中的每个相关联。

在步骤S6中，将扫描环境的生成的3D模型与环境的现有的3D模型进行匹配。

移动实体的环境的现有的3D模型的数据库/数据集可以存储在移动实体10的存储单元12中。在由移动实体10执行步骤S6的3D模型匹配的情况下，匹配可以由移动实体10的处理器单元13执行。

根据另一可能的实施方案，可以将存储在移动实体10的存储单元12中的是扫描环境的生成的3D模型的表示的数据库/数据集从移动实体10转发到远程服务器20，以执行在移动实体10中生成的扫描环境的3D模型与可能存储在远程服务器20的存储单元22中的环境的现有的3D模型进行匹配。在移动实体10中生成的并且是移动实体的扫描环境的表示的描述3D模型的数据库/数据集，可以由移动实体10的通信系统14转发到远程服务器20。模型匹配由远程服务器20的处理器单元21执行。

在方法步骤S7中，可以移除是3D模型匹配的可能结果的离群值。根据该方法的一实施方案，在将生成的3D模型与现有的模型进行匹配之后，依赖于检测到的在生成的3D模型与已经现有的3D模型之间的一致性，可以移除扫描环境的完整的生成的3D模型以防止进一步处理。

根据另一可能的实施方案，在将生成的3D模型与已经现有的3D模型进行匹配之后，依赖于检测到的在生成的3D模型与现有的3D模型之间的一致性，可以移除扫描环境的生成的3D模型的建模的/提取的对象中的至少一个以防止进一步处理。

特别地，当生成的3D模型相对于移动实体的环境的现有的3D模型包含大量差异时，环境的最新的生成的3D模型或最新的生成的3D模型中的建模的/提取的对象可以被拒绝以防止进一步处理。

在方法步骤S8中，可以通过将环境的现有的3D模型和扫描环境的生成的3D模型进行配比来生成是移动实体的环境的改进的3D模型的表示的数据库。为此目的，将扫描环境的当前生成的3D模型与环境的先前生成的并且现在已经现有的3D模型进行比较。可以通过评估从先前沿着与移动实体/车辆10相同的轨迹行驶的其他移动实体/车辆捕获的环境的3D模型来生成现有的3D模型。

在方法步骤S8中，将相同环境的当前生成的3D模型和已经现有的3D模型复合(compose)，以生成是移动实体的环境的改进的3D模型的表示的改进的数据库。可以在移动实体10中或在远程服务器20中执行相同环境的各3D模型的复合。

如果在远程服务器20中复合环境的改进的3D模型，描述3D模型的数据库/数据集可以从远程服务器20传输到移动实体10。在移动实体10中当前生成的扫描环境的3D模型和环境的已经现有的3D模型的组合产生具有高准确度和精确对象定位信息的数据集。

移动实体10可以将从远程服务器20接收的环境的3D模型与通过移动实体扫描环境所生成的3D模型进行比较。移动实体10可以通过将从远程服务器20接收的环境的3D模型与扫描环境的生成的3D模型进行匹配和配比来确定它的位置。根据另一实施方案，移动实体10的位置可以通过远程服务器通过将由移动实体10生成的环境的3D模型与在服务器侧可用的环境的3D模型进行匹配和配比来确定。

参考符号列表

10 移动实体

11 环境传感器

12 存储单元

13 处理器单元

14 通信单元

20 远程服务器

21 处理器单元

22 存储单元。