确定关于对象的预期轨迹的连续信息的方法

技术领域

本公开涉及确定关于对象的预期轨迹的连续信息的计算机实现方法。

背景技术

如数字摄像头之类的数字成像设备被用于汽车应用中，以在例如繁忙的交通环境中对车辆附近区域进行拍摄。其它类型的传感器(如雷达或LiDAR)也可以用于相同目的。但是，根据传感器数据或各种类型的传感器数据来确定所需的语义信息并非易事。特别地，关于交通对象(例如，车辆、自行车或行人)的将来移动的信息就是这种语义信息的一个示例，该信息需要根据传感器数据来确定。为了安全地自动控制车辆，将来或预期的轨迹(即，对象的移动路径)是有意义的。在这方面，可以基于当前传感器数据样本来预测将来时间点的数据样本。但是，由于数据样本的点状或离散性质，结果将是对预期移动的粗略预测。这对于(例如，自主驾驶车辆)在任何时间点的安全转向操纵的精确计算都是不够的。增加每时间跨度的预测次数可以缓解此问题，但会与能够实时生成预测的车辆中的有限处理资源产生冲突。

因此，需要提供一种确定关于对象的预期轨迹的信息的改进方法。

发明内容

本公开提供了计算机实现方法、计算机系统和非暂时性计算机可读介质。在说明书和附图中给出了实施方式。

在一个方面，本公开涉及一种确定关于对象的预期轨迹的连续信息的计算机实现方法，该计算机实现方法至少包括由计算机硬件组件执行的以下步骤：确定数据，该数据与对象的预期轨迹有关；以及基于所述数据，确定连续函数的至少一个参数值，其中，所述连续函数和所述至少一个参数值表示关于所述对象的预期轨迹的连续信息，并且其中，所述至少一个参数值是使用机器学习模型确定的。

已经发现，通过使用机器学习模型，可以为关于对象的预期轨迹的连续信息提供连续函数和该连续函数的至少一个参数值。以这种方式，相对于时间段或时间范围而不是时间点或时间抽样来提供关于预期轨迹的信息。这允许预期轨迹的任何期望的时间分辨率，并且精确地考虑了对象的时间相关行为。作为结果，可以基于任何所需时间点的确定的信息来精确且安全地生成车辆的自动控制函数。这意味着现在可以避免仅基于几个单独的数据样本得出关于预期轨迹的不太精确的假定。机器学习模型能够高效地提供此信息。机器学习模型可以是通过机器学习算法训练的数学模型，例如人工神经网络或支持向量机。训练可以基于对象的已知轨迹来执行，例如使用反向传播来执行。

优选的是，通过使用机器学习模型直接确定至少一个参数值。这意味着一个或更多个参数值优选的是机器学习模型(例如，神经网络)的输出。确定参数值可以排除使用机器学习模型范围之外的其它规则(例如，其它数学模型)。

连续函数是数学函数，该数学函数可以用闭型(closed form)表示，并且非常适合在计算机系统上实现。还可能的是仅确定参数值，而除了函数参数的参数值之外可以预先确定连续函数。以这种方式，例如与确定预期轨迹的多个单独的数据点相比，显著减少了确定关于预期轨迹的信息的处理工作量。与预期轨迹有关的置信度信息或类似信息也是如此。作为另一方面，与预测单独的数据点相比，预期轨迹或相关信息的精度提高了。这是由于信息的连续性质，该信息的连续性质提供了关于相对于任何期望时间点(而不仅仅是抽样的(即有限的)时间点)的预期轨迹的信息。

连续信息通常可以描述预期轨迹的形状，但不限于此。例如，连续信息可以表示至少一个参数的置信度信息。在一个示例中，至少一个参数值表示连续函数(特别是连续函数的参数值的)置信度值(例如，方差)。

术语“预期轨迹”表示对象轨迹是预测的。这是基于数据完成的，该数据可以是由安装在另一个对象(特别是位于要被确定轨迹信息的所述对象附近的车辆)上的传感器确定的传感器数据。优选地，该数据是在第一时间确定的，该第一时间不同于分配给预期轨迹的第二时间。例如，可以在第一时间点下确定传感器数据，例如，以雷达扫描(其捕捉例如相应的对象和其它可能的相互作用对象)的形式来确定。假定对象将避免碰撞，因此它们的轨迹可以相互依赖。第二时间的雷达扫描是不可用的，因为第二时间优选是将来的时间。为了确定关于优选地通过雷达扫描捕捉的对象的预期轨迹的期望信息，提出确定连续函数的一个或更多个参数值，其中，连续函数和所述一个或更多个参数值一起表示关于对象的预期轨迹的信息。虽然第二时间优选地是在第一时间之后的时间段，但是其它时间关系也是可能的。

与预期轨迹有关的数据可以是可能影响对象的轨迹的任何数据。该数据可以是表示对象、附近区域中的其它对象、环境(例如，道路和障碍物)的数据。另外，可以使用其它环境数据(例如温度)，或关于环境状况(例如，天气)的其它信息。在一个示例中，与良好的天气状况相比，在大雨或大雪期间，预期轨迹可能有所不同。该信息也可以表示为置信度信息，如将在下面进一步描述的。

尽管预期轨迹可以涉及自身移动的对象(例如，车辆和行人)，但也可以考虑涉及静止的对象。例如，由于车辆的自我移动，由车辆的传感器感测到的对象相对于车辆移动，并且可以基于所述相对移动来确定轨迹(例如，道路或另一对象的轨迹)。原则上，可以通过连续信息来描述对象的形状(例如，道路的走向)。

可以理解，可以为连续函数指派多个参数值，所述多个参数值可以表示为连续函数的一组参数值。例如，可以分别为多个连续函数确定多组参数值。通常，可以提供超过一个连续函数。

根据一实施方式，连续函数表示基于连续变量(优选地，连续时间变量)的函数值以及被设定为至少一个参数值的至少一个参数。连续函数优选是实值函数。此外，术语“连续函数”可以在该函数的图不包括中断(interruption)或空洞(hole)的意义上来理解。用更简单的术语来说，所述图可以被绘制为连续的线。在这方面，可以将连续变量设定为任意的实值，优选地是在连续函数的限定范围内的实值。

连续函数可以被预先定义并且例如被存储在计算机系统中。仅需要确定连续函数的参数值，这能够使确定连续信息的步骤紧凑。可以针对关于给定对象的预期轨迹的若干假设来选择特定类型的连续函数。例如，如果仅期望一定范围的操纵，则可以相应地选择连续函数。在一个示例中，可以选择连续函数，使得可以对乘用车的操纵进行充分建模。可以针对卡车、公共汽车或行人选择其它函数。在另一个示例中，为所有对象选择同一连续函数。应当理解，术语“连续函数”表示一般(特别是数学意义上)的函数，例如具有变量和一个或更多个参数的函数。参数的参数值定义了连续函数的特定实例。

根据一实施方式，通过使用人工神经网络来确定至少一个参数值。以此方式，可以以高精度和低处理工作量来确定一个或更多个参数值。特别地，人工神经网络能够高效且准确地处理大量数据。在一个示例中，人工神经网络是卷积神经网络。这适用于处理复杂的传感器数据，诸如雷达传感器数据或图像数据。作为神经网络的另选方案，可以使用其它类型的机器学习模型或人工智能来确定连续函数的一个或更多个参数值。

根据一实施方式，人工神经网络包括多个层，其中，至少一个参数值包括多个参数值，其中，所述多个参数值中的至少一些参数值是分别由人工神经网络的多个层中的相应一层确定的。换句话说，神经网络的层结构对应于参数值的结构，该参数值的结构可以被构造为关于一个或更多个连续函数的参数值的组。在一个示例中，将多组参数值分别指派给多个连续函数中的相应一个连续函数。即，将第一组参数值指派给第一连续函数，并且将第二组参数值指派给第二连续函数，其中，第一连续函数和第二连续函数可以相等或不同。可以通过使用神经网络的第一层来确定第一组参数值，并且可以通过使用神经网络的第二层来确定第二组参数值。使用专用层用于连续函数的参数值可以实现紧凑的神经网络，该紧凑的神经网络具有很高的效率和准确性。此外，如果需要，可以对神经网络的各个层进行手动调整。另选地，可以通过人工神经网络的多个层中的单个层来确定多个参数值中的至少一些参数值或全部参数值。也可以使用组合，即，一个函数的参数值由单个层来确定，其中，另一个函数的参数值通过使用不同的层来确定。

根据一实施方式，连续函数形成多项式函数。已经表明，使用多项式函数已经显示出可以提供用于确定各种交通场景中常见对象的轨迹的合适的数学模型以。此外，多项式函数能够对可能轨迹的预期范围进行建模，其中，避免了对象的不可能的轨迹或操纵。另一方面，可以非常高效地确定多项式函数的参数值。特别地，在本领域中，拟合多项式函数的算法是可以获得的。如图所示，还可以使用神经网络。作为多项式的代替，可以使用其它类型的连续函数，例如样条曲线。

根据一个实施方式，多项式函数的次数(degree)至少为1，例如至少为2，在一个示例中为4。次数为4可以在以高精度和高效率对真实轨迹进行建模中提供良好折衷。但是，如果需要，也可以使用更高次数的多项式函数或一阶多项式函数(次数为1)。

根据一实施方式，所述至少一个参数值包括至少一个第一参数值和至少一个第二参数值，其中，第一连续函数和所述至少一个第一参数值在第一维度中表示对象的预期轨迹，其中，第二连续函数和所述至少一个第二参数值在第二维度中表示对象的预期轨迹。第一维度和第二维度可以是空间维度，例如正交维度。其它类型的维度也是可能的，并且可以取决于对象的空间表示，例如坐标系类型。在一个示例中，第一连续函数和第二连续函数可以与具有连续时间依赖性的空间维度相关联，例如x(t)和y(t)，其中，x和y表示例如正交空间维度或极坐标空间维度，并且t表示连续时间。然而，在另一个示例中，第二连续函数可以依赖于第一连续函数，例如，x(t)和y(x)。其它形式的维度也是可能的。特别地，维度可以是与速度有关的维度，例如速度或加速度。维度也可以表示统计维度，例如置信度，例如方差。原则上，维度可以与任何期望的被测量对象有关。

应当理解，可以使用任何期望数量的连续函数，并且参数值可以涉及任何期望数量的连续函数。例如，可以使用超过两个连续函数来确定连续信息。

在一个示例中，第一连续函数和第二连续函数是多项式函数，其中，各个函数包括一组参数，即第一连续函数包括第一组参数，并且第二连续函数包括第二组参数。同样，第一组参数值用于设定第一组参数，并且第二组参数值用于设置第二组参数。如上面进一步指出的，可以通过使用人工神经网络的第一层来确定第一组参数值，并且可以通过使用人工神经网络的第二层来确定第二组参数值。

根据一实施方式，第一连续函数和第二连续函数是等效的。例如，第一连续函数和第二连续函数都可以是多项式函数，特别是四阶多项式函数。这通常可以表示为p(x)＝a×x

根据一实施方式，至少一个参数值包括至少一个第三参数值，其中，第三连续函数和至少一个第三参数值表示对象的预期轨迹的置信度值。第三连续函数通常可以是除了在一个维度中表示对象轨迹的另一个连续函数(例如，第一连续函数和/或第二连续函数)之外的连续函数。可以从外部源提供其它连续函数，并且确定其它连续函数和/或所述另一个连续函数的参数值不一定是本文所公开的方法的一部分，尽管如果需要，可以这样做。例如，可以通过本文公开的方法来确定第三连续函数的参数值。参数值和第三连续函数表示另一个连续函数的置信度信息，其中，另一个连续函数及其参数值表示对象的轨迹，并形成对机器学习模型的输入。第三连续函数可以被视为补充函数，该补充函数提供关于另一个连续函数的预期有效性的连续置信度信息，并且该另一个连续函数的参数被设定为确定值。例如，参数被设定为第三参数值的第三函数可以表示该另一连续函数与对象的真实轨迹之间的预期误差。这可以表示关于第一连续函数和/或第二连续函数的参数的传播误差(或不确定性)。第三连续函数允许对关于预期轨迹的信息进行自适应处理，即，基于第三连续函数和至少一个第三参数值进行处理。例如，如果置信度低，则可以减小预期轨迹对生成自动转向命令的影响，可能会减小到零。

由第三连续函数表示的置信度可以涉及第一连续函数和/或第二连续函数。这意味着，第一连续函数和/或第二连续函数的概率或预期有效性被第三连续函数(包括相应的参数值)获取。

根据一实施方式，针对至少一个参数值生成至少一个置信度值。例如，可以针对多个参数值中的各个参数值(例如，针对第一连续函数和/或第二连续函数)分别生成置信度值。可以为每个参数提供置信度值。这使得不确定性传播成为可能，从而可以针对一个或更多个连续函数提供预期误差(或不确定性)。所述至少一个置信度值可以通过使用机器学习模型(特别是神经网络)来生成，该机器学习模型用于确定一个或更多个参数。由机器学习模型确定的至少一个参数可以由至少一个置信度值形成。多元高斯方差可以用于生成置信度值，其中，负对数似然公式可以用于估计。然后可以针对连续函数进行置信度值的正确传播。

通常，例如在随后的时间点期间，可以重复本文描述的方法的至少一些步骤。这允许以时间自适应的方式获得关于预期轨迹的信息，例如，预期轨迹可以被更新，这可以以一重复率有规律地(特别是周期性地)进行。

根据一实施方式，以一重复率重复地执行该方法的至少一些步骤，其中，该重复率基于对象的预期轨迹的置信度值(例如，如由第三连续函数和至少一个第三参数所表示的)和/或至少一个参数值的置信度值(例如，所生成的置信度值)而变化。例如，可以(例如，在第三连续函数中)检测相对高的置信度的部分，其中，可以在检测到相对高的置信度的部分期间降低重复率。以这种方式，由于置信度相对高，因此不需要频繁更新预期轨迹，所以在时间段内可以减少处理工作量。

通常，置信度值可以表示预期误差分布的标准偏差或方差。

根据一实施方式，确定至少一个参数值不包括在第二时间在对象的预期轨迹的数据点之间进行插值。连续函数表示真实的预测，该真实的预测与给定数据样本之间的事后(ex-post)插值不同。因此，与仅有样本相比，插值被视为没有信息增益。相反，连续函数针对连续时间变量的任意值提供真实的连续信息。

可以理解，该方法可以针对多个对象执行，即，可以确定对象的各个预期轨迹。这可以基于捕捉多个对象和/或其附近区域的相同数据来完成。然后可以有效地考虑对象之间的可能相互作用，从而进一步提高所确定的关于预期轨迹的信息的准确性。

在另一方面，本公开涉及一种训练人工神经网络的计算机实现方法，该人工神经网络用于确定关于对象的预期轨迹的信息。该方法包括使用反向传播来训练人工神经网络，其中，根据训练数据中对对象的位置进行随机采样，其中，基于采样位置来评估损失函数或误差函数，其中，针对连续函数的样本值来评估连续函数的函数值。样本值与样本位置相关联。因此可以避免连续函数的过拟合。应该理解，如果需要，训练数据和/或连续函数可以以不同的表示方式来使用。例如，连续函数或连续函数的部分可以变换到不同的坐标系，或者可以以其它方式进行调整以便于与训练数据进行比较。训练数据可以包括已知的连续函数，这有助于进一步的训练。

在另一方面，本公开涉及一种计算机系统，所述计算机系统被配置为执行本文描述的计算机实现方法的若干或全部步骤。

该计算机系统可以包括处理单元、至少一个存储器单元和至少一个非暂时性数据存储部。非暂时性数据存储部和/或存储器单元可以包括计算机程序，所述计算机程序用于指示计算机执行本文描述的计算机实现方法的若干或全部步骤或方面。

在另一方面，本公开涉及一种车辆，所述车辆包括确定传感器数据的至少一个传感器，该传感器数据表示车辆的附近区域，并且至少一个可移动对象位于附近区域中，其中，该车辆还包括计算机系统，该计算机系统从至少一个传感器接收传感器数据，并基于所述传感器数据来确定关于至少一个对象的预期轨迹。该计算机系统可以被配置为执行本文描述的计算机实现方法的若干或全部步骤。尽管车辆的传感器数据可以是主要的数据源，但也可以使用其它数据源。例如，车辆可以包括与附近区域中的其它车辆进行通信的通信设备，从而与其它车辆形成通信网络。然后，相应车辆(该车辆可以被称为主车辆)可以经由通信网络从其它车辆接收传感器数据(例如，其它车辆的移动数据)。该数据可以与主车辆的传感器数据一起处理，以提高关于预期轨迹的信息的有效性。同样，也可以使用其它类型的数据，例如有关环境状况的数据。

在另一方面，本公开涉及一种基于关于预期轨迹的信息来控制车辆的计算机实现方法，该计算机实现方法包括：确定关于位于车辆的附近区域中的至少一个对象的预期轨迹的信息；以及基于关于所述至少一个对象的预期轨迹的信息来控制车辆。如上所述，可以基于数据(特别是传感器数据)来确定该信息。同样，本文描述的其它特征和实施方式可以是该方法的一部分。例如，关于预期轨迹的信息可以包括第一连续函数、第二连续函数和/或第三连续函数以及所指派的参数值或参数值集合。仅确定参数值是可能的，其中，连续函数被存储在计算机系统的存储设备中。

在另一方面，本公开涉及一种非暂时性计算机可读介质，该非暂时性计算机可读介质包括执行本文描述的计算机实现方法的若干或全部步骤或方面的指令。所述计算机可读介质可以被配置为：诸如光盘(CD)或数字通用盘(DVD)之类的光学介质；诸如硬盘驱动器(HDD)之类的磁性介质；固态驱动器(SSD)；诸如闪存之类的只读存储器(ROM)等。此外，该计算机可读介质可以被配置为经由诸如互联网连接之类的数据连接能够访问的数据存储部。该计算机可读介质可以例如是在线数据存储库或云存储。它可以连接到车辆，以便针对该车辆的附近区域中的一个或更多个对象执行该方法。

本公开还涉及一种计算机程序，该计算机程序指示计算机执行本文描述的计算机实现方法的若干或全部步骤或方面。

附图说明

在此结合示意性示出的以下附图描述本公开的示例性实施方式和功能：

图1是具有多个移动对象的道路，其中，针对这些对象中的一个对象确定了预期轨迹；并且

图2是确定对象的预期轨迹的方法的步骤。

具体实施方式

图1描绘了弯曲的道路10。道路的其它形状是可能的，即，道路10仅为示例。多个对象12、14、16、18、20在道路10上从图1的左侧移动到右侧。对象12、14、16、18、20代表车辆，例如乘用车。当对象12、14、16、18、20全部沿道路10以大致相同的方向行进时，对象12、14、16、18、20的个体移动可以在对象之间变化(例如，关于速度和当前转向方向)。也就是说，各个对象12、14、16、18、20的轨迹是不同的。

车辆16包括确定传感器数据的传感器单元22，传感器单元22拍摄车辆16周围的附近区域。在这一点上，传感器单元22具有范围24，其中，对象12、14、16、18、20全部都至少部分地处于范围24内。以预定义的重复率来确定传感器数据，使得传感器单元22提供表示当前附近区域(特别是对象12、14、16、18、20的位置和/或移动)的数据。也就是说，传感器单元22提供了关于全部对象12、14、16、18、20的数据，对象12、14、16、18、20包括安装有传感器单元22的对象16。优选地，传感器单元22包括具有至少部分不同视场的多个传感器。以这种方式，所述数据提供了关于对象16的全方位可见性(all-round visibility)。然而，其它配置也是可能的，并且范围24可以具有与图1所示的形状不同的形状。可以理解的是，不同的数据类型(例如，摄像头图像、雷达扫描、LiDAR扫描等)可以被融合，以获得对象16的当前附近区域的统一空间表示。

由传感器单元22确定的数据与对象18的预期轨迹有关。这是由于假设对象18的轨迹受到至少一些对象(例如对象16、对象20和对象18)的影响。在一个示例中，由传感器单元22确定的数据表示在第一时间(特别是在第一时间段期间)的附近区域24。已经基于传感器数据测量的第一轨迹26在图1中以虚线示出，并且表示对象18的轨迹。然后，传感器数据由计算机系统(未示出)处理，以便确定预期轨迹28，在第一时间段之后的第二时间段期间，预期对象18要沿着预期轨迹28移动。第二轨迹或预期轨迹28由第一连续函数的第一组参数值和第二连续函数的第二组参数值确定。另外，确定第三连续函数的第三组参数值，该第三组参数值表示包括了所指派的参数值的第一连续函数和第二连续函数的置信度。作为置信度，可以使用多元高斯方差，并且可以使用负对数似然来表述其估计，其中，可以关于第一连续函数和/或第二连续函数来执行误差传播。这样，提供了关于预期轨迹28的连续信息，该连续信息在图1中由实线表示。

对象16是自主驾驶车辆，该自主驾驶车辆包括用于生成适当的控制动作的计算机系统，使得该车辆在例如图1所示的道路10上安全地行驶。

现在结合图2更详细地描述第一连续函数、第二连续函数和第三连续函数(包括第一连续函数的参数值、第二连续函数的参数值和第三连续函数的参数值)的确定。在步骤30中，确定传感器数据32，其中，传感器数据32与对象18的预期轨迹28有关。在步骤34中，确定连续函数的多个参数值，其中，参数值和连续函数表示关于预期轨迹28的连续信息。第一连续函数是四阶多项式函数，即f(t)＝a×t

第一连续函数的第一组参数值和第二连续函数的第二组参数值的置信度由第三连续函数的第三组参数值来表示，例如，h(t)＝m×t

10 道路

12 对象

14 对象

16 对象

18 对象

20 对象

22 传感器单元

24 范围

26 轨迹

28 轨迹

30 确定传感器数据

32 传感器数据

34 确定参数值

36 参数值

f 第一连续函数

g 第二连续函数

h 第三连续函数

t 时间变量