基于远程激光探测与测量的速度估计

技术领域

本公开总体上涉及汽车、高级驾驶员辅助系统(简称ADAS)和自主驾驶(简称AD)领域。更具体地，本公开涉及基于远程激光探测与测量(LIDAR)的速度估计系统和方法。

背景技术

车辆附近的目标的绝对速度通常依据所确定的自我车辆(ego vehicle)的自身速度与目标(例如可以是另一车辆)的相对速度。自身速度通常由本领域技术人员已知的外部传感器(诸如惯性测量单元(IMU)、全球定位系统(GPS)或车辆里程表)确定。然而，这样的传感器很大程度上取决于其它传感器和车辆运行情况，而且可能是不准确的。通常使用标注、目标分割和跟踪，考虑过去的轨迹，根据摄像机图像确定相对速度。然而，当目标与车辆相距很长距离时，因为目标可能难以检测并且摄像机容易失去其跟踪，因此这样的目标标注和跟踪是困难的。结果在周围目标的绝对速度测量中出现误差，这能够显著地影响ADAS和AD环境中的车辆安全性。

本公开提出了使用LIDAR传感器来确定在自身车辆附近的目标的绝对速度。有利地，这样的LIDAR传感器具有远距离范围并且受车辆运行情况的影响很小。

发明内容

本公开的基于远程(long range)LIDAR的速度估计系统和方法基于与LIDAR传感器相距一定距离的点的距离将多个LIDAR帧分为多个范围：短程(例如，达到50或70m)、中程(例如从50或70m到100或120m)，和远程(例如从100或120m至250m)。在给定这些范围的情况下，在每一个范围上分别执行任务，然后将结果组合起来。有利地，本公开的系统和方法是LIDAR不可知的(agnostic)并且在例如10Hz区域中运行。本公开提供了两种可替代的方法。

在一个示例性实施例中，本公开提供了一种确定在距离自身车辆相对较远距离处的目标的绝对速度的基于LIDAR的方法，该方法包括：通过在与所述自身车辆相对较近的距离范围上使用深度学习算法估计绕z轴的介入旋转θ和正交的x与y方向上的平移，使用从耦合到所述自身车辆的LIDAR传感器获得的第一帧t-1和第二帧t来估计所述自身车辆的自身速度；将所述第一帧t-1和所述第二帧t中的每一帧分为三个相邻的输入范围，并且通过使用网络随后处理每个帧来估计在所述相对较远距离处所述目标的相对速度，其中每个输入范围使用相应的卷积神经网络来处理；以及将估计所述自身速度的估计结果(估计值)与估计所述相对速度的估计结果(估计值)相结合，以获得在所述相对较远距离处所述目标的绝对速度的估计结果(估计值)。所述深度学习算法由卷积神经网络执行。可选地，所述卷积神经网络包括光流估计网络。通过经由基准检测(benchmarking)确定的阈值将所述相对较短的距离与所述相对较远的距离分开，以发现提供足够的较短距离点以估计旋转和平移以及接近足够的较远距离点以提供充分的计算确定性的范围。每个所述卷积神经网络执行独立的输入特征提取并且利用单独的回归头(regression head)，但是利用单独的中间层和共享的中间层中的一个。使用交接机制(hand-over mechanism)来桥接这三个相邻输入范围之间的结果。

在另一示例性实施例中，本公开提供了一种确定在距离自身车辆相对较远距离处的目标的绝对速度的基于LIDAR的方法，该方法包括：接收从耦合到所述自身车辆的LIDAR传感器获得的第一帧t-1和第二帧t，并且将所述第一帧t-1和所述第二帧t中的每一帧分为三个相邻的输入范围并使用多任务网络处理每一帧，其中利用相应的卷积神经网络处理所述输入范围，所述卷积神经网络配置为提供绕z轴的介入旋转θ和正交的x与y方向的平移，以估计所述自身车辆的自身速度和目标位置与速度，从而估计所述目标在所述相对较远距离处的相对速度；以及将估计所述自身速度的估计结果(估计值)与估计所述相对速度的估计结果(估计值)相结合，以获得在所述相对较远距离处所述目标的绝对速度的估计结果(估计值)。通过经由基准检测确定的阈值将所述相对较短的距离与所述相对较远的距离分开，以发现提供足够的较短距离点以估计旋转和平移以及接近足够的较远距离点以提供充分的计算确定性的范围。每个所述卷积神经网络执行独立的输入特征提取并且利用单独的回归头，但是利用单独的中间层和共享的中间层中的一个。使用交接机制来桥接这三个相邻输入范围之间的结果。

在另一示例性实施例中，本公开提供了一种非暂时性计算机可读介质，其存储在存储器中并且由处理器执行以经由包括下述各项的多个步骤来确定在距离自身车辆的相对较远距离处的目标的绝对速度：通过在距离所述自身车辆相对较近的距离范围上使用深度学习算法估计绕z轴的介入旋转θ和正交的x与y方向上的平移，使用从耦合到所述自身车辆的LIDAR传感器获得的第一帧t-1和第二帧t来估计所述自身车辆的自身速度；将所述第一帧t-1和所述第二帧t中的每一帧分为三个相邻的输入范围，并且通过使用网络随后处理每一帧来估计在相对较远距离处所述目标的相对速度，其中使用相应的卷积神经网络来处理每个输入范围；以及将估计所述自身速度的估计结果(估计值)与估计所述相对速度的估计结果(估计值)相结合以获得在所述相对较远距离处所述目标的绝对速度的估计结果(估计值)。所述深度学习算法由卷积神经网络执行。可选地，所述卷积神经网络包括光流估计网络。通过经由基准检测确定的阈值将所述相对较短的距离与相对较远的距离分开，以发现提供足够的较短距离点以估计旋转和平移以及接近足够的较远距离点以提供充分的计算确定性的范围。每个所述卷积神经网络执行独立的输入特征提取并且利用单独的回归头，但是利用单独的中间层和共享的中间层中的一个。使用交接机制来桥接这三个相邻输入范围之间的结果。

在又一示例性实施例中，本公开提供了一种非暂时性的计算机可读介质，其存储在存储器中并且由处理器执行以经由包括下述各项的多个步骤来确定在距离自身车辆的相对较远距离处的目标的绝对速度：接收从耦合到所述自身车辆的LIDAR传感器获得的第一帧t-1和第二帧t，并且将所述第一帧t-1和所述第二帧t中的每一帧分为三个相邻的输入范围并使用多任务网络处理每个帧，其中利用相应的卷积神经网络处理所述输入范围，所述卷积神经网络配置为提供围绕z轴的介入旋转θ和正交的x与y方向上的平移，以估计所述自身车辆的自身速度和目标位置与速度，从而估计在所述相对较远距离处所述目标的相对速度；以及将估计所述自身速度的估计结果(估计值)与估计所述相对速度的估计结果(估计值)相结合，以获得在所述相对较远距离处所述目标的绝对速度的估计结果(估计值)。通过经由基准检测确定的阈值将所述相对较短的距离与所述相对较远的距离分开，以发现提供足够的较短距离点以估计旋转和平移以及接近足够的较远距离点以提供充分的计算确定性的范围。每个所述卷积神经网络执行独立的输入特征提取并且利用单独的回归头，但是利用单独的中间层和共享的中间层中的一个。使用交接机制来桥接这三个相邻输入范围之间的结果。

附图说明

参考各个附图来说明和描述本公开，其中相同的附图标记用于表示相同的系统部件/方法步骤(视情况而定)，并且其中：

图1是示出本公开的用于执行自身速度估计的系统和方法的一个示例性实施例的示意图；

图2是示出本公开的用于执行相对速度估计的系统和方法的一个示例性实施例的示意图；

图3是示出本公开的利用图1的用于执行自身速度估计的系统与方法和图2的用于执行相对速度估计的系统和方法来执行绝对速度估计和确定的系统和方法的一个示例性实施例的示意图；和

图4是示出本公开的用于执行绝对速度估计与确定的系统和方法的另一示例性实施例的示意图。

具体实施方式

本公开的基于远程LIDAR的速度估计系统和方法基于与LIDAR传感器相距点的距离将多个LIDAR帧分为多个范围：短程(例如，达到50或70m)、中程(例如从50或70到100或120m)，和远程(例如从100或120m至250m)。在给定这些范围的情况下，在每个范围上分别执行任务，然后组合结果。有利地，本公开的系统和方法是LIDAR不可知的并且在例如10Hz区域中运行。本公开提供了两种替代方法。

在第一替代方法中，执行自身速度估计和相对速度估计二者，组合结果用于估计绝对速度。这里考虑了距离影响。对所述短程进行自身速度估计；相对接近的距离，其边界是通过对自身速度估计进行基准检测来决定的。使用距离觉察算法对所有距离执行相对速度估计。

在第二替代方法中，多任务网络对于所有距离共享自身速度估计和相对速度估计二者。就输出而言，三个回归头(regression heads)产生两种类型的结果：旋转与平移(用于自身速度估计)和目标位置与速度(用于相对速度估计)。由多任务网络产生的旋转、平移和速度共同地提供每个目标的绝对速度。

现在具体参考图1，关于第一替代方法，对于短程(例如，达到50或70m)，训练网络10，其利用连续帧t-1和t12、14对LIDAR传感器用作输入。对于每个目标，从这些连续帧t-1和t，网络10经由所利用的层18输出三个参数16：围绕z轴的旋转θ和沿正交的x和y轴的平移。由这三个参数可以估计自身车辆的自身速度。

在这里，网络10是深度学习网络，或卷积神经网络(CNN)，例如光流估计网络(optical flow estimation network)。如本领域普通技术人员已知的，CNN通常应用于分析图像。CNN是正则化版本的多层感知器(multilayer perceptrons)或完全连接的网络，其中一层中的每个神经元(neuron)连接到下一层中的所有神经元。它们在某种程度上易于过度拟合(overfitting)数据。用于正则化的方法包括将权重的量值测量值的一些形式添加到相关联的损失函数。CNN利用数据的分层模式(hierarchical pattern)并且使用更小和更简单的模式来组装更复杂的模式。因此，CNN限制连接性和复杂性。与其他图像分类算法相比，CNN使用相对少的数据预处理，学习在传统算法中手工设计(hand-engineered)的滤波器。CNN采用数学卷积运算，其中数学卷积运算是一种专门类型的线性运算。CNN仅是在它们的层的至少一层中使用卷积来代替一般的矩阵乘法(matrix multiplication)的神经网络。CNN由输入和输出层以及多个隐藏层构成。CNN的隐藏层通常由用乘法或其他点积卷积的一系列卷积层构成。激活函数通常是RELU层，并且随后是附加卷积，诸如池化层(poolinglayers)、完全连接层和归一化层(normalization layers)，被称为隐藏层，因为它们的输入和输出被激活函数和最终卷积掩蔽。最终卷积通常涉及反向传播，以便更准确地加权最终乘积。

通过基准检测来确定用于自身速度估计的短程截止阈值(cut-off threshold)。截止阈值不应该太接近车辆，否则将没有足够的捕获点来估计旋转和平移。截止阈值不应该距车辆太远，否则所捕获的点将不确定并且牺牲结果。

现在具体参考图2，使用相同网络20处理帧t-1和t12、14中的每一个，以估计车辆附近的目标的相对速度。每个帧12、14的短程22、中程24和远程26中的每一个利用单独的特征提取CNN 28a、28b、28c被独立地处理。相应的三个回归头30a、30b、30c输出相对速度估计值。CNN 30a、30b、30c的中间层32能在多个层之间共享或分离。使用交接机制(hand-overmechanism)来桥接相邻距离的结果。

现在具体参考图3，对于在各个距离内由LIDAR传感器检测到的所有目标，自身速度估计10和相对速度估计20被简单地结合以提供绝对速度估计值40。这些绝对速度估计值40然后可以被视为绝对速度42。

现在具体参考图4，关于第二替代方法，使用相同的网络50再次处理帧t-1和帧t12、14中的每一帧，以估计自身车辆的自身速度和自身车辆附近的目标的相对速度二者。因此，在这里，网络50是多任务网络。每个帧12、14的短程22、中程24和远程26中的每一个利用单独的特征提取CNN 28a、28b、28c被再次独立地处理。对应的三个回归头30a、30b、30c输出目标位置和速度、以及旋转和平移，而不是简单地输出相对速度估计值。CNN 30a、30b、30c的中间层32可以再次被共享或分离。使用交接机制来桥接相邻距离的结果。所得到的绝对速度估计值被视为绝对速度42。

应认识到，取决于实例，本文中所描述技术中的任一者的某些动作或事件可按不同次序执行，可一起添加、合并或省略(例如，并非所有所描述的动作或事件对于所述技术的实践是必要的)。此外，在某些实例中，可例如通过多线程处理、中断处理或多个处理器同时而非依序执行动作或事件。

在一个或多个实例中，所描述的功能可以以硬件、软件、固件或其任何组合来实施。如果以软件实现，则各功能可作为一条或多条指令或代码存储在计算机可读介质上或藉其进行传送，并由基于硬件的处理单元来执行。计算机可读介质可包含计算机可读的存储介质，其对应于有形介质，例如，数据存储介质，或通信介质，包含例如根据通信协议便于将计算机程序从一处传送到另一处的任何介质。以此方式，计算机可读介质通常可对应于(1)非暂时性的有形的计算机可读存储介质，或(2)通信介质，例如信号或载波。数据存储介质可以是可由一个或多个计算机或者一个或多个处理器存取以获取用于实施本公开中所描述技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可包含计算机可读介质。

作为示例而非限制，这样的计算机可读存储介质可以包括随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、光盘只读存储器(CD-ROM)或其他光盘存储装置、磁盘存储装置或其他磁存储设备、闪存、或可用于以指令或数据结构的形式存储所需程序代码且可由计算机存取的任何其它媒体。任何连接也适当地被称为计算机可读介质。例如，如果使用同轴电缆、光缆、双绞线、数字用户线路(DSL)或诸如红外(IR)、射频(RF)和微波之类的无线技术从网站、服务器或其他远程源传输指令，则同轴电缆、光缆、双绞线、DSL或诸如IR、RF和微波的无线技术包括在介质的定义中。然而，应理解，计算机可读存储介质和数据存储介质不包含连接、载波、信号或其它暂时性介质，而是针对非暂时性的有形的存储介质。如本文所使用的，磁盘和光盘包括压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)和蓝光光盘，其中磁盘通常磁性地复制数据，而光盘用激光光学地复制数据。上述的组合也应包括在计算机可读介质的范围内。

指令可以由一个或多个处理器执行，例如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、复杂的可编程的逻辑器件(CPLD)或其他等效的集成或分立逻辑电路。因此，如本文中所使用的术语“处理器”可指前述结构或适合实施本文中所描述技术的任何其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可提供于专用硬件和/或软件模块内。而且，所述技术可完全实施于一个或多个电路或逻辑元件中。

本公开的技术可实施于广泛的多种装置或设备中，包括集成电路(IC)或一组IC(例如，芯片组)。本公开中描述了各种部件、模块或单元以强调配置为执行所公开技术的装置的功能方面，但不是必须由不同硬件单元实现。实际上，如上文所描述，各种单元可以结合合适的软件和/或固件组合在硬件单元中或者由互操作硬件单元的集合提供，所述硬件单元或互操作硬件单元包括一个或多个如上所述的处理器。

本公开的基于远程LIDAR的速度估计系统和方法基于与LIDAR传感器相距点的距离将多个LIDAR帧分为多个距离(或范围)：短程(例如，达到50或70m)、中程(例如从50或70m到100或120m)，和远程(例如从100或120m到250m)。在给定这些距离的情况下，在每一个距离上分别执行任务，然后组合结果。有利地，本公开的系统和方法是与LIDAR无关的并且在例如10Hz区域中运行。本公开提供了两种替代的方法。

在第一替代方法中，执行自身速度估计和相对速度估计二者，组合结果用于估计绝对速度。考虑了距离影响。对于短程执行自身速度估计，使用距离感知算法对于所有距离执行相对速度估计。

在第二替代方法中，多任务网络对于所有距离共享自身速度估计和相对速度估计。就输出而言，三个回归头产生两种类型的结果：旋转和平移(用于自身速度估计)和目标位置与速度(用于相对速度估计)。由多任务网络产生的旋转、平移和速度共同提供每个目标的绝对速度。

因此，本公开提供了基于LIDAR的确定在离自身车辆相对较远的距离处的目标的绝对速度的方法，该方法包括：通过在距离所述自身车辆相对较近的距离范围上使用深度学习算法估计绕z轴的介入旋转(intervening rotation)θ和正交的x与y方向上的平移，使用从耦合到自身车辆的LIDAR传感器获得的第一帧t-1和第二帧t来估计所述自身车辆的自身速度；将所述第一帧t-1和所述第二帧t中的每一帧分为三个相邻的输入范围，并且通过使用网络随后处理每一帧来估计在相对较远距离处的目标的相对速度，其中每个输入范围使用相应的卷积神经网络来处理；以及将估计所述自身速度的估计值与估计所述相对速度的估计值相结合以获得在相对较远距离处的目标的绝对速度的估计值。深度学习算法由卷积神经网络执行。可选地，所述卷积神经网络包括光流估计网络。通过经由基准检测确定的阈值将所述相对较短的距离与所述相对较远的距离分开，以发现提供足够的较短距离点以估计旋转和平移以及接近足够的较远距离点以提供充分的计算确定性的范围。所述卷积神经网络中的每个卷积神经网络执行独立的输入特征提取并且利用单独的回归头，但是利用单独的中间层和共享的中间层中的一个。使用交接机制来桥接这三个相邻输入范围之间的结果。

本公开还提供了一种基于LIDAR的用于确定离自身车辆相对较远距离处的目标的绝对速度的方法，该方法包括：接收从耦合到所述自身车辆的LIDAR传感器获得的第一帧t-1和第二帧t，并将所述第一帧t-1和所述第二帧t中的每一帧分为三个相邻的输入范围，并且使用多任务网络处理每一帧，其中，使用相应的卷积神经网络处理所述输入范围，所述卷积神经网络配置为提供绕z轴的介入旋转θ和在正交的x与y方向上的平移，以估计所述自身车辆的自身速度和目标的位置与速度，进而估计在所述相对较远距离处目标的相对速度；以及将估计所述自身速度的估计值与估计所述相对速度的估计值相结合，以获得在所述相对较远距离处目标的绝对速度的估计。通过经由基准检测确定的阈值将所述相对较短的距离与所述相对较远的距离分开，以发现提供足够的较短距离点以估计旋转和平移以及接近足够的较远距离点以提供充分的计算确定性的范围。所述卷积神经网络中的每个卷积神经网络执行独立的输入特征提取并且利用单独的回归头，但是利用单独的中间层和共享的中间层中的一个。使用交接机制来桥接这三个相邻输入范围之间的结果。

本公开还提供了一种非暂时性计算机可读介质，其存储在存储器中并由处理器执行以经由包括下述各项的步骤来确定在距离自身车辆相对较远距离处的目标的绝对速度：通过在距离所述自身车辆相对较近的距离范围上使用深度学习算法估计绕z轴的介入旋转θ和正交的x与y方向上的平移，使用从耦合到所述自身车辆的LIDAR传感器获得的第一帧t-1和第二帧t来估计所述自身车辆的自身速度；将所述第一帧t-1和所述第二帧t中的每一帧分为三个相邻的输入范围，并且通过使用网络随后处理每一帧来估计在所述相对较远距离处目标的相对速度，其中每个输入范围使用相应的卷积神经网络来处理；以及将估计所述自身速度的估计值与估计所述相对速度的估计值相结合，以获得在所述相对较远距离处所述目标的绝对速度的估计。所述深度学习算法由卷积神经网络执行。可选地，所述卷积神经网络包括光流估计网络。通过经由基准检测确定的阈值将所述相对较短的距离与所述相对较远的距离分开，以发现提供足够的较短距离点以估计旋转和平移以及接近足够的较远距离点以提供充分的计算确定性的范围。所述卷积神经网络中的每个卷积神经网络执行独立的输入特征提取并且利用单独的回归头，但是利用单独的中间层和共享的中间层中的一个。使用交接机制来桥接这三个相邻输入范围之间的结果。

本公开还提供了一种非暂时性计算机可读介质，其存储在存储器中并由处理器执行以经由包括以下各项的步骤确定在距离自身车辆相对较远距离处的目标的绝对速度：接收从耦合到所述自身车辆的LIDAR传感器获得的第一帧t-1和第二帧t，将第一帧t-1和第二帧t中的每一帧分为三个相邻的输入范围，并且使用多任务网络处理每一帧，其中利用相应的卷积神经网络处理所述输入范围，所述卷积神经网络配置为提供绕z轴的介入旋转和正交的x与y方向上的平移，以估计所述自身车辆的自身速度和目标的位置与速度，从而估计在相对较远距离处目标的相对速度；以及将估计所述自身速度的估计值与估计所述相对速度的估计值相结合，以获得在所述相对较远距离处目标的绝对速度的估计。通过经由基准检测确定的阈值将所述相对较短的距离与所述相对较远的距离分开，以发现提供足够的较短距离点以估计旋转和平移以及接近足够的较远距离点以提供充分的计算确定性的范围。所述卷积神经网络中的每个卷积神经网络执行独立的输入特征提取并且利用单独的回归头，但是利用单独的中间层和共享的中间层中的一个。使用交接机制来桥接这三个相邻输入范围之间的结果。

虽然本文参照优选实施例和其具体示例示出和描述了本公开，但是对于本领域的普通技术人员而言将显而易见的是，其他实施例和示例可以执行类似的功能和/或实现类似的结果。所有这样的等同实施例和示例都位于本发明的精神和范围内，因此被预期，并且无论出于何种目的，都旨在被以下非限制性权利要求所覆盖。