基于同步信息评估地面真值装置的方法和系统

技术领域

本申请涉及基于同步信息评估地面真值装置的方法和系统，并且具体涉及评估为车道检测提供地面真值的检测装置的方法和系统。

背景技术

高级驾驶辅助系统(ADAS)根据从摄像头、超声波传感器、雷达、激光雷达、惯性传感器等各种传感器接收的信号生成车辆周围的环境模型。高级驾驶辅助系统可以根据环境模型进行车道检测/车道线检测。

有多种基于视觉检测的方法可以生成作为环境模型的车道检测模型。当需要检查或者改进环境模型时，需要参考能够代表真实环境的基准数据。这类基准数据被称为地面真值/地面实况数据(ground truth data)。提供地面真值/地面实况数据的检测装置(本文简称其为GT装置)通常包括高精度、高灵敏度的昂贵的传感器。在评估环境模型(例如，车道检测模型)时，开发者使用地面真值数据(本文简称其为GT数据)为环境模型提供“正确答案”，并且进一步根据地面真值数据改进环境模型。

为了评估ADAS的例如安全性等各项性能，在一些情况下，需要在现场对ADAS的环境模型的运行进行测试和监控。这种情况下，提供地面真值数据的检测装置的各种传感器将产生代表真实环境的大量数据，如何评估多个提供地面真值数据的检测装置是具有挑战性的。

发明内容

本发明的目的在于提供一种评估地面真值GT装置的方法和系统。根据一个或多个实施例，能够以较低的代价、高效地选择提供可靠地面真值数据(GT数据)的地面真值测试装置(GT装置)。

根据本发明的一个方面，公开一种评估地面真值GT装置的方法。该方法包括确定被安装在同一车辆上的多个GT装置之间的延时信息；根据延时信息利用多个GT装置的每一个分别获取相应的一组GT数据；基于各组GT数据评估多个GT装置。这里，各组GT数据根据延时信息被同步。经同步的各组GT数据改进了评估过程的效率和精度。

根据一个示例，从多个GT装置选择一个基准GT装置，并且计算除上述基准GT装置外的每一个其它GT装置相对于该基准GT装置的延时信息。可以通过对两个GT装置中的各自的惯性测量单元信号进行对齐处理确定该两个GT装置之间的延时信息。惯性测量单元信号可以是角速度信号或者侧向加速度信号。

根据一个示例，还确定基准GT装置的基准时间序列，以及根据延时信息对基准时间序列进行补偿得到其它GT装置对应的时间序列。

根据一个示例，从被配置为根据检测条件对车道进行检测的多个GT装置获取相应的多组GT数据，其中，检测条件包括以下至少一个：指定时间段、指定天气状况和指定路段。基准GT装置的一组GT数据是根据基准时间序列的车道边界的采样点数据的集合，其它GT装置的各组GT数据是根据各自的经补偿的时间序列的车道边界的采样点数据的集合。

根据一个示例，每一组GT数据由多组采样点数据组成，一组采样点数据与时间序列的一个时间戳对应，并且一组采样点数据由多个具备位次的采样点值组成，每一个采样点值指示在车辆坐标系下检测到的车道边界到纵轴的距离，其中，根据多个GT装置在相应的时间戳的具有相同位次的多个采样点之间的位置关系评估多个GT装置。

根据本发明的一个方面，公开一种评估地面真值GT装置的系统，系统包括处理器和存储器，其中，存储器存储有计算机程序指令，当计算机程序指令由处理器执行时，处理器能够执行各个实施例中的方法。

根据本发明的一个方面，公开一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现各个实施例中的方法。

根据本发明的一个方面，公开一种计算机程序产品，计算机程序产品包括计算机指令，计算机指令存储在计算机可读存储介质中，计算机指令适于由处理器读取并执行，以使得具有处理器的计算机设备执行各个实施例中的方法。

附图说明

结合附图参阅以下具体实施方式的详细说明，将更加充分地理解本发明的原理、特点和优点。

图1是根据本申请的一个实施例的示例性的提供地面真值数据的检测装置在同一车辆上的配置示意图。

图2是根据本申请的一个实施例的评估地面真值GT装置据的方法的步骤示意图。

图3是根据本申请的一个实施例的示例性的地面真值的采样点的示意图。

图4是根据本申请的一个实施例的示例性的GT数据的构成的示意图。

图5是根据本申请的一个实施例的示例性的排除异常采样点的示意图。

图6是根据本申请的一个实施例的示例性的根据权重计算融合采样点的示意图。

图7是根据本申请的一个实施例的评估地面真值GT装置的系统的示意图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案以及有益的技术效果更加清楚明白，以下将结合附图以及多个示例性实施例对本发明进行进一步详细说明。应当理解，此处所描述的实施例仅用于解释本发明，而不是用于限定本发明的保护范围。

图1是根据本申请的一个实施例的示例性的提供地面真值数据的检测装置在同一车辆上的配置示意图。在本文中，提供地面真值数据的检测装置被称为地面真值装置，即GT(ground truth)装置。图1示出车辆V1以及安装在车辆V1上的多个GT装置GT-D1、GT-D2、GT-D3。本领域的技术人员了解，每个GT装置可以包括一组用于提供地面真值的传感器。例如，GT-D1可以包括高灵敏度的激光雷达、超高清摄像头、高精地图、高精度惯性传感器、GPS导航系统中的一个或多个来检测真实世界的情况，为车辆V1提供周围环境的准确的表示。类似地，GT-D2、GT-D3也独立地为车辆V1提供周围环境的信息。

在该实施例中，三个GT装置分别用于检测车道边界来生成车道的地面真值数据(GT数据)。三个用于获取地面实况数据的GT装置与车辆的车道检测模型的感知系统(图1未示出)在相同的时间段、相同的环境下运行。车辆V1自身配备的感知系统适合于估算车辆的周围环境，并且被配置成解释感测信息以识别障碍物、车道等。本领域技术人员可以理解，感测信息可以从在车辆上配置的一个或多个传感器得到，其可以是雷达、激光雷达、摄像头、GPS导航系统、惯性测量单元中的一个或多个。

GT装置检测得到的数据可以在本地或者通过云计算进行处理和分析得到GT数据。车道的GT数据可以用于验证车辆V1的车道检测模型的准确度，并评估车身的各传感器与车道检测算法的总体表现。虽然在该实施例中示出了三个GT装置，但本领域技术人员可以理解的是安装在车辆V1上的独立的GT装置不限于三个。

图2是根据本申请的一个实施例的评估地面真值GT装置的方法的步骤示意图。如图2所示，评估地面真值GT装置的方法包括确定步骤210、获取步骤220和评估步骤230。在步骤210中，确定被安装在同一车辆上的多个GT装置之间的延时信息。在步骤220中，根据所述延时信息利用所述多个GT装置的每一个分别获取相应的一组GT数据，其中各组GT数据根据所述延时信息被同步。在步骤230中，基于所述各组GT数据评估所述多个GT装置。这里，各组GT数据根据延时信息被同步。经同步的各组GT数据改进了评估过程的效率和精度。

如前所述，三个GT装置分别用于检测车道边界来生成车道的地面真值数据(GT数据)。由于各GT装置在进行车道检测后将产生大量的数据记录,可以从所述数据记录中以特定的规则来选择一系列采样点来形成多组GT数据，每一组GT数据对应一个GT装置。特定的规则可以是根据特定的时间序列来从地面真值数据记录确定采样点，以及针对时间序列的每一个时间戳确定一个时间戳上的采样点的个数和位置。由此可以减少分析和处理的数据量，在不降低评估精度的情况下，提高评估效率。

获取的一组GT数据将可选地包括车辆id和包括多个时间戳的时间序列。所述包括多个时间戳的时间序列可以是基于全球导航卫星系统GNSS的UTC时间序列。理想的情况下，三个GT装置将采用一致的时间序列来确定采样点，此时确定的采样点在时间上是同步的。在一些情况下，由于三个GT装置的硬件/软件系统存在传输延时和触发延时的细微差别，虽然设置了相同的开始采集时间和时间序列，但结果数据的时间戳可能无法对齐，由此影响评估过程的效率。

为了克服传输延时和触发延时等导致的采样点数据无法对齐的问题，在该实施例的步骤210中引入延时信息的确定。通过延时信息对三个GT装置的检测结果作同步处理，形成新的一组或者多组GT数据。对于多个GT装置的情况，可以选择一个基准GT装置，并且计算每一个其它GT装置相对于该基准GT装置的延时信息。通过引入延时信息，可以提高不同GT装置的时间同步的精度。

可以根据特定的车辆行为特征信号来确定GT装置之间的延时信息。例如，通过对两个GT装置中的各自的惯性测量单元信号进行对齐处理确定该两个GT装置之间的延时信息。更具体地，可以通过在一段时间内的横摆角速度和侧向加速度信号来确定延时信息。横摆角速度和侧向加速度信号可以通过惯性测量单元(Inertial measurement unit，IMU)获得。惯性测量单元是测量物体三轴姿态角(或角速率)以及加速度的装置。本领域技术人员可以理解，一个IMU内可以装有三轴的陀螺仪和三个方向的加速度计，加速度计检测物体在载体坐标系统独立三轴的加速度信号，而陀螺仪检测载体相对于导航坐标系的角速度信号，对这些信号进行处理之后，可以计算出物体的姿态。

在开始获取GT数据记录之前，车可以在一预定时间段内按照特定的轨迹行驶，产生变化的角速度曲线。通过对所述两个角速度进行对齐处理确定该两个GT装置之间的延时信息。在多个GT装置的情况下，从多个GT装置选择一个基准GT装置，并且计算除上述基准GT装置外的每一个其它GT装置相对于该基准GT装置的延时信息。

这里，对根据角速度信号确定两个GT装置的延时信息的确定进行说明。两个GT装置被相对固定地安装在车辆上，并且各自包括用于测量角速度的传感器。由此，在车辆进行转向行驶时，两个传感器能够获取相同的角速度信息。角速度传感器可以为诸如陀螺式的任何能够获取角速度的传感器或者传感器组。本领域的技术人员可以理解，在进行对齐处理之前可以对来自两个传感器的角速度信息进行去噪。

在一个示例中，根据相同时间段内的两组角速度曲线的相关性确定延时信息。考虑两个传感器的信息源为同一车辆的角速度，两者记录的角速度的变化趋势应当是一致的。由于硬件/软件系统的问题，两者角速度的变化曲线的峰值/低谷之间可能存在延时。可以通过变动其中一个角速度信号曲线的时间区间，使得两个角速度信号的曲线对齐，此时两组角速度信号数据将具有最大的相关性。本领域的技术人员将理解，协方差是对X与Y之间联动关系的一种测度，即测量X与Y的相关性，将协方差除以X和Y各自的标准差的乘积得到两者之间的标准化的相关性。对于信号数据处理，可以使用已知的函数找到使两组角速度信号相关性最大的延时信息。例如，MATLAB的互相关函数xcorr，或者Python科学计算库NumPy的correlate函数。在另一个示例中，根据相同时间段内的两组侧向加速度曲线的相关性确定延时信息。在该示例中，可以采用与处理角速度相同的方式来使两者的变化曲线对齐，通过计算两组侧向加速度信号数据最大的相关性来确定延时信息。

在确定延时信息后，还确定所述基准GT装置的基准时间序列，以及根据所述延时信息对所述基准时间序列进行补偿得到其它GT装置对应的时间序列。例如，基准时间序列中的第一个时间戳为t1，则可以根据延时信息Δt，确定一个其它GT装置的第一个时间戳为t1’为t1+Δt。

返回图2，在步骤220中，从被配置为根据检测条件对车道进行检测的所述多个GT装置获取相应的多组GT数据，其中，所述检测条件包括以下至少一个：指定时间段、指定天气状况和指定路段。通过指定检测条件，有利于评估各GT装置在不同条件下获得的GT数据记录的可靠性。例如，可以指定各GT装置分别在白天和黑夜(一天中指定的连续或者离散的时间段)获取GT数据记录。或者指定在晴天、雾天或者雨天等不同天气状况下进行车道检测，来评估GT装置应对各种天气情况的表现。指定路段也可以用于评估GT装置在不同路段的表现。可以根据获取的GT数据记录中的部分来评估GT装置的数据质量，并且确定最终将采用的GT装置。

基准GT装置的一组GT数据是根据基准时间序列的车道边界的采样点数据的集合，所述其它GT装置的各组GT数据是根据各自的经补偿的时间序列的车道边界的采样点数据的集合。图3是根据本申请的一个实施例的地面真值的采样点的示意图。在图3中，车辆V1在车辆坐标系下定位车辆两侧的车道边界。车辆坐标系的纵轴为x轴、横轴为y轴。图中示出在理想情况下的t1时刻的三组采样点，分别由三角形、圆形和正方形示意性地示出。例如，由三角形列示的一组6个采样点为GT装置GT-D1确定的车道边界上的点，同理由圆形和正方形示出的两组采样点是由GT装置GT-D2、GT-D3确定的车道线边界上的点。可以根据特定的时间序列(t1,t2,t3…)来从地面真值数据记录确定采样点。针对时间序列的每一个时间戳(例如t1)确定一个时间戳上的采样点的数量和位置。由此可以减少分析和处理的数据量，在不降低评估精度的情况下，提高评估效率。每个时间戳t的间隔可以为例如100毫秒。与每个时间戳对应的一组采样点以指定的位次被确定，以符合评估地面真值数据的数据接口要求。例如，在一个时间戳的一组采样点包括本车前方200米以内的按照位次排列的101个采样点，每个采样点间隔2米。本领域的技术人员可以理解，还可以以其它方式确定采样点。本领域的技术人员还可以理解，图3中仅仅示出了一侧车道线，GT装置当然也可以按照相同的方式确定另一侧的车道线上的点。

如图3所示，由于按照相同的规格提供多组GT数据，t1时刻的这三组采样点在相同的位次都由3个采样点组成，如图中的虚线椭圆所示出的。如前所述，可以指定在车辆前方预定距离，按照预定间隔确定采样点的排列。对于相同时刻t1的一组采样点，由于是相同的位次，他们在x轴方向上的值是相等的，但具有不同的y轴上的值。本领域的技术人员可以理解，此处的二维车辆坐标系仅仅是示例，在其它情况下还可以采用三维坐标系。

在特定情况下，三个GT装置的硬件/软件系统存在传输延时和触发延时的细微差别，虽然设置了相同的开始采集时间和时间序列，相同时间戳t1的数据将不是对齐的。如上所述，为了进一步提高GT数据的时间同步精度，将对其它GT装置的时间戳根据延时信息进行补偿。

图4是根据本申请的一个实施例的示例性的多组GT数据的构成的示意图。图4以表格的形式示出由GT装置GT-D1、GT-D2、GT-D3确定的三组GT数据，每一组GT数据包括多组采样点SP数据。多组采样点数据的每一组采样点数据对应所述时间序列的每一个时间戳，例如t1时刻对应采样点sp1至sp4。其中，一组采样点sp1至sp4由多个具备位次的采样点值组成，每一个采样点值指示在车辆坐标系下的检测到的车道边界到纵轴的距离。例如，对于GT装置GT-D1来说，其被安装在车辆V1上，其检测生成GT数据记录，一组GT数据从GT数据记录确定。该组GT数据对应时间序列T的每一个时间戳t1至t5各有一组采样点sp1至sp4。本领域的技术人员可以理解，这里时间序列T的时间戳t1至t5以及采样点sp1至sp4仅仅是示例。相应地，GT-D2和GT-D3也在相同的时间戳确定相同位次的各采样点。每个采样点的数据包括检测的车道边界在车辆坐标系下的横坐标的值。在存在延时信息的情况下，例如可以以GT-D1为基准装置，对GT-D2和GT-D3的时间序列进行补偿，得到GT-D2的时间序列t1’至t5’和GT-D3的时间序列t1”至t5”。

返回图2，在步骤230中基于所述GT数据评估所述多个GT装置。如上所述，每一组GT数据由多组采样点数据组成，一组采样点数据与时间序列的一个时间戳对应，并且一组采样点数据由多个具备位次的采样点值组成，每一个采样点值指示在车辆坐标系下检测到的车道边界到纵轴的距离。在所述评估步骤中，可以根据所述多个GT装置在相应的时间戳的具有相同位次的多个采样点之间的位置关系评估所述多个GT装置。

在一些示例中，对每一个GT装置在每一个相同时间戳(例如图4中的t1)的每组采样点数据中的具有相同位次的多个采样点值进行融合，得到对应的融合采样点值。例如，对所有GT装置在图4的t1时刻的采样点sp1的值进行融合。在另一些示例中，对于存在延时信息的情况，对每一个GT装置在每一个相应时间戳，即补偿后的时间戳(例如图4中的t1、t1’、t1”)的每组采样点数据中的具有相同位次的多个采样点值(例如，多个sp1值)进行融合，得到对应的融合采样点值。

如图5所示，示出相同/相应时间戳的相同位次的三个采样点A、B、C。这里，相应时间戳是指经过补偿后的时间戳。图中采样点A、B、C的位置对应采样点车辆坐标系的横轴位置。采样点A与B之间的距离是d1，采样点B和C之间的距离是d2。在图中上部的第一种情况下，当采样点B与C较为接近，且d1与d2的比值大于第一阈值(例如，大于2)时，将采样点A视为异常采样点。此时，在计算融合采样点时排除采样点A，仅考虑点B和点C。融合采样点F在车辆坐标系的横坐标的值yF为点B和点C的值的平均值，即(yB+yC)/2。在图中下部的第二种情况下，当采样点A与B较为接近，且d1与d2的比值小于第二阈值时(例如，小于0.5)，将采样点C视为异常采样点。此时，在计算融合采样点时排除采样点C，仅考虑点A和点B。融合采样点F在车辆坐标系的横坐标的值yF为点A和点B的值的平均值，即(yA+yB)/2。在该示例中，对于相同位次的三个采样点A、B、C，将更加接近的采样点视为准确度更高的采样点而排除异常采样点可以更好地评估提供地面真值数据的GT装置。该示例仅仅示出三个GT装置的情况，本领域技术人员可以理解可以根据多个采样点之间的位置关系，使用其它方式排除异常采样点。例如，求得多个采样点的值的平均值，并且将与平均值偏离超过阈值的采样点排除。

图6是根据本申请的实施例的示例性的根据权重计算融合采样点的示意图。与图5相似，图6也示出相同/相应时间戳的相同位次的三个采样点A、B、C。图中采样点A、B、C的位置对应采样点车辆坐标系的横轴位置。采样点A与B之间的距离是d1，采样点B和C之间的距离是d2。此时，如果d1与d2的比值小于第一阈值(例如，小于1.2)并且大于第二阈值(例如，大于0.8)，则在计算融合采样点时同时考虑三个采样点。这种情况下，没有“异常”采样点。融合采样点F在车辆坐标系的横坐标的值yF为2/3(d2/(d1+d2)yA+d1/(d1+d2)yC)+1/3yB。如图所示，在计算融合采样点的值时考虑赋予更接近采样点B的采样点A更多的权重。该示例仅仅示出三个GT装置的情况，本领域技术人员可以理解可以根据多个采样点之间的位置关系，使用其它方式赋予各个采样点权重。例如，求得多个采样点的值的平均值，并且将与平均值距离更近的采样点赋予更大的权重。

在计算融合采样点的值之后，可以根据这些值来评估GT装置。针对所述多个GT装置中的每一个，计算该GT装置在相同位次的采样点与对应的融合采样点的距离，得到该GT装置在该位次上的一组距离数据，根据该组距离数据标准差评估该GT装置。以GT-D1为例，计算其在各时间戳的相同位次的采样点与对应的融合采样点的距离是指计算GT-D1在t1-t4时刻的sp1与融合采样点集合在t1-t4时刻的融合采样点的距离，其可以是两者之差的绝对值。由此可以得到GT-D1装置在sp1位次的采样点在时间序列上与对应的融合采样点之间的一组距离数据[t1(sp1-sp1*),t2(sp1-sp1*),…]。t1(sp1-sp1*)是指在t1时刻的位次sp1的采样点与融合采样点sp1*之间的距离。根据该组距离数据标准差可以评估GT-D1装置在sp1位次的采样点的离散程度，从而估计检测装置的稳定性。对于其它位次的采样点(例如，sp2至sp4)可以做相同的操作。

通过计算在特定位次的一组距离数据(差值的绝对值的集合)的标准差来评估该GT装置在该位次的提供的地面真值数据的稳定性和真实性。相同地，对于其它GT装置也进行相同的计算得到该GT装置在特定位次的一组距离数据(差值的绝对值的集合)的标准差。标准差较低的一组距离数据对应的GT装置在该组距离数据对应的位次上的采样点数据的稳定性和真实性较高。因此，这里提供了一种基于较少数据既能筛选GT装置的有效的方法。被选择的GT装置将提供更可靠的地面真实数据。

图7是根据本申请的实施例的评估地面真值GT装置数据的系统700的示意图。系统700用于实现例如图2中的方法步骤操作，以及被应用于如图3-6所示的过程。系统700可以包括处理器710和存储器720。处理器710和存储器720通过总线进行通信，也可以通过无线传输等其他手段实现通信。该存储器720用于存储指令，该处理器710用于执行该存储器520存储的指令。存储器720可以包括只读存储器(ROM)、随机存取存储器(RAM)。处理器710可以调用存储器720中存储的程序模块执行上文所述的方法的多个步骤。系统700还包括图7中未示出的内存和通信接口。系统700经由输入/输出(I/O)接口获得多组GT数据。存储在存储器720的计算机程序代码被载入到内存，进而由处理器720执行。在图7的示例中，存储器720包括三个程序模块，即确定模块721、获取模块722和评估模块723。

确定模块721确定被安装在同一车辆上的多个GT装置之间的延时信息。可以从所述多个GT装置选择一个基准GT装置，并且计算除上述基准GT装置外的每一个其它GT装置相对于该基准GT装置的延时信息。可选地，通过对两个GT装置中的各自的惯性测量单元信号进行对齐处理确定该两个GT装置之间的延时信息。惯性测量单元信号可以是角速度信号或者侧向加速度信号。还可以确定所述基准GT装置的基准时间序列，以及根据所述延时信息对所述基准时间序列进行补偿得到其它GT装置对应的时间序列

获取模块722根据所述延时信息利用所述多个GT装置的每一个分别获取相应的一组GT数据，其中各组GT数据根据所述延时信息被同步。获取模块722可以通过有线、无线等各种通信方式接收多组GT数据。获取模块722从被配置为根据检测条件对车道进行检测的所述多个GT装置获取相应的多组GT数据。

评估模块723基于所述各组GT数据评估所述多个GT装置。可以在相应的时间戳的具有相同位次的多个采样点之间的位置关系评估所述多个GT装置。

上述一个或多个实施例、各种示例，可以全部或部分地通过软件、硬件、固件或其组合来实现。当使用软件实现时，实施例可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载并执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从网络服务器通过有线或无线方式向另一计算机进行传输。

在本申请的各实施例中，所描述的程序模块和装置仅仅是示意性的。功能单元的划分，是一种逻辑功能划分，实现时可以有另外的划分方式。多个单元和装置可以在物理上分开、也可以分布到网络单元上，其可以被组合或者可以集成到另一个系统。以上所述，仅为本申请的具体实施方式。熟悉本技术领域的技术人员根据本申请提供的具体实施方式，可想到变化或替换，应在本申请的保护范围之内。