自动驾驶车辆历史传感器数据回灌方法及系统

技术领域

本发明涉及自动驾驶车辆历史传感器数据的再利用技术。

背景技术

自动驾驶技术在研发过程中，需要在全国范围内进行大量的道路测试，以验证自动驾驶技术的安全性和可行性。由于自动驾驶车辆装载的传感器众多，导致在测试过程中会产生海量的数据。对自动驾驶车辆的历史行驶场景和历史数据进行二次利用是需要的方向。例如，特斯拉摄像头有两颗芯片，一个负责跑自动驾驶算法，一个负责收集数据训练神经网络，对于实际道路的数据，特斯拉的做法是利用这些数据来不断的优化自己的自动驾驶算法。

中国专利文献CN202010436745.8公开了一种自动驾驶数据处理方法、装置及电子设备，其提出了一种针对问题场景数据的数据截取和回灌的方法，其包括：获取运行自动驾驶系统的自动驾驶车辆在真实环境行驶时的初始场景数据，所述初始场景数据包括缺陷场景的数据；从所述初始场景数据中截选出所述缺陷场景的数据；将所述缺陷场景的数据输入仿真平台，由所述仿真平台基于所述缺陷场景的数据运行更新后的自动驾驶系统，得到所述更新后的自动驾驶系统在所述缺陷场景中的运行结果。该方法只是将出现问题的场景对应的数据从测试数据中截取出来，但对于该问题场景是由传感器识别出错引起的情况，这种做法不能有效的利用测试数据，因为只是截取数据，无法解决上述问题。

发明内容

本发明提供一种基于数据拼接技术实现自动驾驶车辆历史传感器数据回灌方法，目的在于对自动驾驶车辆的历史行驶场景和历史数据进行二次利用，将自动驾驶领域的海量历史数据利用起来，避免数据的浪费，有利于验证自动驾驶算法在历史场景上的有效性。

本发明的技术技术方案如下：

一种基于数据拼接技术实现自动驾驶车辆历史传感器数据回灌方法，所述方法是应用于路试时摄像头数据出问题导致自动驾驶出错的场景时，在供应商整改摄像头算法后并提供该场景下新的摄像头数据（即新的pack数据）的前提下。所述方法包括如下步骤：

步骤（1），利用保存有从各路传感器接收到的数据的dat文件中的整车信息和摄像头pack文件中的整车信息进行匹配，找出摄像头每一帧数据需要插入到dat中的哪个位置，将每一帧需要插入的位置存储为一个map， dat中匹配上的绝对时间是key， pack中匹配上的绝对时间是value；

步骤（2），利用匹配后得到的map，将摄像头pack数据中每一帧的车道线，以及目标车信息转化为dat中的数据格式并插入到dat中，进行数据拼接；

步骤（3），将拼接后的数据回灌到自动驾驶融合算法中，验证历史场景是否还会出现自动驾驶出错问题。

所述dat文件是摄像头以及其他传感器通过peakCan发送出来进入融合算法并存储的数据文件，包含原始传感器数据和处理后的中间变量数据；dat文件中的整车信息包括本车速度、方向盘转角、方向盘角速度等；

所述摄像头pack文件是供应商自己存储的数据，pack文件中的整车信息包括摄像头录制的图像以及目标车辆、车道线数据。

本发明还进一步提供一种自动驾驶车辆历史传感器数据回灌系统，包括：

匹配模块，利用dat文件中的整车信息和摄像头的pack文件中的整车信息进行匹配，找出摄像头每一帧数据需要插入到dat文件中的哪个位置，将每一帧需要插入的位置存储为一个map，dat中匹配上的绝对时间是key，pack中匹配上的绝对时间是value。

数据拼接模块，利用匹配后得到的map，将摄像头pack数据中每一帧的车道线，以及目标车信息转化为dat文件中的数据格式并插入到dat文件中，进行数据拼接。

回灌模块，将拼接后的数据回灌到自动驾驶融合算法中，验证历史场景是否还会出现自动驾驶出错的问题。

本发明出发点是将历史数据利用起来，对于摄像头对目标和车道线识别出错导致自动驾驶出现问题，摄像头供应商会回灌pack文件里的数据，然后摄像头供应商在整改完成后会提供新的pack文件。将摄像头处理后的数据和其他传感器的历史数据拼接到一起，回灌到自动驾驶融合算法中，以便验证自动驾驶融合算法针对该场景是否还会出现空车失误的问题。

因此本方法作为自动驾驶技术中数据处理的一部分，能够极大的利用测试过程中的历史数据，在节省测试成本的过程中，能够有效的验证自动驾驶传感器融合算法的性能。

附图说明：

图1：本发明的自动驾驶实车路试对于摄像头问题的处理流程；

图2：本发明中摄像头数据（pack格式文件）中的整车信息；

图3：本发明中blf转dat（dat格式文件）中的整车信息；其中blf是通用的记录CAN数据的二进制数据文件；

图4：本发明中匹配后的dat和pack数据。

具体实施方式

以下结合附图进一步详细说明本发明的技术：

本发明的主要技术问题是针对目前自动驾驶车辆上多个传感器历史数据的拼接技术。

例如摄像头的数据，实际道路测试过程中录制两部分数据，一部分数据是供应商自己存储的pack数据，另外一部分是摄像头通过peakCan发送出来进入融合算法并存储的dat数据集。在遇到摄像头数据出问题导致自动驾驶出错的场景时，首先是供应商整改摄像头算法，然后提供该场景下新的摄像头数据，这时候就需要将该数据（pack中存储的摄像头数据，包括目标和车道线）和其他传感器（dat中存储的前雷达、角雷达、环视等）数据拼接到一起，进而验证融合算法是否能通过此场景的测试。

自动驾驶实车路试对于摄像头问题的处理流程参见图1：

步骤1，实车路试：实际道路测试。

步骤2，路试问题：一般分为两类，一类是传感器识别问题导致自动驾驶出错，另一类是算法问题导致自动驾驶出错。

步骤3，FC问题：前摄像头问题。

步骤4，供应商修改算法：摄像头问题首先是反馈给供应商，并将路试中得到的pack文件发给供应商，等待供应商确定问题并修改摄像头算法。

步骤5，实车测试：供应商修改完摄像头算法后，主机厂需要通过路试来验证新的摄像头算法是否解决的之前的路试问题。

步骤6，数据拼接：由于步骤5中，实车路试不可能找到步骤1中跟路试问题场景一模一样的环境（环境不一样，会给传感器算法验证带来困难），而采用数据拼接，拼接好的数据都是与步骤1中的场景数据完全一致。

实施例1，提供在以上情况下的基于数据拼接技术实现历史传感器数据回灌的方法，包括以下处理步骤：

步骤1、参见图2和图3，利用dat数据集（通过peakCan获取的传感器数据）中的整车信息（本车速度、方向盘转角、方向盘角速度）和摄像头中的整车信息（摄像头自己保存的数据，格式为.pack中也存储了整车信息）进行匹配，找出摄像头每一帧数据需要插入到dat中的哪个位置。将每一帧需要插入的位置存储为一个map，key是dat中匹配上的绝对时间，value是pack中匹配上的绝对时间。

在步骤1中：通常，摄像头pack数据周期大概为20ms左右，dat中存储的整车信息周期大概为10ms左右，以速度为例，如图4所示匹配后的dat和pack数据。从图可以看出，pack数据和dat数据只有一部分能够匹配上，第1步的目的就是找出pack和dat数据是从何时开始匹配上的，并将所有匹配上的时间存入map中，以便后续数据的拼接。

步骤2、利用匹配后得到的map，将摄像头pack数据中每一帧的车道线（6条），以及目标（20个目标车信息）转化为dat中的数据格式并插入到dat中。

步骤2具体为：从第1步得到的匹配信息（map）中，可以知道每一帧数据匹配时间，将pack数据中的目标（20个）和车道线（6条）转为CANFD的格式，然后插入到dat数据中，这样便完成了数据的插入。

步骤3、将拼接后的数据回灌到自动驾驶融合算法中，验证历史场景是否还会出现车辆控制问题。

步骤3具体为：搭建数据回注台架（包含工控机、控制器、稳压电源等），将拼接好的数据在台架上进行离线回注，验证融合算法在问题场景是否还会出现控制出错。数据回注台架简单理解就是离线跑算法的工具，实车测试接收到的数据也是通过PeakCan发送给控制器，数据回注台架原理也是一样，及模拟发送can信号到控制器中，进行离线仿真。

可见，本发明通过数据拼接技术，可以将修改后的数据（该数据是传感器供应商将pack文件拿回去回灌并修改算法得到新的传感器数据）与历史数据进行拼接，这样既可以利用出现问题的路试数据，又可以验证传感器厂商是否整改到位。

实施例2，提供一种实现实施例的方法的自动驾驶车辆历史传感器数据回灌系统，包括：

匹配模块，利用dat文件中的整车信息和摄像头的pack文件中的整车信息进行匹配，找出摄像头每一帧数据需要插入到dat文件中的哪个位置，将每一帧需要插入的位置存储为一个map，dat中匹配上的绝对时间是key，pack中匹配上的绝对时间是value。

数据拼接模块，利用匹配后得到的map，将摄像头pack数据中每一帧的车道线，以及目标车信息转化为dat文件中的数据格式并插入到dat文件中，进行数据拼接。

回灌模块，将拼接后的数据回灌到自动驾驶融合算法中，验证历史场景是否还会出现自动驾驶出错的问题。