一种采集数据自动修正和补充方法及系统

技术领域

本发明涉及数据处理领域，更具体地，涉及一种采集数据自动修正和补充方法及系统。

背景技术

随着自动驾驶行业的飞速发展，真实场景的数据采集显得尤为重要，这些数据是采集车在真实道路环境使用雷达等设备采集的传感器数据，然后再将这些csv格式的数据，进行道路和交通流信息的提取，从而进行场景库和仿真场景的搭建，但最终的场景效果依赖于采集设备的精度，事实上采集车采集的数据和真实的场景存在一定误差，如果能对采集数据的精度、准确率进行提升，并且还能获取采集设备无法提取的信息，那么将极大地提升采集数据的准确性，从而使构建的场景库或仿真场景效果更加贴近真实场景。

发明内容

本发明针对现有技术中存在的技术问题，提供一种采集数据自动修正和补充方法及系统。

根据本发明的第一方面，提供了一种采集数据自动修正和补充方法，包括：

获取真实场景行车记录仪视频和采集设备的采集CSV数据；

分别从所述真实场景行车记录仪中提取车道线位置坐标、每个目标物的运动轨迹坐标、速度及每个目标物id、每个目标物的类别信息、每个目标物的位置坐标以及视频中静态场景所属类型；

根据从所述真实场景行车记录仪中提取车道线位置坐标、每个目标物的运动轨迹坐标、速度及每个目标物id、每个目标物的类别信息、每个目标物的位置坐标以及视频中静态场景所属类型，对采集CSV数据进行自动修正和补充。

在上述技术方案的基础上，本发明还可以作出如下改进。

可选的，从所述真实场景行车记录仪中提取车道线位置坐标、每个目标物的运动轨迹坐标、速度及每个目标物id、每个目标物的类别信息、每个目标物的位置坐标以及视频中静态场景所属类型，包括：

基于车道线检测算法对所述真实场景行车记录仪视频进行车道线检测，保存每一帧的时间点及对应检测的车道线位置坐标；

基于多目标跟踪算法逐帧检测每个目标物的运动轨迹坐标、速度及每个目标物id并记录时间点；

基于目标检测算法逐帧检测每个目标物类别信息，并记录每个目标物的位置坐标以及当前时间点；

基于图像分割算法逐帧检测视频中静态场景所属类型，记录当前静态场景所属时间段。

可选的，所述静态场景包括匝道、加油站、收费站、隧道、晴天、雨天和雾天。

可选的，根据从所述真实场景行车记录仪中提取车道线位置坐标、每个目标物的运动轨迹坐标、速度及每个目标物id、每个目标物的类别信息、每个目标物的位置坐标以及视频中静态场景所属类型，对采集CSV数据进行自动修正和补充，包括：

根据基于车道线检测算法识别出的道路上的所有车道线位置坐标，将本车道左右两边三条及以上的车道线位置坐标记录在采集csv数据中；

当所述采集CSV数据中的车道线出现小范围缺失时，根据前一小段和后一小段车道线位置坐标取平均值，计算出当前缺失的车道线位置坐标，并将该车道线位置坐标更新到csv数据中。

可选的，根据从所述真实场景行车记录仪中提取车道线位置坐标、每个目标物的运动轨迹坐标、速度及每个目标物id、每个目标物的类别信息、每个目标物的位置坐标以及视频中静态场景所属类型，对采集CSV数据进行自动修正和补充，包括：

当基于目标检测算法检测的当前帧画面中目标物类型和数量与采集csv数据中记录的目标物类型和数量不一致时，将根据基于目标检测算法检测的当前帧画面中目标物类型和数量自动修正采集csv数据中的目标物类型、目标物id和目标物数量信息。

可选的，根据从所述真实场景行车记录仪中提取车道线位置坐标、每个目标物的运动轨迹坐标、速度及每个目标物id、每个目标物的类别信息、每个目标物的位置坐标以及视频中静态场景所属类型，对采集CSV数据进行自动修正和补充，包括：

根据多目标追踪算法检测的目标物运动轨迹坐标信息和车道线坐标信息，确定每一个目标物的变道行为数据；

若检测出来的每一个目标物的变道行为数据与采集CSV数据中的相同目标物的变道行为数据不一致，则基于检测出来的每一个目标物的变道行为数据对采集CSV数据中的相同目标物的变道行为数据进行修正。

可选的，根据从所述真实场景行车记录仪中提取车道线位置坐标、每个目标物的运动轨迹坐标、速度及每个目标物id、每个目标物的类别信息、每个目标物的位置坐标以及视频中静态场景所属类型，对采集CSV数据进行自动修正和补充，包括：

基于目标追踪算法检测的目标物的位置坐标以及自车位置坐标，计算出目标物相对自车的横向距离和纵向距离；

将目标物相对自车的横向距离和纵向距离更新到采集CSV数据中。

可选的，根据从所述真实场景行车记录仪中提取车道线位置坐标、每个目标物的运动轨迹坐标、速度及每个目标物id、每个目标物的类别信息、每个目标物的位置坐标以及视频中静态场景所属类型，对采集CSV数据进行自动修正和补充，包括：

当同一个目标物出现被遮挡后又重现，基于多目标追踪算法，将该目标物始终记录为同一个目标，目标物id相同；

将所述目标物id更新到csv数据中。

可选的，根据从所述真实场景行车记录仪中提取车道线位置坐标、每个目标物的运动轨迹坐标、速度及每个目标物id、每个目标物的类别信息、每个目标物的位置坐标以及视频中静态场景所属类型，对采集CSV数据进行自动修正和补充，包括：

基于mobilenet图像分类算法检测的视频中静态场景所属类型和对应时间段记录到采集csv数据中；

基于目标追踪算法，检测视频中的目标速度及运动轨迹信息，获取每一个目标物的运动方向信息，将每一个目标物的运动方向信息更新到采集CSV数据中。

根据本发明的第二方面，提供一种采集数据自动修正和补充系统，包括：

获取模块，用于获取真实场景行车记录仪视频和采集设备的采集CSV数据；

提取模块，用于分别从所述真实场景行车记录仪中提取车道线位置坐标、每个目标物的运动轨迹坐标、速度及每个目标物id、每个目标物的类别信息、每个目标物的位置坐标以及视频中静态场景所属类型；

修正和补充模块，用于根据从所述真实场景行车记录仪中提取车道线位置坐标、每个目标物的运动轨迹坐标、速度及每个目标物id、每个目标物的类别信息、每个目标物的位置坐标以及视频中静态场景所属类型，对采集CSV数据进行自动修正和补充。

根据本发明的第三方面，提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现采集数据自动修正和补充方法的步骤。

根据本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现采集数据自动修正和补充方法的步骤。

本发明提供的一种采集数据自动修正和补充方法及系统，该方法采用深度学习目标检测、多目标追踪、车道线检测、图像分类等算法对真实场景行车记录仪视频进行交通流及道路信息的提取，再自动跟采集的csv数据进行对比，纠正数据当中的错误信息，补充数据当中没有的采集信息，从而弥补雷达等采集设备的误差，整体上提升采集数据精度，最终实现构建的场景库或仿真场景精度的提升。

附图说明

图1为本发明提供的一种采集数据自动修正和补充方法流程图；

图2-1为采集数据包含车道线信息示意图，图2-2为对采集CSV数据补充的示意图；

图3-1为采集数据中包含的目标物类型和数量示意图，图3-2为对采集数据中目标类型和数量进行修正和补充的示意图；

图4-1为采集数据中目标变道信息示意图，图4-2为对采集数据中目标变道信息进行修正和补充的示意图；

图5-1为采集数据中目标横纵距离示意图，图5-2为对采集数据中目标横纵距离进行修正和补充示意图；

图6-1为采集数据中目标物id信息示意图，图6-2为对采集数据中目标物id进行修正和补充的示意图；

图7-1为采集数据中静态场景无法识别的示意图，图7-2为对采集数据中静态场景进行补充的示意图；

图8-1为采集数据中目标无航向数据的示意图，图8-2为对采集数据中目标的航向数据进行补充的示意图；

图9为本发明提供的一种采集数据自动修正和补充系统的结构示意图；

图10为本发明提供的一种可能的电子设备的硬件结构示意图；

图11为本发明提供的一种可能的计算机可读存储介质的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。另外，本发明提供的各个实施例或单个实施例中的技术特征可以相互任意结合，以形成可行的技术方案，这种结合不受步骤先后次序和/或结构组成模式的约束，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时，应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

图1为本发明提供的一种采集数据自动修正和补充方法流程图，如图1所示，方法包括：

S1，获取真实场景行车记录仪视频和采集设备的采集CSV数据。

可理解的是，首先准备好真实场景的影像也即行车记录仪视频，同时准备好对应采集的csv格式的数据。其中，采用python脚本读取采集的csv数据，逐行读取时间戳及每行的传感器数据数值并保存。

S2，分别从所述真实场景行车记录仪中提取车道线位置坐标、每个目标物的运动轨迹坐标、速度及每个目标物id、每个目标物的类别信息、每个目标物的位置坐标以及视频中静态场景所属类型。

可理解的是，基于真实场景行车记录仪视频，采用开源的lanenet等车道线检测算法对视频进行检测，检测每一帧中的车道线坐标位置，保存每一帧的时间点及对应的车道线位置坐标。采用开源的deepsort等多目标跟踪算法逐帧检测每个目标物的运动轨迹坐标、速度及目标物id并记录时间点。采用开源的yolov7等目标检测算法逐帧检测目标物类别信息，并记录其位置坐标以及当前时间点。采用mobilenet图像分类算法对匝道、加油站、收费站、隧道、晴天、雨天、雾天等静态场景图片进行模型训练，然后逐帧检测视频中静态场景所属类型，记录当前静态场景所属时间段。

S3，根据从所述真实场景行车记录仪中提取车道线位置坐标、每个目标物的运动轨迹坐标、速度及每个目标物id、每个目标物的类别信息、每个目标物的位置坐标以及视频中静态场景所属类型，对采集CSV数据进行自动修正和补充。

可理解的是，采用python脚本分别读取步骤S2和步骤S3保存的信息，然后修正及补充采集的csv数据，主要包括以下几种数据的修正和补充。

如图2-1和2-2，2-1为csv数据中车道线的表现示意图，2-2为修正后的CSV数据中车道线的示意图，当前的采集设备只能采集当前车道的左边两条及右边两条车道线信息，采用lanenet车道线检测算法可以识别出道路上所有车线信息。那么就可以根据本车道左右两边三条及以上的车道线坐标信息和自车坐标计算出车道线与自车距离，将该数值记录在采集的csv表格同一时刻对应字段中。当车道线出现小范围缺失时，根据前一小段和后一小段车道线位置坐标取均值求出当前缺失的车道线位置坐标，再根据自车坐标，计算出车道线与自车的距离，并将该数值更新到csv表格同一时刻对应字段中。

如图3-1和3-2，3-1为csv数据中目标类型和目标物数量的表现示意图，3-2为算法修正后CSV数据中目标类型和目标物数量的示意图，采用yolov7目标检测算法检测当前某一帧画面目标物类型和数量，目标物类型有小车、货车、非机动车、行人、障碍物等等，当采集的csv数据中记录的目标物类型和数量不一致时，比如csv中出现目标物缺失和重复以及目标物类型错误的情况，那么将根据当前目标检测的结果自动修正csv中同一时刻的目标物类型、id、数量信息。

如图4-1和4-2，4-1为csv数据中目标物变道行为数据的表现示意图，4-2为算法修正后CSV数据中目标物变道行为数据的示意图，自车和目标车变道行为在场景提取中是一个很重要的参数，采集设备对自车和目标车所处车道的判断也存在精度不高的情况，根据deepsort多目标追踪算法检测的目标物运动轨迹坐标信息和lanenet检测车道线坐标信息，当两者坐标出现重叠并且前后数秒内发生目标物轨迹坐标横穿车道线，就能判断目标在发生变道也即切入切出行为。

如图5-1和5-2，5-1为csv数据中目标物的横向距离和纵向距离的表现示意图，5-2为算法修正后csv数据中目标物的横向距离和纵向距离的示意图，真实的采集设备会有目标物相对自车的横向和纵向距离数据异常的情况，如目标物在自车左边，而采集数据显示目标在自车右边，采用deepsort目标追踪算法检测目标物的位置坐标以及自车位置坐标，就能计算出目标物相对自车的横向和纵向距离。如果对比csv数据出现较大误差，那么将相对横纵坐标数据更新到csv表格同一时刻对应的字段中。

如图6-1和6-2，6-1为csv数据中目标物被遮挡识别的目标物数量的表现示意图，6-2为算法修正后的示意图，真实的采集设备采集数据时，如果目标物出现被遮挡后又重现的情况，就会重新生成目标新id，相当于把一个目标识别为两个目标，采用deepsort目标追踪算法，会将该目标始终记录为一个目标，也就是唯一id，然后自动将该目标id信息更新到csv数据同一时刻对应的字段中。

如图7-1和7-2，7-1为csv数据中表现示意图，7-2为算法修正后CSV数据中静态场景的示意图，当前的数据采集设备无法获取静态场景信息，如，匝道、加油站、收费站、隧道、晴天、雨天、雾天等，采用mobilenet图像分类算法对这些静态场景图片进行训练，然后逐帧对视频中静态场景检测提取静态场景类型，记录当前时间段。将当前静态场景类型和对应时间段记录到csv数据同一时刻对应的字段中。

如图8-1和8-2，8-1为csv数据表现示意图，8-2为算法修正后的示意图，当前的数据采集设备无法获取目标物运动方向信息，采用deepsort目标追踪算法，检测得到视频中的目标速度及运动轨迹坐标信息(x2,y2)，并获取自车速度和坐标信息(x1,y1)，经过时间t，目标坐标变为(x2’,y2’)，自车坐标变为(x1’,y1’)，坐标变化量dx＝x1’-x1，dy＝y1’-y1，以图像左下角为坐标原点(0,0)，假设以起始时刻自车位置为大地静止坐标原点，那么目标相对于大地静止坐标应当为x＝x2’+dx，y＝y2’+dy，如果运动轨迹坐标横向坐标x增大，纵向坐标y基本保持不变，表明目标向右横穿，反之向左横穿，如果运动轨迹坐标纵向坐标y增大，横向坐标x基本保持不变，表明目标正向运动，反之逆向运动，将航向信息更新到csv数据同一时刻对应的字段中。

基于从真实场景影像中检测的数据对传感器采集的CSV数据进行修正和补充后，使用更新的csv数据进行场景提取、场景仿真等后续操作。

图9为本发明实施例提供的一种采集数据自动修正和补充系统结构图，包括获取模块901、提取模块902及修正和补充模块903，其中：

获取模块901，用于获取真实场景行车记录仪视频和采集设备的采集CSV数据；

提取模块902，用于分别从所述真实场景行车记录仪中提取车道线位置坐标、每个目标物的运动轨迹坐标、速度及每个目标物id、每个目标物的类别信息、每个目标物的位置坐标以及视频中静态场景所属类型；

修正和补充模块903，用于根据从所述真实场景行车记录仪中提取车道线位置坐标、每个目标物的运动轨迹坐标、速度及每个目标物id、每个目标物的类别信息、每个目标物的位置坐标以及视频中静态场景所属类型，对采集CSV数据进行自动修正和补充。

可以理解的是，本发明提供的一种采集数据自动修正和补充系统与前述各实施例提供的采集数据自动修正和补充方法相对应，采集数据自动修正和补充系统的相关技术特征可参考采集数据自动修正和补充方法的相关技术特征，在此不再赘述。

请参阅图10，图10为本发明实施例提供的电子设备的实施例示意图。如图10所示，本发明实施例提了一种电子设备，包括存储器1010、处理器1020及存储在存储器1010上并可在处理器1020上运行的计算机程序1011，处理器1020执行计算机程序1011时实现采集数据自动修正和补充方法的步骤。

请参阅图11，图11为本发明提供的一种计算机可读存储介质的实施例示意图。如图11所示，本实施例提供了一种计算机可读存储介质1100，其上存储有计算机程序1111，该计算机程序1111被处理器执行时实现采集数据自动修正和补充方法的步骤。

本发明实施例提供的一种采集数据自动修正和补充方法及系统，该方法采用深度学习目标检测、多目标追踪、车道线检测、图像分类等算法对真实场景行车记录仪视频进行交通流及道路信息的提取，再自动跟采集的csv数据进行对比，纠正数据当中的错误信息，补充数据当中没有的采集信息，从而弥补雷达等采集设备的误差，整体上提升采集数据精度，最终实现构建的场景库或仿真场景精度的提升。

需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。