基于仿真场景视频的回灌验证方法

技术领域

本发明属于数据交互的技术领域，尤其涉及一种基于仿真场景视频的回灌验证方法。

背景技术

随着智能驾驶的不断发展，对自动驾驶量产所需要的的里程数要求也越来越高，对于巨大里程的道路测试很难实现，并且成本较高。为了解决这些难题，就衍生出了仿真测试和回灌测试，仿真测试通过搭建与实际道路相近的场景进行虚拟测试，回灌测试通过得到的实际道路测试的数据进行转换再进行回灌测试。

现有技术有通过实车测试辅以一点仿真测试，也有实车测试辅以回灌测试，保存的数据也越来越多，使用这些数据来完成算法的开发和回归测试，也可分出一部分数据来验证和评价其可靠性，如，实际道路测试、仿真测试、回灌测试，其中：

实际道路测试：通过将ADAS设备放置于实际测试的车辆上，通过实际的环境的测试对迭代算法进行分析和验证，是开发测试过程中唯一不可缺少的一种测试方法，可更直观的评价ADAS算法的性能，但只基于实际道路测试要验证算法在全部场景的性能的话就要依靠大量的人员长时间的采集数据，实验周期长且很难在短时间得到算法性能的结论；

环境仿真测试，不仅能对难以用实际道路测试的场景利用仿真环境搭建来完成，也可对现有收集的场景进行仿真搭建。它不仅能在开发周期的前期进行算法的调试，也可放在开发周期的后期进行算法性能的验证，因为它能随时调整系统的参数，并及时且直观的反馈给我们仿真过程中调整参数后的系统性能的变化，直到得到一个让我们满意的参数和性能结果，这种方法能及时的发现软件的问题，提高开发的效率，缩短开发的周期；

回灌测试，可放在算法开发周期的后期，这种方法只要是利用本来已经废弃的实际道路的数据重新验证迭代后算法的优化情况，这种方法可灵活验证想要的场景，且可随时开始随时停止，可多个人同时操作，大大节约了验证的时间，也能更快得出与原始算法对比情况，缺点是只能使用现有的数据，需要占用较大的内存来保存数据。

基于现有的技术的方法例如，基于环境仿真、基于真实道路测试、基于真实道路数据的回灌测试，需要耗费大量的人力物力、时间，要么需要配备高性能的工具来模拟测试，有的受到天气、道路等环境的制约。

发明内容

有鉴于此，本发明提供一种基于仿真场景视频的回灌验证方法，解决现有技术的仿真测试效率较低技术问题。

提供一种基于仿真场景视频的回灌验证方法，

适用于车辆的辅助驾驶算法迭代验证，其特征在于，使用自动驾驶仿真场景的软件，仿真出需要的目标，仿真的车辆上至少配置有仿真摄像头、激光雷达和毫米波雷达，所述方法包括：

获取预设格式的待回灌文件；

待回灌的文件存储在第一文件夹中，所述第一文件夹为局域网文件服务器中指定存储区域所建立的文件夹，所述局域网文件服务器与回灌设备通讯连接；

对多个不同的局域网通过PC上位机设置IP地址，且每个局域网连接多个终端设备，多个终端设备通过PC上位机与以太网连接及设置待回灌文件回灌后的文件路径，并将回灌后的文件存储在第二文件夹中，所述第二文件夹为局域网文件服务器中指定存储区域所建立的文件夹；

局域网文件服务器响应终端设备发送的请求后，匹配所述第一文件夹对应的待回灌文件并进行同步解析，解析后发送至所述回灌设备进行回灌文件的生成，所述回灌设备运行有回灌算法；

所述回灌文件存储在所述第二文件中。

本发明的有益效果：

本发明的仿真回灌验证的方式是基于局域网共享的方式，在仿真数据场景生成回灌文件后只需要回灌设备和操作者在同一网段中，只需一个设备一台电脑即可完成，同时也支持多设备同时回灌，多人同时操作不通设备同一回灌文件，回灌的结果不仅能在回灌的客户端上显示，也可通过局域网上传至回灌文件所在的服务器，成本低廉，效率大大提高，不需要时时刻刻盯着，大大解放了人力和物力资源。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明结构的立体图。

具体实施方式

下面结合附图对本公开实施例进行详细描述。

以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。

如图1所示的基于仿真场景视频的回灌验证方法，适用于车辆的辅助驾驶算法迭代验证，使用自动驾驶仿真场景的软件，仿真出需要的自车目标或其他车辆的目标，仿真的车辆上至少配置有仿真摄像头、激光雷达和毫米波雷达其方法包括：

S101:获取预设格式的待回灌文件,具体的，仿真的车辆上安装匹配现有ADAS设备的摄像头、仿真软件上的真值传感器或者雷达设备，模拟车身数据的can工具以及仿真联调软件matlab；

仿真软件的摄像头反馈的图像数据和真值数据，例如，现有技术中的Prescan或VTD等仿真软件，与实际环境一比一还原的场景来获得所需的图片或者视频数据。进一步的，为提高仿真的精度及更加的贴合实际，can工具，比如canoe和matlab软件进行联调，获取到车身数据和控制模块仿真的数据，更接近实际场景的数据保存下来，作为后续转换文件的输入。处理后的图像数据进行指定格式的转换，形成待回灌文件，指定格式，例如，info格式文件。

需要指出的，仿真摄像头的真值数据、车身数据、控制模块仿真的数据和图像数据均按照info格式文件进行转换，形成待回灌文件。

S102:待回灌的文件存储在第一文件夹中(例如，test文件夹)，第一文件夹为局域网文件服务器中指定存储区域所建立的文件夹，局域网文件服务器与回灌设备通讯连接；回灌设备的数量可以是多个，也可以是一个，一般的，在设备房放置一台回灌设备和局域网文件服务器；回灌设备的载体是ADAS设备，作为数据回灌与程序运行的载体。也可以不是完整的ADAS设备，只需要主体烧写回灌程序硬件即可，通过PC上位机设置对应局域网的规定的IP地址后，将设备连接到以太网中，设置好仿真制作后的回灌文件路径后，回灌设备中的程序首先进行回灌info文件解析，或是在文件服务器在发送前进行info文件解析。

进一步的，摄像头不只一种类型，如52°、100°镜头的，因此需要获取多个不同模组的仿真摄像头参数，参数对应的仿真图像数据存在第一文件中，且与待回灌文件进行关联，关联的方式通过文件命的命名方式进行关联，例如，模组仿真摄像头参数+仿真文件。

S103:对多个不同的局域网通过PC上位机设置IP地址，且每个局域网连接多个终端设备，多个终端设备通过PC上位机与以太网连接及设置待回灌文件回灌后的文件路径，并回灌后的文件存储在第二文件夹中，第二文件夹为局域网文件服务器中指定存储区域所建立的文件夹；

进一步的，ADAS设备及PC都通过以太网灵活改变对应的IP地址进行访问。局域网文件服务器根据多个局域网数量的建立对应的多个文件服务器，每个文件服务器包括第一文件夹和第二文件夹；

上述中的PC上位机部分功能：可对回灌设备进行IP是设置，也可在通过以太网连接到指定的ADAS回灌设备ip地址后，对回灌的回灌设备进行局域网文件服务其回灌地址的设置，设置完成后可实时查看回灌结果及状态，而且可以对回灌的视频进行录像以及给回灌设备进行软件升级。

S104:局域网文件服务器响应终端设备发送的请求后，匹配第一文件夹对应的待回灌文件并进行同步解析(解析成info文件)，解析后发送至回灌设备进行回灌结果文件的生成，回灌设备运行有回灌算法，如：

将info文件中仿真图像数据、传感器真值数据和仿真的车身数据时间戳进行同步，一比一还原仿真的场景。随后将解析后的数据传给回灌设备，回灌设备包括算法模块，该算法模块通过FCW、PCW、LDW、TSR等算法对输入的文件进行计算，计算的结果在PC上位机上显示。

S105:回灌结果文件存储在第二文件中，计算结果上传至文件服务器的请求终端所对应局域网的第二文件，一个局域网对应一个文件服务器，在同一文件服务器下的第一文件夹和第二文件夹访问路径相同。考虑场景回灌有时不同场景保存在不同的文件夹下存放，所以为了高效的进行回灌验证，可在文件服务器上设置一个路径文件，如果需要一个设备回灌多个文件夹，则可将对应需要回灌的文件夹填写在回灌路径中。

当只需对一个仿真场景文件夹下的几个文件进行回灌，可通过PC上位机实时查看回灌结果及状态，如，实时查看目标检测、车道线检测、TSR检测、红绿灯检测等等信息，支持暂停/播放、上一个/下一个控制等操作，能更加快速的找到对应的场景且快速定位问题。

回灌后的文件通过指定的播放器/工具进行播放，不需要再次转换为别的格式。

本发明的优点：

1，能基于多个仿真工具(如prescan、VTD)输出的视频+数据文件进行回灌文件制作，不受真实道路场景采集的原始ADAS场景数据的限制，可随时根据仿真工具制作场景用例库的每一条场景用例，场景覆盖度不受任何环境因素的影响。合理利用各种仿真工具仿真的场景数据，通过将仿真好的场景数据转换回可供回灌的文件注入到对应产品的设备中，完成仿真场景的多次重复回灌利用，快速定位在所使用的仿真场景下的算法问题，并且，基于局域网共享的方式进行回灌，只需要回灌设备和操作者在同一网段中，只需一个设备一台电脑即可完成，同时，也支持多设备同时回灌，多人同时操作不通设备同意回灌文件，回灌的结果不仅能在回灌的客户端上宣誓，也可通过局域网上传至回灌文件所在的服务器，成本低廉，效率大大提高，不需要时时刻刻盯着，大大解放了人力和物力资源。

2，可以根据问题快速定位算法问题，而且可无限重复回灌操作，即可利用多个迭代的版本针对一类问题重复回灌以验证该类问题是否已经完全解决，保证算法的可靠性。

3.可基于现有的仿真场景视频进行回灌的转换，也可基于实时仿真的多传感器的视频+数据真值进行回灌文件转换，再进行回灌验证时也仅需一台对应的仿真参数的ADAS设备加一个文件服务器即可进行，回灌的界面集成在平常使用的客户端上，操作简单易上手，且成本低廉，不受天气、道路等环境的制约。

以上，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。