一种感知系统的测试方法、装置及测试设备

技术领域

本发明涉及通信技术领域，尤其涉及一种感知系统的测试方法、装置及测试设备。

背景技术

车路协同是在对道路、车辆进行充分感知计算的基础上，进行低时延、高可靠的通信连接，实现车车、车路协同应用的技术方案，可见感知计算能力在车路协同中的重要性。因此，传感设备在投入使用前需要对其感知能力进行测试，以确保数据输出的准确性和可靠性。

目前，各研发单位所采用的测试方法主要是通过人工驾驶车辆，在试验场内按照不同测试场景的驾驶路线行驶，然后，通过分析各传感器算法输出的日志，人工判定数据指标，最后，测试人员需要手动将路侧传感器的感知结果与真值进行匹配，并手动输出测试报告。

上述测试方式不具备规模化测试能力，测试过程中引入了很多误差，需要消耗大量的人力成本和时间成本，导致测试成本较高、整体测试周期较长。

发明内容

本发明提供一种感知系统的测试方法、装置及测试设备，解决了现有技术中感知设备的测试方式需要消耗大量的人力成本和时间成本，导致测试成本较高以及整体测试周期较长的问题。

第一方面，本发明的实施例提供一种感知系统的测试方法，包括：

获取测试数据，所述测试数据包括：感知数据及其对应的真值数据，所述感知数据是待测感知系统的感知设备进行路侧感知采集的；

根据所述感知数据和所述待测感知系统对应的感知算法，确定所述待测感知系统的待测目标信息；

根据所述真值数据，从所述待测目标信息中确定所述待测感知系统的目标感知信息；

根据所述目标感知信息，确定所述待测感知系统的测试结果信息。

可选地，所述获取测试数据，包括：

利用测试车辆携带第一设备按预设路径行驶，通过所述第一设备采集获得所述真值数据，以及，

在所述测试车辆按所述预设路径行驶的过程中，通过所述待测感知系统的所述感知设备进行路侧感知，获得所述感知数据；

其中，所述第一设备包括高精度定位设备。

可选地，在所述感知设备为摄像头的情况下，所述根据所述感知数据和所述待测感知系统对应的感知算法，确定所述待测感知系统的待测目标信息，包括：

根据所述感知数据，获取所述摄像头对应的转换矩阵；

根据所述感知数据、所述转换矩阵和所述待测感知系统对应的感知算法，确定所述待测感知系统的待测目标信息。

可选地，在所述感知设备包括摄像头和第二设备，且所述第二设备为激光雷达或毫米波雷达中的至少一项的情况下，所述根据所述感知数据和所述待测感知系统对应的感知算法，确定所述待测感知系统的待测目标信息，包括：

根据所述感知数据，获取所述摄像头对应的转换矩阵；其中，所述感知数据包括所述摄像头对应的第一感知数据和所述第二设备对应的第二感知数据；

根据所述第一感知数据、所述转换矩阵和所述摄像头对应的感知算法，确定第一待测目标信息；以及，根据所述第二感知数据和所述第二设备对应的感知算法，确定第二待测目标信息；

根据所述第一待测目标信息和所述第二待测目标信息，确定所述待测感知系统的待测目标信息。

可选地，所述根据所述真值数据，从所述待测目标信息中确定所述待测感知系统的目标感知信息，包括：

按照采集所述真值数据的第一设备的输出频率，逐帧获取所述真值数据中的第一真值信息；

根据所述待测目标信息和所述第一真值信息，确定每一所述第一真值信息对应的第一目标感知信息；

将所述第一目标感知信息确定为所述待测感知系统的目标感知信息。

可选地，所述待测目标信息包括：时间戳、坐标信息和目标ID；所述第一真值信息包括：时间戳和坐标信息；

其中，所述根据所述待测目标信息和所述第一真值信息，确定每一所述第一真值信息对应的第一目标感知信息，包括：

根据所述第一真值信息的时间戳，从所述待测目标信息中获取第一待测目标信息，所述第一待测目标信息的时间戳与所述第一真值信息的时间戳相同；

判断第一标识列表中是否存在与所述第一待测目标信息的目标ID相同的ID信息，所述第一标识列表是在测试过程中生成的；

在判断结果为不存在的情况下，根据所述第一真值信息和所述第一待测目标信息，确定所述第一真值信息的坐标信息和所述第一待测目标信息的坐标信息之间的距离关系信息，所述距离关系信息包括：横向距离和直线距离；

根据所述距离关系信息与预配置的阈值信息，确定所述第一真值信息对应的第一目标感知信息；

其中，所述阈值信息根据所述感知设备的类型设置，所述阈值信息包括：预设距离区间及其对应的横向距离阈值和直线距离阈值。

可选地，在所述第一真值信息为所述真值数据中的第一帧的情况下，所述根据所述距离关系信息与预配置的阈值信息，确定所述第一真值信息对应的第一目标感知信息，包括：

根据所述距离关系信息与预配置的阈值信息，将满足第一预设条件且所述直线距离最小的所述第一待测目标信息确定为所述第一目标感知信息；

其中，所述第一预设条件为：所述横向距离大于或等于所述横向距离阈值，且所述直线距离大于所述直线距离阈值。

可选地，在所述第一真值信息不为所述真值数据中的第一帧的情况下，所述根据所述距离关系信息与预配置的阈值信息，确定所述第一真值信息对应的第一目标感知信息，包括：

判断所述第一待测目标信息的目标ID与第一目标ID是否相同，所述第一目标ID是在所述第一真值信息为所述真值数据中的第一帧的情况下确定的所述第一目标感知信息的目标ID；

根据判断结果、所述距离关系信息与预配置的阈值信息，确定所述第一真值信息对应的第一目标感知信息。

可选地，所述根据判断结果、所述距离关系信息与预配置的阈值信息，确定所述第一真值信息对应的第一目标感知信息，包括以下至少一项：

在判断结果为相同的情况下，将满足第一预设条件的所述第一待测目标信息确定为所述第一目标感知信息，所述第一预设条件为：所述横向距离小于或等于所述横向距离阈值，且所述直线距离小于所述直线距离阈值；

在判断结果为不相同的情况下，将满足第二预设条件且所述直线距离最小的所述第一待测目标信息确定为所述第一目标感知信息，所述第二预设条件为：所述横向距离小于或等于所述横向距离阈值，且所述直线距离小于或等于所述直线距离阈值，且所述第一待测目标信息的时间戳与所述第一真值信息的时间戳之间的时间差的绝对值小于预设时间。

可选地，在所述将满足第一预设条件的所述第一待测目标信息确定为所述第一目标感知信息之后，所述方法还包括：

将不满足所述第一预设条件的所述第一待测目标信息中的目标ID存入所述第一标识列表。

可选地，所述测试结果信息包括以下至少一项：目标定位精度、目标检测召回率、准确率和跟踪成功率。

第二方面，本发明的实施例提供一种感知系统的测试装置，包括：

数据获取模块，用于获取测试数据，所述测试数据包括：感知数据及其对应的真值数据，所述感知数据是待测感知系统的感知设备进行路侧感知采集的；

第一处理模块，用于根据所述感知数据和所述待测感知系统对应的感知算法，确定所述待测感知系统的待测目标信息；

第二处理模块，用于根据所述真值数据，从所述待测目标信息中确定所述待测感知系统的目标感知信息；

第三处理模块，用于根据所述目标感知信息，确定所述待测感知系统的测试结果信息。

第三方面，本发明的实施例提供一种测试设备，包括：收发机、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的感知系统的测试方法的步骤。

第四方面，本发明的实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的感知系统的测试方法的步骤。

本发明的上述技术方案的有益效果是：

本发明的实施例，根据测试数据，能够自动调用对应的感知算法，获得待测感知系统的待测目标信息，进而根据该待测目标信息与真值数据，分析获得目标感知信息，实现了对感知系统的感知能力的自动测试，提高了测试效率，节省了测试所需的人力成本和时间成本，减少了人为分析带来的误差，测试结果信息更加客观可信。

附图说明

图1表示本发明实施例的感知系统的测试方法的流程图；

图2表示本发明实施例的感知匹配过程；

图3表示本发明实施例的获取阈值过程；

图4表示本发明实施例的感知系统的测试装置的结构框图；

图5表示本发明实施例的测试设备的结构框图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。在下面的描述中，提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本发明的实施例。因此，本领域技术人员应该清楚，可以对这里描述的实施例进行各种改变和修改而不脱离本发明的范围和精神。另外，为了清楚和简洁，省略了对已知功能和构造的描述。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。

在本发明的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

另外，本文中术语“系统”和“网络”在本文中常可互换使用。

在本申请所提供的实施例中，应理解，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A 确定B并不意味着仅仅根据A 确定B，还可以根据A和/或其它信息确定B。

本发明实施例中，接入网的形式不限，可以是包括宏基站(Macro Base Station)、微基站(Pico Base Station)、Node B(3G移动基站的称呼)、增强型基站(eNB)、家庭增强型基站(Femto eNB或Home eNode B或Home eNB或HeNB)、中继站、接入点、RRU(Remote RadioUnit，远端射频模块)、RRH(Remote Radio Head，射频拉远头)等的接入网。用户终端可以是移动电话(或手机)，或者其他能够发送或接收无线信号的设备，包括用户设备、个人数字助理(PDA)、无线调制解调器、无线通信装置、手持装置、膝上型计算机、无绳电话、无线本地回路(WLL)站、能够将移动信号转换为WiFi信号的CPE(Customer Premise Equipment，客户终端)或移动智能热点、智能家电、或其他不通过人的操作就能自发与移动通信网络通信的设备等。

具体地，本发明的实施例提供了一种感知系统的测试方法、装置及测试设备，解决了现有技术中感知设备的测试方式需要消耗大量的人力成本和时间成本，导致测试成本较高以及整体测试周期较长的问题。

第一实施例

如图1所示，本发明的实施例提供了一种感知系统的测试方法，具体包括以下步骤：

步骤11：获取测试数据，所述测试数据包括：感知数据及其对应的真值数据，所述感知数据是待测感知系统的感知设备进行路侧感知采集的。

需要说明的是，测试数据可以通过数据导入获得，也可以由待测感知系统上传获得。

作为一可选实施例，该步骤11具体可以包括：利用测试车辆携带第一设备按预设路径行驶，通过所述第一设备采集获得所述真值数据，以及，在所述测试车辆按所述预设路径行驶的过程中，通过所述待测感知系统的所述感知设备进行路侧感知，获得所述感知数据；其中，所述第一设备包括高精度定位设备。

需要说明的是，第一设备可以是采用实时动态测量RTK(Real Time Kinematic，实时动态测量)技术的设备。例如，测试过程采用高精惯导设备作为真值数据的采集设备，定位精度可达厘米级。具体的采集过程中，可以利用目标车辆(即测试车辆)或行人携带高精惯导设备，按照测试用例的规划路线(即预设路径)完成单目标、多目标测试，其中，高精惯导输出的数据即为真值数据，测试车辆可以是一辆或者多辆。与此同时，通过感知设备(例如路侧摄像头、毫米波雷达设备、激光雷达设备等)进行路侧感知，实时采集并保存离线数据(即感知数据)。这里，离线数据可以包括视频、毫米波雷达数据和激光雷达点云数据等，需要指出的是，这类数据的数据格式需要符合规定的接口形式。

步骤12：根据所述感知数据和所述待测感知系统对应的感知算法，确定所述待测感知系统的待测目标信息。

该步骤中，根据感知数据，可以确定待测感知系统所用的感知设备，从而确定使用哪种感知算法确定待测目标信息。

步骤13：根据所述真值数据，从所述待测目标信息中确定所述待测感知系统的目标感知信息。

该步骤可以获得与真值数据匹配成功的感知点，即待测感知系统的目标感知信息。

作为一可选实施例，该步骤13具体可以包括：

步骤1301，按照采集所述真值数据的第一设备的输出频率，逐帧获取所述真值数据中的第一真值信息。

例如，第一设备的输出频率为10HZ，如图2所示，按照该输出频率，逐帧匹配感知目标。具体的，依据该输出频率，逐帧检索感知目标(即获取真值数据中的第一真值信息)，其中，真值数据可以表示为图像序列{R

步骤1302，根据所述待测目标信息和所述第一真值信息，确定每一所述第一真值信息对应的第一目标感知信息；

步骤1303，将所述第一目标感知信息确定为所述待测感知系统的目标感知信息。

步骤14：根据所述目标感知信息，确定所述待测感知系统的测试结果信息。

该步骤中，在确定待测感知系统的测试结果信息之后，还可以将测试结果信息输出，例如，通过屏幕将测试结果信息显示给用户。这里，测试结果信息可以包括以下至少一项：目标定位精度、目标检测召回率、准确率和跟踪成功率。

该实施例中，根据测试数据，能够自动调用对应的感知算法，获得待测感知系统的待测目标信息，进而根据该待测目标信息与真值数据，分析获得目标感知信息，实现了对感知系统的感知能力的自动测试，提高了测试效率，节省了测试所需的人力成本和时间成本，减少了人为分析带来的误差，测试结果信息更加客观可信。

本发明实施例中，根据感知设备的不同，步骤12可分为以下两种情况：

情况一：作为一可选实施例，在所述感知设备为摄像头的情况下，步骤12包括：根据所述感知数据，获取所述摄像头对应的转换矩阵；根据所述感知数据、所述转换矩阵和所述待测感知系统对应的感知算法，确定所述待测感知系统的待测目标信息。

该实施例中，根据感知数据(例如各测试场景的离线视频)，可以获取离线数据对应摄像头的RT矩阵(即转换矩阵)，进而调用视觉算法接口，获取感知数据对应的感知结果(即待测目标信息)，如时间戳、坐标、目标ID、类型等参数。

需要说明的是，现有技术在空间匹配上需要实现多个坐标系之间的转换，流程复杂、标定难度高,导致容易在评价定位精度时出现误差。而本发明实施例在测试不同摄像头对应的视觉算法时，可采用相同的转换矩阵完成图像到真实坐标系的转换，从而减少了因转换矩阵引起的误差，能够更真实地反应出不同视觉算法之间的差异。

情况二：作为一可选实施例，在所述感知设备包括摄像头和第二设备，且所述第二设备为激光雷达或毫米波雷达中的至少一项的情况下，步骤12包括：根据所述感知数据，获取所述摄像头对应的转换矩阵；其中，所述感知数据包括所述摄像头对应的第一感知数据和所述第二设备对应的第二感知数据；根据所述第一感知数据、所述转换矩阵和所述摄像头对应的感知算法，确定第一待测目标信息；以及，根据所述第二感知数据和所述第二设备对应的感知算法，确定第二待测目标信息；根据所述第一待测目标信息和所述第二待测目标信息，确定所述待测感知系统的待测目标信息。

例如，第二设备为毫米波雷达，则确定待测感知系统的待测目标信息的具体过程为：调用视觉算法接口，根据各测试场景的离线视频(即第一感知数据)、离线视频对应相机的RT矩阵(即摄像头对应的转换矩阵)，获取离线视频对应的感知结果；调用雷视融合算法接口，传入视觉感知结果(即第一待测目标信息)，及相同时段的毫米波雷达离线数据(即第二感知数据)，获取雷视融合感知结果(即待测感知系统的待测目标信息)，如时间戳、坐标、目标ID、类型等参数。

该实施例中，通过调用待测感知系统的接口，可以自动化执行大量测试用例(即获取测试数据进行待测感知系统的目标感知信息的确定)，并收集待测感知系统的输出信息，从而结合预设评价准则(例如计算目标定位精度、目标检测召回率、准确率和跟踪成功率等的规则)，对待测感知系统的感知设备的感知能力进行评测。

需要说明的是，本发明是实力可对多种传感器(即感知设备)的感知能力进行评测，支持纯视觉算法、毫米雷达与视觉融合的算法、毫米波雷达目标检测、激光雷达目标检测等路侧感知系统的自动化测试；支持视觉、毫米波雷达、激光雷达的单点测试及多点位融合(例如视觉+毫米波、视觉+激光雷达、视觉+毫米波+激光雷达等)测试，测试数据丰富，测试维度全面，包括单点位、点位间、多点位及全局点位等，能够覆盖单目标、多目标检测，应用范围较广，实用性强。

如图2所示，可选地，所述待测目标信息包括：时间戳、坐标信息和目标ID；所述第一真值信息包括：时间戳和坐标信息；其中，所述根据所述待测目标信息和所述第一真值信息，确定每一所述第一真值信息对应的第一目标感知信息，包括：

步骤一，根据所述第一真值信息的时间戳，从所述待测目标信息中获取第一待测目标信息，所述第一待测目标信息的时间戳与所述第一真值信息的时间戳相同。

该步骤中，可以读取测试数据中的真值数据，提取真值数据中的时间戳与坐标系信息。根据第一真值信息的时间戳，可以匹配同一时间戳的所有待测感知目标(即第一待测目标信息)，假设每一帧感知图像中目标的个数为M

步骤二，判断第一标识列表中是否存在与所述第一待测目标信息的目标ID相同的ID信息，所述第一标识列表是在测试过程中生成的。

这里，第一标识列表可以理解为在测试过程中生成的“黑名单”，即通过测试已排除的ID信息。

该实施例，在进行目标匹配的过程中采用ID属性进行了筛选，且利用ID属性中的时间戳去除噪点，极大限度地减少了误检情况。

步骤三，在判断结果为不存在的情况下，根据所述第一真值信息和所述第一待测目标信息，确定所述第一真值信息的坐标信息和所述第一待测目标信息的坐标信息之间的距离关系信息，所述距离关系信息包括：横向距离和直线距离。

也就是保留黑名单以外的第一待测目标信息，进而从中筛选第一真值信息对应的第一目标感知信息。该过程中，需要计算第t时刻第i个待测感知目标(即第一待测目标信息)和真值目标(即第一真值信息)的横纵向偏差(即横向距离、纵向距离)及直线距离：

其中，直线距离可以通过第一公式计算获得，所述第一公式可以表示为：

横向距离可以通过第二公式计算获得，所述第二公式可以表示为：

纵向距离可以通过第三公式计算获得，所述第三公式可以表示为：

步骤四，根据所述距离关系信息与预配置的阈值信息，确定所述第一真值信息对应的第一目标感知信息；其中，所述阈值信息根据所述感知设备的类型设置，所述阈值信息包括：预设距离区间及其对应的横向距离阈值和直线距离阈值。之后，保存匹配到的所有感知点序列P(即第一目标感知信息)，以及直线距离、横向距离、纵向距离。

需要说明的是，在进行自动化测试前，可将阈值信息写入配置文件，在使用时通过读取配置文件，按设备类型、距离区间属性(即预设距离区间)，获取对应的横向距离阈值和直线距离阈值。这里，可以根据不同感知设备类型的自身特点及感知范围(也即感知设备在不同区间的感知表现)，配置不同的阈值信息，例如分区域、分距离设置不同的横向距离阈值以及直线距离阈值，从而最大限度地减少了匹配时的噪点目标，减少感知算法盲区误差，减少感知点的误匹配与漏匹配现象。

可选地，在所述第一真值信息为所述真值数据中的第一帧的情况下，所述根据所述距离关系信息与预配置的阈值信息，确定所述第一真值信息对应的第一目标感知信息，包括：根据所述距离关系信息与预配置的阈值信息，将满足第一预设条件且所述直线距离最小的所述第一待测目标信息确定为所述第一目标感知信息；其中，所述第一预设条件为：所述横向距离大于或等于所述横向距离阈值，且所述直线距离大于所述直线距离阈值。

该实施例中，在确定所述第一真值信息对应的第一目标感知信息时，第一真值信息为真值数据中的第一帧，此时，可以直接获取满足阈值的、且距离真值最近的感知点，该感知点满足如下条件：

如图3所示，读取配置文件，按设备类型、距离区间属性获取横向距离阈值，表示为序列{value

可选地，在所述第一真值信息不为所述真值数据中的第一帧的情况下，所述根据所述距离关系信息与预配置的阈值信息，确定所述第一真值信息对应的第一目标感知信息，包括：

步骤201：判断所述第一待测目标信息的目标ID与第一目标ID是否相同，所述第一目标ID是在所述第一真值信息为所述真值数据中的第一帧的情况下确定的所述第一目标感知信息的目标ID。

也就是说，在逐帧获取真值数据中的第一真值信息进行匹配过程中，若第一帧匹配成功，则从第二帧开始，需要先判断第一待测目标信息的目标ID(即

步骤202：根据判断结果、所述距离关系信息与预配置的阈值信息，确定所述第一真值信息对应的第一目标感知信息。

作为一可选实施例，步骤202具体可以包括以下至少一项：

一，在判断结果为相同的情况下，将满足第一预设条件的所述第一待测目标信息确定为所述第一目标感知信息，所述第一预设条件为：所述横向距离小于或等于所述横向距离阈值，且所述直线距离小于所述直线距离阈值。

具体而言，若第一待测目标信息的目标ID(假设表示为

二，在判断结果为不相同的情况下，将满足第二预设条件且所述直线距离最小的所述第一待测目标信息确定为所述第一目标感知信息，所述第二预设条件为：所述横向距离小于或等于所述横向距离阈值，且所述直线距离小于或等于所述直线距离阈值，且所述第一待测目标信息的时间戳与所述第一真值信息的时间戳之间的时间差的绝对值小于预设时间。

具体而言，若匹配不到与第一目标ID具有相同ID的感知点(即第一待测目标信息的目标ID与第一目标ID均不同)，则获取

需要说明的是，在评测各待测感知系统输出的轨迹与真值数据的匹配程度时，需要对时间和空间同步处理。本发明实施例中，在空间位置上，将不同的待测感知系统输出转化为真实坐标，从而实现各传感器(即感知设备)与真值坐标在空间上的匹配；在时间上，由于传感器采集频率不同，无法实现同步采集，本发明实施例根据真值数据所携带的时间戳，对不同感知设备输出的目标进行相似时间上的数据匹配，从而实现时间上的匹配。此外，本发明实施例还针对视觉感知测试，基于同一转换矩阵生成真实坐标，减少不同算法之间的矩阵误差。

可选地，在所述将满足第一预设条件的所述第一待测目标信息确定为所述第一目标感知信息之后，所述方法还包括：将不满足所述第一预设条件的所述第一待测目标信息中的目标ID存入所述第一标识列表。

可选地，所述测试结果信息包括以下至少一项：目标定位精度、目标检测召回率、准确率和跟踪成功率。

本发明实施例中，目标定位精度、目标检测召回率、准确率和跟踪成功率等可作为对待测感知系统的评价指标，通过获取测试数据、调用感知算法等进行目标匹配，最终根据执行结果输出评价指标，例如可以生成完善的测试报告，自动化输出测试报告，从而将对待测感知系统的感知能力的评测结果展示给用户，还可以重点突出待测感知系统感知能力表现较差的测试场景。

该实施例中，可对被测感知系统的感知设备的目标检测及跟踪算法进行测试分析，输出量化指标，便于系统、客观评价其感知能力，可规模化测试不同测试场景下被测感知系统的算法能力，操作简便，测试结果精确。

具体的，测试结果信息可以包括：各驾驶场景下的ID变换次数、准确率、目标检测召回率、漏检率、误检率、横纵向偏差(即横向距离、纵向距离)，以及最终Test Case覆盖率等多种指标。以下对部分指标进行简单解释说明：

ID变换次数，即统计待测感知系统感知召回的全部目标(序列P)的ID数量；其中，ID数量越小，则表示感知算法的追踪效果越好。

召回率：通过待测感知系统输出的感知目标数量(序列P)统计；其中，召回率＝感知召回目标总数/真值总数；

准确率：识别准确的判定标准为召回的目标与真值目标的类型、位置一致，则判定为识别准确；其中，准确率＝识别准确总数/待测感知系统感知召回总数；

目标定位精度：根据真值目标与车道起点的不同距离区间(例如0-50m、50-100m、100-150m、>150m)，进行测试数据提取，并计算同一时刻t的横纵向偏差(即横向距离、纵向距离)，按距离区间分别统计横纵向偏差的平均值。

本发明实施例，根据测试数据，能够自动调用对应的感知算法，获得待测感知系统的待测目标信息，进而根据该待测目标信息与真值数据，分析获得目标感知信息，能够自动评测待测感知系统的感知能力(即目标检测、目标追踪能力等)，极大限度的提高了测试效率和测试精度。

第二实施例

如图4所示，本发明实施例提供一种感知系统的测试装置400，包括：

数据获取模块401，用于获取测试数据，所述测试数据包括：感知数据及其对应的真值数据，所述感知数据是待测感知系统的感知设备进行路侧感知采集的；

第一处理模块402，用于根据所述感知数据和所述待测感知系统对应的感知算法，确定所述待测感知系统的待测目标信息；

第二处理模块403，用于根据所述真值数据，从所述待测目标信息中确定所述待测感知系统的目标感知信息；

第三处理模块404，用于根据所述目标感知信息，确定所述待测感知系统的测试结果信息。

该实施例中，根据测试数据，能够自动调用对应的感知算法，获得待测感知系统的待测目标信息，进而根据该待测目标信息与真值数据，分析获得目标感知信息，实现了对感知系统的感知能力的自动测试，提高了测试效率，节省了测试所需的人力成本和时间成本，减少了人为分析带来的误差，测试结果信息更加客观可信。

可选地，所述数据获取模块401包括：

获取子模块，用于利用测试车辆携带第一设备按预设路径行驶，通过所述第一设备采集获得所述真值数据，以及，在所述测试车辆按所述预设路径行驶的过程中，通过所述待测感知系统的所述感知设备进行路侧感知，获得所述感知数据；

其中，所述第一设备包括高精度定位设备。

可选地，在所述感知设备为摄像头的情况下，所述第一处理模块402包括：

第一处理子模块，用于根据所述感知数据，获取所述摄像头对应的转换矩阵；

第二处理子模块，用于根据所述感知数据、所述转换矩阵和所述待测感知系统对应的感知算法，确定所述待测感知系统的待测目标信息。

可选地，在所述感知设备包括摄像头和第二设备，且所述第二设备为激光雷达或毫米波雷达中的至少一项的情况下，所述第一处理模块402包括：

第三处理子模块，用于根据所述感知数据，获取所述摄像头对应的转换矩阵；其中，所述感知数据包括所述摄像头对应的第一感知数据和所述第二设备对应的第二感知数据；

第四处理子模块，用于根据所述第一感知数据、所述转换矩阵和所述摄像头对应的感知算法，确定第一待测目标信息；以及，根据所述第二感知数据和所述第二设备对应的感知算法，确定第二待测目标信息；

第五处理子模块，用于根据所述第一待测目标信息和所述第二待测目标信息，确定所述待测感知系统的待测目标信息。

可选地，所述第二处理模块403包括：

第六处理子模块，用于按照采集所述真值数据的第一设备的输出频率，逐帧获取所述真值数据中的第一真值信息；

第七处理子模块，用于根据所述待测目标信息和所述第一真值信息，确定每一所述第一真值信息对应的第一目标感知信息；

第八处理子模块，用于将所述第一目标感知信息确定为所述待测感知系统的目标感知信息。

可选地，所述待测目标信息包括：时间戳、坐标信息和目标ID；所述第一真值信息包括：时间戳和坐标信息；

其中，所述第七处理子模块包括：

第一处理单元，用于根据所述第一真值信息的时间戳，从所述待测目标信息中获取第一待测目标信息，所述第一待测目标信息的时间戳与所述第一真值信息的时间戳相同；

第二处理单元，用于判断第一标识列表中是否存在与所述第一待测目标信息的目标ID相同的ID信息，所述第一标识列表是在测试过程中生成的；

第三处理单元，用于在判断结果为不存在的情况下，根据所述第一真值信息和所述第一待测目标信息，确定所述第一真值信息的坐标信息和所述第一待测目标信息的坐标信息之间的距离关系信息，所述距离关系信息包括：横向距离和直线距离；

第四处理单元，用于根据所述距离关系信息与预配置的阈值信息，确定所述第一真值信息对应的第一目标感知信息；

其中，所述阈值信息根据所述感知设备的类型设置，所述阈值信息包括：预设距离区间及其对应的横向距离阈值和直线距离阈值。

可选地，所述第四处理单元包括：

第一处理子单元，用于根据所述距离关系信息与预配置的阈值信息，将满足第一预设条件且所述直线距离最小的所述第一待测目标信息确定为所述第一目标感知信息；

其中，所述第一预设条件为：所述横向距离大于或等于所述横向距离阈值，且所述直线距离大于所述直线距离阈值。

可选地，所述第四处理单元包括：

第二处理子单元，用于判断所述第一待测目标信息的目标ID与第一目标ID是否相同，所述第一目标ID是在所述第一真值信息为所述真值数据中的第一帧的情况下确定的所述第一目标感知信息的目标ID；

第三处理子单元，用于根据判断结果、所述距离关系信息与预配置的阈值信息，确定所述第一真值信息对应的第一目标感知信息。

可选地，所述第三处理子单元包括：

第四处理子单元，用于在判断结果为相同的情况下，将满足第一预设条件的所述第一待测目标信息确定为所述第一目标感知信息，所述第一预设条件为：所述横向距离小于或等于所述横向距离阈值，且所述直线距离小于所述直线距离阈值；

第五处理子单元，用于在判断结果为不相同的情况下，将满足第二预设条件且所述直线距离最小的所述第一待测目标信息确定为所述第一目标感知信息，所述第二预设条件为：所述横向距离小于或等于所述横向距离阈值，且所述直线距离小于或等于所述直线距离阈值，且所述第一待测目标信息的时间戳与所述第一真值信息的时间戳之间的时间差的绝对值小于预设时间。

可选地，所述第三处理子单元还包括：

第六处理子单元，用于将不满足所述第一预设条件的所述第一待测目标信息中的目标ID存入所述第一标识列表。

可选地，所述测试结果信息包括以下至少一项：目标定位精度、目标检测召回率、准确率和跟踪成功率。

本发明的第二实施例是与上述第一实施例的方法对应的，上述第一实施例中的所有实现手段均适用于该感知系统的测试装置的实施例中，也能达到相同的技术效果。

第三实施例

为了更好的实现上述目的，如图5所示，本发明的第三实施例还提供了一种测试设备，包括：

处理器500；以及通过总线接口与所述处理器500相连接的存储器520，所述存储器520用于存储所述处理器500在执行操作时所使用的程序和数据，处理器500调用并执行所述存储器520中所存储的程序和数据。

其中，收发机510与总线接口连接，用于在处理器500的控制下接收和发送数据；处理器500用于读取存储器520中的程序执行以下步骤：

获取测试数据，所述测试数据包括：感知数据及其对应的真值数据，所述感知数据是待测感知系统的感知设备进行路侧感知采集的；

根据所述感知数据和所述待测感知系统对应的感知算法，确定所述待测感知系统的待测目标信息；

根据所述真值数据，从所述待测目标信息中确定所述待测感知系统的目标感知信息；

根据所述目标感知信息，确定所述待测感知系统的测试结果信息。

该实施例中，根据测试数据，能够自动调用对应的感知算法，获得待测感知系统的待测目标信息，进而根据该待测目标信息与真值数据，分析获得目标感知信息，实现了对感知系统的感知能力的自动测试，提高了测试效率，节省了测试所需的人力成本和时间成本，减少了人为分析带来的误差，测试结果信息更加客观可信。

其中，在图5中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器500代表的一个或多个处理器和存储器520代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发机510可以是多个元件，即包括发送机和收发机，提供用于在传输介质上与各种其他装置通信的单元。针对不同的终端，用户接口530还可以是能够外接内接需要设备的接口，连接的设备包括但不限于小键盘、显示器、扬声器、麦克风、操纵杆等。处理器500负责管理总线架构和通常的处理，存储器520可以存储处理器500在执行操作时所使用的数据。

可选地，所述处理器500在获取测试数据时，具体用于：

利用测试车辆携带第一设备按预设路径行驶，通过所述第一设备采集获得所述真值数据，以及，

在所述测试车辆按所述预设路径行驶的过程中，通过所述待测感知系统的所述感知设备进行路侧感知，获得所述感知数据；

其中，所述第一设备包括高精度定位设备。

可选地，在所述感知设备为摄像头的情况下，所述处理器500在根据所述感知数据和所述待测感知系统对应的感知算法，确定所述待测感知系统的待测目标信息时，具体用于：

根据所述感知数据，获取所述摄像头对应的转换矩阵；

根据所述感知数据、所述转换矩阵和所述待测感知系统对应的感知算法，确定所述待测感知系统的待测目标信息。

可选地，在所述感知设备包括摄像头和第二设备，且所述第二设备为激光雷达或毫米波雷达中的至少一项的情况下，所述处理器500在根据所述感知数据和所述待测感知系统对应的感知算法，确定所述待测感知系统的待测目标信息时，具体用于：

根据所述感知数据，获取所述摄像头对应的转换矩阵；其中，所述感知数据包括所述摄像头对应的第一感知数据和所述第二设备对应的第二感知数据；

根据所述第一感知数据、所述转换矩阵和所述摄像头对应的感知算法，确定第一待测目标信息；以及，根据所述第二感知数据和所述第二设备对应的感知算法，确定第二待测目标信息；

根据所述第一待测目标信息和所述第二待测目标信息，确定所述待测感知系统的待测目标信息。

可选地，所述处理器500在根据所述真值数据，从所述待测目标信息中确定所述待测感知系统的目标感知信息时，具体用于：

按照采集所述真值数据的第一设备的输出频率，逐帧获取所述真值数据中的第一真值信息；

根据所述待测目标信息和所述第一真值信息，确定每一所述第一真值信息对应的第一目标感知信息；

将所述第一目标感知信息确定为所述待测感知系统的目标感知信息。

可选地，所述待测目标信息包括：时间戳、坐标信息和目标ID；所述第一真值信息包括：时间戳和坐标信息；

其中，所述处理器500在根据所述待测目标信息和所述第一真值信息，确定每一所述第一真值信息对应的第一目标感知信息时，具体用于：

根据所述第一真值信息的时间戳，从所述待测目标信息中获取第一待测目标信息，所述第一待测目标信息的时间戳与所述第一真值信息的时间戳相同；

判断第一标识列表中是否存在与所述第一待测目标信息的目标ID相同的ID信息，所述第一标识列表是在测试过程中生成的；

在判断结果为不存在的情况下，根据所述第一真值信息和所述第一待测目标信息，确定所述第一真值信息的坐标信息和所述第一待测目标信息的坐标信息之间的距离关系信息，所述距离关系信息包括：横向距离和直线距离；

根据所述距离关系信息与预配置的阈值信息，确定所述第一真值信息对应的第一目标感知信息；

其中，所述阈值信息根据所述感知设备的类型设置，所述阈值信息包括：预设距离区间及其对应的横向距离阈值和直线距离阈值。

可选地，在所述第一真值信息为所述真值数据中的第一帧的情况下，所述处理器500在根据所述距离关系信息与预配置的阈值信息，确定所述第一真值信息对应的第一目标感知信息时，具体用于：

根据所述距离关系信息与预配置的阈值信息，将满足第一预设条件且所述直线距离最小的所述第一待测目标信息确定为所述第一目标感知信息；

其中，所述第一预设条件为：所述横向距离大于或等于所述横向距离阈值，且所述直线距离大于所述直线距离阈值。

可选地，在所述第一真值信息不为所述真值数据中的第一帧的情况下，所述处理器500在根据所述距离关系信息与预配置的阈值信息，确定所述第一真值信息对应的第一目标感知信息时，具体用于：

判断所述第一待测目标信息的目标ID与第一目标ID是否相同，所述第一目标ID是在所述第一真值信息为所述真值数据中的第一帧的情况下确定的所述第一目标感知信息的目标ID；

根据判断结果、所述距离关系信息与预配置的阈值信息，确定所述第一真值信息对应的第一目标感知信息。

可选地，所述处理器500在根据判断结果、所述距离关系信息与预配置的阈值信息，确定所述第一真值信息对应的第一目标感知信息时，具体用于：

在判断结果为相同的情况下，将满足第一预设条件的所述第一待测目标信息确定为所述第一目标感知信息，所述第一预设条件为：所述横向距离小于或等于所述横向距离阈值，且所述直线距离小于所述直线距离阈值；

在判断结果为不相同的情况下，将满足第二预设条件且所述直线距离最小的所述第一待测目标信息确定为所述第一目标感知信息，所述第二预设条件为：所述横向距离小于或等于所述横向距离阈值，且所述直线距离小于或等于所述直线距离阈值，且所述第一待测目标信息的时间戳与所述第一真值信息的时间戳之间的时间差的绝对值小于预设时间。

可选地，所述处理器500还用于：

将不满足所述第一预设条件的所述第一待测目标信息中的目标ID存入所述第一标识列表。

可选地，所述测试结果信息包括以下至少一项：目标定位精度、目标检测召回率、准确率和跟踪成功率。

本发明提供的测试设备，根据测试数据，能够自动调用对应的感知算法，获得待测感知系统的待测目标信息，进而根据该待测目标信息与真值数据，分析获得目标感知信息，能够自动评测待测感知系统的感知能力(即目标检测、目标追踪能力等)，极大限度的提高了测试效率和测试精度。

本领域技术人员可以理解，实现上述实施例的全部或者部分步骤可以通过硬件来完成，也可以通过计算机程序来指示相关的硬件来完成，所述计算机程序包括执行上述方法的部分或者全部步骤的指令；且该计算机程序可以存储于一可读存储介质中，存储介质可以是任何形式的存储介质。

另外，本发明具体实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的第一实施例中的方法的步骤。且能达到相同的技术效果，为避免重复，这里不再赘述。

此外，需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行，某些步骤可以并行或彼此独立地执行。对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。

因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。