一种传感器模型性能评估方法、装置、设备及存储介质

技术领域

本发明实施例涉及仿真技术，尤其涉及一种传感器模型性能评估方法、装置、设备及存储介质。

背景技术

通过日常的侦察、技术研究和生活实践，发现利用仿真技术进行完全自动驾驶(Fully Automated Driving，FAD)的测试是一种既省时又经济的方法。

仿真系统一般由仿真环境、传感器模型等组成。传感器模型通常由物理模型和对应的用于数据分析处理的算法构成。物理模型对仿真器输入的环境数据进行加工处理，输出原始数据，算法通过对原始数据进行分析处理，输出环境感知结果数据。比如，传感器模型可以是相机模型，其中的物理模型输出图像数据，算法对图像数据进行实体对象识别后输出识别出的实体对象列表；再比如，传感器模型还可以是激光雷达模型，激光雷达的物理模型输出点云数据，算法对点云数据进行实体对象识别后输出识别出的实体对象列表。上述实体对象列表中包含仿真环境中存在的实体对象。

为了确认仿真系统的精准度，需要对传感器模型中的物理模型的性能进行有效评估，如何评估是目前需要解决的一个问题。

发明内容

本发明提供一种传感器模型性能评估方法、装置、设备及存储介质，以实现对传感器模型中的物理模型的性能进行有效评估。

第一方面，本发明实施例提供了一种传感器模型性能评估方法，包括：

获取传感器的物理模型输出的原始数据；

将所述原始数据分别输入至少两种算法，以使各算法分别对所述原始数据进行分析处理；

获取所述至少两种算法分别输出的环境感知结果数据；

根据获取的所述环境感知结果数据和环境真值数据，确定所述物理模型的性能评估数据。

上述申请中的一个实施例具有如下优点或有益效果：通过利用至少两种算法分别对传感器的物理模型输出的原始数据进行分析处理，并根据每种算法输出的环境感知结果数据可以对物理模型的性能进行有效评估。因为利用至少两种算法输出的环境感知结果数据对物理模型的性能进行评估，相对于利用一种算法输出的环境感知结果数据对物理模型的性能进行评估，可以尽量避免由于算法本身原因对物理模型的性能评估所造成的影响，使得性能评估数据能够更加真实的反映物理模型的性能，进而实现了对物理模型的性能的有效评估。本实施例的方案尤其适用于在无法获取到传感器硬件的生产者采用的数据分析处理算法时，对传感器的物理模型的性能进行有效评估，从而评估出物理模型的真实性能情况。

可选地，根据获取的所述环境感知结果数据和环境真值数据，确定所述物理模型的性能评估数据，包括：

通过将各所述算法输出的所述环境感知结果数据分别与环境真值数据进行比对，确定各所述算法分别输出的环境感知结果数据中正确的环境感知结果数据；

根据所述正确的环境感知结果数据和环境真值数据，确定所述物理模型的性能评估数据。

上述申请中的一个实施例具有如下优点或有益效果：通过将每种算法输出的环境感知结果数据分别与环境真值数据进行比对，可以确定出每种算法输出的正确的环境感知结果数据，从而根据每种算法输出的正确的环境感知结果数据来评估物理模型的性能，能够获得较为准确的性能评估结果。

可选地，根据所述正确的环境感知结果数据和环境真值数据，确定所述物理模型的性能评估数据，包括：

确定各所述算法分别输出的正确的环境感知结果数据的交集；

将所述交集中的环境感知结果数据占环境真值数据的比例数据，确定为所述物理模型的性能评估数据。

上述申请中的一个实施例具有如下优点或有益效果：通过确定各算法输出的正确的环境感知结果数据的交集，可以获得物理模型在任意一种算法下均能获得的正确的环境感知结果，并将该交集中的环境感知结果数据占环境真值数据的比例数据，确定为物理模型的性能评估数据，该性能评估数据表征的是物理模型近似于在任意算法情况下能确保提供的最低性能，进而可以通过对不同的物理模型来进行同样的评估，以筛选出在不考虑算法因素的情况下性能表现最好的物理模型。

可选地，根据所述正确的环境感知结果数据和环境真值数据，确定所述物理模型的性能评估数据，包括：

确定各所述算法分别输出的正确的环境感知结果数据，占环境真值数据的比例数据；

根据各所述比例数据，确定所述物理模型的性能评估数据。

上述申请中的一个实施例具有如下优点或有益效果：通过分别确定每种算法输出的正确的环境感知结果数据，占环境真值数据的比例数据，利用该比例数据来评估物理模型的性能，能够获得较为准确的性能评估结果。

可选地，根据各所述比例数据，确定所述物理模型的性能评估数据，包括：

将各所述比例数据的平均值，确定为所述物理模型的性能评估数据；或者，

将各所述比例数据中的最小比例数据，确定为所述物理模型的性能评估数据。

上述申请中的一个实施例具有如下优点或有益效果：通过将各比例数据的平均值确定为物理模型的性能评估数据，考虑了不同算法对物理模型的性能产生的影响，进而可以基于该性能评估数据衡量出物理模型在任意算法下的平均性能表现。或者，通过将各所述比例数据中的最小比例数据确定为物理模型的性能评估数据，可以基于该性能评估数据衡量出物理模型在任意算法下的最低性能表现，从而避免物理模型的性能评估受到算法自身的影响，使得性能评估数据更具有参考价值。

可选地，所述方法还包括：

通过将各所述算法分别输出的环境感知结果数据进行比对，确定各所述算法分别输出的环境感知结果数据之间的相似度；

发出包含所述相似度的提示信息，以使用户根据所述相似度确定所述性能评估数据的置信度。

上述申请中的一个实施例具有如下优点或有益效果：通过确定各种算法输出的环境感知结果数据之间的相似度，并向用户发出包含相似度的提示信息，从而可以提示用户基于相似度确定性能评估数据的置信度，使得用户可以更好地了解性能评估数据的参考价值程度。

可选地，在确定所述物理模型的性能评估数据之后，所述方法还包括：

获取在对搭载所述物理模型的车辆进行驾驶测试时，所述车辆在至少一个驾驶性能角度的性能评估数据；

根据所述物理模型的性能评估数据和所述至少一个驾驶性能角度的性能评估数据，确定所述车辆的驾驶表现评估数据。

上述申请中的一个实施例具有如下优点或有益效果：通过对搭载有物理模型的车辆进行驾驶测试，获得车辆在至少一个驾驶性能角度的性能评估数据，并根据物理模型的性能评估数据和各个驾驶性能角度的性能评估数据，从而实现了基于物理模型的性能评估数据对车辆的驾驶表现进行综合评估。

可选地，根据所述物理模型的性能评估数据和所述至少一个驾驶性能角度的性能评估数据，确定所述车辆的驾驶表现评估数据，包括：

根据所述物理模型的性能评估数据、所述物理模型的性能评估数据对应的权重、各所述驾驶性能角度的性能评估数据以及各所述驾驶性能角度的性能评估数据分别对应的权重，确定所述车辆的驾驶表现评估数据。

上述申请中的一个实施例具有如下优点或有益效果：采用本方案，可以通过利用物理模型的性能评估数据的权重和各个驾驶性能角度的性能评估数据的权重，来调整物理模型的性能评估数据和每个驾驶性能角度的性能评估数据，对车辆的驾驶性能的影响程度，从而可以更加准确地确定出车辆的驾驶表现情况。

可选地，所述传感器的物理模型为相机的物理模型，所述原始数据为图像数据，所述环境感知结果数据为模型感知到的实体对象的列表，所述环境真值数据为环境中真实存在的实体对象的列表；或者，

所述传感器的物理模型为雷达的物理模型，所述原始数据为点云数据，所述环境感知结果数据为模型感知到的实体对象的列表，所述环境真值数据为环境中真实存在的实体对象的列表。

上述申请中的一个实施例具有如下优点或有益效果：本实施例可以对相机的物理模型或者雷达的物理模型的性能进行有效评估。

第二方面，本发明实施例还提供了一种传感器模型性能评估装置，包括：

原始数据获取模块，用于获取传感器的物理模型输出的原始数据；

原始数据分析处理模块，用于将所述原始数据分别输入至少两种算法，以使各算法分别对所述原始数据进行分析处理；

环境感知结果数据获取模块，用于获取所述至少两种算法分别输出的环境感知结果数据；

性能评估数据确定模块，用于根据获取的所述环境感知结果数据和环境真值数据，确定所述物理模型的性能评估数据。

第三方面，本发明实施例还提供了一种设备，所述设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所提供的传感器模型性能评估方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的传感器模型性能评估方法。

附图说明

图1是本发明实施例一提供的一种传感器模型性能评估方法的流程图；

图2是本发明实施例一所涉及的一种传感器模型性能评估过程的示例；

图3是本发明实施例二提供的一种传感器模型性能评估方法的流程图；

图4是本发明实施例三提供的一种传感器模型性能评估方法的流程图；

图5是本发明实施例四提供的一种传感器模型性能评估方法的流程图；

图6是本发明实施例五提供的一种传感器模型性能评估方法的流程图；

图7是本发明实施例六提供的一种传感器模型性能评估装置的结构示意图；

图8是本发明实施例七提供的一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种传感器模型性能评估方法的流程图，本实施例可适用于对传感器模型中的物理模型进行性能评估的情况，该方法可以由传感器模型性能评估装置来执行，该装置可以由软件和/或硬件的方式来实现，集成于具有仿真功能的设备中。

在介绍本发明实施例提供的传感器模型性能评估方法之前，先对本发明实施例的应用场景进行简单说明。仿真系统可以由仿真环境和传感器模型组成。传感器模型可以由物理模型和用于数据分析处理的算法构成。其中，由仿真器实现环境仿真。传感器模型中的物理模型可以通过仿真模拟出传感器硬件功能，以还原出传感器硬件的物理参数。通常，传感器硬件对应的用于数据分析处理的算法是由传感器硬件的生产者自己设计的，并且可以将算法转化为逻辑电路集成在传感器硬件中，从而往往无法获得生产者自行设计的算法的源代码，使得在仿真系统中无法通过仿真还原出传感器生产者设计的算法。针对于此，本实施例尤其可以在仿真系统中无法还原传感器硬件内部的算法时，对传感器的物理模型的性能进行有效评估，从而评估出传感器的物理模型的真实性能情况。

如图1所示，本实施例提供的传感器模型性能评估方法具体包括以下步骤：

S110、获取传感器的物理模型输出的原始数据。

其中，传感器可以是指用于感知周围环境信息的硬件设备。例如，传感器可以是但不限于相机和雷达。其中，雷达可以包括但不限于激光雷达和毫米波雷达。激光雷达可以包括旋转激光雷达和固态激光雷达。相机中的摄像头可以包括长焦摄像头和广角摄像头。长焦摄像头的焦距长，视角小，适于拍摄远处物体的图像。广角摄像头的焦距很短，视角较宽，景深较深，适于拍摄较大场景的图像。传感器的物理模型可以是基于传感器硬件的物理参数模拟出的硬件虚拟模型，用于仿真实际的传感器的硬件功能。原始数据可以是指物理模型对仿真器输入的环境数据进行加工处理后获得的原生数据。例如，在传感器的物理模型为相机的物理模型时，输出的原始数据可以为图像数据。在传感器的物理模型为雷达的物理模型时，输出的原始数据为点云数据。例如，点云数据可以包括在三维坐标系下的一组位置向量的集合，其还可以包括每个位置点的RGB(Red、Green、Blue)颜色信息，灰度值信息和深度信息等。

S120、将原始数据分别输入至少两种算法，以使各算法分别对原始数据进行分析处理。

其中，算法可以是指对环境感知数据进行分析处理的通用算法。示例性地，算法可以是指常见的目标检测类算法，以检测识别出周围环境中的各种物体信息。例如，目标检测类算法可以是基于神经网络模型的物体识别算法，比如区域卷积神经网络模型(Region-Convolutional Neural Networks，R-CNN)算法、快速区域卷积神经网络模型(Faster R-CNN)算法、单发多框模型(Single Shot MultiBox Detector，SSD)算法、YOLO(You OnlyLook Once)算法、RetinaNet算法、基于点云的端到端3D物体检测网络模型(VoxelNet)算法、基于深度学习的3D点云分类和分割模型(FPointNet)算法和基于FPGA的恒虚警(CFAR)算法等。

具体地，可以基于业务需求和传感器的类别，从现有的通用算法中选取出相匹配的至少两种对环境感知数据进行分析处理的算法，并利用每种算法对物理模型输出的原始数据进行分析处理，从而可以利用现有的至少两种已知算法来代替传感器内部真实的算法。

需要说明的是，由于所利用的算法并不是传感器内部真实的算法，从而可能会存在因算法本身原因而不是物理模型原因而导致物理模型性能低下的情况，因此无法准确地评估出物理模型的性能，从而需要利用至少两种算法对物理模型输出的原始数据进行分析处理，相对于利用一种算法对物理模型输出的原始数据进行分析处理，可以尽量避免由于算法本身原因对物理模型的性能评估所造成的影响，进而保证物理模型性能评估的准确性。

S130、获取至少两种算法分别输出的环境感知结果数据。

其中，环境感知结果数据可以是指传感器的物理模型对仿真器输入的环境数据进行加工处理所获得的环境感知结果。例如，在传感器的物理模型为相机的物理模型或者雷达的物理模型时，输出的环境感知结果数据可以为模型感知到的实体对象的列表。其中，实体对象可以是指仿真环境中真实存在的任意物体，比如人体、车辆、树木等。实体对象的列表可以包括以表格方式存储的模型感知到的所有实体对象的信息。

具体地，每种算法在对物理模型输出的原始数据进行分析处理后，可以输出环境感知结果数据。需要说明的是，不同算法输出的环境感知结果数据可能相同，也可能不同。例如，一种算法输出的环境感知结果数据包括：行人、车辆和路灯；另一种算法输出的环境感知结果数据包括：行人和车辆。当不同算法输出的环境感知结果数据之间的相似度越高时，表明物理模型在不同算法下的感知能力差异越小，从而输出的环境感知结果数据更能真实反映出物理模型的性能情况，使得性能评估更为准确。

S140、根据获取的环境感知结果数据和环境真值数据，确定物理模型的性能评估数据。

其中，环境真值数据可以包括仿真环境中真实存在的所有物体的信息。例如，在传感器的物理模型为相机的物理模型或者雷达的物理模型时，环境真值数据可以为环境中真实存在的实体对象的列表。环境真值数据可以包括以表格方式存储的环境中真实存在的所有实体对象的信息。性能评估数据可以是指用于评估物理模型性能高低的指标。例如，性能评估数据可以包括物理模型的感知准确率等。

具体地，本实施例可以基于环境真值数据，对各种算法输出的环境感知结果数据进行对比分析，确定出在每种算法下物理模型的性能表现，并基于各种算法下的性能表现，综合确定出在任意算法下物理模型的性能评估数据，从而可以避免选取的算法本身对物理模型的性能所造成的影响，使得性能评估数据所表征的物理模型的性能更加接近于物理模型的真实性能情况，进而在仿真系统中无法还原传感器内部的算法时，可以利用至少两种通用的算法对传感器的物理模型进行性能评估，保证了物理模型性能评估的准确性。

图2给出了一种传感器模型性能评估过程的示例。如图2所示，传感器模型性能评估过程可以为：在构建出仿真环境和传感器模型中的物理模型后，可以通过仿真器将环境数据输入至物理模型中，获得物理模型输出的原始数据，并将该原始数据分别输入至少两种预先选取的通用的算法中，使得每个算法对原始数据进行分析处理，并输出相应的环境感知结果数据。根据仿真环境对应的环境真值数据和各个环境感知结果数据进行评估指标的确定，从而可以获得物理模型的性能评估数据，实现了物理模型性能的有效评估，进而可以准确地选择出性能更佳的物理模型。

本实施例的技术方案，通过利用至少两种算法分别对传感器的物理模型输出的原始数据进行分析处理，并根据每种算法输出的环境感知结果数据可以对物理模型的性能进行有效评估。因为利用至少两种算法输出的环境感知结果数据对物理模型的性能进行评估，相对于利用一种算法输出的环境感知结果数据对物理模型的性能进行评估，可以尽量避免由于算法本身原因对物理模型的性能评估所造成的影响，使得性能评估数据能够更加真实的反映物理模型的性能，进而实现了对物理模型的性能的有效评估。本实施例的方案尤其适用于在无法获取到传感器硬件的生产者采用的数据分析处理算法时，对传感器的物理模型的性能进行有效评估，从而评估出物理模型的真实性能情况。

在上述技术方案的基础上，在S140中确定物理模型的性能评估数据时或者确定物理模型的性能评估数据之后，该方法还可以包括：通过将各算法分别输出的环境感知结果数据进行比对，确定各算法分别输出的环境感知结果数据之间的相似度；发出包含相似度的提示信息，以使用户根据相似度确定性能评估数据的置信度。

其中，相似度可以是指各种算法输出的环境感知结果数据之间的相似程度，其可以用于反映出获取的性能评估数据的参考价值程度。例如，各算法对应的环境感知结果数据之间的相似度越高，则表明输出的每个环境感知结果数据受到算法本身原因的影响越小，此时性能评估数据越能反映出物理模型的真实性能情况，使得性能评估数据的参考价值程度越高。置信度可以是指确定出的物理模型的性能评估数据可以反映出的物理模型性能的真实程度。当各算法输出的环境感知结果数据之间的相似度越高时，性能评估数据的置信度也越高。

具体地，可以基于相似度计算算法，确定出各种算法分别输出的环境感知结果数据之间的相似度。其中，相似度计算算法可以包括但不限于欧氏距离算法、曼哈顿距离算法和余弦相似度算法。本实施例还可以通过向用户发出包含相似度的提示信息，提示用户基于相似度确定出物理模型的性能评估数据的置信度，使得用户可以更好地了解性能评估数据的参考价值程度，提高用户评估体验。

实施例二

图3为本发明实施例二提供的一种传感器模型性能评估方法的流程图，本实施例在上述实施例的基础上，对“根据获取的环境感知结果数据和环境真值数据，确定物理模型的性能评估数据”进行了优化。其中与上述实施例相同或相应的术语的解释在此不再赘述。

参见图3，本实施例提供的传感器模型性能评估方法具体包括以下步骤：

S210、获取传感器的物理模型输出的原始数据。

S220、将原始数据分别输入至少两种算法，以使各算法分别对原始数据进行分析处理。

S230、获取至少两种算法分别输出的环境感知结果数据。

S240、通过将各算法输出的环境感知结果数据分别与环境真值数据进行比对，确定各算法分别输出的环境感知结果数据中正确的环境感知结果数据。

具体地，针对每种算法输出的环境感知结果数据而言，将环境感知结果数据与环境真值数据进行比对，若环境感知结果数据中的某个子数据包含在环境真值数据中，则可以确定该子数据是正确的环境感知结果数据，否则是错误的环境感知结果数据，从而可以确定出每种算法输出的环境感知结果数据中所有正确的环境感知结果数据。例如，环境真值数据包括：行人、车辆和路灯，某个算法输出的环境感知结果数据包括：行人、车辆和树木，则可以确定出该算法输出的正确的环境感知结果数据包括行人和车辆。由于每种算法针对的是同一仿真环境，从而可以基于算法输出的正确的环境感知结果数据的数量来衡量出在每种算法下物理模型的感知准确度。例如，若算法输出的正确的环境感知结果数据的数量越多，则在该算法下物理模型的感知准确度也越高。

S250、根据正确的环境感知结果数据和环境真值数据，确定物理模型的性能评估数据。

具体地，通过根据每种算法输出的正确的环境感知结果数据和环境真值数据，可以综合评估出物理模型的性能评估数据，使得性能评估数据所表征的物理模型的性能更加接近于物理模型的真实性能情况，提高性能评估结果的准确性。

本实施例的技术方案，通过将每种算法输出的环境感知结果数据分别与环境真值数据进行比对，可以确定出每种算法输出的正确的环境感知结果数据，从而根据每种算法输出的正确的环境感知结果数据来评估物理模型的性能，能够获得较为准确的性能评估结果。

实施例三

图4为本发明实施例三提供的一种传感器模型性能评估方法的流程图，本实施例在上述实施例二的基础上，对“根据正确的环境感知结果数据和环境真值数据，确定物理模型的性能评估数据”进行了优化。其中与上述各实施例相同或相应的术语的解释在此不再赘述。

参见图4，本实施例提供的传感器模型性能评估方法具体包括以下步骤：

S310、获取传感器的物理模型输出的原始数据。

S320、将原始数据分别输入至少两种算法，以使各算法分别对原始数据进行分析处理。

S330、获取至少两种算法分别输出的环境感知结果数据。

S340、通过将各算法输出的环境感知结果数据分别与环境真值数据进行比对，确定各算法分别输出的环境感知结果数据中正确的环境感知结果数据。

S350、确定各算法分别输出的正确的环境感知结果数据的交集。

具体地，可以通过对各种算法输出的正确的环境感知结果数据进行对比，确定出每种算法均能识别出的正确的环境感知结果数据，从而获得各种算法输出的正确的环境感知结果数据的交集。例如，一种算法输出的正确的环境感知结果数据包括：行人、车辆和路灯；另一种算法输出的正确的环境感知结果数据包括：行人、车辆和树木，则可以确定出这两种算法输出的正确的环境感知结果数据的交集包括行人和车辆。

S360、将交集中的环境感知结果数据占环境真值数据的比例数据，确定为物理模型的性能评估数据。

具体地，交集中的环境感知结果数据可以是指物理模型在任意一种算法下均能正确识别出的环境感知结果。交集中的环境感知结果数据占环境真值数据的比例数据可以用于反映出物理模型在任意一种算法下可以保证的最低感知准确度，通过将该比例数据作为物理模型的性能评估指标，可以避免因算法自身原因对物理模型的性能造成影响。若该比例数据越大，则表明该物理模型可以达到的最低感知准确度越高，即物理模型的性能越好。示例性地，通过对传感器的不同物理模型进行评估，获得每种物理模型所对应的最低感知准确度，从而可以基于各最低感知准确度，在不考虑算法因素的情况下准确地筛选出物理性能表现最佳的物理模型，比如将各个最低感知准确度中的最大值所对应的物理模型作为物理性能表现最佳的物理模型。

本实施例的技术方案，通过确定各算法输出的正确的环境感知结果数据的交集，可以获得物理模型在任意一种算法下均能获得的正确的环境感知结果，并将该交集中的环境感知结果数据占环境真值数据的比例数据，确定为物理模型的性能评估数据，该性能评估数据表征的是物理模型近似于在任意算法情况下能确保提供的最低性能，进而可以通过对不同的物理模型来进行同样的评估，以筛选出在不考虑算法因素的情况下性能表现最好的物理模型。

实施例四

图5为本发明实施例四提供的一种传感器模型性能评估方法的流程图，本实施例在上述实施例二的基础上，对“根据正确的环境感知结果数据和环境真值数据，确定物理模型的性能评估数据”进行了优化。其中与上述各实施例相同或相应的术语的解释在此不再赘述。

参见图5，本实施例提供的传感器模型性能评估方法具体包括以下步骤：

S410、获取传感器的物理模型输出的原始数据。

S420、将原始数据分别输入至少两种算法，以使各算法分别对原始数据进行分析处理。

S430、获取至少两种算法分别输出的环境感知结果数据。

S440、通过将各算法输出的环境感知结果数据分别与环境真值数据进行比对，确定各算法分别输出的环境感知结果数据中正确的环境感知结果数据。

S450、确定各算法分别输出的正确的环境感知结果数据，占环境真值数据的比例数据。

具体地，针对每种算法而言，可以确定出输出的正确的环境感知结果数据占环境真值数据的比例数据。例如可以获取环境真值数据的第一数量，以及每个算法输出的正确的环境感知结果数据的第二数量，将第二数量与第一数量的比值作为相应算法对应的比例数据。每种算法对应的比例数据可以反映出物理模型在每种算法下可以到达的感知准确度。比如，环境真值数据包括：行人、车辆、树木和路灯，某个算法输出的正确的环境感知结果数据包括：行人和车辆，则可以确定出该算法输出的正确的环境感知结果数据，占环境真值数据的比例数据为50％。

S460、根据各比例数据，确定物理模型的性能评估数据。

具体地，通过根据每种算法对应的比例数据，可以综合确定出物理模型的性能评估数据，使得性能评估数据所表征的物理模型的性能更加接近于物理模型的真实性能情况，提高性能评估结果的准确性。

示例性地，S460可以包括：根据各比例数据，确定物理模型的性能评估数据，包括：将各比例数据的平均值，确定为物理模型的性能评估数据；或者，将各比例数据中的最小比例数据，确定为物理模型的性能评估数据。

具体地，通过将各比例数据的平均值确定为物理模型的性能评估数据，考虑了不同算法对物理模型的性能产生的影响，进而可以基于该性能评估数据衡量出物理模型在任意算法下的平均性能表现。例如：三种算法对应的比例数据分别为：50％、60％和70％，则可以确定出这三个比例数据的平均值为60％，即物理模型的性能评估数据为感知准确度60％。

或者，通过将各比例数据中的最小比例数据确定为物理模型的性能评估数据，可以基于该性能评估数据衡量出物理模型在任意算法下的最低性能表现，从而避免物理模型的性能评估受到算法自身的影响，使得性能评估数据更具有参考价值。例如：三种算法对应的比例数据分别为：50％、60％和70％，则可以确定出这三个比例数据中的最小比例数据为50％，即物理模型的性能评估数据为感知准确度50％。

本实施例的技术方案，通过分别确定每种算法输出的正确的环境感知结果数据，占环境真值数据的比例数据，利用该比例数据来评估物理模型的性能，能够获得较为准确的性能评估结果。

实施例五

图6为本发明实施例五提供的一种传感器模型性能评估方法的流程图，本实施例在上述各实施例的基础上，在确定物理模型的性能评估数据之后，对搭载物理模型的车辆的驾驶表现的评估过程进行了详细描述。其中与上述各实施例相同或相应的术语的解释在此不再赘述。

参见图6，本实施例提供的传感器模型性能评估方法具体包括以下步骤：

S510、获取传感器的物理模型输出的原始数据。

S520、将原始数据分别输入至少两种算法，以使各算法分别对原始数据进行分析处理。

S530、获取至少两种算法分别输出的环境感知结果数据。

S540、根据获取的环境感知结果数据和环境真值数据，确定物理模型的性能评估数据。

S550、获取在对搭载物理模型的车辆进行驾驶测试时，车辆在至少一个驾驶性能角度的性能评估数据。

其中，驾驶性能角度可以是指用于衡量驾驶性能高低的角度。例如，驾驶性能角度可以包括但不限于是否发生碰撞和是否驾驶完成全程。相应地，驾驶性能角度的性能评估数据可以包括碰撞分数和驾驶全程分数。

具体地，将传感器的物理模型搭载到车辆中，并采用每种算法对搭载的物理模型输出的原始数据进行分析处理，以便车辆可以基于算法输出的环境感知结果数据进行驾驶测试，获得每种算法下的车辆驾驶测试结果，比如车辆在该算法下是否发生碰撞以及是否驾驶完成全程。根据各种算法下的车辆驾驶测试结果，可以确定出获得至少一个驾驶性能角度的性能评估数据。

示例性地，在驾驶性能角度的性能评估数据为碰撞分数时，可以根据车辆中所搭载的物理模型在各种算法下是否发生碰撞进行确定。例如，统计出发生碰撞的第一算法数量，当第一算法数量等于0时，表明车辆中所搭载的物理模型在采用每种算法时均不会发生碰撞，此时可以将碰撞分数确定为最大分数值，比如100；当第一算法数量大于或等于1时，表明存在至少一种算法导致车辆发生碰撞，此时可以将碰撞分数直接确定为最小值，比如0，当然也可以使得碰撞分数随着第一算法数量的增大而减小，比如碰撞分数可以线性减小或者指数减小，直到第一算法数量等于总算法数量时碰撞分数减小为最小值，比如0。

示例性地，在驾驶性能角度的性能评估数据为驾驶全程分数时，可以根据车辆中所搭载的物理模型在各种算法下是否驾驶完成全程进行确定。例如，可以统计出无法驾驶完成全程的第二算法数量，当第二算法数量等于0时，表明车辆中所搭载的物理模型在采用每种算法时均可以驾驶完成全程，此时可以将驾驶全程分数确定为最大分数值，比如100；当第二算法数量大于或等于1时，表明存在至少一种算法无法驾驶完成全程，此时可以将驾驶全程分数直接确定为最小值，比如0，当然也可以使得驾驶全程分数随着第二算法数量的增大而减小，比如驾驶全程分数可以线性减小或者指数减小，直到第二算法数量等于总算法数量时驾驶全程分数减小为最小值，比如0。

S560、根据物理模型的性能评估数据和至少一个驾驶性能角度的性能评估数据，确定车辆的驾驶表现评估数据。

具体地，可以将物理模型的性能评估数据和每个驾驶性能角度的性能评估数据进行相加，获得的相加结果确定为车辆的驾驶表现评估数据，从而可以实现对车辆驾驶性能的评估，进一步反映出物理模型在车辆驾驶场景中的性能表现情况。

示例性地，S560可以包括：根据物理模型的性能评估数据、物理模型的性能评估数据对应的权重、各驾驶性能角度的性能评估数据以及各驾驶性能角度的性能评估数据分别对应的权重，确定车辆的驾驶表现评估数据。

其中，可以通过利用物理模型的性能评估数据的权重和各个驾驶性能角度的性能评估数据的权重，分别调整物理模型的性能评估数据和每个驾驶性能角度的性能评估数据，对车辆的整体驾驶性能的影响程度。例如，性能评估数据的权重越高，则该性能评估数据对车辆的整体驾驶性能的影响程度越大。通过对每个性能评估数据设置相应的权重，可以满足不同的业务需求。

具体地，本实施例可以对物理模型的性能评估数据和各个驾驶性能角度的性能评估数据进行加权叠加，将获得的叠加结果确定为车辆的驾驶表现评估数据，从而可以更加准确地确定出车辆的驾驶表现情况。

本实施例的技术方案，通过对搭载有物理模型的车辆进行驾驶测试，获得车辆在至少一个驾驶性能角度的性能评估数据，并根据物理模型的性能评估数据和各个驾驶性能角度的性能评估数据，从而实现了基于物理模型的性能评估数据对车辆的驾驶表现进行综合评估。

需要说明的是，如何根据获取的环境感知结果数据和环境真值数据，确定物理模型的性能评估数据，并不局限于本申请实施例提供的方案，任何其他能够根据多个算法输出的环境感知结果数据和环境真值数据，获得物理模型的性能评估数据的方案，均在本申请的保护范围内，比如，还可以通过将各算法输出的环境感知结果数据分别与环境真值数据进行比对，确定各算法分别输出的环境感知结果数据中错误的环境感知结果数据，然后根据各算法分别输出的错误的环境感知结果数据和环境真值数据，确定物理模型的性能评估数据，具体可以将各算法分别输出的错误的环境感知结果数据占环境真值数据的比例数据中的最大比例数据，作为物理模型的性能评估数据，或者，将各算法分别输出的错误的环境感知结果数据占环境真值数据的比例数据的平均数据，作为物理模型的性能评估数据，等等，这里不再一一赘述。

以下是本发明实施例提供的传感器模型性能评估装置的实施例，该装置与上述各实施例的传感器模型性能评估方法属于同一个发明构思，在传感器模型性能评估装置的实施例中未详尽描述的细节内容，可以参考上述传感器模型性能评估方法的实施例。

实施例六

图7为本发明实施例六提供的一种传感器模型性能评估装置的结构示意图，本实施例可适用于对传感器模型中的物理模型的进行性能评估的情况。如图7所示，该装置具体包括：原始数据获取模块610、原始数据分析处理模块620、环境感知结果数据获取模块630和性能评估数据确定模块640。

其中，原始数据获取模块610，用于获取传感器的物理模型输出的原始数据；原始数据分析处理模块620，用于将原始数据分别输入至少两种算法，以使各算法分别对原始数据进行分析处理；环境感知结果数据获取模块630，用于获取至少两种算法分别输出的环境感知结果数据；性能评估数据确定模块640，用于根据获取的环境感知结果数据和环境真值数据，确定物理模型的性能评估数据。

本发明实施例通过利用至少两种算法分别对传感器的物理模型输出的原始数据进行分析处理，并根据每种算法输出的环境感知结果数据可以对物理模型的性能进行有效评估。因为利用至少两种算法输出的环境感知结果数据对物理模型的性能进行评估，相对于利用一种算法输出的环境感知结果数据对物理模型的性能进行评估，可以尽量避免由于算法本身原因对物理模型的性能评估所造成的影响，使得性能评估数据能够更加真实的反映物理模型的性能，进而实现了对物理模型的性能的有效评估。本实施例的方案尤其适用于在无法获取到传感器硬件的生产者采用的数据分析处理算法时，对传感器的物理模型的性能进行有效评估，从而评估出物理模型的真实性能情况。

可选地，性能评估数据确定模块640，包括：

正确环境感知结果数据确定单元，用于通过将各算法输出的环境感知结果数据分别与环境真值数据进行比对，确定各算法分别输出的环境感知结果数据中正确的环境感知结果数据；

性能评估数据确定单元，用于根据正确的环境感知结果数据和环境真值数据，确定物理模型的性能评估数据。

可选地，性能评估数据确定单元，具体用于：确定各算法分别输出的正确的环境感知结果数据的交集；将交集中的环境感知结果数据占环境真值数据的比例数据，确定为物理模型的性能评估数据。

可选地，性能评估数据确定单元，包括：

比例数据确定子单元，用于确定各算法分别输出的正确的环境感知结果数据，占环境真值数据的比例数据；

性能评估数据确定子单元，用于根据各比例数据，确定物理模型的性能评估数据。

可选地，性能评估数据确定子单元，具体用于：将各比例数据的平均值，确定为物理模型的性能评估数据；或者，将各比例数据中的最小比例数据，确定为物理模型的性能评估数据。

可选地，该装置还包括：

相似度确定模块，用于通过将各算法分别输出的环境感知结果数据进行比对，确定各算法分别输出的环境感知结果数据之间的相似度；

提示信息发出模块，用于发出包含相似度的提示信息，以使用户根据相似度确定性能评估数据的置信度。

可选地，该装置还包括：

数据获取模块，用于在确定物理模型的性能评估数据之后，获取在对搭载物理模型的车辆进行驾驶测试时，车辆在至少一个驾驶性能角度的性能评估数据；

驾驶表现评估数据确定模块，用于根据物理模型的性能评估数据和至少一个驾驶性能角度的性能评估数据，确定车辆的驾驶表现评估数据。

可选地，驾驶表现评估数据确定模块，具体用于：根据物理模型的性能评估数据、物理模型的性能评估数据对应的权重、各驾驶性能角度的性能评估数据以及各驾驶性能角度的性能评估数据分别对应的权重，确定车辆的驾驶表现评估数据。

可选地，传感器的物理模型为相机的物理模型，原始数据为图像数据，环境感知结果数据为模型感知到的实体对象的列表，环境真值数据为环境中真实存在的实体对象的列表；或者，

传感器的物理模型为雷达的物理模型，原始数据为点云数据，环境感知结果数据为模型感知到的实体对象的列表，环境真值数据为环境中真实存在的实体对象的列表。

本发明实施例所提供的传感器模型性能评估装置可执行本发明任意实施例所提供的传感器模型性能评估方法，具备执行传感器模型性能评估方法相应的功能模块和有益效果。

值得注意的是，上述传感器模型性能评估装置的实施例中，所包括的各个模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

实施例七

图8为本发明实施例四提供的一种设备的结构示意图。图8示出了适于用来实现本发明实施方式的示例性设备12的框图。图8显示的设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图8所示，设备12以通用计算设备的形式表现。设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图8未显示，通常称为“硬盘驱动器”)。尽管图8中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该设备12交互的设备通信，和/或与使得该设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与设备12的其它模块通信。应当明白，尽管图中未示出，可以结合设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发实施例所提供的一种传感器模型性能评估方法步骤，该方法包括：

获取传感器的物理模型输出的原始数据；

将原始数据分别输入至少两种算法，以使各算法分别对原始数据进行分析处理；

获取至少两种算法分别输出的环境感知结果数据；

根据获取的环境感知结果数据和环境真值数据，确定物理模型的性能评估数据。

当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所提供的传感器模型性能评估方法的技术方案。

实施例八

本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的传感器模型性能评估方法步骤，该方法包括：

获取传感器的物理模型输出的原始数据；

将原始数据分别输入至少两种算法，以使各算法分别对原始数据进行分析处理；

获取至少两种算法分别输出的环境感知结果数据；

根据获取的环境感知结果数据和环境真值数据，确定物理模型的性能评估数据。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

本领域普通技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。