用于其他交通参与方的参考值生成方法及设备

技术领域

本发明涉及车辆领域，具体涉及一种用于其他交通参与方的参考值生成方法、生成设备、计算机存储介质、计算机程序产品以及车辆。

背景技术

在车辆自动化相关功能（例如，L0级-L5级自动驾驶功能）中，车载传感器对车辆周围环境信息（例如，其他交通参与方信息）感知的准确性是非常重要。在这些功能的开发和验证中，往往将采集到的信息与车辆周围环境的参考值（ground truth）进行比较。这样的参考值也称为地面实况或真实值。

如果使用人工标记的方法来生成参考值，那么将面临很高的人工成本，并且将花费较长的时间。如果使用激光雷达传感器采集的信息来生成参考值，那么在一些情况下（诸如，雨雪、大雾天气），参考值的准确性难以得到保证。如果与要验证的感测值采用相同的传感器（例如，前视相机）来生成参考值，那么验证结果的准确性也很难保证。这是因为由传感器的固有缺陷所引起的错误或者遗漏往往会同时存在于利用同一传感器生成的参考值和感测值中，因而，无法通过二者的比较来检测出这些错误或遗漏。

发明内容

根据本发明的一方面，提供一种用于其他交通参与方的参考值生成方法。所述方法包括：从安装在车辆上的第一类型相机接收关于车周环境的第一图像信息；从所述第一图像信息中提取关于其他交通参与方的第二图像信息；以及至少基于所述第二图像信息来生成所述其他交通参与方的参考值。其中，所述参考值用来验证安装在所述车辆上的第二类型相机所采集的关于所述其他交通参与方的感测值。

作为上述方案的补充或替换，在上述方法中，所述参考值还用来验证安装在所述车辆上的第一其他类型传感器所采集的关于所述其他交通参与方的感测值。其中，所述第一其他类型传感器不同于所述第一类型相机和所述第二类型相机。

作为上述方案的补充或替换，在上述方法中，还包括对所述第二图像信息进行坐标系转换；至少基于经过转换的所述第二图像信息来生成所述参考值。

作为上述方案的补充或替换，在上述方法中，在所述坐标系转换中，将所述第二图像信息从二维图像坐标系转换到三维车辆坐标系。

作为上述方案的补充或替换，在上述方法中，所述安装在车辆上的第一类型相机包括位于车辆不同位置处的至少两个第一类型相机。所述方法还包括从来自所述至少两个第一类型相机的第一图像信息中分别提取所述至少两个第一类型相机的第二图像；融合所述至少两个第一类型相机的第二图像；以及至少基于经过融合的所述第二图像信息来生成所述参考值。

作为上述方案的补充或替换，在上述方法中，还包括基于车辆在不同时间下的定位信息，对在所述不同时间下提取的关于所述其他交通参与方的第二图像信息进行融合；以及至少基于经过融合的所述第二图像信息来生成所述参考值。

作为上述方案的补充或替换，在上述方法中，基于所述第二图像信息和来自其他类型传感器的关于所述其他交通参与方的第三图像信息来生成所述参考值。其中，所述第二其他类型传感器不同于所述第一类型相机。

根据本发明的另一方面，提供一种用于其他交通参与方的参考值生成设备。所述设备包括：接收装置，其配置成从安装在车辆上的第一类型相机接收关于车周环境的第一图像信息；提取装置，其配置成从所述第一图像信息中提取关于其他交通参与方的第二图像信息；以及生成装置，其配置成至少基于所述第二图像信息来生成所述其他交通参与方的参考值。其中，所述参考值用来验证安装在所述车辆上的第二类型相机所采集的关于所述其他交通参与方的感测值。

作为上述方案的补充或替换，在上述设备中，所述参考值还用来验证安装在所述车辆上的第一其他类型传感器所采集的关于所述其他交通参与方的感测值。其中，所述第一其他类型传感器不同于所述第一类型相机和所述第二类型相机。

作为上述方案的补充或替换，在上述设备中，还包括转换装置。所述转换装置配置成对所述第二图像信息进行坐标系转换，所述生成装置进一步配置成至少基于经过转换的所述第二图像信息来生成所述参考值。

作为上述方案的补充或替换，在上述设备中，所述转换装置进一步配置成将所述第二图像信息从二维图像坐标系转换到三维车辆坐标系。

作为上述方案的补充或替换，在上述设备中，还包括第一融合装置。所述安装在车辆上的第一类型相机包括位于车辆不同位置处的至少两个第一类型相机。所述提取装置进一步配置成从来自所述至少两个第一类型相机的第一图像信息中分别提取所述至少两个第一类型相机的第二图像。所述第一融合装置配置成融合所述至少两个第一类型相机的第二图像。所述生成装置进一步配置成至少基于经过融合的所述第二图像信息来生成所述参考值。

作为上述方案的补充或替换，在上述设备中，还包括第二融合装置。所述第二融合装置配置成基于车辆在不同时间下的定位信息，对在所述不同时间下提取的关于所述其他交通参与方的第二图像信息进行融合。所述生成装置进一步配置成至少基于经过融合的所述第二图像信息来生成所述参考值。

作为上述方案的补充或替换，在上述设备中，所述生成装置进一步配置成基于所述第二图像信息和来自第二其他类型传感器的关于所述其他交通参与方的第三图像信息来生成所述参考值。其中，所述第二其他类型传感器不同于所述第一类型相机。

根据本发明的又一个方面，提供一种计算机存储介质，所述介质包括指令，所述指令在运行时执行上述方法。

根据本发明的又一个方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述方法。

根据本发明的又一个方面，提供一种车辆，所述车辆包括上述设备。

本发明的实施例的其他交通参与方生成方案利用第一类型相机采集其他交通参与方的图像信息，并对所采集的图像信息进行处理以生成参考值。该其他交通参与方生成方案准确性高、时间和人力成本低、能够灵活融合其他传感器采集的图像信息。

附图说明

结合附图的以下详细说明，本发明的上述和其他目的及优点会更加完整清楚，其中，相同或相似的要素采用相同的标号表示。其中，各附图不一定是按照比例而绘制的。

图1示出了根据本发明的一个实施例的用于其他交通参与方的参考值生成方法1000的流程示意图。

图2（a）-（d）分别示出了从四个安装在车辆上的第一类型相机接收到的第一图像信息。

图3示出了根据本发明的一个实施例的用于其他交通参与方的参考值生成设备3000的结构示意图。

具体实施方式

在下文中，将参考附图详细地描述根据本发明的各示例性实施例的用于其他交通参与方的参考值的生成方案。

需要注意的是，在本发明的上下文中，术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。此外，除非另外特别指明，在本发明的上下文中，术语“包括”、“具有”以及类似表述意在表示不排他的包含。

图1示出了根据本发明的一个实施例的用于其他交通参与方的参考值生成方法1000的流程示意图。如图1所示，用于其他交通参与方的参考值生成方法1000包括如下步骤。

在步骤S110中，从一个或多个安装在车辆上的第一类型相机接收关于车周环境的第一图像信息。

在本发明的上下文中，术语“其他交通参与方”意在表示道路上除了本车以外的其它参与方，例如，道路上的其他车辆（包括诸如轿车、运动型多用途车的各种乘用车和诸如客车、载货车的各种商用车等）、道路上的行人等参与方。在本发明的上下文中，“其他交通参与方的参考值”一般指的是“其他交通参与方”的位置、尺寸、外观、类型等信息的参考值。

在本发明的上下文中，术语“第一类型相机”指的是不同于要被验证的第二类型相机的相机。举例而言，要被验证的第二类型相机可以是用于辅助驾驶系统（ADAS）的前视相机，相应地，第一类型相机可以是安装在车辆上的鱼眼相机，或者安装在车辆上的翼相机。其中，鱼眼相机可以是安装在车辆上原本用于倒车功能的相机。通常，鱼眼相机能够对近距离内的感测对象具有较高的分辨率，从而在后续步骤S130中生成较高准确性的参考值。其中，翼相机可以是安装在车辆两侧（例如，两侧的后视镜上）以用于感测车辆两侧图像的相机。

本领域技术人员容易理解，在步骤S110中，可以是从安装在车辆上的第一类型相机直接接收第一图像信息，也可以是从其他存储器、控制器（例如，电子控制单元（ECU）、域控制单元（DCU））间接接收第一图像信息。本发明对此不作限制。

在步骤S120中，从在步骤S110接收的第一图像信息中提取关于其他交通参与方的第二图像信息。

可以采用传统的图像处理方法来提取第二图像信息，例如，边缘滤波算法（EdgeFilter）、坎尼边缘检测算法（Canny Filter）、索贝尔算子边缘检测算法（Sobel Operator）等；也可以采用机器学习、人工智能算法来提取第二图像信息，例如，神经网络、深度学习等。本发明对此不做限制。

在步骤S130中，至少基于在步骤S120提取的第二图像信息来生成其他交通参与方的参考值。生成的参考值可以用于与安装在车辆上的第二类型相机采集到的同一其他交通参与方的感测值进行比较，来测试、统计安装在车辆上的第二类型相机对其他交通参与方感知的准确性，在错误触发事件中的感知表现。在本发明的上下文中，“错误触发事件”意在表示安装在车辆上的其他传感器容易出现感知错误的典型事件，如雨雪、大雾场景。

如前所述，生成的其他交通参与方的参考值可以是其他交通参与方的位置、尺寸、外观、形状等信息的参考值。在其他交通参与方为车辆的一个示例中，车辆的位置可以由该车辆的一个或多个车轮的位置来确定。在其他交通参与方为行人的一个示例中，行人的位置可以由该行人的脚的位置来确定。

可以采用机器学习、深度学习等用于目标检测或估计的任何适当的方法来生成其他交通参与方的参考值。本发明对具体的生成算法不做限制。

生成的参考值还可以用于与安装在车辆上的其他类型的传感器采集到的同一其他交通参与方的感测值进行比较，来测试、统计安装在车辆上的其他类型的传感器对其他交通参与方感知的准确性，在错误触发事件中的感知表现。其他类型的传感器可以例如是激光雷达传感器、毫米波雷达传感器等除了第一、第二类型相机以外安装在车上的任何适当类型的传感器。

由此，基于第一类型相机采集的其他交通参与方的图像信息来生成其他交通参与方的参考值，从而为安装在车辆上的第二类型相机或其他类型传感器的准确性验证提供基准。

利用第一类型相机生成的参考值来验证第二类型相机或其他传感器生成的感测值，能够避免同因错误在验证中无法被识别。此处，“同因错误”意在表示同一个或者同一类传感器的多次感测结果中存在由于相同因素导致的相同错误。相同因素例如可以是该传感器的位置导致的，也可以是由该类传感器的固有缺陷导致的。在根据本发明的实施例中，采用不同类型的传感器，它们往往具有不同的焦距，它们采集的图像信息往往经过不同的算法处理，并且，它们往往安装在不同的位置，从而具有不同的光照情况。因而，可以利用不同于要验证的传感器的第一类型相机来避免同因错误在验证中被忽视。

此外，根据本发明的实施例可以利用鱼眼相机等能够采集到车辆附近其他交通参与方的高质量图像信息的相机来作为第一类型的相机，从而得到高准确性的其他交通参与方的参考值。这在雨雪、大雾等场景下尤为明显。

图2（a）-（d）分别示出了从四个安装在车辆上的第一类型相机（在该实施例中具体为鱼眼相机）接收到的第一图像信息。其中，图2（a）-（d）对应的四个安装在车辆上的第一类型相机分别安装在车辆的前侧、后侧、左侧以及右侧。

由车载左侧第一类型相机采集到的第一图像信息（即，图2（c））可以看到，本车的左侧存在其他交通参与者，具体为车辆210。可以通过从图2（c）中提取关于车辆210的第二图像信息，并基于该第二图像信息来生成车辆210的位置的参考值。该位置的参考值例如可以通过车辆210的车轮211来确定。

由车载前侧和右侧第一类型相机采集到的第一图像信息（即，图2（a）和（d））可以看到，其中均包含了同一位置处车道线220。

由这四个第一类型相机采集到的第一图像信息（即，图2（a）-（d））均可以看到，鱼眼相机作为一种广角相机能够采集到大视场范围的图像信息。然而，这样的大视场图像带来了一定程度的畸变，因此，可以对这些图像信息进行相应的校正补偿。

尽管在图1中未示出，方法1000还可包括对图像信息的坐标系转换。举例而言，将在步骤120提取的第二图像信息从二维图像坐标系转换到三维车辆坐标系（例如，笛卡尔坐标系），以便于对第二图像信息的进一步处理（例如，与其他传感器采集到的三维图像信息进行比较、融合）。相应地，在步骤S130中，至少基于经过转换的第二图像信息来生成其他交通参与方的参考值。

需要注意的是，在本发明的上下文中，对图像信息的坐标系转换不限于是对第二图像信息的转换，也可以是对其他步骤中产生的图像信息（例如，第一图像信息）进行转换。例如，可以先对第一图像信息进行坐标系转换再进行提取步骤S120。这在一些情况下有利于图像信息的异常值检测和似真性检查。

此外，在本发明的上下文中，对图像信息的坐标系转换也不限于是从图像坐标系转换到车辆坐标系，而可以是在相机坐标系、图像坐标系、世界坐标系、车辆坐标系等各个坐标系中的相互转换。这取决于具体的图像处理需求。

如前面结合图2描述的那样，可以从安装在车辆不同位置处的多个第一类型相机接收关于车周环境的第一图像信息。相应地，在步骤S120中，可以分别从每个第一类型相机的第一图像信息中提取第二图像信息，例如，从图2（a）-（d）中分别提取第二图像信息。方法1000还可包括对每个第一类型相机的第二图像信息进行融合（图1中未示出）。相应地，在步骤S130中，可以至少基于经过融合的第二图像信息来生成其他交通参与方的参考值。

替换地，也可以在提取第二图像信息之前对来自多个第一类型相机的第一图像信息进行融合。然后，在步骤S120中，从经过融合的第一图像信息中提取第二图像信息，在步骤S130中，基于该第二图像信息来生成其他交通参与方的参考值。

由此，通过融合多个第一类型相机采集的图像信息，能够进一步提高生成的其他交通参与方参考值的准确性。这对于多个第一类型相机的视场重合部分效果尤其明显。

容易理解，可以对车辆上每个第一类型相机采集的图像信息进行融合，也可以只对所有第一类型相机中的部分相机采集的图像信息进行融合。例如，在图2（a）-（d）所示的实施例中，对于车道线220，可以仅融合图2（a）和（d）中的图像信息，即，融合前侧第一类型相机和右侧第一类型相机采集的图像信息来生成车道线220的参考值。

此外，尽管图1中未示出，方法1000还可包括基于车辆在不同时间下的定位信息，对在不同时间下提取的关于同一其他交通参与方的第二图像信息进行融合。相应地，在步骤S130中，至少基于经过融合的第二图像信息来生成其他交通参与方的参考值。

前述各步骤的处理通常是按照时间帧的方式来进行的。即使在车辆行驶过程中，车辆周围同一位置处其他交通参与方的图像信息一般也不会单独存在于单个时间帧中，而是会存在于前后多个时间帧中。由此，基于车辆在多个时间下的定位信息来融合多个时间下采集到的同一其他交通参与方的图像信息，能够补偿单帧图像信息中的错误和缺漏，有效提高最终生成的其他交通参与方参考值的准确性。

需要注意的是，车辆在不同时间下的定位信息可以通过全球定位方式来确定，例如，全球导航卫星系统(GNSS)、全球定位系统(GPS)；也可以通过车辆自身的定位方式来确定，例如，车辆测距传感器（通过确定车辆与某一参照物之间的距离变化来确定车辆的定位变化）；也可以通过上述任意方式的组合来确定。本发明对此不做限制。

与上文类似地，对于不同时间下采集的同一其他交通参与方的图像信息的融合也不限于在提取第二图像信息之后，而是也可以发生在提取第二图像信息之前。也就是说，可以先对不同时间下采集的同一其他交通参与方的第一图像信息进行融合。然后，在步骤S120中，从经过融合的第一图像信息中提取第二图像信息，在步骤S130中，基于该第二图像信息来生成其他交通参与方的参考值。

尽管图1中未示出，方法1000还可包括基于来自第一类型相机的第二图像信息和来自其他类型传感器的关于同一其他交通参与方的第三图像信息来生成该其他交通参与方的参考值。此处，其他类型的传感器可以例如是激光雷达传感器、毫米波雷达传感器、超声波传感器、其他类型的相机等除了第一类型相机之外的能够采集到同一其他交通参与方图像信息的任何类型的传感器，或者前述各种类型传感器的组合。利用如前所述的坐标系转换操作可以将来自不同类型传感器的图像信息均转换到相同坐标系中（例如，笛卡尔坐标系），以便于对来自不同类型传感器的图像信息进行融合。利用不同类型传感器采集到的图像信息来生成参考值，能够避免单一类型传感器的固有缺陷对生成的参考值的影响，进一步提高最终生成的其他交通参与方参考值的准确性。

需要注意的是，不同类型的传感器往往是在不同时间下采集图像信息，因此，可以动态跟踪其他交通参与方的位置、移动方向等信息来实现来自不同类型传感器的图像信息的融合。即，可以根据车辆在不同时间下的定位信息来融合来自不同类型传感器的图像信息。车辆在不同时间下的定位信息可以采用前文所述的方式来确定，在此不再赘述。

在车辆的行驶道路上，除了其他道路参与者，通常还包括行车边界。在本发明的上下文中，术语“行车边界”意在表示车辆能够行驶的道路边界，例如，车道线、路缘石等等。行车边界与其他道路参与者的相对位置常常是评估行驶环境、确定下一步控制策略的重要考量因素。

因此，尽管图1中未示出，方法1000还可包括生成其他交通参与方与行驶边界之间相对位置的参考值，例如图2（a）-（d）中车辆210与车道线220之间相对位置的参考值。

在一个实施例中，从在步骤S110中接收的第一图像信息中提取关于其他交通参与方第二图像信息，其中，第二图像信息还包括行驶边界。基于该第二图像信息生成其他交通参与方与行驶边界之间相对位置的参考值。

在另一个实施例中，分别生成其他交通参与方的参考值（例如参照步骤S130）和行驶边界的参考值，然后通过融合两者的参考值来生成其他交通参与方与行驶边界之间相对位置的参考值。本领域技术人员容易理解，其他交通参与方的参考值和行驶边界的参考值可以采用相同类型的传感器来生成（例如，均采用第一类型相机）；也可以采用不同类型的传感器来生成（例如，其他交通参与方的参考值采用第一类型相机生成，行驶边界的参考值采用激光雷达传感器、毫米波雷达传感器、超声波传感器或其他类型的相机来生成）。

容易理解，虽然图1以及上述描述将各项操作（或步骤）描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。并且，根据本发明的实施例还可以具有未包括在图1以及上述描述中的附加步骤。

本领域技术人员容易理解，上述一个或多个实施例所提供的用于其他交通参与方的参考值生成方法可通过计算机程序来实现。例如，该计算机程序包含在一种计算机程序产品中，该计算机程序被处理器执行时实现本发明的一个或多个实施例的用于其他交通参与方的参考值生成方法。又例如，当存有该计算机程序的计算机存储介质（例如U盘）与计算机相连时，运行该计算机程序即可执行本发明的一个或多个实施例的用于其他交通参与方的参考值生成方法。

图3示出了根据本发明的一个实施例的用于其他交通参与方的参考值生成设备3000的结构示意图。如图3所示，用于其他交通参与方的参考值生成设备3000包括：接收装置310、提取装置320以及生成装置330。其中，接收装置310配置成从安装在车辆上的第一类型相机接收关于车周环境的第一图像信息。可选地，接收装置310可以配置成从上文结合图2描述的四个安装在车辆上的第一类型相机分别接收第一图像信息。提取装置320配置成从第一图像信息中提取关于其他交通参与方的第二图像信息。生成装置330配置成至少基于第二图像信息来生成其他交通参与方的参考值。

生成装置330生成的参考值可以用于与车载第二类型相机采集到的同一其他交通参与方的感测值进行比较，来测试、统计车载第二类型相机对其他交通参与方感知的准确性以及在错误触发事件中的感知表现。可选地，生成装置330生成的参考值还可以用来验证安装在车辆上的其他类型传感器所采集的关于其他交通参与方的感测值。其他类型的传感器可以例如是激光雷达传感器、毫米波雷达传感器等除了第一、第二类型相机以外安装在车上的任何适当类型的传感器。

在本发明的上下文中，术语“其他交通参与方”意在表示道路上除了本车以外的其它参与方，例如，道路上的其他车辆（包括诸如轿车、运动型多用途车的各种乘用车和诸如客车、载货车的各种商用车等）、道路上的行人等参与方。在本发明的上下文中，“其他交通参与方的参考值”一般指的是“其他交通参与方”的位置、尺寸、外观、类型等信息的参考值。

此外，在本发明的上下文中，术语“第一类型相机”指的是不同于要被验证的第二类型相机的相机。举例而言，要被验证的第二类型相机可以是用于辅助驾驶系统（ADAS）的前视相机，相应地，第一类型相机可以是安装在车辆上的鱼眼相机，或者安装在车辆上的翼相机。其中，鱼眼相机可以是安装在车辆上原本用于倒车功能的相机。通常，鱼眼相机能够对近距离内的感测对象具有较高的分辨率，从而在后续步骤S130中生成较高准确性的参考值。其中，翼相机可以是安装在车辆两侧（例如，两侧的后视镜上）以用于感测车辆两侧图像的相机。

安装在车辆上的第一类型相机可以是车辆上原本用于环视感知或其他感知目的而配置的。由此，复用该第一类型相机来进行其他交通参与方参考值的生成能够大大降低参考值生成的硬件成本，也无需为车辆安装额外的传感器。安装在车辆上的第一类型相机也可以是针对参考值的生成而配置的。相对于激光雷达等传感器，基于安装在车辆上的第一类型相机的参考值生成方法成本将大大降低。

生成装置330生成的其他交通参与方的参考值可以是其他交通参与方的位置、尺寸、外观、形状等信息的参考值。在其他交通参与方为车辆的一个示例中，车辆的位置可以由该车辆的一个或多个车轮的位置来确定。在其他交通参与方为行人的一个示例中，行人的位置可以由该行人的脚的位置来确定。

生成装置330可以配置成采用机器学习、深度学习等用于目标检测或估计的任何适当的方法来生成其他交通参与方的参考值。本发明对具体的生成算法不做限制。

虽然图3中未示出，用于其他交通参与方的参考值生成设备3000可以进一步包括校正装置。校正装置可以配置成对接收装置310接收到的第一图像信息进行校正补偿。例如，可以利用校正装置来校正由鱼眼相机采集的第一图像信息中的畸变（诸如图2中的畸变）。

在提取装置320中，可以采用传统的图像处理方法来提取第二图像信息，例如，边缘滤波算法（Edge Filter）、坎尼边缘检测算法（Canny Filter）、索贝尔算子边缘检测算法（Sobel Operator）等；也可以采用机器学习、人工智能算法来提取第二图像信息，例如，神经网络、深度学习等。本发明对此不做限制。

虽然图3中未示出，用于其他交通参与方的参考值生成设备3000可以进一步包括转换装置。转换装置配置成对第二图像信息进行坐标系转换，相应地，生成装置330配置成至少基于经过转换的第二图像信息来生成其他交通参与方的参考值。举例而言，将在提取装置320提取的第二图像信息从二维图像坐标系中转换到三维车辆坐标系（例如，笛卡尔坐标系），以便于对第二图像信息的进一步处理（例如，与其他传感器采集到的三维图像信息进行融合）。相应地，在生成装置330中，至少基于经过转换的第二图像信息来生成其他交通参与方的参考值。

需要注意的是，在本发明的上下文中，对图像信息的坐标系转换不限于是对第二图像信息的转换，也可以是对其他步骤中产生的图像信息（例如，第一图像信息）进行转换。此外，在本发明的上下文中，对图像信息的坐标系转换也不限于是从图像坐标系转换到车辆坐标系，而可以是在相机坐标系、图像坐标系、世界坐标系、车辆坐标系等各个坐标系中的相互转换。这取决于具体的图像处理需求。

虽然图3中未示出，用于其他交通参与方的参考值生成设备3000可以进一步包括第一融合装置。如前面结合图2描述的，接收装置310可以从安装在车辆不同位置处的多个第一类型相机接收关于车周环境的第一图像信息。相应地，在提取装置320中，可以分别从每个第一类型相机的第一图像信息中提取第二图像信息，例如，从图2（a）-（d）中分别提取第二图像信息。第一融合装置可以配置成对多个第一类型相机的第二图像信息进行融合。生成装置330可以配置成至少基于经过融合的第二图像信息来生成其他交通参与方的参考值。

替换地，第一融合装置也可配置成对来自多个第一类型相机的第一图像信息进行融合。相应地，提取装置320从经过第一融合装置融合的第一图像信息中提取第二图像信息，并且，生成装置可以配置成基于该第二图像信息来生成其他交通参与方的参考值。由此，通过融合多个第一类型相机采集的图像信息，能够提高所生成的其他交通参与方参考值的准确性。这对于多个第一类型相机视场重合的部分效果尤其明显。

容易理解，第一融合装置可以将车辆上每个第一类型相机采集的图像信息进行融合，也可以只将所有第一类型相机中的部分相机采集的图像信息进行融合。例如，在图2（a）-（d）所示的实施例中，对于车道线220，第一融合装置可以仅融合图2（a）和（d）中的图像信息，即，融合前侧第一类型相机和右侧第一类型相机采集的图像信息来生成车道线220的参考值。

此外，尽管图3中未示出，用于其他交通参与方的参考值生成设备3000还可包括第二融合装置。第二融合装置配置成基于车辆在不同时间下的定位信息，对在不同时间下提取的关于同一其他交通参与方的第二图像信息进行融合，相应地，生成装置330配置成至少基于经过融合的第二图像信息来生成其他交通参与方的参考值。

设备3000中各装置的操作通常按照时间帧的方式来进行的。即使在车辆行驶过程中，车辆周围同一位置处其他交通参与方的图像信息一般也不会单独存在于单个时间帧中，而是会存在于前后多个时间帧中。由此，利用第二融合装置来融合多个时间下采集到的同一其他交通参与方的图像信息，能够补偿单帧图像信息中的错误和缺漏，有效提高最终生成的其他交通参与方参考值的准确性。

与第一融合装置类似地，第二融合装置对于不同时间下采集的同一其他交通参与方的图像信息的融合也不限于在提取装置320完成第二图像信息的提取之后，而是也可以发生在第二图像信息的提取之前。也就是说，第二融合装置可以对不同时间下采集的同一其他交通参与方的第一图像信息进行融合。然后，在提取装置320中，从经过第二融合装置融合的第一图像信息中提取第二图像信息，在生成装置330中，基于该第二图像信息来生成其他交通参与方的参考值。

第二融合装置所利用的车辆在不同时间下的定位信息可以通过全球定位方式来确定，例如，全球导航卫星系统（GNSS）、全球定位系统（GPS）；也可以通过车辆自身的定位方式来确定，例如，车辆测距传感器（通过确定车辆与某一参照物之间的距离变化来确定车辆的定位变化）；也可以通过上述任意方式的组合来确定。本发明对此不做限制。

此外，生成装置330还可进一步配置成基于来自第一类型相机的关于其他交通参与方的第二图像信息和来自其他类型传感器的关于同一其他交通参与方的第三图像信息来生成该其他交通参与方的参考值。可以利用如前所述的坐标系转换装置将来自不同类型传感器的图像信息均转换到相同坐标系中（例如，笛卡尔坐标系），以便于在生成装置320中对来自不同类型传感器的图像信息进行融合。此处，其他类型的传感器可以例如是激光雷达传感器、毫米波雷达传感器、超声波传感器等除了第一类型相机之外的能够采集到同一其他交通参与方图像信息的任何类型的传感器，或者前述各种类型传感器的组合。通过不同类型传感器采集到的图像信息来生成参考值，能够避免单一类型传感器的固有缺陷对生成的参考值的影响，进一步提高最终生成的其他交通参与方参考值的准确性。

需要注意的是，不同类型的传感器往往是在不同时间下采集图像信息，因此，可以动态跟踪其他交通参与方的位置、移动方向等信息来实现来自不同类型传感器的图像信息的融合。即，可以根据车辆在不同时间下的定位信息来融合来自不同类型传感器的图像信息。车辆在不同时间下的定位信息可以采用前文所述的方式来确定，在此不再赘述。

此外，生成装置330还可配置成生成其他交通参与方与行驶边界之间相对位置的参考值。

在一个实施例中，从接收装置310中接收的第一图像信息中提取关于其他交通参与方第二图像信息。其中，该第二图像信息中还包括行驶边界。生成装置330基于该第二图像信息生成其他交通参与方与行车边界之间相对位置的参考值。

在另一个实施例中，分别生成其他交通参与方的参考值和行驶边界的参考值，然后通过融合两者的参考值来生成其他交通参与方与行驶边界之间相对位置的参考值。本领域技术人员容易理解，其他交通参与方的参考值和行驶边界的参考值可以基于相同类型的传感器来生成（例如，均基于第一类型相机）；也可以基于不同类型的传感器来生成（例如，其他交通参与方的参考值基于第一类型相机生成，行驶边界的参考值基于激光雷达传感器、毫米波雷达传感器、超声波传感器或其他类型的相机来生成）。

在一个或多个实施例中，用于其他交通参与方的参考值生成设备3000可结合到车辆中。其中，用于其他交通参与方的参考值生成设备3000可以是车辆中独立用于生成其他交通参与方参考值的设备，也可以结合在车辆其他电子控制单元（ECU）、域控制单元（DCU）等处理设备中。应理解，这里所使用的术语“车辆”或者其他类似的术语包括一般的机动车辆，例如乘用车（包括运动型多用途车、公共汽车、卡车等）、各种商用车等等，并包括混合动力汽车、电动车等。混合动力汽车是一种具有两个或更多个功率源的车辆，例如汽油动力和电动车辆。

在一个或多个实施例中，用于其他交通参与方的参考值生成设备3000可结合到车辆的高级辅助驾驶系统（ADAS）中，或者结合到其他L0级-L5级自动驾驶功能中。

根据本发明的上述实施例所生成的其他交通参与方的参考值可以作为标准来与车载其他传感器对其他交通参与方的感测值进行比较。可以利用这样的比较来验证和统计车载其他传感器对其他交通参与方感测结果的准确度、平均可用性（例如，真阳性率、真阴性率）、平均不可用率（例如，伪阳性率、伪阴性率）。还可以将这样的比较用于错误触发事件来验证车载其他传感器在错误触发事件中的表现。

综上所述，根据本发明的实施例的其他交通参与方生成方案利用第一类型相机来采集其他交通参与方的图像信息，并对所采集的图像信息进行处理，能够生成高准确性的其他交通参与方参考值。使用第一类型相机而非其他要验证的传感器来生成参考值，能够增加系统的冗余度，避免同因错误。此外，相较于人工标记参考值，利用第一类型相机采集的图像信息来生成参考值能够大大降低时间成本和人力成本。此外，根据本发明的实施例的其他交通参与方生成方案还能够将安装在车辆上的第一类型相机与其他类型的传感器结合起来以生成参考值，这能够进一步提高参考值的准确性。

此外，根据本发明的实施例可以利用鱼眼相机等能够采集到车辆附近的其他交通参与方的高质量图像信息的相机作为第一类型的相机，从而得到高准确性的的其他交通参与方的参考值。这在雨雪、大雾等场景下尤为明显。

容易理解，尽管以上说明书只对其中一些本发明的实施方式进行了描述，但是本发明可以在不偏离其主旨与范围内以许多其他的形式实施。因此，所示例的实施方式是示意性而非限制性的。不脱离如所附各权利要求所定义的本发明精神及范围的情况下，本发明可能涵盖各种的修改与替换。