基于脉冲信号的信号灯检测方法、装置和系统

技术领域

本公开涉及自动驾驶技术，尤其是一种基于脉冲信号的信号灯检测方法、装置和系统。

背景技术

交通信号灯在交通系统中具有重要作用。自动驾驶系统主要由感知、预测、决策等模块组成，对于感知模块而言，其主要功能之一是对交通信号灯进行识别，并将交通信号灯的识别结果反馈至预测模块和决策模块，以为预测模块和决策模块进行的预测、决策提供必要的基础信息。只有准确地识别出十字路口交通信号灯的状态，自动驾驶系统才能对当前的交通状况作出可靠的判断。

目前，通常采用传统相机来检测交通信号灯的状态。传统相机的工作原理，是采用一定的曝光时间窗来积累光电信息，以恒定的频率采集图像，进而形成快照图像。由于传统相机的采集频率和帧数(以下简称：帧频)远低于交通信号灯的闪烁频率，采用传统相机采集的图像无法准确检测到交通信号灯的状态变化，从而无法为自动驾驶系统提供准确的基础信息。

为了满足交通信号灯的状态检测需求，相关技术中，使用多台低帧频相机组合形成一个高帧频信号采集系统，使多台低帧频相机进行交错曝光插值来提高1秒内的帧数，通过精确调整各台低帧频相机的起始曝光时间，使得任一时刻都处在至少一台低帧频相机的有效曝光时间内，从而完成对交通信号灯的状态检测。

然而，在实现本公开的过程中，本公开的发明人通过研究发现，上述相关技术使用多台低帧频相机组合形成的高帧频信号采集系统，需要负担多台低帧频相机的功耗，功耗高；硬件结构复杂，不易于实现；不便于集成，体积庞大；多台低帧频相机的位置和姿态需要固定，且需要精确控制各台低帧频相机的起始曝光时间，不易实现。

发明内容

为了解决上述技术问题，本公开实施例提供一种基于脉冲信号的信号灯检测方法、装置和系统。

根据本公开实施例的一个方面，提供一种基于脉冲信号的信号灯检测方法，包括：

获取脉冲相机对观测场景进行持续采样得到的脉冲阵列；其中，所述脉冲阵列包括所述脉冲相机的采集画面中各像素点的脉冲序列，所述采集画面中的不同像素点分别对应于所述观测场景的不同部分；所述各像素点的脉冲序列包括所述各像素点在各采样时刻的脉冲特征值，所述脉冲特征值用于表示是否有脉冲发放；

分别以各采样时刻作为目标采样时刻，基于包含所述目标采样时刻的目标时间段内的脉冲阵列，确定所述目标采样时刻所述观测场景中信号灯的像素位置区域，得到第一像素位置区域；

基于所述目标采样时刻的所述像素位置区域和所述目标时间段内的脉冲阵列，确定所述目标采样时刻所述信号灯的状态。

可选地，在本公开上述任一方法实施例中，所述获取脉冲相机对观测场景进行持续采样得到的各像素点的脉冲序列之前，还包括：

利用所述脉冲相机对所述观测场景进行持续采样，获取各采样时刻，分别对应于所述观测场景中不同部分的各像素点的瞬时光强值，并将所述瞬时光强值转换为电信号进行累积；

响应于第一像素点的电信号的累积量达到预设阈值，所述第一像素点生成一个脉冲并发放，并将所述第一像素点的电信号的累积量置零，以便重新进行累积；其中，所述第一像素点为所述各像素点中电信号的累积量达到预设阈值的像素点。

可选地，在本公开上述任一方法实施例中，所述基于包含所述目标采样时刻的目标时间段内的脉冲阵列，确定所述目标采样时刻所述观测场景中信号灯的像素位置区域，包括：

基于所述目标时间段内的脉冲序列，获取同一采样时刻有脉冲发放、且所述目标时间段内的脉冲发放频率在所述预设频率范围内的规则像素区域，作为所述信号灯的像素位置区域；其中，所述预设频率范围基于所述信号灯的闪烁频率确定。

可选地，在本公开上述任一方法实施例中，所述基于所述目标时间段内的脉冲序列，获取同一采样时刻有脉冲发放、且所述目标时间段内的脉冲发放频率在所述预设频率范围内的规则像素区域，作为所述信号灯的像素位置区域，包括：

基于所述目标时间段内的脉冲序列，获取同一采样时刻有脉冲发放的规则像素区域；

确定所述规则像素区域在所述目标时间段内的脉冲发放频率是否在所述预设频率范围内；

响应于所述规则像素区域在所述目标时间段内的脉冲发放频率在所述预设频率范围内，确定所述规则像素区域为所述信号灯的像素位置区域。

可选地，在本公开上述任一方法实施例中，所述基于所述目标采样时刻的所述第一像素位置区域和所述目标时间段内的脉冲阵列，确定所述目标采样时刻所述信号灯的状态，包括：

利用预设脉冲重构算法，基于所述目标时间段内的脉冲阵列，生成所述目标采样时刻的重建图像；

基于所述目标采样时刻的所述第一像素位置区域和所述重建图像，确定所述目标采样时刻所述信号灯的状态。

可选地，在本公开上述任一方法实施例中，所述利用预设脉冲重构算法，基于所述目标时间段内的脉冲阵列，生成所述目标采样时刻的重建图像，包括：

利用所述预设脉冲重构算法，分别基于所述目标时间段内的脉冲阵列中各像素点的脉冲序列，获取所述各像素点在所述目标采样时刻的光强值；

基于所述各像素点在所述目标采样时刻的光强值，生成所述目标采样时刻的重建图像；其中，所述重建图像中，通过所述各像素点的灰度值表示所述各像素点的光强值。

可选地，在本公开上述任一方法实施例中，所述基于所述目标采样时刻的所述第一像素位置区域和所述重建图像，确定所述目标采样时刻所述信号灯的状态，包括：

分别以所述信号灯在不同状态时对应的灰度值作为聚类中心，对所述第一像素位置区域中像素点的灰度值进行聚类，得到所述第一像素位置区域中像素点的灰度值的聚类结果；

基于所述第一像素位置区域中各像素点的灰度值的聚类结果，确定所述信号灯的状态。

可选地，在本公开上述任一方法实施例中，所述生成所述目标采样时刻的重建图像之后，还包括：

将所述重建图像输入预先训练好的第一深度学习神经网络，经所述第一深度学习神经网络输出所述重建图像中的信号灯的目标检测结果，所述目标检测结果包括：未检测到信号灯，或者信号灯的第二像素位置区域；

基于所述第一像素位置区域和所述第二像素位置区域，确定所述信号灯的位置，得到所述信号灯的位置信息。

可选地，在本公开上述任一方法实施例中，还包括：

将携带所述信号灯检测结果的重构图像输入预先训练好的第二深度学习神经网络，经所述第二深度学习神经网络输出所述信号灯的状态检测结果。

可选地，在本公开上述任一方法实施例中，所述基于所述第一像素位置区域中各像素点的灰度值的聚类结果，确定所述信号灯的状态，包括：

按照预设融合方式，对所述第一像素位置区域中各像素点的灰度值的聚类结果与所述信号灯的状态检测结果进行融合，得到融合结果；

基于所述融合结果确定所述信号灯的状态，得到所述信号的状态信息。

根据本公开实施例的岭南一个方面，提供一种信号灯检测装置，包括：

获取模块，用于获取脉冲相机对观测场景进行持续采样得到的脉冲阵列；其中，所述脉冲阵列包括所述脉冲相机的采集画面中各像素点的脉冲序列，所述采集画面中的不同像素点分别对应于所述观测场景的不同部分；所述各像素点的脉冲序列包括所述各像素点在各采样时刻的脉冲特征值，所述脉冲特征值用于表示是否有脉冲发放；

第一确定模块，用于分别以各采样时刻作为目标采样时刻，基于包含所述目标采样时刻的目标时间段内的脉冲阵列，确定所述目标采样时刻所述观测场景中信号灯的像素位置区域，得到第一像素位置区域；

第二确定模块，用于基于所述目标采样时刻的所述第一像素位置区域和所述目标时间段内的脉冲阵列，确定所述目标采样时刻所述信号灯的状态。

根据本公开实施例的又一个方面，提供一种信号灯检测系统，包括：

脉冲相机，用于对观测场景进行持续采样，得到脉冲阵列；其中，所述脉冲阵列包括所述脉冲相机的采集画面中各像素点的脉冲序列，所述采集画面中的不同像素点分别对应于所述观测场景的不同部分；所述各像素点的脉冲序列包括所述各像素点在各采样时刻是否有脉冲发放的特征值；

信号灯检测装置，用于获取所述脉冲阵列；分别以各采样时刻作为目标采样时刻，基于包含所述目标采样时刻的目标时间段内的脉冲阵列，确定所述目标采样时刻所述观测场景中信号灯的像素位置区域，得到第一像素位置区域；基于所述目标采样时刻的所述第一像素位置区域和所述目标时间段内的脉冲阵列，确定所述目标采样时刻所述信号灯的状态。

本公开实施例的再一个方面，提供一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现本公开上述任一实施例所述的方法。

本公开实施例的再一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现本公开上述任一实施例所述的方法。

本公开实施例的再一个方面，提供一种计算机程序产品，包括计算机程序指令，该计算机程序指令被处理器执行时实现本公开上述任一实施例所述的方法。

基于本公开上述实施例提供的信号灯检测方法、装置和系统，通过脉冲相机对观测场景进行持续采样得到脉冲阵列，然后，分别以各采样时刻作为目标采样时刻，基于包含该目标采样时刻的目标时间段内的脉冲阵列，确定目标采样时刻观测场景中信号灯的第一像素位置区域，进而，基于目标采样时刻的第一像素位置区域和目标时间段内的脉冲阵列，可以快速确定该目标采样时刻信号灯的状态，从而可以快速获知相应的交通通行状态。由于脉冲信号可以连续采集，脉冲信号的采集帧频高、记录的信息量完整，可以快速、准确地确定观测场景中信号灯的状态，例如，当前时刻信号灯是红灯，以便反馈给自动驾驶系统作出正确的决策；另外，在两个相邻时刻信号灯的状态发生变化时，可以快速、准确地检测到信号灯的状态变化，尤其是对于路口复杂的交通状况，有助于自动驾驶系统快速做出决策，降低交通工具出现违规驾驶的概率，由此，本公开实施例不仅能缩短自动驾驶系统的响应时间，还可以提高自动驾驶系统决策的准确性，从而能够提高交通工具行驶的安全性。

相对于相关技术使用多台低帧频相机组合形成的高帧频信号采集系统，本公开实施例的功耗低，硬件结构简单，体积小，易于实现，便于大规模部署。

本公开实施例可以应用于私家车、公交车、轨道交通工具(如地铁)、物流运输工具、特殊功能车辆等任意行驶交通工具，也可以应用于路侧设备等任意交通管理辅助设备，本公开实施例对此不做限制。

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

附图说明

构成说明书的一部分的附图描述了本公开的实施例，并且连同描述一起用于解释本公开的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：

图1为本公开信号灯检测方法一个实施例的流程图。

图2为本公开实施例中脉冲序列的一个示例图。

图3为本公开信号灯检测方法另一个实施例的流程图。

图4为本公开实施例中对应于一种脉冲重构算法的一个脉冲序列示例图。

图5为本公开实施例中对应于另一种脉冲重构算法的一个脉冲序列示例图。

图6为本公开信号灯检测方法又一个实施例的流程图。

图7为本公开信号灯检测方法再一个实施例的流程图。

图8为图7所示实施例对应的一个处理过程示意图。

图9为本公开信号灯检测装置一个实施例的结构示意图。

图10为本公开信号灯检测装置另一个实施例的结构示意图。

图11为本公开信号灯检测系统一个实施例的结构示意图。

图12为本公开电子设备一个应用实施例的结构示意图。

具体实施方式

现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。

还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。

另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。

还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。

终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

在自动驾驶中，高时间灵敏度的信号灯检测系统不仅能缩短自动驾驶系统的响应时间，还可以提高驾驶的安全性。一方面可以快速地收集到车辆附近的信号灯的状态，例如，当前时刻信号灯是红灯，可以反馈给自动驾驶系统快速作出判断；另一方面，对于路口复杂的交通状况，可以准确地检测到信号灯的状态变化，可以精确到1ms以下，进而提高驾驶系统预测、决策的准确性，降低车辆出现违规驾驶的概率，从而提高自动驾驶的安全性。

目前，多数信号灯采用发光二极管(light-emitting diode，LED)实现，LED的闪烁频率一般在90Hz-100Hz，其中点亮过程约占整个过程的10％，即在一个闪烁周期(约10ms)内信号灯的点亮过程占了1ms。传统相机的采集帧频基本在30帧左后，使用传统相机检测信号灯时，检测的精度在33ms，而信号灯变化时间点一般为1ms左右，因此，难以精确检测到信号灯的变化时刻。

图1为本公开信号灯检测方法一个实施例的流程图。如图1所示，该实施例的信号灯检测包括：

102，获取脉冲相机对观测场景进行持续采样得到的脉冲阵列。

其中，所述脉冲阵列包括脉冲相机的采集画面中各像素点的脉冲序列，所述采集画面中的不同像素点分别对应于观测场景的不同部分。各像素点的脉冲序列包括各像素点在各采样时刻的脉冲特征值。本公开实施例中的各脉冲序列分别是一个脉冲信号(Spiking)流，脉冲阵列包括各像素的脉冲信号流。

即，各像素点的脉冲序列由一序列用于表示该像素点在各采样时刻是否以后脉冲发放的脉冲特征值构成。其中的脉冲特征值用于表示是否有脉冲发放，可以用两个预设值分别表示是否有脉冲发放，例如，在其中一些实现方式中，可以用二进制符号1、0分别表示是否有脉冲发放的脉冲特征值。

本公开实施例应用于车辆时，可以在车辆行驶过程中，利用通过脉冲相机持续对包括信号灯的观测场景(例如包括信号灯的交通路口)进行采样。

104，分别以各采样时刻作为目标采样时刻，基于包含目标采样时刻的目标时间段内的脉冲阵列，确定该目标采样时刻观测场景中信号灯的像素位置区域，得到第一像素位置区域。

其中的像素位置区域，即在采集画面对应的像素坐标系(也称为图像坐标系)中的位置区域。

106，基于目标采样时刻的第一像素位置区域和上述目标时间段内的脉冲阵列，确定目标采样时刻信号灯的状态。

其中，信号灯的状态即信号灯显示的颜色，在不同应用场景中，信号灯的状态表征的含义不同。例如，在自动驾驶、十字路口等交通场景中，信号灯的状态用于表征交通通行状态；在工业等运作场景中，信号灯的状态用于表征作业状态；等等。本公开实施例对信号灯的状态、具体的应用场景和在具体的应用场景中表征的含义不做限制。在其中一些实现方式中，信号灯的状态例如可以包括：暗、红色、绿色、黄色。其中，暗表示信号灯处于未点亮状态，可以是信号灯未处于工作状态或者处于闪烁周期中未点亮状态。例如，在交通场景中，信号灯的状态为红色、绿色、黄色时，信号灯分别作为红灯、绿灯和黄灯，对应表示禁止通行、可以通行、等待。本公开实施例中，以信号灯应用于交通场景为例进行说明，对于信号灯应用于其他应用场景中的实现同样适用，本公开实施例不再特别说明。

由于脉冲信号可以连续采集，脉冲信号的采集帧频高、记录的信息量大、信息完整，可以快速、准确地确定观测场景中信号灯的状态，例如，当前时刻信号灯是红灯，以便反馈给自动驾驶系统作出正确的决策；另外，在两个相邻时刻信号灯的状态发生变化时，可以快速、准确地检测到信号灯的状态变化，尤其是对于路口复杂的交通状况，有助于自动驾驶系统快速做出决策，降低交通工具出现违规驾驶的概率，由此，基于本实施例，不仅能缩短自动驾驶系统的响应时间，还可以提高自动驾驶系统决策的准确性，从而能够提高交通工具行驶的安全性。相对于相关技术使用多台低帧频相机组合形成的高帧频信号采集系统，本公开实施例的不需要使用多台相机或者探测器，功耗低，硬件结构简单，便于集成，体积小，易于实现，便于大规模部署，可以满足不同场景下的需求。

可选地，图1所示实施例之前，还可以利用脉冲相机对观测场景进行持续采样来得到脉冲阵列。例如，在其中一些实现方式中，可以利用脉冲相机中的光电传感器对观测场景进行持续采样，获取各采样时刻，分别对应于观测场景中不同部分的各像素点的瞬时光强值，并将该瞬时光强值转换为电信号进行累积；响应于第一像素点的电信号的累积量达到预设阈值，该第一像素点生成一个脉冲并发放，将该第一像素点的脉冲特征值从0置为1，并将该第一像素点的电信号的累积量置零以便重新进行累积，同时将该第一像素点的脉冲特征值从1置为0。其中，第一像素点为各像素点中电信号的累积量达到预设阈值的像素点，在同一时刻，电信号的累积量达到预设阈值的像素点可以是一个像素点，也可以是多个像素点，或者没有电信号的累积量达到预设阈值的像素点。其中，电信号的累积量未达到预设阈值的像素点的脉冲特征值为0。重复上述过程，从而在各个像素点处都生成一个二进制符号表示的脉冲序列，该脉冲序列可以以(height，weight，time)格式表示，其中，height、weight表示该像素点在光电传感器采集画面中的位置(即像素位置)，time表示当前采样时刻。

如图2所示，为本公开实施例中脉冲序列的一个示例图。如图2所示，x、y为像素坐标系的两个坐标轴，t为时间坐标轴。脉冲相机以H*W*T脉冲阵列的形式表示视觉信息，其中，H*W为脉冲相机的空间分辨率，T为脉冲相机的采样次数。其中，单个像素点输出的信号序列为脉冲序列，脉冲阵列在某个时刻的截面为脉冲矩阵。脉冲阵列由两种符号1、0组成，其中1(图2中实心点)表示在该采样时刻的该像素点(对应一个时空位置)处有脉冲发放；0表示该时空位置无脉冲发放。通过脉冲相机，能够持续记录各像素点的瞬时光强值的变化，不存在帧率和曝光时间的概念，突破了传统相机的局限性。

由于信号灯实际工作时处于周期性的高速闪烁状态，并且，信号灯点亮过程占用的时间相对一个完整的闪烁周期来说较短，为了解决这一问题，本公开实施例使用脉冲相机作为信息采集设备，脉冲相机中的光电传感器，可以通过持续记录包括信号灯的观测场景各个时刻的瞬时光强值来记录信息，并仿照人类视网膜中央凹的采样机制，将采集到的信息转化为二进制脉冲序列，可以达到每秒生成4万帧图像。由于脉冲相机的采样频率比较高，以脉冲阵列的形式表示视觉信息，能够持续记录光强的变化，不存在曝光时间窗口的概念，突破了传统相机的局限性，能够更加完整地记录信号灯的闪烁过程中的状态变化，在保证高帧频检测的同时解决了传统相机存在的信息丢失的问题。

可选地，在其中一些实现方式中，在操作104中，可以分别以各采样时刻作为目标采样时刻，基于目标时间段内的脉冲序列，获取同一采样时刻有脉冲发放、且目标时间段内的脉冲发放频率在预设频率范围内的规则像素区域，作为信号灯的像素位置区域，其中，该预设频率范围基于实际采用的信号灯的闪烁频率确定，可以包括信号灯的闪烁频率，且可以排除或基本排除观测场景中其他物体的闪烁频率。例如，目前多数信号灯采用LED实现，LED的闪烁频率一般在90Hz-100Hz，则在一些实现方式中，上述预设频率范围可以为[80，120]Hz，并可以根据实际需求修改，本公开实施例对预设频率范围的具体取值不做限制。

另外，规则像素区域是指像素点形成的区域具有一定的规则，该规则可以根据信号灯的形状或者显示的内容预先设定，例如可以是圆形、椭圆形、方形、长方形、圆角方形、圆角长方形、或者数字形状等等，本公开实施例对区域的具体规则不做限制。

例如，在具体实现中，可以基于目标时间段内的脉冲序列，获取同一采样时刻有脉冲发放的规则像素区域，然后，确定该规则像素区域在目标时间段内的脉冲发放频率是否在上述预设频率范围内。响应于该规则像素区域在目标时间段内的脉冲发放频率在预设频率范围内，则确定该规则像素区域为信号灯的像素位置区域。

或者，也可以基于目标时间段内的脉冲序列，先获取目标时间段内脉冲发放频率在上述预设频率范围内的候选像素点，然后，确定这些候选像素点中在同一采样时刻发放脉冲的像素点是否形成预设规则像素区域。响应于这些候选像素点中在同一采样时刻发放脉冲的像素点形成预设规则像素区域，则确定这些候选像素点中在同一采样时刻发放脉冲的像素点形成的规则像素区域为信号灯的像素位置区域。

本公开的发明人通过研究发现，信号灯的亮度明显高于周边环境，且基于一定的频率进行闪烁，由此，在脉冲阵列中，通过如下特征来识别信号灯：某一密集规则像素区域的亮度明显高于周边像素点的亮度，且该密集规则像素区域按照一定的频率(例如LED的闪烁频率90Hz-100Hz)进行闪烁，即信号灯对应的脉冲阵列呈现一定规律。通过对脉冲阵列进行信号灯对应的特征分析，可准确确定出信号灯在观测场景中的像素位置区域。

而对于观测场景中可能对信号灯检测结果存在的干扰因素，例如车辆的大灯、圆形指示牌等，与信号灯外表近似的物体，结合预设频率范围和规则像素区域，可以被有效排除，从而避免干扰因素对信号灯检测结果的影响。例如，对于车辆的大灯，其闪烁频率远低于信号灯的闪烁频率，通过预设频率范围可以排除该干扰因素；而对于圆形指示牌，其本身并不会发光，其亮度低于信号灯的亮度，也不存在固定的闪烁周期，因此，通过是否在预设频率范围内进行规制像素区域的脉冲发放可以排除该干扰因素。

在具体实现中，可以利用脉冲神经网络(Pulsed neural network，SNN)的目标检测算法，例如基于脉冲的目标检测模型Spiking-YOLO等，来实现上述基于脉冲阵列确定信号灯的像素位置区域。

其中，SNN是第三代神经网络，它以脉冲神经元为计算单元，模拟信息在人脑中的编码和处理过程。与传统的人工神经网络(Artificial Neural Network，ANN)不同，SNN通过由一系列脉冲(离散)组成的脉冲序列的精确定时(时间)来传输信息，而不是通过一个真实值(连续)。也就是说，SNN在信息传输中利用时间，就像在生物神经系统中一样，从而提供稀疏但强大的计算能力。此外，当接收到脉冲时，脉冲神经元将输入整合到膜电位中，当膜电位达到一定阈值时，产生(发放)脉冲，从而实现事件驱动计算。由于脉冲事件的稀疏性和事件驱动的计算，SNN提供卓越的能效，相对于ANN具有高性能低功耗的优势。

图3为本公开信号灯检测方法另一个实施例的流程图。如图3所示，在图1所示实施例的基础上，操作106可以包括：

1062，利用预设脉冲重构算法，基于上述目标时间段内的脉冲阵列，生成目标采样时刻的重建图像。

其中，操作104和1062之间不存在执行时序限制，二者可以以任意顺序执行，例如可以同时执行操作104和1062，也可以任意时间先执行操作104或操作1062，本公开实施例对此不做限制。

1064，基于目标采样时刻的第一像素位置区域和重建图像，确定目标采样时刻信号灯的状态。

可选地，在其中一些实现方式中，上述操作1062可以包括：利用预设脉冲重构算法，分别基于目标时间段内的脉冲阵列中各像素点的脉冲序列，获取各像素点在目标采样时刻的光强值，进而，基于各像素点在目标采样时刻的光强值，生成目标采样时刻的重建图像。

其中的重建图像中，通过各像素点的灰度值表示各像素点的光强值。

具体来说，针对输入的脉冲阵列流(Spiking)，根据各像素点的脉冲序列的前后时间相关性进行处理，例如，需要生成第10帧重建图像时，利用预设脉冲重构算法，针对包括该第10帧对应的目标采样时刻的目标时间段对应的各像素点的脉冲序列的脉冲特征值，来对10帧重建图像中各像素点的光强值进行估计，以光强值作为像素值，得到第10帧重建图像中全部像素点的光强值，以此生成第10帧重建图像，以用于信号灯的状态确定。

可选地，在其中一些实现方式中，上述预设脉冲重构算法例如可以是基于峰电位间距(ISI)的脉冲重构算法(TFI)、基于固定窗口滑动的脉冲重构算法(TFP)、基于卷积神经网络(convolutional neural network，CNN)的脉冲重构算法脉冲重构算法等，本公开实施例对具体采用的脉冲重构算法不做限制。相应地，目标时间段的具体选取基于具体采用的脉冲重构算法确定。

图4为本公开实施例中对应于一种脉冲重构算法的一个脉冲序列示例图。如图4所示，为采用TFI获取其中一个像素点在目标采样时刻的光强值的示意图，其中，01000100101000010101为脉冲相机采集得到的一个像素点在t

其中，C为灰度图的级别数，C的取值为256，Δt为目标时间段的长度(即包括的采样时刻的数量)。例如，对于图4所示脉冲序列，基于公式(1)可以计算得到该像素点在目标采样时刻分别为t

图5为本公开实施例中对应于另一种脉冲重构算法的一个脉冲序列示例图。如图5所示，为采用TFP获取其中一个像素点在目标采样时刻的光强值的示意图，其中，01000100101000010101为脉冲相机采集得到的一个像素点在t

其中，C为灰度图的级别数，C的取值为256。例如，对于图5所示脉冲序列，基于公式(2)可以计算得到该像素点在目标采样时刻分别为t

采用上述预设脉冲重构算法，可以分别计算各像素点在同一采样时刻的灰度值，基于所有像素点在该同一采样时刻的灰度值，可以生成目标采样时刻的重建图像，该重建图像包括各像素点的灰度值。

可选地，在其中一些实现方式中，生成目标采样时刻的重建图像之后，还可以利用空域滤波器来优化重构图像中信号灯的灰度值，然后再基于优化后的图像执行本公开实施例中的后续流程。具体来说，空域滤波器可以针对重建图像中信号灯的第一像素位置区域内各像素点的灰度值，根据其周围八个像素点的灰度值对该像素点的灰度值进行优化，例如，在一种具体实现方式中，针对信号灯的第一像素位置区域内灰度值小于预设阈值的像素点(为便于指代，简称为第二像素点)，在其周围八个像素点中有四个以上像素点的灰度值均大于预设灰度阈值时(为便于指代，将该灰度值大于预设灰度阈值的像素点简称为第三像素点)，根据其周围八个像素点中第三像素点的灰度值更新该第二像素点的灰度值，例如可以将该第二像素点的灰度值更新为其周围八个像素点中最大的灰度值，或者，可以将该第二像素点的灰度值更新为其周围第三像素点的灰度值的平均值，或者，还可以将该第二像素点的灰度值更新为其周围第三像素点中最小的灰度值，等等，本公开实施例对优化第二像素点的灰度值的具体实现方式不做限制。

基于本实施例，由于信号灯作为一个整体，在同一时刻呈现为一个状态，重建图像中信号灯的第一像素位置区域中各像素点的灰度值在同一时刻对应同一种颜色的灰度值，本实施例中，在生成目标采样时刻的重建图像之后，先优化重建图像中信号灯的灰度值，再基于优化后的重建图像确定目标采样时刻信号灯的状态，可以避免信号灯的第一像素位置区域中个别像素点的灰度值不准确而影响信号灯的状态确定结果，有助于提高信号灯的状态确定结果的准确性。

可选地，在其中一些实现方式中，在1064中，可以通过分别以信号灯在不同状态时对应的灰度值作为聚类中心，对目标采样时刻信号灯的第一像素位置区域中像素点的灰度值进行聚类，得到该第一像素位置区域中像素点的灰度值的聚类结果，即各像素点分别属于哪个聚类中心，然后，基于该第一像素位置区域中各像素点的灰度值的聚类结果，确定信号灯的状态，例如，确定信号灯的第一像素位置区域中数量最多的像素点属于的聚类中心对应的信号灯的状态为信号灯的状态。

具体来说，可以将信号灯分别为红色(即为红灯)、绿色(即为绿灯)、黄色(即为黄灯)时的红绿蓝(RGB)值转换为灰度值，对应作为信号灯的状态为红色、绿色、黄色时的聚类中心，以信号灯的状态为暗时的灰度值0作为信号灯的状态为暗时的聚类中心，通过信号灯的状态为暗、红色、绿色、黄色时对应的灰度值对信号灯的四个状态进行区分。其中，信号灯分别为红色、绿色、黄色时的RGB值，具体以信号灯在实际使用中的颜色确定，本公开实施例对此不做限制。分别针对信号灯的第一像素位置区域中的各像素点，以信号灯的状态为暗、红色、绿色、黄色时的四个聚类中心对该像素点的灰度值进行聚类，即分别计算该像素点的灰度值与四个聚类中心之间的距离，距离越近表示二者之间的灰度值越相似，确定与该像素点距离最近的聚类中心作为匹配的聚类中心，然后将该像素点的灰度值修改为匹配的聚类中心对应的灰度值。

基于本实施例，通过信号灯在不同状态时对应的灰度值对重建图像中信号灯的第一像素位置区域中像素点的灰度值进行聚类的方式，可以客观、准确的确定信号灯的状态。

在上述实施例中，在1064中，具体可以利用SNN，分别以信号灯在不同状态时对应的灰度值作为聚类中心，对目标采样时刻信号灯的第一像素位置区域中像素点的灰度值进行聚类，得到该第一像素位置区域中像素点的灰度值的聚类结果，并基于该第一像素位置区域中各像素点的灰度值的聚类结果，确定信号灯的状态。

在本公开上述实施例中，通过SNN确定目标采样时刻观测场景中信号灯的像素位置区域、以及对目标采样时刻信号灯的第一像素位置区域中像素点的灰度值进行聚类并确定信号灯的状态的方式，可以称为SNN域的目标检测。

图6为本公开信号灯检测方法又一个实施例的流程图。如图6所示，在图1所示实施例的基础上，在操作1062之后，还可以包括：

202，将重建图像输入预先训练好的第一深度学习神经网络，经该第一深度学习神经网络输出重建图像中的信号灯的目标检测结果。

其中的目标检测结果可以包括：未检测到信号灯，或者信号灯的像素位置区域(称为：第二像素位置区域)。

其中，第一深度学习神经网络，可以预先基于大量包括信号灯为各种状态(暗、红色、黄色、绿色)的灰度图像样本进行训练得到，其中的样本图像中标注有信号灯的位置区域标注信息，训练好的第一深度学习神经网络可以针对输入的灰度图像，检测灰度图像中是否存在信号灯，并在存在信号灯时标注出信号灯的像素位置区域。

204，基于第一像素位置区域和第二像素位置区域，确定信号灯的位置，得到信号灯的位置信息。

可选地，在其中一些实现方式中，可以在第一像素位置区域和第二像素位置区域一致时，直接以该第一像素位置区域或第二像素位置区域作为信号灯的位置信息。

在第一像素位置区域和第二像素位置区域不一致时，可以按照预设优先级，选取该第一像素位置区域或第二像素位置区域作为信号灯的位置信息。

或者，在另一些实现方式中，可以获取第一像素位置区域和第二像素位置区域之间的交并比(Intersection over Union，IoU)，即第一像素位置区域和第二像素位置区域对应的面积之间的交集和并集的比值，若该交并比大于预设值，例如0.8，可以认为第一像素位置区域和第二像素位置区域属于同一个目标的候选框，可以取第一像素位置区域和第二像素位置区域对应的面积之间的交集或者并集作为信号灯的位置信息。

基于本实施例，可以通过深度学习的方式，来检查重建图像中是否存在信号灯、以及存在的信号灯的第二像素位置区域，并结合SNN域的第一像素位置区域综合确定信号灯的位置，从而提高信号灯的位置检测结果的准确性。

可选地，再参见图6，在本公开信号灯检测方法的进一步实施例中，在操作202之后，还可以包括：

206，将携带信号灯检测结果的重构图像输入预先训练好的第二深度学习神经网络，经该第二深度学习神经网络输出信号灯的状态检测结果。

其中，第二深度学习神经网络，可以预先基于大量包括信号灯的状态标注信息(暗、红色、黄色、绿色)的灰度图像样本进行训练得到，训练好的第二深度学习神经网络可以针对输入的灰度图像，对灰度图像中的信号灯的状态进行分类，得到灰度图像中的信号灯的状态分别为暗、红色、黄色、绿色的归一化概率，确定概率最高的状态作为信号灯的状态检测结果。

基于本实施例，可以通过深度学习的方式，来对重建图像中的信号灯进行分类，从而得到信号灯的状态检测结果。

本公开该实施例中的第一深度学习神经网络、第二深度学习神经网络，是基于深度学习方式的神经网络，也可以称为人工神经网络(Artificial Neural Network，ANN)，其例如可以包括但不限于卷积神经网络(Convolutional Neural Network，CNN)、循环神经网络(Recurrent Neural Network，RNN)等各种深度学习神经网络。例如，在其中一些实现方式中，可以采用区域卷积神经网络(Region CNN，R-CNN)、加速区域卷积神经网络(Fast R-CNN)、更快速区域卷积神经网络(Faster R-CNN)、基于深度卷积神经网络的目标检测网络(You Only Look Once，YOLO)、YOLOV3、YOLOV5、单级多框预测网络(Single Shot MultiBoxDetector，SSD)、中心点描述目标检测网络(CenterNET)等作为第一深度学习神经网络、第二深度学习神经网络。本公开实施例对第一深度学习神经网络、第二深度学习神经网络具体采用的神经网络模型不做限制。

在上述图6所示实施例中，操作202-204通过深度学习神经网络对重建图像进行信号灯检测、以及对信号灯进行状态检测的方式，可以称为ANN域的目标检测。

通过深度学习神经网络得到的信号灯的状态检测结果，除了包括重建图像中信号灯的状态外，还可以同时输出标注出信号灯的第二像素位置区域的重建图像，由此，可以针对人员需要查看信号灯的状态的场景，例如交警根据重构图像进行交通违例判罚的场景，提供可视化图像用于查证。

图7为本公开信号灯检测方法再一个实施例的流程图。图8为图7所示实施例对应的一个处理过程示意图。如图7和图8所示，在图6所示实施例的基础上，该实施例中，操作1064可以包括：

10642，分别以信号灯在不同状态时对应的灰度值作为聚类中心，对目标采样时刻信号灯的第一像素位置区域中像素点的灰度值进行聚类，得到该第一像素位置区域中像素点的灰度值的聚类结果。

10644，按照第一预设融合方式，对通过操作10642得到的信号灯的第一像素位置区域中各像素点的灰度值的聚类结果与操作204中第二深度学习神经网络输出的信号灯的状态检测结果进行融合，得到融合结果。

例如，在其中一些实现方式中，可以按照第一预设权重，对通过操作10642得到的信号灯的第一像素位置区域中各像素点的灰度值的聚类结果与操作204中第二深度学习神经网络输出的信号灯的状态检测结果进行融合，得到融合结果。

10646，基于上述融合结果确定信号灯的状态，得到信号的状态信息。

例如，在其中一些实现方式中，通过操作10642得到的信号灯的第一像素位置区域中各像素点的灰度值的聚类结果，可以包括该信号灯的第一像素位置区域中分别属于信号灯在不同状态时对应的聚类中心的像素点的数量，例如分别属于信号灯为暗、红色、绿色、黄色时对应的聚类中心的像素点的数量为A1、A2、A3、A4，根据A1、A2、A3、A4分别与信号灯的第一像素位置区域中像素点的总数量A之间的比值确定信号灯为暗、红色、绿色、黄色时的概率，并对该概率进行归一化处理，得到信号灯为暗、红色、绿色、黄色时的归一化概率分别为a1、a2、a3、a4；通过操作204中第二深度学习神经网络输出的信号灯为暗、红色、黄色、绿色的归一化概率分别为b1、b2、b3、b4；则可以按照预设权重c1、c2，对信号灯为暗、红色、绿色、黄色时的归一化概率a1、a2、a3、a4和信号灯为暗、红色、黄色、绿色的归一化概率b1、b2、b3、b4进行融合，得到信号灯为暗、红色、黄色、绿色的融合概率分别为：c1*a1+c2*b1、c1*a2+c2*b2、c1*a3+c2*b3、c1*a4+c2*b4，作为融合结果，其中，c1、c2分别为不小于0且不大于1的数值，且c1+c2＝1。则可以确定融合概率最大的暗、红色、黄色或绿色作为信号灯的状态。

基于本实施例，通过对采用两种不同的方式得到的聚类结果与信号灯的状态检测结果进行融合，基于得到的融合结果来确定信号灯的状态，从而可以提高信号灯的状态检测结果的准确性和客观性，从而在进行后续驾驶控制时能够进一步提高自动驾驶系统决策的准确性，进而提高交通工具行驶的安全性。

可选地，基于上述实施例得到信号灯的位置信息和信号的状态信息后，可以输出携带该信号灯的位置信息的重建图像以及该信号的状态信息。

由于SNN和深度学习神经网络分别适用于不同的场景，在自动驾驶中，需要自动驾驶系统的响应时间较短，SNN可以很好地满足这样的场景；而对于十字路口这种交通复杂的场景则需要得到清晰可见的图像，并将检测出的信号灯在图像中标注出来，使用深度学习神经网络可以满足该需求。

由此，基于本实施例，将基于SNN得到的信号灯的第一像素位置区域和聚类结果，与基于ANN的信号灯的第二像素位置区域和状态检测结果对应进行融合，既能满足自行驾驶系统的响应时间短的需求，又可以标注出图像中的信号灯从而满足十字路口这种交通复杂场景的需求，可以实现各种场景下对高帧频的信号灯状态变化的检测，能够帮助自动驾驶系统快速、准确地确定信号灯的当前状态以及状态变化，以用于后续的自动驾驶控制。

可选地，在本公开上述实施例之前，还可以控制信号灯显示用于表征交通通行状态的交通信号，该交通信号包括信号灯的状态，另外，还可以包括附加信息。其中，该附加信息例如可以包括倒计时时长、信号灯方位和信号灯所属车道中的至少一种。其中的倒计时时长可以为当前通行状态的剩余时长，例如30s、15s、5s等。信号灯方位可以包括东向、西向、南向、北向等。信号灯所属车道可以包括：直行、转弯等。例如，信号灯方位和信号灯所属车道可以为“东向：车道a(左转)/b(直行)/c(直行)”、“南向：车道a/b/c”等，本公开实施例对此不做具体限制。

可选地，在其中一些实现方式中，可以通过如下方式，控制信号灯显示用于表征交通通行状态的交通信号：

(11)，获取待显示的交通信号，为便于区分，待显示的交通信号称为目标交通信号。

(12)，根据预先设置的交通信号与显示频率之间的对应关系，确定目标交通信号对应的目标显示频率。

其中，交通信号与显示频率之间的对应关系各类交通信号(例如信号灯的各种状态、倒计时时长、信号灯方位和信号灯所属车道)对应的显示频率，即分别以何显示频率进行表征并显示；不同类的交通信号，如信号灯的状态、倒计时时长、信号灯方位、所属车道等均可以通过设置不同的显示频率加以显示以表示当前的交通通行状态。

例如，在一种具体示例中，信号灯为红灯时对应的显示频率为6000hz；信号灯为绿灯时对应的显示频率为12000hz；信号灯为黄灯时对应的显示频率为18000hz，以使信号灯的显示频率远大于人眼刷新频率，保证显示频率对人眼的友好度；同时通过设置较大差距的显示频率，以免因存在干扰因素导致后续信号灯的状态误判。

另外，各类交通信号对应的显示频率也可以是一个显示频率区间，再如，在另一种具体示例中，信号灯为红灯时对应的显示频率区间为4000hz-6000hz；信号灯为绿灯时对应的显示频率区间为8000hz-10000hz；信号灯为黄灯时对应的显示频率区间为12000hz-14000hz。

上述示例仅用于交通信号与显示频率之间的对应关系进行举例说明，不构成相应限制。

可选地，在其中一些实现方式中，操作(12)可以包括以下步骤：

步骤(121)，基于预设编码规则，生成目标交通信号对应的目标编码。

其中的预设编码规则，可以为二进制数据编码规则。例如，可以预设信号等为红灯时编码为00、信号灯为绿灯时编码为01、信号等为黄灯时编码为10。还可以预设信号灯方位、信号灯所属车道、每个倒计时时长对应的编码，本公开实施例中不做具体赘述。

步骤(122)，根据预设编码与显示频率的对应关系，确定目标编码对应的目标显示频率。

在生成目标编码后，通过预设编码与显示频率的对应关系，可以匹配到与目标编码相对应的显示频率作为目标显示频率。

例如，预设编码与显示频率的对应关系可以为：00对应6000hz；01对应12000hz；10对应18000hz等，也可以是将6000、12000、18000分别进行二进制转换等，本公开实施例中不做限制。

步骤(123)，将目标编码对应的目标显示频率作为目标交通信号的目标显示频率。

(13)，按照确定的目标显示频率驱动信号灯显示目标交通信号。

其中，可以设置目标显示频率即驱动脉冲的频率，通过驱动脉冲驱动信号灯以使信号灯显示目标交通信号。

相应地，在102之后，分别以各采样时刻作为目标采样时刻，基于目标采样时刻的目标时间段内的脉冲阵列，确定该目标采样时刻观测场景中信号灯显示的交通信号，该交通信号用于表征交通通行状态，该交通信号包括信号灯的状态，另外，还可以包括上述附加信息。

可选地，在其中一些实现方式中，可以通过如下方式实现图1所示实施例中的操作106，确定该目标采样时刻观测场景中信号灯表征的交通通行状态：

(21)，分别以各采样时刻作为目标采样时刻，基于包含目标采样时刻的目标时间段内的脉冲阵列，确定该目标采样时刻观测场景中信号灯显示交通信号的目标显示频率。

例如，可以根据目标时间段内的脉冲阵列的脉冲数量和目标时间段的时长，计算脉冲的频率，得到信号灯显示交通信号的目标显示频率。

在具体实现中，可以分别以各采样时刻作为目标采样时刻，基于目标时间段内的脉冲序列，获取同一采样时刻有脉冲发放、且该目标显示频率在预设频率范围内的规则像素区域，作为信号灯的像素位置区域，上述目标显示频率即为信号灯显示交通信号的目标显示频率。

上述预设频率范围包括上述操作(12)中的对应关系中设置的各类交通信号(例如信号灯的各种状态、倒计时时长、信号灯方位和信号灯所属车道)对应的显示频率。另外，规则像素区域是指像素点形成的区域具有一定的规则，该规则可以是预先设置的根据信号灯的形状或者显示附加信息的内容对应的形状，例如可以是圆形、椭圆形、方形、长方形、圆角方形、圆角长方形等信号灯的形状，表示信号灯方位的东向、西向、南向、北向等字体的形状，直行、转弯等表示信号灯所属车道的形状。

(22)、根据预先设置的交通信号与显示频率之间的对应关系，识别目标显示频率对应的当前交通信号。

例如，若目标显示频率为6000hz、10000hz、15000hz，可以识别出该目标显示频率对应的交通信号为红灯、直行、倒计时时长60s。

可选地，在其中一些实现方式中，操作(22)可以包括以下步骤：

步骤(221)，根据预设编码与显示频率的对应关系，确定目标显示频率对应的目标编码；其中，目标编码为交通信号对应的编码。

步骤(222)，基于预设解码规则对目标编码进行解码，得到目标编码对应的交通信号，即当前交通信号。

例如，若目标显示频率为6000hz、10000hz、15000hz，可以确定目标显示频率对应的编码为00、0110、111100，进而基于预设编码规则解码得到交通信号为红灯、直行、倒计时时长60s。

基于本实施例，可以直接基于包含目标采样时刻的目标时间段内的脉冲阵列，确定目标采样时刻的当前交通信号(包括信号灯的状态)，而无需通过图像重建，可以进一步提高确定观测场景中信号灯的状态、以及检测信号灯的状态变化的速度，从而进一步缩短自动驾驶系统的响应时间，进而提高自动驾驶系统决策的准确性，能够进一步提高交通工具行驶的安全性。

相应地，识别出目标显示频率对应的当前交通信号后，可以直接以该当前交通信号作为信号灯检测结果进行输出，也可以同时结合该当前交通信号与通过操作1064确定出的信号灯的状态，确定信号灯检测结果进行输出。

例如，在其中一些实现方式中，在当前交通信号与通过操作1064确定出的信号灯的状态一致时，可以整合当前交通信号与通过操作1064确定出的信号灯的状态作为信号灯检测结果进行输出。可以在当前交通信号与通过操作1064确定出的信号灯的状态不一致时，根据预设策略当前交通信号或通过操作1064确定出的信号灯的状态作为信号灯检测结果进行输出，也可以将该当前交通信号与通过操作1064确定出的信号灯的状态按照第二预设方式进行融合，得到第一融合信息，基于该第一融合信息确定信号灯的状态并进行输出。将该当前交通信号与通过操作1064确定出的信号灯的状态进行融合的方式，可以参考图7所示实施例实现，此处不再赘述。

本实施例中，同时结合该当前交通信号与通过操作1064确定出的信号灯的状态确定信号灯检测结果，可以提高信号灯检测结果的准确性。

进一步地，也可以同时结合该当前交通信号与通过操作10642得到的信号灯的像素位置区域中各像素点的灰度值的聚类结果，确定信号灯检测结果进行输出。例如，按照第三预设融合方式，将该当前交通信号与通过操作10642得到的信号灯的像素位置区域中各像素点的灰度值的聚类结果进行融合，得到第二融合信息，基于该第二融合信息确定信号灯的状态并进行输出。将该当前交通信号与通过操作10642得到的信号灯的像素位置区域中各像素点的灰度值的聚类结果进行融合的方式，可以参考图7所示实施例实现，此处不再赘述。

本公开实施例应用于自动驾驶场景时，基于本公开实施例得到信号灯的状态或者交通信号后，还可以获取车辆的当前行驶信息；根据信号灯的状态或者交通信号以及当前行驶信息，确定车辆的行驶方案，包括控制行驶动作和/或规划行驶路线，例如，以时间最短为规划目标，控制行驶动作，和/或，规划行驶路线等。

本公开实施例提供的任一种信号灯检测方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本公开实施例提供的任一种信号灯检测方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种信号灯检测方法。下文不再赘述。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

图9为本公开信号灯检测装置一个实施例的结构示意图。该实施例的信号灯检测装置可用于实现本公开上述各信号灯检测方法实施例。如图9所示，该实施例的信号灯检测装置包括：获取模块302，第一确定模块304，生成模块306和第二确定模块306。其中：

获取模块302，用于获取脉冲相机对观测场景进行持续采样得到的脉冲阵列。其中，所述脉冲阵列包括脉冲相机的采集画面中各像素点的脉冲序列，所述采集画面中的不同像素点分别对应于观测场景的不同部分；各像素点的脉冲序列包括各像素点在各采样时刻的脉冲特征值，该脉冲特征值用于表示是否有脉冲发放。

第一确定模块304，用于分别以各采样时刻作为目标采样时刻，基于包含目标采样时刻的目标时间段内的脉冲阵列，确定目标采样时刻观测场景中信号灯的像素位置区域，得到第一像素位置区域。

第二确定模块306，用于基于目标采样时刻的第一像素位置区域和目标时间段内的脉冲阵列，确定目标采样时刻所述信号灯的状态。

由于脉冲信号可以连续采集，脉冲信号的采集帧频高、记录的信息量完整，可以快速、准确地确定观测场景中信号灯的状态，例如，当前时刻信号灯是红灯，以便反馈给自动驾驶系统作出正确的决策；另外，在两个相邻时刻信号灯的状态发生变化时，可以快速、准确地检测到信号灯的状态变化，尤其是对于路口复杂的交通状况，有助于自动驾驶系统快速做出决策，降低交通工具出现违规驾驶的概率，由此，基于本实施例，不仅能缩短自动驾驶系统的响应时间，还可以提高自动驾驶系统决策的准确性，从而能够提高交通工具行驶的安全性。相对于相关技术使用多台低帧频相机组合形成的高帧频信号采集系统，本公开实施例的功耗低，硬件结构简单，体积小，易于实现，便于大规模部署。

可选地，在其中一些实现方式中，可以利用脉冲相机对观测场景进行持续采样，获取各采样时刻，分别对应于观测场景中不同部分的各像素点的瞬时光强值，并将瞬时光强值转换为电信号进行累积；响应于第一像素点的电信号的累积量达到预设阈值，第一像素点生成一个脉冲并发放，并将第一像素点的电信号的累积量置零，以便重新进行累积；其中，第一像素点为各像素点中电信号的累积量达到预设阈值的像素点。

可选地，在其中一些实现方式中，第一确定模块304，具体用于分别以各采样时刻作为目标采样时刻，基于目标时间段内的脉冲序列，获取同一采样时刻有脉冲发放、且目标时间段内的脉冲发放频率在预设频率范围内的规则像素区域，作为信号灯的像素位置区域；其中，预设频率范围基于信号灯的闪烁频率确定。

例如，在具体实现中，可以分别以各采样时刻作为目标采样时刻，基于目标时间段内的脉冲序列，获取同一采样时刻有脉冲发放的规则像素区域，然后，确定规则像素区域在目标时间段内的脉冲发放频率是否在预设频率范围内，响应于规则像素区域在目标时间段内的脉冲发放频率在预设频率范围内，确定该规则像素区域为信号灯的像素位置区域。

可选地，在其中一些实现方式中，第二确定模块306可以包括生成单元3062和确定单元3064。其中，生成单元3062，用于利用预设脉冲重构算法，基于目标时间段内的脉冲阵列，生成目标采样时刻的重建图像。确定单元3064，用于基于目标采样时刻的所述第一像素位置区域和重建图像，确定目标采样时刻信号灯的状态。

可选地，在其中一些实现方式中，生成单元3062，具体用于利用预设脉冲重构算法，分别基于目标时间段内的脉冲阵列中各像素点的脉冲序列，获取各像素点在目标采样时刻的光强值，然后，基于各像素点在目标采样时刻的光强值，生成目标采样时刻的重建图像；其中，重建图像中，通过各像素点的灰度值表示各像素点的光强值。

图10为本公开信号灯检测装置另一个实施例的结构示意图。如图10所示，在图9所示实施例的基础上，本公开实施例中，确定单元3064可以包括：聚类子单元，用于分别以信号灯在不同状态时对应的灰度值作为聚类中心，对第一像素位置区域中像素点的灰度值进行聚类，得到该第一像素位置区域中像素点的灰度值的聚类结果；确定子单元，用于基于该第一像素位置区域中各像素点的灰度值的聚类结果，确定信号灯的状态。

另外，再参见图10，在为本公开信号灯检测装置的另一个实施例中，在图9所示实施例的基础上，该实施例的信号灯检测装置还可以包括：第一检测模块402，用于将生成模块3062生成的重建图像输入预先训练好的第一深度学习神经网络，经该第一深度学习神经网络输出重建图像中的信号灯的目标检测结果，该目标检测结果可以包括：未检测到信号灯，或者信号灯的第二像素位置区域。相应地，再参见图10，在为本公开信号灯检测装置的又一个实施例中，还可以包括：第二确定模块404，用于基于第一像素位置区域和第二像素位置区域，确定信号灯的位置，得到信号灯的位置信息。

可选地，再参见图10，在为本公开信号灯检测装置的又一个实施例中，还可以包括：第二检测模块406，用于将携带信号灯检测结果的重构图像输入预先训练好的第二深度学习神经网络，经该第二深度学习神经网络输出信号灯的状态检测结果。

相应地，该实施例中，第二确定模块306还可以包括：融合单元3066，用于按照预设融合方式，对聚类子单元得到的像素位置区域中各像素点的灰度值的聚类结果与第二检测模块406得到的信号灯的状态检测结果进行融合，得到融合结果。相应地，确定子单元，具体用于基于该融合结果确定信号灯的状态。

图11为本公开信号灯检测系统一个实施例的结构示意图。该实施例的信号灯检测系统可用于实现本公开上述各信号灯检测方法实施例。如图11所示，该实施例的信号灯检测系统包括：脉冲相机502和信号灯检测装置504。其中：

脉冲相机502，用于对观测场景进行持续采样，得到脉冲阵列。其中，该脉冲阵列包括脉冲相机的采集画面中各像素点的脉冲序列，采集画面中的不同像素点分别对应于观测场景的不同部分；各像素点的脉冲序列包括各像素点在各采样时刻是否有脉冲发放的特征值。

信号灯检测装置504，用于获取上述由脉冲相机502采样得到的脉冲阵列，例如可以是持续接收脉冲相机502主动发送的脉冲阵列，或者，通过向脉冲相机502发送获取请求接收脉冲相机502发送的脉冲阵列；分别以各采样时刻作为目标采样时刻，基于包含该目标采样时刻的目标时间段内的脉冲阵列，确定该目标采样时刻观测场景中信号灯的像素位置区域；基于该目标采样时刻信号灯的像素位置区域和目标时间段内的脉冲阵列，确定该目标采样时刻信号灯的状态。

本实施例中的信号灯检测装置504，可以采用但不限于本公开上述任一实施例所述信号灯检测装置的实现方式实现，本公开实施例对此不做限制。

由于脉冲信号可以连续采集，脉冲信号的采集帧频高、记录的信息量完整，可以快速、准确地确定观测场景中信号灯的状态，例如，当前时刻信号灯是红灯，以便反馈给自动驾驶系统作出正确的决策；另外，在两个相邻时刻信号灯的状态发生变化时，可以快速、准确地检测到信号灯的状态变化，尤其是对于路口复杂的交通状况，有助于自动驾驶系统快速做出决策，降低交通工具出现违规驾驶的概率，由此，基于本实施例，不仅能缩短自动驾驶系统的响应时间，还可以提高自动驾驶系统决策的准确性，从而能够提高交通工具行驶的安全性。相对于相关技术使用多台低帧频相机组合形成的高帧频信号采集系统，本公开实施例的功耗低，硬件结构简单，体积小，易于实现，便于大规模部署，可以满足不同场景下的需求。

基于本公开实施例，提供了一种基于脉冲相机的、高帧频、高时间灵敏度、低功耗的信号检测系统，利用脉冲相机来进行数据采集，每秒可进行约4万帧采集，以此来尽可能地减少数据采集时产生的信息损失，对于阴雨天、雾霾天或者有信号灯因前方车辆遮挡等情况，由于脉冲相机的采集帧频高、信息量大，可以充分利用信号灯的频率特点进行信号灯位置和状态检测，相对于传统相机可以得到更准确、更精确的信号灯状态及状态变化结果，另外，直接在脉冲信号域进行信号灯的位置检测，相对于利用传统相机拍摄的图像检测方式需要的信噪比更低，例如利用传统相机拍摄的图像检测方式需要在6：1的信噪比下才能检测出信号灯的位置，而基于脉冲信号只需要在3：1甚至更低的信噪比即可检测出信号灯的位置。

另外，分别在SNN域和ANN域进行信号灯的位置和状态检测，然后将两者的检测结果进行融合，得到最终的信号灯的状态，有助于提高信号灯的状态检测结果的准确性，可以满足各种不同场景的需求。

另外，本公开实施例还提供了一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现本公开上述任一实施例所述的信号灯检测方法。

图12为本公开电子设备一个应用实施例的结构示意图。下面，参考图12来描述根据本公开实施例的电子设备。该电子设备可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。

如图12所示，电子设备包括一个或多个处理器602和存储器604。

处理器602可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。

存储器604可以存储一个或多个计算机程序产品，所述存储器604可以包括各种形式的计算机可读存储介质，例如易失性存储器604和/或非易失性存储器604。所述易失性存储器604例如可以包括随机存取存储器604(RAM)和/或高速缓冲存储器604(cache)等。所述非易失性存储器604例如可以包括只读存储器604(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序产品，处理器602可以运行所述计算机程序产品，以实现上文所述的本公开的各个实施例的信号灯检测方法以及/或者其他期望的功能。

在一个示例中，电子装置还可以包括：输入装置606和输出装置608，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

此外，该输入装置606还可以包括例如键盘、鼠标等等。

该输出装置608可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置608可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出装置608等等。

当然，为了简化，图12中仅示出了该电子设备中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备还可以包括任何其他适当的组件。

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器602运行时使得所述处理器602执行本说明书上述部分中描述的根据本公开各种实施例的信号灯检测方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器602运行时使得所述处理器602执行本说明书上述部分中描述的根据本公开各种实施例的信号灯检测方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器604(RAM)、只读存储器604(ROM)、可擦式可编程只读存储器604(EPROM或闪存)、光纤、便携式紧凑盘只读存储器604(CD-ROM)、光存储器604件、磁存储器604件、或者上述的任意合适的组合。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。