事件相机获取影像的方法、装置、电子设备及存储介质

技术领域

本申请涉及飞行时间测距技术领域，具体涉及一种事件相机获取影像的方法、装置、电子设备及存储介质。

背景技术

事件摄像头传感器使用基于事件驱动的方式来捕捉场景中的动态变化。与传统相机不同，事件摄像头传感器工作时，现实场景中发生变化时，事件摄像头传感器会产生一些像素级的输出(即事件)，一个事件具体包括(t,x,y,p)，其中x和y为事件在二维空间的像素坐标，t为事件的时间轴，p为事件的极性。事件的极性代表场景的亮度变化：上升或下降。

而事件摄像头传感器模块或设有事件摄像头传感器的产品对于像素点输出条件，取决于不同时间轴的向速点光转换讯号的差异，也就是说，当拍摄时的现实场景没有发生变化时，事件相机传感器不会输出任何数据，如果生产时需要镜头调焦或是检测时，必须要对生产时所拍摄的目标物持续移动，或是对事件摄像头传感器持续移动才能维持影像输出。然而，在实现本申请过程中，发明人发现现有技术中至少存在如下问题：摄像头输出检测影像之前，大多需要执行事件摄像头与标定件之间的标定，如持续移动摄像头或标定件，移动过程易造成标定不准确且需要增加额外的移动设备，增加了成本和实现难度。

发明内容

鉴于以上问题，本申请提出一种事件相机获取影像的方法、装置、电子设备及存储介质，以解决上述问题。

本申请的第一方面提供一种事件相机获取影像的方法，应用于一影像获取系统，所述影像获取系统包括事件相机、光源及标定件，所述事件相机包括动态视觉传感器，所述方法包括：

获取所述光源的闪烁频率；

依据所述闪烁频率调整所述事件相机的扫描频率；

依据所述闪烁频率和所述扫描频率确定所述事件相机的扫描状态与所述光源的闪烁周期；

依据所述光源的闪烁周期获取所述事件相机与所述光源的同步频率；

依据所述同步频率确定所述事件相机的影像输出频率。

如此，通过光源的闪烁频率配合事件相机的扫描频率，以使光源闪烁和事件相机的不同步且事件相机可感测标定件的亮度变换，并对应调整影像输出频率，以实现不用移动事件相机或标定件即可获取标定件的影像，降低事件相机输出影像的复杂性和输出成本，提升了影像输出效率。

在一些实施例中，所述标定件设置所述光源和所述事件相机之间，所述光源依照闪烁频率朝所述标定件的一侧发射光束，所述事件相机用于拍摄并输出所述标定件的另一侧的影像。

如此，通过以上设置以形成背照式测试环境，

在一些实施例中，依据所述闪烁频率和所述扫描频率确定所述事件相机处于扫描中且所述光源为亮的周期性时刻，具体包括：

将所述闪烁频率转换为第一状态结果，将所述扫描频率转换为第二状态结果；

将相同时刻的所述第一状态结果和所述第二状态结果进行逻辑与运算以获取所述闪烁频率和所述扫描频率之间的第一对应关系表；

依据所述第一对应关系表中为正的周期性时刻确定所述事件相机的扫描状态与所述光源的闪烁周期。

如此，通过逻辑与运算以获取闪烁频率与扫描频率的同步对应关系，并依据同步对应关系确定所述事件相机的扫描状态与所述光源的闪烁周期，所述事件相机可感测标定件的亮度的变化且可依据亮度变化输出事件流。

在一些实施例中，所述依据同步频率确定所述事件相机的影像输出频率，具体包括：

依据扫描频率确定所述事件相机的采样频率，其中所述采样频率可为所述扫描频率的倍数；

将所述同步频率转换为第三状态结果，将所述采样频率转换为第四状态结果；

将相同时刻的所述第三状态结果和所述第四状态结果进行逻辑与运算以获取所述同步频率和所述采样频率之间的第二对应关系表；

依据所述第二关系表为正的周期性时刻确定所述影像输出频率。

如此，通过扫描频率获取采样频率，并依据采样频率和同步频率逻辑与运算，以获取对应的影像输出频率，以保证事件相机输出的影像为完整的。

在一些实施例中，所述将所述闪烁频率转换为第一状态结果，将所述扫描频率转换为第二状态结果，具体包括：

依据闪烁频率获取所述光源的亮时刻和熄时刻；

将所述光源亮时刻和所述光源熄时刻分别设定为1和0，以形成第一状态结果；

依据扫描频率获取所述事件相机的扫描时刻和非扫描时刻；

将所述事件相机扫描时刻和所述事件相机非扫描时刻分别设定为1和0，以形成第二状态结果。

如此，通过设定不同的值，以便于第一状态结果和第二状态结果进行逻辑与运算。

在一些实施例中，所述光源和所述事件相机设置于所述标定件的同一侧，所述光源依照闪烁频率朝所述标定件的一侧发射光束，所述事件相机用于拍摄所述标定件的影像。

如此，通过以上布置以形成反射式光源测试环境。

本申请同时提供一种事件相机获取影像的装置，应用于一影像获取系统，所述影像获取系统还包括事件相机、光源及标定件，所述事件相机包括动态视觉传感器，所述装置包括：

获取模块，用于获取所述光源的闪烁频率；

调整模块，依据所述闪烁频率调整所述事件相机的扫描频率；

确定模块，用于依据所述闪烁频率和所述扫描频率确定所述事件相机的扫描状态与所述光源的闪烁周期；

所述获取模块还用于依据所述光源的闪烁周期获取所述事件相机与所述光源的同步频率，所述确定模块还用于依据所述同步频率确定所述事件相机的影像输出频率。

在一些实施例中，所述标定件设置于所述光源和所述事件相机之间，以使所述光源依照闪烁频率朝所述标定件的一侧发射光束，所述事件相机拍摄并输出所述标定件的另一侧的影像，或将所述光源和所述事件相机设置于标定件的同一侧，以使所述光源依照闪烁频率朝所述标定件发射光束，所述事件相机拍摄并输出所述标定件的影像。

本申请第三方面提供一种电子设备，所述电子设备包括：

存储器、处理器和通讯总线，所述存储器通过所述通讯总线与所述处理器通信连接；以及所述存储器中存储有多个程序模块，所述多个程序模块由所述处理器加载并执行如上所述的获取影像方法。

本申请第四方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述的获取影像方法。

附图说明

图1是本申请第一实施例所提供的影像获取系统的环境示意图。

图2是本申请一实施例所提供的振幅时间示意图。

图3是本申请第二实施例所提供的影像获取系统的环境示意图。

图4是本申请第三实施例所提供的事件相机输出影像的装置示意图。

图5是本申请第四实施例所提供的事件相机输出影像的方法流程图。

图6是本申请第五实施例所提供的电子设备的架构示意图。

具体实施方式

为了能够更清楚地理解本申请的所述目的、特征和优点，下面结合附图和具体实施例对本申请进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。在下面的描述中阐述了很多具体细节以便于充分理解本申请，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。

请参见图1，图1为本申请第一实施例提供的影像获取系统100的示意图。该影像获取系统100包括事件相机10、光源20、标定件30及事件相机获取影像的装置40，事件相机10包括动态视觉传感器(图未示)，事件相机获取影像的装置40与事件相机10电连接。

可以理解地，事件相机获取影像的装置40可为一具有处理器和存储器的独立控制装置，也可与事件相机10一体式设置，与事件相机10共用处理器和存储器。

具体地，事件相机获取影像的装置40通过发送控制指令，以通过机械手等移取设备或通过人工将事件相机10和光源20分别设置于标定件30的相对两侧，光源20依据闪烁频率朝向标定件30发射光束，由于光源按照闪烁频率间断向标定件30发射光束，事件相机获取影像的装置40通过发送调整指令以调整事件相机10的扫描频率，以使事件相机10捕获标定件30的亮度变化，当标定件30的像素的亮度变化累计达到一定阈值后，事件相机10输出一个事件，调整事件相机10的扫描频率配合光源20的闪烁频率，以使事件相机10感测标定件30的大量像素发生变化，事件相机10会产生一系列的事件，该事件以事件流方式输出，事件相机获取影像的装置40依据闪烁频率和扫描频率确定事件相机10的扫描状态和光源20的闪烁周期，其中扫描状态包括扫描中和非扫描中；依据光源20的闪烁周期获取事件相机10和光源20的同步频率，即同步频率时事件相机10处于扫描中且光源20为亮时，事件相机10可捕捉标定件30的影像，依据同步频率确定事件相机10的影像输出频率，从而实现事件相机10输出标定件30实时完整的影像。

如此，通过光源20的闪烁频率配合事件相机10的扫描频率，以使事件相机10可感测标定件30的亮度变换，并对应调整影像输出频率，以实现不用移动事件相机10或标定件30即可获取标定件30的影像，降低事件相机10输出影像的复杂性和输出成本，提升了影像输出效率。

在本申请一实施例中，光源20可为可控光源，以便依据实际场景需求调整光源20的亮灭间隔，即控制光源20的闪烁频率。

在一实施例中，光源20包括多个发光点，以使标定件30的各视场角的亮度均匀。

在本申请一实施例中，标定件30为一图卡，可以理解地，标定件30还可为标靶，标定件30可为三维标定件或二维标定件。

在本申请一实施例中，事件相机获取影像的装置40将闪烁频率转换为第一状态结果，将扫描频率转换为第二状态结果；将相同时刻的第一状态结果和所述第二状态结果进行逻辑与运算以获取闪烁频率和扫描频率之间的第一对应关系表；依据所述第一对应关系表中为正的周期性时刻确定事件相机10的扫描状态与光源20的闪烁周期。

可以理解地，在本申请一实施例中，事件相机获取影像的装置40包括与运算比较器(图未示)，通过将第一状态结果和第二状态结果依次输出与运算比较器，以获取第一对应关系表。

在本申请一实施例中，事件相机获取影像的装置40依据闪烁频率获取所述光源20的亮时刻和熄时刻；将所述光源20亮时刻和所述光源20熄时刻分别设定为1和0，以形成第一状态结果；依据扫描频率获取所述事件相机10的扫描时刻和非扫描时刻；将所述事件相机10扫描时刻和所述事件相机10非扫描时刻分别设定为1和0，以形成第二状态结果。

如此，通过将事件相机10的扫描状态和光源20的闪烁状态设定为1或0，以便于后续计算以建立事件相机10和光源20之间的关联关系。

在本申请一实施例中，事件相机获取影像的装置40还用于依据扫描频率确定事件相机10的采样频率，其中采样频率可为所述扫描频率的倍数；并将同步频率转换为第三状态结果，将采样频率转换为第四状态结果；将第三状态结果和第四状态结果进行逻辑与运算以获取同步频率和采样频率之间的第二对应关系表；依据所述第二对应关系表为正的周期性时刻确定影像输出频率。

如此，通过同步频率和采样频率确定事件相机10的影像输出频率，以保证事件相机10输出的影像的时刻，标定件30处于光源20的亮的时刻，进而保证事件相机10输出的影像为完整的，即避免输出的影像为闪烁、破图、或是缺陷的图像。

请参见图2，为本申请提供的振幅时间图，其中202为光源20的闪烁频率转换的第一状态结果示意图，203为事件相机10的扫描频率转换的第二状态结果的示意图。204为事件相机10的影像输出频率的示意图，其中202、203及204中均为脉冲图，其中202中峰值表示光源20为亮，谷值表示光源20为灭，203中峰值表示事件相机10开始扫描，谷值表示事件相机10停止扫描，204中峰值表示事件相机10输出影像，谷值表示事件相机10停止输出影像，205可为第二对应关系表或第一对应关系表，其中关系表中1表示逻辑与运算的结果为正，即满足事件相机10即感测标定件30的亮度变化，又可输出影像。

其中，本实施例中，201为事件相机10扫描频率的2倍，可以理解地，图2中201也可为同步频率，事件相机10可依据同步频率确定影像输出频率，防止事件相机10输出影像时光源处于闪烁间隔中，导致输出的影像为闪烁，通过设定同步频率，以使影像输出频率与光源20闪烁时刻相错开，以使事件相机10可输出完整的影响。

请参见图3，为本申请本申请第三实施例提供的影像获取系统100的示意图，与第一实施例相似，影像获取系统100包括事件相机10、光源20、标定件30及事件相机获取影像的装置40，不同之处在于：

事件相机10和光源20均位于标定件30的同一侧，以形成反射式光源测试环境。

在一些实施方式中，所述事件相机获取影像的装置40可以包括多个由程序代码段所组成的功能模块。所述事件相机获取影像的装置40中的各个程序段的程序代码可以存储于事件相机10的存储器中，并由事件相机10中的至少一个处理器所执行，以实现获取影像的功能。

请参考图4，本实施方式中，事件相机获取影像的装置40根据其所执行的功能，可以被划分为多个功能模块，所述各个功能模块用于以实现事件相机获取影像的功能。本实施方式中，所述事件相机获取影像的装置40的功能模块包括：控制模块401、获取模块402、调整模块403及确定模块404。

控制模块401，用于发送控制指令，以将所述事件相机10、所述光源20及所述标定件30布置于预设位置；

可以理解，在一实施例中，控制模块401可通过发送控制指令，以控制机械手或其他运输装置将事件相机10、所述光源20及所述标定件30分别布置于预设位置。

在本申请一实施例中，将标定件设置光源和事件相机之间，光源朝向所述标定件的一侧依照闪烁频率发射光束，事件相机用于拍摄标定件的影像，以形成背照式光源测试环境。

在本申请一实施例中，将光源和事件相机设置于标定件的同一侧，光源朝向所述标定件的一侧依照闪烁频率发射光束，事件相机用于拍摄标定件的影像，以形成反射式测试环境。

获取模块402，用于获取所述光源20的闪烁频率；

调整模块403，依据所述闪烁频率调整所述事件相机10的扫描频率；

确定模块404，用于依据所述闪烁频率和所述扫描频率确定所述事件相机的扫描状态与所述光源的闪烁周期；

所述获取模块402还用于依据所述光源的闪烁周期获取所述事件相机与所述光源的同步频率，所述确定模块404还用于依据所述同步频率确定所述事件相机10的影像输出频率。

请参阅图5，图5为本申请一个实施例提供的事件相机输出影像的方法的流程示意图。根据不同的需求，所述流程图中步骤的顺序可以改变，某些步骤可以省略。为了便于说明，仅示出了与本申请实施例相关的部分。

本申请实施例的事件相机输出影像的方法应用在事件相机获取影像的装置中。所述对于需要进行输出影像的事件相机，可以直接在所述深度相机上集成本申请的方法所提供的输出影像控制功能，或者安装用于实现本申请的输出影像方法的客户端。再如，本申请所提供的输出影像方法还可以以软件开发工具包(Software Development Kit，SDK)的形式运行在所述事件相机上，以SDK的形式提供输出影像功能的接口，处理器或其他设备通过提供的接口即可实现输出影像功能。

所述事件相机输出影像方法应用于一影像获取系统。该影像获取系统包括事件相机、光源、标定件及事件相机获取影像的装置。

在本申请一实施例中，标定件设置于光源和事件相机之间，光源朝向所述标定件的一侧依照闪烁频率发射光束，事件相机用于拍摄标定件的影像，以形成背照式光源测试环境。

在本申请一实施例中，光源和事件相机设置于标定件的同一侧，光源朝向所述标定件的一侧依照闪烁频率发射光束，事件相机用于拍摄标定件的影像，以形成反射式测试环境。

所述事件相机输出影像的方法包括以下步骤。

步骤S1、获取所述光源的闪烁频率。

可以理解地，光源的闪烁频率可以依据实际应用场景设定，这里不作限制。

步骤S2、依据所述闪烁频率调整所述事件相机的扫描频率。

在本申请一实施例中，可将事件相机的扫描频率设定为闪烁频率的倍数，以便于事件相机捕捉标定件的影像。

在本申请一实施例中，可依据事件相机的本身参数调整扫描频率，只要扫描频率配合闪烁频率，以使事件相机感测周围环境的亮度变化即可。

步骤S3、依据所述闪烁频率和所述扫描频率确定所述事件相机的扫描状态与所述光源的闪烁周期。

具体地，获取事件相机处于扫描时刻且光源为亮的同步时刻，即该周期性时刻，该同步时刻事件相机即可感测标定件的亮度变化，事件相机也可捕获标定件完整的图像。

步骤S4、依据所述光源的闪烁周期获取所述事件相机与所述光源的同步频率。

具体地，获取事件相机处于扫描时刻且光源为亮的周期性规律，该周期为事件相机可捕捉标定件影像的周期，获取该周期，该周期即为同步频率。

步骤S5、依据所述同步频率确定所述事件相机的影像输出频率。

可以理解地，影像输出频率可与同步频率相同，也可依据事件相机的性能或实际场景要求将事件相机的影像输出频率设定为同步频率的固定倍数。

如此，上述方法通过光源的闪烁频率配合事件相机的扫描频率，以使事件相机可感测标定件的亮度变换，并对应调整影像输出频率，以实现不用移动事件相机或标定件即可获取标定件的影像，降低事件相机输出影像的复杂性和输出成本，提升了影像输出效率。该事件相机获取影像方法对于环境要求较低，适用场景比较广，例如事件相机的生产、测试或数据数据收集中，结构简单，易于实现。

在本申请一实施例中，步骤S3具体包括：

将所述闪烁频率转换为第一状态结果，将所述扫描频率转换为第二状态结果；

将相同时刻的所述第一状态结果和所述第二状态结果进行逻辑与运算以获取所述闪烁频率和所述扫描频率之间的第一对应关系表；

依据所述第一对应关系表中为正的周期性时刻确定所述事件相机的扫描状态与所述光源闪烁周期。

具体地，将闪烁频率转换为如图2中202所示的第一状态结果，将所述扫描频率转换为如图2中203所示的第二状态结果，以便于第一状态结果和第二状态结果进行相同时刻的逻辑与运算。

进一步地，将所述闪烁频率转换为第一状态结果，将所述扫描频率转换为第二状态结果，具体包括：

依据闪烁频率获取所述光源的亮时刻和熄时刻；

将所述光源亮时刻和所述光源熄时刻分别设定为1和0，以形成第一状态结果；

依据扫描频率获取所述事件相机的扫描时刻和非扫描时刻；

将所述事件相机扫描时刻和所述事件相机非扫描时刻分别设定为1和0，以形成第二状态结果，其中，第一状态结果和第二状态结果可如图2中202和203所示的示意图。

可以理解地，在其他实施例中，也可将所述事件相机扫描时刻和所述光源亮时刻均设定为0，将所述事件相机非扫描时刻和所述光源熄时刻均设定为1。

在本申请一实施例中，第一对应关系表如图2中205所示，逻辑与运算结果依照时间排列。

在本申请一实施例中，步骤S5具体包括：

依据扫描频率确定所述事件相机的采样频率，其中所述采样频率可为所述扫描频率的倍数；

将所述同步频率转换为第三状态结果，将所述采样频率转换为第四状态结果；

将相同时刻的所述第三状态结果和所述第四状态结果进行逻辑与运算以获取所述同步频率和所述采样频率之间的第二对应关系表；

依据所述第二关系表为正的周期性时刻确定所述影像输出频率。

具体地，通过采样频率调整事件相机的影像输出频率，以保证事件相机输出的影像为完整的，即可捕获到标定件完成的图像。

图6为本申请一实施例所提供的电子设备的架构示意图。电子设备300包括存储器311、处理器312和通讯总线313，所述存储器311通过所述通讯总线313与所述处理器312通信连接。

所述电子设备300还包括存储在所述存储器311中并可在所述处理器312上运行的计算机程序314，例如距离测量的程序。

所述处理器312执行所述计算机程序314时实现所述方法实施例中距离测量方法的步骤。或者，所述处理器312执行所述计算机程序314实现所述系统实施例中各模块/单元的功能。

通讯总线313可以包括但不限于工业标准体系结构(industry standardarchitecture，ISA)总线，微通道体系结构(micro channel architecture，MAC)总线，增强型ISA总线、视频电子标准协会(video electronics standards association，VESA)局域总线以及外围组件互连(peripheral component interconnection，PCI)总线。

所述计算机程序314可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器311中，并由所述处理器312执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，所述指令段用于描述所述计算机程序314在所述电子装置1中的执行过程。例如，所述计算机程序314可以被分割成图4中的模块401-404。

可以理解地，所述示意图6仅仅是电子设备300的示例，并不构成对电子设备300的限定，电子设备300可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备300还可以包括输入设备等。

所称处理器312可以是中央处理单元(Central Processing Unit，CPU)，还可以包括其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者所述处理器也可以是任何常规的处理器等，所述处理器312是所述电子设备300的控制中心，利用各种接口和线路连接整个电子设备300的各个部分。

所述存储器311可用于存储所述计算机程序314和/或模块/单元，所述处理器312通过运行或执行存储在所述存储器311内的计算机程序和/或模块/单元，以及调用存储在存储器311内的数据，实现所述电子设备300的各种功能。存储器311可以包括外部存储介质，也可以包括内存。此外，存储器311可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

所述电子设备300集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现所述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，所述计算机程序在被处理器执行时，可实现所述各个方法实施例的步骤。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

最后应说明的是，以上实施例仅用以说明本申请的技术方案而非限制，尽管参照较佳实施例对本申请进行了详细说明，本领域的普通技术人员应当理解，可以对本申请的技术方案进行修改或等同替换，而不脱离本申请技术方案的精神和范围。