基于事件相机的碰撞时间估计方法、电子设备及存储介质

技术领域

本发明属于汽车辅助驾驶技术领域，尤其涉及一种基于事件相机的碰撞时间估计方法、电子设备及存储介质。

背景技术

随着越来越多的车辆配备了驾驶辅助系统，多种驾驶辅助任务被定义并且实现，如车道跟随，行人识别等。在这些任务中，车辆碰撞预警系统的实现是非常重要且具有挑战性的。

目前已有大量研究案例使用单目相机获取连续图像，并根据连续图像来估计碰撞时间(Time-to-Collision，以下简称TTC)，由于前车的成像大小在与本车存在相对运动的情况下会发生变化，故可以通过成像大小的变化来获得TTC。但这种方式存在的问题是TTC的更新速率受限于标准相机的帧速率，考虑到成本、带宽和能耗，自动辅助驾驶系统中使用的标准相机通常运行频率在10hz左右，两次连续曝光之间的间隔为100ms左右，即使不考虑所应用的TTC算法的计算时间，对于碰撞预警系统来说也是一个非常大的延迟，特别是当相对速度急剧增加时。

发明内容

基于此，针对上述技术问题，提供一种基于事件相机的碰撞时间估计方法、电子设备及存储介质。

本发明采用的技术方案如下：

作为本发明的第一方面，提供一种基于事件相机的碰撞时间估计方法，其特征在于，包括：

S101、通过本车的事件相机实时获取事件流，通过本车的帧相机实时获取前方图像，实时跟踪目标前车的目标框，剔除位于所述目标框以外的事件，确定由所述目标前车的轮廓点触发的前车事件；

S102、从所述前车事件中提取Δt时间内的事件，作为目标事件，所述Δt为第一时刻与第二时刻之差，所述第一时刻代表当前时刻，所述第二时刻早于第一时刻；

S103、通过

S104、通过目标函数

作为本发明的第二方面，提供一种电子设备，包括存储模块，所述存储模块包括由处理器加载并执行的指令，所述指令在被执行时使所述处理器执行上述第一方面的一种基于事件相机的碰撞时间估计方法。

作为本发明的第三方面，提供一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现上述第一方面的一种基于事件相机的碰撞时间估计方法。

本发明基于事件相机采集的事件流估计碰撞时间，克服了现有技术中延迟非常大的问题，并且提高了碰撞时间估计准确率，以及在自动驾驶场景中的鲁棒性，同时低能耗的特点使该方法能够更好地适用于嵌入式场景，降低了采购和运行成本，本实施例方法的TTC输出频率可达200hz，在实时TTC任务中具有很大的应用潜力，更适合于相对速度突变的实时TTC任务。

附图说明

下面结合附图和具体实施方式对本发明进行详细说明：

图1为本发明实施例提供的一种基于事件相机的碰撞时间估计方法的流程图；

图2为本发明实施例提供的一种电子设备的示意图。

具体实施方式

以下将结合说明书附图对本发明的实施方式予以说明。需要说明的是，本说明书中所涉及的实施方式不是穷尽的，不代表本发明的唯一实施方式。以下相应的实施例只是为了清楚的说明本发明专利的发明内容，并非对其实施方式的限定。对于该领域的普通技术人员来说，在该实施例说明的基础上还可以做出不同形式的变化和改动，凡是属于本发明的技术构思和发明内容并且显而易见的变化或变动也在本发明的保护范围之内。

如图1所示，本发明实施例提供一种基于事件相机的碰撞时间估计方法，具体流程如下：

S101、通过本车的事件相机实时获取事件流，通过本车的帧相机实时获取前方图像，实时跟踪目标前车的目标框，剔除位于目标框以外的事件，确定由目标前车的轮廓点触发的前车事件。

其中，事件相机相比较传统帧相机具有低延迟、高动态范围、极低功耗等特性，其输出的是像素亮度的变化情况，当某个像素的亮度变化累计达到一定阈值后，输出一个事件。事件具有三要素：时间戳、像素坐标与极性(变亮或者变暗)。当场景中由物体运动或光照改变造成大量像素亮度变化时，会产生一系列的事件，这些事件以事件流(Eventsstream)方式输出。

在本实施例中，通过YOLOv5识别前方图像中的目标前车，并通过DeepSort算法跟踪该目标前车，从而实现对目标前车的目标框的跟踪。

S102、从前车事件中提取Δt时间内的事件，作为目标事件。

其中，Δt为第一时刻与第二时刻之差，第一时刻代表当前时刻，第二时刻早于第一时刻。Δt初始可以为预设值，如0.1秒，当前车事件的数量满足预设数量时，动态地确定Δt，如前0.08秒内前车事件的数量已经满足预设数量，则将Δt调整为0.08秒。

在本实施例中，通过LTS图像表示目标事件，即将目标事件渲染成LTS图像，由下式确定LTS图像的像素点的像素值：

其中，x代表像素点的坐标，即目标事件对应的目标轮廓点的归一化坐标，ε

与使用时间表面(TS,Time Surface)中的事件数据的类图像表示不同，我们提出了一个线性时间表面(LTS)。与普通的时间表面表示不同，LTS图像存储了参考时刻t

这里提出的LTS，一方面，在类似于TS的意义上，它也带有距离场的属性，这使得我们能够有效地建立事件轮廓的关联，另一方面，LTS以不同的方式增强了距离场梯度的连续性。与TS不同的是，LTS简单地将参考时刻t

虽然在S101中，已经将目标前车的目标框以外的大多数背景事件剔除，但为了进一步抵抗噪声和离群值，通过以下方式对LTS图像的像素点进行筛选：

(i)确定LTS图像中各点的一阶梯度幅度和二阶梯度幅度。

(ii)若同一个点的一阶梯度幅度大于预设第一阈值，且二阶梯度幅度小于预设第二阈值，则将该点保留为有效点，其中，第一阈值大于等于0.0001、小于等于0.1，第二阈值大于等于0.00000001、小于等于0.0001。示例性地，第一阈值和第二阈值分别为0.0001和0.000001。

S103、通过

当相对距离变化时，特别是在很短的一段时间内，对事件进行几何模型拟合的关键是采用精确的模型。因此，本发明实施例根据轮廓点的真实动态，提出了一种时变仿射模型。该模型用连续时间形式表示，本车与前车的相对瞬时速度为v＝[v

基于该表达式，t

通过求解ODE表达式，代入t

其中，

S104、通过目标函数

需要指出是，得到最优a，就得到了最优的时变仿射模型，从而可以使得所有涉及的事件能够正确地映射到参考时刻t

为了更加高效地确定最优a，本发明实施例为目标函数提供一个优质初值a，根据初值a获得最优a，具体过程如下：

(1)从LTS图像中选取三个有效点，根据三个有效点的梯度分别计算该三个有效点的法向流(normal flow)向量，需要指出的是，根据梯度计算像素点的法向流向量为公知技术，此处不具体赘述。

(2)为了克服法向流的限制(局限性)，我们提出了一种更有效的几何度量方法：全向流向量(full flow vector)与法向流向量(normal flow vector)的内积等于法向流向量的平方范数。

由于a具有三个方向的分量，即三个未知数，故需要将三个有效点的法向流向量分别代入下式，通过RANSAC方法确定a的初值：

其中，n

以像素点位置p

上述的度量方法通过式(7)表示为：

其中，n＝[n

(3)每次确定最优a后，判断本次的Δt的第一时刻与上次的Δt的第一时刻的差是否大于该上次的Δt，若是，则重新执行步骤(1)和(2)计算初值a，否则，下次确定最优a时，将上一次的最优a作为初值。

需要指出的是，在步骤101的实际应用中，受限于帧相机的帧速率，以算法跟踪的方式无法满足在任意时刻都能获取到目标前车的目标框，故此时需要预测一个前车目标框：

在当前时刻，根据实时跟踪得到的目标前车的倒数第一个目标框和倒数第二个目标框计算得到全向流(根据两个目标框分别计算目标框在x,y轴上的扩展速率，得到全向流)，计算当前时刻与倒数第一个目标框所在时刻的时间间隔Δt

其中，预测的前车目标框相对于上一个目标框可能变大或者变小，但是为了更好地得到前车轮廓触发的事件，将预设系数设置为120％。

本发明实施例方法基于事件相机采集的事件流估计碰撞时间，克服了现有技术中延迟非常大的问题，并且提高了碰撞时间估计准确率，以及在自动驾驶场景中的鲁棒性，同时低能耗的特点使该方法能够更好地适用于嵌入式场景，降低了采购和运行成本，本实施例方法的TTC输出频率可达200hz，在实时TTC任务中具有很大的应用潜力，更适合于相对速度突变的实时TTC任务。

与上述构思相同，本发明实施例还提供了一种电子设备的结构示意性框图。

示例性的，电子设备包括存储模块21以及处理器22，存储模块21包括由处理器22加载并执行的指令，指令在被执行时使处理器22执行本说明书上述一种基于事件相机的碰撞时间估计方法部分中描述的根据本发明各种示例性实施方式的步骤。

应当理解的是，处理器22可以是中央处理单元(CentralProcessingUnit，CPU)，该处理器22还可以是其它通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现场可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本发明实施例中还提供一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，一个或多个程序当被处理器执行时，实现上述一种基于事件相机的碰撞时间估计方法部分中描述的根据本发明各种示例性实施方式的步骤。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读存储介质上，计算机可读存储介质可以包括计算机可读存储介质(或非暂时性介质)和通信介质(或暂时性介质)。

如本领域普通技术人员公知的，术语计算机可读存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机可读存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其它的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其它传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

示例性的，计算机可读存储介质可以是前述实施例的电子设备的内部存储单元，例如电子设备的硬盘或内存。计算机可读存储介质也可以是电子设备的外部存储设备，例如电子设备上配备的插接式硬盘，智能存储卡(SmartMediaCard，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(FlashCard)等。

前述各实施例提供的电子设备和计算机可读存储介质，基于事件相机采集的事件流估计碰撞时间，克服了现有技术中延迟非常大的问题，并且提高了碰撞时间估计准确率，以及在自动驾驶场景中的鲁棒性，同时低能耗的特点使该方法能够更好地适用于嵌入式场景，降低了采购和运行成本，本实施例方法的TTC输出频率可达200hz，在实时TTC任务中具有很大的应用潜力，更适合于相对速度突变的实时TTC任务。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。