一种事件相机图像和帧相机图像融合的方法、装置及介质

技术领域

本发明涉及计算机视觉技术领域，尤其是涉及一种事件相机图像和帧相机图像融合的方法、装置及介质。

背景技术

帧相机和事件相机是两种不同的图像采集技术。帧相机以固定时间间隔连续采集图像帧，提供高分辨率和丰富的图像信息，适用于多种计算机视觉任务。然而，它无法捕捉瞬时的快速变化和运动细节，对于高速运动物体的分析有限。事件相机通过检测像素级变化异步采集数据，具有高时间分辨率、低延迟和高动态范围的优势。它能够捕捉快速运动和高动态范围场景中的细节，且在低光条件下表现出色。

但现有技术对帧相机采集的事件流的处理不是很好。现有技术常用的事件表达方法有事件图像、事件二值化、时间表面等，其中事件图像和事件二值化方法忽略了事件的时间信息。时间表面只保留每个像素最新事件的时间，丢弃了大量的事件信息。因此，导致事件相机图像和帧相机图像融合的效果不好。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种事件相机图像和帧相机图像融合的方法、装置及介质，能够提高事件相机图像和帧相机图像融合的效果。

第一方面，本发明实施例提供了一种事件相机图像和帧相机图像融合的方法，所述事件相机图像和帧相机图像融合的方法包括：

触发事件相机和帧相机的同步采集信号；

在所述同步采集信号下，通过所述事件相机采集事件流和所述帧相机采集帧相机图像；

根据所述同步采集信号的时间戳对所述事件流进行分段，得到分段事件流；其中，所述分段事件流与所述帧相机图像的时间对齐；

采用构建的事件时间图像方法对所述分段事件流进行处理，得到事件相机图像；其中，所述事件时间图像方法用于保留所述分段事件流的时间信息和极性信息；

基于所述事件相机图像和所述帧相机图像进行特征融合，得到融合特征图。

与现有技术相比，本发明第一方面具有以下有益效果：

本方法通过触发事件相机和帧相机的同步采集信号，在同步采集信号下采集图像，使得事件相机和帧相机在时间上同步，能够保证事件流的时间戳和帧图像的真实成像时刻在时间上的误差最小；通过事件时间图像方法对分段事件流进行处理，能够保留所述分段事件流的时间信息和极性信息，降低事件信息丢失，然后基于事件相机图像和帧相机图像进行特征融合，能够提高事件相机图像和帧相机图像融合的效果，并能够在低光、高动态范围或快速运动的场景下实现稳定的成像效果，提高场景理解和图像处理的能力。

根据本发明的一些实施例，所述触发事件相机和帧相机的同步采集信号，包括：

采用第一芯片设计触发信号，并采用第二芯片控制所述触发信号移相，生成所述事件相机和所述帧相机的同步采集信号。

根据本发明的一些实施例，通过如下方式进行所述触发信号移相：

获取所述帧相机的开始曝光时刻和曝光的中间时刻；

根据所述开始曝光时刻和所述曝光的中间时刻，计算触发信号的需要移相的长度为：

Δt＝t

其中，t

根据本发明的一些实施例，通过如下方式构建所述事件时间图像方法：

其中，

根据本发明的一些实施例，所述基于所述事件相机图像和所述帧相机图像进行特征融合，得到融合特征图，包括：

采用图像配准方法将所述事件相机图像和所述帧相机图像进行配准，得到配准后的事件相机图像和帧相机图像；

采用特征提取网络对所述配准后的事件相机图像和帧相机图像进行特征提取，得到所述配准后的事件相机图像的第一特征图和所述配准后的帧相机图像的第二特征图；

将所述第一特征图和所述第二特征图传输至构建好的基于注意力的融合模块中进行特征融合，得到融合特征图。

根据本发明的一些实施例，通过如下方式构建所述基于注意力的融合模块：

F

其中，F′表示融合特征图，F

根据本发明的一些实施例，在采用构建的事件时间图像方法对所述分段事件流进行处理后，所述事件相机图像和帧相机图像融合的方法还包括：

采用棋盘格和Kalibr标定方法对所述事件相机和所述帧相机的内外参数进行估计，得到空间转化矩阵；

对所述帧相机图像进行标定，得到标签；

采用所述空间转化矩阵将所述标签转化至所述事件相机图像上，为所述事件相机图像提供标签。

第二方面，本发明实施例还提供了一种事件相机图像和帧相机图像融合的装置，所述事件相机图像和帧相机图像融合的装置包括：

信号触发单元，用于触发事件相机和帧相机的同步采集信号；

视频处理单元，用于在所述同步采集信号下，通过所述事件相机采集事件流和所述帧相机采集帧相机图像；

CPU核心单元，用于根据所述同步触发信号的时间戳对所述事件流进行分段，得到分段事件流；其中，所述分段事件流与所述帧相机图像时间对齐；并采用构建的事件时间图像方法对所述分段事件流进行处理，得到事件相机图像；其中，所述事件时间图像方法用于保留所述分段事件流的时间信息和极性信息；以及基于所述事件相机图像和所述帧相机图像进行特征融合，得到融合特征图。

与现有技术相比，本发明第二方面具有以下有益效果：

本装置通过信号触发单元触发事件相机和帧相机的同步采集信号，通过视频处理单元在同步采集信号下采集图像，使得事件相机和帧相机在时间上同步，能够保证事件流的时间戳和帧图像的真实成像时刻在时间上的误差最小；通过CPU核心单元采用构建的事件时间图像方法对分段事件流进行处理，能够保留所述分段事件流的时间信息和极性信息，降低事件信息丢失，然后基于事件相机图像和帧相机图像进行特征融合，能够提高事件相机图像和帧相机图像融合的效果，并能够在低光、高动态范围或快速运动的场景下实现稳定的成像效果，提高场景理解和图像处理的能力。

根据本发明的一些实施例，所述事件相机图像和帧相机图像融合的装置还包括与所述CP U核心单元连接的电源管理单元、数据集交互单元和接口扩展单元，其中：

所述电源管理单元，用于为所述CPU核心单元、所述事件相机和所述帧相机供电；

所述数据集交互单元，用于所述CPU核心单元进行有线和无线通信；

所述接口扩展单元，用于所述CPU核心单元的数据传输和数据存储。

第三方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如上所述的一种事件相机图像和帧相机图像融合的方法。

可以理解的是，上述第三方面与相关技术相比存在的有益效果与上述第一方面与相关技术相比存在的有益效果相同，可以参见上述第一方面中的相关描述，在此不再赘述。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明一实施例的一种事件相机图像和帧相机图像融合的方法的流程图；

图2是本发明一实施例的触发信号移相示意图；

图3是本发明一实施例的事件相机图像的示例图；

图4是本发明一实施例的基于注意力的融合模块的示意图；

图5是本发明一实施例的一种事件相机图像和帧相机图像融合的装置的结构图；

图6是本发明一实施例的事件相机和帧相机同步采集的组成结构图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，如果有描述到第一、第二等只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

本发明的描述中，需要说明的是，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

由于现有技术常用的事件表达方法有事件图像、事件二值化、时间表面等，其中事件图像和事件二值化方法忽略了事件的时间信息。时间表面只保留每个像素最新事件的时间，丢弃了大量的事件信息。因此，导致事件相机图像和帧相机图像融合的效果不好。

为解决上述问题，本发明通过触发事件相机和帧相机的同步采集信号，在同步采集信号下采集图像，使得事件相机和帧相机在时间上同步，能够保证事件流的时间戳和帧图像的真实成像时刻在时间上的误差最小；通过事件时间图像方法对分段事件流进行处理，能够保留分段事件流的时间信息和极性信息，降低事件信息丢失，然后将事件相机图像和帧相机图像进行融合，能够提高事件相机图像和帧相机图像融合的效果，并能够在低光、高动态范围或快速运动的场景下实现稳定的成像效果，提高场景理解和图像处理的能力。

参照图1，本发明实施例提供了一种事件相机图像和帧相机图像融合的方法，本事件相机图像和帧相机图像融合的方法包括但不限于步骤S100至步骤S500，其中：

步骤S100、触发事件相机和帧相机的同步采集信号；

步骤S200、在同步采集信号下，通过事件相机采集事件流和帧相机采集帧相机图像；

步骤S300、根据同步采集信号的时间戳对事件流进行分段，得到分段事件流；其中，分段事件流与帧相机图像的时间对齐；

步骤S400、采用构建的事件时间图像方法对分段事件流进行处理，得到事件相机图像；其中，事件时间图像方法用于保留分段事件流的时间信息和极性信息；

步骤S500、基于事件相机图像和帧相机图像进行特征融合，得到融合特征图。

在本实施例中，为了保证事件流的时间戳和帧图像的真实成像时刻在时间上的误差最小，本实施例通过触发事件相机和帧相机的同步采集信号，在同步采集信号下，通过事件相机采集事件流和帧相机采集帧相机图像；为了降低事件信息丢失，本实施例根据同步采集信号的时间戳对事件流进行分段得到分段事件流，采用构建的事件时间图像方法对分段事件流进行处理，得到事件相机图像；为了提高场景理解和图像处理的能力，本实施例通过基于事件相机图像和帧相机图像进行特征融合，得到融合特征图。

在一些实施例中，触发事件相机和帧相机的同步采集信号，包括：

采用第一芯片设计触发信号，并采用第二芯片控制触发信号移相，生成事件相机和帧相机的同步采集信号。

在本实施例中，通过设计同步采集信号，使得事件相机和帧相机在时间上同步，能够保证事件流的时间戳和帧图像的真实成像时刻在时间上的误差最小。

在一些实施例中，通过如下方式进行触发信号移相：

获取帧相机的开始曝光时刻和曝光的中间时刻；

根据开始曝光时刻和曝光的中间时刻，计算触发信号的需要移相的长度为：

Δt＝t

其中，t

在本实施例中，由于事件相机是微秒级的，而帧相机的成像需要一段曝光时间，因此通过移相将事件相机的触发信号与帧相机的曝光中间时刻对齐，这样输出的事件流的时间戳和帧图像的真实成像时刻在时间上的误差最小，使得事件相机和帧相机在时间上同步。

在一些实施例中，通过如下方式构建事件时间图像方法：

其中，

在本实施例中，由于事件图像和事件二值化方法忽略了事件的时间信息，而时间表面只保留每个像素最新事件的时间，丢弃了大量的事件信息。通过构建事件时间图像方法不仅保留了事件的时间信息和极性信息，还可以一定程度的减少噪声。

在一些实施例中，基于事件相机图像和帧相机图像进行特征融合，得到融合特征图，包括：

采用图像配准方法将事件相机图像和帧相机图像进行配准，得到配准后的事件相机图像和帧相机图像；

采用特征提取网络对配准后的事件相机图像和帧相机图像进行特征提取，得到配准后的事件相机图像的第一特征图和配准后的帧相机图像的第二特征图；

将第一特征图和第二特征图传输至构建好的基于注意力的融合模块中进行特征融合，得到融合特征图。

在本实施例中，由于帧相机图像中包含丰富的纹理和颜色特征，事件相机图像中包含目标物体的运动轮廓信息，因此可以将帧相机图像的特征图作为补充信息用来增强事件相机图像的特征图，能够提高目标检测的鲁棒性和准确性。

在一些实施例中，通过如下方式构建基于注意力的融合模块：

F

其中，F′表示融合特征图，F

在本实施例中，通过上述方式构建的基于注意力的融合模块，能够加快模型收敛速度，提高模型性能，并增强模型稳定性，能够有效提取上下文信息。

在本实施例中，在采用构建的事件时间图像方法对分段事件流进行处理后，事件相机图像和帧相机图像融合的方法还包括：

采用棋盘格和Kalibr标定方法对事件相机和帧相机的内外参数进行估计，得到空间转化矩阵；

对帧相机图像进行标定，得到标签；

采用空间转化矩阵将标签转化至事件相机图像上，为事件相机图像提供标签。

在本实施例中，需要对事件相机和帧相机的内外参数矩阵进行标定，并且标定完成后不可改变相机间的相对位置以及相机的镜头等。

为方便本领域人员理解，以下提供一组最佳实施例：

本实施例采用IMU芯片设计触发时序信号，根据单片机控制触发信号的移相生成相机的同步采集信号；根据同步采集信号，事件相机开始采集场景的动态事件流，RGB帧相机开始采集RGB图像信息，并发送至边缘计算主机；事件相机同步采集事件流，并在事件流中打上同步触发时间戳，记录触发时刻，发送至边缘计算主机；边缘计算主机获得RGB图像，并对事件流进行计算获得包含场景轮廓信息的事件帧图像；利用多模态视觉融合模块(即基于注意力的融合模块)将事件帧图像和RGB图像进行融合。本发明能够完成动态场景下多模态视觉信息的同步提取和图像融合，实现高速、低光照等复杂场景下鲁棒成像。具体包括如下步骤：

1、采用IMU芯片设计触发时序信号，根据单片机控制触发信号的移相生成相机同步采集信号。如图2所示，帧相机的开始曝光时刻为t

2、利用事件/帧相机同步采集装置分别采集得到同一场景下的RGB图像(即帧相机图像)和事件流。事件流中每个异步事件记录为e＝(x,y,t,p)，其中，(x,y)表示像素坐标，t表示时间戳，p∈[-1,1]表示事件的极性，p为1表示该像素点亮度增加，p为-1表示该像素点亮度减少。给定一个时间段Δt，本实施例可以获取异步事件集合

其中，

该事件时间图像计算方法的优势为：现有常用的事件表达方法有事件图像、事件二值化、时间表面等。其中事件图像和事件二值化方法忽略了事件的时间信息。时间表面只保留每个像素最新事件的时间，丢弃了大量的事件信息。本实施例的事件时间图像方法不仅保留了事件的时间信息和极性信息，还可以一定程度的减少噪声。

3、将得到的事件时间图像和RGB图像进行融合，实现基于多模态视觉信息的分类、检测、跟踪等下游任务。融合的具体方法如下：

参照图4，首先利用计算机视觉中的图像配准方法将事件时间图像和RGB图像进行配准。配准后的事件时间图像I

F

其中，F′表示融合特征图，F

再将融合后的特征图送入后续模块进行处理，实现基于多模态视觉信息的分类、检测、跟踪等下游任务。

由于需要对事件相机和帧相机的内外参数矩阵进行标定，并且标定完成后不可改变相机间的相对位置以及相机的镜头等。本实施例还利用帧相机图像对图片进行标定，再把标签转换到事件相机图像上的具体步骤包括：

首先，需要利用硬件时间同步方案在帧曝光时间的中间位置对事件流进行分段，采用事件时间图像的方法对分段事件流进行重建得到事件帧图像；

其次，对于相机内外参数的估计使用棋盘格模式和Kalibr工具箱，计算得到空间转化矩阵；

最后，对RGB图像(即帧相机图像)进行标定，将得到的标签利用空间转化矩阵转化到事件相机图像上去，从而为事件流数据提供标签。

在本实施例中，融合帧相机和事件相机的目的是利用它们各自的优势和特点，首先，帧相机提供高分辨率和颜色丰富的图像信息，事件相机提供高时间分辨率和对快速变化的敏感度，通过融合可以使系统在同时具备高分辨率和高时间分辨率的优势，实现更全面和准确的场景感知和分析。其次，事件相机仅在发生像素级变化时触发事件，相比于帧相机的连续图像采集，可以大大减少数据量和处理负担，提高处理效率和实时性。最后，事件相机对于快速运动和高动态范围场景的分析具有优势，将其与帧相机融合可以在动态场景中提供更准确和完整的分析结果。

参照图5，本发明实施例还提供了一种事件相机图像和帧相机图像融合的装置，本事件相机图像和帧相机图像融合的装置包括信号触发单元、视频处理单元和CPU核心单元，其中：

信号触发单元，用于触发事件相机和帧相机的同步采集信号；

视频处理单元，用于在同步采集信号下，通过事件相机采集事件流和帧相机采集帧相机图像；

CPU核心单元，用于根据同步触发信号的时间戳对事件流进行分段，得到分段事件流；其中，分段事件流与帧相机图像时间对齐；并采用构建的事件时间图像方法对分段事件流进行处理，得到事件相机图像；其中，事件时间图像方法用于保留分段事件流的时间信息和极性信息；以及将事件相机图像和帧相机图像进行融合，得到融合图像。

在本实施例中，通过信号触发单元触发事件相机和帧相机的同步采集信号，通过视频处理单元在同步采集信号下采集图像，使得事件相机和帧相机在时间上同步，能够保证事件流的时间戳和帧图像的真实成像时刻在时间上的误差最小；通过CPU核心单元采用构建的事件时间图像方法对分段事件流进行处理，能够保留分段事件流的时间信息和极性信息，降低事件信息丢失，然后将事件相机图像和帧相机图像进行融合，能够提高事件相机图像和帧相机图像融合的效果，并能够在低光、高动态范围或快速运动的场景下实现稳定的成像效果，提高场景理解和图像处理的能力。

在一些实施例中，事件相机图像和帧相机图像融合的装置还包括与CPU核心单元连接的电源管理单元、数据集交互单元和接口扩展单元，其中：

电源管理单元，用于为CPU核心单元、事件相机和帧相机供电；

数据集交互单元，用于CPU核心单元进行有线和无线通信；

接口扩展单元，用于CPU核心单元的数据传输和数据存储。

在本实施例中，综合考虑实用性和安全性，电源采用小型可移动电源，边缘计算主机可采用英伟达NX2核心板。

为方便本领域人员理解，以下提供一组最佳实施例：

本实施例包括一个固定平台，将事件相机、帧相机、电源和边缘计算主机等统一固定于所述固定平台上。参照图6，两个摄像头为事件相机和帧相机的摄像头，PCBA为组装加工后的电路板，成像装置的外壳(上盖和底盖)采用铝合金外壳，镜头的安装位置应尽可能靠近，垂直高度保持一致，从而最大程度地减少事件和帧相机之间的视差。综合考虑实用性和安全性，电源采用小型可移动电源，边缘计算主机可采用英伟达NX2核心板。

本实施例具体包括CPU核心单元(即边缘计算主机)、电源管理单元、数据集交互单元、接口扩展单元、视频处理单元、帧相机和事件相机等。其中，CPU核心单元主要用于处理事件流和RGB图像，进行下游任务等；电源管理单元用于CPU、相机等供电；数据交互单元用于有线和无线通信；接口扩展单元用于数据的传输和存储等；视频处理单元与帧相机和事件相机相连。

本实施例包括的事件相机、帧相机、边缘计算主机和多模态视觉融合模块，具体操作如下：

由于事件相机对动态信息敏感，能够捕捉快速运动和高动态范围场景中的细节，生成异步事件流。采用事件相机采集场景的动态信息，得到异步事件流，并发送至边缘计算主机；

帧相机能够采集场景中高分辨率和丰富颜色的图像信息，本实施例采用帧相机采集场景的RGB图像(即帧相机图像)，并发送至边缘计算主机；

边缘计算主机根据同步触发信号时间戳对异步事件流进行分段，从而与RGB图像进行时间对齐，并对异步事件流进行处理计算得到事件时间图像(即事件相机图像)。

多模态视觉融合模块用于将时间对齐后的事件时间图像和RGB图像进行融合，输出结果图像。

需要说明的是，RGB帧相机是传统的彩色相机，通过在固定时间间隔内连续地采集完整的图像帧来捕捉场景的静态信息。它能够提供高分辨率和丰富的颜色信息，适用于大多数计算机视觉任务，如图像分类、目标检测、图像识别等。由于连续采集图像帧，RGB相机能够捕捉静态场景的细节，但对于快速移动的物体或高动态范围的场景可能存在模糊或过曝现象。

事件相机作为一种生物视觉启发的新型传感器，其成像过程模拟了生物视网膜对光照变化的感知方式。每个像素以独立且异步的方式检测亮度对数的变化，当某个像素的亮度变化累计达到一定阈值后，输出一个事件。事件相机具有其自身独特的异步响应特性，使其在极端光照环境下具备优越的场景结构和视觉信息捕获能力。首先，事件相机的输出仅和亮度的相对变化有关，不受亮度的绝对值的影响。其次凭借其对数强度响应的特性，它具有广泛的动态范围，在光照极低或极高的情况下仍能可靠地捕获动态信息。最后事件流没有最小时间单位，所以不像传统相机定时输出数据，具有低延迟特性。

本实施例实现了综合事件相机和帧相机各自的优势和特点，利用帧相机采集静态场景中高分辨率的纹理细节和丰富的颜色信息，利用事件相机采集动态场景中的运动信息和轮廓信息，并提升系统对于快速运动和高动态范围场景的感知能力。

本实施例的目的是结合事件相机和帧相机的优势和特点，实现在动态、低光等各种复杂视觉场景下实现可靠的成像效果。利用帧相机在静态和正常光照环境下对物体和背景进行成像，得到高分辨率的纹理细节和颜色信息。再利用事件相机的高时间分辨率、高动态范围等特性实现在过亮、过暗环境下和快速运动物体的成像，并通过事件时间图像的方法对事件流进行处理得到事件帧图像。后续通过相关计算机视觉算法实现两种模态的数据的处理与融合。

在本实施例中，通过配置事件相机和帧相机两种不同的成像设备，充分利用它们各自的特点和优势，再利用视觉融合算法，实现了成像系统的通用性和适应性。通过将事件相机和帧相机融合，本实施例的成像系统能够在各种极端视觉场景下实现可靠的成像效果。无论是夜间、强光、高速运动、雾天还是亮暗骤变等场景，该系统都能提供稳定、清晰的图像信息。两种相机的特点和优势相互补充，使得系统能够综合捕捉和呈现场景中的多种视觉特征，从而提高对复杂场景的感知和理解能力。

本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，可使得上述一个或多个控制处理器执行上述方法实施例中的一种事件相机图像和帧相机图像融合的方法，例如，执行以上描述的图1中的方法步骤S100至步骤S500的功能。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

以上是对本申请实施例的较佳实施进行了具体说明，但本申请实施例并不局限于上述实施方式，熟悉本领域的技术人员在不违背本申请实施例精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请实施例权利要求所限定的范围内。