一种基于超像素的事件数据重建和质量评估方法

技术领域

本发明涉及图像处理领域，特别地，涉及一种基于超像素的事件数据重建和质量评估方法。

背景技术

事件相机是一种新型的传感器，它不像传统的相机拍摄完整的图像，而是只输出像素亮度的变化，即事件数据。事件相机具有低延迟、高动态范围、极低功耗等特性，适合于高速运动和光照变化剧烈的场景。

现有技术存在的主要问题是：事件相机的数据作为一种非传统的新型数据，无法和现有的方法及应用进行兼容。对于事件相机数据来说，由于数据独特的结构，造成当前很多应用和数据层存在着壁垒，无法充分发挥优势。

超像素是一种图像分割技术，它将图像中具有相似颜色、纹理、边缘等特征的像素聚合成一个个小区域，称为超像素。与普通像素不同，超像素是由多个普通像素组成的，它是根据图像的内容来进行划分的，超像素可以保留图像的结构和语义信息。相比于普通像素，超像素可以有效地减少图像中的冗余信息，提高后续处理的效率和精度。超像素已经成为一种既定的中间层次的图像表示方式，并广泛应用于传统的图像处理和计算机视觉领域。

解决上述问题及缺陷的难度为：由于事件相机数据的新颖性和独特性，目前还没有通用性的解决方案，可见其处理难度较大。

解决上述问题的意义为：针对事件数据离散异步、噪声问题、分辨率问题及可视化等难于处理的问题提供一种解决方法，以提高事件数据的使用效率，提高事件数据的易用性、通用性。

发明内容

本发明提供了一种基于超像素的事件数据重建和质量评估方法，主要利用超像素和事件相机的特性进行事件数据的重建和评估工作，使得重建后的事件数据能够很好的进行应用和评估，降低了应用难度，解决了事件相机的原始数据不易处理和难评估等问题，提高了事件数据的使用效率，提高了事件数据的易用性、通用性。

本发明的技术方案如下：

本发明的基于超像素的事件数据重建和质量评估方法，包括以下步骤：S1.获取事件数据流：利用事件相机获取场景中的异步事件流；S2.构建超像素：将异步事件流中的数据逐个构建超像素；S3.单个超像素评估：根据构成超像素的事件相机像素数量来判断是否完成单个超像素的构建，并将构建好的超像素输入步骤S4中；S4.超像素候选：将构建好的超像素储存在超像素候选区域并按照顺序建立索引；S5.超像素融合：将超像素候选区域存在重合的超像素进行融合；S6.超像素图像拼接：对超像素候选区域的超像素进行图像拼接；S7.图像候选：将一定数量的事件超像素进行组合，使其能够生成完整的图像，在图像候选区内判断是否完拼接整，并将完整的超像素的事件图像输入到步骤S8中进行评估；S8.超像素图像整图评估：对完整的超像素的事件图像进行评估；以及S9.输出评估结果：将事件相机超像素图像评估结果进行输出，为后续算法应用提供依据。

可选地，在上述基于超像素的事件数据重建和质量评估方法中，在步骤S2中，的将异步事件流中的数据逐个构建超像素包括：对于事件相机数据，以一个时间戳为参照，设置距离约束、极性约束、时间间隔约束三个约束条件进行聚类约束限制，根据事件点的相似点和连续性生成一个个事件数据超像素，并对每个超像素包含普通事件相机像素数量进行限制。

可选地，在上述基于超像素的事件数据重建和质量评估方法中，在步骤S5中，超像素的融合方法为：当两个超像素重合区域超过或等于一半时，将重合的部分切割出来，生成一个新的超像素；当两个超像素重合区域小于一半的时候，将重合的部分分配给时间戳较后超像素。

可选地，在上述基于超像素的事件数据重建和质量评估方法中，在步骤S5中，超像素图像的拼接方法为：将一个图像空间范围内聚合和融合好的超像素聚合成一幅完整的图像，从事件相机初始值中获取当前事件相机芯片分辨率信息，构建一个和事件相机芯片分辨率空间一致的矩阵；将超像素按照空间信息填充在矩阵中，将没有被填充的矩阵部分全部置为零，其中超像素的拼接受到时间戳的约束。

可选地，在上述基于超像素的事件数据重建和质量评估方法中，在步骤S8中，采用边界召回率的倒数和边缘平均距离的加权平均作为评估方法，以及采用欠分割误差和变化解释的倒数加权平均作为评估指标，评估的结果直接反映了事件超像素的质量，间接反映了事件相机数据的质量。

根据本发明的技术方案，产生的有益效果是：

本发明的基于超像素的事件数据重建和质量评估方法，通过利用超像素技术对事件相机的数据进行重建和质量评估，该方法可以构建一个良好的中间层，打通数据和应用直接的障碍，降低应用难度，扩大事件数据的应用范围，有效地提升了事件相机数据的质量和应用效果。

为了更好地理解和说明本发明的构思、工作原理和发明效果，下面结合附图，通过具体实施例，对本发明进行详细说明如下：

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。

图1是本发明的基于超像素的事件数据重建和质量评估方法的流程图。

具体实施方式

为使本发明的目的、技术方法及优点更加清晰，下面结合附图及具体实例，对本发明做进一步的详细说明。这些实例仅仅是说明性的，而并非对本发明的限制。

本发明的基于超像素的事件数据重建和质量评估方法的工作原理为：本发明利用一种新型传感器事件相机获取场景的数据，然后针对事件相机数据不通用，应用难度大，缺乏质量评估等问题，使用超像素的方法对事件相机数据进行重建，对事件相机的像素逐个聚合在超像素中，然后将多个超像素图块重建完整图像。使得重建后的事件数据能够很好的进行应用和评估，降低了应用难度，提高了应用效率。

如图1所示，本发明的基于超像素的事件数据重建和质量评估方法，包括以下步骤：

S1.获取事件数据流：首先利用事件相机去获取场景中的异步事件流，事件流可以记录场景中的变化。

S2.构建超像素：将异步事件流中的数据逐个构建超像素。

其中，事件相机根据场景的不同运动状态，输出独立的异步事件相机像素。和传统的像素包含的信息不同，每个异步事件相机像素包含四种信息：像素所在空间位置的坐标横轴x和纵轴y，像素被触发的时间信息t，像素的极性信息p，p的数值通常为(-1,1)。事件相机的像素在时间轴上不断的更新。由于事件数据的异步性，可以同时并行对多个事件超像素进行聚合。

将异步事件流中的数据逐个构建超像素包括：对于事件相机数据，以一个时间戳为参照，设置距离约束、极性约束、时间间隔约束三个约束条件进行聚类约束限制，根据事件点的相似点和连续性生成一个个事件数据超像素，并对每个超像素包含普通事件相机像素数量进行限制。

S3.单个超像素评估：根据构成超像素的事件相机像素数量来判断是否完成单个超像素的构建，并将构建好的超像素输入步骤S4中。

S4.超像素候选：将构建好的超像素储存在超像素候选区域并按照顺序建立索引。

S5.超像素融合：将超像素候选区域存在重合的超像素进行融合。

由于事件相机具有较高的采样频率，因此在融合超像素的时候，可能会存在超像素在空间上存在着重合的现象。针对这个问题，本发明的超像素的融合方法为：当两个超像素重合区域超过或等于一半时，将重合的部分切割出来，生成一个新的超像素；当两个超像素重合区域小于一半的时候，将重合的部分分配给时间戳较大的像素。

S6.超像素图像拼接：对超像素候选区域的超像素进行图像拼接。

超像素图像拼接的方法包括：将一个图像空间范围内聚合和融合好的超像素聚合成一幅完整的图像，从事件相机初始值中获取当前事件相机芯片分辨率信息，构建一个和事件相机芯片分辨率空间一致的矩阵；将超像素按照空间信息填充在矩阵中，将没有被填充的矩阵部分全部置为零，其中超像素的拼接受到时间戳的约束。

S7.图像候选：将一定数量的事件超像素进行组合，使其能够生成完整的图像，在图像候选区内判断是否完拼接整，并将完整的超像素的事件图像输入到步骤S8中进行评估。

S8.超像素图像整图评估：对完整的超像素的事件图像进行评估。

根据不同应用场景对超像素进行评估的方法，利用评估结果可以对超像素重建的图像不断地优化。针对目标检测、目标分割、语义分割等任务，需要选择能够保持图像中物体边界信息的超像素方法，以及选择能够衡量超像素边界与真实分割边界重合程度的评估指标。本发明采用边界召回率的倒数和边缘平均距离的加权平均作为评估方法。这两个方法都是计算超像素边界和真实边界的差异。针对立体匹配、光流估计、目标追踪等任务，本发明采用欠分割误差和变化解释的倒数加权平均作为评估指标。评估的结果直接反映了事件超像素的质量，间接反映了事件相机数据的质量。

S9.输出评估结果：将事件相机超像素图像评估结果进行输出，为后续算法应用提供依据。

本发明提出的针对事件相机超像素，首次在事件数据中引入超像素技术，提供一种低层次的事件数据特征，它可以保留物体的边界信息，降低事件数据的复杂度，提高处理效率和性能。本发明方法主要利用超像素和事件相机的特性进行事件数据的重建和评估工作，解决了事件相机的原始数据不易处理和难评估等问题，使得重建后的事件数据能够很好的进行应用和评估，降低了应用难度，提高了事件数据的使用效率，提高事件数据的易用性、通用性，使得事件相机数据可以被应用多个领域，例如：检测、追踪、语义分割等多个领域的应用中。

基于本发明的方法和其他针对事件相机重建的

表1本发明的方法和其他针对事件相机重建的

将本发明方法和国际上同类型的方法在目标追踪任务上进行比对，比较数据集采用国际上知名的数据集FE108

以上说明是依据发明的构思和工作原理的最佳实施例。上述实施例不应理解为对本权利要求保护范围的限制，依照本发明构思的其他实施方式和实现方式的组合均属于本发明的保护范围。

参考文献：

[1]Ramesh,B.,Yang,H.,Orchard,G.,Le Thi,N.A.,Zhang,S.,&Xiang,C.(2019).Dart:distribution aware retinal transform for event-based cameras.IEEEtransactions on pattern analysis and machine intelligence,42(11),2767-2780.

[2]Liu,Q.,Yuan,D.,Fan,N.,Gao,P.,Li,X.,&He,Z.(2022).Learning dual-level deep representation for thermal infrared tracking.IEEE Transactions onMultimedia,25,1269-1281.

[3]Zhang,J.,Zhao,K.,Dong,B.,Fu,Y.,Wang,Y.,Yang,X.,&Yin,B.(2021).Multi-domain collaborative feature representation for robust visual objecttracking.The Visual Computer,37(9-11),2671-2683.

[4]Zhang,J.,Yang,X.,Fu,Y.,Wei,X.,Yin,B.,&Dong,B.(2021).Objecttracking by jointly exploiting frame and event domain.In Proceedings of theIEEE/CVF International Conference on Computer Vision(pp.13043-13052)。