一种事件相机的数据模拟方法和装置

技术领域

本发明涉及计算机视觉与多模态生成领域，具体涉及事件相机的数据模拟方法和装置。

背景技术

事件相机由于其成像原理，相较于传统彩色相机，具有高动态范围、低时间延迟等优势。在国防军事、影视制作、公共安全等领域具有广泛应用前景。但是，现在事件相机由于其价格高昂且商业化产品尚未普及。利用事件数据仿真生成算法快速、廉价的仿真生成大量事件相机数据，在图像修复、视频监控、智慧城市等应用领域具有重大意义。

发明内容

本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

根据上述实际需求和关键问题，本发明的目的在于：提出一种事件相机的数据模拟方法，输入待处理视频帧序列，方法自适应生成事件相机阈值分布信息，并通过伪并行的事件数据仿真生成处理，输出仿真事件相机数据。

本公开的一些实施例提供了一种事件相机的数据模拟方法，该方法包括：对所获取的待处理视频进行解码处理，得到视频帧序列；将上述视频帧序列中的目标视频帧输入至全卷积网络UNet，以提取上述目标视频帧对应的事件相机阈值分布信息，得到事件相机阈值分布信息；基于上述事件相机阈值分布信息，对上述目标视频帧中的每个像素进行采样以生成事件相机阈值，得到事件相机阈值集合；对上述事件相机阈值集合和上述视频帧序列进行伪并行的事件数据仿真生成处理，得到仿真事件相机数据；将上述仿真事件相机数据，与预先获取的事件相机拍摄数据进行生成对抗式学习以对上述事件相机阈值分布信息进行更新，得到更新后的事件相机阈值分布信息，其中，上述更新后的事件相机阈值分布信息与目标域真实数据的相似度大于第一预定阈值；基于上述更新后的事件相机阈值分布信息、上述视频帧序列和预设噪声信号，生成仿真事件相机数据，其中，上述仿真事件相机数据是与上述预先获取的事件相机拍摄数据的相似度大于第二预定阈值的数据。

本公开的一些实施例提供了一种事件相机的数据模拟装置，装置包括：解码处理单元，被配置成对所获取的待处理视频进行解码处理，得到视频帧序列；输入单元，被配置成将上述视频帧序列中的目标视频帧输入至全卷积网络UNet，以提取上述目标视频帧对应的事件相机阈值分布信息，得到事件相机阈值分布信息；采样单元，被配置成基于上述事件相机阈值分布信息，对上述目标视频帧中的每个像素进行采样以生成事件相机阈值，得到事件相机阈值集合；伪并行的事件数据仿真生成处理单元，被配置成对上述事件相机阈值集合和上述视频帧序列进行伪并行的事件数据仿真生成处理，得到仿真事件相机数据；生成对抗式学习单元，被配置成将上述仿真事件相机数据，与预先获取的事件相机拍摄数据进行生成对抗式学习以对上述事件相机阈值分布信息进行更新，得到更新后的事件相机阈值分布信息，其中，上述更新后的事件相机阈值分布信息与目标域真实数据的相似度大于第一预定阈值；生成单元，被配置成基于上述更新后的事件相机阈值分布信息、上述视频帧序列和预设噪声信号，生成仿真事件相机数据，其中，上述仿真事件相机数据是与上述预先获取的事件相机拍摄数据的相似度大于第二预定阈值的数据。

本发明所公开的方法利用彩色相机数据进行事件相机数据仿真生成。相比上述仿真方法的表现过度依赖人工调整的仿真参数优劣，具有如下有益的特点：1)无需依赖人为设定的仿真事件相机阈值与阈值噪声分布，通过少量真实事件相机数据，即可得到贴合实际的仿真事件相机阈值分布。2)无需复杂的参数调整和算法模拟，在仿真生成事件数据过程中不增加额外的参数量和计算量，通过对阈值噪声的估计，实现对事件相机数据的可靠仿真，并且利用真实事件数据本身信息进行自适应学习，避免了不同场景下仿真域事件相机数据与目标域事件相机数据分布差异过大。

附图说明

结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，元件和元素不一定按照比例绘制。

图1是根据本公开的事件相机的数据模拟方法的一些实施例的流程图；

图2是根据本公开的事件相机的数据模拟方法的另一些实施例的流程图；

图3是根据本公开的提取事件相机阈值分布信息的示意图；

图4是根据本公开的一些实施例的事件相机的数据模拟方法的一个应用场景的示意图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

下面将参考附图并结合实施例来详细说明本公开。

图1是根据本公开的事件相机的数据模拟方法的一些实施例的流程图。

步骤101，对所获取的待处理视频进行解码处理，得到视频帧序列。

在一些实施例中，事件相机的数据模拟方法的执行主体可以对所获取的待处理视频进行解码处理，得到视频帧序列。上述执行主体可以通过有线连接方式或者无线连接方式获取待处理视频。待处理视频可以是一个连续时间段内的视频。若获取的视频帧较多，可以对获取的视频进行截取，得到待处理视频。对于仿真事件相机数据的生成，视频帧序列的帧率要达到预定阈值，由此可以保证事件仿真的效果。若待处理视频的帧率未达到预定阈值，可以通过插帧算法等方法提升解码后的视频帧序列的帧率。

事件相机是一种新型的视觉传感器。与传统的彩色相机通过记录一定曝光时间内感光元件接受的亮度拍摄图像不同，事件相机记录的是亮度的变化情况。当某一像素亮度变化超过事件相机阈值的时候，事件相机会记录该阈值产生的像素坐标，时间，以及该事件的极性(亮度增强为正极性，亮度减弱为负极性)。仿真事件相机数据的基本原理就是模拟真实事件相机记录数据的方式，对视频序列前后帧进行比较，对应像素亮度变化超过阈值便记录发生事件。目前已有部分工作尝试利用彩色相机数据仿真生成事件相机数据。例如，2018年，苏黎世联邦理工学院的Rebecq首次提出了一种可靠的事件相机数据仿真方法。该方法首次提出事件相机的阈值，并不是固定不变的而是存在噪声的，并使用高斯分布拟合该噪声。并提出仿真事件发生的时间应该分布在仿真视频帧序列之间，而不是视频帧的发生时间。2020年，苏黎世联邦理工学院的Hu提出了一种更精细的事件相机数据仿真方法。该方法指出了在暗光条件下的事件相机，由于光传感带宽有限，出现一些事件可能不会被记录的现象。并设计了一个低通滤波器来模拟光传感带宽限制。并且，该方法还提出了一种基于泊松分布的事件相机时间噪声模型和一种事件相机泄露噪声模型，进一步增强了仿真事件数据的可靠性。

步骤102，将视频帧序列中的目标视频帧输入至全卷积网络UNet，以提取目标视频帧对应的事件相机阈值分布信息，得到事件相机阈值分布信息。

在一些实施例中，上述执行主体可以将上述视频帧序列中的目标视频帧输入至全卷积网络UNet，以提取上述目标视频帧对应的事件相机阈值分布信息，得到事件相机阈值分布信息。

图3是根据本公开的提取事件相机阈值分布信息的示意图。如图3所示。对事件相机阈值分布信息的提取，可以具有如下特征：针对输入的视频帧序列，选取每10帧为一组输入到全卷积网络UNet中。全卷积网络UNet是一个U型神经网络结构的网络。将选取的一组视频帧输入到全卷积网络UNet中，最终输出得到事件相机阈值分布信息(例如，高斯分布)，即均值μ

在一些实施例的一些可选的实现方式中，上述事件相机阈值分布信息包括均值矩阵和标准差矩阵。上述UNet由一个共享编码器和两个独立解码器构成。上述共享编码器与上述两个独立解码器之间以短连接相连。

作为示例，上述事件相机阈值分布信息，具体可以是指两个宽为图像宽，高为图像高的矩阵。一个矩阵为均值矩阵，另外一个矩阵为标准差矩阵。然后取两个矩阵对应坐标位置(例如坐标为1，1的位置)中的值，组成一个正态分布

步骤103，基于事件相机阈值分布信息，对目标视频帧中的每个像素进行采样以生成事件相机阈值，得到事件相机阈值集合。

在一些实施例中，上述执行主体可以基于上述事件相机阈值分布信息，对上述目标视频帧中的每个像素进行采样以生成事件相机阈值，得到事件相机阈值集合。其中，上述目标视频帧可以是视频帧序列中的第一个视频帧。

在一些实施例的一些可选的实现方式中，上述基于上述事件相机阈值分布信息，对上述目标视频帧中的每个像素进行采样以生成事件相机阈值，可以包括以下步骤：

第一步，对于上述目标视频帧中的每个像素p，从预设标准正态分布

第二步，根据上述事件相机阈值分布信息

第三步，对上述事件相机采样阈值进行截断处理，得到事件相机阈值θ(p)＝max(θ(p)，∈)。其中，max(，)表示求两个数中的最大值。∈表示事件相机采样阈值的下限。∈的取值为∈＝0.01。事件相机采样阈值可以是正数。事件相机采样阈值低于预定阈值，可能会产生不贴合实际的事件相机仿真结果。故设置事件相机采样阈值的下限，以确保采样阈值合理性。

步骤104，对事件相机阈值集合和视频帧序列进行伪并行的事件数据仿真生成处理，得到仿真事件相机数据。

在一些实施例中，上述执行主体可以对上述事件相机阈值集合和上述视频帧序列进行伪并行的事件数据仿真生成处理，得到仿真事件相机数据。

在一些实施例的一些可选的实现方式中，上述伪并行的事件数据仿真生成处理是对输入的上述视频帧序列中的相邻的视频帧进行处理，以生成正事件累积图和负事件累积图的处理。并将所得到的正事件累积图集合和负事件累积图集合确定为仿真事件相机数据。其中，对输入的上述视频帧序列中的相邻的视频帧通过如下处理，以生成正事件累积图和负事件累积图：

其中，p表示像素。N

其中，floor()表示向0取整函数。

其中，

步骤105，将仿真事件相机数据，与预先获取的事件相机拍摄数据进行生成对抗式学习以对事件相机阈值分布信息进行更新，得到更新后的事件相机阈值分布信息。

在一些实施例中，上述执行主体可以将上述仿真事件相机数据，与预先获取的事件相机拍摄数据进行生成对抗式学习，并通过梯度下降算法，对上述事件相机阈值分布信息进行更新，得到更新后的事件相机阈值分布信息。其中，上述更新后的事件相机阈值分布信息与目标域真实数据的相似度大于第一预定阈值。

在一些实施例的一些可选的实现方式中，上述将上述仿真事件相机数据，与预先获取的事件相机拍摄数据进行生成对抗式学习以对上述事件相机阈值分布信息进行更新，得到更新后的事件相机阈值分布信息，可以包括以下步骤：

如图2所示，图2是根据本公开的事件相机的数据模拟方法的另一些实施例的流程图。

步骤201，对上述仿真事件相机数据和上述预先获取的事件相机拍摄数据进行数据处理，得到事件表征信息。

可选的，对上述仿真事件相机数据和上述预先获取的事件相机拍摄数据进行数据处理，得到事件表征信息，可以包括以下步骤：

确定上述预先获取的事件相机拍摄数据在预定时间段内的第一正事件累计图

确定上述仿真事件相机数据在上述预定时间段内的第二正事件累计图

利用以下公式，对上述第一正事件累计图、上述第一负事件累计图、上述第二正事件累计图和上述第二负事件累计图分别求梯度，得到第一事件表征信息和第二事件表征信息作为事件表征信息：

G＝|g

其中，G表示事件表征信息。g

其中，E

步骤202，对上述事件表征信息进行分治处理，得到分治处理后的事件表征信息。其中，上述分治处理包括以下步骤：对上述事件表征信息进行分块，得到多个表征块。对上述多个表征块中的每个表征块进行特征分析以生成特征哈希键值，得到特征哈希键值集合。根据上述特征哈希键值集合和预设哈希表，确定与上述多个表征块对应的多个判别器网络模型，如图4所示，根据上述特征哈希键值集合，查找预设哈希表，确定判别器网络模型。利用上述多个判别器网络模型判别上述多个表征块的事件表征信息是否满足预设条件。并根据预先获取的数据分布对上述事件相机阈值分布信息进行更新，得到更新后的事件相机阈值分布信息。其中，上述特征分析中的特征包括：梯度角度，梯度强度和特征散度。

作为示例，预设哈希表可以是{k1：d1，k2：d2}这里的k1和k2即为哈希键值。d1和d2即为不同的判别器网络模型。得到的特征哈希键值集合可以是{k1，k1，k2，k2}。即可通过查找哈希表，得到对应的判别器网络模型为{d1，d1，d2，d2}。

可选的，上述对上述事件表征信息进行分治处理，得到分治处理后的事件表征信息，可以包括以下步骤：

通过网格分块将事件表征信息E分成4×4共16块，得到表征块

对上述多个表征块利用哈希函数进行结构分析。并根据哈希值选择相应的判别器网络模型进行后续处理。

其中，

作为示例，对于任意输入的表征块，哈希函数会返回一个哈希值，等于k。也就是第k个判别器对应的示性函数的取值会是1，其他的示性函数的取值都是0。对所有判别器网络模型的输出结果求和，可以等价于最终得到的总体判别器网络模型，即将表征块输出到第k个判别器得到的结果。

判别器网络模型的数量可以是216个，可以从0-215对判别器网络模型进行编号。每当输入一个表征块

梯度角度和梯度强度的分析步骤如下：

确定每个表征块的梯度，得到梯度矩阵。

确定上述梯度矩阵的特征值{λ

通过如下公式计算梯度角度

其中，

步骤203，上述利用上述多个判别器网络模型判别上述多个表征块的事件表征信息是否满足预设条件，并根据预先获取的数据分布对上述事件相机阈值分布信息进行更新，得到更新后的事件相机阈值分布信息，可以包括以下步骤：

对梯度角度、梯度强度和特征散度分别量化成24、3和3共三个等级。

设置216个判别器网络模型。其中，上述216个判别器网络模型中的每个判别器网络模型由一个多层感知器网络结构构成。上述多层感知器网络结构由三层线性层构成。上述三层线性层中的每层线性层的通道数分别为256，128和1。通道数可以是每层线性层输出的特征向量的大小。即三层线性层中第一层输出的特征向量大小为256×1。第二层输出特征向量大小为128×1。最终输出特征向量大小为1×1，即一个值，该值是0～1之间的一个值。四舍五入后为0代表事件表征图不是来自于真实数据，四舍五入后为1代表事件表征图来自于真实数据。其中，上述216个判别器网络模型由于训练的数据量不同，置信度也不同。通过如下公式对上述事件相机阈值分布信息进行更新：

其中，ω

步骤106，基于更新后的事件相机阈值分布信息、视频帧序列和预设噪声信号，生成仿真事件相机数据。

在一些实施例中，上述执行主体可以基于上述更新后的事件相机阈值分布信息、上述视频帧序列和预设噪声信号，生成仿真事件相机数据。其中，上述仿真事件相机数据是与上述预先获取的事件相机拍摄数据的相似度大于第二预定阈值的数据。

生成仿真事件相机数据的过程包括两个阶段：训练阶段和测试阶段(使用阶段)。其中，训练阶段：将上述仿真事件相机数据，与预先获取的事件相机拍摄数据进行生成对抗式学习以对上述事件相机阈值分布信息进行更新，得到更新后的事件相机阈值分布信息。测试阶段(使用阶段)：基于上述更新后的事件相机阈值分布信息、上述视频帧序列和预设噪声信号，生成仿真事件相机数据。

在一些实施例的一些可选的实现方式中，上述基于上述更新后的事件相机阈值分布信息、上述视频帧序列和预设噪声信号，生成仿真事件相机数据，可以包括以下步骤：

第一步，根据上述更新后的事件相机阈值分布信息，对上述视频帧序列中的各个视频帧中的每个像素进行事件相机阈值采样以生成事件相机阈值，得到事件相机阈值组序列。

第二步，对上述事件相机阈值组序列和上述视频帧序列进行伪并行的事件数据仿真生成处理，得到事件相机数据。

第三步，将预设噪声信号添加至上述事件相机数据，得到仿真事件相机数据。

可以理解的是，一种事件相机的数据模拟装置中记载的诸单元与参考图1描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作、特征以及产生的有益效果同样适用于一种事件相机的数据模拟装置及其中包含的单元，在此不再赘述。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术邻域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。