一种基于图神经网络的事件相机运动分割方法

技术领域

本发明属于计算机视觉技术领域，尤其涉及图神经网络、利用事件相机输出的事件数据进行运动分割的方法，具体为一种基于图神经网络的事件相机运动分割方法。

背景技术

运动分割是计算机视觉中一个重要的课题，其旨在从复杂背景中分割出动态区域，将同种运动物体赋予同一类别。基于卷积神经网络(CNNs)的方法在这个领域表现出了优异的性能，大多数的方法都依赖于传统的帧图像(RGB图像或灰度图像)来完成运动分割，但是基于帧图像的运动分割算法在恶劣的条件下(例如，低光照，快速运动情况等)分割效果会急剧下降。

事件相机是一种新颖的仿生视觉传感器，其异步测量场景中的光强度变化进而输出事件。因此，它提供非常高的时间分辨率(高达1MHz)，且功耗非常小。由于光强变化是在对数尺度中计算，因此其能够在非常高的动态范围下进行工作(140dB)。当对数尺度的像素光强变化高于或低于阈值时，事件相机触发形成“ON”和“OFF”事件。目前大多数处理事件数据的方法首先将事件数据累积堆叠成帧图像，然后使用CNN进行处理。然而，这些步骤丢弃了事件的稀疏性和高时间分辨率特性，导致事件数据优势难以充分发挥。图神经网络(GNN)将事件处理为“静态”时空图，这些图本质上是稀疏的，可以保持事件的异步性和稀疏性。因此为解决事件相机运动分割任务提供了可能。接下来详细介绍这一领域中相关的背景技术。

(1)基于事件帧图像的运动分割

由于事件相机的输出是稀疏的异步事件流，事件数据的存储形式和传统帧图像形式相差很多，因此常对事件数据进行叠加，在叠加的事件图像帧上使用CNN进行运动分割。但是，这种叠加成帧的形式丢弃了事件数据的稀疏性并量化了事件时间戳，没有利用到事件的高时间分辨率，同时也导致了冗余计算。

(2)基于脉冲神经网络的运动分割

目前基于脉冲神经网络(SNN)来进行运动分割的研究仍处于初期探索阶段，脉冲神经网络是基于过滤模型的一个实例，它试图以数据驱动的方式学习任务规则。虽然将事件数据处理成脉冲形式可以保持事件数据的低延迟特性，但是其新颖的设计和对调整的敏感性，使得脉冲神经网络难以训练并且目前在高级任务上的准确性难以取得令人满意的效果。与基于梯度的方法相比，基于脉冲神经网络的方法训练也更为复杂和难以操作。

(3)基于图神经网络的运动分割

基于图神经网络的方法是处理异步和稀疏事件数据的理想解决方案。不再将事件数据处理为密集的图像张量，而是将事件数据处理成图的形式，可以只考虑事件数据之间的稀疏连接，并将运动消息传递限制在这些连接上。这使得其能够有效地处理事件，而不会牺牲它们的稀疏性和高时间分辨率。此外，与动态系统一样，有些方法会在事件到达时立即更新状态，从而实现每个事件的最小延迟，显著降低了计算复杂度。

(4)事件运动分割数据集

Mitrokhin等人收集了两个基于事件的运动分割数据集：EED数据集和EV-IMO数据集。然而EED数据集只包含两个运动目标类别，仅有179帧(7.8秒)的灰度图像和对应的事件帧图像，场景设计也较为简单，难以体现事件相机的优势。EV-IMO数据集将事件数据的采集频率提高到了200Hz，但是该数据集中只包含了三个运动目标类别，也仅提供了帧图像级别的标注，缺乏事件数据级别的标注。

发明内容

为解决上述问题，本发明提供一种基于图神经网络的事件相机运动分割方法。针对基于事件相机数据的运动分割任务，首先制作一个基于事件相机的运动分割数据集，同时，基于该数据集，提出一种基于图神经网络的运动分割算法用以对运动目标进行准确分割。本发明可以充分发挥事件数据的稀疏性和高时间分辨率特征，并引入注意力机制有效地集成图结构和内容信息，以学习潜在特征。

本发明的技术方案：

一种基于图神经网络的事件相机运动分割方法，步骤如下：

(1)构建数据集

数据集中包括多种运动目标和运动场景；数据集借助Carla模拟器提供同步拍摄的事件数据和帧图像，以及同步的运动物体掩膜、深度数据及语义信息，还针对每个事件点提供了类别标签及运动参数信息。按照场景分类，数据集分为：低光照场景、伴随运动模糊的快速运动场景和没有运动模糊的快速运动场景；按照运动目标的数量以及相机静止与否，数据集共分为：单个目标运动且相机运动、多个目标运动且相机静止和多个目标运动且相机运动三个场景。

(2)图构建

事件数据ε用以下公式进行表达：

其中，(x

此外，图节点的构建结合每个事件点的四参数运动模型参数

其中，

基于事件图节点构建一个事件图G＝{V,E}，其中

其中，

(3)基于图神经网络的运动分割

构建好的图结构首先通过事件数据特征提取模块从携带运动信息的事件数据中提取高阶特征。为了更好的提取事件数据的有效信息，通过引入注意力机制关注节点的邻接节点来学习当前节点的潜在特征。当前图节点的潜在特征由注意力系数和可学习的线性变换参数计算得到。注意力系数衡量邻居节点对当前节点的重要性，同时考虑属性值和拓扑距离两个方面。从属性值的角度，注意力属性值系数由级联的当前节点和邻居节点经过单层前馈神经网络计算得到；从拓扑距离的角度，拓扑权重邻接矩阵通过计算图中的t阶邻域的邻居节点得到。对于注意力系数，先给注意力属性值系数添加拓扑权重矩阵和激活函数，再使用Softmax函数在当前节点的所有邻接节点之间进行归一化得到最终结果。最终节点的潜在特征可以由下述公式得到：

M＝(B+B

其中c

其次将获得的高阶特征送入分类器模块，分类器模块中依次通过多层感知机(MLP)和Softmax函数，获得节点的运动分割结果。

本发明的有益效果：

(1)大型运动分割事件数据集

基于深度学习的运动分割任务依赖于大量具有标注的数据集，由于事件相机的输出是异步流，导致事件数据难以标注。本发明通过Carla模拟器提供同步的事件数据和运动物体掩膜对每个事件点进行类别标注，并通过计算提供了每个事件点的运动模型参数，制作了一个大规模的运动分割数据集。该数据集将有利于后续基于事件相机的运动分割算法的相关研究。

(2)基于事件的构图方式

由于事件数据具有高时间分辨率与稀疏等特性，本发明首次提出基于事件数据和运动模型参数结合滑动窗口的构图方式。本发明提出的构图方式充分发挥事件数据的时空特性，并提供事件数据的运动模型为节点之间的联系提供了更多运动信息，同时利用滑动窗口构图，可以更有效的提供窗口内的事件信息且减少了计算量。

(3)基于注意力机制的图节点特征提取

图神经网络通常为每个节点的邻居节点分配相同的权重，本发明引入注意力机制为每个节点的邻居节点分配不同的权重。通过关注节点的邻居节点来学习当前节点的潜在特征，将属性值与拓扑距离相结合来计算注意力系数，本发明能有效地提取事件数据的特征从而解决运动分割难题。

附图说明

图1是基于图神经网络的事件相机运动分割网络结构图。

具体实施方式

下面结合具体实施方式对本发明作进一步详细说明，但本发明并不局限于具体实施方式。

如图1所示，一种基于图神经网络的事件相机运动分割方法，包括数据集的制作和网络模型的训练以及测试。

(1)训练数据集制作

数据集包含87个序列，共有6个运动目标类别，运动目标包含车辆、行人和自行车等运动物体类别，涵盖低光照、运动模糊等多种复杂的场景。

为了给事件数据进行类别标注，需要先获得运动物体在帧图像上的掩膜，通过Carla模拟器获取同步的事件数据及掩膜，将给定的时间戳范围内落在掩膜中的事件数据赋予运动物体的类别。然后对当前事件点与下一时间戳范围内的事件点进行兴趣点匹配，通过同一运动物体类别的两组配对的事件点计算当前两个事件点的四参数运动模型，公式为：

其中，(x,y)为当前事件点坐标，(x

(2)网络训练

网络构图过程中滑动窗口ΔT的大小设置为2000，滑动窗口步长设置为200，时空距离R设置为3。图结构采用三阶邻域，即t的大小设置为3，图的t阶邻域邻居节点的邻近矩阵M表示为M＝(B+B