运动对象的识别方法、装置、电子设备及可读存储介质

技术领域

本申请涉及图像检测技术领域，具体涉及一种运动对象的识别方法、装置、电子设备及可读存储介质。

背景技术

目前，出于安防管理的需要，监控设备布满了街道、社区、楼宇等各种公共场合。当监控设备采集的视频中出现运动对象的时间相对稀疏时，在对监控设备采集的视频进行分析时，通常包括大量无实际内容的图像帧，从而需要耗费大量不必要的计算资源，计算效率也较低。

发明内容

本申请实施例提供了一种运动对象的识别方法、装置、电子设备及可读存储介质，以解决现有技术中占用计算资源较大，计算效率较低的问题。

为了解决上述技术问题，本申请是这样实现的：

第一方面，提供了一种运动对象的识别方法，包括：

获取动态视觉传感器DVS事件流；

根据所述DVS事件流，进行感兴趣目标检测；

在检测到所述感兴趣目标的情况下，获取目标图像帧集合；其中，所述目标图像帧集合包括目标时间段内的图像帧，所述目标时间段为所述感兴趣目标出现的时间段；

根据所述目标图像帧集合，识别运动对象。

第二方面，提供了一种运动对象的识别装置，包括：

第一获取模块，用于获取动态视觉传感器DVS事件流；

检测模块，用于根据所述DVS事件流，进行感兴趣目标检测；

第二获取模块，用于在检测到所述感兴趣目标的情况下，获取目标图像帧集合；其中，所述目标图像帧集合包括目标时间段内的图像帧，所述目标时间段为所述感兴趣目标出现的时间段；

识别模块，用于根据所述目标图像帧集合，识别运动对象。

第三方面，本申请实施例还提供了一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面，本申请实施例还提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

通过本申请，获取动态视觉传感器DVS事件流；根据所述DVS事件流，进行感兴趣目标检测；在检测到所述感兴趣目标的情况下，获取目标图像帧集合；所述目标图像帧集合包括目标时间段内的图像帧，所述目标时间段为所述感兴趣目标出现的时间段；根据所述目标图像帧集合，识别运动对象。在基于DVS事件流确定存在感兴趣目标时，获取基于所述感兴趣目标确定的目标图像帧集合并进行分析识别运动对象，从而节约计算资源，提高计算效率。

附图说明

图1是本申请实施例提供的一种运动对象的识别方法的流程图；

图2是本申请实施例可应用的一种网络系统的结构图；

图3是本申请实施例提供的一种运动对象的识别装置的结构框图；

图4是本申请实施例提供的一种电子设备的结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本申请的描述中，需要理解的是，术语“第一”、“第二”仅由于描述目的，且不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。因此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者多个该特征。本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

本申请实施例提供了一种运动对象的识别方法，请参见图1，图1是本申请实施例提供的运动对象的识别方法的流程图。

如图1所示，所述方法包括：

S101、获取动态视觉传感器DVS事件流；

S102、根据所述DVS事件流，进行感兴趣目标检测；

S103、在检测到所述感兴趣目标的情况下，获取目标图像帧集合；其中，所述目标图像帧集合包括目标时间段内的图像帧，所述目标时间段为所述感兴趣目标出现的时间段；

S104、根据所述目标图像帧集合，识别运动对象。

本申请实施例中，在基于DVS事件流确定存在感兴趣目标时，获取基于所述感兴趣目标确定的目标图像帧集合，并进行分析识别运动对象，从而可以节约计算资源，提高计算效率。

具体实现时，所述方法可以应用于识别装置，所述识别装置可以为计算机、服务器等具备数据处理功能的设备或者数据平台。所述DVS事件流可以由所述识别装置的动态视觉传感模块采集，也可以由独立于所述识别装置的动态视觉传感器采集后传输至所述识别装置；所述图像帧可以由所述识别装置的RGB图像采集模块采集，也可以由独立于所述识别装置的RGB图像采集装置采集后传输至所述识别装置。

所述DVS事件流是基于事件机制，对于捕获的每个像素点位置，当光强度变化超过第一预设阈值时将生成该位置的事件信号。具体的，当光强度变化超过第一预设阈值，且光强度从低亮度跳变至高亮度时，可以生成“+1”事件信号；当光强度变化超过第一预设阈值，且光强度从高亮度跳变至低亮度时可以生成“-1”事件信号；当光强度变化不超过第一预设阈值时不发送事件信号。根据DVS事件，可以进行感兴趣目标检测。

在检测到感兴趣目标的情况下，可以获取所述目标图像帧集合。所述目标图像帧集合包括所述感兴趣目标出现的时间段内的图像帧。基于所述目标图像帧集合中的图像帧，可以通过连续帧间差分法，对所述目标图像帧集合中的相邻两帧对差分运算，以计算帧间像素变化是否超过第二预设阈值来确定是否存在运动对象。需要说明的是，本申请实施例也可以参考相关技术中除帧差法之外的其他识别运动对象的方法，在此不再赘述。

本申请实施例提供的运动对象的识别方法，根据获取的DVS事件流，进行感兴趣目标检测；在检测到所述感兴趣目标的情况下，获取与所述感兴趣目标相关联的目标图像帧集合；再根据所述目标图像帧集合，识别运动对象。在基于DVS事件流确定存在感兴趣目标时，获取基于所述感兴趣目标确定的目标图像帧集合并进行分析识别运动对象，从而节约计算资源，提高计算效率。

在本申请实施例的可选实施方式中，所述根据所述DVS事件流，进行感兴趣目标检测，包括：

将所述DVS事件流或者所述DVS事件流对应的脉冲序列输入预训练的神经网络中，通过所述预训练的神经网络进行感兴趣目标检测；

其中，所述DVS事件流对应的脉冲序列基于对所述DVS事件流编码得到。

本实施方式中，可以将所述DVS事件流或者所述DVS事件流编码的脉冲序列输入到预训练的神经网络中，以检测所述感兴趣目标。

在一种实现形式中，可以将所述DVS事件流输入到预训练的神经网络中。所述预训练的神经网络可以以采样周期为T的DVS事件流作为训练样本进行训练，所述预训练的神经网络的输入信息可以包括采样周期为T的DVS事件流，输出信息可以包括但不限于感兴趣目标指示信息、存在感兴趣目标的置信度、感兴趣目标的位置信息中的至少一项。其中，所述感兴趣目标指示信息用于指示是否存在感兴趣目标；所述感兴趣目标的位置信息可以包括四个维度，示例性的，所述位置信息可以表示为(x，y，w，h)，其中，x、y分别表示感兴趣目标的中心点的横纵坐标，w，h分别表示感兴趣目标的宽和高。

在另一种实现形式中，可以先将所述DVS事件流进行编码得到所述DVS事件对应的脉冲序列，再将所述脉冲序列输入到预训练的脉冲神经网络中，脉冲神经网络可以表征时空信息，能够提高感兴趣目标检测的准确性。

本实施方式中，进一步的，所述预训练的神经网络为以下任意一项：脉冲神经网络；脉冲神经网络和人工神经网络融合的神经网络。

在本申请实施例的可选实施方式中，所述图像帧由色彩模式RGB图像采集装置采集，所述DVS事件流由动态视觉传感器DVS采集。

本实施方式中，所述DVS事件流由独立于所述识别装置的动态视觉传感器采集，所述识别装置可以从所述动态视觉传感器获取所述DVS事件流。所述图像帧由独立于所述识别装置的RGB图像采集装置采集，所述识别装置可以从所述RGB图像采集装置获取所述图像帧。

在一种实现形式中，所述目标图像帧集合包括第一图像帧集合，所述获取目标图像帧集合，包括：

在第一时刻向所述RGB图像采集装置发送第一指令，所述第一时刻为所述目标时间段的起始时刻，所述第一指令用于指示所述RGB图像采集装置采集并返回实时图像帧；

接收所述RGB图像采集装置发送的实时图像帧；

在第二时刻向所述RGB图像采集装置发送第二指令，所述第二时刻为所述目标时间段的终止时刻，所述第二指令用于指示所述RGB图像采集装置停止采集实时图像帧；。

本实现形式中，在检测到所述感兴趣目标时，可以将当前时刻确定为所述目标时间段的初始时刻，在此表示为所述第一时刻。所述识别装置可以在所述第一时刻向所述RGB图像采集装置发送所述第一指令，以指示所述RGB图像采集装置开始采集实时图像帧，并将所述实时图像帧返回所述识别装置。当所述感兴趣目标消失后，可以确定所述目标时间段的终止时刻，在此表示为所述第二时刻。所述识别装置可以在所述第二时刻向所述RGB图像采集装置发送所述第二指令，以指示所述RGB图像采集装置停止采集实时图像帧。所述识别装置可以通过接收所述第一时刻至所述第二时刻之间的实时图像帧，所述实时图像帧是指所述RGB图像采集装置采集每一帧原始图像得到所述第一图像帧集合。

具体实现时，所述第一时刻可以为初次检测到所述感兴趣目标的时刻，所述第二时刻的确定可以基于所述感兴趣目标消失的时刻延后第一阈值。由于感兴趣目标的出现可能不连续，所述目标时间段的数量可以为多个，所述第一时刻为每次所述感兴趣目标出现时的时刻，所述第二时刻为每次所述感兴趣目标消失的时刻，所述第一图像帧集合包括多个目标时间段内接收到的实时图像帧，具体可根据实际情况决定，本申请实施例在此不作限定。

本实现形式中，所述RGB图像采集装置可以仅需采集所述目标时间段内的实时图像帧，在其他时间，所述RGB图像采集可以不采集实时图像帧，从而可以降低所述RGB图像采集装置的能耗。同时，所述识别装置可以仅存储所述第一图像帧集合，节约内存空间，提高了内存利用率。

在另一种实现形式中，所述目标图像帧集合包括第一图像帧集合，所述方法还包括：

接收所述RGB图像采集装置发送的实时图像帧；

所述获取目标图像帧集合，包括：

获取所述目标时间段内的实时图像帧，得到所述第一图像帧集合。

本实现形式与上述实现形式的区别在于，所述DVS在采集所述DVS事件流的过程中，所述RGB图像采集装置可以同步采集实时图像帧，所述DVS事件流可以与所述实时图像帧在时间上对齐，例如，一定时间区间内的DVS事件流组成的帧可以对应一实时图像帧。所述识别装置可以接收所述DVS事件流以及接收所述实时图像帧，当根据所述DVS事件流检测到所述感兴趣目标时，识别装置可以基于当前的DVS事件流，对应获取与其时间对齐的实时图像帧，从而获取所述目标时间段内的所有实时图像帧，得到所述第一图像帧集合。本实现形式获取的所述第一图像帧集合能够更加准确的对应感兴趣目标出现时的实时图像帧，提高了运动对象识别的准确性。

在又一种实现形式中，所述目标图像帧集合包括第二图像帧集合，所述获取目标图像帧集合，包括：

根据所述DVS事件流，确定所述感兴趣目标的位置信息；

在所述RGB图像采集装置采集的实时图像帧中，截取所述位置信息对应的图像帧，得到所述第二图像帧集合。

本实现形式中，基于所述DVS事件流可以捕获存在相对运行且光强度变化超过第一预设阈值的像素点，而这些像素点通常分布在对象的轮廓或者边界周围，因此所述感兴趣目标所在的位置，很有可能存在运动对象。所述识别装置可以在所述RGB图像采集装置采集的实时图像帧中，截取所述感兴趣目标的位置信息对应的图像，得到所述第二图像帧集合。也就是说，所述第二图像帧集合中的图像帧为所述RGB图像采集装置采集的实时图像帧中，对应于所述位置信息的局部图像，基于所述第二图像帧集合识别运动对象，可以进一步提高运动对象检测的效率和准确性。

具体实现时，可选的，识别装置可以接收RGB图像采集装置采集的实时图像帧以及动态视觉传感器采集的DVS事件流，在根据所述DVS事件流，确定所述感兴趣目标的位置信息时，可以确定与DVS事件流对应的实时图像帧，例如，可以对DVS事件流以及实时图像帧进行时间对齐，确定与检测到感兴趣目标DVS事件流对应的实时图像帧，并在该实时图像帧上截取所述位置信息对应的图像帧。例如，可以对DVS事件流以及实时图像帧进行空间对齐，并根据位置信息，截取所述实时图像帧中所述位置信息对应的局部图像，得到所述第二图像帧集合中的一图像帧。

可选的，识别装置可以在检测到所述感兴趣目标的情况下，控制RGB图像采集装置采集目标时间段内的实时图像帧，例如，向RGB图像采集装置发送采集或者停止采集实时图像帧的指令，接收RGB图像采集装置发送的实时图像帧，并根据接收到的实时图像帧以及位置信息，截取所述位置信息对应的图像帧。例如，可以对DVS事件流以及实时图像帧进行空间对齐，并根据位置信息，截取所述实时图像帧中所述位置信息对应的局部图像，得到所述第二图像帧集合中的一图像帧。

可选的，所述识别装置在基于所述DVS事件流进行感兴趣目标检测时，可以得到所述感兴趣目标的指示信息、所述感兴趣目标的位置信息等，例如，将所述DVS事件流输入预训练的神经网络，可以输出所述感兴趣目标的指示信息、所述感兴趣目标的位置信息等。所述识别装置可以基于所述感兴趣目标的指示信息，确定所述感兴趣目标出现的实时图像帧，再截取这些实时图像帧中所述包含所述感兴趣目标的局部图像，示例性的，在所述位置信息表示为(x，y，w，h)，其中，x、y分别表示感兴趣目标的中心点的横纵坐标，w，h分别表示感兴趣目标的宽和高的情况下，所述识别装置可以截取上述实时图像帧中包含所述感兴趣目标的矩形区域；或者在所述位置信息用于指示所述感兴趣目标的轮廓的情况下，可以基于所述感兴趣目标的轮廓截取图像，得到所述第二图像帧集合中的一图像帧。

下面介绍本申请实施例的一种具体实施方式：

如图2所示，图2是本实施方式可应用的一种网络系统的结构图。所述网络系统包括数据采集模块210、目标定位模块220和识别分析模块230。

其中，数据采集模块210包括RGB图像采集装置和动态视觉传感器DVS，所述RGB图像采集装置可以向目标定位模块220传输采集的图像帧，所述动态视觉传感器DVS可以向目标定位模块220传输DVS事件流。目标定位模块220可以根据所述DVS事件流检测感兴趣目标，并基于所述感兴趣目标确定所述目标图像帧集合。识别分析模块230可以获取目标定位模块220传输的所述目标图像帧集合，并对所述目标图像帧集合中的图像帧进行运动对象的识别和分析，并输出结果。

综上所述，本申请实施例提供的运动对象的识别方法，在基于DVS事件流确定存在感兴趣目标时，获取基于所述感兴趣目标确定的目标图像帧集合并进行分析识别运动对象，从而避免将计算资源消耗到无实际内容的图像帧上，节约了计算资源，提高了计算效率。

请参见图3，图3为本申请实施例提供的一种运动对象的识别装置的结构示意图。

如图3所示，运行对象的识别装置300包括：

第一获取模块，用于获取动态视觉传感器DVS事件流；

检测模块，用于根据所述DVS事件流，进行感兴趣目标检测；

第二获取模块，用于在检测到所述感兴趣目标的情况下，获取目标图像帧集合；其中，所述目标图像帧集合包括目标时间段内的图像帧，所述目标时间段为所述感兴趣目标出现的时间段；

识别模块，用于根据所述目标图像帧集合，识别运动对象。

可选的，检测模块302具体用于：

将所述DVS事件流或者所述DVS事件流对应的脉冲序列输入预训练的神经网络中，通过所述预训练的神经网络进行感兴趣目标检测；

其中，所述DVS事件流对应的脉冲序列基于对所述DVS事件流编码得到。

可选的，所述预训练的神经网络包括以下任意一项：脉冲神经网络；脉冲神经网络和人工神经网络融合的神经网络。

可选的，所述图像帧由色彩模式RGB图像采集装置采集，所述DVS事件流由动态视觉传感器DVS采集。

可选的，所述目标图像帧集合包括第一图像帧集合，第二获取模块303包括：

第一发送单元，用于在第一时刻向所述RGB图像采集装置发送第一指令，所述第一时刻为所述目标时间段的起始时刻，所述第一指令用于指示所述RGB图像采集装置采集并返回实时图像帧；

接收单元，用于接收所述RGB图像采集装置发送的实时图像帧；

第二发送单元，用于在第二时刻向所述RGB图像采集装置发送第二指令，所述第二时刻为所述目标时间段的终止时刻，所述第二指令用于指示所述RGB图像采集装置停止采集实时图像帧；

其中，所述第一图像帧集合包括所述目标时间段内接收的实时图像帧。

可选的，所述目标图像帧集合包括第一图像帧集合，运行对象的识别装置300还包括：

接收模块，用于接收所述RGB图像采集装置发送的实时图像帧；

第二获取模块303具体用于：

获取所述目标时间段内的实时图像帧，得到所述第一图像帧集合。

可选的，所述目标图像帧集合包括第二图像帧集合，第二获取模块303包括：

确定单元，用于根据所述DVS事件流，确定所述感兴趣目标的位置信息；

截取单元，用于截取在所述RGB图像采集装置采集的实时图像帧中，截取所述位置信息对应的图像帧，得到所述第二图像帧集合。

运行对象的识别装置300能够实现本申请实施例中如图1所示的运行对象的识别方法能够实现的各个过程，以及达到相同的有益效果，为避免重复，这里不再赘述。

可选的，如图4所示，本申请实施例还提供一种电子设备400，包括处理器402，存储器401，存储在存储器401上并可在所述处理器上运行的程序或指令，该程序或指令被处理器402执行时实现运行对象的识别方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要注意的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述运行对象的识别方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。

显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。