一种运动目标检测跟踪方法

技术领域

本申请涉及运动检测技术领域，更为具体来说，本申请涉及一种运动目标检测跟踪方法。

背景技术

区别于通过固定曝光时间产生图片的传统相机，神经视觉传感器仿照生物视网膜根据外界光照环境产生脉冲信号的原理，基于监测区域中采样得到光信号变化产生脉冲信号。神经视觉传感器产生脉冲信号的时间分辨率可以控制在数十微秒以内，结合其采样机制可更容易采集场景中变化的视觉信息，自然比传统相机更适合获取运动物体的信息，如在相机或检测目标运动速度过快时，传统相机产生的图片会有运动模糊的现象。

然而，由于监测区域中不同运动物体彼此之间可能会有遮挡，或由于相机运动导致大量脉冲信号的产生，使得运动物体对应的脉冲信号很难从中分辨出来，区别不同运动物体和相机自运动的视觉信息本身就是一种挑战性的任务。此外，神经形态传感器的输出是事件或脉冲形式，天然适合作为脉冲神经网络这种低功耗、低延迟的模型的输入。但是目前仍然没有基于脉冲神经网络的方法可根据脉冲序列的信息进行运动物体的检测与跟踪。

因此，为了解决上述问题，本发明提出一种基于脉冲神经网络的运动目标检测跟踪方法，以至少部分地解决上述技术问题。

发明内容

本发明主要提出一种运动目标检测跟踪方法，该技术可应用于神经形态视觉芯片产生的脉冲阵列。目的是利用高频率视网膜相机获得的脉冲阵列本身具有的时空特性，仿照生物视觉特性，直接以视觉脉冲序列为输入，区别不同运动物体和相机自运动的视觉信息，并分析获取这些运动分别对应的信息，如运动物体位置、大小、运动方向、运动速度等等，实现对不同运动目标的检测跟踪，及运动轨迹预测。

首先根据运动状态来对不同的运动物体进行聚类，聚类方法采用的是学习一个运动状态生成器，学习检测到运动信息中隐藏的各种状态分布。聚类之后获得各个类别对应的运动信息，根据运动状态生成器所得各类的运动模型可预测不同物体下一时刻的运动状态，并为下一时刻的脉冲阵列进行物体类别的初始化，最后结合下个时刻的脉冲阵列运动检测结果与预测值的差异更新运动模型参数。

为实现上述技术目的，本申请提供了一种运动目标检测跟踪方法，包括以下步骤：

采集监测区域的时空信号生成时空脉冲阵列；

对所述时空脉冲阵列进行运动检测并生成对应的脉冲编码序列；

将所述时空脉冲阵列输入脉冲神经网络中，所述脉冲神经网络根据所述时空脉冲阵列的发放模式进行聚类；

结合所述脉冲编码序列和所述聚类的结果获得目标的运动信息和位置信息；

根据所述目标的运动信息和位置信息进行状态预测，将预测结果反馈到进行聚类的所述脉冲神经网络，以辅助修正预测时产生的误差。

具体地，所述对所述时空脉冲阵列进行运动检测，包括：对各个局部空间位置的时空信号进行时域上的对比，获得各个局部空间位置在时域上的运动信息，所述运动信息含速度和朝向。

具体地，所述对所述时空脉冲阵列进行运动检测并生成对应的脉冲编码序列，包括：根据各个局部空间位置的运动信息按照运动模式的相似性进行编码，或同时结合空间信息和运动信息进行编码。

进一步地，所述根据各个局部空间位置的运动信息按照运动模式的相似性进行编码，运动模式相近的编码在同一个脉冲阵列中，不同脉冲阵列表示不同的运动信息；所述同时结合空间信息和运动信息进行编码，运动模式相似且发放位置相近的编码在同一个脉冲阵列中，不同脉冲阵列表示某个局部的某种运动模式。

具体地，进行聚类的所述脉冲神经网络包括显著区域提取层、输入层和输出层，所述显著区域提取层接收所述时空脉冲阵列，提取显著区域并裁剪掉非显著区域，输出对应显著区域的时空脉冲阵列；所述输入层接收显著区域提取层输出的脉冲阵列并编码，每个所述脉冲阵列都有对应的一个输入层神经元；所述输出层的输出神经元与所述输入层神经元是全连接的方式，每个所述输出神经元对应一个类别，所述输出层输出对应的脉冲编码序列。

优选地，所述输出层与输出层的全连接权重是根据输入的脉冲阵列实时调整的，若同一目标在运动过程中特征逐渐发生变化，对应该目标的输出神经元所提取的特征也发生相应的调整。

优选地，所述将预测结果反馈到进行聚类的所述脉冲神经网络，包括：将预测结果反馈到所述脉冲神经网络的所述输入层中作为一个辅助输入。

优选地，所述输出层还设置抑制项，使得每个神经元至多只能对应一个目标，且每个目标整体只能对应一个输出神经元，所述抑制项包括神经元之间的横向抑制，或包括一个全局的抑制神经元进行控制。

优选地，当连续多个时刻没有检测到某个目标时，则默认该目标已经消失在监测区域中，不再进行预测，其对应的输出神经元重新调整至对应新的移动目标。

进一步地，所述结合所述脉冲编码序列和所述聚类的结果获得目标的运动信息和位置信息，包括：根据聚类目标所在位置，获得其对应区域中运动检测获得的运动信息，将目标区域中的运动信息取一个平均值作为该聚类目标的整体运动速度与朝向。

进一步地，所述根据所述目标的运动信息和位置信息进行状态预测，将预测结果反馈到进行聚类的所述脉冲神经网络，包括：

获得运动目标的位置信息和运动信息后，根据运动速度预测运动目标在下一时刻即将到达的位置，如果下一时刻没有检测到该目标或检测的位置与之前预测的位置相差超过预定阈值，则采取上一时刻预测的结果；

将预测的位置信息反馈到进行聚类的所述脉冲神经网络，扩充对应不同目标的输出神经元的信息，如果目标检测时采用的是上一时刻的预测结果，则对应该预测目标的输出神经元对应连接权重保持与上一时刻不变。

优选地，所述聚类的处理过程包括：

神经形态相机输出脉冲阵列；

从所述脉冲阵列中提取显著区域的脉冲阵列；

将所述显著区域的脉冲阵列输入脉冲阵列生成模型；

求得在不同区域对应的后验概率，获得各个类别对应的运动信息。

本申请的有益效果为：

本申请提出的运动目标检测跟踪方法，可应用于神经形态视觉芯片产生的脉冲阵列。目的是利用高频率视网膜相机获得的脉冲阵列本身所具有的时空特性，仿照生物视觉特性，直接以视觉脉冲序列为输入，区别不同运动物体和相机自运动的视觉信息，并分析获取这些运动分别对应的信息，如运动物体位置、大小、运动方向、运动速度等等，从而实现对不同运动目标的检测跟踪，及运动轨迹的预测。

附图说明

图1示出了本申请的实施例1的方法流程示意图；

图2示出了本申请的实施例1的聚类过程示意图；

图3示出了本申请的实施例1的检测跟踪效果示意图；

图4示出了本申请的实施例2和实施例3的方法流程示意图。

具体实施方式

以下，将参照附图来描述本申请的实施例。但是应该理解的是，这些描述只是示例性的，而并非要限制本申请的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本申请的概念。对于本领域技术人员来说显而易见的是，本申请可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本申请发生混淆，对于本领域公知的一些技术特征未进行描述。

应予以注意的是，这里所使用的术语仅是为了描述具体实施例，而非意图限制根据本申请的示例性实施例。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式。此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或附加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组合。

现在，将参照附图更详细地描述根据本申请的示例性实施例。然而，这些示例性实施例可以多种不同的形式来实施，并且不应当被解释为只限于这里所阐述的实施例。附图并非是按比例绘制的，其中为了清楚表达的目的，可能放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状以及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。

实施例1：

本实施例实施了一种运动目标检测跟踪方法，如图1所示，包括以下步骤：

采集监测区域的时空信号生成时空脉冲阵列；

对时空脉冲阵列进行运动检测并生成对应的脉冲编码序列；

将时空脉冲阵列输入脉冲神经网络中，脉冲神经网络根据所述时空脉冲阵列的发放模式进行聚类；

结合脉冲编码序列和所述聚类的结果获得目标的运动信息和位置信息；

根据目标的运动信息和位置信息进行状态预测，将预测结果反馈到进行聚类的脉冲神经网络，以辅助修正预测时产生的误差。

对所述时空脉冲阵列进行运动检测，包括：对各个局部空间位置的时空信号进行时域上的对比，获得各个局部空间位置在时域上的运动信息，所述运动信息含速度和朝向。

对所述时空脉冲阵列进行运动检测并生成对应的脉冲编码序列，包括：根据各个局部空间位置的运动信息按照运动模式的相似性进行编码，或同时结合空间信息和运动信息进行编码。

进一步地，所述根据各个局部空间位置的运动信息按照运动模式的相似性进行编码，运动模式相近的编码在同一个脉冲阵列中，不同脉冲阵列表示不同的运动信息；所述同时结合空间信息和运动信息进行编码，运动模式相似且发放位置相近的编码在同一个脉冲阵列中，不同脉冲阵列表示某个局部的某种运动模式。

具体地，进行聚类的所述脉冲神经网络包括显著区域提取层、输入层和输出层，所述显著区域提取层接收所述时空脉冲阵列，提取显著区域并裁剪掉非显著区域，输出对应显著区域的时空脉冲阵列；所述输入层接收显著区域提取层输出的脉冲阵列并编码，每个所述脉冲阵列都有对应的一个输入层神经元；所述输出层的输出神经元与所述输入层神经元是全连接的方式，每个所述输出神经元对应一个类别，所述输出层输出对应的脉冲编码序列。

优选地，所述输出层与输出层的全连接权重是根据输入的脉冲阵列实时调整的，若同一目标在运动过程中特征逐渐发生变化，对应该目标的输出神经元所提取的特征也发生相应的调整。

优选地，所述将预测结果反馈到进行聚类的所述脉冲神经网络，包括：将预测结果反馈到所述脉冲神经网络的所述输入层中作为一个辅助输入。

优选地，所述输出层还设置抑制项，使得每个神经元至多只能对应一个目标，且每个目标整体只能对应一个输出神经元，所述抑制项包括神经元之间的横向抑制，或包括一个全局的抑制神经元进行控制。

优选地，当连续多个时刻没有检测到某个目标时，则默认该目标已经消失在监测区域中，不再进行预测，其对应的输出神经元重新调整至对应新的移动目标。

进一步地，结合所述脉冲编码序列和所述聚类的结果获得目标的运动信息和位置信息，包括：根据聚类目标所在位置，获得其对应区域中运动检测获得的运动信息，将目标区域中的运动信息取一个平均值作为该聚类目标的整体运动速度与朝向。

进一步地，根据所述目标的运动信息和位置信息进行状态预测，将预测结果反馈到进行聚类的所述脉冲神经网络，包括：

获得运动目标的位置信息和运动信息后，根据运动速度预测运动目标在下一时刻即将到达的位置，如果下一时刻没有检测到该目标或检测的位置与之前预测的位置相差超过预定阈值，则采取上一时刻预测的结果；

将预测的位置信息反馈到进行聚类的所述脉冲神经网络，扩充对应不同目标的输出神经元的信息，如果目标检测时采用的是上一时刻的预测结果，则对应该预测目标的输出神经元对应连接权重保持与上一时刻不变。

其中，如图2所示，所述聚类处理过程包括：神经形态相机输出脉冲阵列；从所述脉冲阵列中提取显著区域的脉冲阵列；将所述显著区域的脉冲阵列输入脉冲阵列生成模型；求得在不同区域对应的后验概率，获得各个类别对应的运动信息。聚类方法采用的是学习一个运动状态生成器，学习检测到运动信息中隐藏的各种状态分布。聚类之后获得各个类别对应的运动信息，根据运动状态生成器所得各类的运动模型可预测不同物体下一时刻的运动状态，并为下一时刻的脉冲阵列进行物体类别的初始化，最后结合下个时刻的脉冲阵列运动检测结果与预测值的差异更新运动模型参数。

图3所示为五个运动字符的旋转轨迹图，如图3所示，“5”“6”“7”“8”“9”五个字符分别由不同灰度的颜色表示，根据如上所述的步骤跟踪在空间位置里达到相应的效果，可见本实施例的所述方法可分析获取如运动物体位置、大小、运动方向、运动速度等等运动信息，从而实现对不同运动目标的检测跟踪，及运动轨迹的预测。

实施例2：

本实施例提供了一种运动目标检测跟踪方法的实施方式，方法总体流程如图4所示。基于神经形态视觉传感器输出的三维时空脉冲序列直接进行运动物的检测跟踪，x和y表示脉冲信号的空间位置，t表示不同空间位置上产生脉冲信号的时间，取某个时刻所有空间位置对应的二值脉冲序列构成脉冲阵列，所述脉冲阵列示例如下：

其中，“1”表示该时刻在对应位置有脉冲信号，“0”表示该时刻在对应位置无脉冲信号。粗体的“1”表示的是运动物体产生的脉冲信号，非粗体的“1”为静止/背景区域产生的脉冲信号。基于输入的脉冲阵列进行的运动检测跟踪的步骤如下：

步骤1，对输入的脉冲阵列进行运动检测，检测方法可通过基于脉冲信号的光流法，或是基于脉冲神经网络的方式。输出脉冲阵列中存在的各种运动状态，如运动朝向，运动速度等，使用不同的脉冲阵列表示不同的运动状态，如有对应0～360°的八个运动朝向，运动速度都为1像素每时刻的状态，则运动检测后输出八个脉冲阵列组成的脉冲序列，分别表示检测区域存在的运动状态。

步骤2，假设采集时空信号所得的脉冲阵列e(e∈[0，1]

其中粗体区域即表示检测到的显著区域，则对应该脉冲阵列e有两个显著区域的脉冲阵列e

若用参数θ表示生成器中不同类别z与对应不同显著区域的脉冲阵列e的关系，则为了分析输入的脉冲阵列中运动状态的分布情况p

步骤3，在求解得到当前脉冲阵列与物体类别关系后，可根据后验概率p(z|e，θ)获得各个运动目标的位置，不同区域脉冲阵列对应所得后验概率最大的变量z即其对应的输出类别。接着，可结合其运动速度预测其下一时刻即将到达的位置，若下一时刻没有检测到该目标或检测的位置与之前预测的位置相差较大，则采取上一时刻预测的结果。

步骤4，预测的位置信息返回至进行聚类的脉冲神经网络中，扩充对应不同目标的输出神经元的信息，若目标检测时采用变量z

步骤5，当连续多个时刻没有检测到某个目标z

实施例3：

本实施例实施了一种运动目标检测跟踪方法，方法总体流程仍如图4所示。基于神经形态视觉传感器输出的三维时空脉冲序列直接进行运动物的检测跟踪，在根据脉冲阵列进行检测跟踪时首先与实施例2的步骤1相同，对脉冲阵列进行运动检测，获得存在的各种运动状态。但在这里使用脉冲神经网络来建模图所描述的运动目标聚类过程，脉冲神经网络的优化目标也是找到参数|，分析各个运动所属类别z，使得目标函数E

在所建立的脉冲神经网络中，输入与实施例2中所描述的显著区域脉冲阵列，网络输出神经元表示不同状态所属的类别z(有k个输出神经元)，模型中θ为输入神经元与输出神经元之间的连接权重，参数θ的更新就由STDP模型完成。在给定输入脉冲序列e和网络权重θ通过漏电积分发放(Leaky integrate-and-fire，LIF)模型获得输出神经元的输出状态，等价于实施例2中的步骤3求解p(z|e，θ)的过程，同理，在输入下一时刻脉冲阵列计算输出神经元的过程等价于求解p(z

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。