基于动态视觉传感器的显著性图生成系统、方法和装置

技术领域

本发明属于数据处理领域，具体涉及了一种基于动态视觉传感器的显著性图生成系统、方法和装置。

背景技术

动态视觉传感器(Dynamic vision sensor,DVS)逐渐获得关注，DVS是一种事件驱动型的光电传感器，此类传感器输出的信息不同于传统图像传感器具有“帧”的概念，而是大量独立事件构成的数据流，每个事件包含一个被激活的像素点的相关信息，使得像素信息不光具有亮度信息，同时也隐含了事件发生的时间顺序信息。同时，动态视觉传感器只对亮度对比发生变化的区域产生输出，因此具有过滤背景、仅仅捕捉运动目标的特点，可以极大地减少冗余背景信息，从而降低输出及待处理数据量，实际应用中可以节省计算资源和带宽。同时，DVS具有高动态测量范围，高时间分辨率特点，在视觉智能型移动设备及针对高速运动目标的检测中将带来广泛的应用前景，因此在机器学习、神经科学、计算机视觉等领域引起了强烈关注。

发明内容

为了解决现有技术中的动态视觉传感器数据无法排除冗余背景信息、数据量庞大、占用过多资源和捕捉的运动目标不明确的问题，本发明提供了一种动态视觉传感器的显著性图生成系统，所述系统包括事件数据获取模块和事件数据处理模块；

所述事件数据获取模块，用于通过动态视觉传感器获取事件数据，并将所述事件数据映射到目标检测网络阵列中；

所述实践数据处理模块，用于基于所述事件数据，通过目标检测网络阵列处理生成显著性图；

其中，所述目标检测网络阵列配置为神经形态算法模型，所述神经形态算法模型基于动态神经场构件，所述动态神经场由多个神经单元构成，每个神经单元包括低通滤波特性、局部横向激励机制、侧向抑制机制和横向相互作用机制；所述目标检测网络阵列通过基于动态神经场算法实现神经元阵列连接拓扑关系，每个神经元接受时间数据中8×8区域内的事件动态，将所述8×8区域内的事件动态作为外部刺激；每个神经元通过互连关系，与相邻5×5范围内神经元实现互连响应；

每个神经元将输入的事件信息和从相互关联的神经元获取的信息并缓存，每隔一段预设的时间通过激活函数u(t

进一步地，所述目标检测网络阵列通过所述动态神经场的低通滤波特性抑制动态视觉传感器获取事件数据时产生的背景噪声和动态视觉传感器视野区域的瞬时孤立事件产生的噪声。

进一步地，所述目标检测网络阵列的局部横向激励机制，用于稳定局部峰值吸引子；

还用于稳定捕捉到的运动目标捕捉到的运动目标属性的位置编码表示。

所述目标检测网络阵列的侧向抑制机制，用于抑制所述动态神经场中互连的神经元输入的瞬时噪声；

还用于稳定预设的选择决策器。

进一步地，所述目标检测网络阵列的横向相互作用机制，用于在目标短暂不完整情况下，通过所述横向相互作用机制对所述感官对象或感官对象属性的位置编码进行补全。

进一步地，所述目标检测网络阵列的低通滤波特性、局部横向激励机制、侧向抑制机制和横向相互作用机制表示为激活函数增量

其中，u(x,t)为动态神经场在t时刻的激活函数，表示在描述系统状态的参数空间x位置观察到的显著性；-h为一个负静息电平，表示在没有外部输入时，将u(x,t)的值设置为低于零或低于输出阈值；S(x,t)为外部输入；f(u)为形成动态神经场输出的非线性函数，u(x,t)值为负时输出为0，u(x,t)为正时输出为正，当u(x,t)值大于预设的饱和阈值时饱和；ω(x,x′)是决定动态神经场上x和x′位置之间横向相互作用机制的相互作用核；

所述形成动态神经场输出的非线性函数f(u)为：

f(u(x,t))＝(1+e

其中，超参数β为预设的用于调节神经元产生脉冲的阈值。

进一步地，所述相互作用核ω(x,x′)为：

其中，

本发明的另一方面，提出了一种基于动态视觉传感器的显著性图生成方法，其特征在于，所述方法包括：

步骤S10，通过动态视觉传感器获取事件数据，并将所述事件数据映射到目标检测网络阵列中；

步骤S20，基于所述事件数据，通过目标检测网络阵列处理生成显著性图；

其中，所述目标检测网络阵列配置为神经形态算法模型，所述神经形态算法模型基于动态神经场构件，所述动态神经场由多个神经单元构成，每个神经单元包括低通滤波器、局部横向激励机制、侧向抑制机制和横向相互作用机制；所述目标检测网络阵列通过基于动态神经场算法实现神经元阵列连接拓扑关系，每个神经元接受时间数据中8×8区域内的事件动态，将所述8×8区域内的事件动态作为外部刺激；每个神经元通过互连关系，与周边5×5范围内神经元实现互连响应；

步骤S21，每个神经元将输入的事件信息和从相互关联的神经元获取信息并缓存，每隔一段预设的时间通过激活函数u(t

步骤S22，将所有脉冲信号组合成为显著性图。

本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于动态视觉传感器的显著性图生成方法。

本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于动态视觉传感器的显著性图生成方法。

本发明的有益效果：

(1)本发明基于动态视觉传感器的显著性图生成系统通过综合了低通滤波器降低了动态传感器事件数据的噪声，并通过横向激励机制对运动目标进行局部区域增强，还通过横向相互作用机制根据时间关联性对目标在瞬间的不完整情况下实现补全，使得目标检测网络阵列生成的显著性图排除了冗余的背景信息；

(2)本发明基于动态视觉传感器的显著性图生成系统，通过使每个神经元与周边其他神经元相连的方法，接收其他神经元的输入信息每隔一定时间进行一次处理，融合运动目标在空间的连续表示和时间维度的关联性，使得目标检测网络阵列生成的显著性图更为可信和精确，同时避免了获取的事件数据不稳定而造成错误的问题。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是基于动态视觉传感器的显著性图生成系统的结构框图；

图2是本发明实施例中目标检测网络阵列的示意图；

图3是本发明实施例中动态神经场的神经单元原理示意图；

图4是本发明实施例中动态神经场的结构数据通路示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

本发明提供一种基于动态视觉传感器的显著性图生成系统，本系统包括事件数据获取模块和事件数据处理模块；

所述事件数据获取模块，用于通过动态视觉传感器获取事件数据，并将所述事件数据映射到目标检测网络阵列中；

所述实践数据处理模块，用于基于所述事件数据，通过目标检测网络阵列处理生成显著性图；

其中，所述目标检测网络阵列配置为神经形态算法模型，所述神经形态算法模型基于动态神经场构件，所述动态神经场由多个神经单元构成，每个神经单元包括低通滤波器、局部横向激励机制、侧向抑制机制和横向相互作用机制；所述目标检测网络阵列通过基于动态神经场算法实现神经元阵列连接拓扑关系，每个神经元接受时间数据中8×8区域内的事件动态，将所述8×8区域内的事件动态作为外部刺激；每个神经元通过互连关系，与周边5×5范围内神经元实现互连响应；

每个神经元将输入的事件信息和从相互关联的神经元获取的信息并缓存，每隔一段预设的时间通过激活函数u(t

在本实施例中，所述时间常数优选的范围为0-1。

为了更清晰地对本发明基于动态视觉传感器的显著性图生成系统进行说明，下面结合图1对本发明方法实施例中各步骤展开详述。

本发明一种实施例的基于动态视觉传感器的显著性图生成系统，事件数据获取模块和事件数据处理模块，各模块细描述如下：

所述事件数据获取模块，用于通过动态视觉传感器获取事件数据，并将所述事件数据映射到目标检测网络阵列中；

所述实践数据处理模块，用于基于所述事件数据，通过目标检测网络阵列处理生成显著性图；

其中，所述目标检测网络阵列配置为神经形态算法模型，所述神经形态算法模型基于动态神经场构件，所述动态神经场由多个神经单元构成，每个神经单元包括低通滤波器、局部横向激励机制、侧向抑制机制和横向相互作用机制；所述目标检测网络阵列通过基于动态神经场算法实现神经元阵列连接拓扑关系，每个神经元接受时间数据中8×8区域内的事件动态，将所述8×8区域内的事件动态作为外部刺激；每个神经元通过互连关系，与周边5×5范围内神经元实现互连响应；

每个神经元将输入的事件信息和从相互关联的神经元获取的信息并缓存，每隔一段预设的时间通过激活函数u(t

如图2所示，本实施例采用的目标检测网络的前端部分映射160×100个同构神经元阵列实现目标感知；本发明所述的事件数据为DVS(Dynamic vision sensor,DVS动态视觉传感器)摄像头拍摄的数据流，原始DVS数据按8x8空间区域实现事件的初步融合，获得的160x100的图像可直接映射到神经元阵列；每个神经元感受原图8x8区域内的事件动态，作为网络的外部刺激。

在本实施例中，所述目标检测网络阵列通过所述动态神经场的低通滤波特性抑制动态视觉传感器获取事件数据时产生的背景噪声和动态视觉传感器视野区域的瞬时孤立事件产生的噪声。

在本实施例中，所述目标检测网络阵列的局部横向激励机制，用于稳定局部峰值吸引子；

还用于稳定捕捉到的运动目标捕捉到的运动目标属性的位置编码表示。

在本实施例中，所述目标检测网络阵列的侧向抑制机制，用于抑制所述动态神经场中互连的神经元输入的瞬时噪声；

还用于稳定预设的选择决策器。

在本实施例中，侧向抑制机制稳定了“选择决策”可以有效避免发生相互竞争的强输入之间的振荡。

在本实施例中，所述目标检测网络阵列的横向相互作用机制，用于在目标短暂不完整情况下，通过所述横向相互作用机制对所述感官对象或感官对象属性的位置编码进行补全。

在本实施例中，只要横向相互作用机制足够强，可以使动态神经场维持记忆，每隔一段预设的时间通过激活函数u(t)获取神经元输出信号，当所述神经元输出信号小于或等于预设的饱和阈值时，该神经元输出与神经元输出信号等值的脉冲信号，当所述神经元输出信号大于预设的饱和阈值时，该神经元输出与饱和阈值等值的脉冲信号；将所有脉冲信号组合成为显著性图；该算法模型融合运动目标在空间的连续表示和时间维度的关联性，根据神经元群活动模式和时间积累特性，提高了动态视觉传感器获取显著性图的精确度和置信度。

如图4所示，DVS事件地址输入后进行累加缓存，实现8x8区域合并。在实施例中，为减少硬件资源，采用神经元行扫描处理的方式，取代神经元阵列结构。神经元行产生的膜电位与脉冲输出保存在相应的存储单元中，在进行下一轮计算时作为历史信息使用。前一时刻的膜电位u(t0)经过衰减与当前接收的激励进行累加，结果用于脉冲信号和膜电位更新判断基本神经元采用可编码方式实现，提高网络映射能力。

即使输入消失或低于激活阈值，强输入位置的基于动态神经场(DNF)活性也保持为正。从计算的角度来看，动态神经场的结构与脉冲神经网络相近，离散迭代形式的动态神经场可以在细胞神经网络的框架下进行模拟，这种对动态神经场的解释有助于对它的模拟。

在本实施例中，所述目标检测网络阵列的低通滤波器、局部横向激励机制、所述目标检测网络阵列的低通滤波特性、局部横向激励机制、侧向抑制机制和横向相互作用机制表示为激活函数增量

其中，u(x,t)为动态神经场在t时刻的激活函数，表示在描述系统状态的参数空间x位置观察到的显著性；-h为一个负静息电平，表示在没有外部输入时，将u(x,t)的值设置为低于零或低于输出阈值；S(x,t)为外部输入；f(u)为形成动态神经场输出的非线性函数，u(x,t)值为负时输出为0，u(x,t)为正时输出为正，当u(x,t)值大于预设的饱和阈值时饱和；ω(x,x′)是决定动态神经场上x和x′位置之间横向相互作用机制的相互作用核；

所述相互作用核ω(x,x′)可以是具有“墨西哥帽”形状的函数，同时具有短距离激发和长距离抑制的性能，可导致动态神经场中的局部凸起分离，有效增强了显著区域。

所述形成动态神经场输出的非线性函数f(u)如公式(2)所示：

f(u(x,t))＝(1+e

(2)

其中，超参数β为预设的用于调节神经元产生脉冲的阈值。

在本实施例中，所述激活函数在实际应用时使用动态神经场的离散迭代形式，如公式(3)所示：

在本实施例中，所述相互作用核ω(x,x′)如公式(4)所示：

其中，

ω(x,x′)为具有墨西哥帽形状的函数，同时具有短距离激发和长距离抑制的性能，可导致动态神经场中的局部凸起分离，有效增强了显著区域。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考方法实施例中的对应过程，在此不再赘述。

需要说明的是，上述实施例提供的基于动态视觉传感器的显著性图生成系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。

本发明第二实施例的基于动态视觉传感器的显著性图生成方法，包括步骤S10-步骤S20，各步骤详述如下：

步骤S10，通过动态视觉传感器获取事件数据，并将所述事件数据映射到目标检测网络阵列中；

步骤S20，基于所述事件数据，通过目标检测网络阵列处理生成显著性图；

其中，所述目标检测网络阵列配置为神经形态算法模型，所述神经形态算法模型基于动态神经场构件，所述动态神经场由多个神经单元构成，每个神经单元包括低通滤波特性、局部横向激励机制、侧向抑制机制和横向相互作用机制；所述目标检测网络阵列通过基于动态神经场算法实现神经元阵列连接拓扑关系，每个神经元接受时间数据中8×8区域内的事件动态，将所述8×8区域内的事件动态作为外部刺激；每个神经元通过互连关系，与周边5×5范围内神经元实现互连响应；

步骤S21，如图3所示，每个神经元将输入的事件信息和从相互关联的神经元获取信息并缓存，每隔一段预设的时间通过激活函数u(t)获取神经元输出信号，当所述神经元输出信号小于或等于预设的饱和阈值时，该神经元输出与神经元输出信号等值的脉冲信号，当所述神经元输出信号大于预设的饱和阈值时，该神经元输出与饱和阈值等值的脉冲信号；

步骤S22，将所有脉冲信号组合成为显著性图。

本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于动态视觉传感器的显著性图生成方法。

本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于动态视觉传感器的显著性图生成方法。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。