基于空间注意力的SNN交通标志识别方法及相关装置

技术领域

本申请涉及图像处理技术领域，尤其涉及基于空间注意力的SNN交通标志识别方法及相关装置。

背景技术

交通标志识别是自动驾驶领域中的核心技术之一，对安全驾驶与交通管理起着重要作用。由于交通环境的复杂性，提高交通标志识别算法的准确率和实时性是走向实际应用进程中需要解决的关键问题，现有方法大多结合深度学习技术，采用卷积神经网络(Convolutional Neural Networks,CNN)实现了检测效果的突破，基本能够满足高精度的要求。

但是目前深度学习存在运行功耗高、识别速度慢和网络占用资源大等问题，无法满足实时检测的要求，阻碍了交通标志识别技术的进一步发展。具体应用在交通标志识别的方案中时，主要体现在识别时间过长，无法实现实时处理，或者在特征提取过程忽略了重要特征，导致识别结果精度不高，亦或是神经网络设计过于复杂，导致计算量较大，占用资源较多，计算效率较低；而特征提取过程同样还伴随着图像特征表达能力较差，无法确保识别结果可靠性的问题。

发明内容

本申请提供了基于空间注意力的SNN交通标志识别方法及相关装置，用于缓解现有技术无法同时满足准确度和计算效率的要求，导致交通标志识别效果较差的技术问题。

有鉴于此，本申请第一方面提供了基于空间注意力的SNN交通标志识别方法，包括：

将目标交通标志图像输入预设SNN网络模型的神经元编码层进行编码处理，得到脉冲编码图，所述神经元编码层包括软重置LIF神经元；

基于所述预设SNN网络模型中的空间注意力网络层提取所述脉冲编码图中的注意力特征图；

依据所述预设SNN网络模型中的特征分析网络层对所述注意力特征图进行特征分析处理，得到待识别特征图；

采用所述预设SNN网络模型中的分类网络层根据所述待识别特征图进行标志分类处理，得到目标交通标志类别。

优选地，所述将目标交通标志图像输入预设SNN网络模型的神经元编码层进行编码处理，得到脉冲编码图，所述神经元编码层包括软重置LIF神经元，之前还包括：

通过预设监测装置实时获取不同的交通标志图像，并作预处理操作，得到目标交通标志图像。

优选地，所述将目标交通标志图像输入预设SNN网络模型的神经元编码层进行编码处理，得到脉冲编码图，所述神经元编码层包括软重置LIF神经元，之前还包括：

对初始LIF神经元进行简化分析，得到软重置LIF神经元，所述软重置LIF神经元包括减法阈值重置方式和预设电压重置方式；

基于所述软重置LIF神经元搭建神经元编码层后，结合空间注意力机制构建初始SNN网络模型；

采用预置交通标志图像训练集对所述初始SNN网络模型进行标志分类训练，得到预设SNN网络模型。

优选地，所述依据所述预设SNN网络模型中的特征分析网络层对所述注意力特征图进行特征分析处理，得到待识别特征图，包括：

依据所述预设SNN网络模型中的特征分析网络层对所述注意力特征图进行特征提取操作，得到特征表达图；

通过所述特征分析网络层中的池化层对所述特征表达图进行降维处理，得到待识别特征图。

本申请第二方面提供了基于空间注意力的SNN交通标志识别装置，包括：

图像特征编码单元，用于将目标交通标志图像输入预设SNN网络模型的神经元编码层进行编码处理，得到脉冲编码图，所述神经元编码层包括软重置LIF神经元；

第一特征提取单元，用于基于所述预设SNN网络模型中的空间注意力网络层提取所述脉冲编码图中的注意力特征图；

第二特征提取单元，用于依据所述预设SNN网络模型中的特征分析网络层对所述注意力特征图进行特征分析处理，得到待识别特征图；

交通标志识别单元，用于采用所述预设SNN网络模型中的分类网络层根据所述待识别特征图进行标志分类处理，得到目标交通标志类别。

优选地，还包括：

图像获取单元，用于通过预设监测装置实时获取不同的交通标志图像，并作预处理操作，得到目标交通标志图像。

优选地，还包括：

神经元优化单元，用于对初始LIF神经元进行简化分析，得到软重置LIF神经元，所述软重置LIF神经元包括减法阈值重置方式和预设电压重置方式；

网络结构搭建单元，用于基于所述软重置LIF神经元搭建神经元编码层后，结合空间注意力机制构建初始SNN网络模型；

网络模型训练单元，用于采用预置交通标志图像训练集对所述初始SNN网络模型进行标志分类训练，得到预设SNN网络模型。

优选地，所述第二特征提取单元，具体用于：

依据所述预设SNN网络模型中的特征分析网络层对所述注意力特征图进行特征提取操作，得到特征表达图；

通过所述特征分析网络层中的池化层对所述特征表达图进行降维处理，得到待识别特征图。

本申请第三方面提供了基于空间注意力的SNN交通标志识别设备，所述设备包括处理器以及存储器；

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行第一方面所述的基于空间注意力的SNN交通标志识别方法。

本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面所述的基于空间注意力的SNN交通标志识别方法。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请中，提供了基于空间注意力的SNN交通标志识别方法及相关装置，包括：将目标交通标志图像输入预设SNN网络模型的神经元编码层进行编码处理，得到脉冲编码图，神经元编码层包括软重置LIF神经元；基于预设SNN网络模型中的空间注意力网络层提取脉冲编码图中的注意力特征图；依据预设SNN网络模型中的特征分析网络层对注意力特征图进行特征分析处理，得到待识别特征图；采用预设SNN网络模型中的分类网络层根据待识别特征图进行标志分类处理，得到目标交通标志类别。

本申请提供的基于空间注意力的SNN交通标志识别方法及相关装置，基于SNN网络模型对目标交通标志图像进行特征分析和分类处理，此过程中通过神经元编码层和特征提取网络层进行改进调整，依据软重置LIF神经元和注意力机制提高模型的图像分析能力，确保分类结果的准确性；而且模型中的软重置LIF神经元能够降低计算复杂度，提高计算效率。因此，本申请能够缓解现有技术无法同时满足准确度和计算效率的要求，导致交通标志识别效果较差的技术问题。

附图说明

图1为本申请实施例提供的基于空间注意力的SNN交通标志识别方法及相关装置方法的流程示意图；

图2为本申请实施例提供的基于空间注意力的SNN交通标志识别方法及相关装置装置的结构示意图；

图3为本申请实施例提供的预设SNN网络模型的网络结构示意图；

图4为本申请实施例提供的基于软重置LIF神经元搭建的神经元编码层编码示意图；

图5为本申请应用例提供的SNN交通标志识别系统硬件模块示意图；

图6为本申请应用例提供的硬件模块中的控制模块的FSM状态转移图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了便于理解，请参阅图1，本申请提供的基于空间注意力的SNN交通标志识别方法及相关装置方法的实施例，包括：

步骤101、将目标交通标志图像输入预设SNN网络模型的神经元编码层进行编码处理，得到脉冲编码图，神经元编码层包括软重置LIF神经元。

目标交通标志图像可以是实时获取的待识别图像，或者是目标研究分析的图像，且输入预设SNN网络模型的图像大小一致。而预设SNN网络模型则是预先配置并且训练得到的，能够直接应用在实际的交通标志图像的处理分析场景中。请参阅图3，本实施例中的预设SNN网络模型的结构主要包括神经元编码层、空间注意力网络层(模块)、两个卷积层、一个维度处理层和两个全连接层；其中，卷积层中包括平均池化层，最后网络输出为分类结果，即识别结果；维度处理层放置在第二层卷积层和第一层全连接层之间，作用是把多维的输入转换为一维的，作为从卷积层到全连接层的过渡层。

需要说明的是，本实施例中的神经元编码层中的神经元是软重置LIF神经元，LIF神经元主要包含三个过程：泄露，积分和发射，其动力学方程为：

其中，V、V

其中，t

神经元的指数运算比较复杂，会导致运算功耗的增加，所以本实施例设计简化后的LIF神经元，即本实施例中的软重置LIF神经元(Simplified Soft-set LIF，SS-LIF)，假设LIF神经元的输入不进行衰减，将上式进行离散化与递归处理，则可以得到莫电压变化的近似差分方程：

V(t

其中，τ

编码的过程实质就是将输入的实数形式的像素数据转换成离散的脉冲值，过程中需要将目标交通标志图像按照时间顺序展开，对于每一个时间步，将归一化处理后的数据输入神经元编码层进行编码处理，神经元的膜电位结合输入数据和状态更新方程进行更新，同时判断神经元膜电位是否大于设定阈值，若是则发放脉冲并重置，否则保持当前状态知道下一个时间步，具体的编码过程可以参阅图4。

进一步地，步骤101，之前还包括：

通过预设监测装置实时获取不同的交通标志图像，并作预处理操作，得到目标交通标志图像。交通标志图像可以做一些图像处理，从而提高图像的质量，或者统一图像尺寸等，具体选取的预处理手段可以根据实际情况设置在此不作限定。

进一步地，步骤101，之前还包括：

对初始LIF神经元进行简化分析，得到软重置LIF神经元，软重置LIF神经元包括减法阈值重置方式和预设电压重置方式；

基于软重置LIF神经元搭建神经元编码层后，结合空间注意力机制构建初始SNN网络模型；

采用预置交通标志图像训练集对初始SNN网络模型进行标志分类训练，得到预设SNN网络模型。

需要说明的是，本实施例中的LIF神经元是简化后的神经元，能够减少模型的复杂度，提高计算效率；而且软重置LIF神经元配置了两种不同的重置方式，更加精确可靠。

步骤102、基于预设SNN网络模型中的空间注意力网络层提取脉冲编码图中的注意力特征图。基于预设SNN网络模型中的空间注意力机制可以提取到注意力特征图；该机制可以使模型更加关注图像的主要特征，从而忽略次要特征，提高模型对交通标志识别的准确率。

步骤103、依据预设SNN网络模型中的特征分析网络层对注意力特征图进行特征分析处理，得到待识别特征图。

进一步地，步骤103，包括：

依据预设SNN网络模型中的特征分析网络层对注意力特征图进行特征提取操作，得到特征表达图；

通过特征分析网络层中的池化层对特征表达图进行降维处理，得到待识别特征图。

图3中的卷积层和池化层的交替即为本实施例所指的特征分析网络层，可以对特征图进行特征分析和降维处理，处理好的特征图可以输入到最后的分类网络层进行分类，得到分类结果。

步骤104、采用预设SNN网络模型中的分类网络层根据待识别特征图进行标志分类处理，得到目标交通标志类别。

为了便于理解，本申请提供了基于空间注意力的SNN交通标志识别系统，图5为系统硬件结构图，图6为控制模块的FSM状态转移图。该系统主要包括优化输入编码模块、空间注意力模块、脉冲排序模块、数据存储模块、控制模块、脉冲缓存模块、脉冲计数模块、PE阵列模块和全连接计算模块。

请参阅图6，在控制模块中，主要分为膜电位泄露、准备数据、卷积计算、全连接计算和数据存储五个部分，控制模块采用状态机实现。如果系统使用LIF神经元来计算，则计算流程为①②③④⑤；若系统采用IF神经元来进行计算，则不需要对膜电位泄露，即①这部分，计算流程为②③④⑤。在控制核心中，有一个网络映射存储器，它保存着网络层数、每层图像输入通道数，卷积核大小，输出图像大小和步幅等参数。可以通过对网络映射存储器进行配置，以实现不同的网络拓扑。

脉冲排序模块，负责使用脉冲对输入像素数据进行编码并将它们缓存到脉冲缓冲模块，同时负责完成卷积(ConV)和池化(Pooling)计算的数据预取，即预取脉冲数据和权重数据进行数据重排，将数据类型转换成适合用脉动阵列进行计算的形式。

全连接计算模块，实现SCNN网络中的全连接计算，采用事件驱动实现，即神经元发放脉冲的时候才启动计算。实现流程为首先从脉冲排序模块依次获得脉冲数据，存在高电平脉冲时，将该脉冲对应的地址缓冲至全连接模块的FIFO中。紧接着依次遍历FIFO中存储的源神经元地址，根据源地址来获取相对于目标神经元的权重，采用一对多与并行计算的方式一次更新后64个神经元的状态，重复计算直至更新完目标神经元的状态，实现全连接计算。

PE阵列模块，卷积计算是通过由16×16个PE组成的2D脉动阵列来实现的。每个PE包含一个神经元，并且可以实现卷积与池化的计算。在进行卷积计算时，映射重排之后的脉冲数据流从每行输入到脉动阵列中，每列输入相应的权重数据流，采用固定中间膜电位的方式进行计算。对于多输入通道图像，先完成一个输入通道对于所有输出通道的计算，保存中间膜电位值，再依次完成剩下输入通道的计算。在进行池化的计算时，对输入脉冲进行累加，累加完成后采用右移2位便可完成2×2的平均池化计算。

数据存储模块，负责存储网络的权重和神经元的膜电位，在系统进行膜电位的更新时获取对应地址的权重，主要为卷积操作的权重，以及完成神经元膜电位的读写，本实施例中的权重由16位定点小数表示。

脉冲缓冲模块，负责存储网络计算过程中神经元所发放的内部脉冲数据，并在计算开始时将数据发送到脉冲排序模块进行数据排序。

脉冲计数模块，负责在计算完成时记录脉冲神经元发出的脉冲数目，为最终结果提供依据。

优化输入编码模块，负责对输入像素数据进行编码，将实数的像素值转化成离散的脉冲值。

空间注意力模块，负责对特征图进行注意力的提取，使系统更加关注图像的主要特征，从而忽略次要特征，提高系统对交通标志识别的准确率。

本申请实施例提供的基于空间注意力的SNN交通标志识别方法及相关装置，基于SNN网络模型对目标交通标志图像进行特征分析和分类处理，此过程中通过神经元编码层和特征提取网络层进行改进调整，依据软重置LIF神经元和注意力机制提高模型的图像分析能力，确保分类结果的准确性；而且模型中的软重置LIF神经元能够降低计算复杂度，提高计算效率。因此，本申请实施例能够缓解现有技术无法同时满足准确度和计算效率的要求，导致交通标志识别效果较差的技术问题。

为了便于理解，请参阅图2，本申请提供了基于空间注意力的SNN交通标志识别方法及相关装置装置的实施例，包括：

图像特征编码单元201，用于将目标交通标志图像输入预设SNN网络模型的神经元编码层进行编码处理，得到脉冲编码图，神经元编码层包括软重置LIF神经元；

第一特征提取单元202，用于基于预设SNN网络模型中的空间注意力网络层提取脉冲编码图中的注意力特征图；

第二特征提取单元203，用于依据预设SNN网络模型中的特征分析网络层对注意力特征图进行特征分析处理，得到待识别特征图；

交通标志识别单元204，用于采用预设SNN网络模型中的分类网络层根据待识别特征图进行标志分类处理，得到目标交通标志类别。

进一步地，还包括：

图像获取单元205，用于通过预设监测装置实时获取不同的交通标志图像，并作预处理操作，得到目标交通标志图像。

进一步地，还包括：

神经元优化单元206，用于对初始LIF神经元进行简化分析，得到软重置LIF神经元，软重置LIF神经元包括减法阈值重置方式和预设电压重置方式；

网络结构搭建单元207，用于基于软重置LIF神经元搭建神经元编码层后，结合空间注意力机制构建初始SNN网络模型；

网络模型训练单元208，用于采用预置交通标志图像训练集对初始SNN网络模型进行标志分类训练，得到预设SNN网络模型。

进一步地，第二特征提取单元203，具体用于：

依据预设SNN网络模型中的特征分析网络层对注意力特征图进行特征提取操作，得到特征表达图；

通过特征分析网络层中的池化层对特征表达图进行降维处理，得到待识别特征图。

本申请还提供了基于空间注意力的SNN交通标志识别设备，设备包括处理器以及存储器；

存储器用于存储程序代码，并将程序代码传输给处理器；

处理器用于根据程序代码中的指令执行上述方法实施例中的基于空间注意力的SNN交通标志识别方法。

本申请还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码用于执行上述方法实施例中的基于空间注意力的SNN交通标志识别方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。