一种深度脉冲神经网络的分布式部署推理方法及相关装置

技术领域

本申请涉及计算机技术领域，特别涉及一种深度脉冲神经网络的分布式部署推理方法及相关装置。

背景技术

脉冲神经网络(SpikingNeuronNetworks，SNN)作为第三代神经网络具有高度的生物真实性，通过模拟大脑神经网络连接方式并结合时间信息来实现高效运算。基于SNN的低功耗的特性，其在神经网络的研究领域备受关注。

近年来，国内外类脑芯片的研究也取得了较大的进展，例如，IBM的TrueNorth、Intel的Loihi1/2、清华大学的天机芯II以及浙江大学的达尔文I/II，利用类脑脉冲计算的稀疏性、脉冲加和、异步事件驱动等特性等实现超低功耗，目前类脑芯片支持模型的推理。但随着人工智能的迅猛发展，人们对模型性能的需求呈指数增长，模型复杂度快速提升，而受类脑芯片的存储资源以及算力的限制，深度脉冲神经网络无法在类脑芯片上部署，这也极大的限制了深度脉冲神经网络的应用。

因而现有技术还有待改进和提高。

发明内容

本申请要解决的技术问题在于，针对现有技术的不足，提供一种深度脉冲神经网络的分布式部署推理方法及相关装置。

为了解决上述技术问题，本申请实施例第一方面提供了一种深度脉冲神经网络的分布式部署推理方法，所述方法还包括：

获取待部署的深度脉冲神经网络，并将所述深度脉冲神经网络拆分为若干子神经网络，其中，若干子神经网络中的任意两个相邻子神经网络中，位于前的子神经网络的输出项为位于后的子神经网络的输入项；

对若干子神经网络中的各子神经网络进行编译，以得到各子神经网络对应的生成模型文件；

将若干子神经网络对应的生成模型文件依次部署于类脑芯片，以通过若干子神经网络逐步对输入数据进行推理，以得到输入数据对应的输出数据。

所述深度脉冲神经网络的分布式部署推理方法，其中，所述将深度脉冲神经网络拆分为若干子神经网络具体包括：

获取类脑芯片对应的存储空间；

根据所述存储空间将所述深度脉冲神经网络拆分为若干子神经网络，其中，每个子神经网络所需要的存储空间均小于所述类脑芯片对应的存储空间。

所述深度脉冲神经网络的分布式部署推理方法，其中，所述对若干子神经网络中的各子神经网络进行编译具体为：

通过所述类脑芯片对应的编译软件对若干子神经网络中的各子神经网络进行编译，其中，在对各子神经网络进行编译时，子神经网络的输入携带有膜电位状态。

所述深度脉冲神经网络的分布式部署推理方法，其中，在各子神经网络的编译过程中，将输入数据中的批量数维度与通道维度进行合并以得到目标输入数据，将目标数据通过子神经网络的脉冲计算层以得到候选输出数据，将候选输出数据中批量数维度与通道维度拆分，并将拆分得到的批量数维度与模电位状态维度合并以得到参考输出数据，最后将参考输出数据输入子神经网络的目标计算单元得到输出数据，其中，所述目标计算单元包括卷积层和/或池化层。

所述深度脉冲神经网络的分布式部署推理方法，其中，所述将若干子神经网络对应的生成模型文件依次部署于类脑芯片，以通过若干子神经网络逐步对输入数据进行推理，以得到输入数据对应的输出数据具体包括：

当若干子神经网络部署于单个类脑芯片时，将位于第一位的子神经网络的生成模型文件部署于类脑芯片，并将输入数据输入位于第一位的子神经网络以得到第一输出数据；

控制所述类脑芯片删除位于第一位的子神经网络，并部署位于第二位的子神经网络的生成模型文件部署于所述类脑芯片，并将第一输出数据输入位于第二位的子神经网络以得到第二输出数据；

依次类推直至位于最后的子神经网络，以得到输入数据对应的输出数据。

所述深度脉冲神经网络的分布式部署推理方法，其中，所述将若干子神经网络对应的生成模型文件依次部署于类脑芯片，以通过若干子神经网络逐步对输入数据进行推理，以得到输入数据对应的输出数据具体包括：

当若干子神经网络部署于多个类脑芯片时，将各子神经网络的生成模型文件分别部署于不同芯片；

将输入数据输入部署位于第一位的子神经网络的多个类脑芯片中的一类脑芯片，通过位于第一位的子神经网络输出第一输出数据；

将所述第一输出数据输入部署位于第二位的子神经网络的多个类脑芯片中的另一芯片，通过位于第二位的子神经网络输出第二输出数据；

依次类推直至位于最后的子神经网络，以得到输入数据对应的输出数据。

所述深度脉冲神经网络的分布式部署推理方法，其中，若干子神经网络中的各子神经网络部署的类脑芯片互不相同。

本申请实施例第二方面提供了一种深度脉冲神经网络的分布式部署推理系统，所述系统包括：

获取模块，用于获取待部署的深度脉冲神经网络，并将所述深度脉冲神经网络拆分为若干子神经网络，其中，若干子神经网络中的任意两个相邻子神经网络中，位于前的子神经网络的输出项为位于后的子神经网络的输入项；

编译模块，用于对若干子神经网络中的各子神经网络进行编译，以得到各子神经网络对应的生成模型文件；

部署模块，用于将若干子神经网络对应的生成模型文件依次部署于类脑芯片，以通过若干子神经网络逐步对输入数据进行推理，以得到输入数据对应的输出数据。

本申请实施例第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的深度脉冲神经网络的分布式部署推理方法中的步骤。

本申请实施例第四方面提供了一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；

所述通信总线实现处理器和存储器之间的连接通信；

所述处理器执行所述计算机可读程序时实现如上任一所述的深度脉冲神经网络的分布式部署推理方法中的步骤。

有益效果：与现有技术相比，本申请提供了一种深度脉冲神经网络的分布式部署推理方法及相关装置，所述方法包括获取待部署的深度脉冲神经网络，并将所述深度脉冲神经网络拆分为若干子神经网络；对若干子神经网络中的各子神经网络进行编译，以得到各子神经网络对应的生成模型文件；将若干子神经网络对应的生成模型文件依次部署于类脑芯片，以通过若干子神经网络逐步对输入数据进行推理，以得到输入数据对应的输出数据。本申请通过将深度脉冲网络拆分为若干子神经网络，并分别编译和部署单个子神经网络，这样可以将深度脉冲神经网络部署于类脑芯片，使得类脑芯片使用大规模深度脉冲神经网络进行模型推理，扩展了深度脉冲神经网络的使用范围。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在不符创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请提供的深度脉冲神经网络的分布式部署推理方法的流程图。

图2为编译部署时间维度脉冲序列计算流程示意图。

图3为推理部署数据转换图。

图4为单类脑芯片的深度脉冲神经网络推理流程示意图。

图5为多类脑芯片的深度脉冲神经网络推理流程示意图。

图6为本申请提供的深度脉冲神经网络的分布式部署推理方法的结构原理图。

图7为本申请提供的终端设备的结构原理图。

具体实施方式

本申请提供一种深度脉冲神经网络的分布式部署推理方法及相关装置，为使本申请的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本申请进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

应理解，本实施例中各步骤的序号和大小并不意味着执行顺序的先后，各过程的执行顺序以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

经过研究发现，脉冲神经网络(SpikingNeuronNetworks，SNN)作为第三代神经网络具有高度的生物真实性，通过模拟大脑神经网络连接方式并结合时间信息来实现高效运算。基于SNN的低功耗的特性，其在神经网络的研究领域备受关注。

近年来，国内外类脑芯片的研究也取得了较大的进展，例如，IBM的TrueNorth、Intel的Loihi1/2、清华大学的天机芯II以及浙江大学的达尔文I/II，利用类脑脉冲计算的稀疏性、脉冲加和、异步事件驱动等特性等实现超低功耗，目前类脑芯片支持模型的推理。但随着人工智能的迅猛发展，人们对模型性能的需求呈指数增长，模型复杂度快速提升，而受类脑芯片的存储资源以及算力的限制，深度脉冲神经网络无法在类脑芯片上部署，这也极大的限制了深度脉冲神经网络的应用。

为了解决上述问题，在本申请实施例中，获取待部署的深度脉冲神经网络，并将所述深度脉冲神经网络拆分为若干子神经网络；对若干子神经网络中的各子神经网络进行编译，以得到各子神经网络对应的生成模型文件；将若干子神经网络对应的生成模型文件依次部署于类脑芯片，以通过若干子神经网络逐步对输入数据进行推理，以得到输入数据对应的输出数据。本申请通过将深度脉冲网络拆分为若干子神经网络，并分别编译和部署单个子神经网络，这样可以将深度脉冲神经网络部署于类脑芯片，使得类脑芯片使用大规模深度脉冲神经网络进行模型推理，扩展了深度脉冲神经网络的使用范围。

下面结合附图，通过对实施例的描述，对申请内容作进一步说明。

本实施例提供了一种深度脉冲神经网络的分布式部署推理方法，如图1所示，所述方法包括：

S10、获取待部署的深度脉冲神经网络，并将所述深度脉冲神经网络拆分为若干子神经网络

具体地，深度脉冲神经网络为经过训练的脉冲神经网络，例如，深度脉冲神经网络为基于ResNet152构建的深度脉冲神经网络，该深度脉冲神经网络包含2000万以上的神经元，并将基于ResNet152构建的深度脉冲神经网络在V100集群平台训练迭代100次。可以理解的是，在将深度脉冲神经网络部署于类脑芯片之前，需要构建深度脉冲神经网络，并于可学习平台对构建的深度脉冲神经网络进行学习，以得到预训练的深度脉冲神经网络；然后将该预训练的深度脉冲神经网络作为待部署的深度脉冲神经网络。

若干子神经网络中的每个子神经网络均为深度脉冲神经网络中的一部分，各子神经网络互不重叠，并且各子神经网络按照其在深度脉冲神经网络中的位置顺序进行拼接，可以得到所述深度脉冲神经网络。其中，对于若干子神经网络中的任意两个相邻子神经网络中，位于前的子神经网络的输出项为位于后的子神经网络的输入项，相邻子神经网络指的是子神经网络在深度脉冲神经网络中的位置顺序相邻。例如，将深度脉冲神经网络划分为子神经网络1、子神经网络2，...，子神经网络N，其中，子神经网络1、子神经网络2，...，子神经网络N中的序号为按照子神经网络在深度脉冲神经网络中的位置顺序，即子神经网络1为在深度脉冲神经网络中的位置位于子神经网络2之前，子神经网络2为在深度脉冲神经网络中的位置位于子神经网络3之前，依次类推，子神经网络N位于深度脉冲神经网络的最后。

在一个实现方式中，为了使得划分得到的各子神经网络可以部署于类脑芯片，其中，类脑芯片为预先确定需要部署该深度脉冲神经网络的；需要根据类脑芯片的存储空间来对深度脉冲神经网络进行划分。基于此，所述将深度脉冲神经网络拆分为若干子神经网络具体包括：

获取类脑芯片对应的存储空间；

根据所述存储空间将所述深度脉冲神经网络拆分为若干子神经网络。

具体地，所述类脑芯片的存储空间为类脑芯片的可用存储空间，子神经网络所需要的存储空间指的是子神经网络部署于类脑芯片所占用的存储孔，其中，子神经网络所需要的存储空间小于类脑芯片的存储空间，这样子神经网络可以部署于类脑芯片。在一个实现方式中，为了使得每个子神经网络均可以部署于类脑芯片，在根据所述存储空间将所述深度脉冲神经网络拆分为若干子神经网络时，需要统计深度脉冲神经网络各层的神经元数量、参数量以及输入输入数据大小，以确定每层所需的存储空间，然后根据类脑芯片的存储空间采用按层拆分的方式将深度脉冲神经网络拆分为若干子神经网络，其中，前一个子神经网络的输出项为后一个子神经网络的输入项。例如，将基于ResNet152构建的深度脉冲神经网络拆分为52个子神经网络，即每个bottleneck为一个子神经网络。

S20、对若干子神经网络中的各子神经网络进行编译，以得到各子神经网络对应的生成模型文件。

具体地，在获取到各子神经网络后，需要对子神经网络进行编译，以使得子神经网络可以适用于类脑芯片。也就是说，在获取到子神经网络后，通过类脑芯片的编译软件对每个子网络进行编译部署，以得到各子神经网络对应的生成模型文件，其中，生成模型文件可以加载到类脑芯片上，并在类脑芯片上部署生成模型文件对应的子神经网络。

进一步，由于深度脉冲网络模型在计算过程中增加了时间为维度的累积计算，从而在对子神经网络的编译过程中需要考虑时间维度。可以理解的是，由于深度脉冲神经网络在推理过程中脉冲序列的计算依赖时间维度上的模电位状态，即T-1时刻的膜电位为T时刻的影响因子，膜电位是深度脉冲神经网络SNN层脉冲序列的决定因子，因此，在编译部署过程中，需要对时间T每一时刻的膜电位状态值进行保存并流向下一时刻的计算中。基于此，所述对若干子神经网络中的各子神经网络进行编译具体为：

通过所述类脑芯片对应的编译软件对若干子神经网络中的各子神经网络进行编译，其中，在对各子神经网络进行编译时，子神经网络的输入携带有膜电位状态。

具体地，对于每个子神经网络，将模电位状态v作为子神经网络编译时的输入和输出，即子神经网络的输入项和输出项均携带有模电位状态v，也就说，T-1时刻的模电位状态v_outT于输入推理数据一起作为T时刻的输入，以此方式实现SNN模型部署中时间维度的依赖迭代。例如，设置T为4，如图2所示，神经元T＝0的输出项包括模电位状态v_out1，神经元T＝0的膜电位状态v_out1为神经元1的输入，神经元T＝1的输出包括膜电位状态v_out2，依次类推，神经元T＝3的输出包括膜电位状态v_out4。

进一步，由于编译过程中添加了膜电位状态维度，从而每深度脉冲神经网络数据增加了一个时间维度T，这就使得深度脉冲神经网络数据为五维数据。然而，存储类脑芯片不支持五维数据，从而在深度脉冲神经网络层计算时，需要对输入数据进行维度转换。基于此，如图3所示，在各子神经网络的编译过程中，将输入数据[T,N,C,H,W]中的批量数维度N与通道维度C进行合并以得到目标输入数据[T,NC,H,W]，将目标数据通过子神经网络的脉冲计算层以得到候选输出数据[T,NC,H,W]，将候选输出数据[T,NC,H,W]中批量数维度N与通道维度C拆分，并将拆分得到的批量数维度N与模电位状态维度T合并以得到参考输出数据[TN,C,H,W]，最后将参考输出数据输入子神经网络的目标计算单元得到输出数据，其中，所述目标计算单元包括卷积层和/或池化层，T表示膜电位状态维度，N表示批量数维度，C表示通道维度，H表示高度维度，W表示宽度维度。例如，以SNN-ResNet152的编译过程为例，推理开始输入数据为[4,2,3,224,224],在进入SNN层计算前，数据由[4,2,3,224,224]转换成[4,2*3,224,224],待SNN层计算完成后，数据由[4,2*3,224,224]转换为[4*2,3,224,224]进行卷积池化等操作。

S30、将若干子神经网络对应的生成模型文件依次部署于类脑芯片，以通过若干子神经网络逐步对输入数据进行推理，以得到输入数据对应的输出数据。

具体地，类脑芯片部署一个子神经网络，也就是说，当若干子神经网络依次部署于同一类脑芯片时，需要在前一个子神经网络推理完成后，将前一神经网络删除后再部署下一个子神经网络时，当若干子神经网络部署于多个类脑芯片时，每个类脑芯片部署一个子神经网络。

在一个实现方式中，所述将若干子神经网络对应的生成模型文件依次部署于类脑芯片，以通过若干子神经网络逐步对输入数据进行推理，以得到输入数据对应的输出数据具体包括：

当若干子神经网络部署于单个类脑芯片时，将位于第一位的子神经网络的生成模型文件部署于类脑芯片，并将输入数据输入位于第一位的子神经网络以得到第一输出数据；

控制所述类脑芯片删除位于第一位的子神经网络，并部署位于第二位的子神经网络的生成模型文件部署于所述类脑芯片，并将第一输出数据输入位于第二位的子神经网络以得到第二输出数据；

依次类推直至位于最后的子神经网络，以得到输入数据对应的输出数据。

具体地，若干子神经网络部署于单个类脑芯片指的是采用单类脑芯片进行模型推理，如图4所示，单类脑芯片进行模型推理的过程可以为：首先将位于最前的子神经网络加载至类脑芯片中，并将输入数据输入位于最前的子神经网络中进行推理计算，得到的第一输出数据，然后，保存第一输出数据并将位于最前的子神经网络删除，以使得类脑芯片的空闲存储空间可以满足位于第二位的子神经网络的需要；其次，将位于第二位的子神经网络加载至类脑神经网络，并将第一输出数据作为输入数据输入位于第二位的子神经网络进行推理计算，依次类推完成若干子神经网络的推理计算，位于最后的子神经网络的输出数据为深度脉冲神经网络的输出数据。

在一个实现方式中，所述将若干子神经网络对应的生成模型文件依次部署于类脑芯片，以通过若干子神经网络逐步对输入数据进行推理，以得到输入数据对应的输出数据具体包括：

当若干子神经网络部署于多个类脑芯片时，将各子神经网络的生成模型文件分别部署于不同芯片；

将输入数据输入部署位于第一位的子神经网络的多个类脑芯片中的一类脑芯片，通过位于第一位的子神经网络输出第一输出数据；

将所述第一输出数据输入部署位于第二位的子神经网络的多个类脑芯片中的另一芯片，通过位于第二位的子神经网络输出第二输出数据；

依次类推直至位于最后的子神经网络，以得到输入数据对应的输出数据。

具体地，若干子神经网络部署于多个类脑芯片指的是深度脉冲神经网络通过多类脑芯片进行模型推理，此时，如图5所示，将每个子神经网络加载至一个类脑芯片，并且各子神经网络各自对应的类脑芯片不同。也就是说，用于模型推理的类脑芯片的数量大于或者等于若干子神经网络的数量，这样可以为每个子神经网络配置一个类脑芯片，这样在位于第一位的子神经网络确定第一输出数据后，可以直接传输给装载有位于第二位的子神经网络的类脑芯片，通过位于第二位的子神经网络进行推理计算，而无需等待类脑芯片删除位于第一位的子神经网络，再加载位于第二位的子神经网络，这样可以提高模型推理速度。例如，针对基于ResNet152构建的SNN网络，设计了多进程流水并行的方式部署了SNN模型加速推理，即将拆分的52个子模型分别加载到52个计算芯片上，当芯片1完成一次推理计算后，芯片2接收到芯片1的输出数据后开始子网络2的推理计算，同时芯片1开始下一轮推理计算，以此类推直至芯片52完成最后一次推理，流程结束。

当然，在实际应用中，在采用多类脑芯片进行推理时，多类脑芯片的数量也可能小于若干子神经网络的数量，此时，可以根据多类脑芯片的第一数量在若干子神经网络中按照其在深度脉冲神经网络的位置顺序选取第一数量的子神经网络，并为选取到的每个子神经网络分配一个类脑芯片，然后将各子神经网络装载于其对应的类脑芯片，并进行推理计算，在选取到的子神经网络中位于最后的子神经网络推理完成后，保存选取到的子神经网络中位于最后的子神经网络的输出数据，并将各类脑芯片中的子神经网络删除，从而上述选取、装载和推理过程直至得到位于最后的子神经网络的输出数据。

综上所述，本实施例提供了一种深度脉冲神经网络的分布式部署推理方法，所述方法包括获取待部署的深度脉冲神经网络，并将所述深度脉冲神经网络拆分为若干子神经网络；对若干子神经网络中的各子神经网络进行编译，以得到各子神经网络对应的生成模型文件；将若干子神经网络对应的生成模型文件依次部署于类脑芯片，以通过若干子神经网络逐步对输入数据进行推理，以得到输入数据对应的输出数据。本申请通过将深度脉冲网络拆分为若干子神经网络，并分别编译和部署单个子神经网络，这样可以将深度脉冲神经网络部署于类脑芯片，使得类脑芯片使用大规模深度脉冲神经网络进行模型推理，扩展了深度脉冲神经网络的使用范围。

基于上述深度脉冲神经网络的分布式部署推理方法，本实施例提供了一种深度脉冲神经网络的分布式部署推理系统，如图6所示，所述系统包括：

获取模块100，用于获取待部署的深度脉冲神经网络，并将所述深度脉冲神经网络拆分为若干子神经网络，其中，若干子神经网络中的任意两个相邻子神经网络中，位于前的子神经网络的输出项为位于后的子神经网络的输入项；

编译模块200，用于对若干子神经网络中的各子神经网络进行编译，以得到各子神经网络对应的生成模型文件；

部署模块300，用于将若干子神经网络对应的生成模型文件依次部署于类脑芯片，以通过若干子神经网络逐步对输入数据进行推理，以得到输入数据对应的输出数据。

基于上述深度脉冲神经网络的分布式部署推理方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的深度脉冲神经网络的分布式部署推理方法中的步骤。

基于上述深度脉冲神经网络的分布式部署推理方法，本申请还提供了一种终端设备，如图7所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。

此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。

存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccessMemory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。

此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。