神经网络压缩方法、装置、电子设备及存储介质

技术领域

本申请涉及人工智能领域，更具体的说，是涉及一种神经网络压缩方法、装置、电子设备及存储介质。

背景技术

人工神经网络(artificial neural network，缩写ANN)，简称神经网络(neuralnetwork，缩写NN)或类神经网络，是一种模仿生物神经网络(动物的中枢神经系统，特别是大脑)的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。

神经网络主要由输入层，隐藏层，输出层构成。其中，隐藏层可以是多层，每层隐藏层由多个参数构成，隐藏层可以包括特征计算层和降采样层等，特征计算层用于对输入数据进行特征计算，输出计算后的特征图，降采样层用于对特征图进行降采样，使特征图变小。

随着计算机视觉的发展，对网络性能要求的不断提高，使得神经网络的隐藏层不断增加，导致了神经网络中参数的规模庞大，计算的复杂度高。进而导致了神经网络在计算速度上的降低，不仅难以部署和应用于实时性要求较高的场景，更难以部署和应用于计算能力、存储容量等硬件资源受限的嵌入式设备中。

因此，现有的神经网络存在网络规模大导致难以部署在嵌入式设备中，以及计算复杂度高导致神经网络计算延迟高难以部署在实时性要求较高的场景的问题。

申请内容

本申请的目的是针对上述现有技术存在的缺陷，提供一种神经网络压缩方法，解决了现有的神经网络存在网络规模大导致难以部署在嵌入式设备中，以及计算复杂度高导致神经网络计算延迟高难以部署在实时性要求较高的场景的问题。

本申请的目的是通过以下技术方案来实现的：

第一方面，提供一种神经网络压缩方法，所述方法包括：

获取神经网络中各个网络层的参数，其中，所述神经网络为已训练好的神经网络；

根据所述各个网络层的参数，计算所述各个网络层的自适应剪枝阈值；

根据所述自适应剪枝阈值，将对应网络层的参数进行剪枝，得到剪枝神经网络；

对所述剪枝神经网络进行重训练，得到目标压缩神经网络。

可选的，在所述对所述剪枝神经网络进行重训练之前，所述方法还包括：

将所述剪枝神经网络中的特征计算层与降采样层进行合并，得到合并层，所述合并层以所述降采样层中的步长进行特征计算。

可选的，所述根据所述各个网络层的参数，计算所述各个网络层的自适应剪枝阈值，包括：

根据当前网络层的参数，计算所述当前网络层的参数标准差；

根据所述参数标准差，计算所述当前网络层的自适应剪枝阈值。

可选的，所述根据所述自适应剪枝阈值，将对应网络层的参数进行剪枝，得到剪枝神经网络，包括：

在对当前网络层进行剪枝时，判断当前参数是否小于所述当前网络层的自适应剪枝阈值；

若所述当前参数小于所述当前网络层的自适应剪枝阈值，则对所述当前参数进行剪枝；

将所有网络层进行剪枝后，得到剪枝神经网络。

可选的，所述若所述当前参数小于所述当前网络层的自适应剪枝阈值，则对所述当前参数进行剪枝，包括：

若所述当前参数小于所述当前网络层的自适应剪枝阈值，则将所述当前参数赋值为预设值，通过所述预设值对所述当前参数进行剪枝。

可选的，所述根据所述自适应剪枝阈值，将对应网络层的参数进行剪枝，得到剪枝神经网络，包括：

根据当前网络层的参数，计算所述当前网络层的敏感度；

根据所述敏感度，确定所述当前网络层的裁剪比例；

根据所述自适应剪枝阈值以及所述裁剪比例，对所述当前网络层的参数进行剪枝，得到剪枝神经网络。

可选的，所述根据当前网络层的参数，计算所述当前网络层的敏感度，包括：

计算当前层所有参数的参数和；

根据所述参数和，计算所述当前网络层的敏感度，所述敏感度与所述参数和之间的关系为正相关。

第二方面，本发明实施例还提供一种神经网络压缩装置，所述装置包括：

获取模块，用于获取神经网络中各个网络层的参数，其中，所述神经网络为已训练好的神经网络；

计算模块，用于根据所述各个网络层的参数，计算所述各个网络层的自适应剪枝阈值；

剪枝模块，用于根据所述自适应剪枝阈值，将对应网络层的参数进行剪枝，得到剪枝神经网络；

训练模块，用于对所述剪枝神经网络进行重训练，得到目标压缩神经网络。

第三方面，提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例提供的神经网络压缩方法中的步骤。

第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例提供的神经网络压缩方法中的步骤。

在本发明实施例中，获取神经网络中各个网络层的参数，其中，所述神经网络为已训练好的神经网络；根据所述各个网络层的参数，计算所述各个网络层的自适应剪枝阈值；根据所述自适应剪枝阈值，将对应网络层的参数进行剪枝，得到剪枝神经网络；对所述剪枝神经网络进行重训练，得到目标压缩神经网络。通过各个网络层的参数情况，对各个网络层进行参数剪枝，完成对神经网络的结构压缩，使得神经网络结构规模减小，降低神经网络的计算复杂度，利于神经网络部署在实时性要求较高的场景以及利于小型化的部署在嵌入式设备中。

附图说明

图1为本申请实施例提供的一种神经网络压缩方法流程示意图；

图2为本申请实施例提供的另一种神经网络压缩方法流程示意图；

图3为本申请实施例提供的一种神经网络压缩装置示意图；

图4为本申请实施例提供的另一种神经网络压缩装置示意图；

图5为本申请实施例提供的一种计算模块的结构示意图；

图6为本申请实施例提供的一种剪枝模块的结构示意图；

图7为本申请实施例提供的另一种剪枝模块的结构示意图；

图8为本申请实施例提供的一种第三计算子模块的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参见图1，图1是本发明实施例提供的一种神经网络压缩方法的流程图，如图1所示，神经网络压缩方法包括以下步骤：

101、获取神经网络中各个网络层的参数。

在本发明实施例中，上述神经网络为已训练好的神经网络，可以直接用于前向的推理。

上述神经网络的网络层可以是输入层，隐藏层，输出层，其中，上述的隐藏层可以为多层。

在神经网络中，上述输入层为第一层，用于接受外部输出的待计算数据，上述待计算数据可以是图像数据、语音数据、文本数据等。

上述隐藏层连接于输入层之后，输入层的输出为隐藏层的输入，用于将输入层输出的待计算数据计算为抽象的特征数据。

上述的输出层连接于隐藏层之后，用于对隐藏层输出的特征数据进行分类。

在一种可能的实施例中，上述的输入层与隐藏层可以进行合并，进而可以减小神经网络中网络层的结构。

上述的参数可以是各个网络层权重参数与偏置参数，每个网络层的参数数量与大小可以是不一样的。

102、根据各个网络层的参数，计算各个网络层的自适应剪枝阈值。

在本发明实施例中，可以通过一个网络层的自适应剪枝阈值来判断该个网络层中各个参数是否重要，从而可以对不重要的参数进行剪枝。

进一步的，上述各个网络层的参数包括参数数量以及参数大小，通过各个网络层的参数数量以及参数大小，可以求得各个网络层的参数大小平均值，从而基于该平均值，计算各个网络层的自适应剪枝阈值。

在本发明实施例中，上述的自适应剪枝阈值可以是网络层中参数大小的平均值，上述的自适应剪枝阈值也可以是参数大小基于高斯分布的标准差。

103、根据自适应剪枝阈值，将对应网络层的参数进行剪枝，得到剪枝神经网络。

在本发明实施例中，对于一个网络层，可以判断该个网络层，各个参数的参数大小与对应自适应剪枝阈值的大小，从而判断该个参数是否重要，若是不重要，则进行剪枝，若是重要，则进行保留。

进一步，在对当前网络层进行剪枝时，判断当前参数是否小于当前网络层的自适应剪枝阈值；若当前参数小于当前网络层的自适应剪枝阈值，则对当前参数进行剪枝；将所有网络层进行剪枝后，得到剪枝神经网络。上述当前参数小于当前网络层的自适应剪枝阈值，指的是该个当前参数的参数大小是小于当前网络层的自适应剪枝阈值。

在该个当前网络层中，若当前参数的参数大小是大于该个当前网络层的自适应剪枝阈值的，则可以说明该个当前参数为重要参数，需要进行保留；若当前参数的参数大小是小于该个当前网络层的自适应剪枝阈值的，则可以说明该个当前参数为重要参数，需要进行保留。将不重要参数进行剪枝，重要参数进行保留，则可以得到剪枝神经网络。

在本发明实施例中，上述的剪枝可以是将对应的参数赋值为预设值，通过该预设对当前参数进行剪枝，比如，上述预设值可以是0或空值NULL，当预设值为0时，若当前参数大小是小于当前网络层的自适应剪枝阈值的时候，则将该当前参数赋值为0，由于在特征计算中N*0＝0，从而可以减少数值运算。

在一种可能的实施例中，可以对被剪枝的参数进行剪枝掩膜，在计算到对应的剪枝掩膜时，则可以跳过该剪枝掩膜的计算，进而减少数值运算。上述的剪枝掩膜的掩膜值可以是0。

104、对剪枝神经网络进行重训练，得到目标压缩神经网络。

在本发明实施例中，剪枝神经网络中的重要参数与原来已训练好的神经网络中对应参数是相同的，但由于对不重要参数进行了剪枝，为确保剪枝后的神经网络的准确度，可以对剪枝神经网络中保留下的重要参数进行重训练。

重训练的训练数据集可以与已训练好的神经网络所采用训练数据集相同，或者是已训练好的神经网络所采用数据集的子数据集，或者是重新准备的新数据集。

通过重训练，将剪枝神经网络训练到收敛，从而可以保证剪枝神经网络的准确度，同时，由于剪枝神经网络中不重要参数被剪枝，使得剪枝神经网络的规模减小，结构被压缩，从而得到结构规模更小，计算复杂度更低的神经网络作为目标压缩神经网络。

该目标压缩神经网络可以部署在实时性要求较高的场景以及部署在嵌入式设备中。

在本发明实施例中，获取神经网络中各个网络层的参数，其中，所述神经网络为已训练好的神经网络；根据所述各个网络层的参数，计算所述各个网络层的自适应剪枝阈值；根据所述自适应剪枝阈值，将对应网络层的参数进行剪枝，得到剪枝神经网络；对所述剪枝神经网络进行重训练，得到目标压缩神经网络。通过各个网络层的参数情况，对各个网络层进行参数剪枝，完成对神经网络的结构压缩，使得神经网络结构规模减小，降低神经网络的计算复杂度，利于神经网络部署在实时性要求较高的场景以及利于小型化的部署在嵌入式设备中。

需要说明的是，本申请实施例提供的神经网络压缩方法可以应用于对神经网络进行压缩的设备，例如：计算机、服务器、手机等可以进行神经网络压缩的设备。

可选的，请参见图2，图2是本申请实施例提供的另一种神经网络压缩方法的流程示意图，如图2所示，所述方法包括以下步骤：

201、获取神经网络中各个网络层的参数。

在本发明实施例中，上述神经网络为已训练好的神经网络，可以直接用于前向的推理。

上述神经网络的网络层可以是输入层，隐藏层，输出层，其中，上述的隐藏层可以为多层。

在神经网络中，上述输入层为第一层，用于接受外部输出的待计算数据，上述待计算数据可以是图像数据、语音数据、文本数据等。

上述隐藏层连接于输入层之后，输入层的输出为隐藏层的输入，用于将输入层输出的待计算数据计算为抽象的特征数据。

上述的输出层连接于隐藏层之后，用于对隐藏层输出的特征数据进行分类。

在一种可能的实施例中，上述的输入层与隐藏层可以进行合并，进而可以减小神经网络中网络层的结构。

上述的参数可以是各个网络层权重参数与偏置参数，每个网络层的参数数量与大小可以是不一样的。

202、根据各个网络层的参数，计算各个网络层的自适应剪枝阈值。

在本发明实施例中，可以通过一个网络层的自适应剪枝阈值来判断该个网络层中各个参数是否重要，从而可以对不重要的参数进行剪枝。

进一步的，上述各个网络层的参数包括参数数量以及参数大小，通过各个网络层的参数数量以及参数大小，可以求得各个网络层的参数大小平均值，从而基于该平均值，计算各个网络层的自适应剪枝阈值。

在本发明实施例中，上述的自适应剪枝阈值可以是网络层中参数大小的平均值，上述的自适应剪枝阈值也可以是是参数大小基于高斯分布的标准差。

203、根据自适应剪枝阈值，将对应网络层的参数进行剪枝，得到剪枝神经网络。

在本发明实施例中，对于一个网络层，可以判断该个网络层，各个参数的参数大小与对应自适应剪枝阈值的大小，从而判断该个参数是否重要，若是不重要，则进行剪枝，若是重要，则进行保留。

进一步，在对当前网络层进行剪枝时，判断当前参数是否小于当前网络层的自适应剪枝阈值；若当前参数小于当前网络层的自适应剪枝阈值，则对当前参数进行剪枝；将所有网络层进行剪枝后，得到剪枝神经网络。上述当前参数小于当前网络层的自适应剪枝阈值，指的是该个当前参数的参数大小是小于当前网络层的自适应剪枝阈值。

在该个当前网络层中，若当前参数的参数大小是大于该个当前网络层的自适应剪枝阈值的，则可以说明该个当前参数为重要参数，需要进行保留；若当前参数的参数大小是小于该个网络层的自适应剪枝阈值的，则可以说明该个当前参数为重要参数，需要进行保留。将不重要参数进行剪枝，重要参数进行保留，则可以得到剪枝神经网络。

在一种可能的实施例中，若当前参数的绝对值是大于该个当前网络层的自适应剪枝阈值的，则可以说明该个当前参数为重要参数，需要进行保留；若当前参数的绝对值是小于该个网络层的自适应剪枝阈值的，则可以说明该个当前参数为重要参数，需要进行保留。将不重要参数进行剪枝，重要参数进行保留，则可以得到剪枝神经网络。

在本发明实施例中，上述的剪枝可以是将对应的参数赋值为预设值，通过该预设对当前参数进行剪枝，比如，上述预设值可以是0或空值NULL，当预设值为0时，若当前参数大小是小于当前网络层的自适应剪枝阈值的时候，则将该当前参数赋值为0，由于在特征计算中N*0＝0，从而可以减少数值运算。

在一种可能的实施例中，可以对被剪枝的参数进行剪枝掩膜，在计算到对应的剪枝掩膜时，则可以跳过该剪枝掩膜的计算，进而减少数值运算。上述的剪枝掩膜的掩膜值可以是0。

204、将剪枝神经网络中的特征计算层与降采样层进行合并，得到合并层。

其中，合并层以降采样层中的步长进行特征计算。

在本发明实施例中，上述特征计算层与降采样层为隐藏层中的网络层，其中，上述特征计算层通过权值参数与偏置参数对特征图进行特征计算，上述降采样层对前一层(一般为特征计算层)的特征图进行降维采样，得到维度更低的特征图作为下层网络层的输入。

以卷积神经网络为例，上述特征计算层可以是卷积层，上述降采样层可以是池化层，剪枝神经网络为卷积神经网络的剪枝神经网络。上述将特征计算层与降采样层进行合并可以理解为将卷积层与池化层进行合并，得到合并层。该合并层的参数为卷积层的参数，计算步长为池化层的池化步长。将特征计算层与降采样层，从而进一步减小神经网络的结构规模，另外，由于合并层中卷积的计算步长增大，也进一步减少了剪枝神经网络的计算量。

205、对剪枝神经网络进行重训练，得到目标压缩神经网络。

在本发明实施例中，剪枝神经网络中的重要参数与原来已训练好的神经网络中对应参数是相同的，但由于对不重要参数进行了剪枝，使得剪枝神经网络与已训练好的神经网络在各个网络层的参数上存在差异。另外，由于在步骤204中，对剪枝神经网络中的特征计算层与降采样层进行合并，剪枝神经网络中减少了池化层，使得剪枝神经网络与已训练好的神经网络在网络层结构上存在差异。为确保剪枝后的神经网络的准确度，可以对剪枝神经网络中保留下的重要参数进行重训练。

重训练的训练数据集可以与已训练好的神经网络所采用训练数据集相同，或者是已训练好的神经网络所采用数据集的子数据集，或者是重新准备的新数据集。

通过重训练，将剪枝神经网络训练到收敛，从而可以保证剪枝神经网络的准确度，同时，由于剪枝神经网络中不重要参数被剪枝，特征计算层与降采样层进行合并，使得剪枝神经网络的规模减小，结构被压缩，从而得到结构规模更小，计算复杂度更低的神经网络作为目标压缩神经网络。

该目标压缩神经网络可以部署在实时性要求较高的场景以及部署在嵌入式设备中。

可选的，步骤204为可选的，在一些可能的实施例中，可以在对已训练的神经网络进行剪枝之前，将已训练的神经网络进行特征计算层与降采样层的合并，再对合并后的神经网络进行剪枝。

可选的，在上述图1实施例的步骤102与图2实施例的步骤202中，计算各个网络层的自适应剪枝阈值可以是对各层网络层的参数进行高斯分布建模，得到各层网络的参数的高斯分布，通过高斯公布中的标准差来确定各个网络层的自适应剪枝阈值。具体的，可以如下述式子所示：

其中，T为当前网络层的自适应剪枝阈值，N为当前网络层参数的总个数，i

可选的，在上述图1实施例的步骤103与图2实施例的步骤203中，在通过自适应剪枝阈值将对应网络层的参数进行剪枝时，可以先计算对应网络层的敏感度，结合自适应剪枝阈值与敏感度来进行剪枝。具体的，可以根据当前网络层的参数，计算当前网络层的敏感度；根据当前网络层的敏感度，确定当前网络层的裁剪比例；根据当前网络层的自适应剪枝阈值以及裁剪比例，对当前网络层的参数进行剪枝，得到剪枝神经网络。

其中，上述的敏感度可以当前层所有参数的参数和，通过获取当前层所有参数的参数大小，计算当前层所有参数的参数和。上述敏感度与该参数和之间的关系为正相关，即当前层的参数和越大，则当前层的敏感度越高。具体可如下述式子所示：

其中，S为当前网络层的自适应剪枝阈值，N为当前网络层参数的总个数，i

进一步的，上述的参数和可以当前层所有参数的参数绝对值之和，通过获取当前层所有参数的参数大小，计算当前层所有参数的参数绝对值之和。上述敏感度与该参数绝对值之和的关系为正相关，即当前层的参数绝对值之和越大，则当前层的敏感度越高。具体可如下述式子所示：

其中，S为当前网络层的自适应剪枝阈值，N为当前网络层参数的总个数，|i

通过当前网络层的敏感度，对自适应剪枝阈值进行修正，得到修正后的自适应剪枝阈值，再通过修正后的自适应剪枝阈值来判断当前层中的参数是否为重要参数。上述的修正可以是负相关修正。具体的，可以判断当前网络层的敏感度是否大于预设的敏感度阈值，若当前网络层的敏感度大于预设的敏感度阈值，则对该自适应剪枝阈值进行第一负相关修正，第一负相关修正可以理解为敏感度越大，则将自适应剪枝阈值修正得越小；若当前网络层的敏感度小于预设的敏感度阈值，则对该自适应剪枝阈值进行第二负相关修正，第二负相关修正可以理解为敏感度越小，则将自适应剪枝阈值修正得越大。这样，可以根据各个网络层的敏感程度，对各个网络层进行精确的剪枝，降低剪枝对神经网络精确度的影响，使后续重训练时收敛速度更快。

在一种可能的实施例中，上述自适应剪枝阈值的修正可以如下述式子所示：

其中，上述的T(S)为修正后的自适应剪枝阈值，上述的T为自适应剪枝阈值，上述的f(S)为基于敏感度S的递增函数，上述的g(S)为基于敏感度S的递减函数，上述的a为敏感度阈值。

上述的可选实施方式，可以现实图1和图2对应实施例的神经网络压缩方法，达到相同的效果，在此不再赘述。

第二方面，请参见图3，图3是本申请实施例提供的一种神经网络压缩装置的结构示意图，如图3所示，所述装置包括：

获取模块301，用于获取神经网络中各个网络层的参数，其中，所述神经网络为已训练好的神经网络；

计算模块302，用于根据所述各个网络层的参数，计算所述各个网络层的自适应剪枝阈值；

剪枝模块303，用于根据所述自适应剪枝阈值，将对应网络层的参数进行剪枝，得到剪枝神经网络；

训练模块304，用于对所述剪枝神经网络进行重训练，得到目标压缩神经网络。

可选的，如图4所示，所述装置还包括：

合并模块305，用于将所述剪枝神经网络中的特征计算层与降采样层进行合并，得到合并层，所述合并层以所述降采样层中的步长进行特征计算。

可选的，如图5所示，所述计算模块302，包括：

第一计算子模块3021，用于根据当前网络层的参数，计算所述当前网络层的参数标准差；

第二计算子模块3022，用于根据所述参数标准差，计算所述当前网络层的自适应剪枝阈值。

可选的，如图6所示，所述剪枝模块303，包括：

判断子模块3031，用于在对当前网络层进行剪枝时，判断当前参数是否小于所述当前网络层的自适应剪枝阈值；

第一剪枝子模块3032，用于若所述当前参数小于所述当前网络层的自适应剪枝阈值，则对所述当前参数进行剪枝；

第二剪枝子模块3033，用于将所有网络层进行剪枝后，得到剪枝神经网络。

可选的，所述第一剪枝子模块3032还用于若所述当前参数小于所述当前网络层的自适应剪枝阈值，则将所述当前参数赋值为预设值，通过所述预设值对所述当前参数进行剪枝。

可选的，如图7所示，所述剪枝模块303，还包括：

第三计算子模块3034，用于根据当前网络层的参数，计算所述当前网络层的敏感度；

确定子模块3035，用于根据所述敏感度，确定所述当前网络层的裁剪比例；

第三剪枝子模块3036，用于根据所述自适应剪枝阈值以及所述裁剪比例，对所述当前网络层的参数进行剪枝，得到剪枝神经网络。

可选的，如图8所示，所述第三计算子模块3034，包括：

第一计算单元30341，用于计算当前层所有参数的参数和；

第二计算单元30342，用于根据所述参数和，计算所述当前网络层的敏感度，所述敏感度与所述参数和之间的关系为正相关。

需要说明的是，本申请实施例提供的神经网络压缩装置可以应用于对神经网络进行压缩的设备，例如：计算机、服务器、手机等可以进行神经网络压缩的设备。

本发明实施例提供的神经网络压缩装置能够实现上述方法实施例中神经网络压缩方法实现的各个过程，且可以达到相同的有益效果。为避免重复，这里不再赘述。

第三方面，本申请实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例提供的神经网络压缩方法中的步骤。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例提供的神经网络压缩方法中的步骤。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的

另外，在本申请各个实施例中的处理器、芯片可以集成在一个处理单元中，也可以是单独物理存在，也可以两个或两个以上硬件集成在一个单元中。计算机可读存储介质或计算机可读程序可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。

以上内容是结合具体的优选实施方式对本申请所作的进一步详细说明，不能认定本申请的具体实施方式只局限于这些说明。对于本申请所属技术领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本申请的保护范围。