一种应用于长短时记忆网络压缩的稳定性保持方法及系统

技术领域

本发明属于网络压缩处理技术领域，尤其涉及一种应用于长短时记忆网络压缩的稳定性保持方法及系统。

背景技术

目前，长短时记忆网络(Long short-term memory，LSTM)属于循环神经网络(Recurrent Neural Network，RNN)引入了门结构处理常规RNN难以处理的数据的长、短时依赖问题，被广泛应用于互联手写识别、语音识别、机器翻译、机器人控制、视频游戏与医疗保健等领域。LSTM可以通过如下离散时间h

LSTM经过训练后便可以在应用中使用：由输入数据得到期望的输出数据叫做前向传播过程。其前向传播速度及所占用资源是一个应用上的主要问题，因为许多情况下需要其快速响应或是网络被部署在资源有限的边缘设备上。

针对RNN模型压缩加速的方法一般可以分为三种：基于训练的剪枝方法，采用更紧凑的RNN结构，与基于投影的低秩近似。前两种方法对于已有网络都需要通过消耗大量计算资源的训练生成压缩网络，对于已经部署到边缘设备上的网络并不现实。故目前，在无法进行重训练或是失去训练数据集的环境下，常用POD联合DEIM对RNN进行低秩近似压缩。

POD联合DEIM是基于投影进行低秩压缩的主流方法，但应用在LSTM上时，常常由于DEIM插值生成的额外权重矩阵非酉，令生成的压缩LSTM的隐藏层到隐藏层雅可比大于1，破坏了系统的稳定性，令生成的加速模型在有限的时间步中产生发散的结果。因此，生成的加速模型的稳定性是POD联合DEIM的低秩压缩方法效果的主要因素之一。

综上所述，在针对长短时记忆网络进行基于本征正交分解(Proper OrthogonalDecomposition，以下简称为POD)联合离散经验插值(Discrete EmpiricalInterpolation，以下简称DEIM)的投影压缩过程中，由于DEIM过程会对状态到状态雅可比进行放大，破坏网络的稳定性，由DEIM直接生成的压缩模型存在在有限的时间步内发散的问题。

通过上述分析，现有技术存在的问题及缺陷为：

(1)针对RNN模型压缩加速的方法对于已有网络都需要通过消耗大量计算资源的训练生成压缩网络，对于已经部署到边缘设备上的网络并不现实。

(2)在针对LSTM进行POD联合DEIM的投影压缩过程中，会破坏网络系统稳定性，由DEIM直接生成的压缩模型在有限时间步内存在发散问题。

发明内容

针对现有技术存在的问题，本发明提供了一种应用于长短时记忆网络压缩的稳定性保持方法及系统。

本发明是这样实现的，一种应用于长短时记忆网络压缩的稳定性保持方法，应用于长短时记忆网络压缩的稳定性保持方法包括：通过前向传播迭代求解LSTM的主要工作点，基于主要工作点进行线性部分与新非线性部分的分离，将难以确定的LSTM线性部分分离点问题转化为前向传播迭代求解吸引子不动点问题；将DEIM仅应用在LSTM新非线性部分上，实现压缩网络的稳定性保持。

进一步，应用于长短时记忆网络压缩的稳定性保持方法还包括：

(1)由于正常工作的LSTM的状态输出被sigmoid函数限制在0～1范围内，故确定不动点在0～1之间随机初始化h

(2)确定不动点后，进行在不动点处的线性部分与新非线性部分的分离：

其中，

完成在不动点的线性部分与非线性部分的分离。

(3)POD+DEIM的降阶压缩过程中，POD用于整个模型的状态压缩，将模型从R

进一步，应用于长短时记忆网络压缩的稳定性保持方法包括以下步骤：

步骤一，通过迭代确定模型的主要不动点；

步骤二，基于确定的不动点进行模型的线性部分与非线性部分分离；

步骤三，利用POD和DEIM完成对模型的降阶压缩。

进一步，步骤一中的通过迭代确定模型的主要不动点包括：长短时记忆网络LSTM通过如下离散时间h

f

i

o

h

将非线性差分方程表示为：

h

其中，F(*)表示非线性函数，

当

进一步，步骤二中的基于确定的不动点进行模型的线性部分与非线性部分分离包括：在确定的吸引子不动点将原模型的线性部分与非线性部分分离；经过线性部分分离，生成的新非线性部分在分离点的h

进一步，步骤三中的利用POD和DEIM完成对模型的降阶压缩包括：通过投影将模型参数矩阵从R

本发明的另一目的在于提供一种应用所述的应用于长短时记忆网络压缩的稳定性保持方法的应用于长短时记忆网络压缩的稳定性保持系统，应用于长短时记忆网络压缩的稳定性保持系统包括：

确定不动点模块，用于利用前向传播迭代确定LSTM模型的主要不动点；

线性部分分离模块，用于基于找到的不动点进行模型的线性部分与非线性部分分离；

POD+DEIM模块，用于利用POD和DEIM完成对LSTM模型的降阶压缩。

本发明的另一目的在于提供一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行所述的应用于长短时记忆网络压缩的稳定性保持方法的步骤。

本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行所述的应用于长短时记忆网络压缩的稳定性保持方法的步骤。

本发明的另一目的在于提供一种信息数据处理终端，信息数据处理终端用于实现所述的应用于长短时记忆网络压缩的稳定性保持系统。

结合上述的技术方案和解决的技术问题，本发明所要保护的技术方案所具备的优点及积极效果为：

第一，针对上述现有技术存在的技术问题以及解决该问题的难度，紧密结合本发明的所要保护的技术方案以及研发过程中结果和数据等，详细、深刻地分析本发明技术方案如何解决的技术问题，解决问题之后带来的一些具备创造性的技术效果。具体描述如下：

为了解决POD联合DEIM方法在处理LSTM模型中无法保证生成的加速模型的稳定性的问题，本发明提出了一种基于随机初始化并迭代找到LSTM网络工作时的主要不动点(吸引子)，并基于该不动点分离长短时记忆网络的线性部分与非线性部分，并仅对非线性部分进行DEIM估计，令网络经过DEIM压缩后，h

本发明为LSTM的POD+DEIM压缩提供了一种稳定性保持方案，通过分离主要工作点的线性部分，避免生成的模型在有限时间步内发散；将难以直接计算的模型主要工作点通过迭代找到的吸引子不动点表示，简化了线性部分分离点的选择；找到LSTM的主要工作点并基于该点进行线性化部分分离将DEIM仅应用在LSTM新非线性部分上实现压缩网络的稳定性保持；通过随机初始化并迭代找到吸引子不动点并视为LSTM主要工作点的线性部分分离点确定方法。

第二，把技术方案看做一个整体或者从产品的角度，本发明所要保护的技术方案具备的技术效果和优点，具体描述如下：

本发明的用于长短时记忆网络压缩的稳定性保持方法通过迭代法来找到难以求解的主要不动点，并在主要不动点进行线性部分的分离，将DEIM仅应用在非线性部分上，保证了压缩后的长短时记忆网络在该主要工作点的稳定性。

第三，作为本发明的权利要求的创造性辅助证据，还体现在以下几个重要方面：

本发明的技术方案转化后的预期收益和商业价值为：

本发明可以用于部署在边缘设备上的LSTM加速方案，如自动驾驶，芯片温度管理等领域，通过本发明大量减少LSTM网络参数占用的储存空间，并可以动态地通过牺牲小部分精度调整网络占用的计算资源，为其他重要任务让出计算资源；或是常态时采用压缩后的小网络以节省功耗，在监控到异常数据后切换为高精度网络。本发明提供的稳定性解决方案使上述应用变为可能并更加可靠。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的应用于长短时记忆网络压缩的稳定性保持方法流程图；

图2是本发明实施例提供的应用于长短时记忆网络压缩的稳定性保持方法原理图；

图3是本发明实施例提供的应用于长短时记忆网络压缩的稳定性保持系统的结构图；

图4是本发明实施例提供的不动点示意图；

图5是本发明实施例提供的线性部分分离示意图；

图6是本发明实施例提供的DEIM非线性函数估计示意图；

图7是本发明实施例提供的POD+DEIM模块示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种应用于长短时记忆网络压缩的稳定性保持方法及系统，下面结合附图对本发明作详细的描述。

为了使本领域技术人员充分了解本发明如何具体实现，该部分是对权利要求技术方案进行展开说明的解释说明实施例。

如图1所示，本发明实施例提供的应用于长短时记忆网络压缩的稳定性保持方法包括以下步骤：

S101，通过迭代确定模型的主要不动点；

S102，基于确定的不动点进行模型的线性部分与非线性部分分离；

S103，利用POD和DEIM完成对模型的降阶压缩。

作为优选实施例，如图2所示，本发明实施例提供的应用于长短时记忆网络压缩的稳定性保持方法，具体包括以下步骤：

1.确定不动点模块用于解决难以找到合适线性部分分离点的问题。对于LSTM这类离散时间h

h

其中，F(*)表示非线性函数，

2.线性部分分离模块基于找到的吸引子不动点，在该点将原模型的线性部分与非线性部分分离，如图5所示，经过线性部分分离，生成的新非线性部分在分离点的h

3.POD+DEIM模块通过投影将模型参数矩阵从R

图2为本发明实施例提供的方法的整体流程图。其中，确定不动点模块在0～1之间随机初始化h

得到不动点后进行在该点的线性部分与新非线性部分的分离，基于(2)式的表示：

其中，

完成了在该不动点的线性部分与非线性部分的分离。

本发明中的POD+DEIM模块如图7所示，POD首先用于整个模型的状态压缩，即将模型从R

如图3所示，本发明实施例提供的应用于长短时记忆网络压缩的稳定性保持系统包括确定不动点模块、线性部分分离模块和POD+DEIM模块。

其中，确定不动点模块，用于负责迭代找到模型的主要不动点；线性部分分离模块，用于基于找到的不动点进行模型的线性部分与非线性部分分离；POD+DEIM模块，用于完成对模型的降阶压缩。

为了证明本发明的技术方案的创造性和技术价值，该部分是对权利要求技术方案进行具体产品上或相关技术上的应用实施例。

1.在芯片或自动驾驶上进行功耗管理时，常用到LSTM进行温度预测，可以采用本方法生成的稳定的压缩LSTM对芯片的温度分布进行更快速且占用资源更少的预测，减少了功率预算的时间开销，使用相同的计算资源可以实现更多次的预算。

2.在边缘设备采取LSTM进行识别的语音助手等应用可以采用本发明进行优化，令基于LSTM的语音助手可以部署在计算资源更匮乏的设备上，并改善语音助手的实时性。

本发明实施例在研发或者使用过程中取得了一些积极效果，和现有技术相比的确具备很大的优势，下面内容结合试验过程的数据、图表等进行描述。

实验采用Tensorflow2.0平台搭建并训练了一层大小为1000×1000原网络，使用Numpy模块进行权重提取，模型压缩与压缩模型的前向传播测试，并在气温预测数据集上验证本发明的压缩及稳定性保持效果，在气温预测数据集上，当压缩模型阶数q＝20时，原始POD+DEIM压缩方法生成的LSTM结果发散误差为无穷大，而本发明提出方法保持了稳定性且在较小精度损失(4.0×10

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。