模型梯度累加训练方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种模型梯度累加训练方法、装置、电子设备及非易失性可读存储介质。

背景技术

深度学习模型由于能够快速识别文字、图片等信息并进行处理而广泛应用于图像识别、文本识别、语音识别等技术领域。但是，深度学习模型的设计包括大量的参数，需要不断将训练数据输入模型中训练并调整模型参数才能提高模型的识别效果。但是，高精度的深度学习需要消耗大量内存资源、计算资源、带宽资源，模型训练成本高，软硬件需求高，阻碍了深度学习模型的推广与发展。

针对上述问题，现有技术往往采用梯度累加训练的优化训练方法对模型进行训练，多个训练数据进行梯度累积，达到预定次数后统一进行参数更新的方法降低了深度学习模型的训练需求。但是，这种训练方法需要将多个批次大小的数据进行梯度累积，批次大小往往设置较小，导致现有梯度累积训练方法相比传统训练方法训练数据多样性下降，训练出的深度学习模型精度较低。

发明内容

本申请提供了一种模型梯度累加训练方法、装置、电子设备及非易失性可读存储介质。本申请提供的模型梯度累加训练方法中，第二前向计算结果根据一代训练结果和二代训练结果生成，计算结果同时携带了多代训练结果，训练数据的多样性不受批次大小限制，即使是较小的批次大小同样能够确保梯度计算结果的多样性，保障了根据梯度结果调整的深度学习模型的识别精度。

第一方面，本申请提供了一种模型梯度累加训练方法，该方法包括：

将训练数据输入深度学习模型进行迭代训练得到多个迭代训练结果，其中迭代训练结果包括一代训练结果和二代训练结果；

对一代训练结果进行前向计算得到第一前向计算结果；

对第一前向计算结果和二代训练结果进行前向计算得到第二前向计算结果；

对第一前向计算结果和第二前向计算结果进行加权计算得到第一训练梯度值；

根据第一训练梯度值调整深度学习模型，得到第一模型训练结果。

可选的，本申请提供的模型梯度累加训练方法还包括：

根据预先设置的批处理数据大小，对训练数据进行分割得到多个批次训练数据，其中，批次训练数据包括第一批次训练数据和第二批次训练数据；

将第一批次训练数据输入深度学习模型得到一代训练结果；

将第二批次训练数据输入深度学习模型得到二代训练结果。

可选的，本申请提供的模型梯度累加训练方法还包括：

对多个第一训练结果进行前向计算得到多个第一训练结果的均值和第一训练结果的方差。

可选的，本申请提供的模型梯度累加训练方法还包括：

根据预先设置的第一权重对第一前向计算结果和二代训练结果进行加权前向计算，得到第二前向计算结果。

可选的，本申请提供的模型梯度累加训练方法还包括：

对第一前向计算结果进行梯度计算得到第一梯度计算结果；

对第二前向计算结果进行梯度计算得到第二梯度计算结果；

根据预先设置的第二权重对第一梯度计算结果和第二梯度计算结果进行加权计算得到第一训练梯度值。

可选的，本申请提供的模型梯度累加训练方法还包括：

对第一前向计算结果和第二前向计算结果进行规约计算，得到规约计算结果，其中，规约计算结果包括第一前向计算结果和第二前向计算结果；

对规约计算结果和三代训练结果进行前向计算得到第三前向计算结果；

根据预先设置的第三权重对第一前向计算结果、第二前向计算结果和第三前向计算结果进行加权计算得到第二训练梯度值，其中，第一前向计算结果对应的第一权重、第二前向计算结果对应的第二权重和第三前向计算结果对应的第三权重之和小于等于1；

根据第二训练梯度值对深度学习模型进行参数更新得到第二模型训练结果。

可选的，本申请提供的模型梯度累加训练方法还包括：

根据第一训练梯度值对深度学习模型进行反向参数更新，得到第一模型训练结果。

第二方面，本申请还提供一种模型梯度累加训练装置，包括：

迭代训练模块，用于将训练数据输入深度学习模型进行迭代训练得到多个迭代训练结果，其中迭代训练结果包括一代训练结果和二代训练结果；

第一前向计算模块，用于对一代训练结果进行前向计算得到第一前向计算结果；

第二前向计算模块，用于对第一前向计算结果和二代训练结果进行前向计算得到第二前向计算结果；

第一训练梯度计算模块，用于对第一前向计算结果和第二前向计算结果进行加权计算得到第一训练梯度值；

第一模型更新模块，用于根据第一训练梯度值对深度学习模型进行参数更新得到第一模型训练结果。

第三方面，本申请还提供了一种电子设备，该电子设备包括处理器和存储器，存储器存储可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如第一方面的模型梯度累加训练方法的步骤。

第四方面，本申请实施例提供了一种非易失性可读存储介质，可读存储介质上存储程序或指令，程序或指令被处理器执行时实现如第一方面的模型梯度累加训练方法的步骤。

本申请提供的模型梯度累加训练方法中，第二前向计算结果根据一代训练结果和二代训练结果生成，计算结果同时携带了多代训练结果，训练数据的多样性不受批次大小限制，即使是较小的批次大小同样能够确保梯度计算结果的多样性，保障了根据梯度结果调整的深度学习模型的识别精度。

上述说明仅是本申请提供的技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是本申请实施例提供的模型梯度累加训练方法示意图之一；

图2是本申请实施例提供的模型梯度累加训练方法示意图之二；

图3是本申请实施例提供的模型梯度累加训练方法示意图之三；

图4是本申请实施例提供的模型梯度累加训练方法示意图之四；

图5是本申请实施例提供的模型梯度累加训练方法示意图之五；

图6是本申请实施例提供的模型梯度累加训练方法示意图之六；

图7是本申请实施例提供的模型梯度累加训练方法示意图之七；

图8是本申请实施例提供的模型梯度累加训练装置示意图；

图9是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

目前的深度学习模型在结构设计上一般会包含batchnorm层，在每步训练前向计算过程中batchnorm层会将batchsize个输入数据进行归一化计算。在这种梯度累加计算方法中，batchnorm层获取的数据样本信息多样性对模型训练精度和泛化能力的提升起到至关重要的作用。这种梯度累加训练方法虽然通过N步梯度累加整体将batchsize增大了N倍,但是每步训练前向计算中batchnorm层的计算获取的仍然是该batchsize个数据的样本信息，这和实际N*batchsize个数据直接进行一步训练中batchnorm层直接获取N*batchsize个数据相比，获取的数据多样性不足，同时目前的梯度累加训练中都未考虑不同迭代步下样本之间的关系，导致模型的训练精度受影响。

本申请提供的模型梯度累加训练方法则是当在计算资源有限的计算硬件平台上训练具有大量参数和计算量的深度学习模型时，在每一步前向计算batchnorm层的计算中，对该步和上一步的数据样本均值及方差做规约计算，规约结果输出到batchnorm下一步计算中，这种方法保证了在内存、计算、带宽资源有限的设备中训练大规模参数模型时，当batchsize设置比较小时，每一步迭代计算都可获取到足够多的样本信息，在节省内存、计算、带宽资源的同时可保证模型的精度，该方法实现了和batchsize为N*BS个输入数据直接训练相同的训练效果。由于本申请模型梯度累加训练方法只需要用较小的batchsize实现与较大batchsize相同的训练效果，例如训练精度与训练速度，在得到较高训练模型精度的同时节省了计算资源，同时可保证较快的训练速度。该方法应用于自然语言处理领域大模型的训练，可帮助用户解决在硬件资源有限的情况下训练大模型困难的问题，节省用户模型训练成本。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的模型梯度累加训练方法进行详细地说明。

本申请的第一实施方式涉及一种模型梯度累加训练方法，服务器连有电源供应器，电源供应器用于向服务器供电且部分为待机状态，如图1所示，包括：

步骤101、将训练数据输入深度学习模型进行迭代训练得到多个迭代训练结果，其中迭代训练结果包括一代训练结果和二代训练结果；

步骤102、对一代训练结果进行前向计算得到第一前向计算结果；

步骤103、对第一前向计算结果和二代训练结果进行前向计算得到第二前向计算结果；

步骤104、对第一前向计算结果和第二前向计算结果进行加权计算得到第一训练梯度值；

步骤105、根据第一训练梯度值调整深度学习模型，得到第一模型训练结果。

具体的，本申请提供的模型梯度累加训练方法能够将训练数据输入深度学习模型中进行迭代计算，并根据得到的多个迭代结果整体对深度学习模型进行参数调整，实现深度学习模型的梯度累加训练效果。首先，将训练数据输入深度学习模型中输入深度学习模型中进行迭代计算，得到的多个迭代训练结果，对于其中任意一代训练结果，例如一代训练结果进行前向计算得到第一前向计算结果，随后根据该代训练结果后的一代，例如二代训练结果和一代训练结果进行前向计算后得到的第一前向计算结果进行前向计算，得到的人前向计算结果。此时，第二前向计算结果同时携带有一代训练结果和二代训练结果的关键数据，在根据第二前向计算结果获取第一训练梯度时能够同时表征一代和二代的训练结果，例如通过加权求和的方式由第一前向计算结果和第二前向计算结果得到第一训练梯度值。最后，根据第一训练梯度值对深度学习模型中的相关参数进行调节，实现深度学习模型训练后数据识别提升的效果。

由于本申请提供的模型梯度累加训练方法中，第二前向计算结果根据一代训练结果和二代训练结果生成，计算结果同时携带了多代训练结果，训练数据的多样性不受批次大小限制，即使是较小的批次大小同样能够确保梯度计算结果的多样性，保障了根据梯度结果调整的深度学习模型的识别精度。

在上述实施方式的基础上，如图2所示，本申请提供的模型梯度累加训练方法中，步骤101包括：

步骤111、根据预先设置的批处理数据大小，对训练数据进行分割得到多个批次训练数据，其中，批次训练数据包括第一批次训练数据和第二批次训练数据；

步骤112、将第一批次训练数据输入深度学习模型得到一代训练结果；

步骤113、将第二批次训练数据输入深度学习模型得到二代训练结果。

具体的，本申请提供的模型梯度累加训练方法中预先设置有梯度累积步数(accumulation steps)和批处理数据大小(batchsize，BS)。当需要进行深度学习模型的迭代计算时，首先根据BS的数据大小将用于进行模型训练的训练数据，例如文本数据进行分割处理，得到多个批次训练数据，其中，每一次将一个批次训练数据输入深度学习模型得到一代训练结果，例如将第一批次训练数据输入深度学习模型得到一代训练结果。此外，每当迭代训练的次数到达梯度累积步数时，停止迭代训练并根据之前获取的多个训练结果进行深度学习模型的参数更新。举例来说，梯度累积步数为N，每一步将与批处理数据大小相同的训练数据输入深度学习模型中得到一代训练结果，当输入的次数达到N次时，将这N次得到的多代训练结果进行数据处理，并根据数据处理结果进行深度学习模型的更新。

在上述实施方式的基础上，由于本申请提供的模型梯度累加训练方法能够根据预先设置的批处理数据大小和梯度累积步数进行梯度累加训练，深度学习模型单次参数更新不需要进行大量数据运算动作，避免了深度学习模型内存被长期占用的问题，提高了深度学习模型的训练效率。

在上述实施方式的基础上，如图3所示，本申请提供的模型梯度累加训练方法中，步骤102包括：

步骤121、对多个第一训练结果进行前向计算得到多个第一训练结果的均值和第一训练结果的方差。

具体的，本申请提供的模型梯度累加训练方法中，前向计算主要包括对训练结果进行均值计算和方差计算。举例来说，可以通过模型中batchnrom层进行前向计算，将该代的多个训练数据得到的训练结果，例如第一代的文本数据进行求均值处理和求方差处理，得到第一训练结果的均值和第一训练结果的方差。

在上述实施方式的基础上，如图4所示，本申请提供的模型梯度累加训练方法中，步骤103包括：

步骤131、根据预先设置的第一权重对第一前向计算结果和二代训练结果进行加权前向计算，得到第二前向计算结果。

具体的，本申请提供的模型梯度累加训练方法中，第二前向计算不仅需要对二代训练结果进行处理，还需要对上一代训练结果，例如一代训练结果进行数据处理。举例来说，可以通过模型中batchnrom层进行前向计算，将该代的多个训练数据得到的训练结果，例如第一代的文本数据进行求均值处理和求方差处理，得到第一训练结果的均值和第一训练结果的方差，作为第一前向计算结果。随后，将第一训练结果的均值和第一训练结果的方差保留，再将与BS大小相同的训练数据输入到深度学习模型中，得到第二训练结果，并根据第一训练结果的均值、第一训练结果的方差和第二训练结果的均值、第二训练结果的方差，按照预先设置的第一权重进行计算得到第二前向计算结果。

其中，batchnrom层的计算可以采用但不限于如下公式1-4所示的方式进行处理：

式中x

在一个梯度累积步数N内，每一代的前向计算结果均考虑上一代前向计算得到的均值和方差，保证了每步前向计算中获取到样本信息的多样性。

具体的，在第n步训练计算中，除了计算该步BS个输入数据的均值和方差信息，同步统计前n-1计算所得的均值和方差信息，这样保证了每一步计算中获取到的样本信息的多样性，同时，为不同的样本信息分配不同的权重值，权重值灵活可调，在模型训练过程中通过调节权重值来控制不同迭代步下的样本信息对模型训练精度的影响，进而可得到最优精度值。

此外，在对前n-1的样本信息进行规约计算过程中，获取到的样本信息都是前n-1步已计算得到的值，所以该步不会增加额外的计算和内存消耗。

在上述实施方式的基础上，如图5所示，本申请提供的模型梯度累加训练方法中，步骤104包括：

步骤141、对第一前向计算结果进行梯度计算得到第一梯度计算结果；

步骤142、对第二前向计算结果进行梯度计算得到第二梯度计算结果；

步骤143、根据预先设置的第二权重对第一梯度计算结果和第二梯度计算结果进行加权计算得到第一训练梯度值。

具体的，本申请提供的模型梯度累加训练方法中，在一个梯度累积步数N内所有代前向计算结果均获取的前提下，还能够对这些前向计算结果进行梯度计算，得到各自的梯度值，并根据各代梯度计算结果对应的第二权重进行加权计算得到第一训练梯度值，供后续根据第一训练梯度值进行深度学习模型的参数更新。

举例来说，可以采用如式5所示的方式进行梯度值的计算：

ΔGn′＝ω

式中ΔGn为第n步的梯度值，将第n步训练的梯度值与前n-1步的梯度值进行加权累加计算得到新的梯度值ΔGn′，即为最后累加的加权总梯度值或第一训练梯度值。式中ω

在上述实施方式的基础上，如图6所示，本申请提供的模型梯度累加训练方法中，步骤103之后，还包括：

步骤106、对第一前向计算结果和第二前向计算结果进行规约计算，得到规约计算结果，其中，规约计算结果包括第一前向计算结果和第二前向计算结果；

步骤107、对规约计算结果和三代训练结果进行前向计算得到第三前向计算结果；

步骤108、根据预先设置的第三权重对第一前向计算结果、第二前向计算结果和第三前向计算结果进行加权计算得到第二训练梯度值，其中，第一前向计算结果对应的第一权重、第二前向计算结果对应的第二权重和第三前向计算结果对应的第三权重之和小于等于1；

步骤109、根据第二训练梯度值对深度学习模型进行参数更新得到第二模型训练结果。

具体的，本申请提供的模型梯度累加训练方法中，每一步的前向计算还可以将之前所有代的前向计算结果进行汇总。每代在前向batchnorm层计算时除了获取该代BS个数据的样本信息，例如样本的均值和样本的方差，还可获取前n-1代的样本信息，保证了每代前向计算中获取到样本信息的多样性。

举例来说，模型的batchnrom层除了获取并计算第n步BS个文本数据的均值和方差，同时还会累积前面n-1步BS个数据的均值和方差，将前n-1步获取的(n-1)*batchsize个数据的均值方差进行规约计算，规约结果输出到第n步的batchnorm层的下一步计算中，得到第n步的前向计算结果。

并且，在进行梯度值计算时，每一步的梯度值计算同样可以考虑将该步的梯度值与前面所有步数的梯度值根据第三权重进行加权求和，得到该步的梯度值，最终整个梯度累积步数的第二训练梯度值为所有步数梯度值加权累加得到的结果。

即，本申请提供的模型梯度累加训练方法中，在一个梯度累积步数内，每一小步的前向计算与梯度值计算，可以仅根据该小步的训练结果与前一小步的训练结果进行梯度值获取，也可以将该小步的训练结果和该小步前所有小步的训练结果进行加权累加，每一小步的梯度值均携带了之前所有小步训练结果的关键信息，在训练硬件设备内存资源、计算资源、带宽资源有限的设备中进行大模型训练时，可以通过1倍batchsize设置设置得到现有技术N倍batchsize设置训练相同的训练效果。

需要强调的是，本实施方式中提及的第三权重和上述实施方式中提及的第一权重、第二权重均可根据用户需求进行调整，第一权重、第二权重、第三权重可以一致，也可以存在差别，本申请不作限制。

当第一权重、第二权重和第三权重一致时，可以确保多次数据处理获取到的样本信息的一致性，进而可保证模型训练的稳定性和收敛性。

在上述实施方式的基础上，如图7所示，本申请提供的模型梯度累加训练方法中，步骤105包括：

步骤151、根据第一训练梯度值对深度学习模型进行反向参数更新，得到第一模型训练结果。

具体的，在得到第一训练梯度值后，对深度学习模型进行反向参数更新，实现一个梯度累积步数内的训练与上年度学习模型的更新。

本申请提供的模型梯度累加训练方法，通过梯度累加训练优化实现了在内存资源、计算资源、带宽资源有限的设备中快速训练大模型，解决了传统模型梯度累加训练方法中由于batchsize较小每步迭代获取到的样本信息不足导致的模型训练精度受影响的问题，同时本申请提供的模型梯度累加训练方法没有增加额外的内存、计算及带宽资源消耗，在训练硬件设备内存资源、计算资源、带宽资源有限的设备中进行大模型训练时，本发明提出的优化方法可得到与N倍batchsize设置训练相同的训练效果。

并且，在一个梯度累积步数内，前几步的计算过程中，由于没有进行反向参数更新，减少了内存资源、计算资源、带宽资源的消耗，减少了大规模参数的通信时间，提高模型的训练速度。

本申请的第二实施方式涉及一种模型梯度累加训练装置，如图8所示，包括：

迭代训练模块201，用于将训练数据输入深度学习模型进行迭代训练得到多个迭代训练结果，其中迭代训练结果包括一代训练结果和二代训练结果；

第一前向计算模块202，用于对一代训练结果进行前向计算得到第一前向计算结果；

第二前向计算模块203，用于对第一前向计算结果和二代训练结果进行前向计算得到第二前向计算结果；

第一训练梯度计算模块204，用于对第一前向计算结果和第二前向计算结果进行加权计算得到第一训练梯度值；

第一模型更新模块205，用于根据第一训练梯度值对深度学习模型进行参数更新得到第一模型训练结果。

在上述实施方式的基础上，本申请提供的模型梯度累加训练装置中，迭代训练模块201包括：

分割处理单元211，用于根据预先设置的批处理数据大小，对训练数据进行分割得到多个批次训练数据，其中，批次训练数据包括第一批次训练数据和第二批次训练数据；

一代训练单元212，用于将第一批次训练数据输入深度学习模型得到一代训练结果；

二代训练单元213，用于将第二批次训练数据输入深度学习模型得到二代训练结果。

在上述实施方式的基础上，本申请提供的模型梯度累加训练装置中，第一前向计算模块202包括：

方差计算单元221，用于对多个第一训练结果进行前向计算得到多个第一训练结果的均值和第一训练结果的方差。

在上述实施方式的基础上，本申请提供的模型梯度累加训练装置中，第二前向计算模块203包括：

第一加权计算单元231，用于根据预先设置的第一权重对第一前向计算结果和二代训练结果进行加权前向计算，得到第二前向计算结果。

在上述实施方式的基础上，本申请提供的模型梯度累加训练装置中，第一训练梯度计算模块204包括：

第一梯度计算单元241，用于对第一前向计算结果进行梯度计算得到第一梯度计算结果；

第二梯度计算单元242，用于对第二前向计算结果进行梯度计算得到第二梯度计算结果；

第二加权计算单元243，用于根据预先设置的第二权重对第一梯度计算结果和第二梯度计算结果进行加权计算得到第一训练梯度值。

在上述实施方式的基础上，本申请提供的模型梯度累加训练装置中，还包括：

规约计算模块206，用于对第一前向计算结果和第二前向计算结果进行规约计算，得到规约计算结果，其中，规约计算结果包括第一前向计算结果和第二前向计算结果；

第三前向计算模块207，用于对规约计算结果和三代训练结果进行前向计算得到第三前向计算结果；

第二训练梯度计算模块208，用于根据预先设置的第三权重对第一前向计算结果、第二前向计算结果和第三前向计算结果进行加权计算得到第二训练梯度值，其中，第一前向计算结果对应的第一权重、第二前向计算结果对应的第二权重和第三前向计算结果对应的第三权重之和小于等于1；

第二模型更新模块209，用于根据第二训练梯度值对深度学习模型进行参数更新得到第二模型训练结果。

在上述实施方式的基础上，本申请提供的模型梯度累加训练装置中，第一模型更新模块205包括：

反向参数更新单元251，用于根据第一训练梯度值对深度学习模型进行反向参数更新，得到第一模型训练结果。

本申请的第三实施方式涉及一种电子设备，如图9所示，包括：

至少一个处理器301；以及，

与所述至少一个处理器301通信连接的存储器302；其中，

所述存储器302存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器301执行，以使所述至少一个处理器301能够实现本申请第一实施方式所述的模型梯度累加训练方法。

其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。

处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。

本申请第四实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现本申请第一实施方式所述的模型梯度累加训练方法。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域技术人员在考虑说明书及实践这里公开的申请后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。