一种在模型训练过程中调整配置参数的方法及装置

技术领域

本说明书一个或多个实施例涉及机器学习技术领域，特别涉及一种在模型训练过程中调整配置参数的方法及装置。

背景技术

目前来说，在通过分布式机器学习系统训练模型时，需要预先对大量参数进行配置。这些参数极大地影响了模型训练的效率以及性能。但是，一旦模型训练的任务开始运行之后，如果发现某些参数不够合理，也无法在训练模型的过程中对这些参数进行调整。

发明内容

为了解决上述技术问题之一，本说明书一个或多个实施例提供一种在模型训练过程中调整配置参数的方法及装置。

根据第一方面，提供一种在模型训练过程中调整配置参数的方法，所述方法应用于分布式机器学习系统中的工作节点，包括：

在模型训练过程中，采集所述工作节点的至少一个节点度量指标以及至少一个系统度量指标；其中，所述节点度量指标为表征所述工作节点当前的训练状态的指标；所述系统度量指标为影响所述系统当前性能的指标；

基于所述节点度量指标确定待调整的第一待调配置参数；

确定所述第一待调配置参数对应的第一调整策略；

按照所述第一调整策略调整所述第一待调配置参数；以及

将所述系统度量指标发送给目标设备，使所述目标设备确定待调整的第二待调配置参数，并确定所述第二待调配置参数对应的第二调整策略；

接收所述目标设备返回的所述第二调整策略；

按照所述第二调整策略调整所述第二待调配置参数。

可选的，所述基于所述节点度量指标确定待调整的第一待调配置参数，包括：

基于所述至少一个节点度量指标中的各个节点度量指标，判断各个节点度量指标各自对应的本地配置参数是否需要调整；

将需要调整的本地配置参数确定为待调整的第一待调配置参数。

可选的，针对任一节点度量指标，通过如下方式判断该节点度量指标对应的本地配置参数是否需要调整：

获取预先针对该节点度量指标的取值而设定的正常取值范围；

若该节点度量指标的取值未落在所述正常取值范围内，则确定该节点度量指标对应的本地配置参数需要调整。

可选的，所述至少一个节点度量指标包括以下任意一项或多项：

所述工作节点的CPU利用率；

所述工作节点的内存利用率；

所述工作节点的网络利用率；

所述工作节点的磁盘利用率；

所述工作节点训练模型计算得到的梯度信噪比；

所述工作节点训练模型计算得到的梯度的方差；以及

所述工作节点训练模型计算得到的损失变化量。

可选的，所述至少一个系统度量指标包括以下任意一项或多项：

所述工作节点对资源的使用率；

所述工作节点的计算性能；

所述工作节点的通信性能；以及

所述工作节点的运行速度。

根据第二方面，提供一种在模型训练过程中调整配置参数的装置，所述装置应用于分布式机器学习系统中的工作节点，包括：

采集模块，用于在模型训练过程中，采集所述工作节点的至少一个节点度量指标以及至少一个系统度量指标；其中，所述节点度量指标为表征所述工作节点当前的训练状态的指标；所述系统度量指标为影响所述系统当前性能的指标；

确定模块，用于基于所述节点度量指标确定待调整的第一待调配置参数；

策略模块，用于确定所述第一待调配置参数对应的第一调整策略；

第一调整模块，用于按照所述第一调整策略调整所述第一待调配置参数；

发送模块，用于将所述系统度量指标发送给目标设备；

接收模块，用于接收所述目标设备返回的所述第二调整策略；

第二调整模块，用于按照所述第二调整策略调整第二待调配置参数。

可选的，所述确定模块被配置用于：

基于所述至少一个节点度量指标中的各个节点度量指标，判断各个节点度量指标各自对应的本地配置参数是否需要调整；

将需要调整的本地配置参数确定为待调整的第一待调配置参数。

可选的，所述节点度量指标包括以下任意一项或多项：

所述工作节点的CPU利用率；

所述工作节点的内存利用率；

所述工作节点的网络利用率；

所述工作节点的磁盘利用率；

所述工作节点训练模型计算得到的梯度信噪比；

所述工作节点训练模型计算得到的梯度的方差；以及

所述工作节点训练模型计算得到的损失变化量。

可选的，所述系统度量指标包括以下任意一项或多项：

所述工作节点对资源的使用率；

所述工作节点的计算性能；

所述工作节点的通信性能；以及

所述工作节点的运行速度。

根据第三方面，提供一种在模型训练过程中调整配置参数的装置，所述装置应用于分布式机器学习系统中，所述系统包括多个工作节点和一个服务节点；所述装置包括多个监控模块，多个通信模块，多个第一调整模块以及一个第二调整模块；其中，在各个所述工作节点上分别部署有一个监控模块、一个通信模块以及一个第一调整模块，在所述服务节点上部署有一个第二调整模块；

其中，针对任一工作节点：

该工作节点上部署的监控模块，用于在模型训练过程中，采集该工作节点的至少一个节点度量指标以及至少一个系统度量指标；并将所述节点度量指标传输给该工作节点上的第一调整模块，以及将所述系统度量指标传输给该工作节点上的通信模块；其中，所述节点度量指标为表征所述工作节点当前的训练状态的指标；所述系统度量指标为影响所述系统当前性能的指标；

该工作节点上部署的通信模块，用于将该工作节点上的监控模块传输的所述系统度量指标发送给所述服务节点上的第二调整模块，接收所述第二调整模块返回的第二调整策略，并将所述第二调整策略传输给该工作节点上的第一调整模块；

该工作节点上部署的第一调整模块，用于基于该工作节点上的监控模块传输的节点度量指标确定待调整的第一待调配置参数，确定所述第一待调配置参数对应的第一调整策略，按照所述第一调整策略调整所述第一待调配置参数，并按照该工作节点上的通信模块传输的所述第二调整策略调整所述第二待调配置参数；

其中，所述第二调整模块，用于接收各个通信模块传输的各个系统度量指标，基于所述各个系统度量指标确定待调整的第二待调配置参数以及第三待调配置参数，分别确定所述第二待调配置参数对应的第二调整策略以及所述第三待调配置参数对应的第三调整策略，将所述第二调整策略返回给所述各个通信模块，并按照所述第三调整策略调整所述第三待调配置参数。

根据第四方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一项所述的方法。

根据第五方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述第一方面中任一项所述的方法。

本说明书的实施例提供的技术方案可以包括以下有益效果：

本说明书的实施例提供的一种在模型训练过程中调整配置参数的方法和装置，通过分布式机器学习系统中的各个工作节点采集各自的节点度量指标以及系统度量指标，由各个工作节点基于各自的节点度量指标，确定各自对应的第一待调配置参数，以及第一待调配置参数对应的第一调整策略，并按照第一调整策略调整第一待调配置参数。由服务节点基于各个工作节点的系统度量指标，确定待调整的第二待调配置参数和第三待调配置参数，并确定第二待调配置参数对应的第二调整策略和第三待调配置参数对应的第三调整策略。由各个工作节点按照第二调整策略调整第二待调配置参数。由服务节点按照第三调整策略调整第三待调配置参数。从而实现了在模型训练过程中，自适应的对配置参数进行调整的目的，提高了模型训练的效率以及性能。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本说明书根据一示例性实施例示出的一种在模型训练过程中调整配置参数的场景示意图；

图2是本说明书根据一示例性实施例示出的一种在模型训练过程中调整配置参数的方法的流程图；

图3是本说明书根据一示例性实施例示出的一种在模型训练过程中调整配置参数的装置框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。

在本说明书中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本说明书和所附权利要求书中所使用的单数形式的“一种”“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

如图1所示，是根据一示例性实施例示出的一种在模型训练过程中调整配置参数的场景示意图，该场景的系统架构为分布式机器学习系统架构。

在图1示出的分布式机器学习系统中，包括一个服务节点和多个工作节点。工作节点可以从服务器获取本地参数，并从本地存储的本地训练集中选取部分训练数据。然后，基于本地参数以及训练数据，得到本地梯度，并将本地梯度上传至服务节点。服务节点接收各个工作节点各自上传的各个本地梯度，并结合各个本地梯度调整模型参数。经过多次迭代上述过程，对模型进行训练。

在本实施例中，每个工作节点上分别部署有一个监控模块、一个通信模块以及一个第一调整模块，服务节点上部署有一个第二调整模块。首先，对于每个工作节点，在模型训练过程中，每隔预设时间段（可以是10分钟，也可以是1小时等），该工作节点上部署的监控模块采集该工作节点的至少一个节点度量指标（节点度量指标为表征该工作节点当前的训练状态的指标）以及至少一个系统度量指标（系统度量指标为影响该分布式机器学习系统当前性能的指标）。并将节点度量指标传输给该工作节点上的第一调整模块，以及将系统度量指标传输给该工作节点上的通信模块。

一方面，该工作节点上的第一调整模块，基于该节点度量指标确定待调整的第一待调配置参数，该第一待调配置参数可以是该工作节点的本地配置参数。然后，确定第一待调配置参数对应的第一调整策略，并按照第一调整策略调整第一待调配置参数。

另一方面，该工作节点上的通信模块，将该监控模块传输的系统度量指标发送给服务节点上的第二调整模块。第二调整模块接收工作节点上的各个通信模块各自传输的各个系统度量指标，基于各个系统度量指标确定待调整的第二待调配置参数，该第二待调配置参数可以是各个工作节点的本地配置参数，也可以是系统配置参数。接着，确定第二待调配置参数对应的第二调整策略，并将第二调整策略相应的返回给各个工作节点的各个通信模块。需要说明的是，各个工作节点的第二调整策略可以相同，也可以不同。各个工作节点的通信模块接收第二调整策略，并将第二调整策略传输至该工作节点的第一调整模块。该工作节点的第一调整模块可以按照第二调整策略调整第二待调配置参数。

再一方面，服务节点上的第二调整模块还可以确定待调整的第三待调配置参数，该第三待调配置参数可以是系统配置参数。确定第三待调配置参数对应的第三调整策略，并按照第三调整策略调整第三待调配置参数。

本实施例提供的一种调整配置参数的方案，通过分布式机器学习系统中的各个工作节点采集各自的节点度量指标以及系统度量指标，由各个工作节点基于各自的节点度量指标，确定各自对应的第一待调配置参数，以及第一待调配置参数对应的第一调整策略，并按照第一调整策略调整第一待调配置参数。由服务节点基于各个工作节点的系统度量指标，确定待调整的第二待调配置参数和第三待调配置参数，并确定第二待调配置参数对应的第二调整策略和第三待调配置参数对应的第三调整策略。由各个工作节点按照第二调整策略调整第二待调配置参数。由服务节点按照第三调整策略调整第三待调配置参数。从而实现了在模型训练过程中，自适应的对配置参数进行调整的目的，提高了模型训练的效率以及性能。

下面将结合具体的实施例对本说明书提供的方案进行详细描述。

如图2所示，图2是根据一示例性实施例示出的一种在模型训练过程中调整配置参数的方法的流程图，该方法可以应用于分布式机器学习系统中的工作节点，该工作节点可以是任何具有计算、处理能力的设备、平台、或服务器。该方法包括以下步骤：

在步骤201中，在模型训练过程中，采集该工作节点的至少一个节点度量指标以及至少一个系统度量指标。

在本实施例中，该工作节点的节点度量指标为表征该工作节点当前的训练状态的指标。该工作节点的系统度量指标为影响该分布式机器学习系统当前性能的指标。

其中，上述至少一个节点度量指标可以包括以下任意一项或多项：该工作节点的CPU利用率；该工作节点的内存利用率；该工作节点的网络利用率；该工作节点的磁盘利用率；该工作节点训练模型计算得到的梯度信噪比；该工作节点训练模型计算得到的梯度的方差；以及该工作节点训练模型计算得到的损失变化量。

其中，上述至少一个系统度量指标可以包括以下任意一项或多项：该工作节点对资源的使用率；该工作节点的计算性能；该工作节点的通信性能；以及该工作节点的运行速度。

在步骤202中，基于上述至少一个节点度量指标确定待调整的第一待调配置参数。

在本实施例中，可以基于上述至少一个节点度量指标中的各个节点度量指标，判断各个节点度量指标各自对应的本地配置参数是否需要调整，将需要调整的本地配置参数确定为待调整的第一待调配置参数。该工作节点的本地配置参数可以是针对该工作节点设置的配置参数，与其它工作节点无关。其中，本地配置参数可以包括但不限于样本批次大小、模型训练学习率、浮点数精度、权重衰减系数等。

在一种实现方式中，具体地，针对任一节点度量指标，可以通过如下方式判断该节点度量指标对应的本地配置参数是否需要调整：获取预先针对该节点度量指标的取值而设定的正常取值范围，若该节点度量指标的取值未落在正常取值范围内，则可以确定该节点度量指标对应的本地配置参数需要调整。其中，节点度量指标对应的本地配置参数可以是影响该节点度量指标的本地配置参数。

例如，该节点度量指标为该工作节点训练模型计算得到的梯度信噪比，预先可以针对该梯度信噪比设定正常取值范围为大于等于m，若采集的梯度信噪比小于m，未落在正常取值范围内，则可以确定梯度信噪比对应的本地配置参数需要调整。梯度信噪比对应的本地配置参数可以是样本批次大小。其中，可以通过如下公式计算梯度信噪比：

其中，B

在另一种实现方式中，还可以通过如下方式判断该节点度量指标对应的本地配置参数是否需要调整：确定该节点度量指标对应的本地配置参数的预设参考值以及实际值，若该预设参考值与该实际值不同，则确定该节点度量指标对应的本地配置参数需要调整。

在步骤203中，确定第一待调配置参数对应的第一调整策略，并按照第一调整策略调整第一待调配置参数。

在本实施例中，可以基于该工作节点的各个节点度量指标，确定各自对应的第一待调配置参数的第一调整策略，该第一调整策略可以是预先针对各个第一待调配置参数设置的。

例如，该节点度量指标为该工作节点的CPU利用率，该节点度量指标对应的第一待调配置参数为数据处理方式。预先可以设定在该CPU利用率未超过预设阈值时，采用普通方式处理数据，在该CPU利用率超过预设阈值时，采用丢弃法（dropout）处理数据。若该CPU利用率实际超过预设阈值，则可以确定相应的第一调整策略为将处理数据的普通方式调整为丢弃法的方式。

在步骤204中，将系统度量指标发送给目标设备，接收目标设备返回的第二调整策略，按照第二调整策略调整第二待调配置参数。

在本实施例中，该工作节点可以将系统度量指标发送给目标设备，该目标设备可以是服务节点，也可以是其它指定的工作节点。该目标设备可以确定待调整的第二待调配置参数，并确定第二待调配置参数对应的第二调整策略。该工作节点返回接收目标设备返回的第二调整策略，按照第二调整策略调整第二待调配置参数。

具体来说，该目标设备可以基于各个工作节点发送的部分系统度量指标，确定待调整的第二待调配置参数。例如，针对任意一个工作节点发送的系统度量指标，获取预先针对该系统度量指标的取值而设定的正常取值范围，若该系统度量指标的取值未落在正常取值范围内，则可以确定该系统度量指标对应的工作节点的本地配置参数需要调整。将该需要调整的本地配置参数作为该工作节点的第二待调配置参数。并将该第二待调配置参数返回给该工作节点。其中，系统度量指标对应的工作节点的本地配置参数可以是影响该系统度量指标的本地配置参数。

另外，该目标设备还可以基于各个工作节点发送的部分系统度量指标，确定待调整的第三待调配置参数。确定第三待调配置参数对应的第三调整策略，并按照第三调整策略调整第三待调配置参数。例如，可以综合各个工作节点的同一种系统度量指标，确定系统整体性能指标，若该系统整体性能指标的取值未落在正常取值范围内，则可以确定该系统整体性能指标对应的系统配置参数需要调整。将该需要调整的系统配置参数作为第三待调配置参数，并按照第三调整策略调整第三待调配置参数。其中，该系统整体性能指标对应的系统配置参数可以是影响该系统整体性能指标的系统配置参数。

对于本实施例，一种具体的应用场景可以为，对于分布式机器学习系统中的每个工作节点，采集该工作节点的CPU利用率作为一个节点度量指标，若该CPU利用率大于预设的CPU利用率，则确定需要调整数据处理方式。并确定数据处理方式由普通方式调整为丢弃（dropout）方式。

采集该工作节点的内存利用率作为一个节点度量指标，若该内存利用率大于预设的内存利用率，则确定需要调整浮点数精度。并确定浮点数精度由双精度浮点数类型调整为单精度浮点数类型。

采集该工作节点的网络利用率作为一个节点度量指标，若该网络利用率大于预设的网络利用率，则确定需要调整数据传输方式。并确定数据传输方式由全量发送数据方式调整为随机丢弃部分数据方式。

采集该工作节点的磁盘利用率作为一个节点度量指标，若该磁盘利用率大于预设的磁盘利用率，则确定需要调整影响IO量的参数。例如，减少输出日志的频率，以降低该工作节点的磁盘利用率。

采集该工作节点训练模型计算得到的梯度信噪比作为一个节点度量指标，若该梯度信噪比大于预设的信噪比，则确定需要调整样本批次大小，并确定增大样本批次大小。

采集该工作节点训练模型计算得到的损失变化量作为一个节点度量指标，若该损失变化量大于预设的损失变化量，则确定需要调整学习速率，并确定增大学习速率。

对于分布式机器学习系统中的每个工作节点，采集该工作节点对资源的使用率作为一个系统度量指标，服务节点综合每个工作节点对资源的使用率，确定系统资源利用率大于预设的资源利用率，则确定需要调整工作节点，并确定增加系统中工作节点的个数。

对于分布式机器学习系统中的每个工作节点，采集该工作节点的计算性能作为一个系统度量指标，服务节点综合每个工作节点的计算性能得到系统整体计算性能，若系统整体计算性能小于预设的计算性能，则确定需要调整任务执行主体，并确定将任务迁移到GPU上。

对于分布式机器学习系统中的每个工作节点，采集该工作节点的通信性能作为一个系统度量指标，服务节点综合每个工作节点的通信性能得到系统整体通信性能，若系统整体通信性能小于预设的通信性能，则确定需要调整系统通信结构，并确定将系统通信结构由树形调整为环形。

对于分布式机器学习系统中的每个工作节点，采集该工作节点的运行速度作为一个系统度量指标，服务节点综合每个工作节点的运行速度，如果工作节点A的运行速度小于预设的运行速度，则确定需要调整工作节点A的样本批次，并确定减小工作节点A的样本批次。

本实施例并不限于上述的应用场景，还可以应用到大宗商品智慧供应链集成服务方面的业务场景或其他场景中。在一个示例中，一种具体的业务场景可以为协同供应链网络带来包括减少运输成本、改善供应商交货执行情况和最大程度降低供应商风险等方面的应用成效。在还一个示例中，一种具体的业务场景可以为整个供应链运营中获得更好的情景智能，减少库存和运营成本，缩短对客户的响应时间。在再一个示例中，一种具体的业务场景可以为提高协同供应链网络中生产计划和工厂调度的准确性，减少定制产品所用零部件的供应链延迟。

本说明书的上述实施例提供的一种在模型训练过程中调整配置参数的方法，通过分布式机器学习系统中的各个工作节点采集各自的节点度量指标以及系统度量指标，由各个工作节点基于各自的节点度量指标，确定各自对应的第一待调配置参数，以及第一待调配置参数对应的第一调整策略，并按照第一调整策略调整第一待调配置参数。由服务节点基于各个工作节点的系统度量指标，确定待调整的第二待调配置参数，并确定第二待调配置参数对应的第二调整策略。由各个工作节点按照第二调整策略调整第二待调配置参数。从而实现了在模型训练过程中，自适应的对配置参数进行调整的目的，提高了模型训练的效率以及性能。

应当注意，尽管在上述图2的实施例中，以特定顺序描述了本说明书实施例的方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。例如，可以先执行步骤203，然后再执行步骤204。也可以先执行步骤204，再执行步骤203，还可以同时执行步骤203和步骤204。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

与前述在模型训练过程中调整配置参数的方法实施例相对应，本说明书还提供了在模型训练过程中调整配置参数的装置的实施例。

如图3所示，图3是本说明书根据一示例性实施例示出的一种在模型训练过程中调整配置参数的装置框图，该装置部署于分布式机器学习系统中的工作节点，该装置可以包括：采集模块301，确定模块302，策略模块303，第一调整模块304，发送模块305，接收模块306和第二调整模块307。

其中，采集模块301，用于在模型训练过程中，采集工作节点的至少一个节点度量指标以及至少一个系统度量指标。其中，该节点度量指标为表征该工作节点当前的训练状态的指标，该系统度量指标为影响该系统当前性能的指标。

确定模块302，用于基于该节点度量指标确定待调整的第一待调配置参数。

策略模块303，用于确定第一待调配置参数对应的第一调整策略。

第一调整模块304，用于按照第一调整策略调整第一待调配置参数。

发送模块305，用于将该系统度量指标发送给目标设备。

接收模块306，用于接收目标设备返回述第二调整策略。

第二调整模块307，用于按照第二调整策略调整第二待调配置参数。

在一些实施方式中，确定模块302被配置用于：基于至少一个节点度量指标中的各个节点度量指标，判断各个节点度量指标各自对应的本地配置参数是否需要调整，将需要调整的本地配置参数确定为待调整的第一待调配置参数。

在另一些实施方式中，节点度量指标可以包括以下任意一项或多项：工作节点的CPU利用率；工作节点的内存利用率；工作节点的网络利用率；工作节点的磁盘利用率；工作节点训练模型计算得到的梯度信噪比；工作节点训练模型计算得到的梯度的方差；以及工作节点训练模型计算得到的损失变化量。

在另一些实施方式中，系统度量指标可以包括以下任意一项或多项：工作节点对资源的使用率；工作节点的计算性能；工作节点的通信性能；以及工作节点的运行速度。

应当理解，上述装置可以预先设置在工作节点中，也可以通过下载等方式而加载到工作节点中。上述装置中的相应模块可以与工作节点中的模块相互配合以实现在模型训练过程中调整配置参数的方案。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书一个或多个实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本领域普通技术人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。其中，软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施方式而已，并不用于限定本申请的保护范围，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。