一种人脸活体检测方法、装置以及电子设备

技术领域

本申请涉及计算机软件技术领域，尤其涉及一种人脸活体检测方法、装置以及电子设备。

背景技术

人脸活体检测技术用于判断当前人脸识别的操作者是否为活体用户，进而可以实现对屏幕重放攻击、打印照片攻击、三维建模攻击等非活体攻击进行拦截。

目前，人脸活体检测技术可分为两大类：第一类技术为主动式人脸活体检测技术，这类技术要求用户在进行人脸识别时根据指令，配合完成特定的活体动作，如眨眼、转头、张嘴等，从而活体检测模块可以根据操作者是否准确地完成了活体动作，判定操作者是否是活体；第二类技术为被动式人脸活体检测技术，这类技术不需要用户配合完成活体动作，用户体验较好，但技术难度高，主要依赖输入的单帧图像信息或者其他设备传感器信息进行活体检测。

在现有技术中，对于上述的被动式人脸活体检测技术，通常使用活体与非活体的人脸采集图像对于单一的深度学习模型进行监督式训练，然后使用训练后的模型针对输入的单帧图像进行人脸活体预测。

但是，这种技术方案严重依赖训练数据的人脸非活体攻击种类，同时受限于训练数据不够丰富的客观条件，难以充分提取人脸活体图像特征，从而使得其模型对于人脸活体的特征表达能力不足，进而会降低人脸活体检测结果的准确性。

发明内容

本申请实施例提供一种人脸活体检测方法、装置以及电子设备，用以解决现有技术中的如下技术问题：基于单一的深度学习模型的技术方案难以充分提取人脸活体图像特征，从而使得其模型对于人脸活体的特征表达能力不足，进而会降低人脸活体检测结果的准确性。

为解决上述技术问题，本申请实施例是这样实现的：

本申请实施例提供的一种人脸活体检测方法，包括：

根据人脸采集全局图像，训练第一深度学习模型；以及，

根据从所述人脸采集全局图像中裁剪的人脸区域部分图像，训练第二深度学习模型；

根据训练后的所述第一深度学习模型和所述第二深度学习模型，进行人脸活体检测。

本申请实施例提供的一种人脸活体检测装置，包括：

训练模块，根据人脸采集全局图像，训练第一深度学习模型；以及，

根据从所述人脸采集全局图像中裁剪的人脸区域部分图像，训练第二深度学习模型；

检测模块，根据训练后的所述第一深度学习模型和所述第二深度学习模型，进行人脸活体检测。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：有利于提取更多的人脸活体图像特征，训练后的所述第一深度学习模型和所述第二深度学习模型联合而言，相比于现有技术的模型对于人脸活体的特征表达能力更好，进而有利于提高人脸活体检测结果的准确性，因此，可以部分或全部地解决现有技术中的问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请的方案中包含的模型训练阶段的示例性流程示意图；

图2为本申请的方案中包含活体检测阶段的示例性流程示意图；

图3为本申请实施例提供的一种人脸活体检测方法的流程示意图；

图4为本申请实施例提供一种人脸采集全局图像和人脸区域部分图像的对比示意图；

图5为本申请实施例提供的对应于图3的一种人脸活体检测装置的结构示意图。

具体实施方式

本申请实施例提供一种人脸活体检测方法、装置以及电子设备。

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

本申请的方案中的深度学习模型均是基于神经网络的，为了便于描述，先基于一个示例，结合图1和图2对本申请的方案的核心思想进行阐述：

在该示例下，本申请的方案可以分为模型训练阶段与活体检测阶段；

图1为本申请的方案中包含的模型训练阶段的示例性流程示意图，在模型训练阶段，使用人脸采集图像中的活体与非活体样本(属于训练数据集)训练两种独立的深度学习模型：第一深度学习模型、第二深度学习模型；其中，第一深度学习模型的输入图像是采集的人脸采集全局图像，第二深度学习模型的输入图像可以是在该人脸采集全局图像中裁剪的人脸区域部分图像，第一深度学习模型与第二深度学习模型可以采用不同的深度学习网络结构(也即，模型所基于的神经网络的结构)，不同的网络结构对于不同的图像特征可以具有不同的敏感性；使用活体与非活体训练数据集，基于深度学习方法，对第一深度学习模型和第二深度学习模型训练完毕；

图2为本申请的方案中包含活体检测阶段的示例性流程示意图，在活体检测阶段，采集用户刷脸图像作为该用户的人脸采集全局图像，并输入第一深度学习模型，得到预测得分PA；同时，在该用户刷脸图像上执行人脸检测，根据检测结果从该用户刷脸图像中裁剪出人脸区域部分图像输入第二深度学习模型，得到预测得分PB；然后，比如可以通过将PA+PB的预测得分结果同设定好的阈值(比如，阈值可以为1)进行对比，进行联合决策确定针对该用户刷脸图像的人脸活体检测结果。

基于上面的核心思想，下面对本申请的方案进行详细说明。

图3为本申请实施例提供的一种人脸活体检测方法的流程示意图。从程序角度而言，该流程的执行主体可以是服务器上或者终端上的程序，比如，身份认证程序、电子商务应用等。从设备角度而言，该流程的执行主体包括但不限于可作为服务器或者终端的以下至少一种设备：门禁设备、个人计算机、中型计算机、计算机集群、手机、平板电脑、智能可穿戴设备、车机、销售终端(Point Of Sale，POS)机等。

图3中的流程可以包括以下步骤：

S301：根据人脸采集全局图像，训练第一深度学习模型。

在本申请实施例中，训练第一深度学习模型所使用的人脸采集全局图像可以有多个样本，在这多个样本中，有的样本是活体采集图像，通过对人脸活体进行拍摄而采集得到，可以作为正样本，有的样本是非活体采集图像，通过对诸如人脸图片、人脸模型等非活体进行拍摄而采集得到，可以作为负样本。

在本申请实施例中，第一深度学习模型是分类模型，人脸采集全局图像作为该分类模型的输入，经过模型处理后，至少可以将人脸采集全局图像分类至活体采集图像类别或者非活体采集图像类别。训练第一深度学习模型的目的在于：提高第一深度学习模型的分类准确性。

S302：根据从所述人脸采集全局图像中裁剪的人脸区域部分图像，训练第二深度学习模型。

在本申请实施例中，一般地，人脸采集全局图像除了包含整个人脸区域以外，往往还包含一些无关区域，无关区域比如可以是背景区域、人体除人脸以外的区域等。而人脸区域部分图像可以不包含无关区域，而是只包含至少部分人脸区域，比如，整个人脸区域，或者眼部区域，或者鼻部区域等。第二深度学习模型可以有一个或者多个，每个第二深度学习模型可以分别对应于一类人脸区域。

图4为本申请实施例提供一种人脸采集全局图像和人脸区域部分图像的对比示意图。

在图4中，(a)为人脸采集全局图像，为了便于理解，在(a)中用虚线对人脸区域部分进行了标记，对(a)相应地进行裁剪可以得到如(b)所示的人脸区域部分图像。

另外，在人脸区域部分图像为只包含部分人脸区域的图像的情况下，人脸采集全局图像也可以是包含整个人脸区域且基本不包含无关区域的图像。

在本申请实施例中，训练第二深度学习模型所使用的人脸区域部分图像也可以有多个样本，在这多个样本中，有的样本是活体采集图像，可以作为正样本，有的样本是非活体采集图像，可以作为负样本。

在本申请实施例中，第二深度学习模型也是分类模型，人脸区域部分图像作为该分类模型的输入，经过模型处理后，至少可以将人脸区域部分图像分类至活体采集图像类别或者非活体采集图像类别。训练第二深度学习模型的目的在于：提高第二深度学习模型的分类准确性。

人脸区域部分图像除了可以从人脸采集全局图像裁剪得到以外，也可以不依赖于人脸采集全局图像而专门采集得到的。

在本申请实施例中，第一深度学习模型与第二深度学习模型在被训练前可以是不同的模型，也可以是相同的模型。

本申请对步骤S301和S302的执行顺序并不做限定，可以同时并行执行，也可以先后执行等。

S303：根据训练后的所述第一深度学习模型和所述第二深度学习模型，进行人脸活体检测。

图3中的各步骤的执行主体可以是同一设备或同一程序，也可以是不同设备或不同程序。比如，步骤S301～S303的执行主体均为设备1；又比如，步骤S301～S302的执行主体为设备1，步骤S303的执行主体为设备2；等等。

通过图3的方法，有利于提取更多的人脸活体图像特征，训练后的所述第一深度学习模型和所述第二深度学习模型联合而言，相比于现有技术的模型对于人脸活体的特征表达能力更好，进而有利于提高人脸活体检测结果的准确性，因此，可以部分或全部地解决现有技术中的问题。

基于图3的方法，本申请实施例还提供了该方法的一些具体实施方案，以及扩展方案，下面进行说明。

在本申请实施例中，为了便于实现第一深度学习模型与第二深度学习模型对图像特征的敏感性差异，第一深度学习模型与第二深度学习模型优选地可以采用不同的深度学习网络结构。

两种深度学习模型的网络结构不同具体可以指：这两种深度学习模型的一个或多个网络结构参数不同，其中，网络结构参数比如可以包括：隐变量层数、隐变量层类型、神经元节点数、输入层节点数、输出层节点数等。

当然，对于一些特定的深度学习模型也可能有相应的特定参数。比如，对于目前在图像领域应用广泛的基于卷积神经网络的深度学习模型，卷积单元的卷积核大小也属于这种深度学习模型特定的网络结构参数。

对于本申请的方案，一般地，所述不同的深度学习网络结构的以下至少一种参数不同：隐变量层数、隐变量层类型、神经元节点数、卷积单元的卷积核大小等。

在本申请实施例中，为了提高模型训练效率和模型训练可靠性，可以采用有监督式的训练方式进行模型训练。

例如，在监督式的训练方式下，对于步骤S301，所述人脸采集全局图像具有第一标签，所述第一标签表明其对应的人脸采集全局图像是活体采集图像还是非活体采集图像；

所述根据人脸采集全局图像，训练第一深度学习模型，具体可以包括：将人脸采集全局图像输入第一深度学习模型，所述第一深度学习模型提取所述人脸采集全局图像的特征，并根据提取的特征，预测所述人脸采集全局图像是活体采集图像还是非活体采集图像；根据预测结果和所述人脸采集全局图像的所述第一标签，对所述第一深度学习模型进行调整。一般地，当预测结果与第一标签不符时，对第一深度学习模型进行调整，以使调整后的第一深度学习模型能够重新预测得到与第一标签相符的预测结果。

其中，第一深度学习模型在训练过程中提取的特征优选地可以包括人脸采集全局图像的图像结构性特征，比如，人脸采集全局图像中包含的屏幕照片边缘、人脸畸变等特征。

又例如，类似地，在监督式的训练方式下，对于步骤S302，所述人脸区域部分图像具有第二标签，所述第二标签表明其对应的人脸区域部分图像是活体采集图像还是非活体采集图像；

所述根据从所述人脸采集全局图像中裁剪的人脸区域部分图像，训练第二深度学习模型，具体可以包括：获取从所述人脸采集全局图像中裁剪的人脸区域部分图像；将所述获取的人脸区域部分图像输入第二深度学习模型，所述第二深度学习模型提取所述人脸区域部分图像的特征，并根据提取的特征，预测所述人脸区域部分图像是活体采集图像还是非活体采集图像；根据预测结果和所述人脸区域部分图像的所述第二标签，对所述第二深度学习模型进行调整。一般地，当预测结果与第二标签不符时，对第二深度学习模型进行调整，以使调整后的第二深度学习模型能够重新预测得到与第二标签相符的预测结果。

其中，第二深度学习模型在训练过程中提取的特征优选地可以包括人脸区域部分图像的图像材质性特征，比如，人脸区域部分图像中包含的模糊、纹理、颜色失真等特征。

在上面的两个例子中，第一深度学习模型与第二深度学习模型对不同的图像特征具有不同的敏感性，第一深度学习模型对于图像结构性特征更敏感，第二深度学习模型对于图像材质性特征更敏感。对于人脸图像而言，图像结构性特征是相对全局和概括的特征，图像材质性特征是相对局部和细化的特征。

如此，联合训练后的第一深度学习模型和第二深度学习模型，可以对人脸图像进行更有层次和更丰富的特征提取，进而也可以有利于联合决策得到更准确的人脸活体检测结果。

在本申请实施例中，通过使对应的训练数据集不同和/或对应的深度学习网络结构不同，可能实现第一深度学习模型与第二深度学习模型对不同的图像特征的不同的敏感性。

例如，若第一深度学习模型与第二深度学习模型基于卷积神经网络；第一深度学习模型所基于的卷积神经网络的卷积单元的卷积核可以较大，以便于第一深度学习模型提取人脸采集全局图像的图像结构性特征；相对地，第二深度学习模型所基于的卷积神经网络的卷积单元的卷积核可以较小，以便于第二深度学习模型提取人脸区域部分图像的图像材质性特征。因此，在该例的情况下，第一深度学习模型所基于的卷积神经网络的卷积单元的卷积核大于第二深度学习模型所基于的卷积神经网络的卷积单元的卷积核。

需要说明的是，卷积核大小仅是一种可影响所述敏感性的参数示例，其他的网络结构参数也可能影响所述敏感性。

在本申请实施例中，对于步骤S303，可以通过联合训练后的第一深度学习模型和第二深度学习模型进行决策，进行人脸活体检测。决策的具体方式可以有多种：比如，分别用第一深度学习模型和第二深度学习模型进行单独决策，再综合各单独决策结果以确定最终决策结果；再比如，可以先用第一深度学习模型和第二深度学习模型其中之一进行单独决策，当单独决策结果符合一定条件时，可以直接作为最终决策结果，否则，再结合剩下的另一模型综合地进行决策，得到最终决策结果；等等。

若采用上一段中列举的第一种方式，举例如下：

例如，对于步骤S303，所述根据训练后的所述第一深度学习模型和所述第二深度学习模型，进行人脸活体检测，具体可以包括：获取为进行人脸活体检测采集的人脸采集全局图像(通常即为：用户刷脸图像)；将所述采集的人脸采集全局图像输入训练后的所述第一深度学习模型进行处理，得到对应的第一预测数据；以及，获取从所述采集的人脸采集全局图像中裁剪的人脸区域部分图像，并输入训练后的所述第二深度学习模型进行处理，得到对应的第二预测数据；通过根据所述第一预测数据和所述第二预测数据进行联合决策，得到针对所述用户刷脸图像的人脸活体检测结果。

第一预测数据比如可以是上述的预测得分PA，第二预测数据比如可以是上述的预测得分PB。当然，预测得分只是第一预测数据、第二预测数据的一种表现形式示例，还可以有其他的表现形式，比如，概率值、布尔型值等。

上面为本申请实施例提供的一种人脸活体检测方法，基于同样的发明思路，本申请实施例还提供了对应的装置，如图5所示。

图5为本申请实施例提供的对应于图3的一种人脸活体检测装置的结构示意图，该装置可以位于图3中流程的执行主体上，包括：

训练模块501，根据人脸采集全局图像，训练第一深度学习模型；以及，

根据从所述人脸采集全局图像中裁剪的人脸区域部分图像，训练第二深度学习模型；

检测模块502，根据训练后的所述第一深度学习模型和所述第二深度学习模型，进行人脸活体检测。

可选地，所述第一深度学习模型与所述第二深度学习模型采用不同的深度学习网络结构。

可选地，所述不同的深度学习网络结构的以下至少一种参数不同：隐变量层数、隐变量层类型、神经元节点数、卷积单元的卷积核大小。

可选地，所述人脸采集全局图像具有第一标签，所述第一标签表明其对应的人脸采集全局图像是活体采集图像还是非活体采集图像；

所述训练模块501根据人脸采集全局图像，训练第一深度学习模型，具体包括：

所述训练模块501将人脸采集全局图像输入第一深度学习模型，该第一深度学习模型根据所述人脸采集全局图像的图像结构性特征，预测所述人脸采集全局图像是活体采集图像还是非活体采集图像；

根据预测结果和所述人脸采集全局图像的所述第一标签，对所述第一深度学习模型进行调整。

可选地，所述人脸区域部分图像具有第二标签，所述第二标签表明其对应的人脸区域部分图像是活体采集图像还是非活体采集图像；

所述训练模块501根据从所述人脸采集全局图像中裁剪的人脸区域部分图像，训练第二深度学习模型，具体包括：

所述训练模块501获取从所述人脸采集全局图像中裁剪的人脸区域部分图像；将所述获取的人脸区域部分图像输入第二深度学习模型，该第二深度学习模型根据所述人脸区域部分图像的图像材质性特征，预测所述人脸区域部分图像是活体采集图像还是非活体采集图像；

根据预测结果和所述人脸区域部分图像的所述第二标签，对所述第二深度学习模型进行调整。

可选地，所述第一深度学习模型与所述第二深度学习模型基于卷积神经网络；

所述第一深度学习模型所基于的卷积神经网络的卷积单元的卷积核大于所述第二深度学习模型所基于的卷积神经网络的卷积单元的卷积核，以便于所述第一深度学习模型提取所述人脸采集全局图像的图像结构性特征，以及以便于所述第二深度学习模型提取所述人脸区域部分图像的图像材质性特征。

可选地，所述检测模块502根据训练后的所述第一深度学习模型和所述第二深度学习模型，进行人脸活体检测，具体包括：

所述检测模块502获取为进行人脸活体检测采集的人脸采集全局图像；

将所述采集的人脸采集全局图像输入训练后的所述第一深度学习模型进行处理，得到对应的第一预测数据；以及，

获取从所述采集的人脸采集全局图像中裁剪到人脸区域部分图像，并输入训练后的所述第二深度学习模型进行处理，得到对应的第二预测数据；

通过根据所述第一预测数据和所述第二预测数据进行联合决策，确定针对所述用户刷脸图像的人脸活体检测结果。

基于同样的发明思路，本申请实施例还提供了对应的一种电子设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

根据人脸采集全局图像，训练第一深度学习模型；以及，

根据从所述人脸采集全局图像中裁剪的人脸区域部分图像，训练第二深度学习模型；

根据训练后的所述第一深度学习模型和所述第二深度学习模型，进行人脸活体检测。

基于同样的发明思路，本申请实施例还提供了对应的一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：

根据人脸采集全局图像，训练第一深度学习模型；以及，

根据从所述人脸采集全局图像中裁剪的人脸区域部分图像，训练第二深度学习模型；

根据训练后的所述第一深度学习模型和所述第二深度学习模型，进行人脸活体检测。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、非易失性计算机存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请实施例提供的装置、电子设备、非易失性计算机存储介质与方法是对应的，因此，装置、电子设备、非易失性计算机存储介质也具有与对应方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述对应装置、电子设备、非易失性计算机存储介质的有益技术效果。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。