一种目标图像识别方法和装置

技术领域

本申请涉及图像识别技术领域，尤其涉及一种目标图像识别方法、装置、电子设备及计算机可读存储介质。

背景技术

近年来，随着面部表情识别算法的发展，简单场景下的面部表情识别可以取得很好的效果。在面部表情识别算法中，特征完整性是算法成败的一个极为关键的因素，现有算法过于依赖明显的、完整的图像特征，但是当场景中存在遮挡或者面部位姿过大时，即面部图像特征不完整时，现有算法就会失效。遮挡造成的面部表情识别的困难主要体现在由遮挡所引发的特征缺失、对准误差或者局部混叠等方面。

因此，如何通过丰富特征信息提升复杂场景下的表情识别精度，是亟待解决的技术问题。

发明内容

有鉴于此，本申请实施例提供了一种目标图像识别方法、装置、电子设备及计算机可读存储介质，以解决现有技术在特征缺失等情况下面部表情识别精度不高的问题。

本申请实施例的第一方面，提供了一种目标图像识别方法，包括：

获取目标面部图像；

提取所述目标面部图像中的面部特征，所述面部特征包括1个全局特征和多个局部特征；

将每组所述局部特征分别与所述全局特征融合后，进行注意力学习，以获得对应的增强特征；

基于所述增强特征，获得面部表情分类结果。

本申请实施例的第二方面，提供了一种目标图像识别装置，适用于第一方面所述的面部表情识别方法，包括：

图片获取模块，能够获取目标面部图像；

特征提取模块，能够提取所述目标面部图像中的面部特征，所述面部特征包括1个全局特征和多个局部特征；

注意力学习模块，能够将每组所述局部特征分别与所述全局特征融合后，进行注意力学习，以获得对应的增强特征；

分类识别模块，能够基于所述增强特征，获得面部表情分类结果。

本申请实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现第一方面所述方法的步骤。

本申请实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现第一方面所述方法的步骤。

本申请实施例与现有技术相比存在的有益效果至少包括：本申请实施例获取目标面部图像；提取上述目标面部图像中的面部特征，上述面部特征包括全局特征和局部特征；将每组上述局部特征分别与上述全局特征融合后，进行注意力学习，以获得对应的增强特征；基于上述增强特征，获得面部表情分类结果。本申请实施例的面部表情识别方法基于对面部图像关键点检测对局部特征进行感知并与全局特征进行注意力学习，增强了面部有效区域特征，提升了面部表情识别算法精度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本申请实施例提供的一种目标图像识别方法的流程示意图之一；

图2是本申请实施例提供的一种目标图像识别方法的流程示意图之二；

图3是本申请实施例提供的目标图像识别方法特征提取示意图；

图4是本申请实施例提供的一种目标图像识别方法的流程示意图之三；

图5是本申请实施例提供的目标图像识别方法注意力学习示意图；

图6是本申请实施例提供的一种目标图像识别方法的流程示意图之四；

图7是本申请实施例提供的一种目标图像识别装置的结构示意图；

图8是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

下面将结合附图详细说明根据本申请实施例的一种面部表情识别方法、装置、电子设备和存储介质。

如背景技术所述，面部表情识别是一项分类任务，通过对视觉信息当中面部变化进行建模，从而识别对应情绪。通过这项技术，可以使机器理解情绪变化并根据心理状态做出适当的判断。但是，在常见的情感编码模型中，包括分类和维度模型，面部表情的注释通常会非常嘈杂。

面部表情识别方法最初主要使用人为设计的低维特征，并采用与特征相对应的分类器进行表情识别分类，例如提取离散余弦变换系数作为面部表情特征，然后利用该特征进行表情识别，该方法曾有效提升了面部表情识别的结果。随着机器学习算法在各个领域的研究与应用，其在面部表情识别研究也被广泛采用并取得了一定的成果，例如使用隐马尔科夫模型用于面部表情识别研究，但是该方法的面部表情识别分类效果取决于所提取的表情特征描述算子，抗干扰能力较弱。随着深度学习的卷积神经网络算法不断发展以及该算法在模式识别任务中的优势，使面部表情识别准确率得到了明显提升。例如，将CNN网络应用于面部表情识别，通过设计不同尺寸卷积核的网络架构并提取多层次的面部表情特征，大幅度提高了面部表情识别的准确率；在采用卷积神经网络的算法中，通过提取表情特征后使用SVM进行表情分类并获得表情识别结果等等。同时，也有算法事先对输入图片进行预处理，以便缓解了数据样本量少造成的过拟合问题，较大程度提高了面部表情识别准确率。发明人检索到已公开的面部表情识别算法还包括跨链接的LeNet-5卷积神经网络方法，将网络深卷积层和浅卷积层的特征进行融合，提高了表情分类的效果；以及，在长短期记忆网络中加入自注意力机制，该方法有效提高了面部表情识别的准确率。

上述现有面部表情识别算法均具有解决复杂场景下面部表情识别问题的能力，但是这些算法往往从数据角度出发，通过数据增强算法产生更多的遮挡数据或者大位姿数据，通过这些数据的训练，可以提高算法在这些复杂场景下的表情识别效果，因此这些算法依赖于数据的质量和数量。那么如何从面部表情识别算法使用的模型网络角度出发，使得模型网络能够去学习提取更加鲁棒的面部特征，进而提升了面部表情识别效果，是本申请实施例所解决的技术问题。

需要说明的是，通常的面部表情识别包括三个主要步骤，即面部检测、特征提取和面部表情分类识别。在准确检测到人的面部的前提下，特征提取是面部表情识别中的关键步骤，也是提取到能够更好地表达面部表情信息的高层语义特征是提高面部表情识别率的关键。

对于特征提取，即指对人面部的器官特征、纹理区域和预定义的特征点进行定位和提取。它是面部表情识别算法中最重要的一个步骤，模型网络最终的面部表情识别准确率往往取决于有效特征的提取。深度学习方法的出现有效的解决了面部表情特征提取问题，可以学习到一些面部图像中更深层次的表情特征，例如利用深度学习的CNN算法进行面部表情特征提取。基于深度学习的表情特征提取方法有直接法、残差法、映射法和复合法等。直接法是用CNN算法直接对输入图像提取高维的特征，然后利用这些高维特征进行面部表情识别；残差法是把面部组成信息分为表情信息和非表情两个部分，分别提取表情组成部分的信息以及非表情信息，将两者作差值比较，获得的差值作为表情特征进行面部表情识别；映射法是因非峰值表情的图更难检测，所以先通过把非峰值映射为峰值的表情，再提取表情特征进行面部表情识别；复合法是采用多种特征结合进行表情识别的方法，例如将面部外表特征和面部关键点的几何特征结合的方法等属于复合法。

对于面部表情识别分类，主要有支持向量机SVM法和基于CNN的分类算法两种。特别是深度学习方法目前成为表情识别技术研究中的主流研究方法。基于深度学习的分类算法简单且高效，结合卷积神经网络的训练过程来说，在CNN中直接将特征提取和表情分类结合在一起，即在深度提取特征网络层后面加一个输出层，使最后的输出神经元的个数与要分类的表情类别相同，再使用Softmax损失函数计算正确标签与预测结果的交叉墒，获得最后的分类结果。深度学习的CNN算法避免了基于传统方法手工提取特征的繁琐，且非常适合在大型数据集中使用CNN算法进行识别分类。

此外，发明人在研究面部表情识别算法时，检索到注意力机制尤其是在自然语言处理与计算机视觉场景当中有着各种各样的注意力机制的实现，这些实现帮助特定的问题找到了合理的解决方案。目前主要有两种注意力机制：一种是通过增强最具有意义的部分来关注数据，以达到增强数据有效部分的影响和削弱数据有害部分的影响的目的；二是尝试利用数据各个方面之间的内部联系来产生更加具有意义的数据表示。目前，适用于计算机视觉领域的注意力机制，主要包括、全局注意力、空间注意力、通道注意力、自注意力和独立注意力架构。面部表情往往由面部的某些重点区域进行表达，如何捕获这些重点区域成为提升算法模型识别性能的关键，注意力机制的引入可以有效地增强算法模型的特征提取能力，使其关注面部的某些重点区域，从而获得更具判别性的特征表示，但现有方法中大多采用单一注意力模块，这可能导致对面部非重点区域的关注，难以捕获不同表情之间所有微妙而复杂的外观变化。

因此，为了解决遮挡和大位姿场景下的表情识别问题，本申请实施例基于局部特征感知提出了一种目标图像识别方法。该方法的技术思路是：首先通过进行局部特征提取，将面部图片按照关键点进行随机裁剪，然后通过卷积神经网络提取不同区域的局部特征，接着再为每个分支的局部特征学习其注意力，然后将增强后的特征进行相加，增强了脸部有效区域的面部特征，提升了表情识别算法精度。

如图1所示，为本申请的一种目标图像识别方法流程图。上述方法包括：

S101：获取目标面部图像。

S102：提取上述目标面部图像中的面部特征，上述面部特征包括1个全局特征和多个局部特征。

S103：将每组上述局部特征分别与上述全局特征融合后，进行注意力学习，以获得对应的增强特征。

S104：基于上述增强特征，获得面部表情分类结果。

具体地，获取目标面部图像即进行面部检测。为了检测出图像中人的面部表情，一般先对数据集图像进行人的面部检测，从而避免网络提取的特征包含过多非表情因素。常用的面部检测算法包括：基于Adaboost的面部检测、基于特征的面部检测和基于深度学习的面部检测。

对于Adaboost面部检测，通常先训练出多个识别性能较好的弱分类器，接着将不同训练集上训练出的弱分类器组合成一个强分类器，再将多个强分类器组合成最后的级联分类器，能快而准确的检测出人的面部。

对于基于特征的面部检测，多数采用面部部位例如嘴巴、眼睛等作为相关特征进行检测，例如脸轮廓、眼睑轮廓等边缘和形状特征都可以映射为几何单元进行面部检测；而且上述目标面部图像含有特定灰度或颜色分布纹理特征可以作为特征进行面部检测。

对于深度学习面部检测，包括经典的卷积神经网络人的面部检测模型有CascadeCNN，MTCNN以及Faceness-Net等。例如，Cascade CNN是一种基于多个分类器级联的人的面部检测方法，在保证召回率的同时，过滤大量非面部特征，其级联网络架构的设计使得拥有更快处理速度、和更高的效率；MTCNN由3个神经网络P-Net、R-Net、O-Net级联组成的网络，不仅性能更好，还可以对输入图像进行实时的精准面部检测以及面部对齐。

应当理解的是，上述面部检测算法仅为一些具体实施例。凡是能够实现对人的面部检测的算法，都可用来对目标面部图像中的人的面部进行检测，以便为后续的特征提取和面部表情识别分类提供目标面部图像数据集。因此，凡是能够输出人的面部检测结果的方法，都在本申请实施例的保护范围内。

在一些实施例中，上述局部特征包括关键点特征。需要说明的是，关键点特征提取是计算机视觉领域中的一个重要技术，它可以从图像或视频中提取出关键点的位置和特征，用于图像识别、目标跟踪、三维重建等应用。本文将介绍关键点特征提取的原理、方法和应用。关键点特征提取的原理是基于图像的局部特征，即在图像中找到一些具有独特性、稳定性和可重复性的局部区域，称为关键点。这些关键点可以是角点、边缘、斑点等，它们在不同的图像中具有相同的特征，可以用于匹配、识别和跟踪。关键点的特征是通过计算局部图像的梯度、方向、尺度等信息得到的，常用的方法有SIFT、SURF、ORB等。这些方法都是基于图像的局部特征进行描述和匹配的，可以在不同的图像中找到相同的关键点，从而实现图像的匹配和识别。

应当理解的是，上述关键点特征提取算法仅为一些具体实施例。凡是能够实现对面部图像提取关键特征，以便为后续的特征增强和面部表情识别分类提供初步特征输入的关键点提取算法，都在本申请实施例的保护范围内。

在一些实施例中，提取上述目标面部图像中的面部特征的过程，如图2所示，包括：

S211：提取上述目标面部图像中的多个关键点。

S212：依据每个上述关键点，对上述目标面部图像进行随机剪裁，获得关键点图像。

S213：分别输入上述目标面部图像和上述关键点图像至相同参数的卷积神经网络，以获得对应的1个上述全局特征和多个上述局部特征。

具体地，利用卷积神经网络处理输入图像，可以生成深层特征图，再利用含各种算法完成区域生成与损失计算，这部分卷积神经网络数整个算法的骨架即Backbone，其作用就是提取图片中的信息，供后面的网络使用。这些Backbone网络在分类等问题上具有很强的特征提取能力。在用这些网络作为backbone的时候，可以直接加载已经训练好的模型参数，再续在衔接自定义网络结构，而整个模型可以对Backbone和自定义网络这两个部分同时进行训练，只需在训练过程中，对Backbone进行微调使得其更适合于自定义模型任务。典型的卷积神经网络通常包含三种基本操作，即卷积、池化和全连接，通过对图像不断地进行卷积和池化运算，在保留面部重要信息的情况下，提取出不同尺度的抽象特征。

需要说明的是，上述局部特征和全局特征输入至相同参数的卷积神经网络的目的是使得经过该Backbone提取获得的局部特征还是全局特征，具有相同参数的卷积神经网络在对局部特征或全局特征进行特征提取时的效果要明显优于全连接网络。

在一些实施例中，在输入至上述卷积神经网络之前，调整上述关键点图像与上述目标面部图像具有相同的图像尺寸。

具体地，由于图像尺寸、分辨率等因素对卷积神经网络的计算性能有影响，本实施例中可以将关键点图像的尺寸调整至与目标面部图像相同的图像尺寸，以便使卷积神经网络在提取全局特征和局部特征时，表现出相同的计算性能。

如图3所示，假定对输入的人的面部原始图像提取关键点，然后对关键点进行图像裁剪，裁剪后将关键点图像尺寸调整至与人的面部原始图像相同的大小后，输入至指定Backbone的卷积神经网络中，分别输出关键点特征和全局特征，其中关键点特征即为局部特征。

在一些实施例中，将每组上述局部特征分别与上述全局特征融合后，进行注意力学习，以获得对应的增强特征的过程，如图4所示，包括：

S411：将每组上述局部特征分别与上述全局特征进行通道拼接，获得对应的通道拼接特征。

S412：将上述通道拼接特征输入至注意力学习单元，获得对应的注意力图特征。

S413：将上述通道拼接特征与上述注意力图特征相乘，获得对应的上述增强特征。

在一些实施例中，上述注意力学习单元依次包括全局平均池化层、全连接层和Sigmoid层。

具体地，如图5所示，以经过提取关键点特征和全局特征为例进行说明。假定第一关键点特征和第二关键点特征均为经过特征提取后，获得的局部特征，即图中的局部特征分支。首先，将第一关键点特征与全局特征进行通道拼接。需要说明的是上述通道拼接是指特征尺寸大小相同，在通道数上扩展,拼接结果为特征尺寸不变，通道数相加。然后，对通道拼接后获得的通道拼接特征进行注意力学习。本申请实施例的一种实现方式中，注意力学习单元依次包括平均池化层、全连接层和Sigmoid层，其中Sigmoid层即是卷积神经网络的神经元非线性作用函数。经过注意力学习单元后即获得了增强的注意力图特征。接着，将注意力图特征与通道拼接特征进行相乘，即采用点积注意力权重计算方式。同样地，第二关键点特征也执行上述步骤后，将两个相乘后的两个局部特征分支的特征进行相加。

在一些实施例中，基于上述增强特征，获得面部表情分类结果的过程，如图6所示，包括：

S611：将多组上述增强特征相加，获得融合特征。

S612：输入上述融合特征至分类识别单元，获得面部表情分类结果。

在一些实施例中，上述分类识别单元包括全连接层和分类层。

具体地，全连接层分类是深度学习中常用的一种分类方法。全连接层分类可以用于诸如图像分类、自然语言处理、语音识别等领域。其中，全连接层是神经网络中的一种重要层次。它是由一个节点集合组成的图形结构，其中每个节点与前一层中的每个节点都有连接。在深度学习中，全连接层的作用是将前一层的所有节点的输出连接到当前层的所有节点上，从而得到当前层的输出。全连接层的原理是在每个节点之间建立连接，然后对所有输入数据进行加权和操作，最后通过激活函数进行输出。这些输出向下传递到下一层，最终输出层可以输出一个分布式表示，用于对输入样本进行分类。在深度学习中，全连接层往往用于最后一个卷积层与分类器之间。这也是为什么全连接层的输出可以作为最终分类器输出的原因。另外，全连接层中的每个节点可以表示不同的特征，这些特征经过权重调节和逐层变换后最终被融合到整体中，从而使分类更加准确。

本申请实施例获取目标面部图像；提取上述目标面部图像中的面部特征，上述面部特征包括全局特征和局部特征；将每组上述局部特征分别与上述全局特征融合后，进行注意力学习，以获得对应的增强特征；基于上述增强特征，获得面部表情分类结果。本申请实施例的面部表情识别方法基于对面部图像关键点检测对局部特征进行感知并与全局特征进行注意力学习，增强了面部有效区域特征，提升了面部表情识别算法精度。

上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请系统实施例中未披露的细节，请参照本申请方法实施例。

图7是本申请实施例提供的一种目标图像识别装置的示意图。如图7所示，该目标图像识别装置包括：

图片获取模块701，能够获取目标面部图像。

特征提取模块702，能够提取上述目标面部图像中的面部特征，上述面部特征包括1个全局特征和多个局部特征。

注意力学习模块703，能够将每组上述局部特征分别与上述全局特征融合后，进行注意力学习，以获得对应的增强特征。

分类识别模块704，能够基于上述增强特征，获得面部表情分类结果。

应理解，本说明书实施例的一种面部表情识别装置还可执行图1至图6中面部表情识别装置执行的方法，并实现面部表情识别装置在图1至图6所示实例的功能，在此不再赘述。同时，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

图8是本申请实施例提供的电子设备8的示意图。如图8所示，该实施例的电子设备8包括：处理器801、存储器802以及存储在该存储器802中并且可在处理器801上运行的计算机程序803。处理器801执行计算机程序803时实现上述各个方法实施例中的步骤。或者，处理器801执行计算机程序803时实现上述各装置实施例中各模块/单元的功能。

电子设备8可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备8可以包括但不仅限于处理器801和存储器802。本领域技术人员可以理解，图8仅仅是电子设备8的示例，并不构成对电子设备8的限定，可以包括比图示更多或更少的部件，或者不同的部件。

存储器802可以是电子设备8的内部存储单元，例如，电子设备8的硬盘或内存。存储器802也可以是电子设备8的外部存储设备，例如，电子设备8上配备的插接式硬盘，智能存储卡（Smart MediaCard，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。存储器802还可以既包括电子设备8的内部存储单元也包括外部存储设备。存储器802用于存储计算机程序以及电子设备所需的其它程序和数据。

处理器801可以是中央处理单元（CentralProcessing Unit，CPU），也可以是其它通用处理器、数字信号处理器（Digital SignalProcessor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-ProgrammableGate Array，FPGA）或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器801从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成共享资源访问控制装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：

获取目标面部图像；

提取上述目标面部图像中的面部特征，上述面部特征包括1个全局特征和多个局部特征；

将每组上述局部特征分别与上述全局特征融合后，进行注意力学习，以获得对应的增强特征；

基于上述增强特征，获得面部表情分类结果。

上述如本说明书图1至图6所示实施例揭示的面部表情识别方法可以应用于处理器801中，或者由处理器801实现。处理器801可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以实现或者执行本说明书实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

当然，除了软件实现方式之外，本说明书实施例的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（Read-OnlyMemory，ROM）、随机存取存储器（Random Access Memory，RAM）、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

本说明书实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的便携式电子设备执行时，能够使该便携式电子设备执行图1至图6所示实施例的面部表情识别方法，并具体用于执行以下方法：

获取目标面部图像；

提取上述目标面部图像中的面部特征，上述面部特征包括1个全局特征和多个局部特征；

将每组上述局部特征分别与上述全局特征融合后，进行注意力学习，以获得对应的增强特征；

基于上述增强特征，获得面部表情分类结果。

总之，以上该仅为本说明书的较佳实施例而已，并非用于限定本说明书的保护范围。凡在本说明书的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书的保护范围之内。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、商品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。