一种人脸活体检测方法、装置、机器可读介质及设备

技术领域

本发明涉及人脸检测领域，具体涉及一种人脸活体检测方法、装置、机器可读介质及设备。

背景技术

在基于人脸识别的身份验证场景中，为了防止一些欺骗手段，诸如人皮面具、录制的人像视频、打印的人脸图片等等的欺骗攻击，通常采用红外相机采集人脸图像，然后做活体检测。由于强大的特征提取能力，卷积神经网络是做活体检测的有效工具。普通的图像任务，诸如目标识别、目标检测等依赖的是图像的语义特征；而活体检测依赖的更多是网络浅层特征和语义特征的结合。因此图像领域的主流卷积神经网络不适用于活体检测任务。另外一方面，人脸识别系统对活体检测的速度有较高需求，在系统中无法部署重量级模型。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种人脸活体检测方法、装置、机器可读介质及设备，用于解决现有技术存在的问题。

为实现上述目的及其他相关目的，本发明提供一种人脸活体检测方法，包括：

获取待检测的图像；

将待检测的图像输入预先训练好的人脸活体检测模型，得到待检测的图像中检测对象是否为活体的检测结果；其中所述人脸活体检测模型的骨干网以inception block作为基础结构。

可选地，训练得到所述人脸活体检测模型的方法包括：

构建人脸活体检测模型的超参数池，包括多种超参数；所述多种超参数包括block的数量、block内的并联分支数目、分支内的卷积核通道数目、下采样层的位置、图像层的通道数目、是否采用全局平均池化层、全连接层的层数及通道数目；

构建训练策略池，包括多种训练策略；所述多种训练策略包括学习率大小、学习率下降策略，学习率warm-up，数据增强方法；

基于所述超参数池中的超参数以及训练策略池中的训练策略，通过迭代训练得到每一种超参数对应的优选超参数和每一种训练策略对应的优选训练策略；

基于所有所述优选超参数和所有所述优选训练策略以及训练集，确定人脸活体检测模型。

可选地，优选超参数的获得方法包括：

从所述超参数池中选择其中一种超参数作为候选超参数，以及从训练策略池中选择一种训练策略作为初始训练策略；

基于所述候选超参数、所述初始训练策略以及训练集，对待训练的人脸活体检测模型进行迭代训练，直至满足迭代停止条件，每一次训练得到一个训练后的人脸活体检测模型；

基于验证集对每个训练后的人脸活体检测模型进行验证，得到每个训练后的人脸活体检测模型在所述验证集上的验证得分；

根据所述验证得分从所述多个训练后的人脸活体检测模型中确定一个目标人脸活体检测模型；

将所述目标人脸活体检测模型的超参数作为优选超参数。

可选地，优选训练策略的获得方法包括：

从所述超参数池中选择其中一种超参数作为初始超参数，以及从训练策略池中选择一种训练策略作为候选训练策略；

基于所述初始超参数、所述候选训练策略以及训练集，对待训练的人脸活体检测模型进行迭代训练，直至满足迭代停止条件，每一次训练得到一个训练后的人脸活体检测模型；

基于验证集对每个训练后的人脸活体检测模型进行验证，得到每个训练后的人脸活体检测模型在所述验证集上的验证得分；

根据所述验证得分从所述多个训练后的人脸活体检测模型中确定一个目标人脸活体检测模型；

将所述目标人脸活体检测模型对应的训练策略作为优选训练策略。

可选地，训练得到人脸活体检测模型，包括：

以在同样的训练策略下确定的每一种优选超参数组成优选超参数组以及通过优选超参数确定的以每一种优选训练策略构成的优选训练策略组确定训练后的人脸活体检测模型；

改变所述训练策略，重复上述步骤，直至训练后的人脸活体检测模型的性能指标满足设定要求。

为实现上述目的及其他相关目的，本发明提供一种人脸活体检测装置，包括：

图像获取模块，用于获取待检测的图像；

活体检测模型，用于将待检测的图像输入预先训练好的人脸活体检测模型，得到待检测的图像中检测对象是否为活体的检测结果；其中所述人脸活体检测模型的骨干网以inception block作为基础结构。

可选地，通过训练模块训练得到所述人脸活体检测模型，所述训练模块包括：

超参数池构建子模块，用于构建人脸活体检测模型的超参数池，包括多种超参数；所述多种超参数包括block的数量、block内的并联分支数目、分支内的卷积核通道数目、下采样层的位置、图像层的通道数目、是否采用全局平均池化层、全连接层的层数及通道数目；

训练策略池构建子模块，用于构建训练策略池，包括多种训练策略；所述多种训练策略包括学习率大小、学习率下降策略，学习率warm-up，数据增强方法；

迭代训练子模块，用于基于所述超参数池中的超参数以及训练策略池中的训练策略，通过迭代训练得到每一种超参数对应的优选超参数和每一种训练策略对应的优选训练策略；

人脸活体检测模块确定模块，用于基于所有所述优选超参数和所有所述优选训练策略以及训练集，确定人脸活体检测模型。

可选地，所述迭代训练子模块包括：

第一选择单元，用于从所述超参数池中选择其中一种超参数作为候选超参数，以及从训练策略池中选择一种训练策略作为初始训练策略；

第一迭代训练单元，用于基于所述候选超参数、所述初始训练策略以及训练集，对待训练的人脸活体检测模型进行迭代训练，直至满足迭代停止条件，每一次训练得到一个训练后的人脸活体检测模型；

验证单元，用于基于验证集对每个训练后的人脸活体检测模型进行验证，得到每个训练后的人脸活体检测模型在所述验证集上的验证得分；

优选超参数确定单元，用于根据所述验证得分从所述多个训练后的人脸活体检测模型中确定一个目标人脸活体检测模型；将所述目标人脸活体检测模型的超参数作为优选超参数。

可选地，所述迭代训练子模块还包括：

第二选择单元，用于从所述超参数池中选择其中一种超参数作为初始超参数，以及从训练策略池中选择一种训练策略作为候选训练策略；

第二迭代训练单元，用于基于所述初始超参数、所述候选训练策略以及训练集，对待训练的人脸活体检测模型进行迭代训练，直至满足迭代停止条件，每一次训练得到一个训练后的人脸活体检测模型；

第二验证单元，用于基于验证集对每个训练后的人脸活体检测模型进行验证，得到每个训练后的人脸活体检测模型在所述验证集上的验证得分；

优选训练策略确定单元，用于根据所述验证得分从所述多个训练后的人脸活体检测模型中确定一个目标人脸活体检测模型；将所述目标人脸活体检测模型对应的训练策略作为优选训练策略。

可选地，训练得到人脸活体检测模型，包括：

以在同样的训练策略下确定的每一种优选超参数组成优选超参数组以及通过优选超参数确定的以每一种优选训练策略构成的优选训练策略组确定训练后的人脸活体检测模型；

改变所述训练策略，重复上述步骤，直至训练后的人脸活体检测模型的性能指标满足设定要求。

为实现上述目的及其他相关目的，本发明还提供一种设备，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行前述的一个或多个所述的方法。

为实现上述目的及其他相关目的，本发明还提供一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行前述的一个或多个所述的方法。

如上所述，本发明提供的一种人脸活体检测方法、装置、机器可读介质及设备，具有以下有益效果：

本发明的一种人脸活体检测方法，包括：获取待检测的图像；将待检测的图像输入预先训练好的人脸活体检测模型，得到待检测的图像中检测对象是否为活体的检测结果；其中所述人脸活体检测模型的骨干网以inception block作为基础结构。本发明的人脸活体检测模型包含inception结构的卷积神经网络，可以有效提取浅层纹理特征和深层语义特征，使模型具备鉴别欺骗攻击的能力。

附图说明

图1为本发明一实施例中一种人脸活体检测方法的流程图；

图2为本发明一实施例中训练得到人脸活体检测模型方法的流程图；

图3为本发明一实施例中inception结构的示意图；

图4为本发明一实施例中优选超参数的获得方法的流程图；

图5为本发明一实施例中优选训练策略的获得方法的流程图；

图6为本发明一实施例中一种人脸活体检测装置的硬件结构示意图；

图7为本发明一实施例中训练模块的结构示意图；

图8为本发明一实施例中迭代训练子模块的结构示意图；

图9为本发明一实施例中迭代训练子模块的结构示意图；

图10为本发明一实施例中终端设备的硬件结构示意图；

图11为本发明一实施例中终端设备的硬件结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

如图1所示，一种人脸活体检测方法，包括：

S11获取待检测的图像；

S12将待检测的图像输入预先训练好的人脸活体检测模型，得到待检测的图像中检测对象是否为活体的检测结果；其中所述人脸活体检测模型的骨干网以inceptionblock作为基础结构。

本发明的人脸活体检测模型包含inception结构的卷积神经网络，可以有效提取浅层纹理特征和深层语义特征，使模型具备鉴别欺骗攻击的能力。

在一实施例中，在将待检测图像输入至人脸活体检测模型前，需要对待检测图像进行预处理，所述预处理包括：

人脸检测，通过人脸检测算法，得到待检测图像中的人脸，并检测得到人脸关键点，所述人脸关键点至少包括左右眼瞳孔中心。其中，人脸检测算法包括但不限于MTCNN(Multi-task Cascaded Convolutional Networks，MTCNN)、Blaze-Face(一种可检测图像中人脸的轻量级模型)。

人脸对齐，根据检测到的人脸关键点，通过仿射变换得到转正、且缩放成宽高为固定的像素值的人脸切片，例如长宽为128像素大小。

在一实施例中，如图3所示，在图3中，concat为连接，con表示卷积层，W表示卷积核的宽，BatchNormalization表示批归一化，scale表示缩放，mean表示样本的均值，B表示批处理大小，var表示样本的方差，Relu表示残差，Pad可以让输入图像不变小而可以使用更深层的卷积，AveragePool表示平均池化。

具体地，如图2所示，训练得到所述人脸活体检测模型的方法包括：

S21构建人脸活体检测模型的超参数池，包括多种超参数；所述多种超参数包括block的数量、block内的并联分支数目、分支内的卷积核通道数目、下采样层的位置、图像层的通道数目、是否采用全局平均池化层、全连接层的层数及通道数目；其中，block的数量、block内的并联分支数目、分支内的卷积核通道数目、下采样层的位置、图像层的通道数目为人脸活体检测模型中骨干网backbone的超参数；是否采用全局平均池化层、全连接层的层数及通道数目为人脸活体检测模型中头部网head的超参数；

S22构建训练策略池，包括多种训练策略；所述多种训练策略包括学习率大小、学习率下降策略，学习率warm-up，数据增强方法；

其中，学习率调整策略包括学习率大小、学习率下降策略，学习率warm-up；数据增强方法包括不限于随机旋转、随机裁剪、颜色变换。

S23基于所述超参数池中的超参数以及训练策略池中的训练策略，通过迭代训练得到每一种超参数对应的优选超参数和每一种训练策略对应的优选训练策略；

S24基于所有所述优选超参数和所有所述优选训练策略以及训练集，确定人脸活体检测模型。

在一实施例中，如图4所示，优选超参数的获得方法包括：

S41从所述超参数池中选择其中一种超参数作为候选超参数，以及从训练策略池中选择一种训练策略作为初始训练策略；

例如，超参数包括block的数量、block内的并联分支数目、分支内的卷积核通道数目、下采样层的位置、图像层的通道数目；选择block的数量作为候选超参数；同时从训练策略池中选择一个训练策略作为初始训练策略，例如将学习率大小、学习率下降策略作为初始训练策略。在确定优选超参数的过程中，初始训练策略不会发生改变；且除了block的数量这种类型的超参数会发生改变，其他超参数不会发生改变。

S42基于所述候选超参数、所述初始训练策略以及训练集，对待训练的人脸活体检测模型进行迭代训练，直至满足迭代停止条件，每一次训练得到一个训练后的人脸活体检测模型；

其中，迭代停止条件可以是达到最大迭代次数，也可以为训练后的人脸活体检测模型的性能指标满足设定的条件；还可以是两者的结合。

S43基于验证集对每个训练后的人脸活体检测模型进行验证，得到每个训练后的人脸活体检测模型在所述验证集上的验证得分；

S44根据所述验证得分从所述多个训练后的人脸活体检测模型中确定一个目标人脸活体检测模型；将所述目标人脸活体检测模型的超参数作为优选超参数。

其中，可以根据人脸活体检测模型的性能指标获取验证得分，若性能指标越大，验证得到分越高，验证得分到最高的人脸活体检测模型的超参数即为优选超参数。

通过上述步骤，可以确定某一种超参数的对应的优选超参数。然后改变超参数的类型，确定其他种类的超参数对应的优选超参数；

同样的，选择另一个超参数作为候选超参数，例如block内的并联分支数目，采用同样的方法确定最优的block内的并联分支数目，依此类推，直至得到所有超参数的优选值，然后组成不同种类的优选超参数组成的优选超参数组。例如优选的block的数量、优选的block内的并联分支数目、优选的分支内的卷积核通道数目、优选的下采样层的位置、优选的图像层的通道数目，则这5个优选的超参数组成了优选超参数组。需要说明的是，在获取5个优选超参数的过程中，采用同样的训练策略，即都采用确定block的数量这个超参数时的训练策略。

如图5所示，在一实施例中，优选训练策略的获得方法包括：

S51从所述超参数池中选择其中一种超参数作为初始超参数，以及从训练策略池中选择一种训练策略作为候选训练策略；

例如，学习率调整策略包括学习率大小、学习率下降策略，学习率warm-up；数据增强方法包括不限于随机旋转、随机裁剪、颜色变换。选择学习率大小、学习率下降策略作为候选训练策略；同时从超参数池中选择一个超参数作为初始超参数，例如将block的数量作为初始超参数。在确定优选训练策略的过程中，block的数量不会发生改变；且除了学习率大小、学习率下降策略这种类型的训练策略会发生改变，其他训练策略不会发生改变。

S52基于所述初始超参数、所述候选训练策略以及训练集，对待训练的人脸活体检测模型进行迭代训练，直至满足迭代停止条件，每一次训练得到一个训练后的人脸活体检测模型；

其中，迭代停止条件可以是达到最大迭代次数，也可以为训练后的人脸活体检测模型的性能指标满足设定的条件；还可以是两者的结合。

S53基于验证集对每个训练后的人脸活体检测模型进行验证，得到每个训练后的人脸活体检测模型在所述验证集上的验证得分；

S54根据所述验证得分从所述多个训练后的人脸活体检测模型中确定一个目标人脸活体检测模型；将所述目标人脸活体检测模型对应的训练策略作为优选训练策略。

其中，可以根据人脸活体检测模型的性能指标获取验证得分，若性能指标越大，验证得到分越高，验证得分到最高的人脸活体检测模型的训练策略即为优选训练策略。

通过上述步骤，可以确定某一种训练策略的对应的优选训练策略。然后改变训练策略的类型，确定其他种类的训练策略对应的优选训练策略；

同样的，选择另一个训练策略作为候选训练策略，例如学习率warm-up，采用同样的方法确定最优的学习率warm-up，依此类推，直至得到所有训练策略的优选值，然后组成不同种类的优选超参数组成的优选训练策略组。例如优选的学习率warm-up；数据增强方法，则这3个优选的训练策略组成了优选训练策略组。需要说明的是，在获取3个优选训练策略的过程中，采用同样的超参数。

在一实施例中，训练得到人脸活体检测模型，包括：

以在同样的训练策略下确定的每一种优选超参数组成优选超参数组以及通过优选超参数确定的以每一种优选训练策略构成的优选训练策略组确定训练后的人脸活体检测模型；

改变所述训练策略，重复上述步骤，直至训练后的人脸活体检测模型的性能指标满足设定要求。

例如，在同样的学习率warm-up下，确定一优选超参数组，基于该优选超参数组确定优选训练策略组，然后基于优选超参数组和优选训练策略组确定人脸活体检测模型；

然后改变训练策略，例如调整学习率warm-up，采用同样的方式得到人脸活体检测模型，将人脸活体检测模型的精度变化趋于稳定，得到人脸活体检测模型。

本发明通过训练策略确定方法以及超参数的确定方法，突破了普通训练达到的精度。此外，模型参数量的控制有效解决了常用卷积神经网络参数量大、计算开销高的问题。

在得到最优的人脸活体检测模型后，利用该人脸活体检测模型进行活体检测。具体地，可以将该人脸活体检测模型部署到推理引擎上，将预处理步骤得到的人脸切片输入推理引擎，计算得到输出向量，其中输出向量表示类型得分，当得分超过设定阈值时，图像中的检测对象为活体。其中，推理引擎包括但不限于MNN、NCNN。MNN是一个轻量级的深度神经网络推理引擎，在端侧加载深度神经网络模型进行推理预测；NCNN是是一个为手机端极致优化的高性能神经网络前向计算框架。

对输出向量进行处理，包括不限于：通过Softmax函数将输出向量归一化为一个概率分布向量，将概率与先验概率阈值对比，如果高于阈值则对应的类别为真，即图像中的检测对象是活体，反之则为非活体。

如图6所示，一种人脸活体检测装置，包括：

图像获取模块61，用于获取待检测的图像；

活体检测模型62，用于将待检测的图像输入预先训练好的人脸活体检测模型，得到待检测的图像中检测对象是否为活体的检测结果；其中所述人脸活体检测模型的骨干网以inception block作为基础结构。

在一实施例中，如图7所示，通过训练模块训练得到所述人脸活体检测模型，所述训练模块包括：

超参数池构建子模块71，用于构建人脸活体检测模型的超参数池，包括多种超参数；所述多种超参数包括block的数量、block内的并联分支数目、分支内的卷积核通道数目、下采样层的位置、图像层的通道数目、是否采用全局平均池化层、全连接层的层数及通道数目；

训练策略池构建子模块72，用于构建训练策略池，包括多种训练策略；所述多种训练策略包括学习率大小、学习率下降策略，学习率warm-up，数据增强方法；

迭代训练子模块73，用于基于所述超参数池中的超参数以及训练策略池中的训练策略，通过迭代训练得到每一种超参数对应的优选超参数和每一种训练策略对应的优选训练策略；

人脸活体检测模块确定模块74，用于基于所有所述优选超参数和所有所述优选训练策略以及训练集，确定人脸活体检测模型。

在一实施例中，如图8所示，所述迭代训练子模块包括：

第一选择单元81，用于从所述超参数池中选择其中一种超参数作为候选超参数，以及从训练策略池中选择一种训练策略作为初始训练策略；

第一迭代训练单元82，用于基于所述候选超参数、所述初始训练策略以及训练集，对待训练的人脸活体检测模型进行迭代训练，直至满足迭代停止条件，每一次训练得到一个训练后的人脸活体检测模型；

第一验证单元83，用于基于验证集对每个训练后的人脸活体检测模型进行验证，得到每个训练后的人脸活体检测模型在所述验证集上的验证得分；

优选超参数确定单元84，用于根据所述验证得分从所述多个训练后的人脸活体检测模型中确定一个目标人脸活体检测模型；将所述目标人脸活体检测模型的超参数作为优选超参数。

在一实施例中，如图9所示，所述迭代训练子模块还包括：

第二选择单元91，用于从所述超参数池中选择其中一种超参数作为初始超参数，以及从训练策略池中选择一种训练策略作为候选训练策略；

第二迭代训练单元92，用于基于所述初始超参数、所述候选训练策略以及训练集，对待训练的人脸活体检测模型进行迭代训练，直至满足迭代停止条件，每一次训练得到一个训练后的人脸活体检测模型；

第二验证单元93，用于基于验证集对每个训练后的人脸活体检测模型进行验证，得到每个训练后的人脸活体检测模型在所述验证集上的验证得分；

优选训练策略确定单元94，用于根据所述验证得分从所述多个训练后的人脸活体检测模型中确定一个目标人脸活体检测模型；将所述目标人脸活体检测模型对应的训练策略作为优选训练策略。

在一实施例中，训练得到人脸活体检测模型，包括：

以在同样的训练策略下确定的每一种优选超参数组成优选超参数组以及通过优选超参数确定的以每一种优选训练策略构成的优选训练策略组确定训练后的人脸活体检测模型；

改变所述训练策略，重复上述步骤，直至训练后的人脸活体检测模型的性能指标满足设定要求。

在本实施例中，该装置实施例与前述的方法实施例相对应，具体功能和技术效果参照上述实施例即可，此处不再赘述。

本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3，Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4，Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。

本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中方法所包含步骤的指令(instructions)。

图10为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。

可选的，上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit，简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，该第一处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。

可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。

在本实施例中，该终端设备的处理器包括用于执行各设备中各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。

图11为本申请的一个实施例提供的终端设备的硬件结构示意图。图11是对图10在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。

第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图1所述方法。

第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

可选地，第二处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，语音组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。

处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述数据处理方法中的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。

电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。

多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

语音组件1206被配置为输出和/或输入语音信号。例如，语音组件1206包括一个麦克风(MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，语音组件1206还包括一个扬声器，用于输出语音信号。

输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。

传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。

通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个实施例中，该终端设备中可以包括SIM卡插槽，该SIM卡插槽用于插入SIM卡，使得终端设备可以登录GPRS网络，通过互联网与服务器建立通信。

由上可知，在图11实施例中所涉及的通信组件1203、语音组件1206以及输入/输出接口1207、传感器组件1208均可以作为图10实施例中的输入设备的实现方式。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。