行为识别方法及装置、电子设备和存储介质

技术领域

本申请涉及计算机视觉技术领域，尤其涉及一种行为识别方法及装置、电子设备和存储介质。

背景技术

在计算机视觉技术领域，基于视频数据的行为识别在视频推荐、安防监控以及人机交互等众多领域具有极其重要的作用；因此，对图像进行识别行为的精准度显得尤为重要，高精度地进行行为识别是计算机视觉技术一致追求的目标。

申请内容

为解决上述技术问题，本申请实施例提供了一种行为识别方法及装置、电子设备和存储介质。

本申请实施例提供的行为识别方法，包括：

获取相邻帧的数据的差分信息；

基于所述差分信息，确定所述数据中表征运动信息的第一数据；

基于特征对所述相邻帧的数据进行通道分组；

在时序维度对每个通道分组的数据进行处理，获得第二数据；

基于所述第一数据和所述第二数据得到行为识别结果。

本申请一可选实施方式中，所述获取相邻帧的数据的差分信息，包括：

对所述相邻帧的数据进行特征对齐；

基于至少一个阶梯结构的卷积模型，从特征对齐后的数据中获取所述相邻帧的前景数据；

对所述前景数据进行差分处理，获取所述相邻帧的前景数据的差分信息。

本申请一可选实施方式中，所述对所述相邻帧的数据进行特征对齐，包括：

获取相邻两帧的数据的特征；

对每帧的特征在通道维度上进行降维处理；

利用相似矩阵对降维度处理后的相邻两帧的特征进行特征对齐。

本申请一可选实施方式中，所述基于至少一个阶梯结构的卷积模型，从特征对齐后的数据中获取所述相邻帧的前景数据包括：

对所述相邻帧的前景数据中的第一帧数据和第二帧数据分别复制为N份；

将N份第二帧数据中的第一份第二帧数据输入二维卷积模型，得到的第一输出结果与第一份第一帧数据做差分，得到第一差分结果；所述二维卷积模型为N阶二维卷积模型；

将第一输出结果与第(M+1)份第二帧数据进行相加处理后输入二维卷积模型，得到的第(M+1)输出结果与第M份第一帧数据做差分，得到第(M+1)差分结果，M大于或等于1，M小于或等于N-1；

将得到的第一差分结果至第N差分结果拼接后，输入至一维卷积模型，得到所述相邻帧的前景数据。

本申请一可选实施方式中，所述基于所述差分信息，确定所述数据中表征运动信息的第一数据，包括：

基于所述差分信息确定通道权重；

基于所述通道权重对所述数据中的前景数据进行处理，得到所述第一数据。

本申请一可选实施方式中，所述基于所述通道权重对所述数据中的前景数据进行处理，得到所述第一数据包括：

将所述前景数据与所述前景数据与所述通道权重之积相加，得到所述第一数据。

本申请一可选实施方式中，所述在时序维度对每个通道分组的数据进行处理，获得第二数据，包括：

利用时序卷积模型对每个通道分组的数据进行处理；

将处理后的全部通道分组的数据进行融合，得到所述第二数据。

本申请一可选实施方式中，所述利用时序卷积模型对每个通道分组的数据进行处理，包括：

利用所述时序卷积模型将不同尺度的数据时序信息在通道维度融合。

本申请一可选实施方式中，所述利用所述时序卷积模型将不同尺度的数据时序信息在通道维度融合，包括：

将每个通道分组的数据划分为N份子数据，将第二份子数据输入至所述时序卷积模型中的一维卷积模型，得到第二子时序数据；

将第K子时序数据与第(K+1)份子数据融合后，对融合的数据执行预处理，K大于或等于2，K小于或等于N-1；

计算预处理得到的值与所述第K子时序数据点乘的第一结果，以及计算1与所述预处理得到的值之差与所述第(K+1)份子数据点乘的第二结果；

对所述第一结果与所述第二结果融合后，输入至所述一维卷积模型，得到第(K+1)子时序数据。

本申请一可选实施方式中，所述将处理后的全部通道分组的数据进行融合，得到所述第二数据包括：

将第一子数据、第二子时序数据、第三子时序数据，直至第N子时序数据分别进行时序卷积处理后，再将时序卷积处理后的数据进行级联，得到所述第二数据。

本申请一可选实施方式中，所述获取图像相邻帧的数据的差分信息之前，所述方法还包括：利用三维卷积模型获取所述图像相邻帧的数据；

和/或，所述获得第二数据之后，所述方法还包括：对所述第一数据和所述第二数据执行通道降维处理。

本申请实施例提供的行为识别装置，包括：

获取单元，用于获取相邻帧的数据的差分信息；

确定单元，用于基于所述差分信息，确定所述数据中表征运动信息的第一数据；

分组单元，用于基于特征对所述相邻帧的数据进行通道分组；

处理单元，用于在时序维度对每个通道分组的数据进行处理，获得第二数据；

识别单元，用于基于所述第一数据和所述第二数据得到行为识别结果。

本申请实施例提供的计算机程序产品包括计算机可执行指令，该计算机可执行指令被执行后，能够实现上述的行为识别方法。

本申请实施例提供的存储介质上存储有可执行指令，该可执行指令被处理器执行时实现上述的行为识别方法。

本申请实施例提供的电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时可实现上述的行为识别方法。

本申请实施例提供的行为识别方法中，获取相邻帧的数据的差分信息；基于所述差分信息，确定所述数据中表征运动信息的第一数据；基于特征对所述相邻帧的数据进行通道分组；在时序维度对每个通道分组的数据进行处理，获得第二数据；基于所述第一数据和所述第二数据得到行为识别结果。如此，获取相邻帧的数据的差分信息，能够消除图像中的背景噪声；在时序维度对每个通道分组的进行处理，实现了更大的时序感受野；因此，本申请实施例提供的行为识别方法能够从空间维度和时间维度提高行为识别的精确度。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合附附图，作详细说明如下。

附图说明

图1为本申请实施例提供的行为识别方法的流程示意图；

图2为本申请实施例识别装置获取相邻帧的数据的差分信息的一种可选处理流程示意图；

图3为本申请实施例识别装置对所述相邻帧的数据进行特征对齐的一种可选处理流程示意图；

图4位本申请实施例对不同时刻帧的特征进行降维处理的示意图；

图5为本申请实施例利用阶梯级联结果对特征进行级联的示意图；

图6为本申请实施例增加EMT和TSS的数据处理流程示意图；

图7为本申请实施例数据经EMT模块后的特征图样示意图；

图8为本申请实施例提供的行为识别装置的结构组成示意图；

图9为本申请实施例的电子设备的结构组成示意图。

具体实施方式

在对本申请实施例进行详细描述之前，对行为识别进行简要说明。

随着云计算、5G等基础技术的提升，视频数据近年来呈爆发式增长，为了充分挖掘视频数据的价值，越来越多的研究者开始从事视频理解领域。行为识别作为视屏理解的一个基础任务，在安防、人机交互、个性化推荐等场景都有广泛的需求。基于视频的行为识别的处理过程是基于给定包含动作的视频，判断行为类别。判断行为类别的准确度是行为识别的一个重要指标，而基于视频数据的运动建模和时序建模是影响行为识别判断结果的重要因素。

基于视频数据的运动建模最常用基于光流特征对相邻帧之间的运动信息进行建模。通常，基于双流的动作识别方法都是通过光流建模来提取运动特征。但是，光流的提取和建模过程数据计算量大，难以应用于对实时性要求高的场景。由于光流的一个重要作用是在描述相邻帧之间的运动关系时能够突出运动对象，因此，一种可替代方案是可以利用不同帧之间特征的差异性来近似光流；但是，在利用不同帧之间特征的倡议性近似光流时，同时得到了运动目标和非运动目标的边缘运动信息，由于非运动目标是图像的背景部分，因此，非运动目标的边缘运动信息属于噪声；并且，运动目标的静止部分的边缘运动信息也属于干涉噪声。

基于视频数据的时序建模，主要存在两种主要方案；第一种方案是采用2D CNN加帧间聚合器的结构，聚合器一般采用avg/max/3D卷积/RNN等操作，这种方案简单地进行了帧级的得分融合或者帧级高层特征融合，但是没有考虑特征层面的时序信息聚合。第二种方案是采用3D卷积，利用3D卷积在特征级聚合时序关系，由于3D卷积的参数多、计量量大，于是将3D卷积节藕为2D+1D卷积，2D卷积空间信息建模，1D卷积只负责时序关系建模。但是对于3D/(2D+1D)卷积来说，均是只建模了局部窗口内的时序关系，对于长时序关系，依赖纵向的堆叠卷积块来达到建模长范围时序的目的。这种纵向结构对于浅层的时序卷积难以优化。

基于此，本申请提出一种行为识别方法。现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

下面对本申请实施例所涉及的一种行为识别方法进行详细介绍，本申请实施例所提供的行为识别方法的执行主体可以为行为识别装置，如终端设备或服务器等，也可以为其它具有数据处理能力的处理装置，本申请实施例中不作限定。

参见图1所示，为本申请实施例所提供的一种行为识别方法的流程示意图，至少包括以下几个步骤：

步骤S101、获取相邻帧的数据的差分信息。

在一些实施例中，行为识别装置(以下简称识别装置)获取相邻帧的数据的差分信息。其中，相邻帧可以是视频数据中相邻的两个帧。

在一些实施例中，识别装置获取相邻帧的数据的差分信息的一种可选处理流程，如图2所示，至少包括以下几个步骤：

步骤S1a，对所述相邻帧的数据进行特征对齐。

在一些实施例中，识别装置对所述相邻帧的数据进行特征对齐的一种可选处理流程，如图3所示，至少包括以下几个步骤：

步骤S1a1，获取相邻两帧的数据的特征。

在一些实施例中，数据的特征的形状可以是

步骤S1a2，对每帧的特征在通道维度上进行降维处理。

在一些实施例中，识别装置对输入的特征X进行帧级的分离，得到X

x

x

其中，l是通道压缩率，l的值可根据实际应用场景灵活设置，如设置为16等数值。

步骤S1a3，利用相似矩阵对降维度处理后的相邻两帧的特征进行特征对齐。

在一些实施例中，识别装置利用相似矩阵对相邻帧进行包裹对齐，如下述公式(3)和公式(4)所示。

其中，r()函数用于变换特征的尺寸形状。

步骤S1b，基于至少一个阶梯结构的卷积模型，从特征对齐后的数据中获取所述相邻帧的前景数据。

在一些实施例中，识别装置利用一组阶梯结构的2D卷积实现对表征运动信息的第一样品数据的提取。其中，一组阶梯结构的2D卷积可以是2个2D卷积、或4个、或6个等2D卷积；下面以一组阶梯结构的2D卷积为4个2D卷积为例，将特征按通道划分为4部分，利用下述公式(5)、公式(6)、公式(7)和公式(8)对对齐后的特征进行卷积计算，从特征对齐后的数据中获取所述相邻帧的前景数据，得到多尺度的运动信息。

m

m

m

m

通过公式(5)至公式(8)，能够提取出相邻帧的前景数据，即提取出运动信息，将相邻帧中的背景数据筛选并删除。

具体的，如图4右侧部分所示，对所述相邻帧的前景数据中的第一帧数据和第二帧数据分别复制为N份(图4中N为4)；将N份第二帧数据中的第一份第二帧数据输入二维卷积模型，得到的第一输出结果与第一份第一帧数据做差分，得到第一差分结果；所述二维卷积模型为N阶二维卷积模型；将第一输出结果与第(M+1)份第二帧数据进行相加处理后输入二维卷积模型，得到的第(M+1)输出结果与第M份第一帧数据做差分，得到第(M+1)差分结果，M大于或等于1，M小于或等于N-1；将得到的第一差分结果至第N差分结果拼接后，输入至一维卷积模型，得到所述相邻帧的前景数据。

本申请实施例中，通过一组2D卷积捕捉不同的运动变化信息，使得后续的运动差分信息对行为刻画、识别得更加准确。

步骤S1c，对所述前景数据进行差分处理，获取所述相邻帧的前景数据的差分信息。

在一些实施例中，识别装置利用下述公式(9)和公式(10)对前景数据进行差分处理，得到相邻帧的前景数据的差分信息。

本申请实施例中，通过获取相邻帧的前景数据的差分信息，能够消除背景运动噪声。

以图4为例，将t＝i时刻的数据复制为4份，分别是第1份数据，第2份数据，第3份数据和第4份数据；将t＝i+1时刻的数据复制为4份，分别是第5份数据，第6份数据，第7份数据和第8份数据。将第5份数据做二维卷积处理后得到的结果与第6份数据进行融合，第5份数据与第6份数据融合后的数据做二维卷积处理后的结果与第7份数据融合；第5份数据与第6份数据融合后的数据做二维卷积处理后的结果与第7份数据融合后的数据做二维卷积处理后，与第8份数据融合；每次融合后的数据分别与第1份数据至第4份数据做差分数理，将4次差分结果，即差分信息。

M

M

其中，M

步骤S102、基于所述差分信息，确定所述数据中表征运动信息的第一数据。

在一些实施例中，基于前景数据的差分信息确定通道权重，即将前景数据的差分信息作为通道权重，利用所述通道权重对前景数据进行处理，得到所述数据中表征运动信息的第一数据。

其中，利用所述通道权重对前景数据进行处理，可以是利用通道权重对前景数据进行增强，得到所述数据中表征运动信息的第一数据。

在一些实施例中，通过如下公式(11)确定通道权重；通过如下公式(12)对前景数据进行增强，即将所述前景数据与所述前景数据与所述通道权重之积相加，得到所述第一数据。

W＝sig mod(AvgPooling(Mout))∈R[C,1,1] (11)

Enhanced(X

至此，本申请实施例中，利用帧间相似矩阵实现帧间的特征对齐，尽可能消除背景抖动带来的干扰问题。同时，考虑运动信息的多样性，本申请实施例使用一组阶梯2D卷积来提取不同尺度的数据，再对不同尺度的数据进行差分处理，消除了图像中的背景噪声，获得不同尺度的运动显著性信息，最后利用运动显著性信息来去增强运动变化区域，即增加了增强运动变换模块(EMT)对数据进行处理。

步骤S103、基于特征对所述相邻帧的数据进行通道分组。

在一些实施例中，识别装置利用时序卷积模型对每个通道分组的数据进行处理，将处理后的全部通道分组的数据进行融合，得到所述第二数据。

在一些实施例中，为了减少数据计算量，识别装置对输入的特征X∈R

步骤S104、在时序维度对每个通道分组的数据进行处理，获得第二数据。

在一些实施例中，识别装置利用所述时序卷积模型将不同尺度的数据时序信息在通道维度融合；具体的，识别装置可以对每个通道分组的数据利用1D时序卷积进行处理，如下述公式(13)至公式(15)所示：

r_out＝reshape(X)∈R

r_out＝Conv1D(r_out)∈R

out＝reshape(r_out)∈R

将每个通道分组的数据划分为N份子数据，将第二份子数据输入至所述时序卷积模型中的一维卷积模型，得到第二子时序数据；将第K子时序数据与第(K+1)份子数据融合后，对融合的数据执行预处理，K大于或等于2，K小于或等于N-1；计算预处理得到的值与所述第K子时序数据点乘的第一结果，以及计算1与所述预处理得到的值之差与所述第(K+1)份子数据点乘的第二结果；对所述第一结果与所述第二结果融合后，输入至所述一维卷积模型，得到第(K+1)子时序数据。其中，所述预处理可以是对融合的数据执行通道融合处理，如SAP、FC以及Softmax。

识别装置对每个通道分组的数据利用1D时序卷积进行处理之后，对处理后的所有通道分组的数据进行融合，得到第二数据。具体的，将上述第一子数据、第二子时序数据、第三子时序数据，直至第N子时序数据分别进行时序卷积处理后，再将时序卷积处理后的数据进行级联，得到所述第二数据。

举例来说，若对相邻两个通道组的数据利用1D时序卷积进行处理得到的结果是A和B，则对通道组数据进行融合的处理过程如下公式(16)至公式(20)所示：

A∈R

C＝AvgPooling(C)∈R

C

其中，公式(20)表示对相邻两个通道组的数据进行融合处理得到的结果。如图5右侧部分所示，X

识别装置再利用一个阶梯级联结构对如图5所示的特征X

级联的处理过程如下公式(21)至公式(24)所示：

O

O

O

O

out＝cat[O

其中，公式(25)表征特征的时序信息。

本申请实施例中，通过阶梯级联1D卷积来获得不同尺度的时序信息，将不同尺度的时序信息阶梯连接获得大感受野1D卷积，即增加了长时序建模模块(TSS)对数据进行处理。

步骤S105、基于所述第一数据和所述第二数据得到行为识别结果。

在一些实施例中，第一数据是视频数据中消除了背景运动噪声的数据，第二数据是长时序的数据；识别装置基于第一数据和第二数据对输入的视频数据精准地进行行为识别，如判断行为类别等。

本申请实施例中，步骤S101至步骤S102，与步骤S103至步骤S104不存在执行的先后顺序，既可以先执行步骤S101和步骤S102，再执行步骤S103和步骤104，也可以先执行步骤S103和步骤104，再执行步骤S101和步骤S102。也可以理解为，本申请实施例既可以先获取第一数据，再获取第二数据，也可以先获取第二数据，再获取第一数据。

本申请实施例增加EMT和TSS的数据处理流程示意图，如图6所示，在已有的行为识别方法的基础上，增加EMT和TSS。具体的，在EMT的数据处理之前，利用三维卷积模型获取所述图像相邻帧的数据；在TSS的数据处理之后，利用一维卷积模型对所述第一数据和所述第二数据执行通道降维处理。本申请实施例中，增加的EMT和TSS构成了TMM模块，TMM模块可以嵌入至已经存在的行为识别模型如2D ResNet模型中，如图6中，TMM模块嵌入至用于获取所述图像相邻帧的数据的三维卷积模型之后，以及对所述第一数据和所述第二数据执行通道降维处理的一维卷积模型之前。通过TMM模块，能够实现对数据的运动显著性信息增强和长期时序建模。数据经EMT模块后的特征图样，如图7所示，第一行为输入的数据的原始帧，第二行和第三行分别是经过EMT之后输出的数据的特征图样；经过EMT之后的运动区域的特征图样明显。

基于上述对本申请实施例提供的行为识别方法的说明，本申请实施例提供的行为识别方法至少可以应用于时频推荐、安防监控、人机交互等场景。

为实现本申请实施例提供的上述行为识别方法，本申请实施例还提供一种行为识别装置，图8为本申请实施例提供的行为识别装置200的结构组成示意图，所述设备包括：

获取单元201，用于获取相邻帧的数据的差分信息；

确定单元202，用于基于所述差分信息，确定所述数据中表征运动信息的第一数据；

分组单元203，用于基于特征对所述相邻帧的数据进行通道分组；

处理单元204，用于在时序维度对每个通道分组的数据进行处理，获得第二数据；

识别单元205，用于基于所述第一数据和所述第二数据得到行为识别结果。

在一些可选实施方式中，所述获取单元201，用于对所述相邻帧的数据进行特征对齐；

基于至少一个阶梯结构的卷积模型，从特征对齐后的数据中获取所述相邻帧的前景数据；

对所述前景数据进行差分处理，获取所述相邻帧的前景数据的差分信息。

在一些可选实施方式中，所述获取单元201，用于获取相邻两帧的数据的特征；

对每帧的特征在通道维度上进行降维处理；

利用相似矩阵对降维度处理后的相邻两帧的特征进行特征对齐。

在一些可选实施方式中，所述获取单元201，用于对所述相邻帧的前景数据中的第一帧数据和第二帧数据分别复制为N份；

将N份第二帧数据中的第一份第二帧数据输入二维卷积模型，得到的第一输出结果与第一份第一帧数据做差分，得到第一差分结果；所述二维卷积模型为N阶二维卷积模型；

将第一输出结果与第(M+1)份第二帧数据进行相加处理后输入二维卷积模型，得到的第(M+1)输出结果与第M份第一帧数据做差分，得到第(M+1)差分结果，M大于或等于1，M小于或等于N-1；

将得到的第一差分结果至第N差分结果拼接后，输入至一维卷积模型，得到所述相邻帧的前景数据。

在一些可选实施方式中，所述确定单元202，用于基于所述差分信息确定通道权重；

基于所述通道权重对所述数据中的前景数据进行处理，得到所述第一数据。

在一些可选实施方式中，所述确定单元202，用于将所述前景数据与所述前景数据与所述通道权重之积相加，得到所述第一数据。

在一些可选实施方式中，所述处理单元204，用于利用时序卷积模型对每个通道分组的数据进行处理；

将处理后的全部通道分组的数据进行融合，得到所述第二数据。

在一些可选实施方式中，所述处理单元204，用于利用所述时序卷积模型将不同尺度的数据时序信息在通道维度融合。

在一些可选实施方式中，所述处理单元204，用于将每个通道分组的数据划分为N份子数据，将第二份子数据输入至所述时序卷积模型中的一维卷积模型，得到第二子时序数据；

将第K子时序数据与第(K+1)份子数据融合后，对融合的数据执行预处理，K大于或等于2，K小于或等于N-1；

计算预处理得到的值与所述第K子时序数据点乘的第一结果，以及计算1与所述预处理得到的值之差与所述第(K+1)份子数据点乘的第二结果；

对所述第一结果与所述第二结果融合后，输入至所述一维卷积模型，得到第(K+1)子时序数据。

在一些可选实施方式中，所述处理单元204，用于将第一子数据、第二子时序数据、第三子时序数据，直至第N子时序数据分别进行时序卷积处理后，再将时序卷积处理后的数据进行级联，得到所述第二数据。

在一些可选实施方式中，所述处理单元204，还用于利用三维卷积模型获取所述图像相邻帧的数据；

和/或，所述获得第二数据之后，利用一维卷积模型对所述第一数据和所述第二数据执行通道降维处理。

本领域技术人员应当理解，图8所示的行为识别装置中的各单元的实现功能可参照前述行为识别方法的相关描述而理解。图8所示的行为识别装置中的各单元的功能可通过运行于处理器上的程序而实现，也可通过具体的逻辑电路而实现。

本申请实施例上述的行为识别装置如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。

相应地，本申请实施例还提供一种计算机程序产品，其中存储有计算机可执行指令，该计算机可执行指令被执行时能够实现本申请实施例的上述的行为识别方法。

本申请实施例还提供一种存储介质，其特征在于，所述存储介质上存储有可执行指令，该可执行指令被处理器执行时实现上所述的行为识别方法。

为实现本申请实施例提供的上述行为识别方法，本申请实施例还提供一种电子设备，图9为本申请实施例的电子设备的结构组成示意图，如图9所示，电子设备50可以包括一个或多个(图中仅示出一个)处理器502(处理器502可以包括但不限于微处理器(MCU，MicroController Unit)或可编程逻辑器件(FPGA，Field Programmable Gate Array)等的处理装置)、用于存储数据的存储器504、以及用于通信功能的传输装置506。本领域普通技术人员可以理解，图9所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，电子设备50还可包括比图9中所示更多或者更少的组件，或者具有与图9所示不同的配置。

存储器504可用于存储应用软件的软件程序以及模块，如本申请实施例中的方法对应的程序指令/模块，处理器502通过运行存储在存储器504内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器504可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器504可进一步包括相对于处理器502远程设置的存储器，这些远程存储器可以通过网络连接至电子设备50。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

可以理解，存储器504可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是ROM、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，ErasableProgrammable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，ElectricallyErasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagneticrandom access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，SynchronousStatic Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random AccessMemory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic Random AccessMemory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data RateSynchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本申请实施例描述的存储器504旨在包括但不限于这些和任意其它适合类型的存储器。

本申请实施例中的存储器504用于存储各种类型的数据以支持电子设备750的操作。这些数据的示例包括：用于在通信设备700上操作的任何计算机程序，如应用程序。实现本申请实施例方法的程序可以包含在应用程序中。

传输装置506用于经由一个网络接收或者发送数据。上述的网络具体实例可包括电子设备50的通信供应商提供的无线网络。在一个实例中，传输装置506包括一个网络适配器(NIC，Network Interface Controller)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置506可以为射频(RF，Radio Frequency)模块，其用于通过无线方式与互联网进行通讯。

本申请实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和智能设备，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个第二处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。