用户日常行为数据智能采集处理方法及相关设备

技术领域

本发明人工智能领域，尤其涉及一种用户日常行为数据智能采集处理方法及相关设备。

背景技术

行为识别是对视频中人的行为动作进行识别。视频中人体行为识别主要分为行为分类与时序动作检测两类，行为分类对给定的分割好动作的视频片段进行分类，时序动作检测定位动作在视频中的发生时段并进行指定行为的检测。视频描述生成对给定的视频生成相应的文本描述信息，可应用于视频搜索、盲人导航等领域。

在现有的技术中，人们若想记录发生的事情，需要手动书写记录或通过录音、录像等方式保存信息，在需要的时候进行查询。而手动书写记录不能满足即时、准确的需求，音视频记录的方法在查询时亦极为不便。

发明内容

本发明的主要目的在于提供一种用户日常行为数据智能采集处理方法及相关设备，旨在解决现有技术无法满足用户日常行为数据智能采集处理的需求的技术问题。

本发明第一方面提供了一种用户日常行为数据智能采集处理方法，包括：

采集用户的位置信息与所述用户周围的视频信息；

对所述视频信息进行视频分割处理，得到视频片段；

对所述视频片段进行时序动作提取处理，得到时序动作提取结果；

根据所述时序动作提取结果，生成所述视频片段的文本描述信息。

可选的，在本发明第一方面的第一种实现方式中，所述对所述视频信息进行视频分割，得到视频片段包括：

对所述视频信息进行场景识别处理，得到场景识别结果；

根据所述场景识别结果，对所述视频信息进行视频分割处理，得到不同场景下的视频片段。

可选的，在本发明第一方面的第二种实现方式中，在所述对所述视频信息进行视频分割，得到视频片段之后，还包括：

获取视频过滤条件；

根据所述视频过滤条件，对所述视频片段进行视频过滤处理，得到符合所述视频过滤条件的视频片段。

可选的，在本发明第一方面的第三种实现方式中，在所述对所述视频信息进行视频分割，得到视频片段之后，还包括：

获取待检测物体的物体信息；

基于所述物体信息，对所述待检测物体进行特征提取处理，得到待检测物体特征；

基于所述待检测物体特征检索所述视频片段，返回包含所述待检测物体特征的视频片段。

可选的，在本发明第一方面的第四种实现方式中，所述对所述视频片段进行时序动作提取，得到时序动作提取结果包括：

对所述视频片段进行特征提取处理，得到所述视频片段的视频特征；

将所述视频特征输入预置时序动作提取模型，得到候选时序动作；

对所述候选时序动作进行筛选处理，得到时序动作提取结果，并将所述时序动作提取结果作为候选事件。

可选的，在本发明第一方面的第五种实现方式中，所述根据所述时序动作提取结果，生成所述视频片段的文本描述信息包括：

采用预置时序模型对所述候选事件进行时序排列与事件选择处理，得到对应的事件序列；

通过预置视频描述生成模型生成所述事件序列的描述信息，并将所述事件序列的描述信息作为所述视频片段的文本描述信息。

可选的，在本发明第一方面的第六种实现方式中，在所述根据所述时序动作提取结果，进行视频描述生成，获得所述视频片段的文本描述信息之后，还包括：

基于预置文本主题模型，对所述文本描述信息进行主题概括处理，得到所述视频片段的主题；

对各所述主题按时间顺序进行排序，得到主题序列；

根据所述主题序列与所述位置信息，得到所述用户的日常活动日志。

本发明第二方面提供了一种用户日常行为数据智能采集处理装置，包括：

信息获取模块，用于采集用户周围的视频信息；

视频分割模块，用于对所述视频信息进行视频分割处理，得到视频片段；

动作提取模块，用于对所述视频片段进行时序动作提取处理，得到时序动作提取结果；

视频描述模块，用于根据所述时序动作提取结果，生成所述视频片段的文本描述信息。

可选的，在本发明第二方面的第一种实现方式中，所述视频分割模块具体用于：

对所述视频信息进行场景识别处理，得到场景识别结果；

根据所述场景识别结果，对所述视频信息进行视频分割处理，得到不同场景下的视频片段。

可选的，在本发明第二方面的第二种实现方式中，所述用户日常行为数据智能采集处理装置还包括：

视频过滤模块，用于获取视频过滤条件；根据所述视频过滤条件，对所述视频片段进行视频过滤处理，得到符合所述视频过滤条件的视频片段。

可选的，在本发明第二方面的第三种实现方式中，所述用户日常行为数据智能采集处理装置还包括：

物体检测模块，用于获取待检测物体的物体信息；基于所述物体信息，对所述待检测物体进行特征提取处理，得到待检测物体特征；基于所述待检测物体特征检索所述视频片段，返回包含所述待检测物体特征的视频片段。

可选的，在本发明第二方面的第四种实现方式中，所述动作提取模块具体用于：

对所述视频片段进行特征提取处理，得到所述视频片段的视频特征；

将所述视频特征输入预置时序动作提取模型，得到候选时序动作；

对所述候选时序动作进行筛选处理，得到时序动作提取结果，并将所述时序动作提取结果作为候选事件。

可选的，在本发明第二方面的第五种实现方式中，所述视频描述模块具体用于：

采用预置时序模型对所述候选事件进行时序排列与事件选择处理，得到对应的事件序列；

通过预置视频描述生成模型生成所述事件序列的描述信息，并将所述事件序列的描述信息作为所述视频片段的文本描述信息。

可选的，在本发明第二方面的第六种实现方式中，所述用户日常行为数据智能采集处理装置还包括：

日志生成模块，用于基于预置文本主题模型，对所述文本描述信息进行主题概括处理，得到所述视频片段的主题；对各所述主题按时间顺序进行排序，得到主题序列；根据所述主题序列与所述位置信息，得到所述用户的日常活动日志。

本发明第三方面提供了一种电子设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述电子设备执行上述的用户日常行为数据智能采集处理方法。

本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的用户日常行为数据智能采集处理方法。

本发明提供的技术方案中，获取用户周围的视频信息并对视频信息进行视频分割、时序动作提取操作，根据提取结果自动生成用户视频的描述文字，以此来自动记录用户的日常活动。本发明能够实时地记录用户日常行为数据并转为文本描述信息，极大地提高了用户行为信息记录的效率与准确率，同时便于用户查询历史行为数据。

附图说明

图1为本发明实施例中用户日常行为数据智能采集处理方法的第一个实施例示意图；

图2为本发明实施例中用户日常行为数据智能采集处理方法的第二个实施例示意图；

图3为本发明实施例中用户日常行为数据智能采集处理方法的第三个实施例示意图；

图4为本发明实施例中用户日常行为数据智能采集处理方法的第四个实施例示意图；

图5为本发明实施例中用户日常行为数据智能采集处理装置的一个实施例示意图；

图6为本发明实施例中用户日常行为数据智能采集处理装置的另一个实施例示意图；

图7为本发明实施例中电子设备的一个实施例示意图。

具体实施方式

本发明实施例提供了一种用户日常行为数据智能采集处理方法、装置、设备及存储介质，本发明实施例自动记录用户日常活动，极大地提高了日志记录的效率与准确率。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中用户日常行为数据智能采集处理方法的第一个实施例包括：

101、采集用户周围的视频信息；

可以理解的是，本发明的执行主体可以为用户日常行为数据智能采集处理装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。

可选的，在一实施例中，获取用户的位置信息，对用户当前位置进行定位，其中，定位的方法不限。每隔预置时间进行一次定位，记录当前时间信息与用户当前位置信息。

可选的，在一实施例中，由于鱼眼镜头具有超大视角，拍摄到的视频信息更加全面，可以通过鱼眼镜头采集用户周围的视频信息，而鱼眼镜头的超大视角同时造成了图像畸变，在使用时需对畸变图像进行矫正。

102、对所述视频信息进行视频分割处理，得到视频片段；

本实施例中，所述视频分割即对视频进行剪切，将一段完整的视频剪辑成两段或多段互补的视频片段。

本实施例中，视频分割的方法不限，包括但不限于按预置时间长度分割、在特定图像出现时分割、按相邻帧图像相似度分割。

103、对所述视频片段进行时序动作提取处理，得到时序动作提取结果；

本实施例中，时序动作提取(temporal action proposal)指根据视频的动作语义信息，在时间维度对视频进行分割，从视频中找出可能含有动作的视频段。通常使用神经网络模型对视频进时序动作提取。

本实施例中，时序动作提取结果即找到的可能含有动作的视频段。

104、根据所述时序动作提取结果，生成所述视频片段的文本描述信息。

本实施例中，通过将时序动作提取结果输入预先训练好的视频描述生成模型，生成视频片段的自然语言描述。

本发明实施例中，获取用户周围的视频信息并对视频信息进行视频分割、时序动作提取操作，根据提取结果自动生成用户视频的描述文字，以此来自动记录用户的日常活动。本发明能够实时地记录用户日常行为数据并转为文本描述信息，极大地提高了用户行为信息记录的效率与准确率，同时便于用户查询历史行为数据。

请参阅图2，本发明实施例中用户日常行为数据智能采集处理方法的第二个实施例包括：

201、采集用户周围的视频信息；

202、对所述视频信息进行场景识别处理，得到场景识别结果；

本实施例中，场景识别指识别图像中场景类型，本质上是场景分类，是一种常见的图像理解任务。通常使用神经网络对大量的图片进行学习训练，得到场景识别模型，应用模型即可进行识别并输出识别结果。

本实施例中，每隔预置帧数进行一次场景识别，场景识别的方法不限，场景类型数量不限。

本实施例中，场景识别结果指具体的场景类别，如：会议室、餐厅、候车室、操场、剧场、演播厅等。

203、根据所述场景识别结果，对所述视频信息进行视频分割处理，得到不同场景下的视频片段；

本实施例中，根据场景识别结果，将在时间上连续且属于同一场景类别的图像作为同一片段进行合并。

可选的，在一实施例中，若当前进行场景识别的帧图像与相邻的进行过场景识别的上一帧图像场景类别相同，则将相邻的进行过场景识别的上一帧图像之后的第一帧图像至当前进行场景识别的帧图像间的片段与相邻的进行过场景识别的上一帧图像所属的视频片段进行合并，否则以相邻的进行过场景识别的上一帧图像之后的第一帧图像为起始创建新的视频片段。

204、对所述视频片段进行时序动作提取处理，得到时序动作提取结果；

可选的，在一实施例中，上述步骤204包括：

对所述视频片段进行特征提取处理，得到所述视频片段的视频特征；

将所述视频特征输入预置时序动作提取模型，得到候选时序动作；

对所述候选时序动作进行筛选处理，得到时序动作提取结果，并将所述时序动作提取结果作为候选事件。

可选的，在一实施例中，使用C3D网络学习得到的模型对输入的视频片段进行特征提取。

本实施例中，C3D网络指3D卷积网络，相比于2D卷积网络，3D卷积网络更适用于时空特征的学习，其通过3D卷积和3D池化操作更好地对时间信息进行建模，同时保留了输入信号的时间与空间信息。3D卷积网络提取的特征封装了视频中与目标、场景、动作有关的信息，可以对外观与运动同时建模。

本实施例中，为减少运算量，对C3D提取出的特征使用PCA进行降维。

本实施例中，为了更好地处理序列的信息，通常使用RNN网络、LSTM网络、GRU网络等神经网络模型对输入进行处理，考虑到GRU网络结构简单、所需参数较少、收敛性更好，采用GRU模型作为时序动作提取模型。

本实施例中，GRU模型通过门函数将重要特征保留下来，解决梯度消失的问题，保证了特征在长时传播时不丢失。GRU模型由更新门和重置门组成，更新门用于控制前一时刻的状态信息对当前状态的影响程度，重置门用于控制对前一时刻的状态信息的忽略程度。

本实施例中，GRU模型通过更新门收集动作信息，并通过重置门扔掉不相关的背景信息，逐步确定了视频中的动作。

本实施例中，使用非极大值抑制的方法对所述候选时序动作进行筛选。非极大值抑制算法抑制非极大值，是一种获取局部最大值的有效方法。

本实施例中，对每个时间节点，计算以其为终点的所有候选时序动作的置信度，并对置信度采用非极大值抑制的算法，获得最终的时序动作提取结果。

205、根据所述时序动作提取结果，生成所述视频片段的文本描述信息。

可选的，在一实施例中，上述步骤205包括：

采用预置时序模型对所述候选事件进行时序排列与事件选择处理，得到对应的事件序列；

通过预置视频描述生成模型生成所述事件序列的描述信息，并将所述事件序列的描述信息作为所述视频片段的文本描述信息。

本实施例中，对所述候选事件按开始时间进行排序，其中，排序方法不限，将候选事件按序输入到RNN中，并在每一个时间点应用指针网络计算每一个候选事件的概率，选择概率最大的候选事件作为当前时间点的事件，直至选择出最终事件，选择出的事件按序作为事件序列。

本实施例中，RNN(Recurrent Neural Network，循环神经网络)是一类处理序列数据的神经网络，其会对之前的信息进行记忆并应用于当前计算中。

本实施例中，由于本应用场景需要的输出只能从输入中进行选择且输出大小可变，所以应用指针网络(Pointer Network)，其是在基于Attention的Seq2Seq模型基础上进行改进而来。

本实施例中，预置视频描述生成模型由两层RNN模型组成，联系上下文信息对输入的时间序列生成描述信息，同时应用监督学习与强化学习的方法训练模型，提高模型精确度。

本发明实施例中，采用场景识别的方式分割视频，并对分割后的视频片段进行时序动作提取与视频描述生成操作，联系上下文信息生成某一场景下用户周围事件的文本描述信息。场景识别的视频分割方式提高了视频分割的灵活性，确保了固定场景下事件的完整性，便于后续操作，极大地提高了视频描述信息生成的准确度，双层RNN模型使得生成的描述信息更加连贯，效果更好。

请参阅图3，本发明实施例中用户日常行为数据智能采集处理方法的第三个实施例包括：

301、采集用户周围的视频信息；

302、对所述视频信息进行视频分割处理，得到视频片段；

303、获取视频过滤条件；

本实施例中，用户可以设置视频过滤条件，过滤条件不限，如：人脸信息、场景信息、声强信息、声纹信息、位置信息。

304、根据所述视频过滤条件，对所述视频片段进行视频过滤处理，得到符合所述视频过滤条件的视频片段；

本实施例中，视频过滤的方法不限，根据不同的过滤条件采用不同的视频过滤方法。

305、对所述视频片段进行时序动作提取处理，得到时序动作提取结果；

306、根据所述时序动作提取结果，生成所述视频片段的文本描述信息；

307、基于预置文本主题模型，对所述文本描述信息进行主题概括处理，得到所述视频片段的主题；

本实施例中，文本主题模型是以非监督学习的方式对文集的隐含语义结构进行聚类的统计模型，主要用于自然语言处理中的语义分析和文本挖掘问题。

本实施例中，使用的文本主题模型不限。文本主题模型通常包含多个流程，如：文本预处理、文本向量化、主题挖掘、主题表示，每个流程都有多种实现方法，不同的组合方法也将会产生不同的建模结果，常用的文本主题模型有LDA(Latent Dirichlet Allocation，隐含狄利克雷分布)、NMF(Non-Negative Matrix Factorization，非负矩阵分解)、SVD(Singular Value Decomposition，奇异值分解)等。

308、对各所述主题按时间顺序进行排序，得到主题序列；

本实施例中，所述时间的计算标准不限，如：按主题所对应的事件的开始时间进行排序、按主题所对应的事件的结束时间进行排序，排序方法不限。

309、根据所述主题序列与所述位置信息，得到所述用户的日常活动日志。

本实施例中，按序记录所述主题及其对应的位置、时间等信息，并提供查询功能，可以根据时间、位置等信息进行日志查询。

本发明实施例中，对获取的视频片段进行过滤，对过滤后的视频片段进行时序动作提取与视频描述生成操作，对生成的文本描述信息进行主题提取与记录，生成用户的日常行为数据记录。本发明通过条件过滤，筛选出需要的视频片段，减少了后续操作的计算量，提高了计算效率，视频描述生成模型生成的文本描述信息冗长，文本主题模型提取主题，概括了生成的文本描述信息，方便查阅。

请参阅图4，本发明实施例中用户日常行为数据智能采集处理方法的第四个实施例包括：

401、采集用户周围的视频信息；

402、对所述视频信息进行视频分割处理，得到视频片段；

403、获取待检测物体的物体信息；

本实施例中，所述物体信息即物体名称，如：钥匙、杯子。

404、基于所述物体信息，对所述待检测物体进行特征提取处理，得到待检测物体特征；

本实施例中，基于待检测物体的物体名称，提取这类物体的图像特征，特征提取的方法不限，包括但不限于HOG特征提取、SIFT特征提取、图像局部区域梯度特征提取、图像边缘特征提取或图像角点特征提取。

405、基于所述待检测物体特征检索所述视频片段，返回包含所述待检测物体特征的视频片段；

本实施例中，每隔预置帧数对所述视频片段进行物体检测，识别出当前帧图像中所有物体，对识别出的物体进行特征提取，计算识别出的物体的特征与所述待检测物体特征的相似度，当相似度大于预置阈值时，确定识别到待检测物体，返回当前帧图像所属的视频片段。

本实施例中，物体检测的方法不限，包括但不限于YOLO、SSD、RCNN、Fast RCNN。

406、对所述视频片段进行时序动作提取，得到时序动作提取结果；

407、根据所述时序动作提取结果，生成所述视频片段的文本描述信息。

本发明实施例中，通过对分割的视频片段进行物体检测，选取出包含有指定物体的视频片段，再进行时序特征提取与视频描述生成操作，生成特定条件下的相关描述信息。本发明实施例筛选特定视频片段的方法有助于用户追踪指定物体，尤其是在物品丢失时可以快速过滤视频得到有用信息，方便用户查找。

上面对本发明实施例中用户日常行为数据智能采集方法进行了描述，下面对本发明实施例中用户日常行为数据智能采集处理装置进行描述，请参阅图5，本发明实施例中用户日常行为数据智能采集处理装置一个实施例包括：

信息获取模块501，用于采集用户周围的视频信息；

视频分割模块502，用于对所述视频信息进行视频分割处理，得到视频片段；

动作提取模块503，用于对所述视频片段进行时序动作提取处理，得到时序动作提取结果；

视频描述模块504，用于根据所述时序动作提取结果，生成所述视频片段的文本描述信息。

可选的，在一实施例中，所述视频分割模块502具体用于：

对所述视频信息进行场景识别，得到场景识别结果；根据所述场景识别结果，对所述视频信息进行视频分割处理，得到不同场景下的视频片段。

可选的，在一实施例中，所述动作提取模块503具体用于：

对所述视频片段进行特征提取处理，得到所述视频片段的视频特征；将所述视频特征输入预置时序动作提取模型，得到候选时序动作；对所述候选时序动作进行筛选处理，得到时序动作提取结果，并将所述时序动作提取结果作为候选事件。

可选的，在一实施例中，所述视频描述模块504具体用于：

采用预置时序模型对所述候选事件进行时序排列与事件选择处理，得到对应的事件序列；通过预置视频描述生成模型生成所述事件序列的描述信息，并将所述事件序列的描述信息作为所述视频片段的文本描述信息。

本发明实施例中，获取用户周围的视频信息并对视频信息进行视频分割、时序动作提取操作，根据提取结果自动生成用户视频的描述文字，以此来自动记录用户的日常活动。本发明能够实时地记录用户日常行为数据并转为文本描述信息，极大地提高了用户行为信息记录的效率与准确率，同时便于用户查询历史行为数据。

请参阅图6，本发明实施例中用户日常行为数据智能采集处理装置的另一个实施例包括：

信息获取模块501，用于采集用户周围的视频信息；

视频分割模块502，用于对所述视频信息进行视频分割处理，得到视频片段；

动作提取模块503，用于对所述视频片段进行时序动作提取处理，得到时序动作提取结果；

视频描述模块504，用于根据所述时序动作提取结果，生成所述视频片段的文本描述信息；

视频过滤模块505，用于获取视频过滤条件，根据所述视频过滤条件，对所述视频片段进行视频过滤处理，得到符合所述视频过滤条件的视频片段；

日志生成模块506，用于基于预置文本主题模型，对所述文本描述信息进行主题概括处理，得到所述视频片段的主题；对各所述主题按时间顺序进行排序，得到主题序列；根据所述主题序列与所述位置信息，得到所述用户的日常活动日志；

物体检测模块507，用于获取待检测物体的物体信息；基于所述物体信息，对所述待检测物体进行特征提取处理，得到待检测物体特征；基于所述待检测物体特征检索所述视频片段，返回包含所述待检测物体特征的视频片段。

本发明实施例中，对获取的视频片段进行过滤，对过滤后的视频片段进行时序动作提取与视频描述生成操作，对生成的文本描述信息进行主题提取与记录，生成用户的日常活动日志；或通过对分割的视频片段进行物体检测，选取出包含有指定物体的视频片段，再进行时序特征提取与视频描述生成操作，生成特定条件下的相关描述信息。本发明通过两种方法，筛选出需要的视频片段，减少了后续操作的计算量，提高了计算效率，且筛选特定视频片段的方法有助于用户追踪指定物体，尤其是在物品丢失时可以快速过滤视频得到有用信息，方便用户查找。视频描述生成模型生成的文本描述信息冗长，文本主题模型提取主题，概括了生成的文本描述信息，方便查阅。

上面图5和图6从模块化功能实体的角度对本发明实施例中的用户日常行为数据智能采集处理装置进行详细描述，下面从硬件处理的角度对本发明实施例中电子设备进行详细描述。

图7是本发明实施例提供的一种电子设备的结构示意图，该电子设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processingunits，CPU)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对电子设备500中的一系列指令操作。更进一步地，处理器510可以设置为与存储介质530通信，在电子设备500上执行存储介质530中的一系列指令操作。

电子设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图5示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本发明还提供一种电子设备，所述电子设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述用户日常行为数据智能采集处理方法的步骤。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述用户日常行为数据智能采集处理方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。