基于机器人的烟花爆竹燃放检测方法、装置、介质及设备

技术领域

本发明涉及机器人技术领域，尤其涉及基于机器人的烟花爆竹燃放检测方法、装置、介质及设备。

背景技术

为有效减少环境污染，改善空气质量，防止噪音扰民，营造安全、和谐、绿色的生活环境，多地设置禁放区域和禁放时间段禁止燃放烟花爆竹，并由公安机关检查人员巡查管理。

当前的解决方案主要是通过人力张贴通知、横幅宣传、教育宣传、巡逻检查等方式去劝导和阻止群众在禁放区域和禁放时间燃放烟花爆竹。现有技术主要采用人力张贴通知、横幅宣传、教育宣传等方式去劝导和阻止群众在禁放区域和禁放时间燃放烟花爆竹。或者增加人力巡逻检查，以及增设摄像头对特定位置进行监控。

然而，使用人力巡逻检查无法做到全天候执行任务，即便做到也需要两到三人轮班，重复机械的任务交给人来完成不仅人力资源消耗太大，而且执行效率低，并且烟花爆竹燃放环境对于巡查人员具有一定危险。通过摄像头监控，则增加了设备成本，而且监控范围有限且固定，自动化程度低，无法实现及时报警。

发明内容

本发明实施例提供了一种基于机器人的烟花爆竹燃放检测方法、装置、介质及设备，以解决现有技术在实现烟花爆竹燃放检测时存在的成本高、效率低且覆盖范围有效的问题。

一种基于机器人的烟花爆竹燃放检测方法，所述方法包括：

获取机器人巡检过程中在预设时间窗口内采集到的声音信号、图像信号以及气体信号；

对所述声音信号进行频谱检测，得到存在烟花爆竹燃放的声音概率信息；

对所述图像信号进行画面检测，得到存在烟花爆竹燃放的画面概率信息；

对所述气体信号进行浓度检测，得到存在烟花爆竹燃放的气体概率信息；

根据存在烟花爆竹燃放的声音概率信息、画面概率信息、气体概率信息，执行预警处理。

可选地，所述对所述声音信号进行频谱检测，得到存在烟花爆竹燃放的声音概率信息包括：

对所述声音信号进行降噪和滤波处理，得到预处理后的声音信号；

将预处理后的声音信号输入至预训练的频谱检测模型，得到存在烟花爆竹燃放的声音概率信息。

可选地，所述将预处理后的声音信号输入至预训练的频谱检测模型，得到存在烟花爆竹燃放的声音概率信息包括：

将预处理后的声音信号转换为wav格式的波形文件；

将wav格式的波形文件转换为梅尔频谱图；

将所述梅尔频谱图输入至预训练的卷积神经网络，得到局部特征信息；

将所述梅尔频谱图输入至预训练的循环神经网络，得到时序特征和上下文信息；

根据所述局部特征信息、时序特征和上下文信息得到存在烟花爆竹燃放的声音概率信息。

可选地，所述对所述图像信号进行画面检测，得到存在烟花爆竹燃放的画面概率信息包括：

对所述图像信号进行预处理，包括降噪处理、图像增强处理以及尺寸调整；

将预处理后的图像信息输入至改进后的YOLOv5目标检测网络，得到存在烟花爆竹燃放的画面概率信息。

可选地，所述对所述气体信号进行浓度检测，得到存在烟花爆竹燃放的气体概率信息包括：

对所述气体信号进行特征提取，得到各种气体的浓度数据、时间序列模式、传感器影响曲线；

将各种气体的浓度数据、时间序列模式、传感器影响曲线输入预训练的循环神经网络，得到存在烟花爆竹燃放的气体概率信息。

可选地，所述气体信号包括硫化氢、硫醇。

可选地，所述根据存在烟花爆竹燃放的声音概率信息、画面概率信息、气体概率信息，执行预警处理包括：

分别将所述声音概率信息、画面概率信息、气体概率信息与对应的概率阈值进行比较；

若所述声音概率信息、画面概率信息、气体概率信息均大于或等于预设的概率阈值时，则执行广播告警或者发送告警通知。

一种基于机器人的烟花爆竹燃放检测装置，所述装置包括：

获取模块，用于获取机器人巡检过程中在预设时间窗口内采集到的声音信号、图像信号以及气体信号；

频谱检测模块，用于对所述声音信号进行频谱检测，得到存在烟花爆竹燃放的声音概率信息；

画面检测模块，用于对所述图像信号进行画面检测，得到存在烟花爆竹燃放的画面概率信息；

浓度检测模块，用于对所述气体信号进行浓度检测，得到存在烟花爆竹燃放的气体概率信息；

预警模块，用于根据存在烟花爆竹燃放的声音概率信息、画面概率信息、气体概率信息，执行预警处理。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于机器人的烟花爆竹燃放检测方法。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的基于机器人的烟花爆竹燃放检测方法。

本发明实施例通过获取机器人在巡检过程中采集到的声音信号、图像信号以及气体信号；对所述声音信号进行频谱检测，得到存在烟花爆竹燃放的声音概率信息；对所述图像信号进行画面检测，得到存在烟花爆竹燃放的画面概率信息；对所述气体信号进行浓度检测，得到存在烟花爆竹燃放的气体概率信息；根据存在烟花爆竹燃放的声音概率信息、画面概率信息、气体概率信息，执行预警处理，从而提高了检测的准确性和可靠性，提升了检出的概率以及预警的效率，且覆盖范围广，人力成本低。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的基于机器人的烟花爆竹燃放检测方法的流程图；

图2是本发明一实施例提供的基于机器人的烟花爆竹燃放检测装置的结构示意图；

图3是本发明一实施例中计算机设备的一示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例提供的用于巡逻的机器人，其上设置有多种传感器，包括但不限于摄像头、声音传感器、气体传感器。通过集成多种传感器，机器人可以全方位地监测环境。

本发明实施例提供的基于机器人的烟花爆竹燃放检测方法，在机器人的巡检过程中，通过摄像头采集图像信号，声音传感器采集声音信号以及气体传感器采集气体信号；对所述声音信号进行频谱检测，得到存在烟花爆竹燃放的声音概率信息；对所述图像信号进行画面检测，得到存在烟花爆竹燃放的画面概率信息；对所述气体信号进行浓度检测，得到存在烟花爆竹燃放的气体概率信息；最后根据存在烟花爆竹燃放的声音概率信息、画面概率信息、气体概率信息，执行预警处理；实现了对烟花爆竹燃放的自动化检测及预警，提高了检测的准确性和可靠性，提升了检出的概率以及预警的效率，覆盖范围广，且人力成本低。

以下对本实施例提供的基于机器人的烟花爆竹燃放检测方法进行详细的描述，如图1所示，所述基于机器人的烟花爆竹燃放检测方法包括：

步骤S101，获取机器人巡检过程中在预设时间窗口内采集到的声音信号、图像信号以及气体信号；

步骤S102，对所述声音信号进行频谱检测，得到存在烟花爆竹燃放的声音概率信息；

步骤S103，对所述图像信号进行画面检测，得到存在烟花爆竹燃放的画面概率信息；

步骤S104，对所述气体信号进行浓度检测，得到存在烟花爆竹燃放的气体概率信息；

步骤S105，根据存在烟花爆竹燃放的声音概率信息、画面概率信息、气体概率信息，执行预警处理。

其中，所述声音信号是指通过声音传感器采集到的数据信息，反映的是机器人所巡检环境的声音状况。所述图像信号是指通过摄像头采集到的图像帧，反映的是机器人所巡检环境的事物状态。气体信号是指通过气体传感器采集到的气体数据，反映的是机器人所巡检环境的空气状态。

作为一示例，在步骤S101中，机器人会按照预设的路线在扫描地图范围内进行巡逻，巡逻过程中不断地播放宣传语以起到宣传、劝导或教育的作用，同时分别通过摄像头、声音传感器或气体传感器分别采集图像信号、声音信号以及气体信号。可选地，所述气体传感器根据烟花爆竹的气味成分特征设置，根据所述气体信号包括但不限于硫化氢、硫醇，因此对应的所述气体传感器包括但不限于硫化氢传感器、硫醇传感器。

其中，所述频谱检测是指基于梅尔频谱图提取声音特征，并输出所述声音特征表示烟花爆竹燃放的概率。

作为一示例，在步骤S102中，为了检测环境中是否有烟花爆竹燃放的声音信号，本实施例使用预训练的频谱检测模型，该模型通过训练预设的卷积循环神经网络(CRNN)得到，其中卷积循环神经网络CRNN结合了卷积神经网络(CNN)和循环神经网络(RNN)，能够同时提取声音信号的局部特征，并建模时序关系以捕获动态信息。这种融合方式有效地减少了模型参数和计算量，提高了资源利用效率。

其中，所述画面检测是指基于图像信号提取画面内容，也即巡检环境中的事物状态，并输出所述画面内容属于烟花爆竹燃放的概率。

作为一示例，在步骤S103中，为了检测环境中是否有烟花爆竹燃放的状态信息，本实施例采用了改进的YOLOv5目标检测网络，能够明显提高检测速度而不明显损失准确性，可以在保持良好检测性能的同时，显著减少模型参数和计算量。

其中，所述浓度检测是指基于气体信号提取气味特征，并输出所述气味特征属于烟花爆竹燃放的概率。

作为一示例，在步骤S104中，本实施例采用气体传感器来采集与烟花燃放相关的气味成分，如硫化氢、硫醇等。这些气味成分是烟花爆竹燃烧时产生的特征性物质。接下来，对所述气体信号提取出气味特征，包括但不限于气体浓度、时间序列模式和传感器影响曲线等，然后基于预训练的循环神经网络，得到存在烟花爆竹燃放的气体概率信息。

其中，所述预警处理包括但不限于对燃放者的广播警告、对后台人员的告警通知。

作为一示例，在步骤S105中，本实施例预先设置与声音信号对应的概率阈值，与图像信号对应的概率阈值，与气体信号对应的概率阈值，分别将所述声音概率信息、画面概率信息、气体概率信息与对应的概率阈值进行比较，若均大于或等于预设的概率阈值时，则认为环境中存在烟花爆竹燃放，则执行广播告警或者发送告警通知。其中，在广播告警中，机器人会立即进行广播劝导，通过扬声器向燃放者发出劝阻的声音消息，提醒其停止燃放烟花爆竹，并告知相关的危险性和法律禁止燃放的信息。在告警通知中，机器人会发送告警通知给后台操作人员，告知他们当前检测到的烟花爆竹燃放事件，并携带告警信息的类型，例如声音、图像或气体告警。如此，后台操作人员可以实时了解情况，并根据需要进行进一步的处理。

本实施例结合声音、图像、气体检测，采用深度学习方式对收集的声音、图片、气体信号进行自动化的分析，使得烟花爆竹燃放检测的准确率和可靠性都得到提高；且通过机器人代替人员执行巡逻任务，可有效减少人员受伤的风险，相比于人力具有高效率执行多任务的优势，从成本上来说性价比更高。

在一实施例中，步骤S102，即对所述声音信号进行频谱检测，得到存在烟花爆竹燃放的声音概率信息包括：

步骤S1021，对所述声音信号进行降噪和滤波处理，得到预处理后的声音信号；

步骤S1022，将预处理后的声音信号输入至预训练的频谱检测模型，得到存在烟花爆竹燃放的声音概率信息。

作为一示例，在步骤S1021中，本实施例对从声音传感器，也即麦克风，采集到的环境音进行降噪和滤波处理，以减少信号中的噪声，并确保声音清晰准确，从而避免误判。

在步骤S1022中，对于预处理后的声音信号，本实施例转换为梅尔图谱，然后输入预先训练好的频谱检测模型，通过对输入的梅尔频谱图进行分析，并输出一个表示存在烟花爆竹燃放声音可能性的概率。在训练模型时，首先收集烟花和爆竹燃放的音频作为训练素材。由于这些音频素材通常以mp3格式存在，因此需要使用格式转换软件转换为wav格式的波形文件。然后，利用TensorFlow Audio库将wav格式的音频转换成梅尔频谱图。梅尔频谱图是从声音信号中提取的，在图像上展示了频率、振幅和能量等特征。然后采用卷积神经网络对梅尔频谱图进行训练，提取局部特征。同时，梅尔频谱图还具有时序特征，因此本实施例还采用循环神经网络来捕捉梅尔频谱图的时序特征和上下文信息。通过将梅尔频谱图输入到卷积循环神经网络CRNN中，训练网络以理解音频数据的时序变化和语义内容。

作为本发明的一个优选示例，所述步骤S1022，即将预处理后的声音信号输入至预训练的频谱检测模型，得到存在烟花爆竹燃放的声音概率信息，包括：

将预处理后的声音信号转换为wav格式的波形文件；

将wav格式的波形文件转换为梅尔频谱图；

将所述梅尔频谱图输入至预训练的卷积神经网络，得到局部特征信息；

将所述梅尔频谱图输入至预训练的循环神经网络，得到时序特征和上下文信息；

根据所述局部特征信息、时序特征和上下文信息得到存在烟花爆竹燃放的声音概率信息。

本实施例在检测烟花爆竹燃放的声音信号时，将经过预处理后的声音信号转换为wav格式的波形文件，继而转换为梅尔频谱图，并将其输入至预先训练好的卷积循环神经网络CRNN中，通过卷积循环神经网络对输入的梅尔频谱图进行分析，并输出一个表示存在烟花和爆竹燃放声音可能性的概率信息。

可选地，作为本发明的一个优选示例，本实施例根据预先设置概率阈值，比如0.5，然后判断上述声音概率信息是否大于或等于所述概率阈值。如果大于或等于，则判定声音信号中存在烟花爆竹燃放声音；否则，判定为不存在。通过以上流程，对实时音频进行预处理和模型推理，可以实现对烟花爆竹燃放声音的快速检测。

在一实施例中，步骤S103，即对所述图像信号进行画面检测，得到存在烟花爆竹燃放的画面概率信息，包括：

步骤S1031，对所述图像信号进行预处理，包括降噪处理、图像增强处理以及尺寸调整；

步骤S1032，将预处理后的图像信息输入至改进后的YOLOv5目标检测网络，得到存在烟花爆竹燃放的画面概率信息。

其中，所述改进后的YOLOv5目标检测网络是指采用Mobilenet作为主干网络的YOLOv5目标检测网络，能够解决现有YOLOv5主干网络庞大而导致检测速度慢的问题，提高了检测速度的同时不明显损失准确性。通过将Mobilenet应用于YOLOv5的主干网络，可以在保持良好检测性能的同时，显著减少模型参数和计算量。

在训练阶段，本实施例收集包含烟花爆竹燃放画面的图像数据集，并针对这些图像进行标注。利用这些标注数据对YOLOv5模型进行训练，确保模型能够理解烟花爆竹的特征，并进行准确的目标检测。当进行实时图像检测时，首先对采集到的图像信息进行预处理，包括但不限于降噪、图像增强和尺寸调整。然后，将预处理后的图像信息输入到经过改进后的YOLOv5目标检测网络中进行目标检测分析，并输出一个表示存在烟花和爆竹燃放画面可能性的概率值。本实施例根据预先设置的概率阈值，比如0.5，当所述画面概率信息大于或等于所述概率阈值时，则判定环境画面中存在烟花爆竹燃放；否则，判定为不存在。通过以上流程，本实施例利用轻量级神经网络Mobilenet替换YOLOv5主干网络，实现了对图像中烟花爆竹燃放画面的快速检测。

在一实施例中，步骤S104，即对所述气体信号进行浓度检测，得到存在烟花爆竹燃放的气体概率信息，包括：

步骤S1041，对所述气体信号进行特征提取，得到各种气体的浓度数据、时间序列模式、传感器影响曲线；

步骤S1042，将各种气体的浓度数据、时间序列模式、传感器影响曲线输入预训练的循环神经网络，得到存在烟花爆竹燃放的气体概率信息。

其中，所述气体的浓度数据表示烟花爆竹气味成分中的气体强度，时间序列模式表示烟花爆竹燃放过程中气味浓度的变化趋势，传感器影响曲线表示传感器对烟花爆竹各种气体气味的响应特性。本实施例对每一种气体传感器可以采集到的气体信息进行特征分类及筛选，得到所需的气体特征，包括但不限于上述的气体的浓度数据、时间序列模式、传感器影响曲线。

考虑到燃放烟花爆竹产生的气体浓度具有动态性，本实施例使用在处理时序性数据较优的循环神经网络RNN来训练气体检测模型。通过输入气体的浓度数据、时间序列模式、传感器影响曲线，循环神经网络R NN能够学习到气体浓度随时间的变化规律，并在未来的时间点上预测烟花爆竹的燃放情况，通过分析烟花爆竹燃放后的气味浓度时序变化特征，以与其他气味做区分。

在训练阶段，使用已标注的气体的浓度数据、时间序列模式、传感器影响曲线作为样本输入，对循环神经网络RNN进行训练，以使循环神经网络能够理解与烟花爆竹燃放相关的气体的浓度数据，并进行准确的检测和分类。

在实际应用中，将实时采集到的气体浓度数据、时间序列模式、传感器影响曲线输入到经过训练的循环神经网络RNN中，分析这些数据并输出一个表示环境中存在烟花爆竹燃放气体的气体概率信息。由于每一种气体都对应一个气体概率信息，比如硫化物对应另一个气体概率信息，硫醇对应一个气体概率。本实施例根据预先设置的概率阈值，比如0.5，将每一个气体概率信息分别与所述概率阈值进行比较，当且仅当所有的气体概率信息均大于或等于所述概率阈值时，可以判断当前环境中存在烟花爆竹燃放气体；否则认为不存在；从而实现对烟花爆竹燃放的快速检测以及保证气体烟花爆竹燃放的检测准确度。

可选选，作为本发明的一个优选示例，在步骤S105之后，所述基于机器人的烟花爆竹燃放检测方法，还包括：

将所述预设窗口内的图像信息、声音信号、气体信号进行关联，存储为一次告警事件；

对所存储的告警事件进行分析，得到告警事件对应的发生区域或发生时段；

根据发生区域或发生时段对应的告警事件个数对所述发生区域或发生时段进行排序；

根据所述排序选取目标发生区域或目标发生时段，优化机器人对所述目标发生区域或目标发生时段的巡检频率。

在这里，当通过步骤S105判断所述预设时间窗口内存在烟花爆竹燃放并执行告警处理后，本实施例进一步将所述预设时间窗口内的图像信息、声音信号、气体信号进行关联，并存储为一次告警事件。为了提高机器人巡逻效率，本实施例对历史的告警事件进行记录和分析，得到告警事件对应的发生区域或发生时段。其中，发生区域可以通过对图像信息进行标志物检测得到，发生时段可以时间窗口的时间戳得到。然后根据根据历史告警事件的发生区域和发生时段进行分析，按照发生区域或发生时段对告警事件进行分类，得到发生区域或发生时段对应的告警事件个数以及基于个数的排序情况，并优化后续巡逻策略。示例性地，在历史的告警事件中发现某个时间段或区域频繁发生烟花爆竹燃放，则增加机器人对该时间段和区域的巡逻频率，以提高警戒和阻止的效果。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在一实施例中，本发明还提供一种基于机器人的烟花爆竹燃放检测装置，该基于机器人的烟花爆竹燃放检测装置与上述实施例中基于机器人的烟花爆竹燃放检测方法一一对应。如图2所示，该基于机器人的烟花爆竹燃放检测装置包括获取模块21、频谱检测模块22、画面检测模块23、浓度检测模块24、预警模块25。各功能模块详细说明如下：

获取模块21，用于获取机器人巡检过程中在预设时间窗口内采集到的声音信号、图像信号以及气体信号；

频谱检测模块22，用于对所述声音信号进行频谱检测，得到存在烟花爆竹燃放的声音概率信息；

画面检测模块23，用于对所述图像信号进行画面检测，得到存在烟花爆竹燃放的画面概率信息；

浓度检测模块24，用于对所述气体信号进行浓度检测，得到存在烟花爆竹燃放的气体概率信息；

预警模块25，用于根据存在烟花爆竹燃放的声音概率信息、画面概率信息、气体概率信息，执行预警处理。

可选地，所述频谱检测模块22包括：

声音预处理单元，用于对所述声音信号进行降噪和滤波处理，得到预处理后的声音信号；

频谱检测单元，用于将预处理后的声音信号输入至预训练的频谱检测模型，得到存在烟花爆竹燃放的声音概率信息。

可选地，所述频谱检测单元包括：

第一转换子单元，用于将预处理后的声音信号转换为wav格式的波形文件；

第二转换子单元，用于将wav格式的波形文件转换为梅尔频谱图；

局部特征提取子单元，用于将所述梅尔频谱图输入至预训练的卷积神经网络，得到局部特征信息；

时序特征提取子单元，用于将所述梅尔频谱图输入至预训练的循环神经网络，得到时序特征和上下文信息；

声音概率获取单元，用于根据所述局部特征信息、时序特征和上下文信息得到存在烟花爆竹燃放的声音概率信息。

可选地，所述画面检测模块23包括：

图像预处理单元，用于对所述图像信号进行预处理，包括降噪处理、图像增强处理以及尺寸调整；

目标检测单元，用于将预处理后的图像信息输入至改进后的YOLOv5目标检测网络，得到存在烟花爆竹燃放的画面概率信息。

可选地，所述浓度检测模块24包括：

气体特征提取单元，用于对所述气体信号进行特征提取，得到各种气体的浓度数据、时间序列模式、传感器影响曲线；

气体概率检测单元，用于将各种气体的浓度数据、时间序列模式、传感器影响曲线输入预训练的循环神经网络，得到存在烟花爆竹燃放的气体概率信息。

可选地，所述气体信号包括硫化氢、硫醇。

可选地，所述预警模块25包括：

比较单元，用于分别将所述声音概率信息、画面概率信息、气体概率信息与对应的概率阈值进行比较；

预警单元，用于若所述声音概率信息、画面概率信息、气体概率信息均大于或等于预设的概率阈值时，则执行广播告警或者发送告警通知。

基于机器人的烟花爆竹燃放检测装置的具体限定可以参见上文中对于基于机器人的烟花爆竹燃放检测方法的限定，在此不再赘述。上述基于机器人的烟花爆竹燃放检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于机器人的烟花爆竹燃放检测方法。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：

获取机器人巡检过程中在预设时间窗口内采集到的声音信号、图像信号以及气体信号；

对所述声音信号进行频谱检测，得到存在烟花爆竹燃放的声音概率信息；

对所述图像信号进行画面检测，得到存在烟花爆竹燃放的画面概率信息；

对所述气体信号进行浓度检测，得到存在烟花爆竹燃放的气体概率信息；

根据存在烟花爆竹燃放的声音概率信息、画面概率信息、气体概率信息，执行预警处理。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。