一种抽烟检测方法、装置、设备和存储介质

技术领域

本申请涉及目标检测技术领域，尤其涉及一种抽烟检测方法、装置、设备和存储介质。

背景技术

随着安防行业的快速发展，特定领域对人员行为的监控需求越来越高。目前，在餐饮行业，流行明厨亮灶做法，即餐饮服务提供者采用透明玻璃、视频监控等方式，向社会公众展示餐饮服务相关过程的一种形式。使餐饮顾客或者企业管理人员可以直观地看到后厨员工的操作是否规范，厨房卫生是否合格，是否有一些不应该出现的物品，员工是否有违规行为。明厨亮灶是对餐饮企业员工的一种监督，其中抽烟检测，是明厨亮灶的一个重要内容，是保证厨房卫生、安全，员工行为合规的重要手段。

现有技术将待测图像输入以烟体为目标的目标检测模型，确定疑似香烟，再识别待测图像中的多个人脸关键点，并利用人脸关键点确定嘴部范围，计算疑似香烟范围与嘴部范围之间的匹配参数，从而实现抽烟检测。如果抽烟人员手中长时间拿着香烟，该方法只和嘴部进行匹配的方法，存在遗漏的情况，并且在实际场所，有大量的干扰背景噪声影响，导致误检率较高。

发明内容

本申请提供了一种抽烟检测方法、装置、设备和存储介质，用于改善现有的抽烟检测方法存在漏检、误检率较高的技术问题。

有鉴于此，本申请第一方面提供了一种抽烟检测方法，包括：

采集目标场所图像作为待检测图像，将所述待检测图像输入到抽烟检测模型中进行目标检测，得到初步检测结果，所述抽烟检测模型检测的目标包括人、人脸、手掌和烟体；

判断所述初步检测结果中是否存在烟体，若不存在，则输出无人抽烟的检测结果，若存在，则判断烟体是否在人体检测区域内；

若烟体不在人体检测区域内，则输出无人抽烟的检测结果，若烟体在人体检测区域内，则进一步判断烟体是否在人脸检测区域内或手掌检测区域内，若否，则输出无人抽烟的检测结果，若是，则将所述初步检测结果中烟体预测框对应的图像输入到分类模型进行烟体分类，若分类结果为烟体，则输出有人抽烟以及烟体位置的检测结果，若分类结果为非烟体，则输出无人抽烟的检测结果。

可选的，所述抽烟检测模型的训练过程为：

获取含抽烟的样本图像，并对所述样本图像中的目标进行标注，得到第一数据集，标注目标包括人、人脸、手掌和烟体；

将所述第一数据集中的训练样本输入到预置检测网络中，通过所述预置检测网络对所述第一数据集的标注信息进行K-means聚类，得到所述第一数据集的锚框值；

通过所述预置检测网络对所述训练样本进行特征提取，基于所述锚框值和提取到的特征图生成候选框，基于所述候选框进行目标检测处理，确定目标的预测框，并基于所述预测框的特征图确定目标的类别置信度，得到所述训练样本的检测结果；

根据所述训练样本的检测结果和标注信息计算损失值，并通过所述损失值更新所述预置检测网络的网络参数，直至所述预置检测网络收敛，得到训练好的预置检测模型；

基于所述训练好的预置检测模型获取抽烟检测模型。

可选的，所述基于所述训练好的预置检测模型获取抽烟检测模型，包括：

将所述训练好的预置检测模型作为抽烟检测模型；

或，采集目标场所的抽烟图像，并对所述抽烟图像中的目标进行标注，得到第二数据集，并通过所述第二数据集对所述训练好的预置检测模型进行微调优化，得到抽烟检测模型。

可选的，所述将所述第一数据集中的训练样本输入到预置检测网络中，之前还包括：

对所述第一数据集进行数据增强处理，具体过程为：

S1、从所述第一数据集中抽取n张图像；

S2、从n张图像中随机抽取m张图像，n>m>0；

S3、对m张图像进行随机裁剪，并将随机裁剪后的图像拼接为一张图像作为所述第一数据集的新图像，返回步骤S2，直至抽取次数为n次，得到数据增强后的第一数据集。

可选的，所述预置检测网络为在Yolov5网络基础上增加一个4倍下采样层和一个检测层得到的改进后的Yolov5网络。

可选的，所述分类模型的训练过程为：

获取包含烟体的正样本数据和不包含烟体的负样本数据，得到第三数据集；

通过所述第三数据集对卷积神经网络进行预训练，得到基础分类预训练模型；

从目标场所获取包含烟体的正样本数据和不包含烟体的负样本数据，得到第四数据集；

通过所述第四数据集对所述基础分类预训练模型进行微调优化，得到最终的分类模型。

本申请第二方面提供了一种抽烟检测装置，包括：

检测单元，用于采集目标场所图像作为待检测图像，将所述待检测图像输入到抽烟检测模型中进行目标检测，得到初步检测结果，所述抽烟检测模型检测的目标包括人、人脸、手掌和烟体；

判断单元，用于判断所述初步检测结果中是否存在烟体，若不存在，则输出无人抽烟的检测结果，若存在，则判断烟体是否在人体检测区域内；

分类单元，用于若烟体不在人体检测区域内，则输出无人抽烟的检测结果，若烟体在人体检测区域内，则进一步判断烟体是否在人脸检测区域内或手掌检测区域内，若否，则输出无人抽烟的检测结果，若是，则将所述初步检测结果中烟体预测框对应的图像输入到分类模型进行烟体分类，若分类结果为烟体，则输出有人抽烟以及烟体位置的检测结果，若分类结果为非烟体，则输出无人抽烟的检测结果。

可选的，所述抽烟检测模型的训练过程为：

获取含抽烟的样本图像，并对所述样本图像中的目标进行标注，得到第一数据集，标注目标包括人、人脸、手掌和烟体；

将所述第一数据集中的训练样本输入到预置检测网络中，通过所述预置检测网络对所述第一数据集的标注信息进行K-means聚类，得到所述第一数据集的锚框值；

通过所述预置检测网络对所述训练样本进行特征提取，基于所述锚框值和提取到的特征图生成候选框，基于所述候选框进行目标检测处理，确定目标的预测框，并基于所述预测框的特征图确定目标的类别置信度，得到所述训练样本的检测结果；

根据所述训练样本的检测结果和标注信息计算损失值，并通过所述损失值更新所述预置检测网络的网络参数，直至所述预置检测网络收敛，得到训练好的预置检测模型；

基于所述训练好的预置检测模型获取抽烟检测模型。

本申请第三方面提供了一种抽烟检测设备，所述设备包括处理器以及存储器；

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行第一方面任一种所述的抽烟检测方法。

本申请第四方面提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码被处理器执行时实现第一方面任一种所述的抽烟检测方法。

从以上技术方案可以看出，本申请具有以下优点：

本申请提供了一种抽烟检测方法，包括：采集目标场所图像作为待检测图像，将待检测图像输入到抽烟检测模型中进行目标检测，得到初步检测结果，抽烟检测模型检测的目标包括人、人脸、手掌和烟体；判断初步检测结果中是否存在烟体，若不存在，则输出无人抽烟的检测结果，若存在，则判断烟体是否在人体检测区域内；若烟体不在人体检测区域内，则输出无人抽烟的检测结果，若烟体在人体检测区域内，则进一步判断烟体是否在人脸检测区域内或手掌检测区域内，若否，则输出无人抽烟的检测结果，若是，则将初步检测结果中烟体预测框对应的图像输入到分类模型进行烟体分类，若分类结果为烟体，则输出有人抽烟以及烟体位置的检测结果，若分类结果为非烟体，则输出无人抽烟的检测结果。

本申请中，在采集目标场所图像得到待检测图像后，通过抽烟检测模型对待检测图像进行人、人脸、手掌和烟体的目标检测，得到初步检测结果，若检测到待检测图像中存在烟体，则进一步判断烟体是否在人体检测区域内，实现烟体检测和烟体定位检测，可以有效避免非人体区域的非烟体误报带来的误检问题；在检测到烟体在人体检测区域后，进一步判断烟体是否在人脸检测区域内或手掌检测区域内，可以有效减少漏检、误检的情况，并且在初步判断到有人抽烟后，进一步将初步检测结果中烟体预测框对应的图像输入到分类模型进行二次识别，进一步减少误检，提高检测准确率，改善了现有的抽烟检测方法存在漏检、误检率较高的技术问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例提供的一种抽烟检测方法的一个流程示意图；

图2为本申请实施例提供的一种数据增强过程的示意图；

图3为本申请实施例提供的一种现有的Yolov5网络的一个结构示意图；

图4为本申请实施例提供的一种改进后的Yolov5网络的一个结构示意图；

图5为本申请实施例提供的一种抽烟检测装置的一个结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了便于理解，请参阅图1，本申请实施例提供了一种抽烟检测方法，包括：

步骤101、采集目标场所图像作为待检测图像，将待检测图像输入到抽烟检测模型中进行目标检测，得到初步检测结果。

针对要监测抽烟行为的目标场所(如餐厅后厨)，可以在目标场所安装摄像头来采集目标场所图像，得到待检测图像。

将待检测图像输入到抽烟检测模型中进行目标检测，得到初步检测结果。本申请实施例中的抽烟检测模型可以实现目标类别检测和目标定位，检测的目标包括人、人脸、手掌以及烟体。

进一步，抽烟检测模型的训练过程为：

A1、获取含抽烟的样本图像，并对样本图像中的目标进行标注，得到第一数据集，标注目标包括人、人脸、手掌和烟体；

可以从公开的数据集中获取含抽烟的样本图像，并对样本图像中的人、人脸、手掌和烟体进行标注，得到第一数据集，在标注时，除了标注出具体的目标类别，还需要标注框，即具体标注出人体区域、人脸区域、手掌区域以及烟体区域，从而得到各目标的真实框。

A2、将第一数据集中的训练样本输入到预置检测网络中，通过预置检测网络对第一数据集的标注信息进行K-means聚类，得到第一数据集的锚框值；

可以将得到的第一数据集中的样本按照一定比例划分为训练样本和测试样本，将第一数据集中的训练样本输入到预置检测网络进行训练，然后通过测试样本进行测试。

将训练样本输入到预置检测网络中后，预置检测网络会先利用第一数据集中的标注信息(即标注框的位置信息)进行K-means聚类，计算得到第一数据集的锚框(anchor)值，因为预置检测网络在训练的时候，预置检测网络在初始锚框的基础上输出预测框，进而和真实框进行比对，计算两者的差值，再反向更新迭代网络参数。先计算得到第一数据集的anchor值，可以让预置检测网络针对第一数据集的训练更容易收敛，从而减少训练时间。

进一步，将第一数据集中的训练样本输入到预置检测网络中之前还可以对第一数据集进行预处理、数据增强处理，通过数据增强处理可以增强第一数据集的多样性，特别是小目标数据集的多样性。对第一数据集进行数据增强处理的具体过程可以为：

S1、从第一数据集中抽取n张图像；

S2、从n张图像中随机抽取m张图像，n>m>0；

S3、对m张图像进行随机裁剪，并将随机裁剪后的图像拼接为一张图像作为第一数据集的新图像，返回步骤S2，直至抽取次数为n次，得到数据增强后的第一数据集。

对数据集进行数据增强的过程可以参考图2，从第一数据集中抽取一个Batch图像(如n张图像，n>0)，然后从这n张图像中随机取出m张图像(例如4张图像)，n>m>0，然后对这m张图像进行随机裁剪，再拼接为一个新图像，重复该过程n次，可以得到n张新图像，这样做的好处是丰富了图像的背景，并且多张图像拼接在一起变相地提高了图像的尺寸，同时在拼接后，图像里面的目标物体尺度变得更多样化，通过数据增强后的数据集训练模型，有助于提高模型性能。

A3、通过预置检测网络对训练样本进行特征提取，基于锚框值和提取到的特征图生成候选框，基于候选框进行目标检测处理，确定目标的预测框，并基于预测框的特征图确定目标的类别置信度，得到训练样本的检测结果；

通过预置检测网络对训练样本进行特征提取，得到多个尺度的特征图，预置检测网络基于锚框值和提取到的特征图生成候选框，然后基于候选框进行人体、人脸、手掌和烟体检测处理，确定检测出的人体、人脸、手掌和烟体的预测框，再基于预测框的特征图确定人体、人脸、手掌和烟体的类别置信度，从而得到训练样本的检测结果(包括类别置信度和预测框)。

进一步，本申请实施例中的预置检测网络优选为在Yolov5网络基础上增加一个4倍下采样层和一个检测层得到的改进后的Yolov5网络。

为了更好的检测小目标，本申请实施例在Yolov5网络的基础上增加小目标检测层，原始的Yolov5网络如图3所示，假设输入一张416*416像素的图像，经过金字塔层多次下采样，Yolov5最终检测层会得到三个特征网络，特征图大小分别为52*52、26*26、13*13，对应特征图能检测输入图像中最小目标的像素为8*8、16*16、32*32。在实际监控图像中，很多远距离的抽烟像素较小，为了提升小目标的检测效果，本申请实施例在Yolov5网络增加一个检测层以及增加一个4倍下采样层，得到的改进后的Yolov5网络的结构如图4所示，改进后的Yolov5网络对应特征图能检测图像中最小目标的像素为4*4、8*8、16*16、32*32。

A4、根据训练样本的检测结果和标注信息计算损失值，并通过损失值更新预置检测网络的网络参数，直至预置检测网络收敛，得到训练好的预置检测模型；

根据训练样本的检测结果和标注信息(包括类别、真实框)计算损失值，损失值包括分类损失值和定位损失值，分类损失值可以根据训练样本的类别置信度和实际类别计算得到，定位损失值可以通过训练样本的预测框和真实框计算得到。

通过计算得到的损失值反向更新预置检测网络的网络参数，对预置检测网络多次迭代训练，直至预置检测网络收敛，得到训练好的预置检测模型。可以设置最大迭代次数，若训练的迭代次数达到最大迭代次数，则判定预置检测网络收敛，或者，可以每迭代训练预置检测网络若干次，则采用测试样本对其进行测试，若测试误差或准确率满足预置要求，则判定预置检测网络收敛。

A5、基于训练好的预置检测模型获取抽烟检测模型。

在一种实施例中，可以直接将训练好的预置检测模型作为抽烟检测模型，用于目标检测。

在另一种实施例中，为了进一步提高检测准确率，可以采集目标场所的抽烟图像，并对抽烟图像中的目标(人体、人脸、手掌和烟体)进行标注，得到第二数据集，并通过第二数据集对训练好的预置检测模型进行微调优化，得到抽烟检测模型。在初步预训练好预置检测模型后，可以进一步采集实际需要监测的目标场所的抽烟图像，并对抽烟图像中的人体、人脸、手掌和烟体进行类别和位置标注，得到第二数据集，再通过第二数据集中的训练样本对训练好的预置检测模型进行再次训练，以微调优化预置检测模型，直至模型收敛，得到最终的抽烟检测模型。

步骤102、判断初步检测结果中是否存在烟体，若不存在，则输出无人抽烟的检测结果，若存在，则判断烟体是否在人体检测区域内。

若抽烟检测模型对待检测图像进行检测，得到的初步检测结果中不存在烟体，则输出无人抽烟的检测结果。

若初步检测结果中存在烟体，则进一步判断烟体是否在人体检测区域内，若初步检测结果中未有人体检测结果，即未检测到待检测图像中存在人，则直接判定烟体不在人体检测区域内，若初步检测结果中有人体检测结果，即检测到待检测图像中存在人，可以根据抽烟检测模型输出的烟体预测框的位置信息和人体预测框的位置信息来确定烟体是否在人体检测区域内，若烟体预测框在人体预测框内，则判定烟体在人体检测区域内，反之，则判定烟体不在人体检测区域内。

步骤103、若烟体不在人体检测区域内，则输出无人抽烟的检测结果，若烟体在人体检测区域内，则进一步判断烟体是否在人脸检测区域内或手掌检测区域内，若否，则输出无人抽烟的检测结果，若是，则将初步检测结果中烟体预测框对应的图像输入到分类模型进行烟体分类，若分类结果为烟体，则输出有人抽烟以及烟体位置的检测结果，若分类结果为非烟体，则输出无人抽烟的检测结果。

若烟体不在人体检测区域内，则输出无人抽烟的检测结果。若烟体在人体检测区域内，则进一步判断烟体是否在人脸检测区域内或手掌检测区域内，可以根据初步检测结果中的人脸预测框的位置信息和烟体预测框的位置信息确定烟体是否在人脸检测区域内，可以根据初步检测结果中的手掌预测框的位置信息和烟体的位置信息确定烟体是否在手掌检测区域内，若判断到烟体不在人脸检测区域内，也不在手掌检测区域内，则输出无人抽烟的检测结果；若判断到烟体在人脸检测区域内或手掌检测区域内，则可以初步判断出有人抽烟。

为了达到更准确的检测结果，本申请实施例在初步判断出有人抽烟后，将初步检测结果中烟体预测框对应的图像提取出来输入到分类模型进行烟体分类，通过分类模型进一步识别该烟体预测框中的目标是否为烟体，得到分类结果，若分类结果为烟体，则输出有人抽烟以及烟体位置(即烟体预测框的位置信息)的检测结果，若分类结果为非烟体，则输出无人抽烟的检测结果。本申请实施例在烟体检测模型后级联分类模型进行二次识别，利用多个模型的组合优势实现更准确的抽烟检测识别，减少检测模型误报，能够有效提升检测准确率。本申请实施例中的抽烟检测方法相比于采用人体关键点检测方法提取嘴部、手部关键点来截取局部图像，再将局部图像输入到模型中进行抽烟检测的方式的检测准确率更高，利用嘴部和手部关键点来截取可能含有烟体的局部图像具有一定的不确定性，截取区域大小的选择不确定，截取区域大小选择不准，难以保证准确截取到烟的位置，并且，人体关键点对于侧面和背面的人员的检测难度较大，反而会提高误检率，影响检测准确性。

进一步，分类模型的训练过程为：

获取包含烟体的正样本数据和不包含烟体的负样本数据，得到第三数据集；

通过第三数据集对卷积神经网络进行预训练，得到基础分类预训练模型；

从目标场所获取包含烟体的正样本数据和不包含烟体的负样本数据，得到第四数据集；

通过第四数据集对基础分类预训练模型进行微调优化，得到最终的分类模型。

本申请实施例中，在采集目标场所图像得到待检测图像后，通过抽烟检测模型对待检测图像进行人、人脸、手掌和烟体的目标检测，得到初步检测结果，若检测到待检测图像中存在烟体，则进一步判断烟体是否在人体检测区域内，实现烟体检测和烟体定位检测，可以有效避免非人体区域的非烟体误报带来的误检问题；在检测到烟体在人体检测区域后，进一步判断烟体是否在人脸检测区域内或手掌检测区域内，可以有效减少漏检、误检的情况，并且在初步判断到有人抽烟后，进一步将初步检测结果中烟体预测框对应的图像输入到分类模型进行二次识别，进一步减少误检，提高检测准确率，改善了现有的抽烟检测方法存在漏检、误检率较高的技术问题。

以上为本申请提供的一种抽烟检测方法的一个实施例，以下为本申请提供的一种抽烟检测装置的一个实施例。

请参考图5，本申请实施例提供的一种抽烟检测装置，包括：

检测单元，用于采集目标场所图像作为待检测图像，将待检测图像输入到抽烟检测模型中进行目标检测，得到初步检测结果，抽烟检测模型检测的目标包括人、人脸、手掌和烟体；

判断单元，用于判断初步检测结果中是否存在烟体，若不存在，则输出无人抽烟的检测结果，若存在，则判断烟体是否在人体检测区域内；

分类单元，用于若烟体不在人体检测区域内，则输出无人抽烟的检测结果，若烟体在人体检测区域内，则进一步判断烟体是否在人脸检测区域内或手掌检测区域内，若否，则输出无人抽烟的检测结果，若是，则将初步检测结果中烟体预测框对应的图像输入到分类模型进行烟体分类，若分类结果为烟体，则输出有人抽烟以及烟体位置的检测结果，若分类结果为非烟体，则输出无人抽烟的检测结果。

作为进一步地改进，抽烟检测模型的训练过程为：

获取含抽烟的样本图像，并对样本图像中的目标进行标注，得到第一数据集，标注目标包括人、人脸、手掌和烟体；

将第一数据集中的训练样本输入到预置检测网络中，通过预置检测网络对第一数据集的标注信息进行K-means聚类，得到第一数据集的锚框值；

通过预置检测网络对训练样本进行特征提取，基于锚框值和提取到的特征图生成候选框，基于候选框进行目标检测处理，确定目标的预测框，并基于预测框的特征图确定目标的类别置信度，得到训练样本的检测结果；

根据训练样本的检测结果和标注信息计算损失值，并通过损失值更新预置检测网络的网络参数，直至预置检测网络收敛，得到训练好的预置检测模型；

基于训练好的预置检测模型获取抽烟检测模型。

作为进一步地改进，分类模型的训练过程为：

获取包含烟体的正样本数据和不包含烟体的负样本数据，得到第三数据集；

通过第三数据集对卷积神经网络进行预训练，得到基础分类预训练模型；

从目标场所获取包含烟体的正样本数据和不包含烟体的负样本数据，得到第四数据集；

通过第四数据集对基础分类预训练模型进行微调优化，得到最终的分类模型。

本申请实施例中，在采集目标场所图像得到待检测图像后，通过抽烟检测模型对待检测图像进行人、人脸、手掌和烟体的目标检测，得到初步检测结果，若检测到待检测图像中存在烟体，则进一步判断烟体是否在人体检测区域内，实现烟体检测和烟体定位检测，可以有效避免非人体区域的非烟体误报带来的误检问题；在检测到烟体在人体检测区域后，进一步判断烟体是否在人脸检测区域内或手掌检测区域内，可以有效减少漏检、误检的情况，并且在初步判断到有人抽烟后，进一步将初步检测结果中烟体预测框对应的图像输入到分类模型进行二次识别，进一步减少误检，提高检测准确率，改善了现有的抽烟检测方法存在漏检、误检率较高的技术问题。

本申请实施例还提供了一种抽烟检测设备，设备包括处理器以及存储器；

存储器用于存储程序代码，并将程序代码传输给处理器；

处理器用于根据程序代码中的指令执行前述方法实施例中的抽烟检测方法。

本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码被处理器执行时实现前述方法实施例中的抽烟检测方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：RandomAccess Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。