基于多帧空间注意力机制的运动目标检测方法

技术领域

本申请实施例涉及计算机视觉技术领域，特别涉及一种基于多帧空间注意力机制的运动目标检测方法。

背景技术

运动目标检测技术是计算机视觉应用中的重要研究内容，该技术被广泛应用于自然灾害应急响应、智能化交通检测、人体动作识别、重大工程安防监控等领域，并随着计算机技术与信息技术的发展不断扩大着应用范围。随着当前社会对智能化应用需求的不断增加，运动目标检测技术可以为进一步的目标检测、目标跟踪等其他视觉任务提供数据信息，对特定目标进行实时监控，提高各行业智能化程度，更好的服务于社会发展。

目前较为常用的运动目标检测技术主要有帧间差分法、光流法、背景建模法三种，依靠以上三种传统方法，可以实现将运动目标从背景图像中分离，从而提取出连续帧中的运动区域。但由于需要检测的视频种类多样，可能包含较多噪声、目标运动过于缓慢或迅速、存在大光比或光线变化等干扰现象，应用以上传统方法的检测结果会出现目标空洞、虚假目标等问题，不能满足检测任务的需求。

随着深度学习技术的发展，越来越多的计算机视觉任务可以通过深度学习来完成，且效果往往好于传统算法。深度学习利用多层神经网络模拟人类大脑进行识别与认知，从数据中自主学习规律与特征，省去手工设计的过程，能够端到端的实现各种计算机视觉任务。利用深度学习进行运动目标检测，能够获得相比于传统算法更高的精度，更好的应对复杂场景中的检测。

然而，深度学习技术需要使用大量的数据对模型进行预训练，并且检测精度的提升空间有限，针对未训练过的的新视频序列的检测效果差，难以直接快速应用在新场景的运动目标检测中。

发明内容

本申请实施例的目的在于提供一种基于多帧空间注意力机制的运动目标检测方法，通过二次训练使检测模型适配新场景，通过注意力门将有限的注意力集中在重要信息区域上，获得更好的特征提取与特征聚合效果，从而对新场景视频中的运动目标进行精确检测。

为解决上述技术问题，本申请的实施例提供了一种基于多帧空间注意力机制的运动目标检测方法，包括以下步骤：使用预设的第一训练集对预构建的检测模型进行预训练；其中，所述预构建的检测模型由特征提取网络、注意力门网络、特征聚合网络和前景分类网络构成；从待检测视频中截取部分视频帧进行运动目标标注，生成第二训练集；冻结所述特征提取网络、所述注意力门网络和所述特征聚合网络，使用所述第二训练集对预训练后的检测模型进行二次训练；将所述待检测视频输入至二次训练后的检测模型中，得到所述待检测视频的运动目标检测结果；其中，所述注意力门网络用于对不同帧之间的特征进行空间注意力计算，得到显著区域特征。

本申请的实施例还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的基于多帧空间注意力机制的运动目标检测方法。

本申请的实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于多帧空间注意力机制的运动目标检测方法。

本申请的实施例提供的基于多帧空间注意力机制的运动目标检测方法，通过注意力门网络进行不同帧之间特征的显著区域提取，在降低网络模型整体尺寸、节省资源的同时，将有限的注意力集中在重要信息区域上，以获得更好的特征提取与特征聚合效果。在对待检测视频进行运动目标检测时，先在待检测视频中截取几帧进行人工标注，生成第二训练集对检测模型的前景分类网络进行微调的二次训练，能够在一定程度上解决深度学习模型对新场景视频检测效果差的问题，进行少量样本的微调即可实现检测模型的泛化和普适性，从而在节约模型训练的成本、缩短模型训练时间的同时，大幅提升检测模型对新场景视频中的运动目标检测的精度。

在一些可选的实施例中，所述将所述待检测视频输入至二次训练后的检测模型中，包括：从所述待检测视频中选取连续的n帧，对所述连续的n帧进行像素值的均值处理，得到估计背景帧；其中，所述n为大于1的整数；从所述待检测视频的第一帧开始，将所述待检测视频中连续的三帧和所述估计背景帧作为输入图像，并按照预设步长向后滑动，直至将所述待检测视频全部输入至二次训练后的检测模型中。利用连续帧与估计背景帧作为模型输入，可以进一步提升检测模型对待检测视频所属场景的适应性，进一步提升检测模型对新场景视频中的运动目标检测的精度。

在一些可选的实施例中，所述将所述待检测视频输入至二次训练后的检测模型中，得到所述待检测视频的运动目标检测结果，包括：将所述输入图像输入至二次训练后的检测模型中，所述特征提取网络分别提取所述输入图像的三个尺度的特征，将提取出的每个尺度的四组特征作为一个特征块，分别输入至所述注意力门网络中；其中，所述三个尺度包括第一尺度、第二尺度和第三尺度，所述第二尺度为第一尺度的二分之一，所述第三尺度为所述第二尺度的二分之一；所述注意力门网络中包括三个注意力门，分别接收第一尺度的特征块、第二尺度的特征块和第三尺度的特征块，各所述注意力门提取接收到的特征块的显著区域特征，并将提取显著区域特征后的特征块输入至所述特征聚合网络中；所述特征聚合网络将不同尺度的提取显著区域特征后的特征块进行拼接，并将拼接后的特征块输入至前景分类网络；所述前景分类网络根据所述拼接后的特征块，输出运动目标检测结果。特征提取网络、注意力门网络从不同尺度提取输入图像的特征，保证提取出的特征是科学的、全面的，特征聚合网络将不同尺度的特征拼接，再由前景分类网络输出检测结果，有效提升了运动目标检测的速度和精度。

在一些可选的实施例中，所述特征提取网络采用连续的3×3卷积层与池化层堆叠而成，共设置有六个卷积层和三个池化层；第一池化层设置于第一卷积层和第二卷积层之后，所述第一池化层输出所述第一尺度的特征块，所述第一池化层还与第三卷积层相连；第二池化层设置于所述第三卷积层和第四卷积层之后，所述第二池化层输出所述第二尺度的特征块，所述第二池化层还与第五卷积层相连；第三池化层设置于所述第五卷积层和第六卷积层之后，所述第三池化层输出所述第三尺度的特征块；每个卷积层和每个池化层之后均连接一个ReLu激活函数层，每个池化层连接的ReLu激活函数层之后还连接一个BN归一化层。

在一些可选的实施例中，所述输入图像为三通道，所述注意力门利用1×1卷积层对接收到的特征块中每一帧的特征进行进一步提取，将通道数降低为原来的一半，将相邻两帧的提取结果进行空间注意力计算，并按照预设比例聚合后得到单通道显著区域图，将所述单通道显著区域图与所述特征块的每个通道进行乘法计算，得到通道数为三通道的提取显著区域特征后的特征块，其中，规定所述估计背景帧与所述连续三帧中的第三帧相邻。每个注意力门对特征块进行进一步的特征提取，即将注意力放到重要信息上，按照预设比例聚合得到单通道显著区域图，聚合得到的单通道显著区域图可以很好地表征输入图像中的重要信息，再与特征块的每个通道进行乘法计算，得到原通道数、尺度不变的输出，便于后续特征聚合网络的处理。

在一些可选的实施例中，所述特征聚合网络采用连续的3×3反卷积层与反池化层堆叠而成，共设置有六个反卷积层和三个反池化层；第一反卷积层接收所述第三尺度的提取显著区域特征后的特征块，第一反池化层设置于所述第一反卷积层和第二反卷积层之后，所述第一反池化层还与第三反卷积层相连；所述第三反卷积层接收所述第二尺度的提取显著区域特征后的特征块，将所述第二尺度的提取显著区域特征后的特征块与所述第一反池化层的输出进行拼接，第二反池化层设置于所述第三反卷积层和第四反卷积层之后，所述第二反池化层还与第五反卷积层相连；所述第五反卷积层接收所述第一尺度的提取显著区域特征后的特征块，将所述第一尺度的提取显著区域特征后的特征块与所述第二反池化层的输出进行拼接，第三反池化层设置于所述第五反卷积层和第六反卷积层之后，所述第三反池化层输出拼接后的特征块；每个反卷积层和每个反池化层之后均连接一个ReLu激活函数层，每个反池化层连接的ReLu激活函数层之后还连接一个BN归一化层。

在一些可选的实施例中，所述前景分类网络由顺序连接的两个1×1卷积层、ReLu激活函数和Sigmod激活函数层组成，第一个1×1卷积层接收所述拼接后的特征块，所述Sigmod激活函数层输出所述运动目标检测结果。

在一些可选的实施例中，对于每一个所述输入图像，所述运动目标检测结果为运动目标检测结果图像，在所述运动目标检测结果图像中，运动目标所在区域的像素值为1，其他区域的像素值为0。运动目标检测结果图像为二值图，可以直观地展示出运动目标的位置。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定。

图1是本申请的一个实施例提供的基于多帧空间注意力机制的运动目标检测方法的流程图；

图2是本申请的一个实施例中提供的检测模型的结构示意图；

图3是本申请的一个实施例中，将所述待检测视频输入至二次训练后的检测模型中的流程图；

图4是本申请的一个实施例中，将待检测视频输入至二次训练后的检测模型中，得到待检测视频的运动目标检测结果的流程图；

图5是本申请的一个实施例中提供的特征提取网络的结构示意图；

图6是本申请的一个实施例中提供的注意力门的结构示意图；

图7是本申请的一个实施例中提供的特征聚合网络的结构示意图；

图8是本申请的一个实施例中提供的前景分割网络的结构示意图；

图9是本申请的一个实施例中提供的输入图像和运动目标检测结果图像的对比图；

图10是本申请的另一个实施例提供的电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本申请的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。

文献“一种基于深度学习的运动目标检测后处理方法”，提出了一种基于深度学习与传统算法相结合的运动目标检测方法，首先通过传统算法获取初步的检测二值化图片，再与当前帧组成四通道图输入FegNet结构神经网络中，经网络计算获取最终结果。利用深度学习方法对传统算法结果进行进一步后处理，极大的改善了传统算法容易出现鬼影、空洞等问题，且在精度上有较为明显的提升。然而，这种深度学习技术需要使用大量的数据对模型进行预训练，并且检测精度的提升空间有限，针对未训练过的的新视频序列的检测效果差，难以直接快速应用在新场景的运动目标检测中。

为了解决上述的深度学习模型对新场景视频检测效果差的技术问题，本申请的一个实施例提出了一种基于多帧空间注意力机制的运动目标检测方法，应用于电子设备，其中，电子设备可以为终端或服务器，本实施例以及以下各个实施例中的电子设备以服务器为例进行说明。下面对本实施例的基于多帧空间注意力机制的运动目标检测方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。

本实施例的基于多帧空间注意力机制的运动目标检测方法的具体流程可以如图1所示，包括：

步骤101，使用预设的第一训练集对预构建的检测模型进行预训练，预构建的检测模型由特征提取网络、注意力门网络、特征聚合网络和前景分类网络构成。

在具体实现中，预训练过程主要采用反向传播算法进行，服务器使用预设的第一训练集对预构建的检测模型进行预训练，即采用反向传播算法迭代更新特征提取网络、注意力门网络、特征聚合网络和前景分类网络中的参数，直至该检测模型收敛，得到预训练后的检测模型，预训练后的检测模型已具备标准的运动目标检测能力。

步骤102，从待检测视频中截取部分视频帧进行运动目标标注，生成第二训练集。

步骤103，冻结特征提取网络、注意力门网络和特征聚合网络，使用第二训练集对预训练后的检测模型进行二次训练。

在具体实现中，当需要使用检测模型进行运动目标检测时，服务器先从待检测视频中截取部分视频帧进行人工的运动目标标注，生成第二训练集，再冻结预训练后的检测模型中的特征提取网络、注意力门网络和特征聚合网络的参数，只更新预训练后的检测模型中的前景分类网络的参数，直至检测模型收敛，得到二次训练后的检测模型。即服务器需要在预训练后，基于待检测视频的场景，对前景分类网络进行微调，实现检测模型的泛化和普适性，提升检测模型对于待检测视频的场景的适应度，无需使用海量样本进行重新训练，有效节约了模型训练的成本，缩短模型训练的时间。

在一些例子中，服务器从待检测视频中随机选取连续的50帧，对这连续的50帧进行人工运动目标标注，生成第二训练集，来对预训练后的检测模型进行二次训练。

在一些例子中，无论待检测视频所属的场景是不是检测模型见过的场景，服务器都要从待检测视频中选取部分帧来进行二次训练，这样可以很好地提升运动目标检测的精度。

步骤104，将待检测视频输入至二次训练后的检测模型中，得到待检测视频的运动目标检测结果，其中，注意力门网络用于对不同帧之间的特征进行空间注意力计算，得到显著区域特征。

在具体实现中，服务器得到二次训练后的检测模型之后，就可以将待检测视频输入至二次训练后的检测模型中，得到待检测视频的运动目标检测结果。特征提取网络从待检测视频的各帧中提取特征，注意力门网络对特征提取网络提取出的不同帧之间的特征进行空间注意力计算，得到显著区域特征，再经特征聚合网络和前景分割网络，最终得到待检测视频的运动目标检测结果。

在一些例子中，检测模型的结构如图2所示，特征提取网络、注意力门网路、特征聚合网络、和前景分类网络均基于卷积神经网络演进而来，特征提取网络可以提取待检测视频的三个尺度的特征，相应地，注意力门网络中设置有三个注意力门来分别接收这三个尺度的特征，同样，特征聚合网络也至少设置有三个反卷积层来接收三个注意力门的输出。

本实施例，通过注意力门网络进行不同帧之间特征的显著区域提取，在降低网络模型整体尺寸、节省资源的同时，将有限的注意力集中在重要信息区域上，以获得更好的特征提取与特征聚合效果。在对待检测视频进行运动目标检测时，先在待检测视频中截取几帧进行人工标注，生成第二训练集对检测模型的前景分类网络进行微调的二次训练，能够在一定程度上解决深度学习模型对新场景视频检测效果差的问题，进行少量样本的微调即可实现检测模型的泛化，从而在节约模型训练的成本、缩短模型训练时间的同时，大幅提升检测模型对新场景视频中的运动目标检测的精度。

在一些实施例中，服务器将待检测视频输入至二次训练后的检测模型中，可以通过如图3所示的各步骤实现，具体包括：

步骤201，从待检测视频中选取连续的n帧，对连续的n帧进行像素值的均值处理，得到估计背景帧。

在具体实现中，待检测视频输入至检测模型之前，需要进行预处理，首先需要从待检测视频中选取连续的n帧，对连续的n帧进行像素值的均值处理，得到估计背景帧，其中，n为大于1的整数，具体取值可以由本领域的技术人员根据实际需要进行设置。也就是说，服务器需要对待检测视频的连续的n帧的相同位置的像素点的像素值求平均值，基于各像素点的平均像素值得到估计背景帧。

在一些例子中，n通常取值为50，即从待检测视频中选取连续的50帧，对这连续的50帧进行像素值的均值处理，得到估计背景帧。

步骤202，从待检测视频的第一帧开始，将待检测视频中连续的三帧和估计背景帧作为输入图像，并按照预设步长向后滑动，直至将待检测视频全部输入至二次训练后的检测模型中。

在具体实现中，服务器从待检测视频的第一帧开始，将待检测视频中连续的三帧和估计背景帧作为输入图像，并按照预设步长向后滑动，直至将待检测视频全部输入至二次训练后的检测模型中。即第一个输入图像为4帧三通道图像，包括待检测视频的第一帧、第二帧、第三帧和估计背景帧。预设步长通常设置为1，即第二个输入图像为4帧三通道图像，包括待检测视频的第二帧、第三帧、第四帧和估计背景帧。

在一些例子中，待检测视频中连续的三帧和估计背景帧的尺度均为360×240。

本实施例，利用连续帧与估计背景帧作为模型输入，可以进一步提升检测模型对待检测视频所属场景的适应性，进一步提升检测模型对新场景视频中的运动目标检测的精度。

在一些实施例中，服务器将待检测视频输入至二次训练后的检测模型中，得到待检测视频的运动目标检测结果，可以通过如图4所示的各步骤实现，具体包括：

步骤301，将输入图像输入至二次训练后的检测模型中，特征提取网络分别提输入图像的三个尺度的特征，将提取出的每个尺度的四组特征作为一个特征块，分别输入至注意力门网络中。

在具体实现中，4帧三通道的输入图像首先进入特征提取网络，特征提取网络分别提输入图像的三个尺度的特征，4帧三通道的输入图像在每个尺度分别提取出一个特征，攻击得到三个尺度的十二组特征，每个尺度有四组，服务器将提取出的每个尺度的四组特征作为一个特征块，分别输入至注意力门网络中。其中，三个尺度包括第一尺度、第二尺度和第三尺度，第二尺度为第一尺度的二分之一，第三尺度为第二尺度的二分之一。

在一些例子中，第一尺度为32×180×120，第二尺度为128×90×60，第三尺度为256×45×30。

在一些例子中，特征提取网络采用连续的3×3卷积层与池化层堆叠而成，如图5所示，共设置有六个卷积层和三个池化层。第一池化层设置于第一卷积层和第二卷积层之后，第一池化层输出第一尺度的特征块，第一池化层还与第三卷积层相连；第二池化层设置于第三卷积层和第四卷积层之后，第二池化层输出第二尺度的特征块，第二池化层还与第五卷积层相连；第三池化层设置于第五卷积层和第六卷积层之后，第三池化层输出第三尺度的特征块。每个卷积层和每个池化层之后均连接一个ReLu激活函数层，每个池化层连接的ReLu激活函数层之后还连接一个BN归一化层。

步骤302，注意力门网络中包括三个注意力门，分别接收第一尺度的特征块、第二尺度的特征块和第三尺度的特征块，各注意力门提取接收到的特征块的显著区域特征，并将提取显著区域特征后的特征块输入至特征聚合网络中。

在具体实现中，注意力门网络中包括三个注意力门，可以分别记为第一注意力门、第二注意力门和第三注意力门，第一注意力门、第二注意力门和第三注意力门分别接收第一尺度的特征块、第二尺度的特征块和第三尺度的特征块，第一注意力门提取第一尺度的特征块的显著区域特征，第二注意力门提取第二尺度的特征块的显著区域特征，第三注意力门提取第三尺度的特征块的显著区域特征。各注意力门提取出接收到的特征块的显著区域特征后，可以将提取显著区域特征后的特征块输入至特征聚合网络中。各注意力门的输入尺度和输出尺度不发生改变。

在一些例子中，输入图像为4帧三通道，注意力门的内部结构可以如图6所示，注意力门利用1×1卷积层对接收到的特征块中每一帧的特征进行进一步提取，将通道数降低为原来的一半，将相邻两帧的提取结果进行空间注意力计算，并按照预设比例聚合后得到单通道显著区域图，将单通道显著区域图与特征块的每个通道进行乘法计算，得到通道数为三通道的提取显著区域特征后的特征块，检测模型规定估计背景帧与连续三帧中的第三帧相邻。对于图6示出的注意力门，由第一帧与第二帧的提取结果进行空间注意力计算得到的计算结果对应的预设聚合比例为0.2，由第二帧与第三帧的提取结果进行空间注意力计算得到的计算结果对应的预设聚合比例为0.3，由第三帧与估计背景帧的提取结果进行空间注意力计算得到的计算结果对应的预设聚合比例为0.5。

可以理解的是，每个注意力门对特征块进行进一步的特征提取，即将注意力放到重要信息上，按照预设比例聚合得到单通道显著区域图，聚合得到的单通道显著区域图可以很好地表征输入图像中的重要信息，再与特征块的每个通道进行乘法计算，得到原通道数、尺度不变的输出，便于后续特征聚合网络的处理。

步骤303，特征聚合网络将不同尺度的提取显著区域特征后的特征块进行拼接，并将拼接后的特征块输入至前景分类网络。

在具体实现中，特征聚合网络为U型网络架构，每个尺度的提取显著区域特征后的特征块，与经过反卷积层处理后的前一尺度的提取显著区域特征后的特征块通过拼接方式进行组合，并输入到下一层反卷积层中，从而实现将不同尺度的提取显著区域特征后的特征块进行拼接，并将拼接后的特征块输入至前景分类网络。

在一些例子中，特征聚合网络采用连续的3×3反卷积层与反池化层堆叠而成，如图7所示，共设置有六个反卷积层和三个反池化层。第一反卷积层接收第三尺度的提取显著区域特征后的特征块，第一反池化层设置于第一反卷积层和第二反卷积层之后，第一反池化层还与第三反卷积层相连；第三反卷积层接收第二尺度的提取显著区域特征后的特征块，将第二尺度的提取显著区域特征后的特征块与第一反池化层的输出进行拼接，第二反池化层设置于第三反卷积层和第四反卷积层之后，第二反池化层还与第五反卷积层相连；第五反卷积层接收第一尺度的提取显著区域特征后的特征块，将第一尺度的提取显著区域特征后的特征块与第二反池化层的输出进行拼接，第三反池化层设置于第五反卷积层和第六反卷积层之后，第三反池化层输出拼接后的特征块。每个反卷积层和每个反池化层之后均连接一个ReLu激活函数层，每个反池化层连接的ReLu激活函数层之后还连接一个BN归一化层。

步骤304，前景分类网络根据拼接后的特征块，输出运动目标检测结果。

在具体实现中，前景分类网络由顺序连接的两个1×1卷积层、ReLu激活函数和Sigmod激活函数层组成，如图8所示，第一个1×1卷积层接收拼接后的特征块，Sigmod激活函数层输出待检测视频的运动目标检测结果。

在一些例子中，对于每一个输入图像，运动目标检测结果为运动目标检测结果图像，在运动目标检测结果图像中，运动目标所在区域的像素值为1，其他区域的像素值为0。如图9所示，运动目标检测结果图像是二值图像，可以直观地展示出运动目标的位置。

本实施例，特征提取网络、注意力门网络从不同尺度提取输入图像的特征，保证提取出的特征是科学的、全面的，特征聚合网络将不同尺度的特征拼接，再由前景分类网络输出检测结果，有效提升了运动目标检测的速度和精度。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本申请另一个实施例涉及一种电子设备，如图10所示，包括：至少一个处理器401；以及，与所述至少一个处理器401通信连接的存储器402；其中，所述存储器402存储有可被所述至少一个处理器401执行的指令，所述指令被所述至少一个处理器401执行，以使所述至少一个处理器401能够执行上述各实施例中的基于多帧空间注意力机制的运动目标检测方法。

其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。

处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。

本申请另一个实施例涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，简称：ROM)、随机存取存储器(Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施例是实现本申请的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。