利用轨迹约束的红外弱小目标检测方法

技术领域

本申请涉及红外弱小目标检测技术领域，特别是涉及一种利用轨迹约束的红外弱小目标检测方法。

背景技术

红外探测具有全天时、全天候工作、分辨率高等优点，因此，红外探测系统在空中平台预警、制导等方面得到了广泛的应用。由于快速相对运动和背景杂波的存在，空中弱小目标的检测一直是机载红外探测系统的难题。

现有的红外弱小目标检测方法可分为基于单帧的方法和基于多帧的连续检测方法。基于单帧的方法主要利用目标与背景的差异来检测弱小红外目标。弱小红外目标通常被建模为各向同性分布的点目标，这种方法易于实现和高效。然而，单帧图像提供的信息可能不足以进行鲁棒的弱小红外目标检测。多个连续帧中包含的时间线索对鲁棒弱小红外目标检测具有重要意义。基于多帧的关联方法通过关联多个图像数据，提高了弱小目标检测的性能。然而，时间线索的采用增加了计算的复杂性。而现有的方法在机载红外探测系统中，对弱小目标的检测存在一定的困难。

Moradi等人利用成像系统的点扩散函数对点目标进行建模。这种方法简单有效。然而，它在杂乱的背景下表现不佳。基于远距成像和红外成像的特点，研究人员将背景建模为近似均匀统一分布的组件。与背景相比，弱小目标具有较小的空间扩散。通过减去估计的背景来检测小目标。

Gao等人利用红外图像块重建技术对背景进行建模。薛等人在重建中引入了多个稀疏约束。这些方法通常只有在背景满足大空间扩展的假设时才能很好地工作，而且背景建模需要花费大量的时间。红外弱小目标和背景在图像中表现出不同的特征。研究人员利用目标中心局部区域的特征差来检测红外弱小目标。计算每个成分的灰度统计信息，例如平均值、方差。它们之间的差异被用作弱小目标检测的线索。Zhao等人在最大树和最小树中提取红外弱小目标的空间大小和对比度信息，提出了一种基于多形态轮廓的检测方法。该方法对复杂背景具有较高的虚警率。

对于卷积神经网络相关的方法，Dai等人通过利用自下而上的注意调制，将低层特征与深层的高层次特征结合起来，保留并突出了弱小目标特征。有学者在U网络上构建了生成对抗网络，以了解弱小红外目标的特征，并直接预测目标的强度。

Marco等人提出了一种基于广义似然比检验的海洋背景弱小目标检测方法。部分研究人员在红外弱小目标探测中，采用了能量累积中的泊松分布。单像素关联方法对杂波背景或孤立点噪声敏感。Li等人通过基于运动和外观的显著性分析来增强红外弱小目标。有文章中采用时空张量模型对背景进行建模。也有采用多子空间学习对张量进行修改。这种方法不能很好地处理快速变化的背景。另外，这些方法往往比较复杂，不能满足实时应用的需要。

发明内容

基于此，有必要针对上述技术问题，提供一种能够至少解决上述一个问题的利用轨迹约束的红外弱小目标检测方法。

一种利用轨迹约束的红外弱小目标检测方法，所述方法包括：

获取红外弱小目标的图像数据集，所述图像数据集包括多帧以时间为顺序的图像；

根据正负中值法在各帧所述图像中提取多个感兴趣像素，并提取各所述感兴趣像素的多尺度空间特征；

将各所述感兴趣像素以及与各所述感兴趣像素相关的多尺度空间特征输入已训练的轻量梯度提升机模型，得到各帧图像中的候选目标；

根据各帧所述图像中的候选目标基于短严格约束得到多段中间轨迹；

根据长宽松约束将多段所述中间轨迹进行合并，得到最终轨迹，并将长度满足长度阈值的最终轨迹作为所述红外弱小目标的真实轨迹。

在其中一实施例中，所述根据各帧图像中的候选目标基于短严格约束得到多段中间轨迹包括：

根据前三帧中的候选目标基于短严格约束生成多段初始轨迹；

依次在后续各帧图像中基于短严格约束找到满足条件的候选目标对初段轨迹进行延长，或生成新的初始轨迹直至最后一帧图像，得到多条中间轨迹。

在其中一实施例中，在对所述初始轨迹进行延长时，根据所述初始轨迹与当前帧图像中各候选目标建立连接代价方程，并求解，若所述求解结果符合预设的成本阈值则将对应的候选目标与所述初始轨迹连接对其进行延长。

在其中一实施例中，所述连接代价方程为：

其中，初始轨迹定义为

在其中一实施例中，在当前帧中将没有与初始轨迹连接的候选目标基于绝对速度约束和上一帧中单个的候选目标连接起来，形成新的初始轨迹。

在其中一实施例中，在根据长宽松约束将多段所述中间轨迹进行合并包括：选择两段在时间上不重叠的中间轨迹，并计算两者的相似性度量值，若计算结果符合预设的相似性阈值则将这两段中间轨迹相应一端延长并连接。

在其中一实施例中，所述长度阈值根据预设参数以及所述图像数据集中图像帧数决定。

在其中一实施例中，训练所述轻量梯度提升机模型包括：

获取红外弱小目标的图像样本数据集，所述图像样本数据集包括多帧以时间为顺序的样本图像；

根据正负中值法在各帧所述样本图像中提取多个感兴趣像素；

对各所述感兴趣像素进行标记，并以各感兴趣像素为中心的局部区域分别提取多个空间特征；

根据各标注后的感兴趣像素以及与各感兴趣像素对应的多个空间特征对所述轻量梯度提升机模型进行迭代训练，直至训练模型符合预设的终止条件则说明完成训练，训练将自动终止得到所述已训练的轻量梯度提升机模型。

在其中一实施例中，所述多尺度空间特征包括：所述局部区域的峰度、偏斜、熵、均值、方差、最大值和最小值。

在其中一实施例中，对所述感兴趣像素进行连通域标记处理，将每个连通域中的灰度值最大的感兴趣像素保留，其余感兴趣像素舍弃，再依据匈牙利算法将目标真值与感兴趣像素进行配对，将配对距离在设定阈值范围以内的感兴趣像素标注为正样本，而将剩余的感兴趣像素标注为负样本。

一种利用轨迹约束的红外弱小目标检测装置，所述装置包括：

图像数据获取模块，用于获取红外弱小目标的图像数据集，所述图像数据集包括多帧以时间为顺序的图像；

感兴趣像素提取模块，用于根据正负中值法在各帧所述图像中提取多个感兴趣像素，并提取各所述感兴趣像素的多尺度空间特征；

候选目标得到模块，用于将各所述感兴趣像素以及与各所述感兴趣像素相关的多尺度空间特征输入已训练的轻量梯度提升机模型，得到各帧图像中的候选目标；

中间轨迹得到模块，用于根据各帧所述图像中的候选目标基于短严格约束得到多段中间轨迹；

真实轨迹得到模块，用于根据长宽松约束将多段所述中间轨迹进行合并，得到最终轨迹，并将长度满足长度阈值的最终轨迹作为所述红外弱小目标的真实轨迹。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取红外弱小目标的图像数据集，所述图像数据集包括多帧以时间为顺序的图像；

根据正负中值法在各帧所述图像中提取多个感兴趣像素，并提取各所述感兴趣像素的多尺度空间特征，

将各所述感兴趣像素以及与各所述感兴趣像素相关的多尺度空间特征输入已训练的轻量梯度提升机模型，得到各帧图像中的候选目标；

根据各帧所述图像中的候选目标基于短严格约束得到多段中间轨迹；

根据长宽松约束将多段所述中间轨迹进行合并，得到最终轨迹，并将长度满足长度阈值的最终轨迹作为所述红外弱小目标的真实轨迹。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取红外弱小目标的图像数据集，所述图像数据集包括多帧以时间为顺序的图像；

根据正负中值法在各帧所述图像中提取多个感兴趣像素，并提取各所述感兴趣像素的多尺度空间特征；

将各所述感兴趣像素以及与各所述感兴趣像素相关的多尺度空间特征输入已训练的轻量梯度提升机模型，得到各帧图像中的候选目标；

根据各帧所述图像中的候选目标基于短严格约束得到多段中间轨迹；

根据长宽松约束将多段所述中间轨迹进行合并，得到最终轨迹，并将长度满足长度阈值的最终轨迹作为所述红外弱小目标的真实轨迹。

上述利用轨迹约束的红外弱小目标检测方法，通过将红外弱小目标的图像数据集中各帧图像基于正负中值法将图像中属于背景的部分去掉，留下疑似为红外弱小目标的感兴趣像素，再通过已训练的轻量梯度提升机模型对感兴趣像素进行筛选得到候选目标，将各帧图像中的后续目标先基于短严格约束得到多条中间轨迹，再通过长宽松约束将可能属于同一红外弱小目标的中间轨迹进行合并，最终将满足长度阈值的最终轨迹作为红外弱小目标的实际轨迹，以实现对图像数据集中的检测红外弱小目标，这样的检测方法简单，具有较好的实用性，且检测结果准确。

附图说明

图1为一个实施例中利用轨迹约束的红外弱小目标检测方法的流程示意图；

图2为一个实施例中在短严格约束下的初始轨迹增长示意图；

图3为一个实施例中具有不同相对位置的中间轨迹片段示意图；

图4为一个实施例中两中间轨迹合并的相似度量示意图；

图5为一个实施例中训练轻量梯度提升机模型方法的流程示意图；

图6为一个实施例中利用轨迹约束的红外弱小目标检测装置的结构框图；

图7为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

如图1所示，提供了一种利用轨迹约束的红外弱小目标检测方法，包括以下步骤：

步骤S100，获取红外弱小目标的图像数据集，图像数据集包括多帧以时间为顺序的图像；

步骤S110，根据正负中值法在各帧图像中提取多个感兴趣像素，并提取各感兴趣像素的多尺度空间特征；

步骤S120，将各感兴趣像素以及与各感兴趣像素相关的多尺度空间特征输入已训练的轻量梯度提升机模型，得到各帧图像中的候选目标；

步骤S130，根据各帧图像中的候选目标基于短严格约束得到多段中间轨迹；

步骤S140，根据长宽松约束将多段中间轨迹进行合并，得到最终轨迹，并将长度满足长度阈值的最终轨迹作为红外弱小目标的真实轨迹。

在本实施例中，通过在各帧图像中筛选出可能为红外弱小目标的候选目标的像素，通过连续的多帧图像中的候选目标找到多段轨迹片段，再将为同一红外弱小目标的轨迹片段进行合并得到红外弱小目标的真实轨迹，从而实现对红外弱小目标的检测。

在步骤S100中，图像数据集可以为探测红外弱小目标的红外视频数据，各帧图像均为红外图像。在红外视频数据中拍摄到的红外弱小目标可以为1个或多个，且均具有运动轨迹。而对于各帧图像而言，红外弱小目标为一个目标点，这样通过在各帧图像中的目标点可提取对应各红外弱小目标的移动轨迹，以实现对红外弱小目标的检测。

在对各帧图像中进行候选目标检测时，利用空域线索将其看做一个二值分类问题，通过感兴趣像素检测和训练的轻量梯度提升机模型来检测每一帧中的候选目标。

由于，在红外图像中弱小目标与局部背景在灰度、方差、峰值等特征上具有不同的取值分布，在步骤S110中利用正负中值法从各帧图像中筛掉明显是背景的像素，留下感兴趣像素也就是可能是红外弱小目标的像素点。并且相应提取各感兴趣像素对应的多尺度空间特征。其中有关多尺度空间特征这一部分的内容会在对如何训练轻量梯度提升机模型的部分进行说明，故在此不进行阐述。

具体的，红外弱小目标只对应图像中的极小部分像素。大多数像素属于背景。为了有效地检测弱小目标，首先过滤掉明显属于背景的像素点。由于空中的红外弱小目标比它的邻域亮或暗，在本实施例中采用正负中值滤波器对属于背景的像素进行过滤，如公式（1）所示：

在公式（1）中，对于输入图像

应该注意的是，Label中的每个连接域都被视为目标候选域。并且候选目标由亮/暗目标内的最亮/最暗像素表示。

在步骤S120中，利用各感兴趣像素以及与各感兴趣像素相关的空间特征输入已训练的轻量梯度提升机模型，也就是进一步进行筛选过滤，在各帧中的感兴趣像素中确定更有可能为红外弱小目标的候选目标。

接下来，利用时间线索，将目标轨迹的局部光滑性和全局连续性建模为短严格约束和长宽松约束。利用图像序列中的轨迹约束，从每帧图像的候选目标中检测出红外弱小目标。

在步骤S130中，根据各帧图像中的候选目标基于短严格约束得到多段中间轨迹包括：

根据前三帧中的候选目标基于短严格约束生成多段初始轨迹；

依次在后续各帧图像中基于短严格约束找到满足条件的候选目标对初段轨迹进行延长，或生成新的初始轨迹直至最后一帧图像，得到多条中间轨迹。

其中，在对初始轨迹进行延长时，根据初始轨迹与当前帧图像中各候选目标建立连接代价方程，并求解，若求解结果符合预设的成本阈值则将对应的候选目标与所述初始轨迹连接对其进行延长。

具体的，各帧图像中有多个候选目标，利用时间线索，将连续帧中的某一些候选目标连接成轨迹。并将红外弱小目标运动建模为小时间间隔内的分段匀速运动，即短严格约束。

对短严格约束进行进一步阐述：假设运动目标在一个较小的窗口内（连续三帧）满足匀速直线运动，并且对目标的运动速度做出约束，将其作为约束应用到轨迹生长过程中，对新的候选目标与已有的轨迹进行关联，并开启新的轨迹。

先通过图像数据中前三帧图像中的候选目标基于分段匀速运动可得到多条轨迹，并将其作为初始轨迹。然后计算每一条初始轨迹分别与下一帧图像中的各候选目标之间的连接代价，若连接代价小于预设的成本阈值则将候选目标连接到对应的初始轨迹将其初始轨迹延长，若大于预设成本阈值则不进行连接。

其中，连接代价方程为：

如图2所示，在公式（2）中，初始轨迹定义为

在实际计算过程中，在当前帧

在公式（3）中，

在每一帧中找寻正确的候选目标对已有的轨迹线段进行延长的过程中，会出现有的初始轨迹找不到合适的候选目标连接则在当前帧图像中截止，同时也会出现一条初始轨迹会有多个合适的候选目标，则将多个候选目标连接到该初始轨迹上对其进行延长。

在本实施例中，在当前帧中将没有与初始轨迹连接的候选目标基于绝对速度约束和上一帧中单个的候选目标连接起来，形成新的初始轨迹。

具体的，在每一帧中也会有一些候选目标连接不到任何初始轨迹，为了找到新的目标，还根据方程（4）将当前帧

公式（4）为：

在公式（4）中，

在步骤S130之后，将会得到一个满足分段匀速运动短严格约束的轨迹段集

在实施例中，在根据长宽松约束将多段中间轨迹进行合并包括：选择两段在时间上不重叠的中间轨迹，并计算两者的相似性度量值，若计算结果符合预设的相似性阈值则将这两段中间轨迹相应一端延长并连接。

其中，长宽松约束是指在一个时间窗口内对轨迹进行生长、合并后，只对轨迹的长短进行约束，而不构建特定的运动模型对轨迹进行约束。

如图3所示，与图3（a）和图3（c）中的片段相比，图3（b）中的片段更可能对应于相同的目标，其中点线表示中间轨迹的延伸。

并且对应同一红外弱小目标的轨迹段具有在轨迹段在时间上不重叠、轨迹段的延伸段彼此接近，以及不同轨迹段的速度值比较接近的特点。

具体的，以两个中间轨迹

公式（5）中详细描述了两个具有时间间隔的轨迹段

而通过对各中间轨迹两两之间的相似性度量进行定义，则可以得到相似矩阵

在公式（6）中，其中

考虑到红外弱小目标运动的连续性，优先考虑将较长的中间轨迹段的进行合并。并且根据轨迹段的长度按下降顺序进行排序，即对应最长轨迹段

最后，在对各中间轨迹进行合并之后，根据轨迹长度检测空中红外弱小目标。利用长度阈值与最终轨迹进行对比，将大于长度阈值的最终轨迹作为空中红外弱小目标的真实轨迹。

且假设一个位置上同时最多有一个红外弱小目标。因此，对于交叉的轨迹段，保持最长的轨迹，排除其他轨迹。

其中，长度阈值根据预设参数以及图像数据集中图像帧数决定，其定义公式为：

在公式（7）中，

如图5所示，还提供了一种训练轻量梯度提升机模型的方法，方法具体包括：

步骤S200，获取红外弱小目标的图像样本数据集，图像样本数据集包括多帧以时间为顺序的样本图像；

步骤S210，根据正负中值法在各帧样本图像中提取多个感兴趣像素；

步骤S220，对各所感兴趣像素进行标记，并以各感兴趣像素为中心的局部区域分别提取多个空间特征；

步骤S230，根据各标注后的感兴趣像素以及与各感兴趣像素对应的多尺度空间特征对所述轻量梯度提升机模型进行迭代训练，直至训练模型符合预设的终止条件则说明完成训练，训练将自动终止得到已训练的轻量梯度提升机模型。

在步骤S200中，图像样本数据集与步骤S100中的图像数据集为同类型的数据，不同的是，在样本数据集中，已确定各帧样本图像中的红外弱小目标。

在步骤S210中，该步骤提取各帧样本图像中的感兴趣像素与S110中提取方法及过程一致，在此则不再进行赘述。

在步骤S220中，训练模型是指正在进行训练的轻量梯度提升机模型。为了训练轻量梯度提升机模型，以每个感兴趣像素为中心的局部区域中提取多尺度空间特征。在其中一实施例中，将局部区域的形状设置为矩形。为了更好地捕捉弱小目标在图像中的特征，从局部区域计算了峰度

其中，7个空间特征的定义如下所示：

其中，

在本实施例中，对所得感兴趣像素进行连通域标记处理，将每个连通域中灰度值最大的感兴趣像素保留，其余感兴趣像素舍弃，再依据匈牙利算法将目标真值与感兴趣像素进行配对，将配对距离在设定阈值范围以内的感兴趣像素标注为正样本，而将剩余的感兴趣像素标注为负样本。

上述利用轨迹约束的红外弱小目标检测方法，利用空域线索，将目标候选检测作为一个二值分类问题。通过感兴趣像素检测和训练的轻量梯度提升机模型来检测每一帧中的候选目标。然后，利用时间线索，将目标轨迹的局部光滑性和全局连续性建模为短严格约束和长宽松约束。利用图像序列中的轨迹约束，从每帧候选目标中检测出红外弱小目标。基于机器学习算法的思想，引入轻量梯度提升机算法，充分利用构建的大规模数据集对数据进行训练，利用训练好的模型从单帧图像中预测候选目标，相比于传统的用于提取候选目标的三帧差法等方法，尽管真实目标的召回率未见明显提升，但是准确率大幅提高，大大增加了后续的轨迹关联的有效性和准确性。且通过匀速直线运动假设，基于短严格约束将每帧中的候选目标与已有的轨迹进行关联，并基于速度约束生成新的轨迹，这符合目标的实际运动情况，使得算法可以在较长的时间窗口内进行目标检测。而基于长宽松约束，依据轨迹相似性度量将属于同一目标的轨迹片段。

应该理解的是，虽然图1和图5中流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1和图5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图6所示，提供了一种利用轨迹约束的红外弱小目标检测装置，包括：图像数据获取模块300、感兴趣像素提取模块310、候选目标得到模块320、中间轨迹得到模块330以及真实轨迹得到模块340，其中：

图像数据获取模块300，用于获取红外弱小目标的图像数据集，所述图像数据集包括多帧以时间为顺序的图像；

感兴趣像素提取模块310，用于根据正负中值法在各帧所述图像中提取多个感兴趣像素，并提取各所述感兴趣像素的多尺度空间特征；

候选目标得到模块320，用于将各所述感兴趣像素以及与各所述感兴趣像素相关的多尺度空间特征输入已训练的轻量梯度提升机模型，得到各帧图像中的候选目标；

中间轨迹得到模块330，用于根据各帧所述图像中的候选目标基于短严格约束得到多段中间轨迹；

真实轨迹得到模块340，用于根据长宽松约束将多段所述中间轨迹进行合并，得到最终轨迹，并将长度满足长度阈值的最终轨迹作为所述红外弱小目标的真实轨迹。

关于利用轨迹约束的红外弱小目标检测装置的具体限定可以参见上文中对于利用轨迹约束的红外弱小目标检测方法的限定，在此不再赘述。上述利用轨迹约束的红外弱小目标检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种利用轨迹约束的红外弱小目标检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

获取红外弱小目标的图像数据集，所述图像数据集包括多帧以时间为顺序的图像；

根据正负中值法在各帧所述图像中提取多个感兴趣像素，并提取各所述感兴趣像素的多尺度空间特征；

将各所述感兴趣像素以及与各所述感兴趣像素相关的多尺度空间特征输入已训练的轻量梯度提升机模型，得到各帧图像中的候选目标；

根据各帧所述图像中的候选目标基于短严格约束得到多段中间轨迹；

根据长宽松约束将多段所述中间轨迹进行合并，得到最终轨迹，并将长度满足长度阈值的最终轨迹作为所述红外弱小目标的真实轨迹。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取红外弱小目标的图像数据集，所述图像数据集包括多帧以时间为顺序的图像；

根据正负中值法在各帧所述图像中提取多个感兴趣像素，并提取各所述感兴趣像素的多尺度空间特征；

将各所述感兴趣像素以及与各所述感兴趣像素相关的多尺度空间特征输入已训练的轻量梯度提升机模型，得到各帧图像中的候选目标；

根据各帧所述图像中的候选目标基于短严格约束得到多段中间轨迹；

根据长宽松约束将多段所述中间轨迹进行合并，得到最终轨迹，并将长度满足长度阈值的最终轨迹作为所述红外弱小目标的真实轨迹。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。