一种视频中的对象标记方法和系统

技术领域

本申请属于视频处理技术领域，尤其涉及一种视频中的对象标记方法和系统。

背景技术

现有的对实时视频的分析一般是采用单一任务的机器学习模型或者是深度学习模型。然而，考虑到在实际的手术环境中，所需分析的视频内容较为复杂，既包含具有规则形状的目标区域，也可能有不规则形状的目标区域。因此，使用单一任务的机器学习模型或者深度模型可能造成目标检测效果的准确性的问题，例如：物体检测模型对不规则的血管区域检测效果较差。

针对如何对手术视频中的对象进行准确的目标检测，目前尚未提出有效的解决方案。

发明内容

本申请目的在于提供一种视频中的对象标记方法和系统，以实现对图像中对象的准确高效标记，提升目标检测的准确性。

一方面，提供了一种视频中的对象标记方法，包括：

获取目标视频图像；

对所述目标视频图像进行基于矩形框的区域标记和矩形框内对象的物体检测；

根据物体检测结果，确定各矩形框中对象的对象类别；

在矩形框中的对象属于形状规则类别的情况下，按照矩形框对该矩形框中的对象进行标记；

在矩形框中的对象属于形状不规则类别的情况下，对矩形框中的对象进行边缘分割，基于边缘分割结果对该矩形框中的对象进行标记。

在一个实施方式中，对矩形框中的对象进行边缘分割，基于边缘分割结果对该矩形框中的对象进行标记，包括：

将该矩形框内的图像划分为多个像素点；

确定各个像素点属于目标对象的概率值；

将概率值超出预设阈值的像素点所形成的区域，作为目标对象的所占区域；

将所述目标对象的所占区域延边缘进行标记，以形成对该矩形框中的对象的标记。

在一个实施方式中，对所述目标视频图像进行基于矩形框的区域标记和矩形框内对象的物体检测，包括：

通过目标检测主干网络将所述目标视频图像转换为特征图；

将所述特征图输入至区域候选网络，得到矩形划分结果；

将矩形划分结果和所述特征图输入至识别器中，确定各矩形框内对象的对象名称。

在一个实施方式中，获取目标视频图像包括：

获取术中实时的视频数据和/或术后回放的视频数据；

将该视频数据作为目标视频图像。

在一个实施方式中，在对矩形框中的对象进行标记之后，还包括：

在所述目标视频图像的显示界面中，叠加地显示标记区域和识别到的对象名称。

另一方面，提供了一种视频中的对象标记系统，包括：

获取模块，用于获取目标视频图像；

检测模块，用于对所述目标视频图像进行基于矩形框的区域标记和矩形框内对象的物体检测；

分类模块，用于根据物体检测结果，确定各矩形框中对象的对象类别；

第一标记模块，用于在矩形框中的对象属于形状规则类别的情况下，按照矩形框对该矩形框中的对象进行标记；

第二标记模块，用于在矩形框中的对象属于形状不规则类别的情况下，对矩形框中的对象进行边缘分割，基于边缘分割结果对该矩形框中的对象进行标记。

在一个实施方式中，所述第二标记模块包括：划分单元，用于将该矩形框内的图像划分为多个像素点；确定单元，用于确定各个像素点属于目标对象的概率值；生成单元，用于将概率值超出预设阈值的像素点所形成的区域，作为目标对象的所占区域；标记单元，用于将所述目标对象的所占区域延边缘进行标记，以形成对该矩形框中的对象的标记。

在一个实施方式中，所述视频中的对象标记系统应用在手术台车中。

又一方面，提供了一种电子设备，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述方法的步骤。

又一方面，提供了一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现上述方法的步骤。

又一方面，提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述方法的步骤。

本申请提供的视频中的对象标记方法，对于目标视频图像，先进行基于矩形框的区域标记和矩形框内对象的物体检测，然后，根据物体检测结果，确定各矩形框中对象的对象类别，仅对矩形框中的对象属于形状不规则类别的对象进行边缘分割，基于边缘分割结果对该矩形框中的对象进行标记。即，先进行对象类别的划分，然后仅针对需要进行边缘标记的对象才进行边缘标记，对于无需进行边缘标记的对象，仅通过矩形框进行标记，而不进行边缘标记，通过上述方式解决了现有的仅基于矩形框标记所存在的标记准确度较低的问题，又解决了对所有对象都进行边缘标记所存在的实时处理效率较低的问题，达到了在保证标记效率的同时，保证标记准确率的技术效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请提供的视频中的对象标记方法一种实施例的方法流程图；

图2是本申请提供的由术中视频得到区域分类结果的逻辑示意图；

图3是本申请提供的目标检测模型的网络结构示意图；

图4是本申请提供的对第二类别对象进行边缘识别标记的方法流程图；

图5是本申请提供的语义分割模型的网络结构示意图；

图6是本申请提供的最终结果呈现示意图；

图7是本申请提供的对术中视频进行标记的逻辑示意图；

图8是本申请提供的训练得到目标检测模型的示意图；

图9是本申请提供的一种视频中的对象标记方法的电子设备的硬件结构框图；

图10是本申请提供的视频中的对象标记装置一种实施例的模块结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

考虑到在所需分析的视频内容较为复杂，既包含具有规则形状的目标区域，也可能有不规则形状的目标区域的情况下，如果采用单一的标记方法，将导致识别准确度较低，或者是处理效率较低。针对该问题，考虑到如果可以先进行物体检测，根据检测的区域结果选择性地进行进一步分割，因为分割模型一般而言处理以及预测延迟较长，因此，通过检测模型进行初步筛选，可以有效减少分割模型所需处理的视频数据量，进而减少视频分析的总延迟。

图1是本申请提供的视频中的对象标记方法一种实施例的方法流程图。虽然本申请提供了如下述实施例或附图所示的方法操作步骤或装置结构，但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者更少的操作步骤或模块单元。在逻辑性上不存在必要因果关系的步骤或结构中，这些步骤的执行顺序或装置的模块结构不限于本申请实施例描述及附图所示的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置或终端产品应用时，可以按照实施例或者附图所示的方法或模块结构连接进行顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至分布式处理环境)。

具体的，如图1所示，上述的视频中的对象标记方法可以包括如下步骤：

步骤101：获取目标视频图像；

具体的，对于目标视频图像可以是手术过程中的实时视频，也可以是术后的回放视频，在本例中，主要是为了满足术中实时视频的及时分析，减少分析的延迟时长。在实现的时候，可以应用在手术台车的显示屏中，即，在手术的时候，可以获取实时的视频图像，然后对这些实时视频图像进行分析处理，以实现对视频中对象的实时标记显示。该视频图像可以是腔镜手术中实时的视频图像。

步骤102：对所述目标视频图像进行基于矩形框的区域标记和矩形框内对象的物体检测；

在实现的时候，对所述目标视频图像进行基于矩形框的区域标记和矩形框内对象的物体检测，可以是通过目标检测主干网络将所述目标视频图像转换为特征图；然后，将所述特征图输入至区域候选网络，得到矩形划分结果；将矩形划分结果和所述特征图输入至识别器中，确定各矩形框内对象的对象名称。

即，可以如图2所示，将术中视频通过目标检测主干网络输出得到特征图，该输出特征图同时输入到区域候选网络以及分类器中，在区域候选网络中进行迭代分析得到不同类型矩形候选区域，最终在分类器中进行感兴趣区域提取输出区域分类结果。即，可以识别出各矩形框中对象的对象名称，例如：得到两个矩形框，第一矩形框中是：血管，第二矩形框中是：病变区域组织、第三矩形框中是：手术器械，第四矩形框中是：目标脏器。

其中，目标检测主干网络的网络结构，可以如图3所示，即，输入图片数据(即，原始视频图像)至BottleNeckCSP中，目标检测主干网络通过两个BottleNeckCSP和一个SPP(Spatial Pyramid Pooling，金字塔池化)分支网络组成，进行特征数据提取，得到特征图，然后通过后面的网络层结构，进行总体的区域检测和划分。

步骤103：根据物体检测结果，确定各矩形框中对象的对象类别；

可以预先设置类别划分规则，根据检测结果，将各矩形框中的对象进行分类，例如，预先被划分为无需进行进一步分割的规则形状的对象(例如：手术器械、器官)被划分为第一类别，预先被划分为需要进行进一步分割的不规则形状的对象类别(例如：血管、病变区域组织)被划分为第二类别。

步骤104：在矩形框中的对象属于形状规则类别的情况下，按照矩形框对该矩形框中的对象进行标记；

对于第一类别的对象，即，形状规则的，不需要进行进一步分割的对象而言，通过矩形框进行标记即可。

步骤105：在矩形框中的对象属于形状规则类别的情况下，对矩形框中的对象进行边缘分割，基于边缘分割结果对该矩形框中的对象进行标记。

对于第二类的对象，即，形状不规则的，需要进行进一步分割的对象而言，可以进一步进行对象边缘分割，通过边缘划分实现对象标记。

具体的，对矩形框中的对象进行边缘分割，基于边缘分割结果对该矩形框中的对象进行标记，可以如图4所示，包括如下步骤：

步骤401：将该矩形框内的图像划分为多个像素点；

步骤402：确定各个像素点属于目标对象的概率值；

步骤403：将概率值超出预设阈值的像素点所形成的区域，作为目标对象的所占区域；

步骤404：将所述目标对象的所占区域延边缘进行标记，以形成对该矩形框中的对象的标记。

在进行边缘分割的时候，可以是通过语义分割模型进行的，即，通过语义分割模型，对目标对象的边界进行识别标记。其中，语义分割模型是可以如图5所示的基于PSPNet(SpatialPyramid Pooling net，金字塔池化网络)的倒金字塔结构，语义分割模型的输入图片大小可以是384*384像素，通过Avg_pooling进行矩阵扫描取平均值，然后，通过Conv1*1进行卷积网络操作，随后再输入至Conv squeeze层进行卷积压缩，进而，将多个Convsqueeze层的卷积压缩结果输入至Concatenate连接层，然后，通过BN(BatchNormalization)进行批归一化处理，然后通过deepthmax层进行深度最大化，通过Cross_entropy得到交叉熵作为损失值，最终通过Class ID conversion输出Class ID，得到每个像素所属的类别。

在实现的时候，获取目标视频图像，可以是获取术中实时的视频数据；将术中实时的视频数据作为目标视频图像。即，将当前视频帧作为目标视频图像。

在对矩形框中的对象进行标记之后，可以在所述目标视频图像的显示界面中，叠加地显示标记区域和识别到的对象名称。具体的，对于第一类别而言，通过矩形框进行标记，对于第二类别而言，通过图像边界进行标记。例如，可以如图6所示，对于目标组织区域，通过标定对象边界进行标记，对于器械头区域，通过矩形框进行标记。在实际进行标记的时候，可以是将标记与对应的名称进行叠加显示，例如，矩形框、引线箭头、手术钳文字进行叠加显示，表明这个矩形框区域内是手术钳，将边界框、引线箭头、血管文字进行叠加显示，表示这个边界框所标定的是血管。通过这种方式，通过目标检测以及语义分割模型分别使用的标记类型，即矩形以及多边形，也可以实现对规则形状物体以及不规则形状物体的准确高效的识别和标记。

下面结合一个具体实施例对上述方法进行说明，然而，值得注意的是，该具体实施例仅是为了更好地说明本申请，并不构成对本申请的不当限定。

考虑到现有的目标检测模型主要有：物体检测模型、语义分割模型以及无监督异常检测模型等。然而，对于不同类型的识别模型而言，所适应的对象是不同的，例如：物体检测模型适合具有较为规则形状的目标的检测(例如：脏器、手术器械等)，而语义分割模型适合相对不规则区域的识别(例如：血管、腹腔壁、病变区域等)。在手术视频分析中，还没有多任务学习模型进行目标检测的方式。

为了解决单任务学习模型的局限性，在本例中将物体检测及语义分割模型相结合提出了一种针对手术视频分析的多任务学习方法，通过给模型可以提高对手术视频中规则以及不规则的目标区域识别的准确性。具体的，为了提高对手术视频分析的效率和帧率，在本例中，先进行物体检测，根据检测的区域结果选择性地进行进一步分割，因为分割模型一般而言处理以及预测延迟较长，因此，通过检测模型进行初步筛选，可以有效减少分割模型所需处理的视频数据量，进而减少视频分析的总延迟。

具体的，可以包括如下步骤：

S1：在获得视频数据后，首先使用物体检测模型对术中图像进行检测，输出结果为矩形框，以用于标记不同目标区域的位置以及类别；确定出各矩形区域内的对象的对象类型，根据对象类型确定出当前对象是属于不需要进行进一步分割的区域(第一类别)还是属于需要进行进一步分割的区域(第二类别)；

其中，该视频数据可以是术中视频数据，也可以是术后回放的视频数据；即，可以是在手术过程中实时进行目标检测和标定，也可以是后续对手术视频进行分析观看的时候，进行目标检测和标定。

S2：对第一类别不需进行进一步区域分割，因此，可以对对象进行标记展示，对于第二类别，则通过分割模型进行进一步分析，以确定出对象的具体区域，然后进行具体的标记展示。将这些信息叠加展示在视频图像中，例如：展现目标器官、手术器械、血管、病变区域等位置信息，以进行手术决策辅助。

具体的，如图7所示，以术中视频为例，可以将术中视频输入至目标检测模型中，通过矩形区域检测确定出各矩形区域内是需要进一步分割的区域(例如：血管、病变区域等)，还是不需要进一步分割的区域(例如：手术器械、目标脏器等)，对于需要进一步分割的区域，则通过分割模型基于各像素点进行分割，以得到划分结果，对于不需要进行进一步分割的区域，则检测目标标记并进行展示。即，先使用目标/物体检测模型对视频区域进行总体分类，根据检测结果将视频区域进一步细分为是否需要进行分割解析的不同区域，对需要进行进一步深入分析的区域(例如：形状不规则的病灶、伤口等)使用分割模型进行分析。

在实现的时候，可以将视频图像输入至目标检测主干网络中，得到视频图像对应的特征图，然后将该特征图同时输入到区域候选网络以及分类器中，在区域候选网络中进行迭代分析得到不同类型矩形候选区域，最终在分类器中进行感兴趣区域提取输出区域分类结果。

其中，对于目标检测模型而言，可以按照如下如图8所示的方式进行训练，即，得到多个手术视频分解图像，对分解图像进行对象标注，例如，标注哪些是血管、哪些是器械头、哪些是病变区域、哪些是脏器，然后就可以通过预训练模型进行训练，在训练迭代过程中，可以进行权重参数调整，最终得到目标检测模型。即，可以是首先加载预训练模型，该模型是未经过目标数据集优化的网络参数，因此需要使用术中视频图片以及相应标记对网络参数进行调整，以得到一个经过参数调整网络模型，该模型对于所使用的目标数据集能取得较优的测试结果。在具体实现的时候，可以采用如下表1的训练参数进行训练：

表1

在上例中，通过有效结合检测模型和分割模型，可以对规则目标物体和不规则目标物体同时进行分析、分类以及区域面积圈定，达到了准确高效进行目标对象识别和圈定的技术效果。上述方法可以应用在腹腔镜手术等复杂手术的视频实时分析中，从而可以解析出视频中的规则形状物体以及不规则形状物体，并将标记和名称展示在腔镜手术视频中，以便给医生提供信息辅助。具体的，为了有效提升术中视频的分析效率以及帧率，在本例中，首先进行物体检测，根据检测的区域结果选择性地进行进一步分割，因为分割模型一般而言处理以及预测延迟较长，而使用检测模型进行初步筛选能有效减少分割模型所需处理的视频数据量，进而减少视频分析的总延迟。

本申请上述实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在电子设备上为例，图9是本申请提供的一种视频中的对象标记方法的电子设备的硬件结构框图。如图9所示，电子设备10可以包括一个或多个(图中仅示出一个)处理器02(处理器02可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器04、以及用于通信功能的传输模块06。本领域普通技术人员可以理解，图9所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，电子设备10还可包括比图9中所示更多或者更少的组件，或者具有与图9所示不同的配置。

存储器04可用于存储应用软件的软件程序以及模块，如本申请实施例中的视频中的对象标记方法对应的程序指令/模块，处理器02通过运行存储在存储器04内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的视频中的对象标记方法。存储器04可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器04可进一步包括相对于处理器02远程设置的存储器，这些远程存储器可以通过网络连接至电子设备10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输模块06用于经由一个网络接收或者发送数据。上述的网络具体实例可包括电子设备10的通信供应商提供的无线网络。在一个实例中，传输模块06包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输模块06可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

在软件层面，上述视频中的对象标记系统可以如图10所示，包括：

获取模块1001，用于获取目标视频图像；

检测模块1002，用于对所述目标视频图像进行基于矩形框的区域标记和矩形框内对象的物体检测；

分类模块1003，用于根据物体检测结果，确定各矩形框中对象的对象类别；

第一标记模块1004，用于在矩形框中的对象属于形状规则类别的情况下，按照矩形框对该矩形框中的对象进行标记；

第二标记模块1005，用于在矩形框中的对象属于形状不规则类别的情况下，对矩形框中的对象进行边缘分割，基于边缘分割结果对该矩形框中的对象进行标记。

在一个实施方式中，第二标记模块1005具体可以用于将该矩形框内的图像划分为多个像素点；确定各个像素点属于目标对象的概率值；将概率值超出预设阈值的像素点所形成的区域，作为目标对象的所占区域；将所述目标对象的所占区域延边缘进行标记，以形成对该矩形框中的对象的标记。

在一个实施方式中，检测模块1002具体可以用于通过目标检测主干网络将所述目标视频图像转换为特征图；将所述特征图输入至区域候选网络，得到矩形划分结果；将矩形划分结果和所述特征图输入至识别器中，确定各矩形框内对象的对象名称。

在一个实施方式中，获取模块1001具体可以用于获取术中实时的视频数据和/或术后回放的视频数据；将该视频数据作为目标视频图像。

在一个实施方式中，在对矩形框中的对象进行标记之后，可以在所述目标视频图像的显示界面中，叠加地显示标记区域和识别到的对象名称。

在一个实施方式中，上述视频中的对象标记系统可以应用在手术台车中。

本申请的实施例还提供能够实现上述实施例中的视频中的对象标记方法中全部步骤的一种电子设备的具体实施方式，所述电子设备具体包括如下内容：处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的计算机程序，所述处理器执行所述计算机程序时实现上述实施例中的视频中的对象标记方法中的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：

步骤1：获取目标视频图像；

步骤2：对所述目标视频图像进行基于矩形框的区域标记和矩形框内对象的物体检测；

步骤3：根据物体检测结果，确定各矩形框中对象的对象类别；

步骤4：在矩形框中的对象属于形状规则类别的情况下，按照矩形框对该矩形框中的对象进行标记；

步骤5：在矩形框中的对象属于形状不规则类别的情况下，对矩形框中的对象进行边缘分割，基于边缘分割结果对该矩形框中的对象进行标记。

本申请的实施例还提供能够实现上述实施例中的视频中的对象标记方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的视频中的对象标记方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：

步骤1：获取目标视频图像；

步骤2：对所述目标视频图像进行基于矩形框的区域标记和矩形框内对象的物体检测；

步骤3：根据物体检测结果，确定各矩形框中对象的对象类别；

步骤4：在矩形框中的对象属于形状规则类别的情况下，按照矩形框对该矩形框中的对象进行标记；

步骤5：在矩形框中的对象属于形状不规则类别的情况下，对矩形框中的对象进行边缘分割，基于边缘分割结果对该矩形框中的对象进行标记。

从上述描述可知，本申请实施例对于目标视频图像，先进行基于矩形框的区域标记和矩形框内对象的物体检测，然后，根据物体检测结果，确定各矩形框中对象的对象类别，仅对矩形框中的对象属于形状不规则类别的对象进行边缘分割，基于边缘分割结果对该矩形框中的对象进行标记。即，先进行对象类别的划分，然后仅针对需要进行边缘标记的对象才进行边缘标记，对于无需进行边缘标记的对象，仅通过矩形框进行标记，而不进行边缘标记，通过上述方式解决了现有的仅基于矩形框标记所存在的标记准确度较低的问题，又解决了对所有对象都进行边缘标记所存在的实时处理效率较低的问题，达到了在保证标记效率的同时，保证标记准确率的技术效果。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于硬件+程序类实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

虽然本申请提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

虽然本说明书实施例提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或终端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书实施例的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

以上所述仅为本说明书实施例的实施例而已，并不用于限制本说明书实施例。对于本领域技术人员来说，本说明书实施例可以有各种更改和变化。凡在本说明书实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书实施例的权利要求范围之内。