一种图像处理方法及装置

技术领域

本申请涉及计算机图像处理技术，尤其涉及一种图像处理方法及装置。

背景技术

近年来，基于深度学习的图像分割技术如U-Net和V-Net取得了很大的发展。这些模型的准确性和鲁棒性很大程度上取决于训练数据的数量和质量。然而，众所周知，由于需要领域知识，高质量的标注数据非常昂贵。

因此，人们试图引入半监督学习模型，通过使用未标记数据进行图像分割，其中，教师模型-学生模型框架是目前较为流行的半监督方法，已成功地应用于医学图像的分割任务。

具体来说，教师模型是现有模型的一个带有扰动的集合，可以得到更精确的目标。学生模型通过对他们之间的不一致预测进行惩罚来从教师模型中学习，定义为一致性损失。

但是，对于未标记的训练数据，由于没有给出确定正确的标注(ground truth)，很难判断教师模型是否提供了准确的预测。为了缓解这个问题，不确定性度量结果度量被认为是最优策略，因为它们能够检测何时何地模型可能做出错误的预测。

最近对不确定性度量结果估计的研究主要有基于dropout的贝叶斯不确定性度量结果估计和网络模型集成方法。但这些方法依赖于手动设置阈值来控制从教师到学生的信息流，因此，不能解决低不确定性度量结果的错误预测，并可能错误的过滤掉有价值的指导信息。

发明内容

本申请人发明人创造性地提供一种图像处理方法及装置。

根据本申请实施例第一方面，提供一种图像处理方法，该方法包括：接收第一图像数据；使用第一模型对第一图像数据进行处理得到第一分割结果，第一模型是训练学生模型得到的，学生模型的一致性损失函数对总损失函数的影响程度由第一权重决定，第一权重是根据教师模型获取的特征不确定性度量结果和分割不确定性度量结果确定的；输出第一分割结果。

根据本申请一实施例，在使用第一模型处理第一图像数据得到第二图像数据之前，该方法还包括训练学生模型得到第一模型，具体包括：接收训练图像数据，训练图像数据包括有标注的图像数据和无标注的图像数据；使用训练图像数据对学生模型进行训练；根据总损失函数调整学生模型的参数以达到预设的模型精度。

根据本申请一实施例，使用训练图像数据对学生模型进行训练，包括：使用学生模型对训练图像数据进行处理得到第二分割结果及分割损失函数；使用教师模型对训练图像数据进行处理得到第三分割结果、特征不确定性度量结果和分割不确定性度量结果；根据第二分割结果和第三分割结果确定一致性损失函数的值；根据特征不确定性度量结果和分割不确定性度量结果确定第一权重；根据分割损失函数、一致性损失函数和第一权重确定总损失函数。

根据本申请一实施例，使用教师模型对训练图像数据进行处理得到第三分割结果、特征不确定性度量结果和分割不确定性度量结果，包括：使用教师模型对训练图像数据中的每一组输入数据进行T次处理得到T个中间特征向量和T个分割结果，T为大于等于2的自然数；根据T个分割结果确定第三分割结果；根据T个中间特征向量确定特征不确定性度量结果；根据T个分割结果确定分割不确定性度量结果。

根据本申请一实施例，根据T个中间特征向量确定特征不确定性度量结果，包括：根据T个中间特征向量中每两个中间特征向量的差量，确定特征不确定性度量结果。

根据本申请一实施例，根据T个中间特征包括C个通道，C为大于等于2的自然数，相应地，根据T个中间特征向量确定特征不确定性度量结果，包括：根据T个中间特征向量确定每个通道的特征不确定性度量结果；根据每个通道的特征不确定性度量结果确定特征不确定性度量结果。

根据本申请一实施例，在使用教师模型对训练图像数据进行处理的过程中，该方法还包括：随机生成噪音数据，使用教师模型处理噪音数据；和/或在教师模型的网络运算中使用dropout机制。

根据本申请一实施例，根据第二分割结果和第三分割结果确定一致性损失函数，包括：根据第二分割结果和分割不确定性度量结果，对第三分割结果进行调整得到第四分割结果；根据第一分割结果和第四分割结果确定一致性损失函数。

根据本申请一实施例，根据特征不确定性度量结果和分割不确定性度量结果确定第一权重，包括：根据特征不确定性度量结果、分割不确定性度量结果和可设定的第一权重计算方法确定第一权重。

根据本申请实施例第二方面，一种图像处理装置，该装置包括：图像数据接收模块，用于接收第一图像数据；图像数据处理模块，用于使用第一模型对第一图像数据进行处理得到第一分割结果，第一模型是训练学生模型得到的，学生模型的一致性损失函数对总损失函数的影响程度由第一权重决定，第一权重是根据教师模型获取的特征不确定性度量结果和分割不确定性度量结果确定的；分割结果输出模块，用于输出第一分割结果。

本申请实施例提供一种图像处理方法及装置，该方法使用有标注数据和无标注数据对教师模型和学生模型进行半监督训练得到的学生模型作为图像数据处理模型进行图像分割。在进行半监督训练时，学生模型的总损失函数为分割损失函数和一致性损失函数的加权和，其中，分割损失函数的函数值是根据有标注的训练数据的训练结果和标注数据得到的，而一致性损失函数的函数值则是根据学生模型的分割结果和教师模型的分割结果得到的，一致性损失函数的权重值则通过教师模型获取的特征不确定性度量结果和分割不确定性度量结果来确定。

如此，当教师模型获取的特征不确定性度量结果和分割不确定性度量结果表明其预测结果的稳定，可认为教师模型预测的分割结果是可信的或准确的，此时一致性损失函数的权重值随之提高，可以使学生模型预测的分割结果逼近教师模型预测的分割结果，从而可充分利用无标注数据提高学生模型的泛化能力和鲁棒性；当教师模型获取的特征不确定性度量结果和分割不确定性度量结果表明其预测结果不稳定时，可认为教师模型预测的分割结果是不可信的或不准确的，此时一致性损失函数的权重值随之降低，可使学生模型预测的分割结果受教师模型预测的分割结果影响的程度降低，更靠近带标注的数据产生的分割结果，从而使学生模型分割图像的准确度得以保证。

如此训练得到的学生模型可充分利用有标注数据的准确性和无标注数据的泛化能力，取得较佳的训练效果，使模型的精度更高，相应地，本申请图像处理方法使用如此训练得到的学生模型作为图像处理模型进行图像分割，可使图像分割的结果更为准确。

附图说明

通过参考附图阅读下文的详细描述，本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本申请的若干实施方式，其中：

在附图中，相同或对应的标号表示相同或对应的部分。

图1为本申请图像处理方法一实施例的实现流程示意图；

图2为本申请图像处理方法另一实施例的实现流程示意图；

图3为本申请图像处理装置一实施例的组成结构示意图。

具体实施方式

为使本申请的目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

图1示出了本申请图像处理方法一实施例的实现流程。参考图1，该方法包括：操作110，接收第一图像数据；操作120，使用第一模型对第一图像数据进行处理得到第一分割结果，第一模型是训练学生模型得到的，学生模型的一致性损失函数对总损失函数的影响程度由第一权重决定，第一权重是根据教师模型获取的特征不确定性度量结果和分割不确定性度量结果确定的；操作130，输出第一分割结果。

其中，第一图像数据指待分割的图像数据。分割是指根据灰度、彩色、空间纹理、几何形状等特征把图像划分成若干个互不相交的区域，从而把目标区域(例如，血管)从一幅图像中分离出来，以便进一步处理。

第一分割结果就是通过第一模型对第一图像数据进行处理(包括分割)后得到的目标区域(例如，血管)。

第一模型是经过改进后的教师模型-学生模型框架进行半监督训练得到的学生模型，比起较现有教授模型-学生框架进行半监督训练得到的学生模型，第一模型的精度更高、鲁棒性也更高。因此，通过第一模型对第一图像数据进行处理得到的第一分割结果的准确度更高。

如前所述，对于未标记的训练数据，由于没有给出确定正确的标注(groundtruth)，很难判断教师模型是否提供了准确的预测，因此采用现有的教师模型-学生模型框架进行半监督训练所得到的学生模型，很可能会不太稳定，准确率也得不到保障。

为此，本申请图像处理方法对教师模型-学生模型框架进行半监督训练的方法进行了改进，在进行不确定性度量时，除了使用分割不确定性度量结果之外，还创造性地引入特征不确定性度量结果来衡量教师模型是否提供了准确的预测。

其中，分割不确定性度量结果度量的是分割结果的不确定性。分割结果的不确定性指相同的图像数据输入多次，每次得到的分割结果都不尽相同，而分割不确定性度量结果就是用于度量这些分割结果之间的差异程度。

特征不确定性度量结果度量的是分割过程中特征提取的不确定性。特征不确定性指相同的图像数据输入多次，在分割过程中每次提取到的特征都不尽相同，而特征不确定性度量结果就是用于度量这些特征之间的差异程度。

由于在网络训练过程中，每个卷积核的不确定性分别代表着特征提取能力，而每个卷积核对应的特征的不确定性，则可以表示模型对每个输入样例的预测性能。因而，通过特征不确定可以从进一步决策所依据的数据基础(即提取到特征)入手，从决策根基上评判教师模型是否提供了准确的预测。这种特征的不确定性结合分割不确定性可以更全面、更深入和更准确地评判教师模型是否提供了准确的预测，其评判结果更可信，也更准确。

这就解决了对于未标记的训练数据，由于没有给出确定正确的标注很难判断教师模型是否提供了准确的预测的问题。

此外，本申请图像处理方法，还引入了通过特征不确定性度量结果和分割不确定性度量结果确定的第一权重，并通过该权重来影响一致性损失函数在总损失函数的占比。

例如，当教师模型获取的特征不确定性度量结果和分割不确定性度量结果表明其预测结果的稳定，可认为教师模型预测的分割结果是可信的或准确的，此时一致性损失函数的权重值随特征不确定性度量结果和分割不确定性度量结果的提高而提高，如此，可以使学生模型预测的分割结果逼近教师模型预测的分割结果，从而可充分利用无标注数据提高学生模型的泛化能力和鲁棒性；当教师模型获取的特征不确定性度量结果和分割不确定性度量结果表明其预测结果不稳定时，可认为教师模型预测的分割结果是不可信的或不准确的，此时一致性损失函数的权重值随特征不确定性度量结果和分割不确定性度量结果降低而降低，如此，可使学生模型预测的分割结果受教师模型预测的分割结果影响的程度降低，更靠近带标注的数据产生的分割结果，从而使学生模型分割图像的准确度得以保证。

不难看出，通过上述训练过程得到的学生模型可充分利用有标注数据的准确性和无标注数据的泛化能力，取得较佳的训练效果，从而使模型的精度更高。相应地，本申请图像处理方法使用如此训练得到的学生模型作为图像处理模型进行图像分割，可使图像分割的结果更为准确。

需要说明的是图1所示的实施例仅为本申请信息处理方法最基本的一个实施例，实施者还可在其基础上进行进一步细化和扩展。

根据本申请一实施例，在使用第一模型处理第一图像数据得到第二图像数据之前，该方法还包括训练学生模型得到第一模型，具体包括：接收训练图像数据，训练图像数据包括有标注的图像数据和无标注的图像数据；使用训练图像数据对学生模型进行训练；根据总损失函数调整学生模型的参数以达到预设的模型精度。

其中，总函数函数包括一致性损失函数，一致性损失函数占比越高，教师模型的预测结果对学生模型参数的调整所产生的影响就越大。

根据本申请一实施例，使用训练图像数据对学生模型进行训练，包括：使用学生模型对训练图像数据进行处理得到第二分割结果及分割损失函数；使用教师模型对训练图像数据进行处理得到第三分割结果、特征不确定性度量结果和分割不确定性度量结果；根据第二分割结果和第三分割结果确定一致性损失函数的值；根据特征不确定性度量结果和分割不确定性度量结果确定第一权重；根据分割损失函数、一致性损失函数和第一权重确定总损失函数。

其中，第二分割结果是学生模型对有标注的图像数据和无标注的图像数据进行处理得到的分割结果。

分割损失函数主要根据对有标注的图像数据进行处理得到的分割结果与有标注的图像数据中标注的分割结果进行比较得到的二者之间的差量。

第三分割结果是教师模型对有标注的图像数据和无标注的图像数据进行处理得到的分割结果。在教师模型对有标注的图像数据和无标注的图像数据进行处理的过程中，可以重复对同一输入进行多次输入，并通过多次获得的不同结果来获取特征不确定性度量结果和分割不确定性度量结果。

确定一致性损失函是通过比较学生模型得到的分割结果和教师模型得到的分割结果得到的，其作用是使学生模型得到的分割结果和教师模型得到的分割结果更接近。

在本实施例中，总损失函数由分割损失函数、一致性损失函数和决定一致性损失函数对总损失函数影响程度的第一权重来确定。

根据本申请一实施例，使用教师模型对训练图像数据进行处理得到第三分割结果、特征不确定性度量结果和分割不确定性度量结果，包括：使用教师模型对训练图像数据中的每一组输入数据进行T次处理得到T个中间特征向量和T个分割结果，T为大于等于2的自然数；根据T个分割结果确定第二分割结果；根据T个中间特征向量确定特征不确定性度量结果；根据T个分割结果确定分割不确定性度量结果。

其中，根据T个分割结果确定第三分割结果可以使第三分割结果更为稳定，其值不会因某一次分割失误而产生较大误差。使用这一平均后的分割结果替代某次分割结果进行一致性损失函数的计算，也相应会提高学生模型的稳定性和准确性。

如果仅根据几次结果来评判分割不确定性和特征不确定性，难免会有偏颇，而根据多次分割结果和多次特征提取的特征所确定的分割不确定性则能从长期表现获取不确定性的实际程度。

根据本申请一实施例，根据T个中间特征向量确定特征不确定性度量结果，包括：根据T个中间特征向量中每两个中间特征向量的差量，确定特征不确定性度量结果。

通过比较T个中间特征向量中每两个中间特征向量的差量，可以发现特征提取过程中忽高忽低的情况，对特征提取的平稳性也有所评估，进而可以更精确地反映不确定性的抖动幅度。

根据本申请一实施例，根据T个中间特征包括C个通道，C为大于等于2的自然数，相应地，根据T个中间特征向量确定特征不确定性度量结果，包括：根据T个中间特征向量确定每个通道的特征不确定性度量结果；根据每个通道的特征不确定性度量结果确定特征不确定性度量结果。

通过根据T个中间特征向量确定每个通道的特征不确定性度量结果，可以精确地定位到每个通道的预测性能，从而可以根据每个通道的特征不确定性对模型进行调优，进而使模型的精度更高。

根据本申请一实施例，在使用教师模型对训练图像数据进行处理的过程中，该方法还包括：随机生成噪音数据，使用教师模型处理噪音数据；和/或在教师模型的网络运算中使用dropout机制。

通过噪音数据和dropout机制对教师模型的处理进行扰动，可提高不确定性评估的鲁棒性，而不至于因为无标签数据固有的一些特点使评估产品偏颇。例如，因为使用了具有偏见性的片面数据训练模型，使得模型的判断也具有偏见性。

根据本申请一实施例，根据第二分割结果和第三分割结果确定一致性损失函数，包括：根据第二分割结果和分割不确定性度量结果，对第三分割结果进行调整得到第四分割结果；根据第一分割结果和第四分割结果确定一致性损失函数。

根据第二分割结果和分割不确定性度量结果，对第三分割结果进行调整时，可以基于教师模型的多次分割结果和学生模型的分割结果进行平均(或加权平均)得到第四分割结果，也可以是其他使用的调整方法。使用经过调整后的分割结果与学生模型的分割结果进行比较得到一致性损失，可以使学生模型的分割结果不会因为某次较大偏差而产生较大幅度的抖动，从而使学生模型的分割结果更趋平稳、可靠和准确。

根据本申请一实施例，根据特征不确定性度量结果和分割不确定性度量结果确定第一权重，包括：根据特征不确定性度量结果、分割不确定性度量结果和可设定的第一权重计算方法确定第一权重。

在设定第一权重的计算方法时，要使权重大小和不确定性的度量结果相结合，达到以下效果：不确定性越大的时候，使一致性损失函数对总损失函数的影响程度越低。

只要能实现上述效果，任何适用的公式或计算方法均可。此外，如果第一权重计算方法是可设定的，即通过某种配置方式进行设定，则还可以根据实施效果对第一权重计算方法进行修订以持续提高模型训练效果。

需要说明的是以上各个实施例仅为示例性说明，实施者还可根据具体的实施需求和实施条件，对上述实施例中的实施方式进行组合和灵活应用，进而形成更多的实施例。

图2示出了本申请信息处理方法的另一实施例。该实施例将本申请图像处理方法应用于医学图像的分割处理过程中，并根据实施条件择优应用了以上多种实施方式，取得了较好的实施效果。

图2所示的实施例以Mean-Teacher作为半监督训练的模型框架，其中教师模型和学生模型的神经网络均采用V-Net网络。学生模型在训练步骤的权重记为θ。教师模型使用学生模型的指数移动平均(EMA)权重：θ′

具体的，其对学生模型进行半监督训练得到第一模型的训练过程主要包括：

步骤2010，向学生模型和教师模型，输入有标注的医学图像数据；

步骤2020，向学生模型和教师模型，输入无标注的医学模型数据；

步骤2030，使用学生模型对有标注的医学图像数据和无标注的医学模型数据进行分割处理；

步骤2040，根据学生模型的输出，获取学生模型分割结果；

步骤2050，根据有标注的医学图像数据，获取标注的分割结果；

步骤2060，根据学生模型分割结果和标注的分割结果，确定分割损失L

其中，分割损失主要指学生模型分割结果和标注的分割结果之间的差量。

步骤2070，使用教师模型对有标注的医学图像数据和无标注的医学模型数据进行分割处理；

其中，教师模型在训练过程中，还会对输入加入随机噪声以及dropout作为干扰数据，以提高训练效果，使模型的泛化能力和鲁棒性更强。

步骤2080，根据教师模型的特征提取结果，获取特征不确定性；

在训练过程中加入多次dropout和随机噪声，并对于每个输入进行T次预测，获得T个中间特征向量F

其中，通道c的不确定性定义为:

x

步骤2090，根据教师模型分割结果，获取分割不确定性；

分割不确定性由下式得到，其中ρt是第i类在第t次的预测输出向量，M是分类的数量。u

步骤2100，根据特征不确定性度量结果和分割不确定性度量结果，确定一致性损失的权重λ；

其中，w(t)是基于训练步数的高斯函数，U

可以看出，一致性损失的权重λ与U

步骤2110，根据学生模型分割结果和教师模型通过获取分割不确定性的过程所得到的分割结果，获取修正后的教师模型分割结果；

步骤2120，根据学生模型分割结果和修正后的教师模型分割结果，确定一致性损失L

不确定一致性损失L

t′

v表示第v个体素，β是一个超参数，可以防止教师模型始终产生较高的不确定性估计。设计的一致性损失L

一致性损失促进师生模型得到尽可能一致的预测结果。

步骤2013，根据分割损失、一致性损失和一致性损失的权重计算总损失，并根据总损失调整学生模型的参数。

如下公式所示，学生模型的总损失是监督损失L

由此可见，学生模型的目标是最小化带标记数据的监督分割损失和带标记和未标记数据的一致性损失。

不难看出，以上训练步骤的更新方式可有效提高预测的质量，特别是对特征不确定性的评估揭示了模型决策的内在机制是否需要改进，以及应该改进的程度。从而在没有数据标注的情况下，一方面，通过上述一致性损失函数仍然能够激励教师的预测更接近真实结果；另一方面，通过不确定性权值有效地利用了无标记数据，避免了教师模型不确定性高的预测结果对学生模型的预测造成干扰，从而减少了学生模型预测结果的不确定性。由此，只需要少量带标注的训练数据，即可提升医学图像分割模型的准确性，还减小了模型预测结果的不确定性。

需要说明的是图2所示的应用也仅为本申请信息处理方法的实施例之一，而非对本申请信息处理方法实施方式和应用场景的限定。实施者可根据具体的实施条件，采用任何适用的实施方式，应用于任何适用的应用场景中。

进一步地，本申请实施例还提供一种图像处理装置。如图3所示，该装置30包括：图像数据接收模块301，用于接收第一图像数据；图像数据处理模块302，用于使用第一模型对第一图像数据进行处理得到第一分割结果，第一模型是训练学生模型得到的，学生模型的一致性损失函数对总损失函数的影响程度由第一权重决定，第一权重是根据教师模型获取的特征不确定性度量结果和分割不确定性度量结果确定的；图像数据输出模块303，用于输出第一分割结果。

根据本申请一实施例，该装置30还包括模型训练模块，具体包括：训练图像数据接收子模块，用于接收训练图像数据，训练图像数据包括有标注的图像数据和无标注的图像数据；模型训练子模块，用于使用训练图像数据对学生模型进行训练；模型优化子模块，用于根据总损失函数调整学生模型的参数以达到预设的模型精度。

根据本申请一实施例，模型训练子模块包括：学生模型处理单元，用于使用学生模型对训练图像数据进行处理得到第二分割结果及分割损失函数；教师模型处理单元，用于使用教师模型对训练图像数据进行处理得到第三分割结果、特征不确定性度量结果和分割不确定性度量结果；一致性损失函数确定单元，用于根据第二分割结果和第三分割结果确定一致性损失函数的值；第一权重确定单元，根据特征不确定性度量结果和分割不确定性度量结果确定第一权重；总损失函数确定单元，根据分割损失函数、一致性损失函数和第一权重确定总损失函数。

根据本申请一实施例，教师模型处理单元包括：图像处理子单元，用于使用教师模型对训练图像数据中的每一组输入数据进行T次处理得到T个中间特征向量和T个分割结果，T为大于等于2的自然数；第三分割结果确定子单元，用于根据T个分割结果确定第三分割结果；特征不确定性度量结果确定子单元，用于根据T个中间特征向量确定特征不确定性度量结果；分割不确定性度量结果确定子单元，用于根据T个分割结果确定分割不确定性度量结果。

根据本申请一实施例，特征不确定性度量结果确定子单元具体用于根据T个中间特征向量中每两个中间特征向量的差量，确定特征不确定性度量结果。

根据本申请一实施例，根据T个中间特征包括C个通道，C为大于等于2的自然数，相应地，特征不确定性度量结果确定子单元具体用于根据T个中间特征向量确定每个通道的特征不确定性度量结果；根据每个通道的特征不确定性度量结果确定特征不确定性度量结果。

根据本申请一实施例，教师模型处理单元还包括扰动子单元，用于随机生成噪音数据，使用教师模型处理噪音数据；和/或在教师模型的网络运算中使用dropout机制。

根据本申请一实施例，一致性损失函数确定单元，包括：第三分割结果调整子单元，用于根据第二分割结果和分割不确定性度量结果，对第三分割结果进行调整得到第四分割结果；一致性损失函数确定子单元，用于根据第一分割结果和第四分割结果确定一致性损失函数。

根据本申请一实施例，第一权重确定单元具体用于根据特征不确定性度量结果、分割不确定性度量结果和可设定的第一权重计算方法确定第一权重。

根据本申请实施例第三方面，提供一种计算机可读存储介质，存储介质包括一组计算机可执行指令，当指令被执行时用于执行上述任一项应用于推荐系统的信息处理方法。

这里需要指出的是：以上针对图像处理装置实施例的描述和以上针对计算机可读存储介质实施例的描述，与前述方法实施例的描述是类似的，具有同前述方法实施例相似的有益效果，因此不做赘述。对于本申请对图像处理装置实施例的描述和对计算机可读存储介质实施例的描述尚未披露的技术细节，请参照本申请前述方法实施例的描述而理解，为节约篇幅，不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个装置，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以使用硬件的形式实现，也可以使用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储介质、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例方法的全部或部分。而前述的存储介质包括：移动存储介质、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。