关键点检测模型训练方法、关键点检测方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种关键点检测模型训练方法、关键点检测方法及装置。

背景技术

目前，关键点检测任务主要面临以下三个问题：

其一，关键点训练数据的标注极其耗时，尤其是面临新的关键点检测任务时，关键点的标注工作更加耗时复杂。并且，不同的标注人员在标注的时候，会因为个人的判断和标注的差异，在标注任务中引入关键点的标注误差。同一个关键点的位置因标注误差在小范围有波动，从而增加了关键点训练收敛的难度。

其二，低质量数据的检测困难，例如，对于一个有多个关键点检测任务时，在遮挡、姿态和光照或者关键点标注的部位没有出现在图像中等情况下，通常会有一些关键点被遮挡或者是质量很差。在这种情况下，关键点标注者本身也无法准确判断关键点所在的准确位置，如果将这些所有的关键点都送到网络进行学习，会影响整个关键点学习的准确性。

其三，为了不断地提升关键点检测网络的效果，现有的网络大都通过对网络进行不断地堆叠，来提升关键点检测的准确度，如：Hourglass、CPN(对偶传播神经网络)等网络。但是，在实际使用的部署中，这样大型的网络的推理速度都很慢，且对内存、显存等资源要求较高，无法达到实际使用时的性能要求。

发明内容

有鉴于此，本发明提供了一种关键点检测模型训练方法、关键点检测方法及装置，以减少现有技术存在的一个或多个缺陷。

为了达到上述目的，本发明采用以下方案实现：

根据本发明实施例的一个方面，提供了一种关键点检测模型训练方法，包括：

获取训练样本集；其中，所述训练样本集中包括第一类型的训练样本和第二类型的训练样本，所述第一类型的训练样本包括训练图像、训练图像中的关键点的位置及相应关键点的可用性，所述第二类型的训练样本包括训练图像；

利用第一类型的训练样本和第一总损失函数训练教师网络，得到训练后的教师网络；其中，所述第一总损失函数包括用于约束关键点的可用性的损失函数和用于约束关键点的位置的损失函数；

从所述训练样本集中选取第一训练样本，在所述第一训练样本为所述第二类型的训练样本的情况下，将所述第一训练样本输入至训练后的教师网络，得到第一关键点位置预测结果和相应的第一关键点可用性预测结果，并将所述第一训练样本输入至学生网络，得到第二关键点位置预测结果和相应的第二关键点可用性预测结果；

将所述第一关键点位置预测结果、所述第一关键点可用性预测结果、所述第二关键点位置预测结果、及第二关键点可用性预测结果输入至第二总损失函数，得到第二总损失函数的第一数值，并将第二总损失函数的第一数值反馈至学生网络，以基于训练后的教师网络的知识蒸馏利用第二类型的训练样本训练学生网络，并根据训练后的学生网络或包括训练后的学生网络和训练后的教师网络的网络得到关键点检测模型；其中，所述第二总损失函数包括用于约束学生网络的关键点位置预测结果接近教师网络的关键点位置预测结果的损失函数和用于约束学生网络的关键点可用性预测结果接近教师网络的关键点可用性预测结果的损失函数。

在一些实施例中，所述第二总损失函数还包括用于约束学生网络的关键点位置预测结果接近已知关键点位置的损失函数和用于约束学生网络的关键点可用性预测结果接近已知关键点可用性预测结果的损失函数；

根据训练后的学生网络或包括训练后的学生网络和训练后的教师网络的网络得到关键点检测模型之前，所述方法，还包括：

从所述训练样本集中选取第二训练样本，在所述第二训练样本为所述第一类型的训练样本的情况下，将所述第二训练样本输入至学生网络，得到第三关键点位置预测结果和相应的第三关键点可用性预测结果，并将所述第三关键点位置预测结果和所述第三关键点可用性预测结果输入至所述第二总损失函数，得到第二总损失函数的第二数值，并将第二总损失函数的第二数值反馈至学生网络，以利用第一类型的训练样本训练学生网络。

在一些实施例中，从所述训练样本集中选取第二训练样本，在所述第二训练样本为所述第一类型的训练样本的情况下，将所述第二训练样本输入至学生网络，得到第三关键点位置预测结果和相应的第三关键点可用性预测结果，并将所述第三关键点位置预测结果和所述第三关键点可用性预测结果输入至所述第二总损失函数，得到第二总损失函数的第二数值，并将第二总损失函数的第二数值反馈至学生网络，以利用第一类型的训练样本训练学生网络，包括：

从所述训练样本集中选取第二训练样本，在所述第二训练样本为所述第一类型的训练样本的情况下，屏蔽掉所述第二总损失函数中的用于约束学生网络的关键点位置预测结果接近教师网络的关键点位置预测结果的损失函数和用于约束学生网络的关键点可用性预测结果接近教师网络的关键点可用性预测结果的损失函数，并将所述第二训练样本输入至学生网络，得到第三关键点位置预测结果和相应的第三关键点可用性预测结果，并将所述第三关键点位置预测结果和所述第三关键点可用性预测结果输入至所述第二总损失函数，得到第二总损失函数的第二数值，并将第二总损失函数的第二数值反馈至学生网络，以利用第一类型的训练样本训练学生网络。

在一些实施例中，用于约束学生网络的关键点位置预测结果接近教师网络的关键点位置预测结果的损失函数为均方误差损失函数，和/或，用于约束学生网络的关键点位置预测结果接近已知关键点位置的损失函数为均方误差损失函数；用于约束学生网络的关键点可用性预测结果接近教师网络的关键点可用性预测结果的损失函数为交叉熵损失函数，和/或，用于约束学生网络的关键点可用性预测结果接近已知关键点可用性预测结果的损失函数为交叉熵损失函数。

在一些实施例中，每个第一类型的训练样本包括多个关键点的位置，和/或，教师网络所需计算资源大于学生网络所需计算资源。

根据本发明实施例的一个方面，还提供了一种关键点检测方法，包括：

获取利用上述任一实施例所述的关键点检测模型训练方法对包括教师网络和学生网络训练得到的关键点检测模型；

利用获取的关键点检测模型检测待检测图像中的关键点。

在一些实施例中，利用获取的关键点检测模型检测待检测图像中的关键点，包括：

利用获取的关键点检测模型中的训练后的学生网络实时检测待检测图像中的关键点。

根据本发明实施例的一个方面，还提供了一种关键点检测装置，利用上述任一实施例所述的关键点检测模型训练方法对包括教师网络和学生网络训练得到的关键点检测模型。

根据本发明实施例的一个方面，还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一实施例所述方法的步骤。

根据本发明实施例的一个方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一实施例所述方法的步骤。

本发明实施例的关键点检测模型训练方法、关键点检测方法、关键点检测装置、电子设备及计算机可读存储介质，能够减少关键点检测问题中大量训练数据的标注问题、低质量图像关键点检测问题和关键点模型精度和部署时的速度问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是本发明一实施例的关键点检测模型训练方法的流程示意图；

图2是本发明一具体实施例的关键点检测模型训练方法的流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

需要预先说明的是，下述实施例或示例的描述或其中所提及的特征可以以相同或类似的方式，与其他实施例或示例中的特征组合，或替换其他实施例或示例中的特征，以形成可能的实施方式。另外，本文所使用的术语“包括/包含”是指特征、要素、步骤或组件的存在，但并不排除还存在一个或多个其他特征、要素、步骤或组件。

针对关键点标注的耗时长、低质量图像影响关键点学习准确性及实时性不好的问题，本发明提供了一种关键点检测模型训练方法，以基于知识蒸馏减少关键点标注的耗时，减少低质量图像对关键点学习准确性的影响，帮助提高关键点检测实时性。

图1是本发明一实施例的关键点检测模型训练方法的流程示意图，如图1所示，该些实施例的关键点检测模型训练方法，可包括以下步骤S110～步骤S140。

下面将对步骤S110至步骤S140的具体实施方式进行详细说明。

步骤S110：获取训练样本集；其中，所述训练样本集中包括第一类型的训练样本和第二类型的训练样本，所述第一类型的训练样本包括训练图像、训练图像中的关键点的位置及相应关键点的可用性，所述第二类型的训练样本包括训练图像。

该步骤S110中，第一类型的训练样本是图像中关键点位置及关键点可用性已知的训练样本，其中的关键点的位置和关键点的可用性可以是人工标注的，或者可以是通过其他途径得知的。每个训练样本可以包括一个训练图像，一个训练图像中可以有多个关键点，所以第一类型的训练样本中可以包含多个关键点的位置。第一类型的训练样本中可以包括多个关键点，从而包括该多个关键点的位置(在图像中的位置，如像素位置)，以及每个关键点的可用性，如，若可用可以标记1，如不可用可以标记0。

步骤S120：利用第一类型的训练样本和第一总损失函数训练教师网络，得到训练后的教师网络；其中，所述第一总损失函数包括用于约束关键点的可用性的损失函数和用于约束关键点的位置的损失函数。

该步骤S120，第一总损失函数中的用于约束关键点的位置的损失函数可以使教师网络以输入训练样本中的关键点位置为目标进行训练学习，第一总损失函数中的用于约束关键点的可用性的损失函数可以使教师网络以输入训练样本中的关键点可用性为目标进行训练学习。

用于约束关键点的可用性的损失函数可以是各种可用的损失函数。用于约束关键点的位置的损失函数可以是各种可用的损失函数。第一总损失函数可以有该两部分损失函数构成。

例如，用于约束关键点的位置的损失函数可以为均方误差损失函数，用于约束关键点的可用性的损失函数可以为交叉熵损失函数，该第一总损失函数L

L

其中，L

具体实施时，该步骤S120，可包括：将第一类型的训练样本中的训练图像输入至教师网络中，教师网络输出关键点位置预测结果和相应的关键点可用性预测结果，然后可以将第一类型的训练样本中的关键点的位置及相应关键点的可用性，以及输出的关键点位置预测结果和相应的关键点可用性预测结果带入第一总损失函数中，可以得到损失函数的值，将该损失函数的值反馈至教师网络，以训练该教师网络。可以在达到一定训练次数或损失函数的值达到一定阈值范围时，完成对教师网络的训练。

步骤S130：从所述训练样本集中选取第一训练样本，在所述第一训练样本为所述第二类型的训练样本的情况下，将所述第一训练样本输入至训练后的教师网络，得到第一关键点位置预测结果和相应的第一关键点可用性预测结果，并将所述第一训练样本输入至学生网络，得到第二关键点位置预测结果和相应的第二关键点可用性预测结果。

该步骤S130中，若第二类型的训练样本中仅包含训练图像，不包含关键点的位置及相应的可用性信息，则可以先将该第二类型的训练样本中的训练图像输入至训练好的教师网络中，得到教师网络的训练结果，即第一关键点位置预测结果和相应的第一关键点可用性预测结果，可以作为学生网络的学习目标。将第二类型的训练样本中的训练图像输入至学生网络，可以得到学生网络的预测结果，即，第二关键点位置预测结果和相应的第二关键点可用性预测结果，据此可以得到其预测结果与目标的差异。

步骤S140：将所述第一关键点位置预测结果、所述第一关键点可用性预测结果、所述第二关键点位置预测结果、及第二关键点可用性预测结果输入至第二总损失函数，得到第二总损失函数的第一数值，并将第二总损失函数的第一数值反馈至学生网络，以基于训练后的教师网络的知识蒸馏利用第二类型的训练样本训练学生网络，并根据训练后的学生网络或包括训练后的学生网络和训练后的教师网络的网络得到关键点检测模型；其中，所述第二总损失函数包括用于约束学生网络的关键点位置预测结果接近教师网络的关键点位置预测结果的损失函数和用于约束学生网络的关键点可用性预测结果接近教师网络的关键点可用性预测结果的损失函数。

该步骤S140中，该第二总损失函数中用于约束学生网络的关键点位置预测结果接近教师网络的关键点位置预测结果的损失函数可以用于表示在输入的训练图像相同的情况下学生网络的关键点位置预测结果与教师网络的关键点位置预测结果的差异，用于约束学生网络的关键点可用性预测结果接近教师网络的关键点可用性预测结果的损失函数可以表示学生网络的关键点可用性预测结果和教师网络的关键点可用性预测结果的差异。通过将学生网络的第二关键点位置预测结果及第二关键点可用性预测结果和教师网络的第一关键点位置预测结果及第一关键点可用性预测结果带入第二总损失函数可以根据教师网络的预测结果调整学生网络，从而教师网络可以将其学习到的知识蒸馏至学生网络。

教师网络和学生网络均可以为现有的用来检测图像中关键点的网络，可以包括卷积神经网络。教师网络所需计算资源可以大于学生网络所需计算资源。教师网络的网络复杂度通常可以比学生网络的复杂度大，如网络层数多等，教师网络学习耗时更长，学生网络学习耗时较短，而且教师网络的预测结果较为准确，所以以此将教师网络学习到的知识蒸馏给学生网络，既可以尽可能保证学习的准确性，又可以尽量减少耗时。而且，由于教师网络和学生网络不仅学习了预测关键点的位置，还学习了预测关键点的可用性，所以，可以检测有效的关键点，以此，即使对于低质量的图像，也能准确检测。

进一步的实施例中，图1所示的关键点检测模型训练方法中，上述第二总损失函数还可包括用于约束学生网络的关键点位置预测结果接近已知关键点位置的损失函数和用于约束学生网络的关键点可用性预测结果接近已知关键点可用性预测结果的损失函数。

其中，用于约束学生网络的关键点位置预测结果接近已知关键点位置的损失函数中的“已知关键点位置”可以是通过标注或其他方式得到的关键点的位置，用于约束学生网络的关键点可用性预测结果接近已知关键点可用性预测结果的损失函数中的“已知关键点可用性预测结果”可以是通过标注或其他方式得到的关键点的可用性。所以，通过使第二总损失函数还可包括用于约束学生网络的关键点位置预测结果接近已知关键点位置的损失函数和用于约束学生网络的关键点可用性预测结果接近已知关键点可用性预测结果的损失函数，可以基于该第二总损失函数利用已标注关键点相关信息的训练样本训练学生网络。训练结果更准确，而且可以利用标注的和未标注的训练样本训练学生网络。

具体地，用于约束学生网络的关键点位置预测结果接近已知关键点位置的损失函数和用于约束学生网络的关键点可用性预测结果接近已知关键点可用性预测结果的损失函数可以对应一个权重，用于约束学生网络的关键点位置预测结果接近教师网络的关键点位置预测结果的损失函数和用于约束学生网络的关键点可用性预测结果接近教师网络的关键点可用性预测结果的损失函数可以对应另一个权重，通过调节这两个权重的比例，可以调节这两类损失函数对总损失函数的影响。

在一些实施例中，用于约束学生网络的关键点位置预测结果接近教师网络的关键点位置预测结果的损失函数为均方误差损失函数，和/或，用于约束学生网络的关键点位置预测结果接近已知关键点位置的损失函数为均方误差损失函数；用于约束学生网络的关键点可用性预测结果接近教师网络的关键点可用性预测结果的损失函数为交叉熵损失函数，和/或，用于约束学生网络的关键点可用性预测结果接近已知关键点可用性预测结果的损失函数为交叉熵损失函数。

用于约束学生网络的关键点位置预测结果接近已知关键点位置的损失函数可以为均方误差损失函数，用于约束学生网络的关键点可用性预测结果接近已知关键点可用性预测结果的损失函数可以为交叉熵损失函数。另外，教师网络的关键点位置预测结果和学生网络的关键点位置预测结果可以用置信图表示。

例如，第二总损失函数L可以表示为：

L＝α(L

其中，L

在一些实施例中，可以利用第一类型的训练样本直接训练学生网络。示例性地，上述步骤S140中，根据训练后的学生网络或包括训练后的学生网络和训练后的教师网络的网络得到关键点检测模型之前，图1所示方法，还可包括步骤：S150，从所述训练样本集中选取第二训练样本，在所述第二训练样本为所述第一类型的训练样本的情况下，将所述第二训练样本输入至学生网络，得到第三关键点位置预测结果和相应的第三关键点可用性预测结果，并将所述第三关键点位置预测结果和所述第三关键点可用性预测结果输入至所述第二总损失函数，得到第二总损失函数的第二数值，并将第二总损失函数的第二数值反馈至学生网络，以利用第一类型的训练样本训练学生网络。

该实施例中，对于已经标注好的训练样本，可以直接利用这样的样本训练学生网络。

进一步的实施例中，可以调节第二总损失函数中各种损失函数的比例，以调节各种损失函数的影响大小。例如，上述步骤S150，具体可包括步骤：从所述训练样本集中选取第二训练样本，在所述第二训练样本为所述第一类型的训练样本的情况下，屏蔽掉所述第二总损失函数中的用于约束学生网络的关键点位置预测结果接近教师网络的关键点位置预测结果的损失函数和用于约束学生网络的关键点可用性预测结果接近教师网络的关键点可用性预测结果的损失函数，并将所述第二训练样本输入至学生网络，得到第三关键点位置预测结果和相应的第三关键点可用性预测结果，并将所述第三关键点位置预测结果和所述第三关键点可用性预测结果输入至所述第二总损失函数，得到第二总损失函数的第二数值，并将第二总损失函数的第二数值反馈至学生网络，以利用第一类型的训练样本训练学生网络。

该实施例中，在利用标注关键点的训练图像训练学生网络时，可以通过调节权重屏蔽掉教师网络指导学生网络的相关损失函数，例如，可以将第二总损失函数L中的权重参数α调成1，以屏蔽用于约束学生网络的关键点可用性预测结果接近教师网络的关键点可用性预测结果的损失函数L

基于与图1所示的关键点检测模型训练方法相同的发明构思，本发明实施例还提供了一种关键点检测模型训练装置，该实施例的关键点检测模型训练装置包括利用上述任一实施例所述的关键点检测模型训练方法对包括教师网络和学生网络训练得到的关键点检测模型。由于该关键点检测模型训练装置解决问题的原理与关键点检测模型训练方法相似，因此该关键点检测模型训练装置的实施可以参见关键点检测模型训练方法的实施，重复之处不再赘述。

另外，本发明实施例还提供了一种关键点检测方法。该关键点检测方法，可包括步骤：

S210，获取利用上述任一实施例所述的关键点检测模型训练方法对包括教师网络和学生网络训练得到的关键点检测模型；

S220，利用获取的关键点检测模型检测待检测图像中的关键点。

进一步的实施例中，上述步骤S220，即，利用获取的关键点检测模型检测待检测图像中的关键点，具体可包括步骤：S221，利用获取的关键点检测模型中的训练后的学生网络实时检测待检测图像中的关键点。该实施例中，学生网络可以具有较简单的网络结构，所以检测速度较快，所以可以较好地进行实时性检测。

此外，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一实施例所述的关键点检测模型训练方法或上述任一实施例所述的关键点检测方法的步骤。

此外，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一实施例所述的关键点检测模型训练方法或上述任一实施例所述的关键点检测方法的步骤。

下面结合一个具体实施例对上述方法进行说明，然而，值得注意的是，该具体实施例仅是为了更好地说明本申请，并不构成对本申请的不当限定。

图2是本发明一具体实施例的关键点检测模型训练方法的流程示意图。参见图2，一实施例的关键点检测模型训练方法可包括以下过程：

1)首先从训练集(训练样本集)中挑出一部分图像(训练样本的训练图像)，可以利用标注工具对图像进行关键点的标注，作为训练教师网络的关键点训练集；标注得到的训练集记为

其中，第i张训练图像I

其中，

第i张训练图像I

其中，

可以用

在x-y坐标系中，关键点位置m

其中，x

2)教师网络的选取可以以主要考虑其关键点检测的准确性，可以选择比较复杂，计算资源较大，但是效果较好的网络。可以利用标注的关键点去训练一个教师网络；由复杂模型训练得到的教师网络一般推理速度较慢，且在部署时，对内存、显存等资源要求较高。

教师网络训练时可选用交叉熵loss来约束关键点可用性的分类学习，对于输入的训练图像i来说，教师网络学习关键点可用性所用损失函数可表示为：

其中，

教师网络训练时可选用均方误差损失函数(MSE loss function)来约束关键点的学习，教师网络学习关键点位置所用损失函数可表示为：

其中，m

最后，训练教师网络的总损失函数可表示为：

L

3)学生网络的选取，可以选择一个参数量较小、模型结构相对简单的网络，在实际的部署中，对内存、显存等资源要求较低，可以实时运行的网络。

4)可以根据教师网络去蒸馏学习一个学生网络。当输入训练图像为X，若有标注关键点时，关键点记为G，当输入整个网络的图像没有标注关键点时，可以先送入到教师网络得到较为准确的关键点结果Y。然后，学生网络的学习目标就是输入训练图像X相同的情况下，学生网络的输出接近Groud Truth G和教师网络的输出Y。

对训练图像进行标注的结果

其中，

教师网络自身的输出结果

通过损失函数的约束，使得学生网络的输出的关键点逼近老师网络的输出。在实际的训练过程中，在训练图像有标注信息时，可使用标注关键点和教师网络预测出关键点信息同时指导学生网络的训练；当训练图像没有关键点标注信息时，可以使用教师网络的预测的关键点信息来指导学生网络的训练。网络最终的损失函数可表示为：

L＝α(L

其中，α表示权重参数。通过控制改变α的大小，可以控制两个损失函数所占的比例。当输入的图像有标注Ground Truth时，可以设置α＝0.5，也可以通过修改α的大小来调整教师网络和Ground Truth所占的比例；当输入的图像没有标注Ground Truth时，可以设置α＝1，只用教师网络来指导学生网络的学习。

此时训练得到的学生网络，不仅可以提供准确的关键点检测，还可以提供每个关键点是否可用的信息，指导在后续关键点的应用。

本实施例中，教师网络通过知识蒸馏不仅给学生提供了关键点位置信息的指导，还提供了关键点是否可用的信息，可以更好地指导学生网络对关键点的学习，尤其是低质量图像关键点的学习。通过知识蒸馏解决关键点训练中训练数据尤其是低质量数据关键点数据标注的困难。可以解决关键点训练中关键点数据标注的困难，可以将标注和未标注的数据以前进行训练，增加训练数据的丰富性；在实际应用的过程中，利用知识蒸馏减少关键点的数据标注时间，可以快速地训练和迭代模型，所训练得到的关键点模型具有很强的泛化性能；可以很好地解决低质量数据的关键点检测问题，并为后续的关键点使用提供指导。通过知识蒸馏将大模型所学到的“知识”蒸馏给小模型，使得小模型在推理速度快的同时，关键点检测的精度能够接近大模型的检测精度。因此，能够解决关键点检测问题中大量训练数据的标注问题、低质量图像关键点检测问题和关键点模型精度和部署时的速度问题。

综上所述，本发明实施例的关键点检测模型训练方法、关键点检测方法、关键点检测装置、电子设备及计算机可读存储介质，利用先用关键点信息已知的图像训练教师网络，再利用包含教师网络的预测结果的损失函数即以教师网络的预测结果为目标并利用关键点信息未知的图像训练学生网络，可以将教师网络学习的知识蒸馏至学生网络，以此可以利用未标注的训练样本训练学生网络，所以减少了图像的关键点标注耗时复杂的问题。而且，由于教师网络和学生网络不仅学习了关键点的位置预测，还学习了关键点的可用性预测，所以即使针对低质量图像，学生网络也可以给出较好的检测效果。进一步，由于教师网络的预测结果较为准确，所以以其预测结果作为学生网络的学习目标，关键点的学习稳定也较好。另外，由于学生网络的网络结构较为简单，学习耗时较短，所以有助于提高关键点检测的实时性。

在本说明书的描述中，参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本发明的实施，其中的步骤顺序不作限定，可根据需要作适当调整。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。