一种生成对抗式多任务多要素样本自动标注方法及装置

技术领域

本公开涉及遥感图像样本自动标注技术领域，具体涉及一种生成对抗式多任务多要素样本自动标注方法及装置。

背景技术

随着卫星技术的不断进步，遥感图像的数量也在大幅度地增加。不同分辨率、不同尺度的遥感图像给标注带来了很大的挑战。因此研究遥感图像解译方法成为了目前遥感领域中最热门也是最重要的研究课题之一。同时，近年深度学习技术的不断发展，给遥感领域也带来了许多精度高，速度快，效率高的方法。但是目前常用的有监督学习方法都需要大量的人工标注，这给遥感领域的研究带了很大的成本，同时，人工标注也会给数据带来一定的人为误差，为了解决这一系列问题，本发明所提出的生成对抗自动标注方法，能够以半监督的方法来生成足够精准的标注。

目前，在土地利用分类、目标检测和识别等遥感图像应用领域内，建立现有数据集的方法可以分为两类：一是利用桌面工具进行标注和裁切遥感图像。这种方式一般对标注者的要求较高，需要具有一定的编程技术及遥感专业的先验知识，且各步骤独立，无法做到端到端。另一种方法是基于参考影像的预标注方法。该方法基于已知的参考影像，获取先验范畴和位置信息来进行影像标注。这些传统的方法都是在通过人为标注的方法来手动地对遥感图像进行标注，这些方法都具有以下的一些缺点：1)以人力标注为主，从挑选图片、标注以及保存标注结果，生成标注文件基本上都是人来参与，不够智能，在数据集数量庞大的时候，工作量是相当庞大的，会带来巨大的人力成本，且也会容易引入一定的人为误差；2)标注类别单一，在实际的标注过程中，一般都是一类一类地标注，即一张图片中一次只标注其中一类的目标，对多要素的图片来说，传统标注方法效率不高；3)标注样式只能局限于单个任务，传统的标注仅针对特定的任务，如检测任务的标注方法是在目标所在处通过绘制目标框来标识；分割任务的标注方法是在目标所在区域通过勾勒目标轮廓，并在轮廓内生成一个Mask的方式来标识，无法满足多任务标注的应用场景。

发明内容

本公开的第一方面提供了一种生成对抗式多任务多要素样本自动标注方法，该方法包括：S1，采用生成对抗网络的判别器指导生成器对样本中多要素的待测目标进行自动标注，生成目标检测标注；S2，对目标检测标注进行分割标注处理，得到目标前景特征及目标背景特征；S3，将目标前景特征添加一层mask掩膜，得到实例分割标注；并将实例分割标注进行同类别标注合并，得到语义分割标注。

可选地，S1包括：S11，向生成器中输入部分已标注样本数据进行训练，得到第一生成标注，并固定生成器检测模型的参数；S12，将第一生成标注、已标注样本数据的原有标注及已标注样本数据中所有的目标类别输入判别器；S13，根据S12中输入的数据训练判别器，直至判别器能够区分第一生成标注及原有标注为止；S14，反复重复S13步骤多次，直至判别器区别第一生成标注及原有标注的误差低于一阈值为止，并固定判别器检测模型的参数；根据判别器的检测结果指导生成器并固定生成器检测模型的参数；S15，将样本中部分未标注的样本数据输入生成器，得到第二生成标注，将第二生成标注输入至判别器，并根据判别器的检测结果调整生成器检测模型的参数；S16，重复S15步骤多次，直至判别器区别第二生成标注及原有标注的误差低于一阈值为止；S17，重复S15～S16多次，直至样本中未标注的样本数据全部生成标注为止，得到目标检测标注。

可选地，S2包括：S21，将S17中输出的所述目标检测标注对应的目标框输入下一级主干网络中，并对目标框对应的网络特征图进行特征提取，得到目标的每一个网格区域的特征；S22，采用分割模型对每一个网格区域的特征进行目标前景与目标背景分割，得到目标前景特征及目标背景特征，其中，目标前景特征指每一个网格区域的特征中来自样本中属于地物要素的特征部分，剩下的特征部分即为目标背景特征。

可选地，S14及S16中该一阈值小于等于2％。

本公开的第二方面提供了一种生成对抗式多任务多要素样本自动标注装置，包括：目标检测标注模块，用于根据生成对抗网络的判别器指导生成器对样本中多要素的待测目标进行自动标注，生成目标检测标注；标注分割模块，用于对目标检测标注进行分割标注处理，得到目标前景特征及目标背景特征；分割标注生成模块，用于将目标前景特征添加mask掩膜处理，得到实例分割标注；并将实例分割标注进行同类别标注合并，得到语义分割标注。

可选地，该装置还包括：分割标注输出模块，用于将实例分割标注及语义分割标注进行输出。

可选地，目标检测标注模块包括：指导器训练模块，用于根据样本中部分已标注的样本数据对生成器进行训练，并根据生成器的输出结果反复训练判别器，得到判别准确率高于98％的判别器检测模型参数并固定；目标检测标注生成模块，用于根据判别器指导生成器对样本中多要素的待测目标进行自动标注，生成目标检测标注。

可选地，生成器为Faster-RCNN结构的目标检测网络模型，其包括：backbone子模块，采用ResNest-101主干网络，用于提取样本中的目标特征部分；RPN子模块，其利用可形变anchor结构，用于根据目标特征部分进行目标候选区域选择；ROI Align子模块，用于根据将目标候选区域进行池化，得到固定尺寸的目标特征图。

本公开的第三方面提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现本公开的第一方面提供的生成对抗式多任务多要素样本自动标注方法。

本公开的第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本公开的第一方面提供的生成对抗式多任务多要素样本自动标注方法。

本公开与现有技术相比，具备以下有益效果：

1)智能自动标注，本公开提出的样本标注方法在已有少数标注的数据集上，通过仅有的极少数的标注来为大量未标注的图片进行指导，自动生成标注，实现样本标注的自动化及智能化。

2)标注类别多要素，本公开提出的样本标注方法能够在给定的一张图中一次性完成所有要素的标注任务，使得标注更高效。

3)一次标注满足多任务需求，本公开提出的样本标注方法能够可选择地生成不同任务的标注，包括目标检测标注、语义分割标注及实例分割标注，即可一次性生成所有任务的标注。

附图说明

为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：

图1示意性示出了根据本公开一实施例的生成对抗式多任务多要素样本自动标注方法的流程图；

图2示意性示出了根据本公开一实施例的生成对抗式多任务多要素样本自动标注方法中目标检测标注的流程图；

图3示意性示出了根据本公开一实施例的生成对抗式多任务多要素样本自动标注方法中分割标注处理的流程图；

图4A和4B示意性示出了根据本公开一实施例的生成对抗式多任务多要素样本自动标注装置的框图；

图5示意性示出了根据本公开一实施例的生成对抗网络的生成器结构示意图；

图6示意性示出了根据本公开一实施例的RPN网络中的可形变anchor结构示意图；

图7示意性示出了根据本公开一实施例的可形变anchor结构生成出的anchorboxes示意图。

图8示意性示出了根据本公开一实施例的电子设备的硬件结构图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。

图1示意性示出了根据本公开一实施例的生成对抗式多任务多要素样本自动标注方法的流程图。

如图1所示，该生成对抗式多任务多要素样本自动标注方法包括：S1，采用生成对抗网络的判别器指导生成器对样本中多要素的待测目标进行自动标注，生成目标检测标注；S2，对目标检测标注进行分割标注处理，得到目标前景特征及目标背景特征；S3，将目标前景特征添加一层mask掩膜，得到实例分割标注；并将实例分割标注进行同类别标注合并，得到语义分割标注。

其中，该多任务包括对样本进行目标检测标注、语义分割标注及实例分割标注，多要素指的是样本中多个地物要素，如草地、林地、建筑物以及道路等，该样本为多张包含有多个地物要素的光学遥感图像。

在操作S1时，采用生成对抗网络的判别器指导生成器对样本中多要素的待测目标进行自动标注，生成目标检测标注。根据本公开的实施例，如图2所示，生成目标检测标注包括步骤S11～S17。

S11，向生成器中输入部分已标注样本数据进行训练，得到第一生成标注，并固定生成器检测模型的参数。

根据本公开的实施例，该已标注样本数据占样本总极少数部分，其输入进生成器的数量可根据实际情况来设定，一般情况下默认为10，该部分已标注样本数据一般由人为标注及修订用作标注样例使用。

根据本公开的实施例，该生成器为目标检测模型，其能够预测一张图片中存在的待检测目标，并用目标框标识出来，该目标框对应的就是生成标注。

S12，将第一生成标注、已标注样本数据的原有标注及已标注样本数据中所有的目标类别输入判别器。

根据本公开的实施例，将判别器根据已标注样本数据训练后生成的第一生成标注、已标注样本数据的原有标注及该样本数据中所有的目标类别输入判别器，用于训练判别器，该判别器一方面用于评估生成标注框与原始标注框的重合度；另一方面用来辨认标注的目标类别，作为对生成器的指导。

S13，根据S12中输出的数据训练判别器，直至判别器能够区分第一生成标注及原有标注为止。

根据本公开的实施例，将第一生成标注、已标注样本数据的原有标注及已标注样本数据中所有的目标类别输入判别器对判别器进行训练，使其尽可能地准确判别实际检测的真实样本和生成样本，即尽可能极大地区分第一生成标注及已标注样本数据的原有标注。

S14，反复重复S13步骤多次，直至判别器区别第一生成标注及原有标注的误差低于一阈值为止，并固定判别器检测模型的参数；根据判别器的检测结果指导生成器并固定生成器检测模型的参数。

根据本公开的实施例，为保证判别器模型的性能，迭代t次更新判别器之后，使用较小的学习率更新一次生成器的参数，并固定判别器模型的参数，根据判别器的检测结果指导生成器训练并最终固定生成器检测模型的参数，使其能够减小生成样本与真实样本之间的差距，即尽量使得生成标注能够接近原有标注，避免判别器判别错误。本公开的实施例中，一般取t为100次，即反复重复S13步骤100次，其迭代更新次数不宜过大也不宜过小，迭代更新次数过大会造成判别器模型过拟合，迭代更新次数过小则容易造成判别器模型的欠拟合，其中，过拟合状态会导致判别器模型的泛化能力不足，而欠拟合则直接造成判别精度偏低。

根据本公开的实施例，为尽可能提高判别器对生成标注及原有标注的准确率，本公开的实施例中将该阈值设置为2％，即判别器对生成标注及原有标注判别的误差低于2％以内后再固定判别器检测模型的参数，此时根据判别器的检测结果指导生成器，并固定生成器检测模型的参数对后续未标注的样本数据进行训练并标注。

S15，将样本中部分未标注的样本数据输入生成器，得到第二生成标注，将第二生成标注输入至判别器，并根据判别器的检测结果调整生成器检测模型的参数。

根据本公开的实施例，一般选取样本中部分未标注的样本数据M数量为100张，该100张样本图片分批次进行处理，每批默认设置为4至8张样本图片进行处理，其可根据实际应用情况进行调整，并不仅限于一次输入100张未标注的样本数据的训练生成标注。

S16，重复S15步骤多次，直至判别器区别第二生成标注及原有标注的误差低于一阈值为止。

根据本公开的实施例，重复S15步骤多次，其中对应的更新迭代生成器多次后，以使判别器区分不出检测样本是来自于生成器的输出还是原有标注的输出为止，即输出的生成标注和原有标注判别概率都尽可能接近0.5时，才将生成器对100个数据训练后生成的第二生成标注作为可信的真实检测结果，并将该检测结果加入已有标注的类别。其中，多次S15步骤多次一方面是为了提高判别器对生成标注及原有标注判别的误差低于2％，另一方面为了提高生成器对未标注的样本数据生成标注的准确率，保证其标注结果与真实结果最接近。

S17，重复S15～S16多次，直至样本中未标注的样本数据全部生成标注为止，得到目标检测标注。

根据本公开的实施例，待检测的样本为多张，例如1000张或1500张等，本公开对样本数量不做限制，分别进行多次重复操作直至对所有的待检测样本全部自动标注过程完成。

在操作S2时，对目标检测标注进行分割标注处理，得到目标前景特征及目标背景特征。根据本公开的实施例，如图3所示，分割标注处理包括步骤S21～S22。

S21，将S17中输出的所述目标检测标注对应的目标框输入下一级主干网络中，并对目标框对应的网络特征图进行特征提取，得到目标的每一个网格区域的特征。

根据本公开的实施例，通过上述内容可知，每个目标检测标注对应的即是一目标框，本公开采用ResNeXT-101网络作为下一级主干网络来提取样本(如光学遥感图像)的网络特征图，即ResNeXT101全连接层将其之前卷积层的“分布式”特征表示映射到完整的样本标记空间，从而得到基于整张原始图像的每一个网格区域的特征。

S22，采用分割模型对每一个网格区域的特征进行目标前景与目标背景分割，得到目标前景特征及目标背景特征，其中，目标前景特征指每一个网格区域的特征中来自样本中属于地物要素的特征部分，剩下的特征部分即为目标背景特征。

根据本公开的实施例，分割模型采用Deeplabv3+模型，通过使用Depth-wise空洞卷积与1*1卷积的结合，进一步增大了感受野，能够实现对每一个网格区域的特征进行更精细的目标前景与目标背景特征分割。

在操作S3时，将目标前景特征添加一层mask掩膜，得到实例分割标注；并将实例分割标注进行同类别标注合并，得到语义分割标注。

根据本公开的实施例，实例分割标注由实例分割模型对每一个网格区域的特征对应的像素层面上的每一个目标前景的像素划分类别得到，实例分割模型包括mask掩膜处理及前景背景分类，mask掩膜处理用于在未生成目标框的每个像素值进行评分，若评分数值大于0.85，则判定该目标像素属于前景目标，实现前景分割；前景背景分类是将目标框中的每个前景目标添加上一层边缘不规则的掩膜，以像素标记的形式表示目标所在位置和类别，即得到实例分割标注。

根据本公开的实施例，语义分割标注由语义分割模块对实例分割标注通过像素整合及类别整合后得到，像素整合为将实例分割标注中属于同一类别的前景目标像素进行整合，使其用同一种颜色对该类别的像素进行表示；类别整合是将实例分割标注中划分的小类别按照需要进行一个大类或更高语义类别整合，即将属于一个大类别的像素用同一个颜色标识，得到最终的语义分割标注。本公开的实施例中，例如，实例分割标注得到了多栋建筑物的实例分割标注，语义分割标注即是将这类建筑物用同一颜色进行标注即命名为同一标注名称，如办公楼或是居民楼等。

图4A示意性示出了根据本公开一实施例的生成对抗式多任务多要素样本自动标注装置的框图。

如图4A所示，该生成对抗式多任务多要素样本自动标注装置包括：目标检测标注模块410、标注分割模块420及分割标注生成模块430，该装置可以用于实现参考图1～图3所描述的生成对抗式多任务多要素样本自动标注方法。

目标检测标注模块410用于根据生成对抗网络的判别器指导生成器对样本中多要素的待测目标进行自动标注，生成目标检测标注。

标注分割模块420用于对目标检测标注进行分割标注处理，得到目标前景特征及目标背景特征。

分割标注生成模块430用于将目标前景特征添加mask掩膜处理，得到实例分割标注；并将实例分割标注进行同类别标注合并，得到语义分割标注。

图4B示意性示出了根据本公开另一实施例的生成对抗式多任务多要素样本自动标注装置的框图。如图4B所示，该生成对抗式多任务多要素样本自动标注装置还包括分割标注输出模块440，该模块用于将实例分割标注及语义分割标注进行输出。

根据本公开的实施例，目标检测标注模块410包括：指导器训练模块及目标检测标注生成模块。其中，指导器训练模块用于根据样本中部分已标注的样本数据对生成器进行训练，并根据生成器的输出结果反复训练判别器，得到判别准确率高于98％的判别器检测模型参数并固定。目标检测标注生成模块，用于根据判别器指导生成器对样本中多要素的待测目标进行自动标注，生成目标检测标注。

根据本公开的实施例，如图5所示，该生成器为Faster-RCNN结构的目标检测网络模型，其包括：backbone子模块、RPN子模块及ROI Align子模块。

其中，backbone子模块，采用ResNest-101主干网络，用于提取样本中的目标特征部分。该ResNest-101主干网络相比ResNet网络，该ResNest-101主干网络将提取到的目标特征分成多个块，每个块都根据通道维数将特征图分为几组，本公开实施例中，默认将目标特征分成4块，并每个块对应的分为32组，该分组为更细粒度的子组，用于实现防止对于特定数据集的过拟合同时分散计算量，其中，每个组的特征表示是通过它的子组表示的加权组合确定，其根据全局上下信息选择权重，本质上是在backbone模块提取目标特征的同时实现一个初步的特征重组，其优势相比ResNeXt结构可以在不增加参数复杂度的前提下提高目标特征提取的准确率，同时还减少了超参数的数量。

其中，RPN子模块，其利用可形变anchor结构，用于根据目标特征部分进行目标候选区域选择，为后续的ROI Align模块提供高质量的候选框，其中，如图6所示为可形变anchor结构示意图，本公开实施例中，通过在RPN上运用可形变卷积生成分布不规则的采样点，旨在实现自适应的采样方式，首先设置anchor的初始尺度和比例，一般默认将anchor的初始尺度设为8或16或32，共9种组合的anchor结构，将其比例设为为1∶2或2∶1或1∶1；然后以每个采样点为中心，生成一系列可以覆盖目标的anchor boxes，如图7所示；再筛选出anchor boxes之间IOU大于0.7的anchor boxes进行anchor boxes的融合，则提取出了采样点分布密集的区域，即为目标所在的区域，这样就生成了大小和位置都能够自适应的可形变anchor box。同时在anchor的位置上也加入了masked conv，保证只在有anchor的地方进行计算，从而提高了对目标特征部分候选区域选择的速度。

其中，ROI Align子模块，用于根据将目标候选区域进行池化，得到固定尺寸的目标特征图。在RPN提供的proposal候选区域的基础上，遍历每一个候选区域，同时保持浮点数边界不做量化。再将候选区域分割成k x k个单元，每个单元的边界不做量化。在每个单元中计算固定四个坐标位置，用双线性内插的方法计算出这四个位置的值，然后进行最大池化操作，最终实现在特征图中将相应区域池化为固定尺寸的目标特征图，对生成的目标特征图进行后续的分类和目标框的回归操作得到最终的目标框。

根据本公开的实施例，该判别器包括指导模块与分类模块。该指导模块用于评估生成标注框与原始标注框的重合度，以指导生成器生成越来越与原始标注更接近的目标检测框；分类模块用于辨认标注的目标类别，作为对生成器的指导。其中，指导模块本质上是一个评估模块，评估生成的标注框与原始标注框的重合度IOU，生成一个IOU loss指导神经网络的训练。分类模块主要是通过在全连接网络后加一个softmax结构来为多类别打分，得分最高的作为模型最终判断的目标类别。

根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

例如，目标检测标注模块410、标注分割模块420、分割标注生成模块430及分割标注输出模块440中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，目标检测标注模块410、标注分割模块420、分割标注生成模块430及分割标注输出模块440中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，目标检测标注模块410、标注分割模块420、分割标注生成模块430及分割标注输出模块440中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图8示意性示出了根据本公开一实施例的电子设备的硬件结构图。

如图8所示，本实施例中所描述的电子设备800，包括：存储器810、处理器820及存储在存储器810上并可在处理器上运行的计算机程序，处理器执行该程序时实现前述图1至图3中所示实施例中描述的生成对抗式多任务多要素样本自动标注方法。

根据本公开的实施例，该电子设备还包括：至少一个输入设备830；至少一个输出设备840。上述存储器810、处理器820输入设备830和输出设备840通过总线850连接。

其中，输入设备830具体可为触控面板、物理按键或者鼠标等等。输出设备840具体可为显示屏。存储器810可以是高速随机存取记忆体(RAM，Random Access Memory)存储器，也可为非不稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器810用于存储一组可执行程序代码，处理器820与存储器810耦合。

本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是设置于上述各实施例中的终端中，该计算机可读存储介质可以是前述图8所示实施例中的存储器。该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现前述图1至图3中所示实施例中描述的生成对抗式多任务多要素样本自动标注方法。其中，该计算机可存储介质还可以是U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

需要说明的是，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时电可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。