目标检测方法、装置、存储介质及设备

技术领域

本发明涉及人工智能自动驾驶技术领域，具体而言，涉及一种目标检测方法、装置、存储介质及设备。

背景技术

在当前的学术与工业领域，基于深度学习神经网络的目标检测算法主要有基于锚框(anchor-based)和不基于锚框(anchor-free)两个细分类别，其中基于锚框（anchor-based）的目标检测算法，因为需要基于先验的数据知识生成锚框，所以往往泛化性能较差且后处理较为繁琐。而anchor-free的目标检测算法，普遍是通过网络输出的特征图(featuremap)逐元素进行预测，因为没有后续锚anchor的复杂处理，同时网络结构较为规整，方便与其他的检测、分割任务进行集成，今年来广泛的被技术人员使用。

目前已有的YOLOX、FCOS、Centernet等anchor-free目标检测算法，普遍是采用将目标像素范围的中心点区域作为主要学习的锚点区域，基于该区域进一步预测出所归属目标宽高等位置与尺寸。而在实际场景中，一味地基于目标像素几何中心或者分布的质心所对应的特征图锚点区域进行训练预测的方法在，由于负责的锚点区域的特征表达不一定包含待测目标的足够信息、因为神经网络感受野的存在使得相邻目标特征存在干扰等问题，所以实际应用中经常出现目标区域存在交叉、目标分布较为密集等场景下检测性能表现较差的问题。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种目标检测方法、装置、存储介质及设备，以至少解决现有技术中对于相邻、交叉、重叠等场景下目标检测与识别效果不佳的技术问题。

根据本发明实施例的一个方面，提供了一种目标检测方法，包括：采用初始神经网络模型获取待检测图像的特征表达信息，其中，上述特征表达信息包含有目标对象的特征信息；采用解耦预测支路检测上述特征表达信息，得到多个目标区域端点以及上述目标区域端点对应的目标类别像素占比，其中，上述解耦预测支路包括：边界端点预测支路和像素类别占比预测支路，上述多个目标区域端点包括：目标对象像素区域端点和重叠目标区域边界端点；基于上述多个目标区域端点和上述目标类别像素占比，确定上述多个目标区域端点对应的上述特征表达信息与上述特征表达信息内上述目标对象的所属类别，完成目标区域的检测识别。

可选的，上述目标对象像素区域端点至少包括上述目标对象像素区域对应的上端点、下端点、左端点和右端点；上述重叠目标区域边界端点为至少两个上述目标对象处于相同位置的上述目标对象像素区域端点。

可选的，在上述解耦预测支路为边界端点预测支路的情况下，上述采用解耦预测支路检测上述特征表达信息，得到多个目标区域端点，包括：采用上述边界端点预测支路对上述特征表达信息进行预设次数的卷积处理，得到含有多个通道维度的特征张量；基于上述特征张量，确定上述目标对象像素区域端点的目标位置信息，其中，上述目标对象像素区域端点用于确定上述目标对象的位置。

可选的，在上述目标对象像素区域端点存在上述重叠目标区域边界端点的情况下，上述基于上述特征张量，确定上述目标对象像素区域端点的目标位置信息，包括：基于上述特征张量中的第一类通道纬度，确定上述重叠目标区域边界端点的重叠类型，其中，上述重叠类型包括：左右重叠和上下重叠；采用上述特征张量中的第二类通道纬度对上述第一类通道纬度进行回归预测处理，得到重叠位置信息；基于上述重叠类型和上述重叠位置信息，确定上述目标对象像素区域端点的上述目标位置信息。

可选的，在上述解耦预测支路为像素占比预测支路，上述采用解耦预测支路检测上述特征表达信息，得到上述目标区域端点对应的目标像素类别占比，包括：采用上述像素类别占比预测支路对上述多个特征表达信息进行回归预测，确定多个上述特征表达信息的目标像素类别占比，其中，上述目标像素类别占比用于表征上述目标区域端点所构成的目标区域内上述目标对象的类别。

根据本发明实施例的另一方面，还提供了一种目标检测装置，包括：获取模块，用于采用初始神经网络模型获取待检测图像的特征表达信息，其中，上述特征表达信息包含有目标对象的特征信息；处理模块，用于采用解耦预测支路检测上述特征表达信息，得到多个目标区域端点以及上述目标区域端点对应的目标类别像素占比，其中，上述解耦预测支路包括：边界端点预测支路和像素类别占比预测支路，上述多个目标区域端点包括：目标对象像素区域端点和重叠目标区域边界端点；检测模块，用于基于上述多个目标区域端点和上述目标类别像素占比，确定上述多个目标区域端点对应的上述特征表达信息与上述特征表达信息内上述目标对象的所属类别，完成目标区域的检测识别。

根据本发明实施例的另一方面，还提供了一种非易失性存储介质，上述非易失性存储介质存储有多条指令，上述指令适于由处理器加载并执行任意一项上述的目标检测方法。

根据本发明实施例的另一方面，还提供了一种处理器，上述处理器用于运行程序，其中，上述程序被设置为运行时执行任意一项上述的目标检测方法。

根据本发明实施例的另一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为运行上述计算机程序以执行任意一项上述的目标检测方法。

在本发明实施例中，通过采用初始神经网络模型获取待检测图像的特征表达信息，其中，上述特征表达信息处于上述待检测图像的特征表达信息，一个上述待检测图像包括至少一个上述特征表达信息，一个上述特征表达信息内包括至少一个目标对象；采用解耦预测支路检测上述特征表达信息，得到多个目标区域端点以及上述目标区域端点对应的目标类别像素占比，其中，上述解耦预测支路包括：边界端点预测支路和像素占比预测支路，上述多个目标区域端点包括：目标对象像素区域端点和重叠目标区域边界端点；基于上述多个目标区域端点和/或上述像素占比，确定上述多个目标区域端点对应的上述特征表达信息与上述目标对象的归属关系，完成目标区域的检测识别，达到了基于端点的对应区域进行预测的目的，从而实现了对密集目标区域的目标对象进行预测的技术效果，进而解决了现有技术中对于相邻、交叉、重叠等场景下目标检测与识别效果不佳的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的目标检测方法流程图；

图2是根据本发明实施例的一种可选的总体神经网络算法结构示意图；

图3是根据本发明实施例的一种可选的端点的预测支路结构示意图；

图4是根据本发明实施例的一种可选的同一特征点预测不同目标端点属性示意图；

图5是根据本发明实施例的一种可选的位置回归维度预测值的语义信息示意图；

图6是根据本发明实施例的一种可选的像素类别回归支路的标签映射关系示意图；

图7是根据本发明实施例的一种可选的预测支路中相邻目标边界预测支路的设计原理示意图；

图8是根据本发明实施例的一种目标检测的装置的结构示意图；

图9是根据本发明实施例的一种可选的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

根据本发明实施例，提供了一种目标检测方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的目标检测方法流程图，如图1所示，该方法包括如下步骤：

步骤S102，采用初始神经网络模型获取待检测图像的特征表达信息，其中，上述特征表达信息包含有目标对象的特征信息；

步骤S104，采用解耦预测支路检测上述特征表达信息，得到多个目标区域端点以及上述目标区域端点对应的目标类别像素占比，其中，上述解耦预测支路包括：边界端点预测支路和像素类别占比预测支路，上述多个目标区域端点包括：目标对象像素区域端点和重叠目标区域边界端点；

步骤S106，基于上述多个目标区域端点和上述目标类别像素占比，确定上述多个目标区域端点对应的上述特征表达信息与上述特征表达信息内上述目标对象的所属类别，完成目标区域的检测识别。

在现有技术中，基于YOLOX目标检测算法，通过将目标像素中心点所对应的特征图上的位置区域扩大，并对密集区域进行动态匹配的方式，实现了对小目标以及常规目标的较为精确的检测，但是针对两个目标相互遮挡导致的特征图中响应锚点相近的问题；即使使用了simOTA方法来动态匹配，但是因为两个响应锚点距离较近，还是会存在特征相互影响甚至是误匹配的问题，最终影响性能表现。Centernet等基于目标几何中心点的目标检测网络，同样存在若目标有交叉以及目标分布较为密集时不同目标的几何中心点会出现相距较近、重叠等问题，进而出现重叠目标、密集相近目标识别效果不准的问题。

在本发明实施例中，上述步骤S102至S106中提供的目标检测方法的执行主体为目标检测系统，采用初始神经网络模型获取待检测图像的特征表达信息；采用解耦预测支路检测上述特征表达信息，得到多个目标区域端点以及上述目标区域端点对应的目标类别像素占比；基于上述多个目标区域端点和/或上述像素占比，确定上述多个目标区域端点对应的上述特征表达信息与上述目标对象的归属关系，完成目标区域的检测识别。

需要说明的是，上述待检测图像可能不存在上述目标对象，当上述待检测图像不存在上述目标对象时，输出预测值为0；当上述待检测图像存在上述目标对象时，输出上述特征表达信息。上述特征表达信息为初始神经网络模型提取出的特征张量，上述特征表表达信息即整张待检测图像经过卷积神经网络后输出的特征张量；上述解耦预测支路包括：边界端点预测支路、像素类别占比预测支路和重叠区域边界端点预测支路，上述多个目标区域端点包括：目标对象像素区域端点和相邻重叠目标区域边界端点。上述边界端点预测支路用于预测上、下、左、右等端点位置；上述像素类别占比预测支路用于进行像素类别占比预测；上述重叠区域边界端点预测支路用于相邻目标边界区域关键点回归预测。

作为一种可选的实施例，如图2所示的总体神经网络算法结构示意图，不同于现有的目标检测领域性能表现较好的YOLOX以及Centernet等神经网络算法学习目标几何中心点的位置的思路；基于目标边缘特征较为明显，易于训练学习这一事实，设计了一种聚焦于目标上下左右四个目标像素区域端点进行目标区域预测的网络结构。

通过本发明实施例，基于顶点与边界响应的目标检测网络，摒弃了目前行业中使用目标像素几何中心对应的特征图区域进行预测宽高等信息的方式，基于目标边界信息较为明显这一基本事实，设计出一种解耦的对目标上下左右以及像素边界区域训练预测的网络，实现了对相邻交叉、密集分布等目标场景的有效检测与筛选，进而提高产品的竞争力。

需要说明的是，上述目标对象像素区域端点至少包括上述目标对象像素区域对应的上端点、下端点、左端点和右端点；上述重叠目标区域边界端点为至少两个上述目标对象处于相同位置的上述目标对象像素区域端点。

作为一种可选的实施例，上述神经网络的前半部特征提取阶段，可以使用backbone+fpn网络结构，其中，backbone网络可以使用常用的Resnet、Darknet等结构，FPN和PAN模块可以是有效提取图像多尺度信息所用的网络结构。如图3所示的端点的预测支路结构示意图，将前半部分网络提取后所得的特征图送入解耦预测支路，最终实现待检测图片中密集目标区域的检测，进而实现目标对象的检测。

在一种可选的实施例中，在上述解耦预测支路为边界端点预测支路的情况下，上述采用解耦预测支路检测上述特征表达信息，得到多个目标区域端点，包括：采用上述边界端点预测支路对上述特征表达信息进行预设次数的卷积处理，得到含有多个通道维度的特征张量；基于上述特征张量，确定上述目标对象像素区域端点的目标位置信息，其中，上述目标对象像素区域端点用于确定上述目标对象的位置。

作为一种可选的实施例，解耦预测支路中端点支路的预测结构，在经过2-4层的卷积操作后，会输出一个多标签的端点预测支路特征张量，具有20个通道维度。其中，前四个维度分别表示该特征点对应的像素区域属于目标上、下、左、右四个端点的分类情况，针对密集、相邻目标分布下的区域检测，存在一个特征点对应的区域同时属于不同目标的端点的情况，即出现重叠端点，如图4所示的同一特征点预测不同目标端点属性示意图。

在一种可选的实施例中，在上述目标对象像素区域端点存在上述重叠目标区域边界端点的情况下，上述基于上述特征张量，确定上述目标对象像素区域端点的目标位置信息，包括：基于上述特征张量中的第一类通道纬度，确定上述重叠目标区域边界端点的重叠类型，其中，上述重叠类型包括：左右重叠和上下重叠；采用上述特征张量中的第二类通道纬度对上述第一类通道纬度进行回归预测处理，得到重叠位置信息；基于上述重叠类型和上述重叠位置信息，确定上述目标对象像素区域端点的上述目标位置信息。

作为一种可选的实施例，如图5所示的位置回归维度预测值的语义信息示意图，对同一个位置的特征点来说，可以采用多标签分类，可以让检测模型能够很好地学习出同一位置区域相对于不同目标所对应的位置，采用第一类通道纬度中的四个通道表示重叠点的左右重叠信息或上下重叠信息，如图5中左侧目标对象的右端点与右侧目标对象的左端点。同理，第二类通道纬度中的16个通道分别对应于这四个端点的位置回归预测，每个端点的位置预测的值为目标的宽高(w，h)与对应顶点的偏置距离（offset_x，offset_y）。

在一种可选的实施例中，在上述解耦预测支路为像素占比预测支路，上述采用解耦预测支路检测上述特征表达信息，得到上述目标区域端点对应的目标像素类别占比，包括：采用上述像素类别占比预测支路对上述多个特征表达信息进行回归预测，确定多个上述特征表达信息的目标像素类别占比，其中，上述目标像素类别占比用于表征上述目标区域端点所构成的目标区域内上述目标对象的类别。

作为一种可选的实施例，如图6所示的像素类别回归支路的标签映射关系示意图。不同于现有的检测方法中直接进行类别分类，使用像素占比预测来促进网络更好地学习目标的分布信息。仍如图6所示，最终特征图上的每个像素点预测的值为其对应的原图像素区域内每个类别目标的目标类别像素占比。

作为一种可选的实施例，如图7所示的预测支路中相邻目标边界预测支路的设计原理示意图，在训练该网络模型时使用该支路，能够有效促进网络对相邻目标位置检测的划分能力，在部署时，根据模型部署以及算力等需求，可以选择是否使用该支路进行推理，该支路的作用为辅助模型训练。该支路主要是基于相邻边界处区域对应的特征图上的特征点进行位置预测，与上、下左右端点预测值的含义相同，两个支路能够相辅相成，进而有效地促进模型更精确地学习出目标的位置区域。

通过上述步骤，基于端点和边界的网络预测支路，三个支路均有多标签分类的应用，能够有效地在密集相邻目标场景中实现精细检测；训练时使用相邻目标边界的预测支路辅助训练，提高模型性能，而部署推理时则不使用该支路以达到性能与模型效率的平衡。摒弃了传统方法中基于目标几何中心落在哪个区域，则对应的特征图像素点区域负责位置预测的方法，创新地提出了基于端点的对应区域进行预测，并辅助以相邻的边界区域的方法，实现了密集的预测，能够有效避免漏检这一问题。

实施例2

根据本发明实施例，还提供了一种用于实施上述目标检测的方法的装置实施例，图8是根据本发明实施例的一种目标检测的装置的结构示意图，如图8所示，上述目标检测的装置，包括：获取模块80、处理模块82和检测模块84，其中：

获取模块80，用于采用初始神经网络模型获取待检测图像的特征表达信息，其中，上述特征表达信息包含有目标对象的特征信息；

处理模块82，用于采用解耦预测支路检测上述特征表达信息，得到多个目标区域端点以及上述目标区域端点对应的目标类别像素占比，其中，上述解耦预测支路包括：边界端点预测支路和像素类别占比预测支路，上述多个目标区域端点包括：目标对象像素区域端点和重叠目标区域边界端点；

检测模块84，用于基于上述多个目标区域端点和上述目标类别像素占比，确定上述多个目标区域端点对应的上述特征表达信息与上述特征表达信息内上述目标对象的所属类别，完成目标区域的检测识别。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，例如，对于后者，可以通过以下方式实现：上述各个模块可以位于同一处理器中；或者，上述各个模块以任意组合的方式位于不同的处理器中。

此处需要说明的是，上述目标检测的方法对应于实施例1中的步骤S102至步骤S106，上述模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在计算机终端中。

需要说明的是，本实施例的可选或优选实施方式可以参见实施例1中的相关描述，此处不再赘述。

上述的目标检测的装置还可以包括处理器和存储器，上述目标检测的装置等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元，上述内核可以设置一个或以上。存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

根据本申请实施例，还提供了一种计算机可读存储介质的实施例。可选地，在本实施例中，上述计算机可读存储介质包括存储的程序，其中，在上述程序运行时控制上述计算机可读存储介质所在设备执行上述任意一种目标检测的方法。

可选地，在本实施例中，上述计算机可读存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中，上述计算机可读存储介质包括存储的程序。

可选地，在程序运行时控制计算机可读存储介质所在设备执行以下功能：采用初始神经网络模型获取待检测图像的特征表达信息，其中，上述特征表达信息包含有目标对象的特征信息；采用解耦预测支路检测上述特征表达信息，得到多个目标区域端点以及上述目标区域端点对应的目标类别像素占比，其中，上述解耦预测支路包括：边界端点预测支路和像素类别占比预测支路，上述多个目标区域端点包括：目标对象像素区域端点和重叠目标区域边界端点；基于上述多个目标区域端点和上述目标类别像素占比，确定上述多个目标区域端点对应的上述特征表达信息与上述特征表达信息内上述目标对象的所属类别，完成目标区域的检测识别。

可选地，在程序运行时控制计算机可读存储介质所在设备执行以下功能：采用上述边界端点预测支路对上述特征表达信息进行预设次数的卷积处理，得到含有多个通道维度的特征张量；基于上述特征张量，确定上述目标对象像素区域端点的目标位置信息，其中，上述目标对象像素区域端点用于确定上述目标对象的位置。

可选地，在程序运行时控制计算机可读存储介质所在设备执行以下功能：基于上述特征张量中的第一类通道纬度，确定上述重叠目标区域边界端点的重叠类型，其中，上述重叠类型包括：左右重叠和上下重叠；采用上述特征张量中的第二类通道纬度对上述第一类通道纬度进行回归预测处理，得到重叠位置信息；基于上述重叠类型和上述重叠位置信息，确定上述目标对象像素区域端点的上述目标位置信息。

可选地，在程序运行时控制计算机可读存储介质所在设备执行以下功能：采用上述像素类别占比预测支路对上述多个特征表达信息进行回归预测，确定多个上述特征表达信息的目标像素类别占比，其中，上述目标像素类别占比用于表征上述目标区域端点所构成的目标区域内上述目标对象的类别。

根据本申请实施例，还提供了一种处理器的实施例。可选地，在本实施例中，上述处理器用于运行程序，其中，上述程序运行时执行上述任意一种目标检测的方法。

可选地，在程序运行时控制处理器所在设备执行以下功能：采用初始神经网络模型获取待检测图像的特征表达信息，其中，上述特征表达信息包含有目标对象的特征信息；采用解耦预测支路检测上述特征表达信息，得到多个目标区域端点以及上述目标区域端点对应的目标类别像素占比，其中，上述解耦预测支路包括：边界端点预测支路和像素类别占比预测支路，上述多个目标区域端点包括：目标对象像素区域端点和重叠目标区域边界端点；基于上述多个目标区域端点和上述目标类别像素占比，确定上述多个目标区域端点对应的上述特征表达信息与上述特征表达信息内上述目标对象的所属类别，完成目标区域的检测识别。

根据本申请实施例，还提供了一种电子设备的实施例，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为运行上述计算机程序以执行上述任意一种的目标检测方法。

如图9所示，本申请实施例提供了一种电子设备，电子设备10包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：采用初始神经网络模型获取待检测图像的特征表达信息，其中，上述特征表达信息包含有目标对象的特征信息；采用解耦预测支路检测上述特征表达信息，得到多个目标区域端点以及上述目标区域端点对应的目标类别像素占比，其中，上述解耦预测支路包括：边界端点预测支路和像素类别占比预测支路，上述多个目标区域端点包括：目标对象像素区域端点和重叠目标区域边界端点；基于上述多个目标区域端点和上述目标类别像素占比，确定上述多个目标区域端点对应的上述特征表达信息与上述特征表达信息内上述目标对象的所属类别，完成目标区域的检测识别。

本申请还提供了一种计算机程序产品，当在目标检测设备上执行时，适于执行初始化有如下方法步骤的程序：采用初始神经网络模型获取待检测图像的特征表达信息，其中，上述特征表达信息包含有目标对象的特征信息；采用解耦预测支路检测上述特征表达信息，得到多个目标区域端点以及上述目标区域端点对应的目标类别像素占比，其中，上述解耦预测支路包括：边界端点预测支路和像素类别占比预测支路，上述多个目标区域端点包括：目标对象像素区域端点和重叠目标区域边界端点；基于上述多个目标区域端点和上述目标类别像素占比，确定上述多个目标区域端点对应的上述特征表达信息与上述特征表达信息内上述目标对象的所属类别，完成目标区域的检测识别。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程目标检测设备的处理器以产生一个机器，使得通过计算机或其他可编程目标检测设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程目标检测设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程目标检测设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。