基于RGBD多模态信息的三维人体位姿估计方法及装置

技术领域

本申请涉及计算机视觉技术领域，特别涉及一种基于RGBD(Red、Green、Blue-Depth map)多模态信息的三维人体位姿估计方法及装置。

背景技术

随着深度学习技术和并行运算硬件的共同发展，大型数据集和通用的深度卷积网络算法在计算机视觉领域中的应用逐渐广泛。而在计算机视觉领域中，三维任务通常都有着运算量大、方法复杂、解空间难稳定的特点。

相关技术中，基于深度学习的三维人体位姿估计路线包含：通过深度估计方法实现缺失信息参数化、通过多相机采集多视角数据聚合多视角信息或使用深度信息来进行人体位姿估计。

然而，相关技术中，参数化缺失信息的模型训练需大量契合数据集，且生成结果可靠性不足，而采集多视角数据过程的场地限制严格，计算量消耗大，应用受限，使用深度信息估计则降低了结果的准确性，无法实现高效精准的位姿估计，亟待解决。

发明内容

本申请提供一种基于RGBD多模态信息的三维人体位姿估计方法及装置，以解决相关技术中，参数化缺失信息的模型训练需大量契合数据集，且生成结果可靠性不足，而采集多视角数据过程的场地限制严格，计算量消耗大，应用受限，使用深度信息估计则降低了结果的准确性，无法实现高效精准的位姿估计等问题。

本申请第一方面实施例提供一种基于RGBD多模态信息的三维人体位姿估计方法，包括以下步骤：对RGBD多模态信息进行处理，得到二维人体关节点坐标和三维人体点云；基于不同体素深度卷积网络需求，融合所述二维人体关节点坐标和所述三维人体点云，得到融合体素网格；将所述融合体素网格输入对应的体素深度卷积网络，解算所述体素深度卷积网络，得到特征体素网格的输出，并基于所述特征体素网格的输出估计三维关键点，得到三维人体位姿估计结果。

另外，在本申请的一个实施例中，在基于所述特征体素网格的输出估计所述三维关键点，得到所述三维人体位姿估计结果之前，还包括：使用N x[p,p,p]维度的生成特征体素网格与特征体素网格的输出进行L2-loss训练。

其中，在本申请的一个实施例中，所述对RGBD的多模态信息进行处理，得到二维人体关节点坐标和三维人体点云，包括：基于深度卷积网络的二维人体姿态估计方式，在RGB(Red、Green、Blue)图中提取二维特征热图或者二维关键点在图像坐标系下的XY坐标；使用二维人体姿态估计中的四点的区域投射到深度图上，裁剪出人像所在区域，以将所述深度图转化为三维点云，得到所述二维人体关节点坐标和所述三维人体点云。

另外，在本申请的一个实施例中，所述体素深度卷积网络包括全局高精度网络和局部快速网络。

其中，在本申请的一个实施例中，所述基于所述特征体素网格的输出估计三维关键点，包括：分别对每个特征体素网格查找最大值；将所述最大值在所述特征体素网格下的三维坐标通过仿射变换转化为世界坐标系，得到任一关节点的真实世界坐标，直至得到了所有的所需关节点的真实世界坐标。

本申请第二方面实施例提供一种基于RGBD多模态信息的三维人体位姿估计装置，包括：获取模块，用于对RGBD多模态信息进行处理，得到二维人体关节点坐标和三维人体点云；融合模块，用于基于不同体素深度卷积网络需求，融合所述二维人体关节点坐标和所述三维人体点云，得到融合体素网格；估计模块，用于将所述融合体素网格输入对应的体素深度卷积网络，解算所述体素深度卷积网络，得到特征体素网格的输出，并基于所述特征体素网格的输出估计三维关键点，得到三维人体位姿估计结果。

另外，在本申请的一个实施例中，所述装置还包括：训练模块，用于在基于所述特征体素网格的输出估计所述三维关键点，得到所述三维人体位姿估计结果之前，使用N x[p,p,p]维度的生成特征体素网格与特征体素网格的输出进行L2-loss训练。

其中，在本申请的一个实施例中，所述获取模块包括：提取单元，用于基于深度卷积网络的二维人体姿态估计方式，在RGB图中提取二维特征热图或者二维关键点在图像坐标系下的XY坐标；获取单元，用于使用二维人体姿态估计中的四点的区域投射到深度图上，裁剪出人像所在区域，以将所述深度图转化为三维点云，得到所述二维人体关节点坐标和所述三维人体点云。

另外，在本申请的一个实施例中，所述体素深度卷积网络包括全局高精度网络和局部快速网络。

其中，在本申请的一个实施例中，所述估计模块包括：查找单元，用于分别对每个特征体素网格查找最大值；转化单元，用于将所述最大值在所述特征体素网格下的三维坐标通过仿射变换转化为世界坐标系，得到任一关节点的真实世界坐标，直至得到了所有的所需关节点的真实世界坐标。

本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的基于RGBD多模态信息的三维人体位姿估计方法。

本申请第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，该程序被处理器执行时实现如上的基于RGBD多模态信息的三维人体位姿估计方法。

本申请实施例可以对RGBD多模态信息进行处理，得到二维人体关节点坐标和三维人体点云，基于不同体素深度卷积网络需求，融合二维人体关节点坐标和三维人体点云，得到融合体素网格，并输入对应体素深度卷积网络，解算体素深度卷积网络，得到特征体素网格的输出，进而基于特征体素网格的输出估计三维关键点，得到三维人体位姿估计结果，扩充了现有硬件设施的功能利用率，扩大了三维人体位姿估计的应用范围，提高了估计效率，使所得结果更加可靠准确。由此，解决了相关技术中，参数化缺失信息的模型训练需大量契合数据集，且生成结果可靠性不足，而采集多视角数据过程的场地限制严格，计算量消耗大，应用受限，使用深度信息估计则降低了结果的准确性，无法实现高效精准的位姿估计等问题。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本申请实施例提供的一种基于RGBD多模态信息的三维人体位姿估计方法的流程图；

图2为根据本申请实施例的基于RGBD多模态信息的三维人体位姿估计装置的结构示意图；

图3为根据本申请实施例的电子设备的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面参考附图描述本申请实施例的基于RGBD多模态信息的三维人体位姿估计方法及装置。针对上述背景技术中心提到的相关技术中，参数化缺失信息的模型训练需大量契合数据集，且生成结果可靠性不足，而采集多视角数据过程的场地限制严格，计算量消耗大，应用受限，使用深度信息估计则降低了结果的准确性，无法实现高效精准的位姿估计的问题，本申请提供了一种基于RGBD多模态信息的三维人体位姿估计方法，通过对RGBD多模态信息进行处理，得到二维人体关节点坐标和三维人体点云，基于不同体素深度卷积网络需求，融合二维人体关节点坐标和三维人体点云，得到融合体素网格，并输入对应体素深度卷积网络，解算体素深度卷积网络，得到特征体素网格的输出，进而基于特征体素网格的输出估计三维关键点，得到三维人体位姿估计结果，扩充了现有硬件设施的功能利用率，扩大了三维人体位姿估计的应用范围，提高了估计效率，使所得结果更加可靠准确。由此，解决了相关技术中，参数化缺失信息的模型训练需大量契合数据集，且生成结果可靠性不足，而采集多视角数据过程的场地限制严格，计算量消耗大，应用受限，使用深度信息估计则降低了结果的准确性，无法实现高效精准的位姿估计等问题。

具体而言，图1为本申请实施例所提供的一种基于RGBD多模态信息的三维人体位姿估计方法的流程示意图。

如图1所示，该基于RGBD多模态信息的三维人体位姿估计方法包括以下步骤：

在步骤S101中，对RGBD多模态信息进行处理，得到二维人体关节点坐标和三维人体点云。

可以理解的是，本申请实施例中多模态信息处理可以是针对目标估计对象所拍摄的RGB图与深度图所进行的信息结合，二维人体关节点坐标可以是所得二维图像的坐标系下关节点所对应的坐标值，可以通过统一尺度补全二维图像，并对各维度进行归一化处理获得三维人体点云，其物理意义上即为深度相机所捕获的目标人体表皮表面。

本申请实施例可以对RGBD多模态信息进行处理，得到二维人体关节点坐标和三维人体点云，进而实现了针对RGBD多模态信息的数据匹配，完善了数据的全面性。

其中，在本申请的一个实施例中，对RGBD的多模态信息进行处理，得到二维人体关节点坐标和三维人体点云，包括：基于深度卷积网络的二维人体姿态估计方式，在RGB图中提取二维特征热图或者二维关键点在图像坐标系下的XY坐标；使用二维人体姿态估计中的四点的区域投射到深度图上，裁剪出人像所在区域，以将深度图转化为三维点云，得到二维人体关节点坐标和三维人体点云。

可以理解的是，本申请实施例中深度卷积网络的二维人体姿态估计方式可以是基于深度卷积网络的二维人体姿态估计技术，二维人体姿态估计中的四点的区域可为二维人体姿态估计结果中产生的bounding-box四点。将所得四点作为特征点，通过RGBD相机中自带的相机内部参数与方法计算出相机外部参数，将二维人体姿态估计中的bounding-box四点通过仿射变换投射至深度图，被投射的该四点的区域为人像所在区域。

在实际执行过程中，因RGBD相机距离很近，所得RGB图像与深度图相似度高，故可将二维人体姿态估计结果中产生的bounding-box四点作为特征点，通过仿射变换投射到深度图上，获得深度图中人像所在区域，并由此进行裁剪，得到维度为[w,h]的二维人体图像区域，且每个像素点的值都为真实深度值，设置单人三维空间的XYZ轴范围分别为[-1.0,1.0],[-1.0,1.0],[-1.7,0.4]，单位为米，将二维人体区域图像经过统一尺度补全，通过对各维度进行归一化处理，即可获得三维点云。

本申请实施例可以基于深度卷积网络的二维人体姿态估计方式，在RGB图中提取二维特征热图或者二维关键点在图像坐标系下的XY坐标，并使用二维人体姿态估计中的四点的区域投射到深度图上，裁剪出人像所在区域，以将深度图转化为三维点云，得到二维人体关节点坐标和三维人体点云，通过完成多模态信息的融合，扩充了现有硬件设施的功能利用率，提升所得估计结果的准确程度。

在步骤S102中，基于不同体素深度卷积网络需求，融合二维人体关节点坐标和三维人体点云，得到融合体素网格。

可以理解的是，本申请实施例中不同体素深度卷积网络需求可对应不同的融合体素网格类型，可将上述步骤中所得二维人体关节点坐标及三维人体点云进行信息融合处理，从而获得适应不同网络的融合体素网格。

在实际执行过程中，由上述步骤中所得[-1.0,1.0],[-1.0,1.0],[-1.7,0.4]米范围内的网格生成大小为[64,64,64]和[96,96,96]的体素网格，每个网格的精度分别约为3厘米或2厘米。可设定每个人像二维人体关节点为N个，真实[[-1.0,1.0],[-1.0,1.0],[-1.7,0.4]]米范围为世界空间，对于每个关节点在世界空间下投射为以相机平面为出发点的射线，并以射线为中心生成高斯柱，可得到世界坐标系下以该关节点为中心所投射的高斯柱体，将所得高斯柱体体素网格化，对应得到[64,64,64]或[96,96,96]的体素网格，重复操作获取N个体素网格。体素网格仅含二维XY位置信息，无真实深度信息，而人体各个关节点具有图像意义及物理意义的双重关联性，故可根据不同深度卷积网络需求对网格信息补充深度信息以及全局关联信息，获得对应的融合体素网格，最终获得全局高精度网格或快速网格。

其中，全局高精度网格可将上述步骤所生成全身人像三维点云直接转化为1个全局人体信息体素网格，即同时具有人体表面的真实三维位置信息和全局的人体关联信息。将N个高斯柱体素网格和1个全局人体信息体素网格并成为全局高精度网格，作为一种融合体素网格输入对应网络。

获取快速网格可通过舍弃全局信息，将N个高斯柱与全局人体体素并存取其交集，分为N个体素网格，作为另一种融合体素网格输入对应网络，其物理意义可为在高斯面范围内，每个人体关节点的有效点云信息。

本申请实施例可以基于不同体素深度卷积网络需求，融合二维人体关节点坐标和三维人体点云，得到融合体素网格，进而满足了不同需求下的网格输出，提升了估计过程的适用性。

另外，在本申请的一个实施例中，体素深度卷积网络包括全局高精度网络和局部快速网络。

可以理解的是，本申请实施例中全局高精度网络可适用于较高精度需求的应用场景，局部快速网络可适用于解算速度需求较高的应用场景。

具体而言，两种网络都设置有三种基础运行部分：常规组、残差组和快速组。常规组由2个三维卷积网络、1个relu层或一个批归一化层串联，残差组采用ResNet中的设计，快速组采用MoibleNet中的设计。而全局高精度网络使用了U-Net的编码-解码结构，所以还另设有解码组，由1个三维转置卷积网络、1个relu层或一个批归一化层串联。

其中，全局高精度网络设置有主干结构和跨层连接结构，主干结构含2个常规组或残差组(共称为编码组)，2个解码组与1个三维卷积网络串联而成，用于编码解码输出的主要特征，跨层连接结构将第一个和第二个常规组的输出直接累加入倒数第一、倒数第二个解码组的输入中。该全局高精度网络可用于聚合多尺度的图像信息与全局信息。

局部快速网络配合快速网格作为输入进行解算，将上述全局高精度网络设置中的解码组与编码组共同替换为快速组，以提高运算速度与效率。局部快速网络由快速组串联而成的网络，具有强线性特征。

举例而言，全局高精度网络在Muti-kinect-Temple数据集上验证，运算平均精度达到5.71cm，而局部快速网络在Muti-kinect-Temple数据集上验证，能够在保持6.4cm左右精度、占用2G显存的情况下实现32ms的解算速度，约30帧。

本申请实施例中体素深度卷积网络包括全局高精度网络和局部快速网络，从而满足了不同的解算需求，实现数据处理过程的多样化，进而提高了估计速度及精度的指标。

在步骤S103中，将融合体素网格输入对应的体素深度卷积网络，解算体素深度卷积网络，得到特征体素网格的输出，并基于特征体素网格的输出估计三维关键点，得到三维人体位姿估计结果。

可以理解的是，本申请实施例中将融合体素网格输入对应体素深度卷积网络，具体为，全局高精度网络使用上述步骤中所得全局高精度网格作为输入，局部快速网络使用上述步骤中所得快速网格作为输入，进而获得特征体素网格。三维关键点可以是三维数据状态下的人体关节点坐标。

在部分实施例中，可将三维人体位姿估计应用至多人场景，通过在二维人体姿态估计时，按顺序依次进行人像排列，进而依次运算，获取三维多人人体位姿估计结果。

本申请实施例可以将融合体素网格输入对应体素深度卷积网络，解算体素深度卷积网络，得到特征体素网格的输出，并基于特征体素网格的输出估计三维关键点，得到三维人体位姿估计结果，从而提高了估计过程的效率，提升了所得结果的可靠性。

其中，在本申请的一个实施例中，基于特征体素网格的输出估计三维关键点，包括：分别对每个特征体素网格查找最大值；将最大值在特征体素网格下的三维坐标通过仿射变换转化为世界坐标系，得到任一关节点的真实世界坐标，直至得到了所有的所需关节点的真实世界坐标。

可以理解的是，本申请实施例中特征体素网格可以是体素深度卷积网络解算后所得N x[p,p,p]维度的输出，为N个关键点下的特征体素网格的分数，p的大小可在不大于网络输入的前提下调节设置，p决定了网络的精度。

在实际执行过程中，可分别对每个特征体素网格查找最大值，并将该值在特征体素网格下的三维坐标通过仿射变换转化为世界坐标系，获取该关节点的真实世界坐标，对N个特征体素网格重复操作，最终获取人体全部所需关节点的真实世界坐标，进而得到三维人体位姿估计结果。

另外，在本申请的一个实施例中，在基于特征体素网格的输出估计三维关键点，得到三维人体位姿估计结果之前，还包括：使用N x[p,p,p]维度的生成特征体素网格与特征体素网格的输出进行L2-loss训练。

可以理解的是，本申请实施例中可针对二维人体姿态估计和三维人体姿态估计两个环节进行训练。其中，二维人体姿态估计环节的训练使用二维特征热图与真值进行L2-loss训练，三维人体姿态估计使用N x[p,p,p]维度的生成特征体素网格与体素深度卷积网络输出进行L2-loss训练。N x[p,p,p]维度的生成特征体素网格可通过真值三维人体关节点生成。

举例而言，对于每个[p,p,p]所生成特征体素网格，取人体关节点的三维世界坐标系真值，通过仿射变换转换为[p,p,p]大小的体素网格下的体素方格，设定该方格相对于体素网格的坐标为[px,py,pz]，并使其值为1.0，体素网格下其他值均为0。继而以该体素方格为中心，生成三维高斯球，高斯球大小可调节，如可设置σ＝6，方差为0，其高斯球中的体素值随其分布逐渐下降为0。由此对N个关节点依次操作，获取N x[p,p,p]维度的生成特征体素网格，作为在三维人体位姿估计环节的训练数据。

本申请实施例可以使用N x[p,p,p]维度的生成特征体素网格与特征体素网格的输出进行L2-loss训练，通过利用所得数据进行多维度训练学习，进一步实现了深度学习过程的全面化，提升了神经网络运行的全面性与准确性。

根据本申请实施例提出的基于RGBD多模态信息的三维人体位姿估计方法，可以对RGBD多模态信息进行处理，得到二维人体关节点坐标和三维人体点云，基于不同体素深度卷积网络需求，融合二维人体关节点坐标和三维人体点云，得到融合体素网格，并输入对应体素深度卷积网络，解算体素深度卷积网络，得到特征体素网格的输出，进而基于特征体素网格的输出估计三维关键点，得到三维人体位姿估计结果，扩充了现有硬件设施的功能利用率，扩大了三维人体位姿估计的应用范围，提高了估计效率，使所得结果更加可靠准确。由此，解决了相关技术中，参数化缺失信息的模型训练需大量契合数据集，且生成结果可靠性不足，而采集多视角数据过程的场地限制严格，计算量消耗大，应用受限，使用深度信息估计则降低了结果的准确性，无法实现高效精准的位姿估计等问题。

其次参照附图描述根据本申请实施例提出的基于RGBD多模态信息的三维人体位姿估计装置。

图2是本申请实施例的基于RGBD多模态信息的三维人体位姿估计装置的方框示意图。

如图2所示，该基于RGBD多模态信息的三维人体位姿估计装置10包括：获取模块100、融合模块200和估计模块300。

其中，获取模块100，用于对RGBD多模态信息进行处理，得到二维人体关节点坐标和三维人体点云。

融合模块200，用于基于不同体素深度卷积网络需求，融合二维人体关节点坐标和三维人体点云，得到融合体素网格。

估计模块300，用于将融合体素网格输入对应的体素深度卷积网络，解算体素深度卷积网络，得到特征体素网格的输出，并基于特征体素网格的输出估计三维关键点，得到三维人体位姿估计结果。

另外，在本申请的一个实施例中，装置10还包括：训练模块。

其中，训练模块，用于在基于特征体素网格的输出估计三维关键点，得到三维人体位姿估计结果之前，使用N x[p,p,p]维度的生成特征体素网格与特征体素网格的输出进行L2-loss训练。

其中，在本申请的一个实施例中，获取模块100包括：提取单元和获取单元。

其中，提取单元，用于基于深度卷积网络的二维人体姿态估计方式，在RGB图中提取二维特征热图或者二维关键点在图像坐标系下的XY坐标。

获取单元，用于使用二维人体姿态估计中的四点的区域投射到深度图上，裁剪出人像所在区域，以将深度图转化为三维点云，得到二维人体关节点坐标和三维人体点云。

另外，在本申请的一个实施例中，体素深度卷积网络包括全局高精度网络和局部快速网络。

其中，在本申请的一个实施例中，估计模块300包括：查找单元和转化单元。

其中，查找单元，用于分别对每个特征体素网格查找最大值。

转化单元，用于将最大值在特征体素网格下的三维坐标通过仿射变换转化为世界坐标系，得到任一关节点的真实世界坐标，直至得到了所有的所需关节点的真实世界坐标。

需要说明的是，前述对基于RGBD多模态信息的三维人体位姿估计方法实施例的解释说明也适用于该实施例的基于RGBD多模态信息的三维人体位姿估计装置，此处不再赘述。

根据本申请实施例提出的基于RGBD多模态信息的三维人体位姿估计装置，可以对RGBD多模态信息进行处理，得到二维人体关节点坐标和三维人体点云，基于不同体素深度卷积网络需求，融合二维人体关节点坐标和三维人体点云，得到融合体素网格，并输入对应体素深度卷积网络，解算体素深度卷积网络，得到特征体素网格的输出，进而基于特征体素网格的输出估计三维关键点，得到三维人体位姿估计结果，扩充了现有硬件设施的功能利用率，扩大了三维人体位姿估计的应用范围，提高了估计效率，使所得结果更加可靠准确。由此，解决了相关技术中，参数化缺失信息的模型训练需大量契合数据集，且生成结果可靠性不足，而采集多视角数据过程的场地限制严格，计算量消耗大，应用受限，使用深度信息估计则降低了结果的准确性，无法实现高效精准的位姿估计等问题。

图3为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：

存储器301、处理器302及存储在存储器301上并可在处理器302上运行的计算机程序。

处理器302执行程序时实现上述实施例中提供的基于RGBD多模态信息的三维人体位姿估计方法。

进一步地，电子设备还包括：

通信接口303，用于存储器301和处理器302之间的通信。

存储器301，用于存放可在处理器302上运行的计算机程序。

存储器301可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

如果存储器301、处理器302和通信接口303独立实现，则通信接口303、存储器301和处理器302可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent，简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选地，在具体实现上，如果存储器301、处理器302及通信接口303，集成在一块芯片上实现，则存储器301、处理器302及通信接口303可以通过内部接口完成相互间的通信。

处理器302可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。

本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的基于RGBD多模态信息的三维人体位姿估计方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或N个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。