基于手势交互的多人协同拆装系统

技术领域

本发明涉及虚拟现实技术领域，具体涉及一种基于手势交互的多人协同拆装系统。

背景技术

随着虚拟现实技术的快速发展，虚拟现实技术在各个领域得到了广泛的应用。作为虚拟现实技术的主流应用之一，虚拟装配技术能有效解决实际培训中对场地、资源、人员的依赖问题，被广泛应用在工业培训和教学上。

目前的虚拟拆装训练系统存在以下缺陷：

大多数是单人训练系统，而在实际的训练学习过程，存在需要专业指导的情景，也存在需要协同配合的拆装情景。

在用户人机交互上都比较简单，使用鼠标键盘或交互手柄交互，不能体现真实的自然交互操作，不能对用户复杂的拆装动作进行准确的跟踪与识别，难以满足复杂设备的多人协同拆装训练的需求。

不具备通用性，系统往往只能适用与某一具体设备。

发明内容

本发明解决或部分解决现有技术中的不足之处，而提供一种基于手势交互的多人协同拆装系统。

提供一种基于手势交互的多人协同拆装系统，包括服务器端和多个客户端，服务器端具有中控服务器，客户端具有联网至中控服务器的图形工作站，以及分别连接图形工作站的用于采集用户的视角信息的头盔显示器、用于采集用户手部姿态信息的体感控制器，中控服务器设置有：

数据解析模块，用于读取导入的模型文件和数据文件；

协同拆装过程模型构建模块，用于在系统运行的开始根据模型文件和数据文件进行协同拆装过程模型的构建，并对协同拆装过程模型中的可执行拆装任务进行初始化；

协同拆装过程模型处理模块，用于根据用户对拆装任务的完成，更新新增的可执行拆装任务；

交互过程处理模块，用于根据用户基于头盔显示器、体感控制器的输入进行虚拟装配场景的实现，并通过跟踪虚拟手在相邻帧之间的位姿变换来实现虚拟物体的位姿控制；

协同交互模块，用于实现各客户端场景同步；

人机交互模块，用于实现用户与中控服务器之间的交互。

进一步的，所述协同拆装过程模型包含：

拆装任务序列，由各个拆装任务的任务编号和先行任务集合构建的有向图，用来控制拆装任务的执行顺序；

可执行任务集合，由可执行的任务组成，在拆装任务完成时根据拆装任务序列进行更新；

拆装任务，包含任务编号、用于关联任务与拆装步骤的步骤编号集合、用来标志对应的拆装步骤完成程度的任务标志位、用于表示可执行此任务时需要先完成任务集合的先行任务集合；

拆装步骤，包含步骤编号、用于表征所需拆装零件的步骤对象、用于表征所需拆装操作的交互过程、用于提示以辅助拆装训练的拆装信息、用于表征执行步骤所需使用工具的工具类型、用于表征执行步骤所需使用手势的抓取手势。

进一步的，所述任务通过所包含的拆装步骤的数量来表示是否需要多人协同执行。

进一步的，所述交互过程包含单手交互对象模型，所述单手交互对象模型包含：

虚拟手或工具；

所需拆装零件；

零件位姿约束，用于规定零件位姿变化的约束情况；

零件状态判定，所述零件状态有许可实施驱动控制的抓取状态和禁止实施驱动控制的正常状态，所述判定在发生虚拟手或工具与零件碰撞时检测抓取手势是否正确，若正确则进入抓取状态,并根据所述约束情况进入严格抓取状态或半抓取状态，其中严格抓取状态指零件的位姿变化与虚拟手的位姿变化完全一致，半抓取状态指零件方向的位姿变化受到虚拟手控制且与所述约束情况对应；所述判定在手势为释放手势时，控制零件状态从抓取状态变为正常状态；

驱动控制，用于实现零件的位姿变化，控制零件进入抓取状态后开始追踪虚拟手或工具的位姿变化，并根据约束情况调整位姿直至步骤完成。

进一步的，所述追踪为跟踪虚拟手或工具的上一帧位置和当前帧位置，跟踪虚拟手时具体跟踪虚拟手在掌心方向的欧拉角变化，跟踪工具时具体跟踪工具在工具旋转方向的欧拉角变化。

进一步的，所述零件位姿约束有位置约束、姿态约束，其中姿态约束根据旋转轴心位置分为自转姿态约束、公转姿态约束，以Ti、Tj、RVij作为参数限定，Ti表示零件在空间位置上受到约束，零件位置只能沿空间单位向量i的正向或反向方向移动，Ri表示零件受到自转姿态约束，零件只能在以零件中心为轴心,向量i为轴向的方向旋转，RVij表示零件受到公转姿态约束，零件只能在绕以向量j为轴心位置，向量i为轴向的方向旋转。

进一步的，所述交互过程在单手交互对象模型的基础上还拓展有双手交互对象模型，所述双手交互对象模型还包含虚拟手A、虚拟手B、触碰点PosA、触碰点PosB、虚拟操作手，

所述虚拟操作手是零件被判定为抓取状态时所生成的不可见的虚拟操作手，由虚拟手A、B共同控制，位置处于虚拟手A、B的中间，其指定轴始终从A指向B或从B指向A；

所述触碰点PosA、PosB是零件被判定为抓取状态时虚拟手A、B的位置，生成后与零件位姿绑定，用来辅助零件状态的判定；

进一步的，所述双手交互对象模型的检测方式进一步包括：

当检测到虚拟手A、B均与零件发生碰撞时，检测虚拟手A、B的手势是否正确，手势均正确时继续检测抓取是否符合实际，若符合实际则生成触碰点PosA、PosB和虚拟操作手，零件从正常状态变为抓取状态并受虚拟操作手驱动控制；

其中检测抓取是否符合实际的方式包括：

当约束类型为Ti、RVij或无约束时，分别进行抓取距离检测和抓取角度检测，其中抓取距离检测即判断虚拟手A、B的距离是否大于零件最小包围盒的长宽平均值，抓取角度检测即判断抓取角度α是否大于设定的阈值角度。

进一步的，所述双手交互对象模型的检测方式进一步包括：当虚拟手与对应触碰点之间的距离大于d时，零件状态恢复成正常状态。

进一步的，所述体感控制器为LeapMotion，还包括以下手势特征提取步骤：

步骤S1.提取三个整体特征和四个局部特征，其中所述三个整体特征是矩形包围盒在三个轴方向的长度，所述矩形包围盒是包含手指特征点的最小包围盒，包围盒轴向由掌心方向和手掌方向确定，所述四个局部特征为虚拟手的相邻指尖的距离；

步骤S2.对所提取的特征进行归一化处理；

步骤S3.对归一化处理后的特征采集设定手势数据以建立手势库数据文件；

步骤S4.将手势库数据文件导入系统，基于手势库数据文件进行协同拆装过程模型的构建，并在交互过程中通过K近邻分类算法进行实时手势识别。

有益效果：

1系统具备通用性，能够移植于大多数的拆装情景，根据不同的拆装案例，只要准备好对应的拆装模型和编写好对应的拆装过程文件，就能快速产生对应的虚拟拆装训练系统。

2能够体现真实的自然交互操作，交互方案采用手势交互，并能一定程度上还原真实交互过程。

3系统能够支持多人协同训练。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的台件。在附图中：

图1示出了本发明的交互硬件平台的架构；

图2示出了本发明的交互硬件平台的实施流程；

图3示出了本发明的协同拆装过程模型；

图4示出了本发明的多人交互工作流程；

图5示出了本发明的单手交互对象模型；

图6示出了本发明的单手交互流程；

图7示出了本发明的双手交互对象模型；

图8示出了本发明的交互手势的示意图；

图9示出了本发明的特征提取的示意图；

图10为本发明中电子设备的结构示意图；

图11为本发明中计算机可读存储介质的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明的交互硬件平台如图1所示。包括服务器端和多个客户端，服务器端具有中控服务器，客户端由头盔显示器HTC VIVE Pro、体感控制器Leap Motion、图形工作站组成，网络环境为局域网。HTC VIVE Pro与Leap Motion通过线缆与图形工作站进行连接，图形工作站通过网络与中控服务器连接，此外Leap Motion通过配件固定在在头盔上，其中HTCVIVE Pro的作用是采集用户的视角信息，Leap Motion的作用是采集用户手部姿态信息。

交互硬件平台的实施流程如图2所示，中控服务器中设有数据解析模块、协同拆装过程模型构建模块、协同拆装过程模型处理模块、交互过程处理模块、协同交互模块、人机交互模块。

其中，数据解析模块用于读取导入的模型文件和数据文件，为协同拆装过程模型的构建做准备。

协同拆装过程模型构建模块在系统运行的开始根据模型文件和数据文件进行协同拆装过程模型的构建，并对协同拆装过程模型中的可执行拆装任务进行初始化。

协同拆装过程模型处理模块根据拆装任务的完成对协同拆装过程模型进行更新，当有拆装任务被完成，按照拆装任务序列更新可执行任务集合，并初始化新增的可执行任务，使任务对象变更为可交互状态，以及添加交互提示信息。

交互过程处理模块用于根据用户基于头盔显示器、体感控制器的输入进行具体虚拟装配场景的实现，通过跟踪虚拟手在相邻帧之间的位姿变换来实现虚拟物体的位姿控制，本发明提出了交互对象模型来实现具体的控制过程，能较好还原真实交互过程，体现交互细节，例如使用工具拧松或拧紧螺钉的细微动作，两人协同搬运物体等。

协同交互模块用于实现各客户端场景的一致性，包含虚拟替身的位姿同步、虚拟手的位姿同步、手势识别状态同步、任务对象以及工具位姿同步、交互信息同步。

人机交互模块用于实现用户与中控服务器之间的交互，主要包括手势操作交互、虚拟替身控制、虚拟平板交互、任务指引。

本发明的基于手势交互的多人协同拆装方法，运行流程如下：

步骤1、训练场景创建：学员根据训练需求选择训练科目，并在局域网中创建或加入训练场景。

步骤2、协同拆装过程模型构建：在训练场景创建后，进行协同拆装过程模型的构建，并进行可执行拆装任务的初始化。

步骤3、查看可执行任务：学员做出界面手势后，步骤提示面板出现在手势附近，学员可从中查看所有的拆装任务和可执行任务，并可选择跳过某一步，直接跳到步骤6。当切换其它手势，步骤提示面板隐藏。

步骤4、虚拟替身位置控制：当虚拟替身离操作对象较近时，学员可走动靠近，当距离较远时，学员通过做前进手势和后退手势来控制虚拟替身靠近。

步骤5、执行拆装任务：学员根据任务需求单人或协同执行任务，交互过程处理模块通过跟踪虚拟手在相邻帧之间的位姿变换来实现虚拟物体的平移或旋转，操作过程中需要保持对应的抓取手势。当物体被放到指定位置或操作量达到阈值，任务完成。

步骤6、协同拆装过程模型更新：当有拆装任务被完成时，进行协同拆装过程模型更新，可执行任务集合发生变更。

步骤7、重复步骤3-6：直至完成所有拆装任务。

在协同拆装过程模型构建模块中，协同拆装过程模型的定义是关键环节。协同拆装过程模型的定义如图3所示，由拆装任务序列、可执行任务集合、拆装任务集合、拆装步骤集合组成，其中拆装任务序列、拆装任务集合、拆装步骤集合生成后不再变化，包含四个基本元素：

(1)拆装任务序列：由各个拆装任务的任务编号和先行任务集合构建的一张有向图，用来控制拆装任务的执行顺序。

(2)可执行任务集合：由可执行的任务组成，有拆装任务完成时根据拆装任务序列进行更新。

(3)拆装任务：拆装任务由任务编号、步骤编号集合、任务标志位、先行任务集合组成。任务编号是拆装任务的唯一标识。步骤编号集合将任务与拆装步骤联系起来，一个任务至少包含一个拆装步骤，包含多个拆装步骤时表示任务需要多人协同执行步骤。任务标志位用来标志对应的拆装步骤是否全部完成。先行任务集合表示可执行此任务时需要先完成的任务集合，用来生成拆装任务序列。

(4)拆装步骤：拆装步骤由步骤编号、步骤对象、交互过程、拆装信息、工具类型、抓取手势组成。步骤编号是拆装步骤的唯一标识。步骤对象指要拆装的零件。交互过程指要对零件进行的拆装操作，即后面所提的交互对象模型或自由移动、显示、隐藏、触碰四类特殊操作，自由移动操作对应与交互对象模型中无约束情况，其余三类特殊操作主要用来表示检查任务、简化重复动作、表示瞬时动作等。拆装信息是拆装步骤的提示信息，用来辅助拆装训练。工具类型指执行步骤时应使用的工具。抓取手势指抓取物体时应使用的手势。

在交互过程处理模块中，多人交互工作流程如图4所示，具体交互方法的实现主要依据本发明提出的交互对象模型，交互对象模型能够一定程度上还原真实交互过程，交互对象模型包括单手交互对象模型和双手交互对象模型。

单手交互对象模型如图5所示，由虚拟手(或工具)、零件、零件状态判定、驱动控制、零件位姿约束组成。单手交互流程图如图6所示。零件位姿约束人为确定，同一零件在不同拆装步骤时的位姿约束可能不同，主要有位置约束、姿态约束，其中姿态约束根据旋转轴心位置细分为自转姿态约束、公转姿态约束。Ti表示零件在空间位置上受到约束，零件位置只能沿空间单位向量i的正向或反向方向移动，Ri表示零件受到了自转姿态约束，零件只能在以零件中心为轴心,向量i为轴向的方向旋转，RVij表示零件受到了公转姿态约束，零件只能在绕以向量j为轴心位置，向量i为轴向的方向旋转。其中根据实际场景，约束可互相组合，例如零件受到约束Ti、Tj、Rk，则表示零件的位置只能在由向量i和向量j构成的平面上变化，其姿态只能绕以零件中心为轴心，向量k为轴向的方向旋转。

零件状态判定是交互的基础，零件状态有抓取状态和正常状态两种，其中抓取状态根据约束情况又分为严格抓取和半抓取，零件只有处于抓取状态才能被驱动控制，严格抓取指的是零件的位姿变化与虚拟手的位姿变化完全一致，半抓取指的是零件某些方向的位姿受到虚拟手控制，与约束对应。单手交互对象的抓取状态判定主要为碰撞检测与手势检测两部分，发生虚拟手(或工具)与零件碰撞时检测抓取手势是否正确，若正确则进入抓取状态,再根据约束情况进入严格抓取或半抓取状态。当手势为释放手势时，零件状态从抓取状态变为正常状态，不再受驱动控制，并根据约束情况判断是否需要模拟重力掉落。

驱动控制负责实现零件位姿变化，当零件进入抓取状态后，零件开始追踪虚拟手(或工具)的位姿变化，并根据约束情况调整位姿，直至步骤完成。位移跟踪为跟踪虚拟手的上一帧位置和当前帧位置，姿态跟踪的跟踪对象与是否徒手操作有关,当徒手操作时，则跟踪虚拟手在掌心方向的欧拉角变化，使用工具操作时则跟踪工具在工具旋转方向的欧拉角变化。

双手交互对象模型是单手交互对象模型的拓展，内部包含单手交互对象模型,双手交互对象模型如图7所示,由虚拟手A、虚拟手B、零件、触碰点PosA、PosB、虚拟操作手、零件位姿约束、零件状态判定、驱动控制组成。其中虚拟手，零件，零件状态判定，驱动控制，零件位姿约束可组成单手交互模型，其交互流程与单手交互流程大体类似，此处不再赘述。

虚拟操作手是零件被判定为抓取状态时才会生成的不可见的虚拟操作手，由虚拟手A,B共同控制，位置处于虚拟手A，B的中间，某一指定轴(这里指定x轴)始终从A指向B(或B指向A)。

触碰点PosA,PosB是零件被判定为抓取状态时虚拟手A，B的位置，生成后与零件位姿绑定在一起，用来辅助零件状态的判定，当零件恢复成正常状态时失效。

双手交互对象模型的零件位姿约束与单手交互对象模型的零件位姿约束相同。

双手交互对象模型的零件状态判定较单手交互对象模型复杂一些，除碰撞检测以及手势检测外，还要检测双手抓取物体是否符合实际。当约束类型为Ti、RVij或无约束时，需分别进行抓取距离检测和抓取角度检测，抓取距离检测即判断两个手的距离是否大于零件最小包围盒的长宽平均值，抓取角度检测即判断抓取角度α是否大于设定的阈值角度(θ＝150°)，其中α由式(6)求取,P1、P2分别为虚拟手A,B的位置向量，j为零件中心位置向量。

其中Φ

Φ

其中getangle(a,b,c)表示通过余玹定理求得的对应边c的夹角。

其中dis(a,b)表示求向量a在以单位向量b为法向的平面的投影距离。

dis(a,b)＝|a-α·b·b| (8)

其中sign表示旋转方向，由下式得出，sgn为符号函数。

sign＝sgn((P

当约束类型为Ri时，不需要进行双手抓取判断。具体流程为当检测到虚拟手A，B均与零件发生碰撞时，检测虚拟手A，B的手势是否正确，手势均正确时继续检测抓取是否符合实际，若符合实际则生成触碰点PosA，PosB和虚拟操作手，零件从正常状态变为抓取状态，零件受虚拟操作手驱动控制。由于虚拟双手抓取零件时用户是空手抓取，且零件是受虚拟手驱动，虚拟手A，B必然与触碰点PosA，PosB位置不一致，因此需要设置一个弹性距离d来判断零件状态，当虚拟手与对应的触碰点距离大于d时，零件状态恢复成正常状态，此外当虚拟手A，B任一手势为释放手势，零件状态也恢复成正常状态。与单手交互对象模型一样，当零件状态恢复成正常状态，同样需要根据约束类型判断是否需要模拟重力掉落。

双手交互对象模型的驱动控制与单手交互对象模型的驱动控制大体一致，零件追踪虚拟操作手的位姿变化。

有时有些物体既可单手操作也可双手操作，因此需要赋予零件一个标志来判断此时是单手交互对象模型还是双手交互对象模型，标志通过判断触碰零件的手的数量来赋值。

在人机交互模块中，手势交互是主要的交互手段，本发明依据拆装需求定义了8种交互手势，如图8所示，其中抓取、抓握、捏取、释放、按压手势为基本手势，用于操作物体，前进、后退、界面手势为辅助手势，前进、后退手势用于虚拟替身的远距离移动，界面手势用于显示虚拟平板，用户可借助虚拟平板来查看所有拆装任务、可执行任务、以及选择跳过某一可执行任务。

为实现基于LeapMotion的手势识别，本发明提出了一种手势特征提取方法，如图9所示，本发明的特征提取方法包括：提取三个整体特征和四个局部特征，其中三个整体特征是一个矩形包围盒在三个轴方向的长度，这个矩形包围盒是包含24个手指特征点的最小包围盒，包围盒轴向由掌心方向和手掌方向确定。四个局部特征为相邻指尖的距离，即图中相邻浅色点之间的距离。然后对所提取的特征进行归一化处理，特征的归一化为分别除以其样本集中对应的最大值。之后对归一化处理后的特征通过开发手势采集系统采集8种手势数据，从而建立手势库，最后将手势库数据文件导入虚拟拆装训练系统，基于手势库数据文件进行协同拆装过程模型的构建，并在交互过程中通过K近邻分类算法进行实时手势识别。手势识别结合碰撞检测，以及交互对象模型，能够还原真实拆装过程。

本发明通过提出可基于外部数据构建的协同拆装过程模型，使得系统具备通用性，能够描述大多数的拆装情景，根据不同的拆装案例，只要准备好对应的拆装模型和编写好对应的拆装过程文件，就能快速开发对应的虚拟拆装训练系统。此外，为体现真实的自然交互操作，交互方案采用手势交互，基于LeapMotion进行手势识别，并结合碰撞检测与提出的交互对象模型来模拟真实操作，能够实现单人操作或协同操作，其中根据拆装需求定义了8种交互手势，采集手势数据来建立手势库，并提出一种手势特征提取方法结合K近邻分类算法来识别手势。

需要说明的是：

本实施例所用的方法，可转化为可存储于计算机可读存储介质中的程序步骤及装置，通过被控制器调用执行的方式进行实施。

手势交互上除了基于LeapMotion设备，还可基于数据手套设备等体感控制器实施。

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

例如，图10示出了根据本发明一个实施例的电子设备的结构示意图。该电子设备传统上包括处理器31和被安排成存储计算机可执行指令(程序代码)的存储器32。存储器32可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器32具有存储用于执行实施例中的任何方法步骤的程序代码34的存储空间33。例如，用于程序代码的存储空间33可以包括分别用于实现上面的方法中的各种步骤的各个程序代码34。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图11所述的计算机可读存储介质。该计算机可读存储介质可以具有与图10的电子设备中的存储器32类似布置的存储段、存储空间等。程序代码可以例如以适当形式进行压缩。通常，存储单元存储有用于执行根据本发明的方法步骤的程序代码41，即可以由诸如31之类的处理器读取的程序代码，当这些程序代码由电子设备运行时，导致该电子设备执行上面所描述的方法中的各个步骤。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。