融合惯性测量单元尺度信息的轻量级位姿测量方法

技术领域

本发明属于AR导航技术领域，具体涉及融合惯性测量单元尺度信息的轻量级位姿测量方法。

背景技术

在AR领域中，设备会利用多种传感器估计自身在真实空间中的位置和姿态，从使得虚拟内容与真实内容相结合。但在某些特殊的业务场景下(比如AR导航)，并不需要位姿估计算法提供高精度位置和姿态信息，也不需要很强的时间连续性，只需要保证位置和偏航角在一定范围内准确即可；

而在现有的技术中，大部分都是采用视觉惯导里程计等方式位姿估计，虽然能够实现高精度的输出结果，但需要匹配相应的高端设备进行使用，从而导致出现成本过高、运算过剩等情况；虽然视觉惯导里程计对于相机和惯性测量单元输出的数据质量要求不高，但是对于传感器时间戳、外参以及稳定性是有一定要求的。并且对于某些低端设备来说，普遍存在传感器时间戳无法对齐，甚至错乱，从而导致低端设备无法适用视觉惯性里程计。并且视觉惯导里程计的计算复杂度要比视觉里程计高，所以对AR设备内存和计算力也有一定要求，同时设备还需要将内存和计算力分配给其他模块，使得整个系统的计算资源变得异常紧张。

发明内容

为了克服现有技术的不足，本发明提供融合惯性测量单元尺度信息的轻量级位姿测量方法，以解决现有技术中的成本过高、低端设备不适用的问题。

本发明其中一个实施例提供了一种融合惯性测量单元尺度信息的轻量级位姿测量方法，包括以下步骤：

根据第一时刻图像和姿态信息，确定第一时刻AR设备在真实世界的初始位姿和工作状态；

根据第二时刻图像和姿态信息以及所述工作状态，确定第二时刻AR设备与所述第一时刻AR设备之间的相对位姿；

针对所述相对位姿执行不同的预设输出策略，以使得到所述第二时刻AR设备在真实世界的实时位姿。

在其中一个实施例中，所述根据第一时刻图像和姿态信息，确定第一时刻AR设备在真实世界的初始位姿和工作状态，包括：

获取第一时刻AR设备的姿态信息和预设高度位置，并基于所述姿态信息通过预设算法得到AR设备相对于真实世界的相对姿态，并根据所述预设高度位置和所述相对姿态，确定所述第一时刻AR设备在真实世界的初始位姿；

基于所述初始位姿获取所述第一时刻图像；

根据所述第一时刻图像的地图点确定所述工作状态。

在其中一个实施例中，所述获取第一时刻AR设备的姿态信息和预设高度位置，并基于所述姿态信息通过预设算法得到AR设备相对于真实世界的相对姿态，并根据所述预设高度位置和所述相对姿态，确定所述第一时刻AR设备在真实世界的初始位姿，包括：

构建第一坐标系，其中，所述第一坐标系的Z轴与真实世界的重力方向反向设置；

基于所述第一坐标系获取所述第一时刻AR设备的姿态信息和所述预设高度位置；

根据所述预设高度位置和所述相对姿态，生成第二坐标系；

其中，所述第一坐标系为真实世界的参照位姿；

所述第二坐标系为所述第一时刻AR设备的初始位姿。

在其中一个实施例中，所述根据所述第一时刻图像的地图点确定所述工作状态，包括：

获取所述第一时刻图像的特征点，生成所述第一时刻图像的地图点；

根据预设深度阈值针对所述第一时刻图像的地图点进行判断；

根据判断结果确定所述工作状态。

在其中一个实施例中，所述根据第二时刻图像和姿态信息以及所述工作状态，确定第二时刻AR设备与所述第一时刻AR设备之间的相对位姿，包括：

获取所述第二时刻图像和姿态信息以及所述工作状态；其中，所述工作状态包括初始化状态和跟踪状态；

若所述工作状态为初始化状态，根据所述第二时刻图像重新确定所述工作状态；

若所述工作状态为跟踪状态，构建目标函数，并输出所述相对位姿。

在其中一个实施例中，所述构建目标函数，并输出所述相对位姿，包括：

根据所述第二时刻姿态信息与所述第一时刻姿态信息生成初始相对位姿；

将第一时刻地图点根据所述初始相对位姿和相机模型重投影到所述第二时刻图像中，得到所述第一时刻地图点在所述第二时刻图像中的特征点位置；

针对所述特征点位置与所述第二时刻图像的特征点进行重投影匹配；

根据所述重投影匹配的结果构建目标函数，输出最优结果；

其中，所述最优结果为所述相对位姿。

在其中一个实施例中，所述针对所述相对位姿执行不同的预设输出策略，以使得到所述第二时刻AR设备在真实世界的实时位姿，包括：

针对所述相对位姿与预设误差阈值的匹配结果执行第一输出策略，得到所述第二时刻AR设备在真实世界的实时位姿；

针对尺度已退化的相对位姿执行第二输出策略，得到所述第二时刻AR设备在真实世界的实时位姿。

在其中一个实施例中，所述针对所述相对位姿与预设误差阈值的匹配结果执行第一输出策略，得到所述第二时刻AR设备在真实世界的实时位姿，包括：

若所述相对位姿超过所述预设误差阈值，执行赋予策略；

若所述相对位姿未超过所述预设误差阈值，执行结合策略。

在其中一个实施例中，所述赋予策略，配置为：将所述初始位姿赋予所述第二时刻图像，得到所述第二时刻AR设备在真实世界的实时位姿；

和/或，所述结合策略，配置为：将所述相对位姿与所述初始位姿结合，得到所述第二时刻AR设备在真实世界的实时位姿。

在其中一个实施例中，所述第二输出策略，包括：

根据第二时刻的用户步行速度以及所述第二时刻图片与所述第一时刻图片的时间差，得到用户行走的距离；

获取所述相对位姿中的位置信息形成位置向量，并得到位置向量模长；

获取所述用户行走的距离与所述位置向量模长之比，得到倍速；

根据所述倍速与所述位置向量结合，得到所述第二时刻AR设备在真实世界的实时位置信息；

将所述实时位置信息与所述第二时刻姿态信息进行拼接，得到所述第二时刻AR设备在真实世界的实时位姿。

以上实施例所提供的融合惯性测量单元尺度信息的轻量级位姿测量方法具有以下有益效果：

通过对第一时刻图片和姿态信息进行优化处理，从而高效得到AR设备的初始位姿和工作状态，并基于第一时刻图片和姿态信息确定第二时刻AR设备相对于第一时刻的相对位姿，同时通过针对所述相对位姿执行不同的预设输出策略，得到第二时刻AR设备在真实世界的实时位姿；极大的优化了AR设备实时位姿的计算处理过程，能够高效快速的输出实时位姿结果，避免了繁琐的处理和运算过程，满足AR导航等特殊行业对位置和姿态信息精确度需求不高的场景的需求，且无需很强的时间连续性，保证低端设备能够使用，不仅降低了工作成本，同时能够满足行业需求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明实施例提供的融合惯性测量单元尺度信息的轻量级位姿测量方法的工作方法示意图；

图2为图1中的融合惯性测量单元尺度信息的轻量级位姿测量方法的获取第一时刻图像的工作流程示意图；

图3为图2中的融合惯性测量单元尺度信息的轻量级位姿测量方法的获取初始位姿的工作流程示意图；

图4为图3中的融合惯性测量单元尺度信息的轻量级位姿测量方法的确定工作状态的工作流程示意图；

图5为图1中的融合惯性测量单元尺度信息的轻量级位姿测量方法的判断工作状态的流程示意图；

图6为图1中的融合惯性测量单元尺度信息的轻量级位姿测量方法的获取相对位姿的工作流程示意图；

图7为图1中的融合惯性测量单元尺度信息的轻量级位姿测量方法的生成实时位姿的工作流程示意图；

图8为图1中的融合惯性测量单元尺度信息的轻量级位姿测量方法的基于预设输出策略生成实时位姿的工作原理示意图；

图9为图1中的融合惯性测量单元尺度信息的轻量级位姿测量方法的工作原理示意图；

图10为图1中的融合惯性测量单元尺度信息的轻量级位姿测量方法的坐标系示意图；

图11为图1中的融合惯性测量单元尺度信息的轻量级位姿测量方法的地图点投影示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后......)，则该方向性指示仅用于解释在某一特定姿态下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，若全文中出现的“和/或”或者“及/或”，其含义包括三个并列的方案，以“A和/或B”为例，包括A方案、或B方案、或A和B同时满足的方案。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

在AR领域中，设备会利用多种传感器估计自身在真实空间中的位置和姿态，从使得虚拟内容与真实内容相结合。所以位姿估计精度决定了AR内容效果的上限，是整个系统的核心算法之一。

一般来说，民用级AR设备中常见的传感器有全球定位系统(GPS)、蓝牙、惯性测量单元(IMU)、相机以及激光传感器等，其中蓝牙、GPS只能提供位置信息，精度较差，频率低，而AR设备对位姿估计频率有要求，这两种传感器不适合作为AR设备位姿估计的主力传感器。

激光传感器的精度较高，算法复杂度也很低，但是对于设备功耗和成本要求较高，大部分AR设备厂商不会配备该传感器。

相机能提供包含大量物理世界信息的图像，视觉里程计就是利用时间连续的图像生成高精度高频率的位姿估计结果，但是视觉里程计在快速运动下会因为图像产生模糊引入大噪声，使得估计的精度下降严重，同时单个相机对应的视觉里程计不具备尺度信息(真实世界的物理尺寸)。

惯性测量单元(IMU)是一种对短时间快速运动估计比较准确的传感器，同时其加速度计可以提供尺度信息，在一定程度上可以与相机形成互补，延伸出视觉惯导里程计，该算法是AR设备位姿估计的主流选择。

视觉惯导里程计就是在视觉里程计过程中将惯性测量单元的数据加入一起优化，视觉计算结果可以消除惯性测量单元的噪声和误差，同时惯性测量单元为视觉提供尺度和快速运动下的先验信息，从而使得估计精确和鲁棒性更高。

请参阅图1-图11，本发明其中一个实施例提供了一种融合惯性测量单元尺度信息的轻量级位姿测量方法，包括以下步骤：

S100、根据第一时刻图像和姿态信息，确定第一时刻AR设备在真实世界的初始位姿和工作状态；

在本实施例中，所述AR设备设置有惯性量测单元和相机，通过相机获取所述第一时刻图像，通过所述惯性量测单元获取所述第一时刻图像对应的AR设备的姿态信息，所述姿态信息包括角速度和加速度，根据所述姿态信息确定第一时刻AR设备在真实世界的初始位姿，根据所述第一时刻图像确定所述工作状态；具体的，包括以下步骤：

在其中一个实施例中，所述根据第一时刻图像和姿态信息，确定第一时刻AR设备在真实世界的初始位姿和工作状态，包括：

S110、获取第一时刻AR设备的姿态信息和预设高度位置，并基于所述姿态信息通过预设算法得到AR设备相对于真实世界的相对姿态，并根据所述预设高度位置和所述相对姿态，确定所述第一时刻AR设备在真实世界的初始位姿；

在本实施例中，通过构建AR设备与真实世界的坐标关系，获取所述第一时刻AR设备相对于真实世界的姿态信息，并与预设高度位置结合，得到所述第一时刻AR设备在真实世界的初始位姿，其中所述预设高度位置根据大数据预测模型输出得到，或根据使用高度进行自定义预先设置均可，对设备的初始高度进行设定，从而得到所述初始位姿，具体的，包括以下步骤：

在其中一个实施例中，所述获取第一时刻AR设备的姿态信息和预设高度位置，并基于所述姿态信息通过预设算法得到AR设备相对于真实世界的相对姿态，并根据所述预设高度位置和所述相对姿态，确定所述第一时刻AR设备在真实世界的初始位姿，包括：

S111、构建第一坐标系，其中，所述第一坐标系的Z轴与真实世界的重力方向反向设置；

在本实施例中，构建真实世界的参照位姿，以便于获取AR设备与真实世界之间的坐标关系，并得到所述初始位姿。

S112、基于所述第一坐标系获取所述第一时刻AR设备的姿态信息和所述预设高度位置；

在本实施例中，通过获取惯性量测单元输出的姿态信息并通过预设算法获取AR设备相对于第一坐标系或相对于重力方向的相对位姿，高效便捷，优化初始位姿的获取流程。

S113、根据所述预设高度位置和所述相对姿态，生成第二坐标系；

其中，所述第一坐标系为真实世界的参照位姿；

所述第二坐标系为所述第一时刻AR设备的初始位姿。

具体的，通过定义AR设备在真实世界的坐标系关系和变量定义，预设真实世界存在一个Z轴与重力方向反向的第一坐标系C

预设AR设备位于高度H

其中，姿态信息为所述惯性量测单元的量测数据，包括角速度和加速度。

S120、基于所述初始位姿获取所述第一时刻图像；

S130、根据所述第一时刻图像的地图点确定所述工作状态。

在其中一个实施例中，所述根据所述第一时刻图像的地图点确定所述工作状态，包括：

S131、获取所述第一时刻图像的特征点，生成所述第一时刻图像的地图点；

S132、根据预设深度阈值针对所述第一时刻图像的地图点进行判断；

S133、根据判断结果确定所述工作状态。

在本实施例中，通过第一时刻图像的信息确定工作状态，当第一时刻图像到来时，提取第一时刻图像中的特征点，并通过相机模型和特征点位置信息生成第一时刻图像的地图点，其中，所述特征点为二维数据或二维信息，所述地图点为三维数据或三维模型，根据图像中的二维数据生成三维模型，并可投影于现实。由于地图点深度越大(三维模型与相机的距离越大)，后续优化的结果误差也就越大，所以需要设置地图点深度阈值来筛选已生成的地图点，如果筛选得到的地图点数量少于预设深度阈值，那么初始化失败，系统的工作状态依旧为初始化状态，如果初始化成功，那么系统的工作状态为跟踪状态；

将筛选后的第一时刻图像的特征点和对应的第一时刻图像的地图点保存，用于第二时刻图像配准计算相对位姿，同时保存第一时刻图像对应的惯性量测单元输出的姿态信息。

S200、根据第二时刻图像和姿态信息以及所述工作状态，确定第二时刻AR设备与所述第一时刻AR设备之间的相对位姿；

在本实施例中，

在其中一个实施例中，所述根据第二时刻图像和姿态信息以及所述工作状态，确定第二时刻AR设备与所述第一时刻AR设备之间的相对位姿，包括：

S210、获取所述第二时刻图像和姿态信息以及所述工作状态；其中，所述工作状态包括初始化状态和跟踪状态；

S220、若所述工作状态为初始化状态，根据所述第二时刻图像重新确定所述工作状态；

S230、若所述工作状态为跟踪状态，构建目标函数，并输出所述相对位姿。

在其中一个实施例中，所述构建目标函数，并输出所述相对位姿，包括：

S231、根据所述第二时刻姿态信息与所述第一时刻姿态信息生成初始相对位姿；

S232、将第一时刻地图点根据所述初始相对位姿和相机模型重投影到所述第二时刻图像中，得到所述第一时刻地图点在所述第二时刻图像中的特征点位置；

S233、针对所述特征点位置与所述第二时刻图像的特征点进行重投影匹配；

S234、根据所述重投影匹配的结果构建目标函数，输出最优结果；

其中，所述最优结果为所述相对位姿。

具体的，获取新的图像(第二时刻图像)和惯性量测单元输出的数据，先判断工作状态是否为初始化状态，如果还是保持初始化状态，那么通过第二时刻图像重新进行初始化；

如果工作状态为跟踪状态，那么取第一时刻图像(第一时刻图像)中的特征点pi和对应的地图点P

其中，结合初始相邻帧之间的初始相对位姿和相机模型，将第一时刻图像中的地图点重投影到当前图像得到特征点位置：P

T

上述目标函数可以用高斯牛顿法解决，最终使匹配像素点像素灰度值差最小的相邻两帧相对位姿即为最优结果(相对位姿)；

S300、针对所述相对位姿执行不同的预设输出策略，以使得到所述第二时刻AR设备在真实世界的实时位姿。

在本实施例中，通过对所述相对位姿进行判断，根据判断结果执行相应的预设输出策略，从而提高实时位姿的精确度，以及提高工作效率，极大了优化了输出流程。

在其中一个实施例中，所述针对所述相对位姿执行不同的预设输出策略，以使得到所述第二时刻AR设备在真实世界的实时位姿，包括：

S310、针对所述相对位姿与预设误差阈值的匹配结果执行第一输出策略，得到所述第二时刻AR设备在真实世界的实时位姿；

在其中一个实施例中，所述针对所述相对位姿与预设误差阈值的匹配结果执行第一输出策略，得到所述第二时刻AR设备在真实世界的实时位姿，包括：

S311、若所述相对位姿超过所述预设误差阈值，执行赋予策略；

S312、若所述相对位姿未超过所述预设误差阈值，执行结合策略。

在其中一个实施例中，所述赋予策略，配置为：将所述初始位姿赋予所述第二时刻图像，得到所述第二时刻AR设备在真实世界的实时位姿；

和/或，所述结合策略，配置为：将所述相对位姿与所述初始位姿结合，得到所述第二时刻AR设备在真实世界的实时位姿。

在本实施例中，通过第一输出策略实现了对实时位姿进行高效生成并输出，极大的提高了工作效率，优化处理流程，并满足低端设备的使用，具有极大的适配性和实用性。

具体的，判断地图点重投影优化后的重投影误差是否超过预设误差阈值，如果超过预设误差阈值表示特征点匹配失败，那么将第一时刻图像在空间中的相对位姿赋予当前图像，T

如果优化后的重投影误差没有超过设定阈值，那么将目标函数计算得到的两帧图像之间的相对位姿T

S320、针对尺度已退化的相对位姿执行第二输出策略，得到所述第二时刻AR设备在真实世界的实时位姿。

在其中一个实施例中，所述第二输出策略，包括：

S321、根据第二时刻的用户步行速度以及所述第二时刻图片与所述第一时刻图片的时间差，得到用户行走的距离；

S322、获取所述相对位姿中的位置信息形成位置向量，并得到位置向量模长；

S323、获取所述用户行走的距离与所述位置向量模长之比，得到倍速；

S324、根据所述倍速与所述位置向量结合，得到所述第二时刻AR设备在真实世界的实时位置信息；

S325、将所述实时位置信息与所述第二时刻姿态信息进行拼接，得到所述第二时刻AR设备在真实世界的实时位姿。

在本实施例中，通过第二输出策略对尺度退化的相对位姿补偿处理，从而提高输出的实时位姿的精确性，实现了能够针对多种相对位姿的情况进行对应处理，确保输出结果的准确度、精确度以及高效性。

根据所述相对位姿的重投影匹配的结果以及所述相对位姿判断所述相对位姿的尺度是否退化；具体的，结合重投影匹配点数(有少部分点因为不符合重投影误差会被剔除)以及重投影误差，可以判断优化的相邻两帧相对位姿结果对应的尺度是否退化(尺度退化为：位置信息几乎没有变化，只剩下姿态信息改变)，为了修正尺度退化，通过引入基于惯性量测单元输出加速度的计步器算法，计步器能够获取用户当前步行的速度v

如果判断条件判定尺度发生了退化，那么先根据第一时刻图像和当前图像的时间差来计算用户行走的距离user_dis＝v

v

位置向量作为方向向量，然后将用户行走的距离与位置向量模长V

其中，基于上述位姿结果，提取第二时刻图像中的特征点，并通过相机模型和特征点位置信息生成第二时刻图像的地图点，同时设置第二时刻图像的地图点的预设深度阈值来筛选已生成的第二时刻图像的地图点，将筛选后的特征点和对应的地图点保存用于下一时刻图像配准计算相对位姿，同时保存第二时刻图像对应的惯性量测单元输出的角速度和加速度信息；

提取第二时刻图像的地图点重投影优化得到的相对位姿中的位置信息，并与第二时刻图像的惯性量测单元输出的第二姿态信息进行拼接，最终可得到当前AR设备相对于实际空间的位姿结果。其中，所述第一时刻为上一时刻，第二时刻为当前时刻。

通过对第一时刻图片和姿态信息进行优化处理，从而高效得到AR设备的初始位姿和工作状态，并基于第一时刻图片和姿态信息确定第二时刻AR设备相对于第一时刻的相对位姿，同时通过针对所述相对位姿执行不同的预设输出策略，得到第二时刻AR设备在真实世界的实时位姿；极大的优化了AR设备实时位姿的计算处理过程，能够高效快速的输出实时位姿结果，避免了繁琐的处理和运算过程，满足AR导航等特殊行业对位置和姿态信息精确度需求不高的场景的需求，且无需很强的时间连续性，保证低端设备能够使用，不仅降低了工作成本，同时能够满足行业需求。

在本实施例中，通过惯性量测单元实时输出的位姿信息，以及上一时刻和当前时刻生成的图像的信息，得到AR设备的初始位姿并通过目标函数计算，得到相邻两帧之间相对位姿，并根据相对位姿的结果进行判断，以使得到当前时刻AR设备相对于实际空间(真实世界)的实时位姿结果，不仅满足了时间连续性不强的低端设备使用，同时满足如AR导航等特殊行业对位置信息和姿态信息精确度需求不高的特殊场景的使用需求，极大的降低了工作成本。

视觉惯导里程计本质上还是需要走视觉里程计标准流程，即初始化，滑动窗口内连续多帧特征点相互关联生成地图点，地图点关联当前图像帧进行配准优化估计出位姿，这些流程可以保证测量的轨迹平滑，尺度准确，精度高。虽然视觉惯导里程计对于相机和惯性测量单元输出的数据质量要求不高，但是对于传感器时间戳、外参以及稳定性是有一定要求的。对于某些低端设备来说，普遍存在传感器时间戳无法对齐，甚至错乱，这种情况下视觉惯性里程计无法使用。视觉惯导里程计的计算复杂度要比视觉里程计高，所以对AR设备内存和计算力也有一定要求，同时设备还需要将内存和计算力分配给其他模块，使得整个系统的计算资源变得异常紧张。在某些特殊的业务场景下(比如AR导航)，其实并不需要位姿估计算法提供高精度位置和姿态信息，也不需要很强的时间连续性，只需要保证位置和偏航角在一定范围内准确即可。针对低端AR设备以及位姿需求退化的场景(只需要准确的位置和偏航角)，通过采用本申请方案来替代目前主流的视觉惯导里程计。

本发明其中一个实施例还提供了一种测量系统，包括：

获取模块，用于获取图像和姿态信息；

处理模块，用于对所述图像和姿态信息进行处理，以便生成所述初始位姿、相对位姿和实时位姿；

存储模块，用于对所述图像、姿态信息、初始位姿、相对位姿和实时位姿进行存储。

本发明其中一个实施例还提供了一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上任意一项所述的基于时序控制的头戴设备虚实融合渲染方法的步骤。

本发明其中一个实施例还提供了一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任意一项所述的基于时序控制的头戴设备虚实融合渲染方法的步骤。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、系统或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用储存介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。