一种处理方法和装置

技术领域

本申请属于电子设备的操作交互领域，尤其涉及一种处理方法和装置。

背景技术

目前，基于手势的操作交互多以触控设备为主，例如，在具有触控屏的 手机或平板电脑等触控设备上通过单指绘制轨迹、多指滑动或捏合等手势与 设备进行操作交互等，而对于AR(Augmented Reality，增强现实)/VR(Virtual Reality，虚拟现实)设备上的交互应用则一般仍是手柄控制器或是传统的键鼠 输入方式，需要借助额外的输入介质，这使得针对AR/VR设备其操作交互方 式较为单一，不够灵活便捷。

发明内容

为此，本申请公开如下技术方案：

一种处理方法，包括：

获得对空间中的操作进行轨迹跟踪所得的操作轨迹；

获得所述操作轨迹对应的深度信息；

基于所述操作轨迹和所述深度信息，对所述操作进行识别，得到操作识 别结果；

基于所述操作识别结果对电子设备进行操作控制。

可选的，所述获得对空间中的操作进行轨迹跟踪所得的操作轨迹，包括：

获得对空间中的手势操作进行轨迹跟踪所得的手势操作轨迹；

或，

获得对空间中的手势操作进行轨迹跟踪所得的手势操作轨迹，以及获得 对空间中的头部操作和/或身体整体部位操作进行轨迹跟踪所得的头部操作轨 迹和/或身体整体部位操作轨迹。

可选的，所述获得对空间中的手势操作进行轨迹跟踪所得的手势操作轨 迹，包括：

获得利用所述电子设备的图像采集装置对所述手势操作进行图像采集所 得的多帧手势图像；

提取所述多帧手势图像中的手势信息，

处理从所述多帧手势图像中提取的手势信息，得到所述手势操作对应的 手势操作轨迹。

可选的，所述获得所述操作轨迹对应的深度信息，包括：

获得所述手势操作轨迹对应的深度信息；

所述基于所述操作轨迹和所述深度信息，对所述操作进行识别，得到操 作识别结果，包括：

基于所述手势操作轨迹和所述手势操作轨迹对应的深度信息，对所述手 势操作进行识别，得到手势识别结果；

或，

基于所述手势操作轨迹和所述手势操作轨迹对应的深度信息，对所述手 势操作进行识别，得到手势识别结果，且对所述头部操作轨迹和/或身体整体 部位操作轨迹进行识别，得到头部姿势识别结果和/或身体整体部位姿势识别 结果。

可选的，所述获得所述手势操作轨迹对应的深度信息，包括：

获得利用所述电子设备的深度摄像头采集的所述手势操作的多个深度 图，并基于所述多个深度图确定所述手势操作轨迹对应的深度信息；

或，获得利用所述电子设备的双目摄像头在同一时间采集的手势图像的 差别信息，基于所述差别信息确定所述手势操作轨迹对应的深度信息；

或，获得利用所述电子设备的6自由度传感器采集的辅助设备的空间位置 信息，基于所述空间位置信息确定所述手势操作轨迹对应的深度信息；

其中，所述辅助设备绑定在人体手部相应位置。

可选的，所述基于所述手势操作轨迹和所述手势操作轨迹对应的深度信 息，对所述手势操作进行识别，得到手势识别结果，包括：

根据所述手势操作轨迹上不同轨迹点的深度变化信息，确定手势识别结 果；

所述根据所述手势操作轨迹上不同轨迹点的深度变化信息，确定手势识 别结果，包括：

根据所述手势操作轨迹上全部轨迹点的深度变化信息，确定手势识别结 果；

或，根据所述手势操作轨迹上不同特征点的深度变化信息，确定手势识 别结果；其中，所述特征点为所述手势操作轨迹的起始点、角点和终点中的 任意一种。

可选的，上述方法，还包括：

获得操作者的生物特征信息；

所述基于所述操作轨迹和所述深度信息，对所述操作进行识别，得到操 作识别结果，包括：基于所述操作轨迹、所述深度信息，和与所述生物特征 信息相匹配的第一用户习惯信息，对所述操作进行识别，得到操作识别结果； 和/或，所述基于所述操作识别结果对电子设备进行操作控制，包括：基于所 述操作识别结果和与所述生物特征信息相匹配的第二用户习惯信息，对电子 设备进行操作控制。

可选的，所述基于所述操作识别结果对电子设备进行操作控制，包括：

确定与所述手势识别结果相匹配的第一控制指令，并基于所述第一控制 指令对电子设备进行操作控制；

或，结合所述头部姿势识别结果和/或身体整体部位姿势识别结果，确定 与所述手势识别结果相匹配的第二控制指令，并基于所述第二控制指令对电 子设备进行操作控制。

可选的，上述方法，还包括：获得所述手势操作轨迹的方向信息；

其中，在确定与所述手势识别结果相匹配的第一控制指令或第二控制指 令时，确定与所述手势识别结果相匹配且与所述方向信息相匹配的第一控制 指令或第二控制指令。

一种处理装置，包括：

第一获取模块，用于获得对空间中的操作进行轨迹跟踪所得的操作轨迹；

第二获取模块，用于获得所述操作轨迹对应的深度信息；

识别模块，用于基于所述操作轨迹和所述深度信息，对所述操作进行识 别，得到操作识别结果；

操作控制模块，用于基于所述操作识别结果对电子设备进行操作控制。

一种电子设备，包括：

存储器，用于存放计算机指令集；

处理器，用于通过执行存储器上存放的指令集，实现如上任一项所述的 的处理方法。

一种计算机可读存储介质，该计算机可读存储介质内存储有计算机指令 集，计算机指令集被处理器执行时实现如上文任一项公开的处理方法。

由以上方案可知，本申请提供的处理方法和装置，通过获得对空间中的 操作进行轨迹跟踪所得的操作轨迹，以及操作轨迹对应的深度信息，并根据 获得的操作轨迹及其深度信息对空间中的操作进行识别，最终可实现基于对 空间中的操作的识别结果而对电子设备进行操作控制。从而，本申请提供了 一种基于空中操作(对“空间中的操作”的简称，如空中手势操作)与电子 设备进行交互的交互控制方案，能有效拓展AR/VR等设备的操作交互方式， 使用户与设备间的操作交互更为灵活便捷，不需借助任何额外的输入介质(如 手柄、键盘/鼠标等)即可实现与AR/VR设备的快速交互。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面 描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不 付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是本申请实施例提供的处理方法的一种流程示意图；

图2是本申请实施例提供的处理方法的另一种流程示意图；

图3是本申请实施例提供的手势操作的二维轨迹图形示例；

图4是本申请实施例提供的手势操作的三维轨迹图形示例；

图5是本申请实施例提供的处理方法的又一种流程示意图；

图6是本申请实施例提供的处理方法的再一种流程示意图；

图7是本申请实施例提供的根据用户习惯对用户手势进行补偿的示例；

图8是本申请实施例提供的处理装置的结构示意图；

图9是本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而 不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为支持用户快速便捷地与电子设备进行操作交互，尤其是对于AR/VR设 备来说，使用户不必借助任何额外的输入介质(如手柄、键鼠等)即可实现 与AR/VR设备间的交互，本申请提供了一种处理方法和装置。

参见图1，为本申请提供的处理方法的流程示意图，该方法可应用于电子 设备，应用本申请方法的电子设备可以是但不限于AR/VR设备、智能手机、 平板电脑、个人数字助理、笔记本、一体机等各种智能终端或计算机设备。

典型地，对于用户与AR/VR设备进行操作交互，以控制AR/VR设备执行 响应处理的场景来说，可以将本申请方法应用于AR/VR设备，直接由AR/VR 设备通过执行本申请方法的处理逻辑，实现在自身进行相应的响应处理，或 者，还可以将本申请方法应用于能够与待操作交互的AR/VR设备进行通信的 智能手机、平板电脑等控制设备，通过在控制设备执行本申请方法的处理逻 辑，并基于控制设备与AR/VR设备之间数据或指令的自动通信传输，实现用 户与AR/VR设备之间的操作交互。

如图1所述，本实施例中，上述处理方法包括以下处理步骤：

步骤101、获得对空间中的操作进行轨迹跟踪所得的操作轨迹。

本申请支持用户通过空中操作(对“空间中的操作”的简称)与电子设 备进行操作交互，下文各实施例将主要以用户基于空中操作与AR/VR设备进 行操作交互为例，对上述处理方法进行说明。

与电子设备进行操作交互时用户所执行的空中操作，可以包括但不限于 手势操作、头部操作和身体整体部位操作中的任意一种或多种。手势操作具 体可以是基于单手或双手的操作；头部操作可以包括但不限于低头、抬头或 头部向某一方位旋转一定角度等操作；身体整体部位的操作可以包括但不限 于蹲下、站起、身体向某一方位旋转一定角度或身体向某一方位执行某种移 动(如加速或减速移动)等操作。

本申请实施例中，优选的，用户与电子设备交互时所执行的空中操作至 少包括用户在空间中的手势操作，除此之外，可选的，所执行的空中操作还 可以包括用户的头部操作或身体整体部位操作中的至少一种。

鉴于此，在对用户与电子设备交互时的相应空中操作进行轨迹跟踪时， 至少包括对用户的空中手势操作的轨迹跟踪，除此之外，还可以包括对用户 头部操作和/或身体整体部位操作的轨迹跟踪。

实施中，可基于图像采集装置(如AR/VR头显装置上集成的摄像头)、 重力传感器、加速度传感器和角度传感器等中的相应一种或多种感测器件， 对用户与电子设备(如AR/VR设备)进行操作交互时的空中操作进行图像信 息采集或姿态感应信息(如头部向某一方向偏转时的加速度或旋转角度等) 采集，通过对所采集图像信息的分析、识别，或通过对空中操作的姿态感应 信息的分析、识别而得到用户空中操作的操作轨迹，实现对用户空中操作的 轨迹跟踪。

相应地，基于对用户的空中操作进行轨迹跟踪所得的操作轨迹，至少包 括用户的手势操作轨迹，除此之外，若进行轨迹跟踪的空中操作还包括用户 的头部操作和/或身体整体部位的操作，则跟踪所得的操作轨迹相应还包括头 部操作轨迹和/或身体整体部位操作轨迹。

步骤102、获得上述操作轨迹对应的深度信息。

对于获得的操作轨迹，如单一的手势操作轨迹，或者包括手势操作轨迹， 以及还包括头部操作轨迹和/或身体整体部位操作轨迹的多种操作轨迹，本步 骤102进一步获得其中的手势操作轨迹对应的深度信息，对于需进行操作交互 的电子设备为AR/VR设备的情况，本质即获得手势操作轨迹相距AR/VR设备 镜头平面的距离值。

可选的，在一种实施方式中，手势操作轨迹对应的深度信息包括手势操 作轨迹上全部轨迹点的深度信息。

在另一种实施方式中，手势操作轨迹对应的深度信息仅包括手势操作轨 迹上不同特征点的深度信息。优选的，所述的特征点可以是但不限于手势操 作轨迹的起始点、角点和终点中的任意一种。

步骤103、基于上述操作轨迹和操作轨迹对应的深度信息，对空间中的操 作进行识别，得到操作识别结果。

其中，若经轨迹跟踪所得的操作轨迹仅包括单一的手势操作轨迹，则基 于该手势操作轨迹及其对应的深度信息，对用户的空中手势操作进行识别， 得到手势识别结果。手势识别结果包括但不限于所识别出的手势操作类型， 例如，经手势识别，确定出用户所执行的手势操作类型具体为某种单手手势 操作，或某种双手手势操作等。

若经轨迹跟踪所得的操作轨迹，包括手势操作轨迹，以及还包括头部操 作轨迹和/或身体整体部位操作轨迹中的至少一种，则具体可基于所获得的手 势操作轨迹及其深度信息，对用户的手势操作进行识别，得到手势识别结果； 并且，对用户的头部操作轨迹和/或身体整体部位操作轨迹进行识别，得到头 部姿势识别结果和/或身体整体部位姿势识别结果。

例如，经对用户操作进行识别，确定出用户所执行的手势操作类型具体 为某种单手手势操作，或某种双手手势操作，且同时识别出用户头部操作为 向左后方偏转某一角度(如处于30°与45°之间的某一角度)等。

步骤104、基于上述操作识别结果对电子设备进行操作控制。

相对应的，在一种实施方式中，仅根据手势操作的识别结果对电子设备 进行操作控制。

该实施方式中，可选的，预先制定有不同的手势操作类型与不同控制指 令的第一对应关系集合。当基于获得的手势操作轨迹及其深度信息，识别出 用户当前的手势操作类型后，可从上述第一对应关系集合中查询与识别出的 手势操作类型相匹配的控制指令，并根据匹配出的控制指令，对AR/VR设备 等电子设备进行操作控制。

例如，根据识别出的在空中划出字符“1”的手势，确定控制指令为锁屏 指令，并根据该指令锁定AR/VR设备的屏幕；根据识别出的在空中划出字符 “2”的手势，确定控制指令为解屏指令，并根据该指令对AR/VR设备进行解 屏；根据识别出的在空中划出字符“N”的手势，确定控制指令为虚拟场景切 换指令，并根据该指令控制AR/VR设备切换虚拟场景等。

在另一种实施方式中，根据手势操作的识别结果，并结合头部操作识别 结果和身体整体部位操作识别结果中的至少一种，对电子设备进行操作控制。

该实施方式中，可选的，预先制定有手势操作类型与头部姿势类型和/或 身体整体部位姿势类型的不同组合与不同控制指令的第二对应关系集合。当 基于获得的手势操作轨迹及其深度信息，以及获得的头部操作轨迹和/或身体 整体部位操作轨迹，识别出用户当前的手势操作类型，以及头部姿势类型和/ 或身体整体部位姿势类型后，可从上述第二对应关系集合中查询与识别出的 手势操作类型以及头部姿势类型和/或身体整体部位姿势类型的这一组合相匹 配的控制指令，并根据匹配出的控制指令，对AR/VR设备等电子设备进行操 作控制。

例如，根据识别出的在空中划出字符“N”的手势以及用户头部未发生偏 转的头部姿势类型，控制AR/VR设备从当前虚拟场景切换至下一虚拟场景后 停止切换；根据识别出的在空中划出字符“N”的手势以及用户头部向左偏转 一定角度(如30°至45°之间的某一角度)的头部姿势类型，控制AR/VR设 备持续进行虚拟场景的回切，不断地将虚拟场景切换至上一虚拟场景，直至 偏转结束时停止切换；根据识别出的在空中划出字符“N”的手势以及用户头 部向右偏转一定角度的头部姿势类型，控制AR/VR设备持续进行虚拟场景的 顺切，不断地将虚拟场景切换至下一虚拟场景，直至偏转结束时停止切换等 等。

典型的，在用户需与AR/VR设备进行操作交互的场景中，若本申请方法 的执行主体为AR/VR设备本身，则AR/VR设备可在进行相应信息采集(如采 集用户的多帧手势图像、以及采集用户头部的姿态感应信息等)的基础上， 通过执行本申请方法的处理逻辑而实现对用户空中操作的响应处理；若本申 请方法的执行主体为能与AR/VR设备进行通信的手机、个人计算机等控制设 备，则AR/VR设备在进行相应信息采集后，将采集的信息实时传输至控制设 备，控制设备通过执行本申请方法的处理逻辑而生成用于对AR/VR设备进行 操作控制的指令，并将所生成的指令实时传输给AR/VR设备，进而控制AR/VR 设备执行对用户空中操作的响应处理。

本实施例提供的处理方法，通过获得对空间中的操作进行轨迹跟踪所得 的操作轨迹，以及操作轨迹对应的深度信息，并根据获得的操作轨迹及其深 度信息对空间中的操作进行识别，最终可实现基于对空间中的操作的识别结 果而对电子设备进行操作控制。从而，本申请提供了一种基于空中操作(对 空间中的操作的简称，如空中手势操作)与电子设备进行交互的交互控制方 案，能有效拓展AR/VR等设备的操作交互方式，使用户与设备间的操作交互 更为灵活便捷，不需借助任何额外的输入介质(如手柄、键盘/鼠标等)即可 实现与AR/VR设备的快速交互。例如，可通过对单手、双手的空中手势识别 (对单手、双手的轨迹追踪或通过对绑定于手部的手柄、手环的轨迹追踪而 实现手势识别)，实现对AR/VR设备的空中解屏，而不需要借助任何额外的 输入借助(如不需通过手柄、键/鼠或手机的触控解锁)即可进行AR内容的查 看。

以下进一步提供仅基于对用户手势操作的识别，而对本申请方法加以实 施的具体处理过程，参见图2所示，该实施方式中，上述的处理方法可实现为：

步骤201、获得对空间中的手势操作进行轨迹跟踪所得的手势操作轨迹。

对于手势操作轨迹的检测获取，实施中，具体可在AR/VR设备等用户需 与其进行操作交互的电子设备上设置图像采集装置，例如在AR/VR头显装置 的预定部位设置至少一个摄像头，以此支持对用户空中手势操作的操作轨迹 进行追踪。

基于所设置的图像采集装置，当用户在AR/VR设备所处的相应空间范围 内执行手势操作时，具体可利用图像采集装置采集得到多帧手势图像，之后 进一步提取多帧手势图像中的手势信息，并处理从多帧手势图像中提取的手 势信息，得到用户手势操作对应的手势操作轨迹。

其中，图像采集装置采集的多帧手势图像可以是连续帧图像或非连续帧 图像，对此并不限制。在为非连续帧图像的情况下，优选的，所采集的多帧 手势图像至少包括用户开始执行手势操作、手势操作在空间中达到整个操作 的最低点/最高点/最左点/最右点、以及结束手势操作时对应的各个非连续的特 定帧图像，以至少支持手势轨迹上各特征点处的信息获取，进而便于用户手 势轨迹的有效识别。

在采集到多帧手势图像后，具体可从每帧图像中分析、识别出用户手部 图像，并确定用户手部预定部位(如手掌、手指、指尖和/或指关节)在各帧 图像中所处的位置信息，最终通过汇总、整合各个位置信息，而得到用户手 势操作所对应的操作轨迹，实现对用户手势操作的轨迹追踪，如对用户手势 操作中单指或多指指尖的追踪、单指或多指指关节的追踪等。

需要说明的是，实施中可不限于上述的实现方式，例如，可选的，对于 用户手势轨迹的识别，还可以通过对绑定于人体手部相应部位(如手腕、手 指部位)的辅助设备(如手柄、手环、指环)进行图像信息采集，并通过识 别、分析所采集的多帧图像中辅助设备的位置变化，而确定势操作所对应的 操作轨迹。

步骤202、获得上述手势操作轨迹对应的深度信息。

手势操作轨迹对应的深度信息的获取可以有多种实施方式，具体包括但 不限于以下的任意一种：

1)获得利用电子设备的深度摄像头采集的手势操作的多个深度图，并基 于多个深度图确定用户手势操作轨迹对应的深度信息；

该方式又称主动测距传感，该方式中，具体可在AR/VR设备等需与用户 进行交互的设备上设置用于深度信息采集的深度摄像头。

当用户在AR/VR设备所处空间执行手势操作时，设备本身通过发射能量 (如结构光)使得深度摄像头完成对用户手部深度信息的采集，得到相应的 深度图，并从中识别、提取形成手势操作轨迹的特定部位(如指尖、指关节 等)的深度值，最终通过汇总、整合多帧深度图中特定部位(如指尖、指关 节等)的深度值，即可得到用户的手势操作轨迹对应的深度信息。

2)获得利用电子设备的双目摄像头在同一时间采集的手势图像的差别信 息，基于该差别信息确定手势操作轨迹对应的深度信息；

该方式又称被动测距传感，该方式中，具体可在AR/VR设备等需与用户 进行交互的设备上设置两个满足位置关系的摄像头，例如两个摄像头在设备 预定位置上下或左右布局，且相互之间的距离小于一定阈值(如5mm)等。

当用户在AR/VR设备所处空间执行手势操作时，基于设置的两个摄像头 在同一时间点同时获取用户手部的两幅图像，并基于双目立体视觉原理，通 过立体匹配算法找到两幅图像中对应的像素点，随后根据三角原理计算出两 幅图像中对应的像素点的视差信息(即上述的差别信息)，进而将视差信息 转换处理为用于表征像素点到AR/VR设备平面(两个摄像头所在平面)的距 离的深度信息。通过获得形成手势操作轨迹的特定部位(如指尖、指关节等) 的深度信息，并汇总、整合基于两个摄像头获得的上述特征部位在不同时间 的深度信息，即可得到用户的手势操作轨迹对应的深度信息。

3)获得利用电子设备的6自由度传感器采集的辅助设备的空间位置信息， 基于该空间位置信息确定手势操作轨迹对应的深度信息；辅助设备绑定在人 体手部相应位置。

在另一种实施方式中，可选的，还可以借助辅助设备如手柄实现用户手 势操作轨迹对应的深度信息的检测，该方式中，具体可在AR/VR设备如AR头 显装置上搭配设置6自由度传感器，当用户在AR/VR设备所处空间执行手势操 作时，绑定于手部相应部位的辅助设备(如手部携带的手柄)持续发出可见 光，AR设备通过利用6自由度传感器对可见光的跟踪，而获得辅助设备的空间 位置信息，如辅助设备相对于AR/VR设备的空间位置信息等，并将其作为用 户手部的空间位置信息，相应得到用户手部的深度信息。通过获得形成手势操作轨迹的特定部位(如指尖、指关节等)的深度信息，并汇总、整合手势 操作过程中辅助设备在不同时间的深度信息，即可得到用户的手势操作轨迹 对应的深度信息。

步骤203、基于上述手势操作轨迹和手势操作轨迹对应的深度信息，对手 势操作进行识别，得到手势识别结果。

基于AR/VR设备等电子设备的图像采集装置(如摄像头)跟踪得到的手 势操作轨迹，本质为相对于图像采集装置的镜头平面的二维轨迹图形，具体 请参见图3提供的针对手势操作而识别出的二维轨迹图形的示例，轨迹上每个 点仅有对应的二维坐标值，如图3中的(x

为克服上述问题，实现对用户空中手势操作的精准识别，避免因手势操 作的误识别而导致与电子设备的交互失败或对电子设备进行错误的操作控 制，本申请实施例除了获得用户的手势操作轨迹，还获得手势操作轨迹对应 的深度信息，将深度信息作为对用户的空中手势操作进行模式识别时的辅助 信息，这样，无论手势操作过程中的轨迹角度如何变化，都能结合轨迹点的 深度信息实现对用户空中手势操作的精准识别。

其中，在基于手势操作轨迹及其对应的深度信息，对用户的手势操作进 行识别时，具体可根据手势操作轨迹上不同轨迹点的深度变化信息，确定手 势识别结果。

进一步，可选的，可根据手势操作轨迹上全部轨迹点的深度变化信息， 确定手势识别结果。

或者，在另一实施例中，可以仅根据手势操作轨迹上不同特征点的深度 变化信息，确定手势识别结果；其中，上述特征点为手势操作轨迹的起始点、 角点和终点中的任意一种，手势操作轨迹的角点即为用户手势操作在空间中 达到整个操作的最低点、最高点、最左点或最右点时所对应的位点。

具体地，以根据手势操作轨迹上不同特征点的深度变化信息，确定手势 识别结果为例，结合参见图4，在得到手势操作轨迹上的各个特征点的深度信 息(对应图中特征点的z值，如z

可选的，在另一实施方式中，还可根据各个特征点相对于镜头平面的平 面位置(xy平面坐标值)及各特征点的深度信息，得到手势操作轨迹的三维 轨迹图形，如图4(a)-(b)示出的类似字符“1”的三维轨迹图形，图4(c) -(d)示出的类似字符“2”的三维轨迹图形，之后进一步根据手势操作轨迹 的三维轨迹图形与预存的各手势模板之间的匹配度进行手势识别，最终，将 手势操作识别为与其三维轨迹图形满足匹配条件(如，匹配度达到设定阈值， 或匹配度为各个手势模板分别与三维轨迹图形的匹配度中的最大值)的目标 手势模板所对应的手势类型。

或者，可选的，还可以对用户手势操作进行基于深度学习的手势追踪与 识别，通过对追踪的手势轨迹进行基于深度学习的特征提取及分类(根据提 取的特征将用户的空中手势操作映射为手势类型空间的相应手势类型)等处 理，而实现对用户空中手势操作的识别，得到其所属的手势类型。

步骤204、确定与上述手势识别结果相匹配的第一控制指令，并基于所述 第一控制指令对电子设备进行操作控制。

之后，可进一步从预先制定的不同手势操作类型与不同控制指令的第一 对应关系集合中，查询与识别出的手势操作类型相匹配的第一控制指令，并 根据匹配出的第一控制指令，对AR/VR设备等电子设备进行操作控制。

例如，根据识别出的在空中划出字符“1”的手势，锁定AR/VR设备的屏 幕；根据识别出的空中划出字符“2”的手势，对AR/VR设备进行解屏，根据 识别出的空中划出字符“N”的手势，控制AR/VR设备切换虚拟场景等。

本实施例通过将深度信息作为对用户的空中手势操作进行模式识别时的 辅助信息，结合用户的手势操作轨迹上不同轨迹点的深度信息，对用户的空 中手势操作进行识别，本质上实现了对空中手势操作的三维轨迹识别，从而， 无论手势操作过程中的轨迹角度如何变化，都能结合轨迹点的深度信息实现 对用户手势操作的精准识别。

接下来继续提供基于对用户手势操作的识别，以及对手部操作和/或身体 整体部位操作的识别，而对本申请方法加以实施的具体处理过程，参见图5所 示，该实施方式中，上述的处理方法可实现为：

步骤501、获得对空间中的手势操作进行轨迹跟踪所得的手势操作轨迹， 以及获得对空间中的头部操作和/或身体整体部位操作进行轨迹跟踪所得的头 部操作轨迹和/或身体整体部位操作轨迹。

其中，对于获取手势操作轨迹的具体实现过程，可参照上一实施例中对 步骤201的说明，这里不再赘述。

对于用户的头部操作轨迹和/或身体整体部位操作轨迹的获取，实施中， 具体可在AR/VR设备等用户需与其进行操作交互的电子设备上设置重力传感 器、加速度传感器和角度传感器等中的相应一种或多种感测器件，但不限于 此，还可以将各感测器件实现为辅助部件的形式，在使用AR/VR设备时，将 其绑定于人体相应部位，如针对身体整体部位操作轨迹的获取需求，具体可 将集成有一个或多个感测器件的辅助部件以贴片、附片等形式绑定于人体预 定部位(如腰胯部、膝关节、脚踝等部位)，通过利用各传感器件对用户与 电子设备(如AR/VR设备)进行操作交互时的头部和/或身体整体部位的空中 操作进行姿态感应信息(如头部向某一方向偏转时的加速度、旋转角度，人 体蹲下或站起过程中膝关节、腰胯部的相对位置信息以及加速度信息等)采 集，并对操作过程中不同时间点的姿态感应信息进行分析、整合，而得到用 户的头部操作和/或身体整体部位操作的操作轨迹。

步骤502、获得上述手势操作轨迹对应的深度信息。

步骤502上一实施例中的步骤202相同，具体可参照上一实施例中对步骤 202的说明，不再赘述。

步骤503、基于上述手势操作轨迹及其对应的深度信息，对手势操作进行 识别，得到手势识别结果，且对头部操作轨迹和/或身体整体部位操作轨迹进 行识别，得到头部姿势识别结果和/或身体整体部位姿势识别结果。

根据手势操作轨迹及其对应的深度信息，对空间中的手势操作进行手势 识别的过程，相应可参见上文对步骤203的说明。

在得到用户的头部操作和/或身体整体部位操作的操作轨迹后，可进一步 基于其轨迹在空间中的方向、角度、时间、加速度、轨迹形状等信息，识别 头部操作和/或身体整体部位操作所对应的头部姿势和/或身体整体部位姿势， 相应得到头部姿势识别结果和/或身体整体部位姿势识别结果。如，根据头部 的向左偏转一定角度时的轨迹方向、角度、形状等信息，分析得到用户的头 部姿势为向左偏转α度，根据人体腰胯部这一部位对应的从上到斜下方的运 动轨迹及其对应的加速度信息/时间信息，确定出人体姿势为从站立而缓慢蹲 下等。

步骤504、结合上述的头部姿势识别结果和/或身体整体部位姿势识别结 果，确定与手势识别结果相匹配的第二控制指令，并基于第二控制指令对电 子设备进行操作控制。

在得到用户的手势识别结果，以及头部姿势识别结果和/或身体整体部位 姿势识别结果的基础上，可进一步从预先制定的手势操作类型与头部姿势类 型和/或身体整体部位姿势类型的不同组合与不同第二对应关系集合中，查询 与识别出的手势操作类型以及头部姿势类型和/或身体整体部位姿势类型的这 一组合相匹配的第二控制指令，并根据匹配出的第二控制指令，对AR/VR设 备等电子设备进行操作控制。

例如，根据识别出的在空中划出字符“N”的手势以及用户头部未发生偏 转的头部姿势类型，控制AR/VR设备从当前虚拟场景切换至下一虚拟场景后 停止切换；根据识别出的在空中划出字符“N”的手势以及用户头部向左偏转 一定角度(如30°至45°之间的某一角度)的头部姿势类型，控制AR/VR设 备持续进行虚拟场景的回切，不断地将虚拟场景切换至上一虚拟场景，直至 偏转结束时停止切换；根据识别出的在空中划出字符“N”的手势以及用户头 部向右偏转一定角度的头部姿势类型，控制AR/VR设备持续进行虚拟场景的 顺切，不断地将虚拟场景切换至下一虚拟场景，直至偏转结束时停止切换等 等。

在基于对用户空中手势操作的识别而控制电子设备执行响应处理时，本 实施例通过结合对用户头部操作和/或身体整体部位操作的识别，而辅助控制 电子设备的响应处理，可使得用户与电子设备间的操作交互更为灵活，进一 步丰富了对电子设备的控制方式、控制类型。

在本申请一可选实施例中，参见图6提供的处理方法流程示意图，该处理 方法还可以包括：

步骤601、获得操作者的生物特征信息。

具体地，可借助集成于AR/VR设备或其控制设备(如手机、个人计算机) 上的摄像头、指纹传感器和/或虹膜传感器等生物特征信息采集装置，采集得 到用户的头像、指纹和/或虹膜等生物特征信息。

实施中，该获得操作者的生物特征信息的步骤，具体可在步骤101之前执 行、或在步骤101与步骤102之间执行，或在步骤102与步骤103之间执行，在 此不做限制。

在此基础上，如图6所示，可进一步将图1所示处理方法中的步骤103和/ 或步骤104分别实现为以下的步骤602和步骤603：

步骤602、基于上述操作轨迹、深度信息，和与上述生物特征信息相匹配 的第一用户习惯信息，对空间中的操作进行识别，得到操作识别结果。

可选的，第一用户习惯信息可以是指用户基于空中操作而与电子设备进 行交互时，习惯使用的一种或几种手势操作、头部操作和/或身体整体部位操 作。

当用户基于空中操作与电子设备如AR/VR设备进行交互时，其空中操作 往往会因过于不规范/标准，而易导致无法有效识别，进而会导致对电子设备 的操作控制失败或误操作，针对该情况，本实施例中，当基于用户空中操作 的操作轨迹及其深度信息进行用户操作(如手势操作、头部操作、身体整体 部位的操作等)的识别时，若无法有效识别，则进一步结合用户的上述第一 用户习惯信息对用户操作进行补偿，并根据补偿结果实现操作的识别。

现举例说明：

参见图7，假设根据手势操作轨迹及其深度信息，识别出用户手势操作的 三维轨迹图形，基于该三维轨迹图形无法有效识别用户手势为在空中划出字 符“2”还是字符“3”，此种情况下，可进一步结合历史上用户习惯使用在 空中划出字符“3”的手势进行设备控制的这一习惯信息(如，划出字符“3” 的手势的使用频率高于划出字符“2”的手势的使用频率，或最近一次用户具 体使用的是在空中划出字符“3”的手势进行设备控制等)，而将用户手势操 作的三维轨迹图形补偿为字符“3”对应的图形，进而基于这一补偿将用户手 势识别为在空中划出字符“3”的手势。

步骤603、基于上述操作识别结果和与上述生物特征信息相匹配的第二用 户习惯信息，对电子设备进行操作控制。

对于相同的空中操作，不同用户可能会具备不用的使用习惯或喜好，例 如，有的用户倾向于采用在空中划出字符“2”的手势操作，控制AR/VR设备 直接进入虚拟场景1(而不需调出各虚拟场景并选择)，而有的用户则倾向于 采用该手势操作控制AR/VR设备进入虚拟场景2。

鉴于此，本实施例中，上述的第二用户习惯信息，可以包括但不限于不 同用户使用相应操作来控制电子设备进行响应处理时的控制习惯信息。

当对用户的空中操作进行识别而得到识别结果后，如得到用户的手势操 作识别结果后，可进一步结合当前用户基于该手势操作所习惯的控制信息， 而确定对电子设备进行操作控制的目标控制指令，进而基于确定出的目标控 制指令实现对电子设备的控制。例如，对于用户在空中划出字符“2”的手势 操作，若用户历史上使用虚拟场景2的频率最高，或最近一次使用的虚拟场景 为虚拟场景2，则基于该手势操作控制AR/VR设备从当前显示直接进入虚拟场 景2。

本实施例通过结合与用户生物特征信息相匹配的习惯信息，对用户的空 中操作进行辅助识别，或对电子设备进行操作控制，可实现不同用户基于其 不同习惯/喜好，而利用同一空中操作控制电子设备进行不同的响应处理，实 现了不同用户对电子设备进行操作控制时的多样性，并提升了用户体验感。

在本申请一可选实施例中，在基于手势识别结果而确定用于对电子设备 进行操作控制的控制指令时，还可以获得手势操作轨迹的方向信息，并至少 将手势识别结果以及手势操作轨迹的方向信息共同作为控制指令的确定依 据，进行控制指令的确定。

例如，在确定与手势识别结果相匹配的第一控制指令，或结合头部姿势 识别结果和/或身体整体部位姿势识别结果，确定与手势识别结果相匹配的第 二控制指令时，具体确定与手势识别结果相匹配且与手势操作轨迹的方向信 息相匹配的第一控制指令或第二控制指令。

其中，手势操作轨迹的方向信息，可以为手势操作轨迹的整体轨迹图形 在空间中的方向或角度，例如，沿水平方向划出的呈正立姿态的字符“2”， 或沿竖直方向划出的呈翻转90°姿态的字符“2”等；或者，上述方向信息还 可以为手势操作轨迹的轨迹图形中各特征点之间的相对方向，如角点相对于 起始点的方向，角点相对于终点的方向，终点相对于起始点的方向，或不同 角点之间的相对方向等。

现举例说明：例如对于在空间中划出的字符“2”的手势操作，具体可进 一步根据字符“2”的方向信息而确定相对应的对电子设备的目标控制指令， 如，根据呈正立姿态的字符“2”的方向信息，将该字符“2”对应的目标控 制指令确定为对AR/VR设备的锁定指令，根据呈向左翻转90°姿态的字符“2” 的方向信息，将目标控制指令确定为对AR/VR设备的待机指令，根据呈向右 翻转90°姿态的字符“2”的方向信息，将目标控制指令确定为对AR/VR设备 的关机指令等等。

本实施例利用手势操作轨迹的方向信息作为附加信息，进行基于手势识 别时的控制指令确定，可支持用户通过执行具有不同方向信息的相同手势操 作，而实现对电子设备的不同控制，进一步提升了对电子设备的操作控制的 灵活性。

对应于上述的处理方法，本申请实施例还提供了一种处理装置，参见图8、 该处理装置包括：

获取模块801，用于获得对空间中的操作进行轨迹跟踪所得的操作轨迹； 以及用于获得所述操作轨迹对应的深度信息；

识别模块802，用于基于所述操作轨迹和所述深度信息，对所述操作进行 识别，得到操作识别结果；

操作控制模块803，用于基于所述操作识别结果对电子设备进行操作控 制。

在本申请实施例的一可选实施方式中，获取模块801，在获得对空间中的 操作进行轨迹跟踪所得的操作轨迹时，具体用于：

获得对空间中的手势操作进行轨迹跟踪所得的手势操作轨迹；

或，

获得对空间中的手势操作进行轨迹跟踪所得的手势操作轨迹，以及获得 对空间中的头部操作和/或身体整体部位操作进行轨迹跟踪所得的头部操作轨 迹和/或身体整体部位操作轨迹。

在本申请实施例的一可选实施方式中，获取模块801，在获得对空间中的 手势操作进行轨迹跟踪所得的手势操作轨迹时，具体用于：

获得利用所述电子设备的图像采集装置对所述手势操作进行图像采集所 得的多帧手势图像；

提取所述多帧手势图像中的手势信息，

处理从所述多帧手势图像中提取的手势信息，得到所述手势操作对应的 手势操作轨迹。

在本申请实施例的一可选实施方式中，获取模块801，在获得所述操作轨 迹对应的深度信息时，具体用于：

获得所述手势操作轨迹对应的深度信息；

识别模块802，具体用于：

基于所述手势操作轨迹和所述手势操作轨迹对应的深度信息，对所述手 势操作进行识别，得到手势识别结果；

或，

基于所述手势操作轨迹和所述手势操作轨迹对应的深度信息，对所述手 势操作进行识别，得到手势识别结果，且对所述头部操作轨迹和/或身体整体 部位操作轨迹进行识别，得到头部姿势识别结果和/或身体整体部位姿势识别 结果。

在本申请实施例的一可选实施方式中，获取模块801，在获得所述手势操 作轨迹对应的深度信息时，具体用于：

获得利用所述电子设备的深度摄像头采集的所述手势操作的多个深度 图，并基于所述多个深度图确定所述手势操作轨迹对应的深度信息；

或，获得利用所述电子设备的双目摄像头在同一时间采集的手势图像的 差别信息，基于所述差别信息确定所述手势操作轨迹对应的深度信息；

或，获得利用所述电子设备的6自由度传感器采集的辅助设备的空间位置 信息，基于所述空间位置信息确定所述手势操作轨迹对应的深度信息；

其中，所述辅助设备绑定在人体手部相应位置。

在本申请实施例的一可选实施方式中，识别模块802，基于所述手势操作 轨迹和所述手势操作轨迹对应的深度信息，对所述手势操作进行识别时，具 体用于：

根据手势操作轨迹上不同轨迹点的深度变化信息，确定手势识别结果；

进一步地，识别模块802，在根据手势操作轨迹上不同轨迹点的深度变化 信息，确定手势识别结果时，具体用于：

根据手势操作轨迹上全部轨迹点的深度变化信息，确定手势识别结果；

或，根据手势操作轨迹上不同特征点的深度变化信息，确定手势识别结 果；其中，所述特征点为所述手势操作轨迹的起始点、角点和终点中的任意 一种。

在本申请实施例的一可选实施方式中，获取模块801，还用于：

获得操作者的生物特征信息；

识别模块802，具体用于：基于所述操作轨迹、所述深度信息，和与所述 生物特征信息相匹配的第一用户习惯信息，对所述操作进行识别，得到操作 识别结果；和/或，操作控制模块803，具体用于：基于所述操作识别结果和与 所述生物特征信息相匹配的第二用户习惯信息，对电子设备进行操作控制。

在本申请实施例的一可选实施方式中，操作控制模块803，具体用于：

确定与所述手势识别结果相匹配的第一控制指令，并基于所述第一控制 指令对电子设备进行操作控制；

或，结合所述头部姿势识别结果和/或身体整体部位姿势识别结果，确定 与所述手势识别结果相匹配的第二控制指令，并基于所述第二控制指令对电 子设备进行操作控制。

在本申请实施例的一可选实施方式中，获取模块801，还用于：

获得所述手势操作轨迹的方向信息；

其中，在确定与手势识别结果相匹配的第一控制指令或第二控制指令时， 确定与手势识别结果相匹配且与上述方向信息相匹配的第一控制指令或第二 控制指令。

对于本申请实施例公开的处理装置而言，由于其与上文方法实施例公开 的处理方法相对应，所以描述的比较简单，相关相似之处请参见上文相应方 法实施例的说明即可，此处不再详述。

本申请实施例还公开了一种电子设备，该电子设备具有显示单元，显示 单元可以是具备触控功能或不具备触控功能的显示单元。

如图9示出的电子设备的结构示意图，至少包括：

存储器901，用于存放计算机指令集；

所述的计算机指令集可以采用计算机程序的形式实现。

存储器901可以包括高速随机存取存储器，还可以包括非易失性存储器， 例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器902，用于通过执行存储器上存放的指令集，实现如上任一方法实 施例公开的处理方法。

其中，处理器902可以为中央处理器(Central Processing Unit，CPU)， 特定应用集成电路(application-specific integrated circuit，ASIC)，数字信号 处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者 其他可编程逻辑器件等。

除此之外，电子设备还可以包括通信接口、通信总线等组成部分。存储 器、处理器和通信接口通过通信总线完成相互间的通信。

通信接口用于电子设备与其他设备之间的通信。通信总线可以是外设部 件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结 构(ExtendedIndustry Standard Architecture，EISA)总线等，该通信总线可以 分为地址总线、数据总线、控制总线等。

另外，本申请实施例还公开一种计算机可读存储介质，该计算机可读存 储介质内存储有计算机指令集，计算机指令集被处理器执行时实现如上文任 一方法实施例公开的控制方法。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个 实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似 的部分互相参见即可。

为了描述的方便，描述以上系统或装置时以功能分为各种模块或单元分 别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/ 或硬件中实现。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到 本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解， 本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品 的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、 磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机， 服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所 述的方法。

最后，还需要说明的是，在本文中，诸如第一、第二、第三和第四等之 类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来， 而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺 序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性 的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那 些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、 方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包 括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或 者设备中还存在另外的相同要素。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普 通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润 饰，这些改进和润饰也应视为本申请的保护范围。