一种基于手势的人机交互方法及设备

技术领域

本申请涉及计算机视觉处理技术领域，尤其涉及一种基于手势的人机交互方法及设备。

背景技术

现有技术中，电子白板非常普及于课堂和会议室，但是现有电子白板的人机交互模块一般只有电子笔和触摸屏。一些简单的操作如果使用触摸屏，只能接触式操作，则需要近距离接触到触摸屏才能操作，同样使用电子笔则必须要交电子笔传递给操作者，电子笔虽然可以远程操作但必须要手持，这样在课堂或会议时都需要人体挪动才可以完成，造成不便。

发明内容

本申请的一个目的是提供一种基于手势的人机交互方法及设备，实现了只需通过简单的手势就可以完成一些简单且有效的屏幕操作，实现远距离控制屏幕的操作，提高用户体验度和操作性。

根据本申请的一个方面，提供了一种基于手势的人机交互方法，其中，所述方法包括：

获取摄像设备拍摄的一时间段内的至少两帧人体图像；

分别对每帧所述人体图像进行手势识别，得到每帧所述人体图像对应的手势及其在所述人体图像中的位置；

根据每帧所述人体图像对应的手势及其在所述人体图像中的位置，确定手势移动方向；

根据所述手势移动方向和每帧所述人体图像对应的手势，确定对应的控制指令；

基于所述控制指令控制电子屏幕进行相应的屏幕操作。

进一步地，上述方法中，所述分别对每帧所述人体图像进行手势识别，得到每帧所述人体图像对应的手势及其在所述人体图像中的位置，包括：

分别对每帧所述人体图像进行手部检测，得到每帧所述人体图像对应的手部区域图像；

分别对每帧所述人体图像对应的手部区域图像进行手势识别，得到每帧所述人体图像对应的手势及其在所述人体图像中的位置。

进一步地，上述方法中，所述分别对每帧所述人体图像进行手部检测，得到每帧所述人体图像对应的手部区域图像，包括：

基于Haar特征与轮廓特征相结合的算法，分别对每帧所述人体图像进行手部检测，得到每帧所述人体图像对应的手部区域图像。

进一步地，上述方法中，所述方法还包括：

训练并确定用于手势识别的分类器；

其中，所述分别对每帧所述人体图像对应的手部区域图像进行手势识别，得到每帧所述人体图像对应的手势及其在所述人体图像中的位置，包括：

分别将每帧所述人体图像对应的手部区域图像输入至所述分类器进行手势识别，得到每帧所述人体图像对应的手势及其在所述人体图像中的位置。

进一步地，上述方法中，所述方法还包括：

预置至少一种手势及其移动方向与预设控制指令之间的映射关系；

其中，所述根据所述手势移动方向和每帧所述人体图像对应的手势，确定对应的控制指令，包括：

根据所述手势移动方向和每帧所述人体图像对应的手势，在所述映射关系中进行指令匹配，得到对应的控制指令。

根据本申请的另一方面，还提供了一种非易失性存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行时，使所述处理器实现如上述基于手势的人机交互方法。

根据本申请的另一方面，还提供了一种基于手势的人机交互设备，其中，该设备包括：

一个或多个处理器；

计算机可读介质，用于存储一个或多个计算机可读指令，

当所述一个或多个计算机可读指令被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述基于手势的人机交互方法。

与现有技术相比，本申请通过获取摄像设备拍摄的一时间段内的至少两帧人体图像；分别对每帧所述人体图像进行手势识别，得到每帧所述人体图像对应的手势及其在所述人体图像中的位置；根据每帧所述人体图像对应的手势及其在所述人体图像中的位置，确定手势移动方向；根据所述手势移动方向和每帧所述人体图像对应的手势，确定对应的控制指令；基于所述控制指令控制电子屏幕进行相应的屏幕操作，实现了只需通过简单的手势就可以完成一些简单且有效的屏幕操作，实现远距离控制屏幕的操作，提高用户体验度和操作性。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出根据本申请一个方面的一种基于手势的人机交互方法的流程示意图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本申请作进一步详细描述。

在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

图1示出根据本申请一个方面的一种基于手势的人机交互方法的流程示意图，其中，所述方法包括步骤S11、步骤S12、步骤S13、步骤S14及步骤S15，具体包括如下步骤：

步骤S11，获取摄像设备拍摄的一时间段内的至少两帧人体图像；在此，所述摄像设备包括但不限于相机、摄像头等可以拍照或者摄像的设备；所述至少两帧人体图像为所述时间段内获取的连续的人体图像，便于后续对连续的人体图像进行分析，以得到人体的手势移动反向等数据。

步骤S12，分别对每帧所述人体图像进行手势识别，得到每帧所述人体图像对应的手势及其在所述人体图像中的位置；由于人体是可以移动的，在分析每帧人体图像后，每帧人体图像会对应一个手势，且手势可以相同，也可以不同，或者说可以存在用一个手势的不同移动形态，故而，为了更好地分析手势，在检测每帧人体图像对应的手势的同时，也需要确定分析出的手势在当前的人体图像中的位置。

步骤S13，根据每帧所述人体图像对应的手势及其在所述人体图像中的位置，确定手势移动方向；由于用户的手势移动是连续的，为了确定手势移动趋势，需要根据检测出的每帧所述人体图像对应的手势及计算和记录的所述手势在当前对应的人体图像中的位置，并使用卡尔曼滤波，确定手势移动轨迹，从而判断并确定出手势移动趋势和手势移动方向。

步骤S14，根据所述手势移动方向和每帧所述人体图像对应的手势，确定对应的控制指令。

步骤S15，基于所述控制指令控制电子屏幕进行相应的屏幕操作，在此，所述屏幕操作包括但不限于对屏幕进行的PPT控制、上下左右翻页、确定、返回、音乐控制及展览展示软件等屏幕的操作。

通过上述步骤S11至步骤S15，实现了只需通过简单的手势就可以完成一些简单且有效的屏幕操作，实现远距离控制屏幕的操作，提高用户体验度和操作性。

接着本申请的上述实施例，所述步骤S12分别对每帧所述人体图像进行手势识别，得到每帧所述人体图像对应的手势及其在所述人体图像中的位置，具体包括：

分别对每帧所述人体图像进行手部检测，得到每帧所述人体图像对应的手部区域图像；

分别对每帧所述人体图像对应的手部区域图像进行手势识别，得到每帧所述人体图像对应的手势及其在所述人体图像中的位置。

例如，所述步骤对人体图像进行分析时，首先分别对获取的该时间段内连续的每帧所述人体图像进行手部检测，在此，由于用户的手部在展示屏幕时存在移动，可以通过物体移动侦测来分离出人体图像中的运动区域，以便能够分析出每帧所述人体图像对应的手部区域图像，实现在人体图像中对手部的检测和区域确定；之后，由于用户的移动性，使得每帧手部区域图像中的手势可能存在不同或者手势的所处位置不同，在分离出手部区域图像后，需要分别对每帧所述人体图像对应的手部区域图像进行手势识别，得到每帧所述人体图像对应的手势及所述手势在当前的所述人体图像中的位置，实现对每帧人体图像中的手势的检测及手势在其所在的人体图像中的位置的确定，以便后续进行手势移动趋势的分析。

接着本申请的上述实施例，所述步骤S12中的分别对每帧所述人体图像进行手部检测，得到每帧所述人体图像对应的手部区域图像，具体包括：

基于Haar特征与轮廓特征相结合的算法，分别对每帧所述人体图像进行手部检测，得到每帧所述人体图像对应的手部区域图像。例如，在从摄像设备获取到所述时间段内的至少两帧人体图像后，使用物体移动侦测来分离出人体图像中的运动区域，并基于Haar特征与轮廓特征相结合的算法，分别对每帧所述人体图像中的运动区域进行手部检测，从而检测出每帧所述人体图像对应的手部区域图像，可有效减少环境光影响，保证识别准确率和识别效果，具有很好的鲁棒性。

接着本申请的上述实施例，所述方法本申请一个方面的一种基于手势的人机交互方法还包括：

训练并确定用于手势识别的分类器；

其中，所述步骤S13分别对每帧所述人体图像对应的手部区域图像进行手势识别，得到每帧所述人体图像对应的手势及其在所述人体图像中的位置，具体包括：

分别将每帧所述人体图像对应的手部区域图像输入至所述分类器进行手势识别，得到每帧所述人体图像对应的手势及其在所述人体图像中的位置。

例如，在进行手势识别之前，为了便于对手势进行识别和分类，本申请实施例中需要获取多个预设时间段内的连续的多帧人体样本图像作为图像训练集，基于所述图像训练集进行用于手势识别的分类器的模型训练和确定，在此，所述分类器是级联分类器，比如，采用Adaboost分类器训练得到级联分类器的前几级，接着利用Hausdorff距离进行轮廓匹配生成弱分类器，最后利用Adaboost提升算法得到强分类器作为级联分类器的最后一级，以完成级联分类器训练，以便后续能够通过所述级联分类器检测出手势类型。在实际应用场景中，比如在所述步骤S13中需要对获取的所述时间段内的每帧人体图像对应的手部区域图像进行手势识别和分类时，分别将每帧人体图像对应的手部区域图像输入至所述分类器进行手势的识别，所述分类器输出的结果即为对应的每帧所述人体图像对应的手势及其在所述人体图像中的位置，实现了通过用于手势识别的分类器对获取的每帧人体图像进行手势识别和确定。

接着本申请的上述实施例，本申请一个方面的一种基于手势的人机交互方法还包括：

预置至少一种手势及其移动方向与预设控制指令之间的映射关系；

其中，所述步骤S14根据所述手势移动方向和每帧所述人体图像对应的手势，确定对应的控制指令，具体包括：

根据所述手势移动方向和每帧所述人体图像对应的手势，在所述映射关系中进行指令匹配，得到对应的控制指令。

例如，为了确保用户进行的手势动作，能够触发对屏幕进行操作的控制指令，需要预先设置一种或多种手势及其移动方向与对应的预设控制指令之间的映射关系，以便在后续的实际应用场景中分析出实时的手势及其手势移动方向，就可以从所述映射关系中匹配出对应的预设控制指令。在实际应用场景中，所述步骤S14根据分析的手势移动方向和每帧所述人体图像对应的手势，在所述映射关系中进行预设控制指令的匹配，得到所述映射关系中的所有预设指令中的、与所述手势移动方向和每帧所述人体图像对应的手势对应的控制指令，并基于所述对应的控制指令模拟系统的触摸动作等，以完成对电子屏幕进行控制，使得电子屏幕基于所述控制指令的控制进行相应的屏幕操作，不仅完成了对屏幕的无接触控制和操作，还达到了人机交互的目的，从而提高用户体验。

在本申请的所有实施例中，对手势进行识别主要分为三个主要特征的识别，分别为手势的(手型)、手势移动方向及运动轨迹，在进行手势识别的全部过程中，先对包含有手势的人体图像进行采集，然后对采集的含有手势的人体图像进行图像预处理得到预处理后的人体图像；接着对预处理后的人体图像进行特征提取和选择，并将提取和选择的特征用于进行分类器的设计和训练得到分类器，在此，手势本身具有丰富的形变，运动以及纹理特征，选取合理的特征对于手势的识别至关重要，比如，手势特征有：轮廓、边缘、图像矩、图像特征向量以及区域直方图特征等等；在实际应用场景中基于所述分类器来对实际应用场景中的人体图像进行手势识别，以得到实际应用场景中的人体图像对应的手势识别结果。其中，对手势进行识别的过程可以分解为：手部跟踪与定位、手势分割、手部特征提取和预处理、手势特征向量参数、参数训练以生成用于识别手势的模型；在得到训练的模型后，对实际应用场景中的图像进行参数识别，并输入至所述模型中进行手势的姿势识别，得到手势的识别结果，从而完成对实际应用场景中的图像的手势识别。

根据本申请的另一方面，还提供了一种非易失性存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行时，使所述处理器实现如上述基于手势的人机交互方法。

根据本申请的另一方面，还提供了一种基于手势的人机交互设备，其中，该设备

包括：

一个或多个处理器；

计算机可读介质，用于存储一个或多个计算机可读指令，

当所述一个或多个计算机可读指令被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述基于手势的人机交互方法。

在此，所述基于手势的人机交互设备中的各实施例的详细内容，具体可参见上述基于手势的人机交互方法的实施例的对应部分，在此，不再赘述。

综上所述，本申请通过获取摄像设备拍摄的一时间段内的至少两帧人体图像；分别对每帧所述人体图像进行手势识别，得到每帧所述人体图像对应的手势及其在所述人体图像中的位置；根据每帧所述人体图像对应的手势及其在所述人体图像中的位置，确定手势移动方向；根据所述手势移动方向和每帧所述人体图像对应的手势，确定对应的控制指令；基于所述控制指令控制电子屏幕进行相应的屏幕操作，实现了只需通过简单的手势就可以完成一些简单且有效的屏幕操作，实现远距离控制屏幕的操作，提高用户体验度和操作性。

需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。