隔空手势识别方法、装置、设备及存储介质

技术领域

本发明涉及人机交互技术领域，尤其涉及一种隔空手势识别方法、装置、设备及存储介质。

背景技术

目前，常常采用机器视觉的方式进行手势动作识别，而这种方式在进行动态手势识别时往往存在着识别准确度不高的问题，因此，如何提供一种识别准确度较高的隔空手势识别方法，成为了亟待解决的问题。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种隔空手势识别方法，能够对手势动作准确识别。

本发明还提出一种具有上述隔空手势识别方法的隔空手势识别装置。

本发明还提出一种具有上述隔空手势识别方法的隔空手势识别设备。

本发明还提出一种具有上述隔空手势识别方法的计算机可读存储介质。

根据本发明的第一方面实施例的隔空手势识别方法，包括：

获取手势图像；

将所述手势图像转换成数字信号图像帧；

根据所述数字信号图像帧的每一特征点的位置变化，得到手势参数；

获取菱形CMOS感光阵列中的调制光的飞行时间的相移数据；

根据所述相移数据，得到距离深度数据；

根据所述距离深度数据对所述手势参数进行修正，得到最终的手势参数。

根据本发明实施例的隔空手势识别方法，至少具有如下有益效果：这种隔空手势识别方法通过获取手势图像，将手势图像转换成数字信号图像帧，对数字信号图像帧的每一特征点的位置变化进行分析处理，得到手势参数，获取菱形CMOS感光阵列中的调制光的飞行时间的相移数据，将相移数据转换得到距离深度数据，从而根据距离深度数据对手势参数进行修正，得到最终的手势参数，这样能够方便地实现对手势动作的识别，消除外部环境的干扰，提高了识别准确度。

根据本发明的一些实施例，所述获取手势图像，包括：

通过光电感应的方式获取所述手势图像；

将所述手势图像成像在所述菱形CMOS感光阵列上，得到电子图像。

根据本发明的一些实施例，所述根据所述手势图像，得到数字信号图像帧，包括：

对所述电子图像进行模数转换，得到所述数字信号图像帧。

根据本发明的一些实施例，所述根据所述距离深度数据对所述手势参数进行修正，得到最终的手势参数之后，还包括：

将所述手势参数输出给相应的外部设备。

根据本发明的一些实施例，所述将所述手势参数输出给相应的外部设备之后，还包括：

获取关机手势图像；

根据所述关机手势图像，从工作模式切换至休眠模式。

根据本发明的一些实施例，所述根据所述关机手势图像，从工作模式切换至休眠模式之后，还包括：

在预定的时间周期之后，获取当前环境图像；

根据所述当前环境图像，得到当前环境值；

在相邻两个当前环境值之间的差值超过预设阈值时，从休眠模式切换至工作模式。

根据本发明的一些实施例，所述手势图像包括前移操作图像、后移操作图像、左移操作图像、右移操作图像、上移操作图像、下移操作图像、拍动操作图像中的至少一种。

根据本发明的第二方面实施例的隔空手势识别装置，包括：

获取模块，用于获取手势图像；

转换模块，用于将所述手势图像转换成数字信号图像帧；

第一处理模块，用于根据所述数字信号图像帧的每一特征点的位置变化，得到手势参数；

第二处理模块，用于获取菱形CMOS感光阵列中的调制光的飞行时间的相移数据；

第三处理模块，用于根据所述相移数据，得到距离深度数据；

修正模块，用于根据所述距离深度数据对所述手势参数进行修正，得到最终的手势参数。

根据本发明实施例的隔空手势识别装置，至少具有如下有益效果：这种隔空手势识别装置法通过获取模块获取手势图像，转换模块将手势图像转换成数字信号图像帧，第一处理模块对数字信号图像帧的每一特征点的位置变化进行分析处理，得到手势参数，第二处理模块获取菱形CMOS感光阵列中的调制光的飞行时间的相移数据，第三处理模块将相移数据转换得到距离深度数据，从而修正模块根据距离深度数据对手势参数进行修正，得到最终的手势参数，这样能够方便地实现对手势动作的识别，消除外部环境的干扰，提高了识别准确度。

根据本发明的第三方面实施例的隔空手势识别设备，包括：

至少一个处理器，以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行所述指令时实现如第一方面实施例所述的隔空手势识别方法。

根据本发明实施例的隔空手势识别设备，至少具有如下有益效果：这种隔空手势识别设备采用上述隔空手势识别方法，通过获取手势图像，将手势图像转换成数字信号图像帧，对数字信号图像帧的每一特征点的位置变化进行分析处理，得到手势参数，获取菱形CMOS感光阵列中的调制光的飞行时间的相移数据，将相移数据转换得到距离深度数据，从而根据距离深度数据对手势参数进行修正，得到最终的手势参数，这样能够方便地实现对手势动作的识别，消除外部环境的干扰，提高了识别准确度。

根据本发明的第四方面实施例的计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面实施例所述的隔空手势识别方法。

根据本发明实施例的计算机可读存储介质，至少具有如下有益效果：这种计算机可读存储介质采用上述隔空手势识别方法，通过获取手势图像，将手势图像转换成数字信号图像帧，对数字信号图像帧的每一特征点的位置变化进行分析处理，得到手势参数，获取菱形CMOS感光阵列中的调制光的飞行时间的相移数据，将相移数据转换得到距离深度数据，从而根据距离深度数据对手势参数进行修正，得到最终的手势参数，这样能够方便地实现对手势动作的识别，消除外部环境的干扰，提高了识别准确度。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

下面结合附图和实施例对本发明做进一步的说明，其中：

图1为本发明实施例的隔空手势识别方法的流程图；

图2为本发明另一实施例的隔空手势识别方法的流程图；

图3为本发明另一实施例的隔空手势识别方法的流程图；

图4为本发明另一实施例的隔空手势识别方法的流程图；

图5为本发明实施例的隔空手势识别装置的结构示意图；

图6为本发明具体实施例的隔空手势识别装置的结构示意图；

图7为本发明另一具体实施例的隔空手势识别装置的模块示意图；

图8为本发明另一具体实施例的隔空手势识别前、后、左、右移动示意图；

图9为本发明另一具体实施例的隔空手势识别上、下移动示意图；

图10为本发明另一具体实施例的隔空手势识别3D移动示意图；

图11为本发明另一具体实施例的菱形CMOS感光阵列结构图；

附图标记：510、获取模块；520、转换模块；530、第一处理模块；540、第二处理模块；550、第三处理模块；560、修正模块；610、红外发光二极管；620、识别芯片；630、光学结构盖子；710、图像采集模块；720、图像处理模块；730、MCU模块；740、外部设备；810、触发CMOS；820、成像CMOS；830、光敏二极管。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个以上，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

本发明的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

第一方面，参照图1，本发明实施例的隔空手势识别方法包括：

S100，获取手势图像；

S200，将手势图像转换成数字信号图像帧；

S300，根据数字信号图像帧的每一特征点的位置变化，得到手势参数；

S400，获取菱形CMOS感光阵列中的调制光的飞行时间的相移数据；

S500，根据相移数据，得到距离深度数据；

S600，根据距离深度数据对手势参数进行修正，得到最终的手势参数。

在进行隔空手势识别的过程中，首先需要获取手势图像，需要说明的是，可以是通过光电感应等方式获取手势图像，从而可以将手势图像转换成数字信号图像帧，从而对数字信号图像帧的每一特征点的位置变化进行分析处理，得到手势参数，需要说明的是，手势参数可以包括移动方向、移动速度、移动位置以及距离深度等等，进一步地，获取菱形CMOS感光阵列中的调制光的飞行时间的相移数据，将相移数据转换为距离深度数据，进一步地获取菱形CMOS感光阵列中的调制光的飞行时间的相移数据，通过相移数据转换得到距离深度数据，再根据物体的距离深度数据分离出数字信号图像帧中的前景和背景，对信号进行处理，从而修正手势参数，消除由于环境干扰产生的误差，得到最终的手势参数，最后，将手势参数输出给相应的外部设备，这样根据手势参数可以在外部设备上方便地识别当前的手势动作，从而进行相应的操作。

例如图6和图7，隔空手势识别装置包括识别芯片620、红外发光二极管610和光学结构盖子630，光学结构盖子630遮罩在识别芯片620上，通过识别芯片620驱动红外发光二极管610发射出红外光线，当这些光线遇到手或者其他物体时，一部分光线被手或者物体吸收，一部分光线被反射进入光学结构内部的识别芯片620，识别芯片620能够完成光电转换、数字处理以及应用控制等操作，具体地，例如图7，识别芯片620内集成有图像采集模块710、图像处理模块720以及MCU模块730等等，图像采集模块710的输出端连接图像处理模块720的输入端，图像处理模块720的输出端连接MCU模块730的输入端，MCU模块730连接红外发光二极管610，其中，图像采集模块710包括有菱形CMOS感光阵列，图像采集模块710通过对红外发光二极管610进行脉冲调制能够方便地获取到拍摄到的手势图像，并将被拍摄到的手或者其他物体通过镜头所成的影像转化成电子图像，进而对电子图像进行信号处理得到数字信号图像帧，例如，当手势移动变化时，其移动轨迹会被记录为一组连贯的图像，可以对电子图像进行模数转换来获取这一系列的数字信号图像帧，从而图像处理模块720能够接收到这些数字信号图像帧并对这些数字信号图像帧进行分析处理，得到物体的移动方向、移动速度、移动位置以及距离深度等手势参数，其中，图像处理模块720可以包括数字微处理器DSP，通过数字微处理器DSP对移动轨迹上的一系列数字信号图像帧进行分析处理，对这些数字信号图像帧上的各个特征点的位置变化进行分析，得到物体的移动方向、移动速度、移动位置以及距离深度等手势参数，进一步地再对这些手势参数进行修正，消除由于环境干扰产生的误差，得到最终的手势参数，并将最终的手势参数输出给MCU模块730，从而能够实时检测识别手势动作，并通过MCU模块730将手势参数输出给相应的外部设备740以对相应的外部设备进行控制，这种识别方法能够方便地识别上、下、左、右、悬停、接近、远离、顺时针旋转、逆时针旋转等手势动作，实现了以隔空手势识别与控制应用的非接触式人机交互方式，去除了人机交互时的繁琐配置与复杂处理，也能够降低外部环境因素干扰，改善用户体验，提高了隔空手势识别与处理的准确度与可靠性。

参照图8至图11，在一些实施例中，手势图像包括前移操作图像、后移操作图像、左移操作图像、右移操作图像、上移操作图像、下移操作图像、拍动操作图像中的至少一种。识别芯片620通过驱动并检测红外发光二极管610遇到手或者物体时的感光图像强度变化，通过菱形CMOS感光阵列上的光敏二极管830可以检测出菱形CMOS感光阵列中的调制光的飞行时间的相移数据，得到物体的距离深度数据，当手或者物体在平行于隔空手势识别装置正上方的方向运动时，可以识别出手势移动的方向和速度，如“前移”、“后移”、“左移”、“右移”以及“手势移动的快慢”；当手或物体在垂直于隔空手势识别装置的方向运动时，可以识别出手势接近的动作状态，如“上移”、“下移”、“拍动”等动作；当手或物体移动并停留在隔空手势识别装置的上方时，手势芯片可检测出手或物体的停留状态与停留高度。这样能够方便地进行静态手势识别和动态手势识别，隔空手势识别与处理的准确度较高。

参照图2，在一些实施例中，步骤S100，包括：

S110，通过光电感应的方式获取手势图像；

S120，将手势图像成像在菱形CMOS感光阵列上，得到电子图像。

在进行隔空手势识别的过程中，通过对红外发光二极管610进行脉冲调制能够方便地获取到拍摄到的手势图像，如图11，通过采用菱形CMOS感光阵列，将菱形CMOS感光阵列所在菱形的4个顶点的CMOS作为触发CMOS810，其余的CMOS仅作为成像CMOS820，在菱形CMOS感光阵列的中心位置还设置有一光敏二极管830。当没有手或者物体靠近时，整个菱形CMOS感光阵列上的所有成像CMOS820处于关闭状态，仅4个顶点的触发CMOS810保持工作状态，当出现手或者物体靠近，产生手势动作时，4个顶点的触发CMOS810首先触发识别，进而在达到预设触发条件下触发其他成像CMOS820，从而开启整个菱形CMOS感光阵列，这样能够将手势图像方便地成像在菱形CMOS感光阵列，得到电子图像，当手势动作完成之后，仅4个顶点的触发CMOS810保持工作状态，所有成像CMOS820恢复到关闭状态，这样能够在完成手势图像获取的前提下极大地降低功耗。

在一些实施例中，步骤S200，包括：

S210，对电子图像进行模数转换，得到数字信号图像帧。

当手势移动变化时，其移动轨迹会被记录为一组连贯的图像，为了方便地对手势图像进行识别，需要将模拟信号进行数字化处理，通过对电子图像进行模数转换，将电子图像中的模拟信号进行抽样、量化、编码，能够方便地获取到与这一组连贯的图像对应的数字信号图像帧，从而通过对这一系列的数字信号图像帧的每一特征点的位置变化进行分析处理，得到手势参数，将手势参数输出给相应的外部设备，这样根据手势参数可以在外部设备上方便地识别当前的手势动作，从而进行相应的操作，这样能够提高隔空手势识别与处理的准确度与可靠性。

在一些实施例中，步骤S600之后，还包括：

S700，将手势参数输出给相应的外部设备。

在修正手势参数，消除由于环境干扰产生的误差，得到最终的手势参数之后，将手势参数输出给相应的外部设备，这样根据手势参数可以在外部设备上方便地识别当前的手势动作，从而进行相应的操作，能够方便地识别上、下、左、右、悬停、接近、远离、顺时针旋转、逆时针旋转等手势动作，实现了以隔空手势识别与控制应用的非接触式人机交互。

需要说明的是，通过这种识别方法可以识别“前移”、“后移”、“左移”、“右移”、“上移”、“下移”、“接近”、“拍动”“快速挥动”等手势感应，识别芯片通过内部分析，可输出多种控制状态，可处理为“开关”、“暂停”、“前进”、“后退”、“调光”、“上一曲”、“下一曲”、“音量加”、“音量减”、“模式切换”以及其它操作，这种识别方法可以应用于智能家居、智能穿戴、汽车电子、医疗设备、儿童教育，虚拟现实等领域，如蓝牙音箱、灯具照明、VR眼镜、智能开关、控制面板、数码产品、安防产品、便携式产品、家电产品以及其它外部设备。

参照图3，在一些实施例中，步骤S700之后，还包括：

S800，获取关机手势图像；

S900，根据关机手势图像，从工作模式切换至休眠模式。

在隔空手势识别的过程中，为了降低能耗，当没有手或者物体靠近时，获取到的手势图像为关机手势图像，隔空手势识别装置会从工作模式切换至休眠模式，识别芯片620通过调节内部的各个模块与红外发光二极管610等控制电路，降低工作电流，从而达到降低能耗的效果。

参照图4，在一些实施例中，步骤S900之后，还包括：

S910，在预定的时间周期之后，获取当前环境图像；

S920，根据当前环境图像，得到当前环境值；

S930，在相邻两个当前环境值之间的差值超过预设阈值时，从休眠模式切换至工作模式。

由于识别芯片620能够控制红外发光二极管610的开断，当切换到休眠模式时，识别芯片620会在预定的时间周期之后，控制红外发光二极管610关断，获取当前环境图像，通过当前环境图像，采集检测到环境光线的感光图像强度，即当前环境值，采集通过对当前环境值与上一时间周期采集到的当前环境值进行比较，获取每两个相邻的当前环境值的差值，当该差值超过预设阈值时，表明检测到手或者其他物体靠近，控制红外发光二极管610导通，使隔空手势识别装置从休眠状态切换到工作模式，对手势动作进行识别，需要说明的是，预定的时间周期可以根据实际情况进行设置，例如，将时间周期设置为1秒。这样能够降低能耗，同时也能够消除外界环境光线对隔空手势识别的干扰和影响，提高识别准确度。

第二方面，参照图5，本发明实施例的隔空手势识别装置包括：

获取模块510，用于获取手势图像；

转换模块520，用于将所述手势图像转换成数字信号图像帧；

第一处理模块530，用于根据所述数字信号图像帧的每一特征点的位置变化，得到手势参数；

第二处理模块540，用于获取菱形CMOS感光阵列中的调制光的飞行时间的相移数据；

第三处理模块550，用于根据所述相移数据，得到距离深度数据；

修正模块560，用于根据所述距离深度数据对所述手势参数进行修正，得到最终的手势参数。

在进行隔空手势识别的过程中，首先需要获取模块510获取手势图像，需要说明的是，可以是通过光电感应等方式获取手势图像，从而转换模块520可以将手势图像转换成数字信号图像帧，从而第一处理模块530对数字信号图像帧的每一特征点的位置变化进行分析处理，得到手势参数，需要说明的是，手势参数可以包括移动方向、移动速度、移动位置以及距离深度等等，进一步地，第二处理模块540获取菱形CMOS感光阵列中的调制光的飞行时间的相移数据，第三处理模块550将相移数据转换为距离深度数据，进一步地获取菱形CMOS感光阵列中的调制光的飞行时间的相移数据，通过相移数据转换得到距离深度数据，修正模块560再根据物体的距离深度数据分离出数字信号图像帧中的前景和背景，对信号进行处理，从而修正手势参数，消除由于环境干扰产生的误差，得到最终的手势参数，最后，将手势参数输出给相应的外部设备，这样根据手势参数可以在外部设备上方便地识别当前的手势动作，从而进行相应的操作。这种隔空手势识别装置实现了以隔空手势识别与控制应用的非接触式人机交互方式，去除了人机交互时的繁琐配置与复杂处理，也能够降低外部环境因素干扰，改善用户体验，提高了隔空手势识别与处理的准确度与可靠性。

第三方面，本发明实施例的隔空手势识别设备，包括至少一个处理器，以及与至少一个处理器通信连接的存储器；其中，存储器存储有指令，指令被至少一个处理器执行，以使至少一个处理器执行指令时实现如第一方面实施例的隔空手势识别方法。

根据本发明实施例的隔空手势识别设备，至少具有如下有益效果：这种隔空手势识别设备采用上述隔空手势识别方法，通过获取手势图像，将手势图像转换成数字信号图像帧，对数字信号图像帧的每一特征点的位置变化进行分析处理，得到手势参数，获取菱形CMOS感光阵列中的调制光的飞行时间的相移数据，将相移数据转换得到距离深度数据，从而根据距离深度数据对手势参数进行修正，得到最终的手势参数，这样能够方便地实现对手势动作的识别，消除外部环境的干扰，提高了识别准确度。

第四方面，本发明还提出一种具有上述隔空手势识别方法的计算机可读存储介质。计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行如第一方面实施例的隔空手势识别方法。

根据本发明实施例的计算机可读存储介质，至少具有如下有益效果：这种计算机可读存储介质采用上述隔空手势识别方法，通过获取手势图像，将手势图像转换成数字信号图像帧，对数字信号图像帧的每一特征点的位置变化进行分析处理，得到手势参数，获取菱形CMOS感光阵列中的调制光的飞行时间的相移数据，将相移数据转换得到距离深度数据，从而根据距离深度数据对手势参数进行修正，得到最终的手势参数，这样能够方便地实现对手势动作的识别，消除外部环境的干扰，提高了识别准确度。

上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。此外，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。