基于手势图像识别触发鼠标模式的虚拟输入方法、装置

技术领域

本发明涉及智能终端技术领域，尤其涉及的是一种基于手势图像识别触发鼠标模式的虚拟输入方法、装置、智能终端及存储介质。

背景技术

随着电子技术的发展和人们生活水平的不断提高，各种智能终端例如的智能电视的使用越来越普及，智能终端已经成为人们生活中不可缺少的娱乐工具。

当前智能电视的操控都是通过遥控器来进行控制的，由于家里一般有小孩老人，遥控器的摆放位置经常会被忘记，这个时候找遥控器操控电视就显得很麻烦吃力了。当没找到遥控器时，则不方便对智能电视的操控，不利于用户操作使用。

因此，现有技术还有待改进和发展。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于手势图像识别触发鼠标模式的虚拟输入方法、装置、智能终端及存储介质，本发明采用人工智能AI视觉点指识别技术，将用户的手势动作识别出来后，再触发转换成虚拟鼠标操作模式的方式，给电视主机发送操控键值，从而实现手势控制电视的目的，为用户的使用提供了方便。

本发明解决问题所采用的技术方案如下：

一种基于手势图像识别触发鼠标模式的虚拟输入方法，其中，包括：

获取手势图像，对获取的手势图像进行识别处理；

当识别到有与预先设置的用于触发鼠标模式的对应手势图像时，则控制智能终端进入鼠标操作模式，并控制显示屏显示虚拟光标位置；

在鼠标操作模式下，持续获取手势图像，对获取的手势图像做分析处理，输出与手势对应的坐标位置以及手势点指动作，并转换成对应的虚拟光标位置；

控制智能终端在对应的虚拟光标位置执行与所述手势点指动作对应的操作。

所述的基于手势图像识别触发鼠标模式的虚拟输入方法，其中，所述获取手势图像，对获取的手势图像进行识别处理的步骤之前包括：

预先设置用于触发鼠标模式的第一指定手势图像，并设置该第一指定手势图像与智能终端触发进入鼠标模式的操作指令建立对应关系。

所述的基于手势图像识别触发鼠标模式的虚拟输入方法，其中，所述获取手势图像，对获取的手势图像进行识别处理的步骤之前包括：

预先设置鼠标操作模式下，与鼠标左按键指令对应的第二指定手势图像；

预先设置鼠标操作模式下，与鼠标右按键指令对应的第三指定手势图像；

以及预先设置与鼠标中间滚轮按键指令对应的第四指定手势图像。

所述的基于手势图像识别触发鼠标模式的虚拟输入方法，其中，所述获取手势图像，对获取的手势图像进行识别处理的步骤包括：

通过设置在智能终端上的摄像头拍摄获取手势图像；

对拍摄获取手势图像进行识别处理，识别出当前手势图像的手指动作以及手势位移信息。

所述的基于手势图像识别触发鼠标模式的虚拟输入方法，其中，所述当识别到有与预先设置的用于触发鼠标模式的对应手势图像时，则控制智能终端进入鼠标操作模式，并控制显示屏显示虚拟光标位置的步骤包括：

获取识别出的当前手势图像的手指动作以及手势位移信息；

检测识别出的当前手势图像是否与预先设置的用于触发鼠标模式的第一指定手势图像一致；

当识别出当前手势图像与预先设置的用于触发鼠标模式的第一指定手势图像一致，则控制智能终端进入鼠标操作模式，并控制显示屏显示与当前手势图像位置对应的虚拟光标位置。

所述的基于手势图像识别触发鼠标模式的虚拟输入方法，其中，所述在鼠标操作模式下，持续获取手势图像，对获取的手势图像做分析处理，输出与手势对应的坐标位置以及手势点指动作，并转换成对应的虚拟光标位置的步骤包括：

当智能电视处于鼠标操作模式下，继续通过设置在智能终端上的摄像头拍摄获取手势图像；

对继续获取的手势图像做分析处理，识别出持续获取手势图像的手指动作以及手势位移信息；

根据识别出的手指动作以及手势位移信息，输出与手势位移信息对应的坐标位置以及手势点指动作，并转换成对应动态虚拟光标位置。

所述的基于手势图像识别触发鼠标模式的虚拟输入方法，其中，所述控制智能终端在对应的虚拟光标位置执行与所述手势点指动作对应的操作的步骤包括：

根据所述手势点指动作，识别出与所述手势点指动作对应的鼠标操作模式对应的虚拟鼠标指定按键指令；

根据所述虚拟鼠标指定按键指令，控制智能电视在对应的虚拟光标位置执行与所述虚拟鼠标指定按键指令对应的操作。

一种基于手势图像识别触发鼠标模式的虚拟输入装置，其中，所述装置包括：

手势图像获取模块，用于获取手势图像，对获取的手势图像进行识别处理；

鼠标模式启动控制模块，用于当识别到有与预先设置的用于触发鼠标模式的对应手势图像时，则控制智能终端进入鼠标操作模式，并控制显示屏显示虚拟光标位置；

鼠标模式控制模块，用于在鼠标操作模式下，持续获取手势图像，对获取的手势图像做分析处理，输出与手势对应的坐标位置以及手势点指动作，并转换成对应的虚拟光标位置；

执行控制模块，用于控制智能终端在对应的虚拟光标位置执行与所述手势点指动作对应的操作。

一种智能终端，其中，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行任意一项所述的方法。

一种非临时性计算机可读存储介质，其中，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行任意一项所述的方法。

本发明的有益效果：本发明实施例通过摄像头拍摄获取手势图像输入，内部做图片的分析处理，输出手势对应的坐标位置以及手势点指动作，即可转换成对应的虚拟光标位置，完成对电视节目的操作。本发明将拍摄获取的用户手势图像转换为虚拟鼠标操作，并生成对应虚拟鼠标操作指令实现对智能终端例如智能电视的操作控制，为用户的使用大大提供了方便。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的基于手势图像识别触发鼠标模式的虚拟输入方法的流程示意图。

图2是本发明实施例提供的基于手势图像识别触发鼠标模式的虚拟输入方法中OK手势示意图。

图3是本发明实施例提供的基于手势图像识别触发鼠标模式的虚拟输入方法实现过程原理框示意图。

图4是本发明实施例提供的基于手势图像识别触发鼠标模式的虚拟输入装置的原理框图。

图5是本发明实施例提供的智能终端的内部结构原理框图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

当前家庭电视的操控都是通过遥控器来进行的，由于家里一般有小孩老人，遥控器的摆放位置经常会被忘记，这个时候找遥控器操控电视就显得很麻烦吃力了。这是传统遥控器操控方式的痛点，而通过引入最新的人工智能AI视觉点指识别技术，就能轻松解决依赖遥控器才能操控电视的痛点难题。

为了解决现有技术的问题，本发明提供一种基于手势图像识别触发鼠标模式的虚拟输入方法，本发明采用人工智能AI视觉点指识别技术，对用户手势图像进行拍摄识别，将用户的手势动作识别出来后，再触发转换成虚拟鼠标操作方式，将用户手势模拟鼠标给电视主机发送操控指令，从而实现手势控制电视的目的。

示例性方法

如图1中所示，本发明实施例提供一种基于手势图像识别触发鼠标模式的虚拟输入方法，所述基于手势图像识别触发鼠标模式的虚拟输入方法可以应用于智能终端。在本发明实施例中，所述方法包括如下步骤：

步骤S100、获取手势图像，对获取的手势图像进行识别处理；

本发明实施例中，主要是将拍摄获取的用户手势图像转换为虚拟鼠标操作，并生成对应虚拟鼠标操作指令实现对智能终端例如智能电视的操作控制，为用户的使用大大提供了方便。

本发明实施例中在具体实施前，需要预先设置用于触发鼠标模式的第一指定手势图像，并设置该第一指定手势图像与智能终端触发进入鼠标模式的操作指令建立对应关系。例如，如图2所示，可以设置用户第一指定手势图像为“OK”手势图像，并设置该“OK”手势图像与智能终端触发进入鼠标模式的操作指令建立对应关系，用于触发鼠标模式。

并且本发明还需设置在鼠标操作模式下，与鼠标左、中、右按键指令对应的指定手势图像：

例如，预先设置鼠标操作模式下，与鼠标左按键指令对应的第二指定手势图像为食指点击动作手势图像；用户手掌第二根指头是食指。

例如，预先设置鼠标操作模式下，与鼠标右按键指令对应的第三指定手势图像为中指点击动作手势图像；位于五根手指中间的手指叫做中指。

再例如，预先设置与鼠标中间滚轮按键指令对应的第四指定手势图像可以为食指和中指同时拨动的手势图像。

这样本发明具体实施时，可以通过设置在智能终端例如智能电视上的摄像头拍摄获取手势图像；并对拍摄获取手势图像进行识别处理，识别出当前手势图像的手指动作以及手势位移信息。其中手指动作例如可以包括食指点击动作、中指点击动作，以及手指各种配合动作。手势位移信息可以是手势图像移动距离信息及方向信息。

步骤S200、当识别到有与预先设置的用于触发鼠标模式的对应手势图像时，则控制智能终端进入鼠标操作模式，并控制显示屏显示虚拟光标位置；

本发明实施例中，当识别到有与预先设置的用于触发鼠标模式的对应手势图像时，则控制智能终端进入鼠标操作模式，并控制显示屏显示虚拟光标位置。

具体地，获取识别出的当前手势图像的手指动作以及手势位移信息；并判断别出的当前手势图像是否与预先设置的用于触发鼠标模式的第一指定手势图像一致；例如如果检测当前手势图像是否与预先设置的用于触发鼠标模式的第一指定手势图像例如“OK”手势图像一致；

当识别出当前手势图像与预先设置的用于触发鼠标模式的第一指定手势图像一致，则控制智能终端进入鼠标操作模式，并控制显示屏显示与当前手势图像位置对应的虚拟光标位置。例如当检测出当前手势图像中有预先设置的用于触发鼠标模式的“OK”手势图像，如图2所示的“OK”手势图像，则控制智能终端例如智能电视进入鼠标操作模式，并控制智能电视显示屏显示与当前手势图像位置对应的虚拟光标位置。

当然，在一种实施方式中，可以采用当识别到用于触发鼠标模式的指定手势图像例如“OK”手势图像时，并保持在该用于触发鼠标模式的指定手势图像不动继续预定时间例如3秒不动，再控制智能终端例如智能电视进入鼠标操作模式，这样可以避免一些误操作，例如避免用户聊天过程中随便做了一个“OK”手势图像,而此时不想操作智能终端进入鼠标操作模式，因为指定手势图像没保持继续预定时间例如3秒不动，则不会因为误操作进入鼠标操作模式，为用户使用提供了方便。

步骤S300、在鼠标操作模式下，持续获取手势图像，对获取的手势图像做分析处理，输出与手势对应的坐标位置以及手势点指动作，并转换成对应的虚拟光标位置；

本发明通过识别到用于触发鼠标模式的指定手势图像并保持预定时间进入鼠标操作模式；在鼠标操作模式下，会持续获取手势图像，对获取的手势图像做分析处理，输出与手势对应的坐标位置以及手势点指动作，并转换成对应的虚拟光标位置。即本发明实施例中当在鼠标操作模式下，会持续保持获取手势图像的状态，

具体地，当智能电视处于鼠标操作模式下，继续通过设置在智能终端上的摄像头拍摄获取手势图像；采用人工智能AI视觉点指识别技术对继续获取的手势图像做分析处理，识别出持续获取手势图像的手指动作以及手势位移信息；其中，手指动作主要为用户手的大拇指、食指、中指，无名指和小指的动作。而手势位移信息包括整个手撑的移动距离信息和移动方向信息。

本发明实施例中，会根据识别出的手指动作以及手势位移信息，输出与手势位移信息对应的坐标位置以及手势点指动作，并转换成对应动态虚拟光标位置。例如根据对用户手势图像识别出的手势位移信息，控制显示的虚拟光标位置跟随手势位移信息进行距离和向方的变化，具体是手势位移信息的移动距离信息和移动方向信息动态控制虚拟光标的移动位置和方向。

本发明实施例中，人工智能AI视觉点指识别技术就是识别手势，然后利用手势的指尖的点位来当虚拟光标移动操作。本发明实施例的点指识别重点是对指尖点位的识别跟踪，做成虚拟光标，以实现将手势图像动作模拟鼠标操作形式。

步骤S400、控制智能终端在对应的虚拟光标位置执行与所述手势点指动作对应的操作。

本步骤接前面所述，当识别到与手势操作对应的手势点指动作，则控制智能终端在对应的虚拟光标位置执行与所述手势点指动作对应的操作。

具体地，根据所述手势点指动作，识别出与所述手势点指动作对应的鼠标操作模式对应的虚拟鼠标指定按键指令；根据所述虚拟鼠标指定按键指令，控制智能电视在对应的虚拟光标位置执行与所述虚拟鼠标指定按键指令对应的操作。其中，所述虚拟鼠标指定按键指令包括：虚拟鼠标左键按键指令，虚拟鼠标右键按键指令，虚拟鼠标滚轮按键指令。

例如，当智能终端处于鼠标操作模式下，根据所述手势点指动作，识别出与所述手势点指动作对应的鼠标操作模式对应的虚拟鼠标指定按键指令，为与鼠标左按键指令对应的第二指定手势图像为食指点击动作手势图像；例如，在鼠标操作模式下，检测到用户手掌第二根指头食指在双点击动作手势，则控制执行与虚拟鼠标左健对应的双击操作指令为打开虚拟光标所在位置的应用。

再例如，当在鼠标操作模式下，检测到与虚拟鼠标右按键指令对应的第三指定手势图像为中指点击动作手势图像；即检测到位于五根手指中间的手指中指在做点击动作，则控制智能终端例如智能电视在对应的虚拟光标位置执行与所述中指点击动作对应的操作指令为虚拟鼠标右键操作指令人，例如执行虚拟鼠标右键弹出选择框指令。

再例如，当在鼠标操作模式下，检测到与虚拟鼠标中间滚轮按键指令对应的第四指定手势图像为食指和中指同时拨动的手势图像，则控制智能电视执行与拨动虚拟鼠标中间滚轮按键指令对应上下滑动或上下翻动操作。

由上可见，如图3所示，本发明采用图像识别技术，通过摄像头对用户手势的图像/视频实时采集、智能识别进行图像转换和图片预处理，然后按照预设的指定手势图像与对应虚拟鼠标键对应关系、进行虚拟指令转换等一系列的关键技术处理，标记手势坐标位置，显示结果并转换成光标位置，并持续检测手势图像动作发送虚拟光标指令，控制电视响应指令；实现通过手势即可触发鼠标模式，发送虚拟光标和按键来操控电视的目的，为用户的使用大大提供了方便。

示例性设备

如图4中所示，本发明实施例提供一种基于手势图像识别触发鼠标模式的虚拟输入装置，该装置包括：

手势图像获取模块510，用于获取手势图像，对获取的手势图像进行识别处理；

鼠标模式启动控制模块520，用于当识别到有与预先设置的用于触发鼠标模式的对应手势图像时，则控制智能终端进入鼠标操作模式，并控制显示屏显示虚拟光标位置；

鼠标模式控制模块530，用于在鼠标操作模式下，持续获取手势图像，对获取的手势图像做分析处理，输出与手势对应的坐标位置以及手势点指动作，并转换成对应的虚拟光标位置；

执行控制模块540，用于控制智能终端在对应的虚拟光标位置执行与所述手势点指动作对应的操作，具体如上所述。

基于上述实施例，本发明还提供了一种智能终端，其原理框图可以如图5所示。该智能终端可以为智能电视包括通过系统总线连接的处理器、存储器、网络接口、显示屏、摄像头。其中，该智能终端的处理器用于提供计算和控制能力。该智能终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该智能终端的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于手势图像识别触发鼠标模式的虚拟输入方法。该智能终端的显示屏可以是液晶显示屏或者电子墨水显示屏，该智能终端的摄像头是预先在智能终端内部设置，用于拍摄获取用户手势图像。

本领域技术人员可以理解，图5中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的智能终端的限定，具体的智能终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种智能终端，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：

获取手势图像，对获取的手势图像进行识别处理；

当识别到有与预先设置的用于触发鼠标模式的对应手势图像时，则控制智能终端进入鼠标操作模式，并控制显示屏显示虚拟光标位置；

在鼠标操作模式下，持续获取手势图像，对获取的手势图像做分析处理，输出与手势对应的坐标位置以及手势点指动作，并转换成对应的虚拟光标位置；

控制智能终端在对应的虚拟光标位置执行与所述手势点指动作对应的操作。

所述的基于手势图像识别触发鼠标模式的虚拟输入方法，其中，所述获取手势图像，对获取的手势图像进行识别处理的步骤之前包括：

预先设置用于触发鼠标模式的第一指定手势图像，并设置该第一指定手势图像与智能终端触发进入鼠标模式的操作指令建立对应关系。

所述的基于手势图像识别触发鼠标模式的虚拟输入方法，其中，所述获取手势图像，对获取的手势图像进行识别处理的步骤之前包括：

预先设置鼠标操作模式下，与鼠标左按键指令对应的第二指定手势图像；

预先设置鼠标操作模式下，与鼠标右按键指令对应的第三指定手势图像；

以及预先设置与鼠标中间滚轮按键指令对应的第四指定手势图像。

其中，所述获取手势图像，对获取的手势图像进行识别处理的步骤包括：

通过设置在智能终端上的摄像头拍摄获取手势图像；

对拍摄获取手势图像进行识别处理，识别出当前手势图像的手指动作以及手势位移信息。

所述的基于手势图像识别触发鼠标模式的虚拟输入方法，其中，所述当识别到有与预先设置的用于触发鼠标模式的对应手势图像时，则控制智能终端进入鼠标操作模式，并控制显示屏显示虚拟光标位置的步骤包括：

获取识别出的当前手势图像的手指动作以及手势位移信息；

检测识别出的当前手势图像是否与预先设置的用于触发鼠标模式的第一指定手势图像一致；

当识别出当前手势图像与预先设置的用于触发鼠标模式的第一指定手势图像一致，则控制智能终端进入鼠标操作模式，并控制显示屏显示与当前手势图像位置对应的虚拟光标位置。

所述的基于手势图像识别触发鼠标模式的虚拟输入方法，其中，所述在鼠标操作模式下，持续获取手势图像，对获取的手势图像做分析处理，输出与手势对应的坐标位置以及手势点指动作，并转换成对应的虚拟光标位置的步骤包括：

当智能电视处于鼠标操作模式下，继续通过设置在智能终端上的摄像头拍摄获取手势图像；

对继续获取的手势图像做分析处理，识别出持续获取手势图像的手指动作以及手势位移信息；

根据识别出的手指动作以及手势位移信息，输出与手势位移信息对应的坐标位置以及手势点指动作，并转换成对应动态虚拟光标位置。

所述的基于手势图像识别触发鼠标模式的虚拟输入方法，其中，所述控制智能终端在对应的虚拟光标位置执行与所述手势点指动作对应的操作的步骤包括：

根据所述手势点指动作，识别出与所述手势点指动作对应的鼠标操作模式对应的虚拟鼠标指定按键指令；

根据所述虚拟鼠标指定按键指令，控制智能电视在对应的虚拟光标位置执行与所述虚拟鼠标指定按键指令对应的操作。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

综上所述，本发明公开了一种基于手势图像识别触发鼠标模式的虚拟输入方法、装置、智能终端及存储介质，所述方法包括：获取手势图像，对获取的手势图像进行识别处理；当识别到有与预先设置的用于触发鼠标模式的对应手势图像时，则控制智能终端进入鼠标操作模式，并控制显示屏显示虚拟光标位置；在鼠标操作模式下，持续获取手势图像，对获取的手势图像做分析处理，输出与手势对应的坐标位置以及手势点指动作，并转换成对应的虚拟光标位置；控制智能终端在对应的虚拟光标位置执行与所述手势点指动作对应的操作。本发明实施例通过摄像头拍摄获取手势图像输入，内部做图片的分析处理，输出手势对应的坐标位置以及手势点指动作，即可转换成对应的虚拟光标位置，完成对电视节目的操作。本发明将拍摄获取的用户手势图像转换为虚拟鼠标操作，并生成对应虚拟鼠标操作指令实现对智能终端例如智能电视的操作控制，为用户的使用大大提供了方便。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。