掌桥专利:专业的专利平台
掌桥专利
首页

手势识别方法、装置、终端和计算机可读存储介质

文献发布时间:2023-06-19 12:13:22


手势识别方法、装置、终端和计算机可读存储介质

技术领域

本申请涉及计算机技术领域,特别是涉及一种手势识别方法、装置、终端和计算机可读存储介质。

背景技术

随着计算机技术的发展,终端的功能越来越多样化。例如,用户在观看视频时,可以通过手势调整视频界面的大小和音量的高低等。然而,传统的手势识别方法,一般是通过带有多个传感器的机器设备,例如智能手套,直接检测手部各关节的角度和空间位置,以识别用户手势。但可识别手势的穿戴设备容易因穿戴不到位的问题导致手势识别不准确。

发明内容

本申请实施例提供了一种手势识别方法、装置、终端、计算机可读存储介质,可以识别用户手势,操作简单便利。

一种手势识别方法,包括:

接收手的各部位对应的毫米波反射信号,所述手的各部位对应的毫米波反射信号是毫米波发射信号经过手的各部位反射后形成的;

根据所述手的各部位对应的毫米波反射信号确定所述手的各部位在平面上的投影;

确定所述手的各部位对应的毫米波反射信号的强度,并根据所述毫米波反射信号的强度确定所述手的各部位的相对位置;

根据所述手的各部位在平面的投影和所述手的各部位的相对位置,确定手势识别结果。

一种手势识别装置,包括:

接收模块,用于接收手的各部位对应的毫米波反射信号,所述手的各部位对应的毫米波反射信号是毫米波发射信号经过手的各部位反射后形成的;

投影模块,用于根据所述手的各部位对应的毫米波反射信号确定所述手的各部位在平面上的投影;

确定模块,用于确定所述手的各部位对应的毫米波反射信号的强度,并根据所述毫米波反射信号的强度确定所述手的各部位的相对位置;

识别模块,用于根据所述手的各部位在平面的投影和所述手的各部位的相对位置,识别出所述手的各部位所形成的手势。

一种终端,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如下步骤:

接收手的各部位对应的毫米波反射信号,所述手的各部位对应的毫米波反射信号是毫米波发射信号经过手的各部位反射后形成的;

根据所述手的各部位对应的毫米波反射信号确定所述手的各部位在平面上的投影;

确定所述手的各部位对应的毫米波反射信号的强度,并根据所述毫米波反射信号的强度确定所述手的各部位的相对位置;

根据所述手的各部位在平面的投影和所述手的各部位的相对位置,确定手势识别结果。

一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:

接收手的各部位对应的毫米波反射信号,所述手的各部位对应的毫米波反射信号是毫米波发射信号经过手的各部位反射后形成的;

根据所述手的各部位对应的毫米波反射信号确定所述手的各部位在平面上的投影;

确定所述手的各部位对应的毫米波反射信号的强度,并根据所述毫米波反射信号的强度确定所述手的各部位的相对位置;

根据所述手的各部位在平面的投影和所述手的各部位的相对位置,确定手势识别结果。

上述手势识别方法,通过接收手的各部位对应的毫米波反射信号,该手的各部位对应的毫米波反射信号是毫米波发射信号经过手的各部位反射后形成的,根据手的各部位对应的毫米波反射信号确定手的各部位在平面上的投影,确定手的各部位对应的毫米波反射信号的强度,并根据毫米波反射信号的强度确定手的各部位的相对位置,根据手的各部位在平面的投影和手的各部位的相对位置,确定手势识别结果,从而准确识别用户的手势。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为一个实施例中手势识别方法的应用环境图;

图2为一个实施例中手势识别方法的流程图;

图3为一个实施例中确定手势识别结果的步骤的流程图;

图4为另一个实施例中手势识别的流程图;

图5为一个实施例中手势识别装置的结构框图;

图6为一个实施例中终端的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

图1为一个实施例中手势识别方法的应用环境示意图。如图1所示,该应用环境包括终端110和用户的手部120。当用户触发开启基于毫米波反射的手势识别功能时,终端110基于该触发操作开启该功能。接着,终端110通过毫米波发射单元向用户的手部120发射毫米波信号。进一步地,终端110通过毫米波发射单元向用户的手部120的各个部位发射毫米波信号。毫米波发射信号经过手的各部位时形成毫米波反射信号。

接着,终端110通过毫米波接收单元接收用户手部120的各部位对应的毫米波反射信号,终端110根据该手的各部位对应的毫米波反射信号确定该手的各部位在平面上的投影。终端110检测该手的各部位对应的毫米波反射信号的强度,并根据该毫米波反射信号的强度确定该手的各部位的相对位置。接着,终端110根据该手的各部位在平面的投影和该手的各部位的相对位置,确定用户手部120的手势识别结果。终端110具体可以是台式终端或移动终端,移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种。将该手势识别方法直接应用在台式终端或移动终端上,无需依赖专门的手势识别穿戴设备,例如智能手套等,操作简单便利。也能够避免因设备穿戴不到位导致手势识别不准确的问题。并且,将该手势识别方法直接应用在终端上还能够降低手势识别的成本。

在一个实施例中,如图1所示,提供了一种手势识别方法,本实施例以该方法应用于终端进行举例说明,可以理解的是,该方法还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。

图2为一个实施例中手势识别方法的流程图。本实施例中的手势识别方法,以运行于图1中的终端110上为例进行描述。如图2所示,手势识别方法包括步骤202至步骤208。

步骤202,接收手的各部位对应的毫米波反射信号,该手的各部位对应的毫米波反射信号是毫米波发射信号经过手的各部位反射后形成的。

其中,手的各部位包括但不限于手指、手掌、手肘、手指关节,手肘关节等。

具体地,当用户触发开启终端上的基于毫米波反射的手势识别功能时,终端基于用户的触发操作开启该功能。接着,终端通过毫米波发射单元向用户的手部发射毫米波信号。进一步地,终端通过毫米波发射单元向用户的手的各部位发射毫米波信号。毫米波发射信号经过手的各部位时形成毫米波反射信号。接着,终端通过毫米波接收单元接收手的各部位对应的毫米波反射信号。

在本实施例中,终端向用户的手的各个部位发射预设频率的毫米波信号。

步骤204,根据手的各部位对应的毫米波反射信号确定手的各部位在平面上的投影。

其中,投影是把三维物体投射到平面上,转化为二维平面上的图像。

具体地,终端可根据毫米波接收单元是否接收到手的各部位反射的毫米波反射信号,根据毫米波反射信号的有无确定手的各部位在平面上的投影。

步骤206,确定手的各部位对应的毫米波反射信号的强度,并根据毫米波反射信号的强度确定手的各部位的相对位置。

其中,毫米波反射信号的强度用于表示接收到的毫米波反射信号的强弱。手的各部位的相对位置可以是手的各部位相对于同一个预设参考点之间的位置,也可以是手的一个部位作为参考点部位,该手的其余部位相对于该参考点部位的位置,还可以是手的各部位两两之间的相对位置。

例如,手的各部位分别为A、B、C、D和E,F点为预设参考点,F点不属于手的部位。A、B、C、D、E之间的相对位置可以是A、B、C、D、E相对于F点的位置。也可以从A、B、C、D、E中选择任意一个作为参考点部位,如A点,则手的各部位的相对位置是指B、C、D、E相对于A的位置。还可以是A相对于B的位置,B相对于C的位置,C相对于D的位置;A相对于B、C的位置,B相对于C、D的位置等等。

具体地,终端的毫米波接收单元接收到的手的各部位对应的毫米波反射信号后,终端可检测手的各部位对应的毫米波反射信号的强度。手的各部位与终端相距的距离不同,接收到的毫米波反射信号的强度也不同。终端可根据手的各部位对应的毫米波反射信号的强度确定手的各个部位的相对位置。

在本实施例中,终端可根据手的各部位对应的毫米波反射信号的强度确定手的各部位相对于预设参考点之间的距离。根据手的各部位相对于预设参考点之间的距离确定手的各部位的相对位置。

在本实施例中,终端可将手的各部位对应的毫米波反射信号的强度与预设强度进行对比,根据对比结果确定手的各部位相对于预设参考点之间的距离。

步骤208,根据手的各部位在平面的投影和手的各部位的相对位置,确定手势识别结果。

具体地,终端根据手的各部位在平面上的投影构建二维坐标系,从而得到手的各部位所组成的二维模型。接着,在二维模型的基础上,终端增加手的各部位的相对位置,从而得到手的各部位的所组成的三维模型。接着,终端根据手的各部位所组成的三维模型识别出用户的手势,得到手势识别结果。

本实施例中,通过接收手的各部位对应的毫米波反射信号,手的各部位对应的毫米波反射信号是毫米波发射信号经过手的各部位反射后形成的,根据手的各部位对应的毫米波反射信号确定手的各部位在平面上的投影,从而得到用户手势的平面特征信息。确定手的各部位对应的毫米波反射信号的强度,并根据毫米波反射信号的强度确定手的各部位的相对位置,从而得到用户手势的立体特征信息。根据手的各部位在平面的投影和手的各部位的相对位置,确定手势识别结果,从而能够平面特征信息和立体特征信息准确识别用户手势,且无需依赖专门的手势识别穿戴设备,操作简单便利,节省手势识别的成本。

在一个实施例中,该根据该毫米波反射信号的强度确定该手的各部位的相对位置,包括:

根据该手的各部位对应的毫米波反射信号的强度确定该手的各部位相对于预设参考点之间的距离;根据该手的各部位相对于预设参考点之间的距离确定该手的各部位的相对位置。

其中,预设参考点可以是预先设置的参考位置,也可以是用户任意选择的一个参考点。该预设参考点可以是与手的各部位无关的任一参考点,例如,将该终端作为预设参考点。该预设参考点也可以是从手的各部位中选择的参考点部位。

具体地,终端检测出手的各部位对应的毫米波反射信号的强度后,终端可根据手的各部位对应的毫米波反射信号的强度计算出手的各部位相对于预设参考点之间的距离。进一步地,终端可获取预设参考点对应的信号强度,将手的各部位对应的毫米波反射信号的强度和预设参考点对应的信号强度进行对比,根据对比结果确定手的各部位与预设参考点之间的距离。

在本实施例中,将手的各部位对应的毫米波反射信号的强度和预设参考点对应的信号强度进行对比,根据对比结果确定手的各部位与预设参考点之间的距离,具体包括:终端可计算手的各部位对应的毫米波反射信号的强度和预设参考点对应的信号强度之间的强度变化值,得到该手的各部位对应的强度变化值。该强度变化值可以是毫米波反射信号的强度和预设参考点对应的信号强度之间的差值或比值。接着,终端根据手的各部位对应的强度变化值确定手的各部位和预设参考点之间的距离。不同的强度变化值对应不同的距离,该距离为手的各部位与预设参考点之间的距离。

接着,终端根据该手的各部位相对于预设参考点之间的距离即可确定手的各部位的相对位置。可以理解的是,手的各部位的相对位置指的是空间位置,而非手的各部位在平面上的位置。

进一步地,终端可根据手的各部位相对于预设参考点之间的距离确定手的各部位相对于预设参考点之间的位置。例如,终端的位置为预设参考点,则终端根据手的各部位相对于终端之间的距离确定手的各部位相对于终端的位置。可在手的各部位中选择一个参考点部位,终端也可以根据手的各部位相对于终端之间的距离确定手的其他部位相对于该参考点部位的位置。

在本实施例中,根据该手的各部位对应的毫米波反射信号的强度确定该手的各部位相对于预设参考点之间的距离,根据该手的各部位相对于预设参考点之间的距离确定该手的各部位的相对位置,从而能够根据手的各部位毫米波反射信号的强度准确计算出手的各部位的相对位置。

在一个实施例中,该根据该手的各部位对应的毫米波反射信号的强度确定该手的各部位相对于预设参考点之间的距离,包括:

获取毫米波反射信号的强度和距离之间的映射关系;根据该映射关系确定该手的各部位对应的毫米波反射信号的强度分别对应的距离,该距离为该手的各部位相对于预设参考点之间的距离。

其中,映射关系是指毫米波反射信号的强度和距离之间的对应关系。例如,强度为5的毫米波反射信号对应1.5米的距离,强度为3的毫米波反射信号对应3米的距离等。

具体地,终端预先设置了毫米波反射信号的强度和距离之间的映射关系。当终端检测出手的各部位对应的毫米波反射信号的强度后,可获取该毫米波反射信号的强度和距离之间的映射关系。该距离是指手的各部位相对于同一预设参考点之间的距离,例如手的各部位相对于终端之间的距离。毫米波反射信号越强,手的部位和预设参考点之间的距离越近;毫米波反射信号越弱,手的部位和预设参考点之间的距离越远。接着,终端从该映射关系中获取手的各部位对应的毫米波反射信号的强度分别对应的距离,从而得到手的各部位相对于预设参考点之间的距离。

本实施例中,通过获取毫米波反射信号的强度和距离之间的映射关系,能够根据该映射关系快速准确地确定该手的各部位对应的毫米波反射信号的强度分别对应的距离,从而快速准确得出手的各部位相对于预设参考点之间的距离。

在一个实施例中,该根据该毫米波反射信号的强度确定该手的各部位的相对位置,包括:将该手的各部位对应的毫米波反射信号的强度和预设强度进行比较;根据该手的各部位对应的毫米波反射信号的强度和预设强度的比较结果确定该手的各部位的相对位置。

其中,预设强度是指毫米波反射信号的强度。

具体地,终端预先设置了毫米波反射信号的强度。终端检测出手的各部位对应的毫米波反射信号的强度后,终端可获取预设强度。接着,终端将手的各部位对应的毫米波反射信号的强度分别与该预设强度进行比较,得到手的各部位分别对应的比较结果。该比较结果可以是手的各部位对应的毫米波反射信号的强度和预设强度的强度变化值。

接着,终端可根据手的各部位对应的强度变化值确定手的各部位的相对位置。例如,手的各部位A、B、C、D对应的强度变化值为a、b、c、d,则终端可根据A和B对应的强度变化值的比值确定A和B之间的相对位置,即A在B位置的a/b处位置,或者B在A位置的b/a处。

本实施例中,将该手的各部位对应的毫米波反射信号的强度和预设强度进行比较,根据该手的各部位对应的毫米波反射信号的强度和预设强度的比较结果确定该手的各部位的相对位置,从而能够直接根据手的各部位对应的毫米波反射信号的强度准确确定手的各部位的相对位置,提供了多种确定手的各部位的相对位置的可行方式,满足不同情况的需求。

在一个实施例中,该根据该手的各部位对应的毫米波反射信号的强度和预设强度的比较结果确定该手的各部位的相对位置,包括:根据该手的各部位对应的毫米波反射信号的强度和预设强度的强度变化值,得到该手的各部位分别对应的强度变化值;根据该手的各部位分别对应的强度变化值确定该手的各部位的相对位置。

其中,强度变化值为毫米波反射信号的强度和预设强度之间的变化量,该强度变化值可以是毫米波反射信号的强度和预设强度之间的差值。

具体地,终端检测出手的各部位对应的毫米波反射信号的强度后,终端可获取预设强度。接着,终端可计算该手的各部位对应的毫米波反射信号的强度和预设强度之间的强度变化值。进一步地,终端可计算该手的各部位对应的毫米波反射信号的强度和预设强度之间的差值,该差值的绝对值作为强度变化值,从而得到手的各部位对应的强度变化值。

接着,终端从手的各部位中选择一个部位作为参考点部位。终端根据该参考点部位对应的强度变化值和该手的其余部位分别对应的强度变化值确定该手的其余部位相对于该参考点部位的相对位置。进一步地,终端可根据该手的其余部位分别对应的强度变化值和该参考点部位对应的强度变化值和之间的比值,确定该手的其余部位相对于该参考点部位的位置。

在本实施例中,终端可根据该手的各部位对应的强度变化值确定该手的其各部位两两之间的相对位置。进一步地,终端可从手的各部位选择两个部位,并获取这两个部位对应的强度变化值,并确定这两个强度变化值的比值,根据根据该比值得到这两个部位的相对位置。例如,根据部位A和部位B对应的强度变化值为a、b,根据a、b的比值确定A和B之间的相对位置,即A在B位置的a/b处位置,或者B在A位置的b/a处。

本实施例中,根据该手的各部位对应的毫米波反射信号的强度和预设强度的强度变化值,得到该手的各部位分别对应的强度变化值,根据该手的各部位分别对应的强度变化值准确确定该手的各部位的相对位置,从而能够在无法获得手的各部位与终端之间的距离的情况下,仍然能够确定手的各部位的相对位置,能够满足不同情况下的测量,从而准确识别用户手势。

在一个实施例中,如图3所示,在根据手的各部位对应的毫米波反射信号确定手的各部位在平面上的投影之后,还包括:

步骤302,根据手的各部位在平面上的投影构建二维坐标系。

步骤304,确定手的各部位在二维坐标系中的二维坐标。

具体地,终端根据手的各部位对应的毫米波反射信号确定手的各部位在平面上的投影后,可确定一个原点以构建二维坐标系,例如,以终端所在的位置作为原点构建二维坐标系。接着,终端可根据所构建的二维坐标系确定手的各个部位在该二维坐标系中的二维坐标。

在本实施例中,终端可以选择平面上的手的各部位中的任一部位作为原点,并建立二维坐标系。并确定该投影到平面上的手的其余部位在该二维坐标系中的二维坐标。

该根据手的各部位在平面的投影和手的各部位的相对位置,确定手势识别结果,包括:

步骤306,根据手的各部位的二维坐标和手的各部位的相对位置,确定手的各部位的三维坐标。

具体地,终端确定手的各部位的二维坐标后,将该二维坐标系转换为三维坐标系,该二维坐标系和三维坐标系的原点、x轴和y轴与该二维坐标系的原点、x轴和y轴均相同。

具体地,当二维坐标系的原点为手的各部位中的一个部位时,该部位x轴、y轴和z轴的坐标均为0。则终端获取手的各部位的相对位置,根据该手的各部位的相对位置能够确定手的各部位的z轴坐标。再根据手的各部位的二维坐标和手的各部位的z轴坐标,得到手的各部位的三维坐标。

步骤308,基于手的各部位的三维坐标识别出手的各部位所形成的手势。

具体地,终端基于手的各部位的三维坐标将手的各部位进行关联,从而构建手部的三维模型,根据该手部的三维模型识别该手的各部位所形成的手势。

本实施例中,根据手的各部位在平面上的投影构建二维坐标系,确定手的各部位在二维坐标系中的二维坐标,从而确定手的各部位的平面特征信息。根据手的各部位的二维坐标和手的各部位的相对位置,确定手的各部位的三维坐标,基于手的各部位的三维坐标识别出手的各部位所形成的手势,使得结合手的各部位的平面特征信息和立体特征信息识别用户手势,使得识别更准确。

在一个实施例中,该方法还包括:

获取预设次数的手势识别结果;基于该预设次数的手势识别结果确定该手的各部位所形成的手势。

具体地,终端可每隔预设时间接收毫米波反射信号,并根据每次接收得到毫米波反射信号识别用户手势,得到每次对应的手势识别结果。接着,终端可获取预设次数的手势识别结果,确定预设次数的手势识别结果对应的手势的时间顺序。接着,终端各个时间的手势识别结果,判断用户意图,从而得到更准确的用户手势。

本实施例中,获取预设次数的手势识别结果,基于该预设次数的手势识别结果确定该手的各部位所形成的手势,能够更准确识别用户的手势。

在一个实施例中,该方法还包括:基于所识别的手势调整视频会话窗口的尺寸。

具体地,该手势识别方法可应用在视频会话上。用户在终端发起视频会话前或视频会话后,可触发手势识别功能。在视频会话过程中,终端的毫米波发射单元可按照一定频率发射毫米波信号,并通过毫米波接收单元接收用户的手的各部位反射的毫米波反射信号。接着,终端基于该手势识别方法识别出用户的手势,得到手势识别结果。接着,终端可获取预设手势,不同的预设手势对应不同的视频会话窗口尺寸的调整操作。终端将手势识别结果与预设手势进行对比,确定与该手势识别结果相同的预设手势,并获取该相同的预设手势对应的调整操作。按照该调整操作调整视频会话窗口的尺寸。

例如,预设手势A对应的调整操作为放大视频会话窗口,预设手势B对应的调整操作为缩小视频会话窗口。当手势识别结果与预设手势A相同时,终端增大该视频会话窗口的尺寸。当手势识别结果与预设手势B相同时,终端缩小该视频会话窗口的尺寸。

本实施例中,将该手势识别方法可应用在视频会话上,基于所识别的手势调整视频会话窗口的尺寸,能够使用户在不接触视频会话窗口的情况下增大或缩小视频会话窗口的尺寸,扩展了视频会话窗口的功能,提高了视频会话窗口使用的便利性,更能满足用户需求。

可以理解的是,该手势识别方法还可应用于视频、音乐的音量调节、视频观看过程中屏幕的尺寸的调整等,但不限于此。

如图4所示,为一个实施例中手势识别方法的流程图。步骤402,当用户触发开启终端上的基于毫米波反射的手势识别功能时,终端基于用户的触发操作开启毫米波功能。接着,执行步骤404,终端通过毫米波发射单元向用户的手部发射毫米波信号。进一步地,终端通过毫米波发射单元向用户的手的各部位发射毫米波信号。毫米波发射信号经过手的各部位时形成毫米波反射信号。接着,执行步骤406,即终端通过毫米波接收单元接收手的各部位对应的毫米波反射信号。接着,执行步骤408,终端根据手的各部位对应的毫米波反射信号确定手的各部位在平面上的投影,以获取手的各部位的平面特征信息。执行步骤410,确定手的各部位对应的毫米波反射信号的强度,并根据毫米波反射信号的强度确定手的各部位的相对位置,以获取手的各部位的立体特征信息。接着,执行步骤412,基于手的各部位的平面特征信息和立体特征信息构建手的各部位所组成的立体模型。接着,执行步骤414,基于该手的各部位所组成的立体模型输出手势识别结果,从而准确识别出用户的手势。

在一个实施例中,终端可通过该手势识别方法构建手势识别模型。毫米波设备对训练样本手部发射一定强度和频率的毫米波信号,并接收毫米波反射信号。当毫米波反射信号的强度低于强度设定值时,将该位置的毫米波信号设置为0,当接收到的毫米波反射信号的强度超过强度设定值则认为该区域存在手的部位。根据接收到的毫米波反射信号的有无确定手的各部位在平面上的投影,从而得到手的各部位的平面特征信息。

在本实施例中,毫米波设备可以对手的同一部位发射多种频率的毫米波信号,得到不同的毫米波反射信号,并对不同频率的毫米波反射信号进行分析,以确定该同一部位相对于毫米波设备之间的距离。进一步地,终端可根据每次接收到的毫米波反射信号确定该同一部位相对于毫米波设备之间的距离,并根据多次距离取平均,最终确定该同一部位对应的相对于毫米波设备之间的距离,从而得到手的各部位的立体特征信息。

在本实施例中,终端可先使用红外设备对训练样本手部发射红外信号,并根据所接收到的红外反射信号确定手部的大体轮廓。接着,再对训练样本手部的各部位发射毫米波信号,根据接收到的毫米波反射信号准确确定手的各部位,从而能够将红外信号和毫米波信号结合,以完善手势识别模型。

根据手的各部位的平面特征信息和立体特征信息构建该训练样本手部的三维模型,即待训练的手势识别模型。接着,终端使用测试样本手部和对应的标签对待训练的手势识别模型进行训练。该标签为测试样本手部的手势。当该手势识别模型对测试样本手部的识别结果与对应的标签相同时,完成对手势识别模型的训练。并将该手势识别模型安装在终端上,基于该手势识别模型对用户手势进行识别,得到手势识别结果。通过训练好的手势识别模型对用户进行手势识别,能够快速准确识别用户手势。将该手势识别模型安装在终端,无需依赖专门的手势识别设备,节省成本,携带方便,并且能够随时使用,提供极大地便利性。

在一个实施例中,提供了一种手势识别方法,该方法包括:

终端接收手的各部位对应的毫米波反射信号,手的各部位对应的毫米波反射信号是毫米波发射信号经过手的各部位反射后形成的。

接着,终端根据手的各部位对应的毫米波反射信号确定手的各部位在平面上的投影。

接着,终端根据手的各部位在平面上的投影构建二维坐标系;确定手的各部位在二维坐标系中的二维坐标。

进一步地,终端确定手的各部位对应的毫米波反射信号的强度,获取毫米波反射信号的强度和距离之间的映射关系。

接着,终端根据映射关系确定手的各部位对应的毫米波反射信号的强度分别对应的距离,该距离为手的各部位相对于预设参考点之间的距离。

接着,终端根据手的各部位相对于预设参考点之间的距离确定手的各部位的相对位置。

进一步地,终端根据手的各部位的二维坐标和手的各部位的相对位置,确定手的各部位的三维坐标;

进一步地,终端基于手的各部位的三维坐标识别出手的各部位所形成的手势。

接着,终端获取预设次数的手势识别结果;基于预设次数的手势识别结果确定手的各部位所形成的手势。

进一步地,终端基于所识别的手势调整视频会话窗口的尺寸。

本实施例中,终端根据手的各部位对应的毫米波反射信号确定手的各部位在平面上的投影,根据手的各部位在平面上的投影构建二维坐标系,并确定手的各部位在二维坐标系中的二维坐标,从而确定手的各部位的平面特征信息。

接着,根据手的各部位对应的毫米波反射信号的强度快速准确得出手的各部位的相对位置。根据手的各部位的二维坐标和手的各部位的相对位置,确定手的各部位的三维坐标,,从而得到用户手势的立体特征信息。基于手的各部位的三维坐标识别出手的各部位所形成的手势,从而能够平面特征信息和立体特征信息准确识别用户手势,且无需依赖专门的手势识别穿戴设备,操作简单便利,节省手势识别的成本。

接着,根据多次手势识别结果确定用户的最终意图,并基于所识别的手势调整视频会话窗口的尺寸,能够使用户在不接触视频会话窗口的情况下调整尺寸,增加了便利性。

应该理解的是,虽然图2-图4的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-图4中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图5为一个实施例的手势识别装置的结构框图。如图5所示,该手势识别装置包括:

接收模块502,用于接收手的各部位对应的毫米波反射信号,所述手的各部位对应的毫米波反射信号是毫米波发射信号经过手的各部位反射后形成的。

投影模块504,用于根据所述手的各部位对应的毫米波反射信号确定所述手的各部位在平面上的投影。

确定模块506,用于确定所述手的各部位对应的毫米波反射信号的强度,并根据所述毫米波反射信号的强度确定所述手的各部位的相对位置。

识别模块508,用于根据所述手的各部位在平面的投影和所述手的各部位的相对位置,识别出所述手的各部位所形成的手势。

本实施例中,通过接收手的各部位对应的毫米波反射信号,手的各部位对应的毫米波反射信号是毫米波发射信号经过手的各部位反射后形成的,根据手的各部位对应的毫米波反射信号确定手的各部位在平面上的投影,从而得到用户手势的平面特征信息。确定手的各部位对应的毫米波反射信号的强度,并根据毫米波反射信号的强度确定手的各部位的相对位置,从而得到用户手势的立体特征信息。根据手的各部位在平面的投影和手的各部位的相对位置,确定手势识别结果,从而能够平面特征信息和立体特征信息准确识别用户手势,且无需依赖专门的手势识别穿戴设备,操作简单便利,节省手势识别的成本。

在一个实施例中,该确定模块506还用于:根据该手的各部位对应的毫米波反射信号的强度确定该手的各部位相对于预设参考点之间的距离;根据该手的各部位相对于预设参考点之间的距离确定该手的各部位的相对位置。

在本实施例中,根据该手的各部位对应的毫米波反射信号的强度确定该手的各部位相对于预设参考点之间的距离,根据该手的各部位相对于预设参考点之间的距离确定该手的各部位的相对位置,从而能够根据手的各部位毫米波反射信号的强度准确计算出手的各部位的相对位置。

在一个实施例中,该确定模块506还用于:获取毫米波反射信号的强度和距离之间的映射关系;根据该映射关系确定该手的各部位对应的毫米波反射信号的强度分别对应的距离,该距离为该手的各部位相对于预设参考点之间的距离。

本实施例中,通过获取毫米波反射信号的强度和距离之间的映射关系,能够根据该映射关系快速准确地确定该手的各部位对应的毫米波反射信号的强度分别对应的距离,从而快速准确得出手的各部位相对于预设参考点之间的距离。

在一个实施例中,该确定模块506还用于:将该手的各部位对应的毫米波反射信号的强度和预设强度进行比较;根据该手的各部位对应的毫米波反射信号的强度和预设强度的比较结果确定该手的各部位的相对位置。

本实施例中,将该手的各部位对应的毫米波反射信号的强度和预设强度进行比较,根据该手的各部位对应的毫米波反射信号的强度和预设强度的比较结果确定该手的各部位的相对位置,从而能够直接根据手的各部位对应的毫米波反射信号的强度准确确定手的各部位的相对位置,提供了多种确定手的各部位的相对位置的可行方式,满足不同情况的需求。

在一个实施例中,该确定模块506还用于:根据该手的各部位对应的毫米波反射信号的强度和预设强度的强度变化值,得到该手的各部位分别对应的强度变化值;根据该手的各部位分别对应的强度变化值确定该手的各部位的相对位置。

本实施例中,根据该手的各部位对应的毫米波反射信号的强度和预设强度的强度变化值,得到该手的各部位分别对应的强度变化值,根据该手的各部位分别对应的强度变化值准确确定该手的各部位的相对位置,从而能够在无法获得手的各部位与终端之间的距离的情况下,仍然能够确定手的各部位的相对位置,能够满足不同情况下的测量,从而准确识别用户手势。

在一个实施例中,该装置还包括:构建模块。该构建模块用于:根据该手的各部位在平面上的投影构建二维坐标系;确定该手的各部位在该二维坐标系中的二维坐标。

该识别模块508还用于:根据该手的各部位的二维坐标和该手的各部位的相对位置,确定该手的各部位的三维坐标;基于该手的各部位的三维坐标识别出该手的各部位所形成的手势。

本实施例中,根据手的各部位在平面上的投影构建二维坐标系,确定手的各部位在二维坐标系中的二维坐标,从而确定手的各部位的平面特征信息。根据手的各部位的二维坐标和手的各部位的相对位置,确定手的各部位的三维坐标,基于手的各部位的三维坐标识别出手的各部位所形成的手势,使得结合手的各部位的平面特征信息和立体特征信息识别用户手势,使得识别更准确。

在一个实施例中,该识别模块508还用于:获取预设次数的手势识别结果;基于该预设次数的手势识别结果确定该手的各部位所形成的手势。

本实施例中,获取预设次数的手势识别结果,基于该预设次数的手势识别结果确定该手的各部位所形成的手势,能够更准确识别用户的手势。

在一个实施例中,该手势识别装置还包括:调整模块。该调整模块用于:基于所识别的手势调整视频会话窗口的尺寸。

本实施例中,将该手势识别方法可应用在视频会话上,基于所识别的手势调整视频会话窗口的尺寸,能够使用户在不接触视频会话窗口的情况下增大或缩小视频会话窗口的尺寸,扩展了视频会话窗口的功能,提高了视频会话窗口使用的便利性,更能满足用户需求。

上述手势识别装置中各个模块的划分仅用于举例说明,在其他实施例中,可将手势识别装置按照需要划分为不同的模块,以完成上述手势识别装置的全部或部分功能。

关于手势识别装置的具体限定可以参见上文中对于手势识别方法的限定,在此不再赘述。上述手势识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。

图6为一个实施例中终端的内部结构示意图。如图6所示,该终端包括通过系统总线连接的处理器和存储器。其中,该处理器用于提供计算和控制能力,支撑整个终端的运行。在本实施例中,该处理器接收手的各部位对应的毫米波反射信号、根据手的各部位对应的毫米波反射信号确定手的各部位在平面上的投影、确定手的各部位对应的毫米波反射信号的强度,并根据毫米波反射信号的强度确定手的各部位的相对位置、根据手的各部位在平面的投影和手的各部位的相对位置,确定手势识别结果。存储器可包括非易失性存储介质及内存储器。在本实施例中,存储器存储手势识别过程中产生的所有数据,例如毫米波反射信号的强度数据、预设强度数据、手的各部位在平面的投影、手的各部位的相对位置,手的各部位的二维坐标和三维坐标等。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行,以用于实现以下各个实施例所提供的一种手势识别方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。

本申请实施例中提供的手势识别装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端的存储器上。该计算机程序被处理器执行时,实现本申请实施例中所描述方法的步骤。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行手势识别方法的步骤。

一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行手势识别方法。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

相关技术
  • 手势识别方法、装置、终端设备及计算机可读存储介质
  • 手势识别方法、装置、计算机可读存储介质及终端设备
技术分类

06120113213297