掌桥专利:专业的专利平台
掌桥专利
首页

设备控制方法、装置、电子设备及存储介质

文献发布时间:2023-06-19 13:49:36


设备控制方法、装置、电子设备及存储介质

技术领域

本公开涉及图像处理技术领域,具体而言,涉及一种设备控制方法、装置、电子设备及存储介质。

背景技术

人机交互技术是指通过计算机输入、输出设备,以有效的方式实现人与计算机对话的技术。随着科学技术的不断发展,人们对人机交互的水平和质量提出了新的需求。其中,由于手势具有直观性、自然性等的特点,使得手势已成为人机信息交互的一种重要手段。因此,基于计算机视觉的手势识别成为了人机交互领域的研究重点。

一般的,可以通过对用户手势进行识别,得到手势识别结果;再基于手势识别结果,实现对设备的控制;但是上述方式中,可能会因为用户的一些动作而导致误识别,从而在用户实质上没有对设备进行控制的情况下,造成设备的误触发。

发明内容

有鉴于此,本公开至少提供一种设备控制方法、装置、电子设备及存储介质,以解决因动作误识别而导致的设备误触发的技术问题。

第一方面,本公开提供了一种设备控制方法,包括:

获取目标用户的手部图像,所述目标用户为对目标设备进行控制的用户;

对所述手部图像进行手部属性检测,确定所述目标用户的手部属性信息;

响应于根据所述手部属性信息确定手势类别识别有效,根据所述手部图像对应的目标手势类别,控制所述目标设备。

上述方法中,通过对获取的手部图像进行手部属性检测,确定目标用户的手部属性信息,利用手部属性信息能够较准确的判断目标用户是否存在控制目标设备的意图,若存在则确定手势类别识别有效;在根据手部属性信息确定手势类别识别有效时,可以根据目标手势类别控制目标设备。可见,控制目标设备的一个必要的前提是手势类别识别有效,这就意味着,手势类别识别有效后才会控制目标设备,从而降低无效手势类别情况下控制目标设备的几率,进而解决了因动作误识别而导致的设备误触发的技术问题。

一种可能的实施方式中,所述手部属性信息包括如下至少一项:

指示是否手持物品的第一手部属性信息;

指示掌心朝向的第二手部属性信息。

这里,通过设置至少一项手部属性信息,提高了手部属性信息的多样性,以便能够基于手部属性信息,较准确和较灵活的确定目标用户是否存在控制目标设备的意图。

一种可能的实施方式中,所述响应于根据所述手部属性信息确定手势类别识别有效,根据所述手部图像对应的目标手势类别,控制所述目标设备,包括:

在确定所述手势类别识别有效的情况下,对所述手部图像进行手势类别识别,得到所述目标手势类别,并根据所述目标手势类别,控制所述目标设备执行与所述目标手势类别对应的操作。

这里,在确定手势类别识别有效时,对手部图像进行手势类别识别,得到目标手势类别;在确定手势类别识别无效时,可以不对手部图像进行手势类别识别,避免造成计算资源的浪费。

一种可能的实施方式中,在所述确定所述目标用户的手部属性信息之后,还包括:

对所述手部图像进行手势类别识别,得到所述手部图像对应的目标手势类别。

这里,可以在确定目标用户的手部属性信息之后,对手部图像进行手势类别识别,减小了手势类别识别的逻辑复杂度,可以较简便的确定手部图像对应的手势类别识别。

一种可能的实施方式中,在所述手部属性信息包括指示是否手持物品的第一手部属性指示的情况下,所述根据所述手部属性信息确定手势类别识别有效,包括:

在所述第一手部属性信息指示所述目标用户的手部未持有物体的情况下,确定手势类别识别有效。

考虑到在用户手部持有物品时,用户执行手势动作不方便,此时用户利用手势控制目标设备的意图较低。故在第一手部属性信息指示目标用户的手部未持有物体时,确定手势类别识别有效,提高了根据手部属性信息确定手势类别识别有效的准确度。

一种可能的实施方式中,在所述手部属性信息包括指示掌心朝向的第二手部属性信息的情况下,所述根据所述手部属性信息确定手势类别识别有效,包括:

在所述第二手部属性信息指示所述目标用户的掌心朝向所述目标设备的情况下,确定手势类别识别有效。

考虑到目标用户在利用手势对目标设备进行控制时,目标用户的掌心一般会朝向目标设备,故在第二手部属性信息指示目标用户的掌心朝向目标设备时,确定手势类别识别有效,提高了根据手部属性信息确定手势类别识别有效的准确度。

一种可能的实施方式中,在所述手部属性信息包括第一手部属性信息,且不包括第二手部属性信息的情况下,所述方法还包括:

在确定所述手势类别识别有效的情况下,基于所述手部图像,确定所述目标用户的掌心朝向;

基于确定的所述掌心朝向,控制所述目标设备执行与所述掌心朝向对应的操作。

上述实施方式中,可以基于手部图像确定目标用户的掌心朝向,利用掌心朝向,控制目标设备执行与所述掌心朝向对应的操作,提高了控制目标设备执行功能操作的灵活性和多样性。

一种可能的实施方式中,根据所述手部图像对应的目标手势类别,控制所述目标设备,包括:

基于所述目标手势类别、和设置的不同手势类别与操作功能的对应关系,控制所述目标设备执行与所述目标手势类别对应的所述目标操作。

这里,通过设置不同手势类别与操作功能之间的对应关系,根据目标手势类别和该对应关系,能够较为简便和较为灵活的控制目标设备执行与目标手势类别对应的目标操作。

一种可能的实施方式中,所述控制所述目标设备,包括如下至少一项:

调整所述目标设备的音量;

调整所述目标设备的工作模式,所述工作模式包括关闭或开启所述目标设备的至少部分功能;

在所述目标设备的显示界面中显示移动标识,或调整所述显示界面中所述移动标识的显示位置;

所述显示界面中至少部分显示内容的缩小或放大;

所述显示界面的滑动或跳转。

这里,可以对目标设备的多种操作进行控制,提高了目标设备控制操作的多样性,实现了对目标设备的灵活控制。

以下装置、电子设备等的效果描述参见上述方法的说明,这里不再赘述。

第二方面,本公开提供了一种设备控制装置,包括:

获取模块,用于获取目标用户的手部图像,所述目标用户为对目标设备进行控制的用户;

检测模块,用于对所述手部图像进行手部属性检测,确定所述目标用户的手部属性信息;

控制模块,用于响应于根据所述手部属性信息确定手势类别识别有效,根据所述手部图像对应的目标手势类别,控制所述目标设备。

一种可能的实施方式中,所述手部属性信息包括如下至少一项:

指示是否手持物品的第一手部属性信息;

指示掌心朝向的第二手部属性信息。

一种可能的实施方式中,所述控制模块,还用于:

在确定所述手势类别识别有效的情况下,对所述手部图像进行手势类别识别,得到所述目标手势类别,并根据所述目标手势类别,控制所述目标设备执行与所述目标手势类别对应的操作。

一种可能的实施方式中,设备控制装置还包括识别模块,用于在所述确定所述目标用户的手部属性信息之后,对所述手部图像进行手势类别识别,得到所述手部图像对应的目标手势类别。

一种可能的实施方式中,在所述手部属性信息包括指示是否手持物品的第一手部属性指示的情况下,在根据所述手部属性信息确定手势类别识别有效时,所述控制模块,还用于在所述第一手部属性信息指示所述目标用户的手部未持有物体的情况下,确定手势类别识别有效。

一种可能的实施方式中,在所述手部属性信息包括指示掌心朝向的第二手部属性信息的情况下,在根据所述手部属性信息确定手势类别识别有效时,所述控制模块,还用于在所述第二手部属性信息指示所述目标用户的掌心朝向所述目标设备的情况下,确定手势类别识别有效。

一种可能的实施方式中,设备控制装置还包括确定模块。在所述手部属性信息包括第一手部属性信息,且不包括第二手部属性信息的情况下,确定模块,用于在确定所述手势类别识别有效的情况下,基于所述手部图像,确定所述目标用户的掌心朝向;并基于确定的所述掌心朝向,控制所述目标设备执行与所述掌心朝向对应的操作。

一种可能的实施方式中,在根据所述手部图像对应的目标手势类别,控制所述目标设备时,所述控制模块,还用于基于所述目标手势类别、和设置的不同手势类别与操作功能的对应关系,控制所述目标设备执行与所述目标手势类别对应的所述目标操作。

一种可能的实施方式中,所述控制模块,在控制所述目标设备时,用于实现如下至少一项操作:

调整所述目标设备的音量;

调整所述目标设备的工作模式,所述工作模式包括关闭或开启所述目标设备的至少部分功能;

在所述目标设备的显示界面中显示移动标识,或调整所述显示界面中所述移动标识的显示位置;

所述显示界面中至少部分显示内容的缩小或放大;

所述显示界面的滑动或跳转。

第三方面,本公开提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如上述第一方面或任一实施方式所述的设备控制方法的步骤。

第四方面,本公开提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如上述第一方面或任一实施方式所述的设备控制方法的步骤。

为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种设备控制方法的流程示意图;

图2示出了本公开实施例所提供的一种设备控制装置的架构示意图;

图3示出了本公开实施例所提供的一种电子设备的结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。

一般的,可以通过对用户手势进行识别,得到手势识别结果;再基于手势识别结果,实现对设备的控制;但是上述方式中,可能会因为用户的一些动作而导致误识别,从而在用户实质上没有对设备进行控制的情况下,造成设备的误触发。为了缓解上述问题,本公开实施例提供了一种设备控制方法、装置、电子设备及存储介质。

针对以上方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案,都应该是发明人在本公开过程中对本公开做出的贡献。

应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。

为便于对本公开实施例进行理解,首先对本公开实施例所公开的一种设备控制方法进行详细介绍。本公开实施例所提供的设备控制方法的执行主体一般为具有一定计算能力的计算机设备,该计算机设备例如包括:终端设备或服务器或其它处理设备,终端设备可以为用户设备(User Equipment,UE)、移动设备、用户终端、个人数字助理(PersonalDigital Assistant,PDA)、车载设备、可穿戴设备等。在一些可能的实现方式中,该设备控制方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

参见图1所示,为本公开实施例所提供的设备控制方法的流程示意图,该方法包括S101-S103,其中:

S101,获取目标用户的手部图像,所述目标用户为对目标设备进行控制的用户;

S102,对所述手部图像进行手部属性检测,确定所述目标用户的手部属性信息;

S103,响应于根据所述手部属性信息确定手势类别识别有效,根据所述手部图像对应的目标手势类别,控制所述目标设备。

上述方法中,通过对获取的手部图像进行手部属性检测,确定目标用户的手部属性信息,利用手部属性信息能够较准确的判断目标用户是否存在控制目标设备的意图,若存在则确定手势类别识别有效;在根据手部属性信息确定手势类别识别有效时,可以根据目标手势类别控制目标设备。可见,控制目标设备的一个必要的前提是手势类别识别有效,这就意味着,手势类别识别有效后才会控制目标设备,从而降低无效手势类别情况下控制目标设备的几率,进而解决了因动作误识别而导致的设备误触发的技术问题。

下述对S101-S103进行具体说明。

针对S101:

实施时,可以使用图像采集设备采集目标用户的手部图像,图像采集设备可以设置在目标设备附近的一定范围内,或者,图像采集设备也可以为目标设备上自带的摄像头等,以便图像采集设备能够采集到对目标设备进行控制的目标用户的手部图像。比如,目标设备可以为电视,目标用户位于目标设备的正前方,图像采集设备可以设置在电视的顶部中心位置,在图像采集设备采集到目标用户的手部图像后,执行主体可以从图像采集设备上获取目标用户的手部图像。

针对S102:

可以利用训练得到的用于进行手部属性检测的第一神经网络,对手部图像进行手部属性检测,得到目标用户的手部属性信息。第一神经网络的网络结构可以根据实际情况进行设置。其中,所述手部属性信息可以包括如下至少一项:指示是否手持物品的第一手部属性信息;指示掌心朝向的第二手部属性信息。

这里,通过设置至少一项手部属性信息,提高了手部属性信息的多样性,以便能够基于手部属性信息,较准确和较灵活的确定目标用户是否存在控制目标设备的意图。

比如,第一手部属性信息可以包括:手持物品、未持物品。第二手部属性信息包括的掌心朝向可以根据需要进行设置,比如,以目标用户脸部为基准,掌心朝向可以包括:前向(即与脸部朝向一直的方向)、后向(即与脸部朝向相反的方向)、左向、右向等。或者,掌心朝向可以包括:朝向目标设备的目标方向(在应用场景中,目标方向可以与脸部朝向一直)和除目标方向之外的其他方向。

针对S103:

在得到手部属性信息之后,可以根据目标用户的手部属性信息,确定手势类别识别是否有效,在确定手势类别识别有效后,根据手部图像对应的目标手势类别,控制目标设备。

一种可选实施方式中,在所述手部属性信息包括指示是否手持物品的第一手部属性指示的情况下,所述根据所述手部属性信息确定手势类别识别有效,包括:在所述第一手部属性信息指示所述目标用户的手部未持有物体的情况下,确定手势类别识别有效。

实施时,在第一手部属性信息指示目标用户的手部未持有物体时,确定目标用户对目标设备进行控制的意图较高,故可以确定手势类别识别有效;在第一手部属性信息指示目标用户的手部持有物体时,确定目标用户对目标设备进行控制的意图较低,故可以确定手势类别识别无效。

考虑到在用户手部持有物品时,用户执行手势动作不方便或是用户所执行的被视为手势动作的操作往往是为了使用手部持有物品,此时用户利用手势控制目标设备的意图较低。比如,用户手持手机、水杯等,在该场景下,用户易产生肢体动作,而所产生的肢体动作所连带的手势往往是为了接听电话、饮水等,即通常不是对目标设备进行控制,因此可忽略这类手势所可能引发的控制操作。故在第一手部属性信息指示目标用户的手部未持有物体时,确定手势类别识别有效,提高了根据手部属性信息确定手势类别识别有效的准确度。

一种可选实施方式中,在所述手部属性信息包括指示掌心朝向的第二手部属性信息的情况下,所述根据所述手部属性信息确定手势类别识别有效,包括:在所述第二手部属性信息指示所述目标用户的掌心朝向所述目标设备的情况下,确定手势类别识别有效。

考虑到目标用户在利用手势对目标设备进行控制时,目标用户的掌心一般会朝向目标设备,故在第二手部属性信息指示目标用户的掌心朝向目标设备时,确定手势类别识别有效;在第二手部属性信息指示目标用户的掌心未朝向目标设备时,确定手势类别识别无效。通过上述过程,提高了根据手部属性信息确定手势类别识别有效的准确度,以便后续步骤能够对目标设备进行较为精准的控制。

一种实施方式中,所述响应于根据所述手部属性信息确定手势类别识别有效,根据所述手部图像对应的目标手势类别,控制所述目标设备,包括:在确定所述手势类别识别有效的情况下,对所述手部图像进行手势类别识别,得到所述目标手势类别,并根据所述目标手势类别,控制所述目标设备执行与所述目标手势类别对应的操作。

实施时,可以在确定手势类别识别有效时,利用训练得到的用于进行手势识别的第二神经网络,对手部图像进行手势类别识别,得到目标用户对应的目标手势类别;进而可以根据目标手势类别,控制目标设备执行与目标手势类别对应的操作。比如,若目标手势类别为比心手势,比心手势对应的操作为重启操作,则控制目标设备执行重启操作。

本实施方式中,在确定手势类别识别有效后,对手部图像进行手势类别识别,得到目标手势类别;在确定手势类别识别无效时,可以不对手部图像进行手势类别识别,避免造成计算资源的浪费。

另一种实施方式中,还可以在所述确定所述目标用户的手部属性信息之后,对所述手部图像进行手势类别识别,得到所述手部图像对应的目标手势类别。

实施时,可以利用训练得到的用于进行手势识别的第二神经网络,对手部图像进行手势类别识别,得到目标用户对应的目标手势类别。在得到目标手势类别之后,若根据手部属性信息确定手势类别识别有效时,根据手部图像对应的目标手势类别,控制目标设备;若根据手部属性信息确定手势类别识别无效时,则将目标手势类别筛掉,无需利用目标手势类别对目标设备进行控制。

这里,可以在确定目标用户的手部属性信息之后,对手部图像进行手势类别识别,减小了手势类别识别的逻辑复杂度,可以较简便的确定手部图像对应的手势类别识别。

一种可选实施方式中,在所述手部属性信息包括第一手部属性信息,且不包括第二手部属性信息的情况下,所述方法还包括:

步骤一、在确定所述手势类别识别有效的情况下,基于所述手部图像,确定所述目标用户的掌心朝向;

步骤二、基于确定的所述掌心朝向,控制所述目标设备执行与所述掌心朝向对应的操作。

在确定目标用户的手部属性之后,在确定手势类别识别有效时,可以利用训练得到的用于进行掌心朝向检测的第三神经网络,对手部图像进行检测,确定目标用户的掌心朝向;利用确定的掌心朝向,控制目标设备执行与掌心朝向对应的操作。比如,在目标设备为电视时,若掌心朝向为前方(即朝向目标设备的方向),前方对应的操作为暂停操作时,则控制电视暂停播放显示内容;若掌心朝向为后方,后方对应的操作为开始操作时,则控制电视开始播放显示内容。

实施时,还可以基于确定的掌心朝向和目标手势类别,控制目标设备执行与掌心朝向和目标手势类别均匹配的操作。其中,与掌心朝向和目标手势类别匹配的操作可以根据需要进行设置。比如,针对五指张开手势,在掌心朝向为朝向目标设备的第一方向时,该手势对应的操作可以为开启目标设备;在掌心朝向为背离目标设备的第二方向时,该手势对应的操作可以为关闭目标设备。针对比耶手势,在掌心朝向为朝向目标设备的第一方向时,该手势对应的操作可以为播放视频;在掌心朝向为背离目标设备的第二方向时,该手势对应的操作可以为暂停视频等等。进而,若检测到目标手势类别为比耶手势,掌心朝向为第一方向时,可以控制目标设备执行播放视频操作。

上述实施方式中,可以基于手部图像确定目标用户的掌心朝向,利用掌心朝向,控制目标设备执行与所述掌心朝向对应的操作,提高了控制目标设备执行功能操作的灵活性和多样性。

一种可选实施方式中,根据所述手部图像对应的目标手势类别,控制所述目标设备,包括:基于所述目标手势类别、和设置的不同手势类别与操作功能的对应关系,控制所述目标设备执行与所述目标手势类别对应的所述目标操作。

可以为每种手势类别设置对应的操作功能,得到不同手势类别与操作功能之间的对应关系。在可以基于目标手势类别、和不同手势类别与操作功能的对应关系,控制目标设备执行与目标手势类别对应的目标操作。比如,若设置竖食指手势对应的操作功能为调节目标设备的音量,则可以基于竖食指手势(即目标手势类别),控制目标设备执行调节音量操作,具体的,可以根据竖食指手势在连续帧图像中的位置变化信息,控制目标设备执行调节音量操作。

这里,通过设置不同手势类别与操作功能之间的对应关系,根据目标手势类别和该对应关系,能够较为简便和较为灵活的控制目标设备执行与目标手势类别对应的目标操作。

其中,所述控制所述目标设备,包括如下至少一项:调整所述目标设备的音量;调整所述目标设备的工作模式,所述工作模式包括关闭或开启所述目标设备的至少部分功能;在所述目标设备的显示界面中显示移动标识,或调整所述显示界面中所述移动标识的显示位置;所述显示界面中至少部分显示内容的缩小或放大;所述显示界面的滑动或跳转。

这里,可以对目标设备的多种操作进行控制,提高了目标设备控制操作的多样性,实现了对目标设备的灵活控制。

对调整目标设备的音量进行示例性说明:在检测到目标手势类别与调整目标设备的音量对应的第一预设手势相同时,则确定目标用户触发了调整目标设备的音量的功能,并确定做出目标手势类别的目标手部在连续帧手部图像中的当前位置信息;基于目标手部在连续帧手部图像中的当前位置信息,确定目标手部的移动方向和移动距离;根据目标手部的移动方向和移动距离,确定对目标设备进行音量放大操作或音量减小操作,以及确定放大后的音量值或减小后的音量值。比如,若检测到目标手部从下往上移动,表征对目标设备进行音量放大操作,并可以根据从下往上时的移动距离和当前音量,确定放大后的音量值;若检测到目标手部从上往下移动,表征对目标设备进行音量减小操作,并可以根据从上往下时的移动距离和当前音量值,确定减小后的音量值。

对调整目标设备的工作模式进行示例性说明。在检测到目标手势类别与调整目标设备的工作模式对应的第二预设手势相同时,则可以确定目标手部触发了调整目标设备的工作模式的功能,可以将目标设备的工作模式调整为预设模式。比如,可以开启目标设备的视频播放功能,将目标设备的工作模式调整为视频播放模式;或者,可以关闭目标设备的视频播放功能,将目标设备的工作模式调整为界面展示模式等。

对在目标设备的显示界面中显示移动标识进行示例性说明。在检测到目标手势类别与显示移动标识对应的第三预设手势相同时,则可以确定目标手部在手部图像中的当前位置信息,并基于手部图像的第一尺寸与目标设备的显示界面的第二尺寸之间的对应关系、以及目标手部在手部图像中的当前位置信息,确定移动标识在显示界面上的显示位置信息;控制目标设备在显示位置信息对应的位置处展示移动标识。其中,移动标识可以为移动光标,移动光标的形状可以根据需要进行设置,比如,移动光标的形状可以为手掌形状、箭头形状等。

在调整显示界面中移动标识的显示位置时,可以确定目标手部在每帧手部图像中的当前位置信息,根据当前位置信息在连续帧手部图像中的位置变化信息,调整显示界面中移动标识的显示位置。

对显示界面中至少部分显示内容的缩小或放大进行示例性说明。在检测到目标手势类别与对部分显示内容进行缩小操作或放大操作对应的第四预设手势相同时:一种方式中,可以确定目标手部在每帧手部图像中的当前位置信息,根据目标手部在连续帧手部图像中的当前位置信息,确定目标手部的移动方向和移动距离;根据目标手部的移动方向和移动距离,确定对目标设备进行内容放大操作以及确定放大比例,或者,确定对目标设备进行内容缩小操作以及缩小比例。按照确定的放大比例对显示界面中部分显示内容进行放大;或者,按照确定的缩小比例对显示界面中部分显示内容进行缩小。

在检测到目标手势类别与对部分显示内容进行缩小操作或放大操作对应的第四预设手势相同时:另一种方式中,可以基于手部图像,确定目标手部中多个手指之间的直线距离;比如,若第四预设手势为两指捏合手势(拇指与食指捏合),可以基于手部图像确定拇指与食指之间的直线距离;根据直线距离的增加确定对目标设备进行内容放大操作,以及根据直线距离的增加长度确定放大比例,或者,根据直线距离的减小确定对目标设备进行内容缩小操作,以及根据直线距离的减小长度确定缩小比例。按照确定的放大比例对显示界面中部分显示内容进行放大;或者,按照确定的缩小比例对显示界面中部分显示内容进行缩小。

对显示界面的滑动进行示例性说明。在检测到目标手势类别与滑动操作对应的第五预设手势相同时,则可以确定做出目标手势类别的目标手部在每帧手部图像中的当前位置信息;基于目标手部在连续帧手部图像中的当前位置信息,确定目标手部的移动方向;根据目标手部的移动方向,确定对目标设备的显示界面进行滑动操作。比如,在移动方向为向左移动时,可以对显示界面进行左滑操作,并控制显示界面展示左滑操作后对应的显示内容;在移动方向为向右移动时,可以对显示界面进行右滑操作,并控制显示界面展示右滑操作后对应的显示内容。

对显示界面的跳转进行示例性说明。在检测到目标手势类别与滑动操作对应的第六预设手势相同时,则可以对显示界面进行跳转操作,控制显示界面展示跳转操作对应的预设展示内容。或者,也可以确定目标手部在手部图像中的当前位置信息;根据当前位置信息、和手部图像的第一尺寸与目标设备的显示界面的第二尺寸之间的对应关系,确定目标手部在显示界面上的触发位置、以及确定触发位置对应的跳转展示内容;对显示界面进行跳转操作,并控制显示界面展示跳转操作对应的跳转展示内容。

本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于相同的构思,本公开实施例还提供了一种设备控制装置,参见图2所示,为本公开实施例提供的设备控制装置的架构示意图,包括获取模块201、检测模块202、控制模块203,具体的:

获取模块201,用于获取目标用户的手部图像,所述目标用户为对所述目标设备进行控制的用户;

检测模块202,用于对所述手部图像进行手部属性检测,确定所述目标用户的手部属性信息;

控制模块203,用于响应于根据所述手部属性信息确定手势类别识别有效,根据所述手部图像对应的目标手势类别,控制所述目标设备。

一种可能的实施方式中,所述手部属性信息包括如下至少一项:

指示是否手持物品的第一手部属性信息;

指示掌心朝向的第二手部属性信息。

一种可能的实施方式中,所述控制模块203,还用于:

在确定所述手势类别识别有效的情况下,对所述手部图像进行手势类别识别,得到所述目标手势类别,并根据所述目标手势类别,控制所述目标设备执行与所述目标手势类别对应的操作。

一种可能的实施方式中,设备控制装置还包括识别模块204,用于在所述确定所述目标用户的手部属性信息之后,对所述手部图像进行手势类别识别,得到所述手部图像对应的目标手势类别。

一种可能的实施方式中,在所述手部属性信息包括指示是否手持物品的第一手部属性指示的情况下,在根据所述手部属性信息确定手势类别识别有效时,所述控制模块203,还用于:在所述第一手部属性信息指示所述目标用户的手部未持有物体的情况下,确定手势类别识别有效。

一种可能的实施方式中,在所述手部属性信息包括指示掌心朝向的第二手部属性信息的情况下,在根据所述手部属性信息确定手势类别识别有效时,所述控制模块203,还用于:在所述第二手部属性信息指示所述目标用户的掌心朝向所述目标设备的情况下,确定手势类别识别有效。

一种可能的实施方式中,设备控制装置还包括确定模块205。在所述手部属性信息包括第一手部属性信息,且不包括第二手部属性信息的情况下,所述确定模块205,用于在确定所述手势类别识别有效的情况下,基于所述手部图像,确定所述目标用户的掌心朝向;并基于确定的所述掌心朝向,控制所述目标设备执行与所述掌心朝向对应的操作。

一种可能的实施方式中,在根据所述手部图像对应的目标手势类别,控制所述目标设备时,所述控制模块203,还用于基于所述目标手势类别、和设置的不同手势类别与操作功能的对应关系,控制所述目标设备执行与所述目标手势类别对应的所述目标操作。

一种可能的实施方式中,所述控制模块203,在控制所述目标设备时,用于实现如下至少一项操作:

调整所述目标设备的音量;

调整所述目标设备的工作模式,所述工作模式包括关闭或开启所述目标设备的至少部分功能;

在所述目标设备的显示界面中显示移动标识,或调整所述显示界面中所述移动标识的显示位置;

所述显示界面中至少部分显示内容的缩小或放大;

所述显示界面的滑动或跳转。

在一些实施例中,本公开实施例提供的装置具有的功能或包含的模板可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。

基于同一技术构思,本公开实施例还提供了一种电子设备。参照图3所示,为本公开实施例提供的电子设备的结构示意图,包括处理器301、存储器302、和总线303。其中,存储器302用于存储执行指令,包括内存3021和外部存储器3022;这里的内存3021也称内存储器,用于暂时存放处理器301中的运算数据,以及与硬盘等外部存储器3022交换的数据,处理器301通过内存3021与外部存储器3022进行数据交换,当电子设备300运行时,处理器301与存储器302之间通过总线303通信,使得处理器301在执行以下指令:

获取目标用户的手部图像,所述目标用户为对目标设备进行控制的用户;

对所述手部图像进行手部属性检测,确定所述目标用户的手部属性信息;

响应于根据所述手部属性信息确定手势类别识别有效,根据所述手部图像对应的目标手势类别,控制所述目标设备。

其中,处理器301的具体处理流程可以参照上述方法实施例的记载,这里不再赘述。

此外,本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的设备控制方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品,该计算机程序产品承载有程序代码,所述程序代码包括的指令可用于执行上述方法实施例中所述的设备控制方法的步骤,具体可参见上述方法实施例,在此不再赘述。

其中,上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应以权利要求的保护范围为准。

相关技术
  • 电子设备、电子设备的控制方法及存储有控制电子设备的控制部所执行的程序的存储介质
  • 分体式电子设备的控制方法、装置、存储介质及电子设备
技术分类

06120113823162