掌桥专利:专业的专利平台
掌桥专利
首页

人体姿态检测方法及电子设备、计算机可读存储介质

文献发布时间:2023-06-19 11:39:06


人体姿态检测方法及电子设备、计算机可读存储介质

技术领域

本申请涉及计算机技术领域,具体涉及一种人体姿态检测方法及电子设备、计算机可读存储介质。

背景技术

实践中发现,用户在使用电子设备(如手机、平板电脑等)时,很容易忽视应该以科学的姿态使用平板,不时会出现低头、歪头等不良人体姿态。对于儿童来说,儿童的身体还在生长发育的过程中,长期处于不良人体姿态的话,会影响骨骼发育,不利于成长。因此,如何保证用户更加健康、正确地使用电子设备成为了行业亟需解决的问题。

发明内容

本申请实施例公开一种人体姿态检测方法及电子设备、计算机可读存储介质,能够准确检测人体姿态,并对危险人体姿态进行提示,从而保证用户更加健康、正确地使用电子设备。

本申请实施例第一方面公开一种人体姿态检测方法,包括:

获取电子设备在第一预设时长内的位姿信息;

根据所述位姿信息,从预设人体姿态检测模式中确定目标人体姿态检测模式;

根据所述目标人体姿态检测模式,提取通过摄像头采集到的第一面部图像中与所述目标人体姿态检测模式对应的图像特征,并根据所述图像特征确定人体姿态;

若所述人体姿态为危险人体姿态,则输出用于指示用户进行人体姿态调整的提示信息。

作为一种可选的实施方式,在本申请实施例第一方面中,所述预设人体姿态检测模式包括低头检测模式和歪头检测模式,所述危险人体姿态包括低头姿态或歪头姿态;所述根据所述位姿信息,从预设人体姿态检测模式中确定目标人体姿态检测模式,包括:

在所述位姿信息指示所述电子设备在所述第一预设时长内发生位姿变化时,确定所述低头检测模式为目标人体姿态检测模式;

在所述位姿信息指示所述电子设备在所述第一预设时长内未发生位姿变化时,确定所述歪头检测模式为目标人体姿态检测模式。

作为一种可选的实施方式,在本申请实施例第一方面中,所述若所述人体姿态为危险人体姿态,则输出用于指示用户进行人体姿态调整的提示信息,包括:

若所述人体姿态为危险人体姿态,则确定所述危险人体姿态对应的危险等级;

在与所述危险等级匹配的第二预设时长内,通过摄像头采集连续的多张第二面部图像;

在根据所述连续的多张第二面部图像确定所述人体姿态持续为所述危险人体姿态时,输出用于指示用户进行人体姿态调整的提示信息。

作为一种可选的实施方式,在本申请实施例第一方面中,在所述目标人体姿态检测模式为所述低头检测模式时,所述危险人体姿态包括低头姿态;所述根据所述目标人体姿态检测模式,提取通过摄像头采集到的第一面部图像中与所述目标人体姿态检测模式对应的图像特征,并根据所述图像特征确定人体姿态,包括:

从通过摄像头采集到的第一面部图像中,提取用户的眼部特征;

根据所述眼部特征确定用户视线方向,并计算所述用户视线方向与水平方向之间的第一夹角;

在所述第一夹角大于第一夹角阈值时,确定所述人体姿态为所述低头姿态;

所述确定所述危险人体姿态对应的危险等级,包括:

根据所述第一夹角,确定所述危险人体姿态对应的危险等级。

作为一种可选的实施方式,在本申请实施例第一方面中,在所述目标人体姿态检测模式为所述歪头检测模式时,所述危险人体姿态包括歪头姿态;所述根据所述目标人体姿态检测模式,提取通过摄像头采集到的第一面部图像中与所述目标人体姿态检测模式对应的图像特征,并根据所述图像特征确定人体姿态,包括:

从通过摄像头采集到的第一面部图像中定位脸部特征点,并根据所述脸部特征点确定第一矩形区域;其中,所述第一矩形区域用于表征所述第一面部图像中的人脸区域;

将所述第一矩形区域的任一长边作为第一边界,并将所述第一面部图像的中间矩形区域的任一长边作为第二边界;其中,所述中间矩形区域的长边平行于所述第一面部图像的长边,所述中间矩形区域的短边平行于所述第一面部图像的短边;

获取所述第一边界和所述第二边界之间的第二夹角;

在所述第二夹角大于第二夹角阈值时,确定所述人体姿态为所述歪头姿态;

其中,所述确定所述危险人体姿态对应的危险等级,包括:

根据所述第二夹角,确定所述危险人体姿态对应的危险等级。

作为一种可选的实施方式,在本申请实施例第一方面中,所述输出用于指示用户进行人体姿态调整的提示信息之后,所述方法还包括:

获取用户信息,所述用户信息包括年龄信息、性别信息以及爱好信息中的至少一种;

根据所述危险等级和所述用户信息,从预设的包括锻炼指导信息的多个多媒体资源中,确定目标多媒体资源;

播放所述目标多媒体资源。

作为一种可选的实施方式,在本申请实施例第一方面中,所述方法还包括:

若所述人体姿态为健康人体姿态,则在第三预设时长之后,再控制摄像头采集第一面部图像,并执行所述提取通过摄像头采集到的第一面部图像中与所述目标人体姿态检测模式对应的图像特征,并根据所述图像特征确定人体姿态的步骤,直至满足预设的人体姿态终止检测条件。

本申请实施例第二方面公开一种电子设备,包括:

获取单元,用于获取电子设备在第一预设时长内的位姿信息;

确定单元,用于根据所述位姿信息,从预设人体姿态检测模式中确定目标人体姿态检测模式;

处理单元,用于根据所述目标人体姿态检测模式,提取通过摄像头采集到的第一面部图像中与所述目标人体姿态检测模式对应的图像特征,并根据所述图像特征确定人体姿态;

输出单元,用于若所述人体姿态为危险人体姿态,则输出用于指示用户进行人体姿态调整的提示信息。

本申请实施例第三方面公开一种可穿戴设备,包括:

存储有可执行程序代码的存储器;

与所述存储器耦合的处理器;

所述处理器调用所述存储器中存储的所述可执行程序代码,执行本申请第一方面的任意一种方法的部分或全部步骤。

本申请实施例第四方面公开一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现本申请第一方面的任意一种方法的部分或全部步骤。

本申请实施例第五面公开一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。

本申请实施例第六方面公开一种应用发布系统,所述应用发布系统用于发布计算机程序产品,其中,当所述计算机程序产品在计算机上运行时,使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。

与现有技术相比,本申请实施例具有以下有益效果:

实施本申请实施例,获取电子设备在第一预设时长内的位姿信息,并根据该位姿信息,从预设人体姿态检测模式中确定目标人体姿态检测模式,然后根据目标人体姿态检测模式,提取通过摄像头采集到的第一面部图像中与目标人体姿态检测模式对应的图像特征,并根据图像特征确定人体姿态,最后在人体姿态为危险人体姿态时,输出用于指示用户进行人体姿态调整的提示信息。通过实施该方法,一方面,电子设备可以根据其位姿信息,先从电子设备的预设人体姿态检测模式中确定出有效的人体姿态检测模式,然后以有效的人体姿态检测模式对用户进行人体姿态检测,实现对人体姿态的准确检测。另一方面,在检测到人体姿态为危险人体姿态时,电子设备还可以进行人体姿态调整提示。可见,通过实施该方法,可以保证用户更加健康、正确地使用电子设备。

附图说明

为了更清楚地说明本申请实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造率劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本申请实施例公开的一种人体姿态检测方法的场景示意图;

图2是本申请实施例公开的一种人体姿态检测方法的流程示意图;

图3是本申请实施例公开的另一种人体姿态检测方法的流程示意图;

图3A是本申请实施例公开的一种第一夹角的示意图;

图3B是本申请实施例公开的一种第二夹角的示意图;

图4是本申请实施例公开的一种电子设备的结构示意图;

图5是本申请实施例公开的另一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

需要说明的是,本申请实施例及附图中的术语“包括”“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请实施例公开一种人体姿态检测方法及电子设备、计算机可读存储介质,能够保证用户更加健康、正确地使用电子设备。

要说明的是,本申请实施例的执行主体可以是电子设备,可以理解的是,电子设备可以包括一般的手持有屏电子终端设备,诸如手机、智能电话、便携式终端、终端、个人数字助理(Personal Digital Assistant,PDA)、便携式多媒体播放器(Personal MediaPlayer,PMP)装置、笔记本电脑、笔记本(Note Pad)、无线宽带(Wireless Broadband,Wibro)终端、平板电脑(Personal Computer,PC)、智能PC、销售终端(Point of Sales,POS)和车载电脑等。

电子设备也可以包括可穿戴设备。可穿戴设备可以直接穿戴在用户身上,或是整合到用户的衣服或配件的一种便携式电子设备。可穿戴设备不仅仅是一种硬件设备,更可以通过软件支持以及数据交互、云端交互来实现强大的智能功能,比如:计算功能、定位功能、报警功能,同时还可以连接手机及各类终端。可穿戴设备可以包括但不限于以手腕为支撑的watch类(比如手表、手腕等产品),以脚为支撑的shoes类(比如鞋、袜子或者其他腿上佩戴产品),以头部为支撑的Glass类(比如眼镜、头盔、头带等)以及智能服装,书包、拐杖、配饰等各类非主流产品形态。

请参阅图1,图1是本申请实施例公开的一种人体姿态检测方法的场景示意图。如图1所示,包括平板电脑101和用户102。其中,平板电脑101上可以设置有位姿感应器和摄像头,平板电脑101可以通过位姿感应器采集其位姿信息,以及通过摄像头采集图像。平板电脑101可以获取在一段时间内的位姿信息,然后再基于该段时间内的位姿信息进行目标人体姿态检测模式的确定,并从通过摄像头采集到的第一面部图像中提取与目标人体姿态检测模式对应的图像特征,最后再基于该图像特征判断人体姿态是否为危险人体姿态,实现了对人体姿态的高效检测,此外,平板电脑101在检测到人体姿态为危险人体姿态时,还可以进行人体姿态调整提示,从而保证了用户更加健康、正确地使用平板电脑101。

需要说明的是,位姿感应器可以是加速度计、重力传感器或九轴传感器等,此处不做限定。其中,一般的九轴传感器可以包括3轴加速度计,3轴磁力计以及3轴陀螺仪。

请参阅图2,图2是本申请实施例公开的一种人体姿态检测方法的流程示意图。包括:

201、获取电子设备在第一预设时长内的位姿信息。

在本申请实施例中,电子设备可以通过九轴传感器,获取电子设备在第一预设时长内的位姿信息。其中,电子设备在第一预设时长内的位姿信息指示的可以是电子设备在第一预设时间段内的位置和/或姿态信息,也即,电子设备在第一预设时长内的位姿信息可以包括第一预设时长内的位置信息和姿态信息中的至少一种。

可选的,电子设备在第一预设时长内的位姿信息可以包括第一预设时长内每一时间点对应的位姿信息或者多个子时长对应的位姿信息。可以理解的是,若电子设备在第一预设时长内的位姿信息包括第一预设时长内每一时间点对应的位姿信息,则电子设备针对位姿信息的计算是实时的;若电子设备在第一预设时长内的位姿信息包括多个子时长对应的位姿信息,则电子设备针对位姿信息的计算是周期性的。

在一些实施例中,电子设备可以在检测到满足启动人体姿态检测条件时,则获取电子设备在第一预设时长内的位姿信息。

可选的,启动人体姿态检测条件可以包括但不限于以下情况:

(1)检测到电子设备的显示屏幕处于亮屏状态;

(2)检测到由用户触发的第一特定指令;

可选的,该第一特定指令可用于控制电子设备亮屏或者启动特定应用程序(学习类、游戏类、社交类等);进一步的,用户触发第一特定指令的方式可以是音频、非接触式手势、接触式手势或者按压操作等,此处不做限定。

通过实施该方法,在电子设备满足启动人体姿态检测条件的情况下,获取电子设备在第一预设时长内的位姿信息,可以有效降低无效电耗的产生。

202、根据电子设备在第一预设时长内的位姿信息,从预设人体姿态检测模式中确定目标人体姿态检测模式。

在一些实施例中,预设人体姿态检测模式可以包括低头检测模式和歪头检测模式。其中,低头检测模式用于检测人体姿态是否为低头姿态,歪头检测模式用于检测人体姿态是否为歪头姿态。

进一步的,电子设备根据电子设备在第一预设时长内的位姿信息,从预设人体姿态检测模式中确定目标人体姿态检测模式可以包括:在电子设备在第一预设时长内的位姿信息指示电子设备在第一预设时长内发生位姿变化时,确定低头检测模式为目标人体姿态检测模式;在电子设备在第一预设时长内的位姿信息指示电子设备在第一预设时长内未发生位姿变化时,确定歪头检测模式为目标人体姿态检测模式。

可以理解的是,若电子设备在第一预设时长内的位姿信息指示电子设备在第一预设时长内发生位姿变化,则可以认为电子设备处于手持状态,电子设备在处于手持状态时,用户容易出现低头看电子设备屏幕的不良姿态情况,因此,危险人体姿态为低头姿态,对应的目标人体姿态检测模式可为低头检测模式。若在电子设备在第一预设时长内的位姿信息指示电子设备在第一预设时长内未发生位姿变化,则可以认为电子设备处于支架支撑状态,电子设备在处于支架支撑状态时的危险人体姿态为歪头姿态。也即,若电子设备处于手持状态,则电子设备的目标人体姿态检测模式为低头检测模式,若电子设备处于支架支撑状态,则电子设备的目标人体姿态检测模式为歪头检测模式。通过实施该方法,电子设备设置了低头检测模式和歪头检测模式两种模式,在不同的应用场景下,电子设备可以以匹配该场景的检测模式进行人体姿态检测,极大提高了人体姿态检测的准确性。

203、根据目标人体姿态检测模式,提取通过摄像头采集到的第一面部图像中与目标人体姿态检测模式对应的图像特征。

在本申请实施例中,不同人体姿态检测模式对应的图像特征不同。可选的,低头检测模式对应的图像特征可以是用户的眼部特征,例如瞳孔和耀点的像素点信息、角膜和瞳孔的像素点信息或虹膜与内外眼角的像素点信息等。歪头检测模式对应的图像特征可以是脸部特征点的位置特征,例如任一脸部特征点的偏转角。可以理解的是,脸部特征点可以包括眼睛对应的脸部特征点、眉毛对应的脸部特征点、鼻梁对应的脸部特征点、嘴巴对应的脸部特征点以及下颌对应的脸部特征点等。

204、根据与目标人体姿态检测模式对应的图像特征确定人体姿态。

在一些实施例中,电子设备可以存储有预先人为设定的危险人体姿态的相应规则以及健康人体姿态的相应规则,进而通过分析图像特征来判断人体姿态是否满足危险人体姿态。

可选的,危险人体姿态的相应规则可以包括:(1)面部图像指示用户视线与水平夹角大于第一夹角阈值,则认为人体姿态为危险人体姿态;(2)面部图像指示用户脸部特征点的偏转角大于第二夹角阈值,则认为人体姿态为危险人体姿态。

健康人体姿态的相应规则可以包括:(1)面部图像指示用户视线与水平夹角小于等于第一夹角阈值,则认为人体姿态为危险人体姿态;(2)面部图像指示用户脸部特征点的偏转角小于等于第二夹角阈值,则认为人体姿态为危险人体姿态。

205、若人体姿态为危险人体姿态,则输出用于指示用户进行人体姿态调整的提示信息。

在本申请实施例中,危险人体姿态可以包括歪头姿态和低头姿态。

在一些实施例中,电子设备输出用于指示用户进行人体姿态调整的提示信息的方式可以为音频输出、文本输出或者视频输出,此处不做限定。

通过实施上述方法,电子设备可以根据其位姿信息,先从电子设备的预设人体姿态检测模式中确定出有效的人体姿态检测模式,然后以有效的人体姿态检测模式对用户进行人体姿态检测,实现对人体姿态的准确检测。在检测到人体姿态为危险人体姿态时,电子设备还可以进行人体姿态调整提示。从而可以保证用户更加健康、正确地使用电子设备。

请参阅图3,图3是本申请实施例公开的一种人体姿态检测方法的流程示意图。包括:

301、获取电子设备在第一预设时长内的位姿信息。

302、根据电子设备在第一预设时长内的位姿信息,从预设人体姿态检测模式中确定目标人体姿态检测模式。

需要说明的是,在目标人体姿态检测模式为低头检测模式时,继续执行步骤303-步骤304,在目标人体姿态检测模式为歪头检测模式时,则继续执行步骤305-步骤307。其中,关于步骤301-步骤302的描述,请参照图2所示的实施例中步骤201-步骤202的介绍,此处不再赘述。

303、从通过摄像头采集到的第一面部图像中,提取用户的眼部特征,根据眼部特征确定用户视线方向,并计算用户视线方向与水平方向之间的第一夹角,并在第一夹角大于第一夹角阈值时,确定人体姿态为低头姿态。

在一些实施例中,电子设备可以采用基于模型的方法,利用眼部特征确定用户视线方向。可选的,该基于模型的方法所用到的模型可以是预先训练得到的神经网络模型,也即,电子设备可以先将提取的眼部特征输入到该神经网络模型,通过该神经网络模型的卷积层得到针对眼部特征的特征向量,然后根据该神经网络模型的决策层的归一化函数和该特征向量,确定出用户视线方向,进而得到用户视线方向与水平方向之间的第一夹角。示例性的,请参阅图3A,图3A是本申请实施例公开的第一夹角的示意图。

其中,第一夹角阈值可用于衡量用户是否为低头姿态,具体的,在第一夹角大于第一夹角阈值时,则人体姿态为低头姿态,在第一夹角小于等于第一夹角阈值时,则人体姿态为健康人体姿态。

304、根据第一夹角,确定危险人体姿态对应的危险等级。

在一些实施例中,电子设备可以预设多个第一夹角区间,每一第一夹角区间分别对应不同的危险等级,电子设备可以在多个第一夹角区间中查找第一夹角所处的目标第一夹角区间,以及确定目标第一夹角区间对应的危险等级。可选地,第一夹角与危险等级可呈正相关关系,第一夹角越大,危险等级越高。

进一步的,电子设备可以预设第一夹角区间和危险等级的对应关系表,第一夹角区间和危险等级的对应关系表中可以存储有电子设备预设的每一第一夹角区间,以及每一第一夹角区间对应的危险等级。电子设备可以从第一夹角区间和危险等级的对应关系表中,确定目标第一夹角区间对应的危险等级。

示例性的,电子设备的多个第一夹角区间包括X1-X2、X2-X3以及X3-X4,X1<X2<X3<X4;其中,X1-X2对应第一危险等级,X2-X3对应第二危险等级,X3-X4对应第三危险等级。需要说明的是,第一危险等级的危险程度小于第二危险等级的危险程度,第二危险等级的危险程度小于第三危险等级的危险程度。

305、在目标人体姿态检测模式为歪头检测模式时,从通过摄像头采集到的第一面部图像中定位脸部特征点,并根据定位出的脸部特征点确定第一矩形区域;该第一矩形区域用于表征第一面部图像中的人脸区域。

在一些实施例中,电子设备可以利用预设的脸部特征点数据库,定位第一面部图像中的脸部特征点。可选的,脸部特征点数据库中可以包括多个脸部特征点中每一脸部特征点的特征点标识和以及每一特征点标识对应的灰度特征信息。其中,每一特征点标识对应的灰度特征信息反映的可以是该脸部特征点对应的局部区域的像素灰度信息。可选的,特征点标识可以包括数字、字母以及特殊字符中的一种或者几种,此处不做限定。

电子设备从通过摄像头采集到的第一面部图像中定位脸部特征点,可以包括:电子设备可以通过统计第一面部图像中每一像素点对应的局部区域的像素灰度信息,得到第一面部图像中每一像素点的灰度特征信息,然后根据每一像素点的灰度特征信息和脸部特征点数据库,确定第一面部图像中的脸部特征点的特征点标识,最后再利用第一面部图像中每一脸部特征点的特征点标识,标注每一脸部特征点。

在一些实施例中,第一面部图像的脸部特征点至少可以包括左眉毛上最高的第一特征点和左眉毛边界上最靠近图像边缘的第二特征点、右眉毛上最高的第三特征点和右眉毛边界上最靠近图像边缘的第四特征点,以及下颌最低的第五特征点。进一步的,电子设备根据定位出的脸部特征点确定第一矩形区域可以包括:电子设备将第二特征点和第四特征点之间的距离值作为第一距离值;将第一特征点和第五特征点之间的垂直距离值作为第二距离值;以及将过第一特征点、第三特征点以及第五特征点,且以第一距离值为短边以及以第二距离值为长边的矩形区域作为第一矩形区域。

306、将第一矩形区域的任一长边作为第一边界,并从将第一面部图像的中间矩形区域的任一长边作为第二边界,以及获取第一边界和第二边界之间的第二夹角,以及在第二夹角大于第二夹角阈值时,确定人体姿态为歪头姿态。

需要说明的是,中间矩形区域的长边平行于第一面部图像的长边,中间矩形区域的短边平行于第一面部图像的短边,中间矩形区域的长边为第二距离值,中间矩形区域的短边为第一距离值。其中,第二夹角阈值可用于衡量用户是否为歪头姿态,具体的,在第二夹角大于第二夹角阈值时,则人体姿态为歪头姿态,在第二夹角小于等于第二夹角阈值时,则人体姿态为健康人体姿态。

示例性的,请参阅图3B,图3B是本申请实施例公开的一种第二夹角的示意图。在图3B中实线矩形表征的是第一矩形区域310,第一矩形区域310的第一边界为3101,,虚线矩形表征的是中间矩形区域311,中间矩形区域311的第二边界为3111。第一边界为3101和二边界为3111之间的夹角即为第二夹角。

307、根据第二夹角,确定危险人体姿态对应的危险等级。

在一些实施例中,电子设备可以预设多个第二夹角区间,每一第二夹角区间分别对应不同的危险等级,电子设备可以在多个第二夹角区间中查找第二夹角所处的目标第二夹角区间,以及确定目标第二夹角区间对应的危险等级。可选地,第二夹角与危险等级可呈正相关关系,第二夹角越大,危险等级越高。

进一步的,电子设备可以预设第二夹角区间和危险等级的对应关系表,第二夹角区间和危险等级的对应关系表中可以存储有电子设备预设的每一第二夹角区间,以及每一第二夹角区间对应的危险等级。电子设备可以从第二夹角区间和危险等级的对应关系表中,确定目标第二夹角区间对应的危险等级。

示例性的,电子设备的多个第二夹角区间包括X5-X6、X6-X7以及X7-X8,X5<X6<X7<X8;其中,X5-X6对应第一危险等级,X6-X7对应第二危险等级,X7-X8对应第三危险等级。

同一危险等级下,低头姿态的危险程度和歪头姿态的危险程度可以是一样的,也可以是不一样的,本申请实施例不做限定。示例性的,低头姿态的第一危险等级所指示的危险程度小于歪头姿态的第一危险等级所指示的危险程度。下述实施例以同一危险等级下,低头姿态的危险程度和歪头姿态的危险程度一样的情况进行说明。

308、在与确定出危险等级匹配的第二预设时长内,通过摄像头采集连续的多张第二面部图像。

在一些实施例中,每一危险等级所对应的提示触发时长不同,危险等级越高,则其对应的提示触发时长越短,也即第二预设时长为确定出的上述危险等级对应的提示触发时长。示例性的,第一危险等级对应的第二预设时长可以为5s,第二危险等级对应的第二预设时长可以为3s,第三危险等级对应的第二预设时长可以为1s。

309、在根据连续的多张第二面部图像确定人体姿态持续为危险人体姿态时,输出用于指示用户进行人体姿态调整的提示信息。

在本申请实施例中,电子设备根据连续的多张第二面部图像确定人体姿态持续为危险人体姿态可以包括:在危险人体姿态为低头姿态的情况下,电子设备检测上述多张第二面部图像中的每一第二面部图像的第一夹角是否相同,若相同,则确定人体姿态持续为危险人体姿态;在危险人体姿态为歪头姿态的情况下,电子设备检测上述多张第二面部图像中的每一第二面部图像的第二夹角是否相同,若相同,则确定人体姿态持续为危险人体姿态。

在人体姿态为危险人体姿态的情况下,电子设备还可以基于采集到的第一面部图像的图像特征,进一步对危险人体姿态进行等级划分,并根据当前人体姿态所对应的危险等级确定提示触发时长,以及按照确定出的提示触发时长进行提示信息的输出。通过实施该方法,在人体姿态为较低危险等级的危险人体姿态时,用于指示用户进行人体姿态调整的提示信息的输出频率较低,达到了以较小的打扰实现对人体姿态进行调整提示的目的。

在一些实施例中,在执行完步骤309之后,电子设备还可以获取用户信息,用户信息包括年龄信息、性别信息以及爱好信息中的至少一种,并根据上述危险等级和用户信息,从预设的包括锻炼指导信息的多个多媒体资源中,确定目标多媒体资源,以及播放目标多媒体资源。

在一些实施例中,多媒体资源可以是图片、文字、声音、视频、动画等。可选的,电子设备可以预设有多媒体资源、危险等级以及用户信息之间的对应关系表,预设的多媒体资源、危险等级以及用户信息的对应关系表可以包括每一多媒体资源的资源标识,以及每一资源标识对应的用户信息和危险等级。电子设备可以根据上述危险等级和用户信息,从预设的多媒体资源、危险等级以及用户信息之间的对应关系表中确定目标多媒体资源的资源标识,以及根据目标多媒体资源的资源标识,获取目标多媒体资源。可选的,资源标识可以包括数字、字母以及特殊字符中的一种或者几种。

在一些实施例中,电子设备可以预设针对多媒体资源的存储地址表,存储地址表中记录有每一多媒体资源的资源标识,以及每一多媒体资源的资源标识对应的存储地址。电子设备可以在存储地址表中查找目标多媒体资源的资源标识对应的目标存储地址,以及从目标存储地址中获取目标多媒体资源。

通过实施该方法,电子设备还可以根据危险等级和用户信息,查找符合用户的包括锻炼指导信息的目标多媒体资源,进而播放该目标多媒体资源,使得用户可以得到及时的锻炼,以缓解危险人体姿态所带来的身体伤害。

在一些实施例中,若人体姿态为健康人体姿态,则在第三预设时长之后,再控制摄像头采集第一面部图像,并提取通过摄像头采集到的第一面部图像中与目标人体姿态检测模式对应的图像特征,并根据图像特征确定人体姿态的步骤,直至满足预设的人体姿态终止检测条件。

进一步的,预设的人体姿态终止检测条件可以包括但不限于以下方式:

(1)检测到电子设备的显示屏幕处于黑屏状态;

(2)检测到由用户触发的第二特定指令;

可选的,该第二特定指令可用于控制电子设备黑屏或者终止特定应用程序(学习类、游戏类、社交类等);进一步的,用户触发第二特定指令的方式可以是音频、非接触式手势、接触式手势或者按压操作等,此处不做限定。

(3)电子设备的当前电量小于电量阈值。

通过实施上述方法,电子设备可以根据其位姿信息,先从电子设备的预设人体姿态检测模式中确定出有效的人体姿态检测模式,然后以有效的人体姿态检测模式对用户进行人体姿态检测,实现对人体姿态的准确检测。在检测到人体姿态为危险人体姿态时,电子设备还可以进行人体姿态调整提示。从而可以保证用户更加健康、正确地使用电子设备。电子设备还可以电子设备还可以基于采集到的第一面部图像的图像特征,进一步对危险人体姿态进行等级划分,并根据当前人体姿态所对应的危险等级确定提示触发时长,以及按照确定出的提示触发时长进行提示信息的输出,这样,在人体姿态为较低危险等级的危险人体姿态时,用于指示用户进行人体姿态调整的提示信息的输出频率较低,达到了以较小的打扰实现对人体姿态进行调整提示的目的。

请参阅图4,图4是本申请实施例公开的一种电子设备的结构示意图。包括:

获取单元401,用于获取电子设备在第一预设时长内的位姿信息;

确定单元402,用于根据位姿信息,从预设人体姿态检测模式中确定目标人体姿态检测模式。

处理单元403,用于根据目标人体姿态检测模式,提取通过摄像头采集到的第一面部图像中与目标人体姿态检测模式对应的图像特征,并根据该图像特征确定人体姿态。

输出单元404,用于在人体姿态为危险人体姿态时,则输出用于指示用户进行人体姿态调整的提示信息。

在一些实施例中,预设人体姿态检测模式可以包括低头检测模式和歪头检测模式,危险人体姿态可以包括低头姿态或歪头姿态;确定单元402用于根据位姿信息,从预设人体姿态检测模式中确定目标人体姿态检测模式的方式具体可以包括:确定单元402,用于在位姿信息指示电子设备在第一预设时长内发生位姿变化时,确定低头检测模式为目标人体姿态检测模式;在位姿信息指示电子设备在第一预设时长内未发生位姿变化时,确定歪头检测模式为目标人体姿态检测模式。

在一些实施例中,输出单元404,具体用于在人体姿态为危险人体姿态时,则确定危险人体姿态对应的危险等级;在与该危险等级匹配的第二预设时长内,通过摄像头采集连续的多张第二面部图像;在根据连续的多张第二面部图像确定人体姿态持续为危险人体姿态时,输出用于指示用户进行人体姿态调整的提示信息。

在一些实施例中,在目标人体姿态检测模式为低头检测模式时,危险人体姿态包括低头姿态;处理单元403用于根据目标人体姿态检测模式,提取通过摄像头采集到的第一面部图像中与目标人体姿态检测模式对应的图像特征,并根据该图像特征确定人体姿态的方式具体可以包括:

处理单元403,用于从通过摄像头采集到的第一面部图像中,提取用户的眼部特征;根据眼部特征确定用户视线方向,并计算用户视线方向与水平方向之间的第一夹角;在第一夹角大于第一夹角阈值时,确定人体姿态为低头姿态。

进一步的,输出单元404,具体用于根据第一夹角,确定危险人体姿态对应的危险等级。

在一些实施例中,在目标人体姿态检测模式为歪头检测模式时,危险人体姿态包括歪头姿态;处理单元403用于根据目标人体姿态检测模式,提取通过摄像头采集到的第一面部图像中与目标人体姿态检测模式对应的图像特征,并根据该图像特征确定人体姿态的方式具体可以包括:

处理单元403,用于从通过摄像头采集到的第一面部图像中定位脸部特征点,并根据脸部特征点确定第一矩形区域;其中,第一矩形区域用于表征第一面部图像中的人脸区域;将第一矩形区域的任一长边作为第一边界,并将第一面部图像的中间矩形区域的任一长边作为第二边界;其中,中间矩形区域的长边平行于第一面部图像的长边,中间矩形区域的短边平行于第一面部图像的短边;获取第一边界和第二边界之间的第二夹角;在第二夹角大于第二夹角阈值时,确定人体姿态为歪头姿态;

进一步的,输出单元404,具体用于根据第二夹角,确定危险人体姿态对应的危险等级。

在一些实施例中,若人体姿态为健康人体姿态,获取单元401,还用于在第三预设时长之后,再控制摄像头采集第一面部图像,并触发处理单元403提取通过摄像头采集到的第一面部图像中与目标人体姿态检测模式对应的图像特征,并根据图像特征确定人体姿态的步骤,直至满足预设的人体姿态终止检测条件。

获取单元401,还用于获取用户信息,该用户信息包括年龄信息、性别信息以及爱好信息中的至少一种;以及,根据上述危险等级和该用户信息,从预设的包括锻炼指导信息的多个多媒体资源中,确定目标多媒体资源;

输出单元404,还用于播放目标多媒体资源。

请参阅图5,图5是本申请实施例公开的一种电子设备的结构示意图。如图5所示,该电子设备可以包括:

存储有可执行程序代码的存储器501;

与存储器501耦合的处理器502;

其中,处理器502调用存储器501中存储的可执行程序代码,执行以上实施例中的方法的部分或者全部步骤。

本申请实施例公开一种计算机可读存储介质,其存储计算机程序,其中,该计算机程序被处理器执行时实现以上实施例中的方法的部分或者全部步骤。

本申请实施例公开一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行以上实施例中的方法的部分或者全部步骤。

本申请实施例公开一种应用发布系统,该应用发布系统用于发布计算机程序产品,其中,当计算机程序产品在计算机上运行时,使得计算机执以上实施例中的方法的部分或者全部步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本申请实施例公开的一种用人体姿态检测方法及电子设备、计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,且上述具体个例中步骤序号的大小并不意味着执行顺序的必然先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

本文中字符“/”,一般表示前后关联对象是一种“或”的关系。在本申请所提供的实施例中,应理解,“与A相应的B”表示B与A相关联,根据A可以确定B。但还应理解,根据A确定B并不意味着仅仅根据A确定B,还可以根据A和/或其他信息确定B。另外,在本申请各实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。若上述集成的单元以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可获取的存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分,可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等,具体可以是计算机设备中的处理器)执行本申请的各个实施例上述方法的部分或全部步骤。

以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

相关技术
  • 人体姿态检测方法及电子设备、计算机可读存储介质
  • 姿态检测方法、装置、电子设备及计算机可读存储介质
技术分类

06120113007424