掌桥专利:专业的专利平台
掌桥专利
首页

人机交互方法、电子设备及其介质

文献发布时间:2023-06-19 19:30:30


人机交互方法、电子设备及其介质

技术领域

本申请涉及电子技术领域,尤其涉及一种人机交互方法、电子设备及其介质。

背景技术

手机等智能电子设备是人们获取信息必不可少的工具。对于视觉功能正常的人,他们可以直接看到并通过屏幕上的虚拟按键实现对手机的操控,但对于视觉功能障碍的人,由于他们难以看到屏幕上的各种虚拟按键,所以通过仅视觉操作手机显得比较困难。

为此,很多手机会为视障用户提供一种“触觉+语音”的辅助功能,即手机通过语音提示或反馈,指导视障用户移动手指先定位至屏幕上的虚拟按键,再针对虚拟按键进行操作,以实现对手机的操控。

发明内容

为了解决上述问题,本申请提供一种人机交互方法、电子设备及其介质,在本申请的人机交互方法中,视障用户可以根据手机的语音提示,在手机屏幕的任意位置,做出预设手势以唤起当前界面对应的选项菜单,待选项菜单出现后,手机会再进行语音播报以提示用户可以进行下一步操作,之后视障用户可以通过左右滑动等手势快速切换选项菜单的内容,最后在手机语音的同步反馈下,选定选项菜单的具体内容后,视障用户只需松手,便可使手机执行该内容对应的功能。通过这种方式使视障用户可以直接通过做出特定的手势,即可操控手机执行特定的功能,方便视障用户对手机的操控,提高了视障用户的体验。

下面对本申请的技术方案展开介绍。

第一方面,本申请提供了一种人机交互方法,该方法可应用于电子设备,该方法包括:检测到用户在电子设备屏幕上的第一类触控操作;调用选项菜单,其中选项菜单包括对应多个操作的选项;在检测到用户在屏幕上的第二类触控操作的情况下,将选项菜单中的焦点选项从第一选项切换为第二选项;在焦点选项为第二选项,且检测到用户在屏幕上的第三类触控操作的情况下,执行第二选项对应的操作。

其中,在一种可能的实现方式中,第一类触控操作包括:第一类触控操作在屏幕上的操作轨迹为圆弧状,并且圆弧的弧度范围为大于或等于180°且小于或等于300°。其中,可以理解,圆弧的弧度范围仅为示例性的,在其他可能的实现方式中,圆弧的弧度范围也可以为其他值,比如圆弧的弧度范围为310°、320°等等,本申请对圆弧的弧度范围不作任何限制。具体地,用户可以在电子设备屏幕的任意位置画一个弧度为180°至300°的圆弧,以唤起选项菜单。

在电子设备检测到用户在屏幕上的第一类触控操作后,电子设备即调用选项菜单,该选项菜单可以为圆盘状的,也可以为方形的,还可以是列表形式的,为了便于描述,下文具体实施例部分将以选项菜单为圆盘状为例,对本申请的方案进行详细描述,但应理解,这并不构成对本申请中选项菜单的形状的限制。

在该选项菜单中,包括了对应多个操作的选项,电子设备在检测到用户在屏幕上的第二类触控操作的情况下,该选项菜单中的焦点选项即可从第一选项切换为第二选项。其中,在一种可能的实现方式中,第二类触控操作包括以下任一种:用户在屏幕上向左滑动手指、向右滑动手指、向上滑动手指以及下滑动手指。

具体地,在一种可能的实现方式中,用户可以在屏幕的任意位置,向左滑动手指或者向右滑动手指,以控制选项菜单中焦点选项的切换。在另一种可能的实现方式中,用户也可以在屏幕的任意位置,向上滑动手指或向下滑动手指以控制选项菜单中焦点选项的切换。并且,可以理解,用户滑动手指的方向不同,焦点选项切换的方式也不同。具体地,假设选项菜单为圆盘选项菜单,如果用户向左滑动手指,圆盘选项菜单的焦点选项会按照顺时针方向切换,如果用户向右滑动手指,圆盘选项菜单的焦点选项会按照逆时针方向切换。假设选项菜单为列表形式的,如果用户向上滑动手指,选项菜单的焦点选项会从下到上进行切换,如果用户向下滑动手指,选项菜单的焦点选项会从上到下进行切换。应理解,本申请对选项菜单中焦点选项的切换方式不作任何限制。

其中,焦点选项为选项菜单中当前被选中的选项,例如如果选项菜单为圆盘状,那么该圆盘选项菜单的焦点选项则为该圆盘选项菜单的指针所指向的选项,或者该圆盘选项菜单的中心位置所显示的选项;而第一选项则为选项菜单被调用后,排布在选项菜单上默认的第一个选项,第二选项则表示用户选择的选项,第二选项可以理解为目标选项。当焦点选项为第二选项时,并且电子设备检测到用户在屏幕上的第三类触控操作的情况下,执行第二选项对应的操作。其中,第三类触控操作包括用户抬起手指离开电子设备的屏幕。具体地,当用户希望执行第二选项对应的操作时,只需抬起手指,电子设备即可执行第二选项对应的操作。

在上述方式中,用户可以在电子设备屏幕的任意位置作出上述第一触控操作,以唤起包括多个选项的选项菜单,并且,在选项菜单被唤起后,用户依然可以在屏幕的任意位置作出第二类触控操作,以控制选项菜单的焦点选项切换至目标选项,待选项菜单中的焦点选项切换至目标选项后,用户只需抬起手指,即可控制电子设备执行该目标选项对应的操作。通过这种方式,从始至终,用户都可以在屏幕的任意位置通过作出特定的手势,控制电子设备实现用户希望实现的功能,而无需刻意移动手指至选项菜单中的具体某个选项的位置,提高了用户操控电子设备的效率,进而提高了用户体验。

除此之外,上文中第一类触控操作为圆弧时的圆弧的弧度(大于或等于180度且小于或等于300°),是发明人经过大量的试验统计得到的更符合用户操作习惯的数值,这个数值范围内的圆弧,与“先向右再向下”或者“先向右再向左”的操作轨迹非常易于区分,有利于减少电子设备的误响应率,进一步提供了用户体验。

并且,本申请中选项菜单是与电子设备当前显示的界面是对应的,这样的设计能够使用户在任何界面上都能够快速唤起当前界面对应的选项菜单,以通过该选项菜单实现当前界面能够实现的功能。下面对此展开介绍。

具体地,在上述第一方面的一种可能的实现方式中,第一类触控操作执行时,屏幕显示桌面,并且,选项菜单包括的每个选项对应的操作包括:打开选项菜单中的选项对应的应用程序。也即,在电子设备的屏幕显示桌面(或者电子设备的首界面)的情况下,用户在该界面作出上述第一类触控操作后,电子设备调用桌面对应的选项菜单,并且该选项菜单中每个选项对应的操作为打开该选项对应的应用程序。例如,以电子设备为手机为例,手机当前显示的界面为首界面,当用户在手机屏幕上画出弧度为300°的圆弧时,响应于该操作,手机调用该首界面对应的选项菜单,该选项菜单中各个选项即为手机上的全部或者部分应用程序,比如微信

在上述第一方面的另一种可能的实现方式中,第一类触控操作执行时,屏幕显示第一应用的第一界面,并且选项菜单包括的每个选项对应的操作包括:执行选项菜单中的选项对应的应用程序的第一功能。也即,在电子设备的屏幕显示桌面(或者电子设备的首界面)的情况下,用户在该界面作出上述第一类触控操作后,电子设备调用桌面对应的选项菜单,并且该选项菜单中每个选项对应的操作为打开该选项对应的应用程序。例如,仍以电子设备为手机为例,手机当前显示的界面为备忘录应用的首界面,当用户在手机屏幕上画出弧度为300°的圆弧时,响应于该操作,手机调用备忘录应用的首界面对应的选项菜单,该选项菜单中各个选项即为备忘录应用的首界面中包括的全部或部分功能选项,比如操作编辑框或者粘贴,那么当用户通过上述方式控制该选项菜单中的焦点选项切换至第二选项(如粘贴)时,用户只需抬起手指,手机便会执行第二选项对应的操作,即在备忘录应用的首界面执行“粘贴”功能。

在上述第一方面的一种可能的实现方式中,第一类触控操作执行时,屏幕显示第一应用的第一界面,并且选项菜单包括的每个选项对应的操作包括:打开选项菜单中第二选项所对应的选项子菜单,其中选项子菜单包括多个子选项。也即,在电子设备的屏幕显示桌面(或者电子设备的首界面)的情况下,用户在该界面作出上述第一类触控操作后,电子设备调用桌面对应的选项菜单,并且该选项菜单中每个选项对应的操作为打开该选项对应的应用程序。例如,仍以电子设备为手机为例,手机当前显示的界面为备忘录应用的首界面,当用户在手机屏幕上画出弧度为300°的圆弧时,响应于该操作,手机调用备忘录应用的首界面对应的选项菜单,该选项菜单中各个选项即为备忘录应用的首界面中包括的全部或部分功能选项,比如操作编辑框或者粘贴,那么当用户通过上述方式控制该选项菜单中的焦点选项切换至第二选项(如操作编辑框)时,用户只需抬起手指,手机便会执行第二选项对应的操作,即在备忘录应用的首界面打开操作编辑框对应的选项子菜单,该选项子菜单中包括“全选”等子选项。

并且,在一种可能的实现方式中,在打开上述选项子菜单之后,并且电子设备也检测到用户在屏幕上的第四类触控操作;那么电子设备会将选项子菜单中的焦点子选项从第一子选项切换为第二子选项;在焦点子选项为第二子选项,且检测到用户在屏幕上的第三类触控操作的情况下,执行第二子选项对应的操作。也即,在用户通过上述方式唤起某个选项对应的选项子菜单后,用户仍然可以通过在屏幕任意位置作出第四类触控操作,以控制电子设备切换该选项子菜单中的焦点选项,当焦点选项从第一子选项切换至第二子选项时,如果检测到用户在屏幕上作出了上述第三类触控操作,那么电子设备便执行该第二子选项对应的操作。

在一种可能的实现方式中,上述第二子选项对应的操作则包括:执行选项子菜单中的子选项对应的应用程序的第二功能。例如,继续以电子设备为手机为例,手机当前显示的界面为备忘录应用的首界面,当用户在手机屏幕上画出弧度为300°的圆弧时,响应于该操作,手机调用备忘录应用的首界面对应的选项菜单,该选项菜单中各个选项即为备忘录应用的首界面中包括的全部或部分功能选项,比如操作编辑框或者粘贴,那么当用户通过上述方式控制该选项菜单中的焦点选项切换至第二选项(如操作编辑框)时,用户只需抬起手指,手机便会执行第二选项对应的操作,即在备忘录应用的首界面打开操作编辑框对应的选项子菜单,该选项子菜单中包括“全选”等子选项,当用户通过第四类触控操作控制选项子菜单中的焦点子选项切换至第二子选项(例如“全选”)时,如果手机也检测到了用户抬起手指的操作,那么手机就执行该第二子选项对应的操作,即在备忘录首界面执行“全选”功能。

其中,在第一方面的一种可能的实现方式中,第四类触控操作包括以下任一种:用户在屏幕上向左滑动手指、向右滑动手指、向上滑动手指或向下滑动手指。可以理解,第四类触控操作的定义与上述第二类触控操作的定义类似,具体可参考上文关于第二类触控操作的定义方式,此处不再赘述。

其中,第一子选项的定义与第一选项的定义类似,为选项子菜单中焦点子选项默认选择的子选项,焦点子选项的定义与上述焦点选项的定义类似,为选项子菜单中当前选中的子选项,第二子选项的定义与上述第二选项的定义类似,可以理解为目标选项。进一步地,为了进一步提高用户的体验,在第一方面的一种可能的实现方式中,上述方法还包括:在电子设备的屏幕上显示选项菜单。也即,电子设备在调用上述选项菜单的时候,还可以同步显示该选项菜单,以便于用户进一步操作。

并且,对于视觉障碍用户而言,在第一方面的一种可能的实现方式中,该方法还包括:以振动或者语音提示的方式,提示用户选项菜单已显示在电子设备的屏幕上。这样有利于视障用户判断选项菜单是否已经被调用。

同理,在了使得视障用户能够了解其每一步操作对应的操作完成的情况,电子设备可以对视障用户每一个触控操作对应的结果都进行语音播报。具体地,在第一方面的一种可能的实现方式中,方法还包括:在选项菜单中的焦点选项从第一选项切换为第二选项后,电子设备向用户语音提示焦点选项完成从第一选项切换为第二选项;并且在电子设备执行第二选项对应的操作后,电子设备向用户语音提示第二选项对应的操作已经执行完毕。

进一步地,与上文电子设备显示选项菜单的目的一致,在一种可能的实现方式中,方法还包括:在电子设备的屏幕上显示选项子菜单。可以理解,选项子菜单的定义与选项菜单的定义类似,在一种可能的实现方式中,选项子菜单的形状可以与选项菜单一样,选项子菜单的显示位置可以在屏幕的任意位置,本申请对此不作任何限制。

同理,结合上述可能的实现方式,在第一方面的在一种可能的实现方式中,方法还包括:以振动或者语音提示的方式,提示用户选项子菜单已显示在电子设备的屏幕上。

以及,结合上述可能的实现方式,在第一方面的另一种可能的实现方式中,方法还包括:在选项子菜单中的第二焦点选项从第一子选项切换为第二子选项后,电子设备向用户语音提示第二焦点选项完成从第一子选项切换为第二子选项。

结合上述可能的实现方式,在第一方面的另一种可能的实现方式中,在电子设备执行第二子选项对应的操作后,电子设备向用户语音提示第二子选项对应的操作已经执行完毕。

上文介绍了用户如何通过在电子设备屏幕的任意位置唤起该界面对应的选项菜单,以及在屏幕任意位置实现选项菜单中特定选项对应的操作的过程,进一步地,为了让选项菜单中各个选项的排布方式更加符合用户的使用习惯,在第一方面的一种可能的实现方式中,选项菜单包括的选项可以按照以下方式排布:依据用户选择选项的次数的大小,从大到小依次排布;或者依据大数据统计得到的,每个选项被选择的次数的大小,从大到小排布。

并且,可以理解,电子设备的有些功能是全局适用的,例如开启或者关闭屏幕朗读模式等,故为了使用户可以随时在任意界面实现这类的功能,在一种可能的实现方式中,可以将选项菜单进行分区,并且其中至少一个分区内显示前述适用于全局的功能选项,然后在其他分区中显示特定界面对应的功能选项。

具体地,结合上述第一方面以及第一方面可能的实现方式,在第一方面的一种可能的实现方式中,选项菜单包括第一分区和第二分区,其中,第一分区包括的选项与第二分区包括的选项的种类和/数量不同;和/或第一分区包括的选项与第二分区包括的选项的排布方式不同。其中,第一分区包括的选项与第二分区包括的选项的种类不同指的就是,第一分区包括的选项为全局使用的功能选项,第二分区包括的选项则为某个界面对应的功能选项。

并且,可以理解,第一分区包括的选项的排布方式与第二分区中包括的选项的跑步方式可以相同也可以不同,具体地,结合上述第一方面以及第一方面可能的实现方式,在第一方面的一种可能的实现方式中,第一分区包括的选项按照用户选择选项的次数的大小,从大到小依次排布,以及第二分区包括的选项按照大数据统计得到的,每个选项被选择的次数的大小,从大到小排布。

可以理解,上述选项菜单中的选项的两种排布方式仅为示例性的,并不构成对本申请的选项菜单中选项排布方式的限制,在其他可能的实现方式中,选项菜单中的选项还可以按照用户的喜爱程度排布,本申请对选项菜单中的选项的排布方式不作任何限制。

进一步地,为了使得选项菜单中的选项排布方式更好的符合用户的日常生活习惯,在第一方面的一种可能的实现方式中,选项菜单中的选项可以按照以下方式显示:电子设备每间隔预设时长,按照预设更新方式更新选项菜单中显示的全部或部分选项。其中,在一种可能的实现方式中,预设时长可以为1天、7天等时长,但是应理解,预设时长不应该过短,否则不利于用户通过记忆的方式选择特定的选项。除此之外,本申请对预设时长的取值不作任何限制。

结合上述第一方面以及第一方面可能的实现方式,在第一方面的一种可能的实现方式中,预设更新方式包括:电子设备统计用户在预设时长内选择每个选项的次数,并且按照用户在预设时长内选择每个选项的次数的大小,更新选项菜单中各个选项的排布方式。

第二方面,本申请实施例还提供了一种电子设备,该电子设备包括存储器,存储有计算机程序指令;处理器,所述处理器和存储器耦合,当所述存储器存储的计算机程序指令被所述处理器执行时使得所述电子设备实现上述第一方面中任一项所述的人机交互方法。

第三方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现上述第一方面中任一项所述的人机交互方法。

第四方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备执行上述第一方面中任一项所述的人机交互方法。

可以理解的是,上述第二方面至第四方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。

附图说明

为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1是一些实施例提供的一例视障用户使用手机的场景示意图;

图2是一些实施例提供的一例视障用户使用手机的操作过程示意图;

图3是一些实施例提供的一例视障用户使用手机的操作过程示意图;

图4是一些实施例提供的一例视障用户使用手机的操作过程示意图;

图5是一些实施例提供的一例视障用户使用手机的操作过程示意图;

图6是一些实施例提供的一例选项菜单示意图;

图7是一些实施例提供的一例视障用户使用手机的操作过程示意图;

图8是一些实施例提供的一例视障用户使用手机的操作过程示意图;

图9是一些实施例提供的一例转子菜单设置界面(user interface,UI)示意图;

图10是一些实施例提供的一例选项菜单示意图;

图11是一些实施例提供的一例视障用户使用手机的操作过程示意图;

图12是一些实施例提供的一例人机交互方法流程示意图;

图13是一些实施例提供的一例开启手机无障碍模式的操作流程示意图;

图14是一些实施例提供的一例手势的形状示意图;

图15是一些实施例提供的一例手机引导视障用户进行手势练习的UI界面示意图;

图16是一些实施例提供的一例电子设备100的硬件结构示意图;

图17是本发明实施例的电子设备100的软件结构框图。

具体实施方式

下面将使用本领域技术人员通常采用的术语来描述说明性实施例的各个方面。

图1示出了一种视觉障碍用户操控智能手机的场景示意图。

如前文所述的,视觉障碍用户无法像视觉正常的用户使用智能手机100一样,利用视觉来操控手机,进而实现相应的功能。对此,为了使视觉障碍用户能够按照自己需求操控手机,很多智能手机100提供了一种“触觉+听觉”的辅助功能,该辅助功能通过语音提示用户的方式,指导视觉障碍用户(下称视障用户)操控手机,进而实现相应的功能。

下面对该辅助功能展开介绍。

在一些实施例中,智能手机100为用户提供了一种通过特定手势唤起菜单选项的方法,具体地,如图2(A)所示,用户只需在智能手机100(下称手机100)屏幕的任意位置,以两个手指之间的一个点为基准转动两个手指,以使两个手指在屏幕上旋转,即可以调出菜单选项110,之后,在手机100的语音提示下,用户可以进一步转动手指,以选定最终的目标选项。

上述方式在一定程度上改善了视障用户操控手机的难度,但是从上图2(A)可以看出,这种方式往往需要用户双手操作,在双手操作过程中,容易发生手机掉落的情况,给视障用户造成不便。而且,由于需要两个手指在屏幕上旋转,才可调出菜单选项110,所以大部分情况,需要用户将手机100横屏放置,例如图2(B)所示,在这种情况下,即便用户能够调出菜单选项,也可能出现目标选项对应的功能或应用不支持横屏的情况,给视障用户带来了很大的不便。举例来说明,视障用户在横屏下调出菜单选项,并从菜单选项中选择了

对此,在另一些实施例中,手机100为视障用户提供了一种通过单手执行特定手势唤起选项菜单的方法,具体地,如图3(A)所示,视障用户只需在手机100的屏幕上通过“先向右再向下滑动”的一步手势,便可唤起图3(B)所示的选项菜单120,并且该选项菜单120以播报转子的形成出现,之后手机100对视障用户进行语音提示,以提示视障用户此时已经出现选项菜单120,以便于视障用户可以从选项菜单120中选择目标选项。并且,从图3(C)中可以看出,选项菜单120包括多个扇形区域,每个扇形区域对应一个控件,用户需要移动手指到对应扇形区域,来调取相应的功能,在此过程中,手机100会通过“语音+振动”的方式反馈,以提示用户手指当前所在扇形区域对应的功能,当用户确定所选择的功能后,只需在抬起手指,手机100便会执行该扇形区域的控件对应的功能。

通过上述方法,视障用户可以通过单手即可在手机100的语音提示下唤起选项菜单120,相对于上述实施例中视障用户需要通过双手实现特定手势以唤起选项菜单110,简化了视障用户的操作,为视障用户提供了很大的便利。但是,从上图3(A)至3(C)的相关介绍中,也可看出这种方法存在以下弊端:(1)视障用户必须做出明确的“先向右再向下”的手势,可以理解,这种手势在实际操作中很容易与“先向左再向右”的手势混淆,进而造成手机100的误响应或不响应;(2)视障用户必须将手指移动至选项菜单120的特定的扇形区域内,才可以选中目标选项,不难理解,在实际操作时,视障用户难以定位不同功能的特定扇形操作区域。

为了解决上述技术问题,本申请提供了另一种单手进行特定手势唤起选项菜单的方法。在该方法中,视觉障碍用户可以在屏幕的任意位置,单指画一个圆心角为180°至300°的圆弧,即可快速唤起选项菜单,待选项菜单出现后,手机100依旧会进行语音提示,以提醒视障用户此时出现选项菜单。之后,视障用户无需移动手指寻找选项菜单中的各个子选项的位置,而是可以在屏幕的任何地方进行特定的手势操作,例如在屏幕左右滑动手指,选项菜单中各个子选项就会被切换,并且手机100会同时语音提醒变化后的子选项所对应的功能选项,最后,当用户确定当前的子选项是其要选择的功能选项时,只需抬起手指,手机100就会执行该功能选项的对应的功能。

此外,视障用户除了在具体的应用程序内的某个界面,通过上述方法唤起包括该界面全部或部分功能选项的选项菜单,还可以在手机100的首界面(或者桌面)上,通过上述方法唤起包括各个应用程序的无障碍选项菜单,可以理解,在选项菜单的各个子选项为应用程序时,当视障用户抬起手指后,手机100则会打开视障用户选择的应用程序。

通过上述方法,本申请实现了单手画圆弧即可唤起选项菜单的操作,简化了视障用户操控手机100的步骤,并且在本申请的方法中,视障用户从始至终都可以用单手来进行快捷操作,提高了视障用户的体验。

可以理解本申请的方法不仅适用于智能手机,还适用于其他电子设备,其他电子设备包括但不限于平板计算机、膝上型计算机、台式计算机、可穿戴设备、头戴式显示器、便携式游戏机、便携式音乐播放器、阅读器设备,等等。为了便于说明,下面继续以电子设备为手机100为例进行说明。

为了便于理解,下面以视障用户在备忘录315中,通过在屏幕任意位置画圆心角为180°至300°的圆弧,以唤起备忘录315内的圆盘选项菜单160为例进行详细说明。

具体地,在一些实施例中,如图4(A)所示,备忘录315的界面显示有文本内容170,假设视障用户对文本内容170进行相关操作,视障用户需要先在屏幕任意位置画一个圆心角为180°至300°的圆弧130,以唤起如图4(B)所示的圆盘选项菜单160,其中,如图4(C)所示,圆盘选项菜单160包括以下子选项:1.操作编辑框,2.粘贴,3.屏幕搜索,4.列表项目播报,5.使用列表速览模式,6.暂停屏幕亮度,7.连续朗读,8.提取内嵌链接,9.添加文字标签,10.震动反馈…等等子选项。

并且,同时为了让视障用户知道此时圆盘选项菜单160已经被成功唤起,手机100以振动或者语音播报的方式,向视障用户反馈圆盘选项菜单160已经被成功唤起。例如,手机100向视障用户语音播报“圆盘菜单菜单已启动”+震动,提示启动成功,然后再播报选项160的第一个子选项“操作编辑框”。

在成功唤起圆盘选项菜单160后,如图5(A)所示,视觉障碍用户可以通过左右滑动手指来控制圆盘选项菜单160的指针1601逆时针或者顺时针滑动,以切换圆盘选项菜单160中的各个子选项。例如,假设视障用户向左滑动手指,那么圆盘选项菜单160的指针1601则朝着逆时针方向转动1格,假设视障用户向右滑动手指,那么圆盘选项菜单160的指针1601则朝着顺时针方向转动1格,指向图5(B)所示的第二子选项“粘贴”。可以理解,在其他实施例中,视障用户也可以通过其他手势控制圆盘选项菜单160指针1601的转动,例如向上滑动手指、向下滑动手指等等,但是需要说明的是,视障用户控制指针1601转动的手势不能与其他功能对应的手势冲突,除此之外,本申请对此视障用户控制指针1601转动的手势不作任何限制。

并且,指针1601随着视障用户手指左右滑动而转动的过程中,手机100同步以上述语音播报的方式向用户反馈此时指针1601所指的子选项的名称,以方便视障用户进行子选项的切换。

可以理解,对于存在视觉功能但是视觉功能较弱的视障用户而言,也可以通过一定的视觉功能来辅助判断子选项的选择。故在一些实施例中,如图4或图5所示,圆盘选项菜单160的中心区域1602还可以同步显示指针1601所指的子选项的名称,以进一步辅助此类视觉障碍用户判断子选项的切换与否。可选地,在其他实施例中,指针1601所指的子选项的名称也可以显示在圆盘选项菜单160的其他位置,本申请对此不作限制。

上面结合图4至图5介绍了视障用户唤起备忘录315首界面对应的圆盘选项菜单160,以及通过圆盘选项菜单160来进行子选项选择的方式,并且,从图4(C)中可以看出,圆盘选项菜单160中的各个子选项均是与备忘录315首界面对应的一些功能选项,这样可以又便于视障用户快速选择备忘录315首界面的功能选项,并利用相应的功能选项实现对应的功能。

但是,可以理解,在一些实施例中,上述圆盘选项菜单160中的子选项不仅可以包括备忘录315首界面对应的功能选项,还可以包括其他适用于全部应用程序各个界面的一些功能选项,例如,暂停屏幕朗读、连续朗读、暂停辅助功能等等,以便于视障用户可以在任何一个界面都可以进行前述功能对应的操作。

并且,为了区分专属于某一个应用程序中界面的功能选项以及适用于全部应用程序的功能选项,在一些实施例中,圆盘选项菜单160中不同种类的功能选项可以分区显示。例如,图6(A)所述,在区域P1显示备忘录315对应的功能选项,也即上图4(C)中的全部或部分功能选项,在区域P2显示适用于全部应用程序的功能选项。可以理解,区域P1和区域P2仅为示例性的,并不构成对本申请圆盘选项菜单160的分区的具体限制,在一些实施例中,区域P1和区域P2可以是连续的,也可以是间隔的,区域P1所包含的功能选项可以多于区域P2所包含的功能选项,也可以少于区域P2所包含的功能选项,甚至在其他实施例中,圆盘选项菜单160还可以包括更多或者更少的分区,本申请对此不作任何限制。

进一步地,在一些实施例中,本申请对圆盘选项菜单160中各个功能选项的排布方式也不作限制。具体地,举例来说明,在图4(C)所示的圆盘选项菜单160中,各个专属于备忘录315首界面的子选项的排布方式可以是顺时针排布,也可以是逆时针排布,可以是按照视障用户的个人使用习惯进行排布(例如,按照视障用户使用各个子选项的次数进行排序填充),也可以是按照大数据获取的常用操作进行排布(例如,按照大数据获取的在备忘录315中,大多数用户使用各个子选项的次数进行排序填充),本申请对此也不作任何限制。

而对于图6(A)所示的分区的圆盘选项菜单160而言,其种的各个功能选项的排布方式则可以如图6(B)所示,即区域P1按照视障用户的个人使用习惯进行排布(例如,按照视障用户使用各个子选项的次数进行排序填充),区域P2也可以是按照大数据获取的常用操作进行排布(例如,按照大数据获取的在备忘录315中,大多数用户使用各个子选项的次数进行排序填充)按照大数据获取的常用操作进行排布,或者反过来,区域P2按照视障用户的个人使用习惯进行排布(例如,按照视障用户使用各个子选项的次数进行排序填充),区域P1也可以是按照大数据获取的常用操作进行排布(例如,按照大数据获取的在备忘录315中,又或者区域P1按照顺时针(或逆时针)排布,区域P2按照逆时针(或顺时针)排布,本申请对此功能选项在圆盘选项菜单中的排布方式不作任何限制。

更进一步地,在其他实施例中,为了使得圆盘选项菜单160中的各个子选项的更加贴合视障用户的实际使用习惯,手机100可以间隔预设时长按照预设规则更新圆盘选项菜单160中各个功能选项的排布方式。在一些实施例中,预设时长可以是1天、2天…1周等时长,但是应理解,预设时长不应过短,例如间隔1秒、2秒或者1个小时、2个小时等时长,因为预设时长过短不利于视障用户通过记忆的方式切换圆盘选项菜单中的各个子选项,除此之外,本申请对预设时长的取值不作任何限制。在一些实施例中,本申请对预设规则的具体实现方式也不作任何限制,预设规则可以是按照用户近期的使用的习惯,例如视障用户近期使用某些功能选项的次数,重新排布圆盘选项菜单160中的各个子选项。

上面介绍了视障用户在备忘录315首界面唤起该界面对应的圆盘选项菜单160以及圆盘选项菜单160所包括的功能选项的种类、排布方式等,下面介绍视障用户基于上述圆盘选项菜单160中的功能选项对图4中所示的文本内容170进行具体操作的方式。具体地,为了便于描述,以视障用户对文本内容170进行“全选”操作为例进行说明。

具体地,在一些实施例中,“全选”操作为圆盘选项菜单160的第一子选项“操作编辑框”的下的二级子选项。因此,视障用户通过上图4至图5的方式控制圆盘选项菜单160的指针1601指向操作编辑框,选中操作编辑选项后,视障用户需抬手进入如图7(A)所示的操作编辑框的二级子选项“将光标移至开头”,同时手机100的底部区域180显示有二级子选项的名称,并且手机100会以上述语音播报的方式向视障用户反馈此时二级子选项的名称的。

之后,视障用户通过上下滑动手指,即可对二级子选项进行切换。例如,视障用户通过向下滑动手指,二级子选项则从当前的“将光标移动至开头”切换至如图7(B)所示的“全选”二级子选项,同样的,视障用户此时只需抬手即可控制手机100执行“全选”子选项对应的全选功能,即如图7(C)所示,备忘录315上的文本内容170被全部选择。

如前所述,上文是便于说明,以备忘录315对应的圆盘选项菜单160中的各个子选项、以及具体地某个子选项下的二级子选项(例如,“操作编辑框选项”下的二级子选项“全选”)为例对本申请的技术方案进行介绍。可以理解,本申请的同时同样适用于视障用户在其他应用程序唤起该应用程序某个界面对应的圆盘选项菜单,并且,同样可以理解,在任何一个应用程序的某个界面对应的圆盘选项菜单中的各个子选项都与该界面对应,例如,假设视障用户是在手机100的首界面,那么对应的圆盘选项菜单中的各个子选项应该为手机100首界面所包括的各个应用程序。

下面对此展开介绍。在此之前需要说明的是,下文中的各个实施例与上述各个实施例的区别在于圆盘选项菜单160对应的界面不同,其他关于圆盘选项菜单的内容与上文均一致或类似,例如圆盘选项菜单中各个选项的排布方式、圆盘选项菜单的分区、圆盘选项菜单的更新方式等等,具体可参考上述文相关的描述,下文对此部分内容将简要介绍。

具体地,结合图8对上述方法进行进一步详细描述。

如图8(A)所示,假设手机100当前界面为手机100的桌面,从图8(A)可以看出,此时手机100桌面显示有多个应用程序的图标,例如时钟309、日历311、图库313、备忘录315、文件管理317、电子邮件318、音乐321、计算器323、华为视频325、运动健康326、天气327、浏览器331、智慧生活333、设置335、录音机337、应用商城339等等。

视觉障碍用户如需在上述众多应用程序中进入特定的应用程序,只需要手机100的屏幕任意位置画一个与圆心角为180°至300°的圆弧130,即可唤起如图8(B)所示的手机100的应用程序选项菜单140。其中,如图8(C)所示,该应用程序选项菜单140中包括如下子选项:1.时钟,2.日历,3.图库,4.备忘录,5.文件管理,6.电子邮件,7.音乐,8.计算器,9.华为视频,10.运动健康,11.天气,12.浏览器,以供用户进行选择。

可以理解的是,在一些实施例中,应用程序选项菜单140可以包括更多或更少的子选项,本申请对此不作限制。在本实施例中,应用程序选项菜单140中各个子选项的排布方式是按照桌面上各个应用程序从左至右的顺序以此排列的,可以理解,在一些实施例中,应用程序选项菜单140中各个子选项的排布方式也可以按照用户习惯排列,例如用户在某段时间内经常使用

表1

那么对应地,上图8(C)中各个子选项的排布则为:

在其他实施例中,上述应用程序选项菜单140中包括的子选项菜单还可以由手机100根据用户近期的使用习惯定期进行调整。示例性的,用户在工作日出于工作需求,可能使用

表2

其中,可以理解,手机100可以仅对应用程序选项菜单140中的一部分子选项进行调整,也可以为应用程序选项菜单中的全部子选项进行调整。

在一些实施例中,手机100也可以对应用程序选项菜单中的一部分子选项按照用户使用习惯进行调整,而对另一部分子选项则可以按照各个应用程序在应用程序商店的评分进行排布,例如上图6(B)所示的,手机100对P1区域的子选项按照大数据获取的常用操作或者常用应用程序进行排布,手机100对于P2区域的子选项则可按照个人使用习惯进行排布,本申请对此不作限制。

应理解,上述关于应用程序菜单选项140中各个子选项的种类、数量、排布方式仅为示例性的,在其他实施例中,手机100还可以根据其他规则对应用程序菜单选项140中各个子选项进行排布,本申请对应用程序菜单选项140中包括的各个子选项的种类、数量以及排布方式、排布规则均不作限制。

可以理解,除了手机100根据预设的规则对应用程序选项菜单140中各个子选项进行排布,在其他实施例中,用户自己也可以通过如图9所示的手机100的转子菜单设置界面152中人为增加或删除应用程序选项菜单140中的子选项,例如,用户可以删除浏览器子选项,或者只能新增

假设用户对图8(C)所示的应用程序选项菜单140中的各个子选项进行调整,例如用户在图9所示的转子菜单设置中新增了应用程序电话,新闻,

同样,可以理解的,本申请对应用程序选项菜单140的形状以及显示在手机100屏幕的位置也不作限制,在一些实施例中,应用程序选项菜单140也可以是方形、椭圆形等等。在另一些实施例中,应用程序选项菜单140可以显示在手机100的屏幕中心位置,即应用程序选项菜单140的中心与手机100的屏幕中心位置一致,在其他实施例中,应用程序选项菜单140也可以显示在手机100屏幕的其他位置,例如屏幕中心偏上、偏下、偏右、偏左,等等,本申请对此不作限制。

在唤起手机100的应用程序选项菜单140后,手机100会同步对用户进行语音提示,以提醒用户此时以进入应用程序选项菜单140,之后,用户只需在手机100屏幕上上下滑动手指,即可切换应用程序选项菜单140的子选项,例如图11(A)所示,假设应用程序选项菜单140的转子指针1401初始位置指向应用程序时钟309,从图11(A)可以看出,选择框150此时也停留在时钟309上,此时手机100会同步进行语音提示,以提醒用户此时子选项为时钟309,当用户向右滑动手指时,如图11(B)所示,应用程序选项菜单140的转子指针1401会转至应用程序日历311上,并且同步于转子指针1401的转动,选择框150也从时钟309的位置移动至日历311的位置,同样的,此时手机100依旧会进行语音提示,以提醒用户当前子选项为日历311。用户此时只需抬起手指,手机100便打开或运行日历311,以进入如图11(C)所示的日历311的首界面。

在一些实施例中,为了避免手机100将用户短暂抬手指的动作误识别为选定动作,手机100可将用户选定的动作设置为用户抬起手指超过预设时长,其中,预设时长可以为1秒、2秒、3秒等时长,本申请对此不作限制。

在另一些实施例中,由于手机100还可以设置选项菜单的退出机制,例如手机100可以将选项菜单的退出机制设置为,用户超过某一时长(例如,5秒、10秒等)仍然没有进行相关操作,那么手机100就退出选项菜单;手机100可以设置特定的手势动作,当用户的手势满足该特定手势动作后,手机100就退出选项菜单,例如,手机100可以将用户“先向下再向左”的手势动作设置为退出选项菜单,那么当手机100识别出用户做出“先向下再向左”的手势动作后,手机100就退出选项菜单。

上面介绍了视障用户对应用程序选项菜单140中的子选项进行选择,以使手机100打开或运行子选项所对应的应用程序的过程。从上文可以看出,应用程序选项菜单140内的每个子选项都直接对应的特定操作任务,子选项下没有二级选项菜单。例如,应用程序选项菜单140中每个子选项对应的都是应用程序,用户在选定某个子选项后,在松开手指后,手机100执行的任务就是打开或运行应用程序。

可以理解,在本申请的一些实施例中,子选项下也可以有二级选项子菜单、三级选项子菜单…等等更多级别选项菜单。具体地,为了便于理解,下面以视觉障碍用户通过上述方法进入备忘录315后,通过在屏幕任意位置画圆心角为180°至300°的圆弧,以唤起备忘录315内的圆盘选项菜单160为例进行详细说明。在此之前,需要说明的是,无论是何种选项菜单,其子选项的数量、种类、排布方式、排布规则与上图4和图5中相关描述一致或类似,具体可参考上述相关描述,本申请对此不再赘述。

还应理解,对于采用人工方式在手机100的转子菜单设置内增加或删除子选项的情况,可以是用户从手机100的系统设置进入到转子菜单设置界面对子选项进行增加、删除或者修改顺序,也可以是用户长按当前的应用程序选项菜单140或者当前的圆盘选项菜单160后,进入转子菜单设置界面;或者可以将转子菜单设置作为某个选项菜单的子选项,然后在唤起该选项菜单后,可以上下滑动手指,进入转子菜单设置界面。

应理解,本申请对用户如何进入转子菜单设置界面的方式不作限制。但是,需要说明的是,如果视障用户是通过手机100的系统设置进入转子菜单设置界面,则视障用户在该界面对各个子选项进行的增删、调整顺序等操作可能适用于手机100中全部选项菜单,如果视障用户是通过长按某个选项菜单进入转子菜单设置界面的,则视障用户在该界面对各个子选项进行的增删、调整顺序等操作仅适用于该选项菜单。

举例来说明,假设视障用户是通过长按上图8(B)所示的应用程序选项菜单140进入图9所示的转子菜单设置界面152,那么用户在该界面152增加或删除的子选项仅会改变图8(B)所示的应用程序选项菜单140中各个子选项的种类、数量以及排布方式。

假设视障用户是通过手机100的系统设置进行如图9所示的转子菜单设置界面152的,那么视障用户在该界面152增加或删除的子选项将改变手机100的全部选项菜单,例如图8(B)所示的应用程序选项菜单140以及上图4(C)所示的圆盘选项菜单160中的子选项的种类、数量以及排布方式,本申请对此不作限制。

上文结合图4至图11介绍了两种菜单选项下用户操控手机的过程,视障用户可通过图4至图11所示的步骤实现对手机100的操作,通过上述方法视障用户可以仅用单手进行画圆弧操作,并且在此过程中视障用户可以一手握持手机100进行稳固,通过另一个手实现画弧操作,避免了上述实施例中视障用户需要用双手进行操作可能导致的设备掉落问题,而且,视障用户可以通左右滑动来切换选项菜单中的各个子选项,并且在选中某一个子选项后只需抬手即可使手机100执行子选项对应操作,无需手指定位到特定操作区再执行操作,对于视障用户更加友好。

并且如前文所述的,选项菜单中各个子选项的项排布方式可以由手机100按照一定的规则进行重新排布,例如将用户常用的操作或则应用程序固定在选项菜单的固定位置,用户就可根据记忆来快速定位,提高了用户的体验。

为了更清楚地理解本申请人机交互方法,下面结合图12至图15介绍手机100执行本申请人机交互方法的具体实现细节。本申请人机交互方法包括:手机100在无障碍模式下获取用户的第一触控操作,然后手机100将该第一触控操作与预设第一手势进行匹配,如果第一触控操作与预设第一手势匹配成功,则显示当前界面对应的选项菜单,并向用户播报选项菜单,如果第一触控操作与预设第一手势不匹配,则手机100将该第一触控操作与预设第二手势进行匹配,如果该第一触控操作与预设第二手势匹配,则手机100执行预设第二手势对应的功能,如果第一触控操作与预设第二手势也不匹配,则表明该第一触控操作可能属于用户误操作的手势,手机100不执行任何动作。

其中,预设第一手势指的是手机100在无障碍模式下为视障用户设计的手势,预设第二手势指的是手机100在正常模式下,适用于所有用户交互的手势。在一些实施例中,预设第一手势包括圆弧、类圆弧等,预设第二手势可以包括上划、下划、滑动、翻手掌等等,本申请对预设第二手势的种类不作限制。在一些实施例中,预设第二手势可以与预设第一手势相同,例如均可以为上下滑动手指或者左右滑动手指,本申请对此也不作限制。

其中,无障碍模式是相对于正常模式而言的,可以理解,在本申请的一些实施例中,视障用户可以通过开启屏幕朗读模式,以使手机100进入无障碍模式,具体细节将在下文介绍。

下面对本申请人机交互方法进行展开介绍,具体地,如图12所示,方法1200包括:

1202,在第一工作模式下获取用户根据语音提示信息所做的第一触控操作。

其中第一工作模式指的是无障碍模式,对于视障用户而言,需要开启手机100的无障碍模式,以使手机100能够响应其利用无障碍手势所做的触控操作。具体地,如图13所示,视障用户可以在图13(A)所示的设置界面190中,选择辅助功能191,然后手机100进入如图13(B)所示的辅助功能界面192,之后视障用户可以在辅助功能界面192选择无障碍模式193,然后如图13(C)所示,当手机100显示无障碍模式界面194后,视障用户可以选择屏幕朗读开启屏幕朗读模式195,随后手机100显示如图13(D)所示的屏幕朗读模式界面196,视障用户可以在该界面196中,开启屏幕朗读模式197。在一些实施例中,视障用户也可以通过智能助手/状态栏或者快捷按钮/快捷手势来开启屏幕朗读模式197。例如,视障用户可以在手机100的桌面主进行指关节连续敲击,即可使手机100开启屏幕朗读模式。可以理解,屏幕朗读模式也可以由没有视觉障碍的人士协助开启,本申请对开启屏幕朗读模式的方式不作限制。

而且对于视觉障碍用户而言,也需要依靠实时的语音提示,以确定当前所处的手机100的界面,然后根据当前所处的手机100的界面,确定下一步应该怎么操作。例如,当视觉障碍用户处于图8所示的手机100的桌面时,需要手机100语音提示视觉障碍用户,此时手机100显示的为桌面,以使视觉障碍用户决定是否作出第一触控操作唤起应用程序选项菜单140。其中,第一触控操作为用户作出的期望唤起选项菜单的手势,第一触控操作可以由手机100的触控传感器进行检测。用户可以在手机100屏幕的任意位置作出第一触控操作,例如在屏幕中心作出第一触控操作,又或者在屏幕中心偏左、偏右、偏上、偏下等位置作出第一触控操作,本申请对此不作限制。在一些实施例中,第一触控操作也可以为隔空手势,例如用户在距离屏幕几厘米出所作的手势,本申请对此也不作限制,但是在这种情况下,手机100将通过摄像头等传感器采集用户所作的隔空手势。

1204,判断第一触控操作是否与预设第一手势匹配。

当手机100进入无障碍模式后,手机100将优先检测为视障用户设计的手势,也即手机100获取视障用户所作第一触控操作后,优先将该第一触控操作与为视觉障碍用户设计的预设第一手势进行比较。

当第一触控操作与预设第一手势匹配时,手机100显示当前界面对应的选项菜单,并向用户播放选项菜单(1206);

当第一触控操作与预设第一手势不匹配时,手机100则将第一触控操作与预设第二手势进行匹配(1208);

当第一触控操作与预设第二手势匹配时,手机100执行预设第二手势对应的功能(1210);

当第一触控操作与预设第二手势也不匹配,则手机100确定该手势为视障用户的误操作手势,不执行任何操作,并重新在第一工作模式下获取用户所做的第一触控操作(1202)。

更为具体地,手机100可以预先设置预设第一手势和预设第二手势,其中,预设第一手势用于视障用户与手机100交互的场景,预设第二手势则用于视力正常的用于与手机100交互的场景。在一些实施例中,预设第一手势与预设第二手势可以有相同的手势,而且相同的手势可以表征相同或不同的操作。例如,无论是正常交互场景还是无障碍交互场景,滑动操作均可以表示切换当前选项菜单。当手机100进入无障碍模式后,手机100会优先将获取的第一触控操作与预设第一手势进行匹配。举例来说明,用户左/右滑动手指在正常交互场景中通常用来执行返回操作,但是在无障碍场景中,用户左/右滑动手指一般用于进行选项切换。故当在屏幕朗读模式开启开始时,手机100如果检测到用户左/右滑动手指,那么手机100会优先确定当前界面是否可以执行选项切换,如果当前界面正在展示选项列表,那么手机100在选项列表的选项之间进行选项切换,如当前界面不能执行选项切换,则手机100执行返回操作。

如果第一触控操作与预设第一手势匹配,则手机100就显示与当前界面对应的选项菜单,并向视障用户反馈该选项菜单已经被唤起。

可以理解,只有用户作出的第一触控操作与预设第一手势相匹配的情况下,手机100才会执行预设第一手势对应的功能,即唤起当前界面的选项菜单,并同时向用户反馈选项菜单已经被唤起。

其中,手机100可以通过振动或者语音播报的方式,提示用户当前界面的选项菜单已经唤起,例如手机100可以在第一触控操作与预设第一手势匹配成功的同时,发生振动,以提示用户手势认证成功,并且已经唤起当前界面对应的选项菜单,又或者手机100可以在唤起选项菜单后,通过语音播报“当前显示为选项菜单”,以提示用户选项菜单已被唤起。

其中,预设第一手势为手机100设置的手势。为了与上述实施例中“先向右再向左”、“先向右再向下”这样有明显的转折的手势区分开,第一触控操作可以为圆心角为180°至300°之间的圆弧,例如用户在屏幕任意位置画的一个圆心角为240°的圆弧,或者圆心角为180°的圆弧,又或者是圆心角为300°的圆弧。其中,圆弧可以为逆时针的圆弧,也可以为顺时针的圆弧,本申请对此不作限制。

但是,可以理解,在实际的手势交互中,用户画出的往往是类圆弧,故在一些实施例中,手机100可以通过判断用户所作的第一触控操作的曲率是否满足要求,进而判断用户所作的第一触控操作是否为圆弧,当用户做出的第一触控操作的曲率大于或等于预设曲率后,即认为用户所作的第一触控操作为“圆弧”。图14(A)至图14(D)示出了标准圆弧、以及一般用户所作的类圆弧,和上述实施例中“先向右再向左”、“先向右再向下”的手势示意图,从图中可以看出,采用圆弧作为预设手势的可识别度要更高一些。应理解,本申请对曲率的设置方式不作任何限制。

在另一些实施例中,曲率和弧度也可以是用户初次使用该功能时,由手机100引导用户进行若干次训练得到的,例如图15(A)所示,手机100界面显示空白处,并弹出信息框S以提示用户“请画一个不闭合的圆形,在半圆以上即可”,并同时语音播报该提示信息,然后用户根据手机100语音播报的提示,在屏幕的空白处画一个不闭合的圆形,手机100将采集用户所画的圆形,然后与预先设置的曲率和弧度进行比较,如果符合要求,则继续重复该步骤若干次(如图15(C)所示),以使手机100能够利用用户画的符合要求的圆弧,优化得到更符合用户习惯的圆弧的曲率和弧度,最后如图15(D)所示通过信息框S信息以及语音播报提示用户“恭喜你,完成手势练习”。

如果用户在某一个手势练习失败后,手机100的信息框S则弹出提示信息,并同时进行语音播放,以指导用户针对性地进行改正,以画出符合要求的圆弧。例如,则如图15(E)所示,假设用户所作的圆弧的弧度太小,那么手机100信息框S弹出的提示信息,以及语音播报的提示信息则为“弧度太小,识别失败,请重画”。

可以理解,上述提示用户继续进行手势练习的方式可以包括但不限于语音播报以及弹出信息框等方式,还可以是通过振动提示用户继续进行手势练习,例如,如果用户所画的手势不符合要求,手机100通过连续振动、或者振动若干次的方式提示用户此次所画的手势不符合要求,本申请对此不作限制。

如果第一触控操作与预设第一手势不匹配,则手机100就将第一触控操作与预设第二手势进行匹配:

如果第一触控操作与预设第二手势匹配,则手机100执行预设第二手势对应的功能。

可以理解,当第一触控操作与预设第一手势不匹配时,说明第一触控操作从形式上来讲不属于为视障用户设计的手势,故手机100将第一触控操作与预设第二手势进行匹配。当预设第一手势与预设第二手势匹配时,即表明第一触控操作在形式与预设第二手势相近,故手机100将执行与第二手势匹配的预设第二手势对应的功能。可以理解,如上文所述的预设第二手势可以有很多种,每一种预设第二手势都对应着不同或相同的功能,当第一触控操作与预设第二手势匹配时,手机100将执行与第一触控操作相匹配的一种预设第二手势对应的功能。例如,假设第一触控操作为上划,那么预设第二手势中的上划对应的功能为关闭当前界面,则手机100将关闭当前界面。

如果第一触控操作与预设第二手势也不匹配,则手机100确定该第一触控操作为视障用户的误操作,将重新获取用户的第一触控操作。

可以理解,如果第一触控操作与预设第一手势以及预设第二手势均不匹配,那么手机100则确定该第一触控操作属于视障用户的误操作,手机100不会执行任何动作,并且在第一工作模式下获取用户所作的第一触控操作。

图16示出了一些实施例提供的一例手机100的硬件结构示意图。

手机100可以包括处理器11,存储器12,触控单元13,显示屏14,马达15以及语音播报单元16。

可以理解的是,本申请实施例示意的结构并不构成对手机100的具体限定。在本申请另一些实施例中,手机100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。

处理器11中还可以设置存储器,用于存储指令和数据。在本申请的实施例中,处理器11可以执行对应用的界面显示方法。

存储器12可以用于存储计算机可执行程序代码,可执行程序代码包括指令。内部存储器12可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储手机100使用过程中所创建的数据(比如音频数据,电话本等)等。在本申请的实施例中,存储器12可以存储手机100预先设置的预设第一手势以及预设第二手势,存储器12可以临时存放手机100获取到的用户的第一手势,在其他实施例中,存储器12还用于存放手机100在引导用户进行手势训练时,获取到的用户的练习手势。

显示屏14用于显示图像,视频等。在本申请的实施例中,显示屏14为视障用户提供人机交互界面。视障用户在显示屏14上进行相应的触控操作。

触控单元13,也称“触控器件”。触摸传感器13可以设置于显示屏14,由触控制单元13与显示屏14组成触摸屏,也称“触控屏”。在本申请的实施例中,触控单元13用于识别用户在手机10的显示屏14上执行的用户操作以及获取用户操作的物理数据,例如,用户的手势,物理数据为用户操作包含的作用力,作用方向等。在一些实施例中,触控单元13能够实时检测用户的触摸输入,并跟踪用户的触摸点,以及根据用户的触摸输入点的轨迹,按照预设的触控逻辑,识别为对应的触摸手势并确定手势对应的操作,并输送到处理器11。

马达15,用于在处理器11的控制下,产生震动,给与用户震动(触觉上)反馈,在一些实施例中,当手机100引导用户进行手势练习时,马达15可以通过震动的方式提醒用户所作的手势不符合要求。

语音播报单元16,用于播报显示屏14界面上的文字信息,及/或,处理器11输送的需要语音播报的信息。在一些实施例中,语音播报单元16可以在手机100显示当前界面对应的菜单选项后,向用户播报该菜单选项,以提醒用户当前菜单选项已被唤起。在其他实施例中,语音播报单元16可以与马达15配合使用,以边播报边震动的方式提醒用户,给与用户反馈,本申请对此不作限制。

图17是本发明实施例的电子设备100的软件结构框图。

如图17所示,电子设备100可以分为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。

其中,应用程序层可以包括一系列应用程序包。

如图17所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。在本申请的实施例中,应用程序包可以包括图库应用等。

应用程序框架层可以包括视图系统,手势识别系统等。

在本申请的实施例中,手势识别系统用于识别用户在平板电脑100的屏幕上对图库应用执行的用户操作。

视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用的显示界面。显示界面可以由一个或多个显示元素组成的,这里显示元素是指在电子设备的屏幕中,应用的显示界面中的元素。例如,显示元素可以包括按钮、文本、图片、弹窗、菜单、标题栏、列表或者搜索框等。应用的显示界面可以包括至少一个显示元素。在本申请的实施例中,视图系统可以用于实现本申请的应用的显示界面的布局方案,例如,在应用启动时,视图系统可以基于应用的显示界面在平板电脑100的屏幕中的显示区域的大小,动态地调整显示界面中显示元素的位置;同时,视图系统还可以对应用的显示界面配置显示风格模型,并在应用启动时,视图系统使用应用的显示风格参数通过显示风格模型计算出显示界面中显示元素的显示效果。

Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。

核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。

系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(MediaLibraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。

表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。

三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。

2D图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。

本申请实施例还提供了一种电子设备,该电子设备包括:至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。

本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品,当计算机程序产品在移动终端上运行时,使得移动终端执行时实现可实现上述各个方法实施例中的步骤。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括:能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(read-only memory,ROM)、随机存取存储器(random accessmemory,RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中,应该理解到,所揭露的装置/网络设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/网络设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。

应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。

以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

相关技术
  • 引导电子设备系统开机的方法,电子设备,可读存储介质
  • 电子设备的操作响应方法、电子设备及存储介质
  • 电子设备的显示控制方法、装置、电子设备和存储介质
  • 电子设备控制方法及装置、电子设备及存储介质
  • 电子设备控制方法、存储介质及电子设备
  • 意图识别方法、人机交互方法、电子设备及存储介质
  • 深度神经网络模型的训练方法、人机交互识别方法、装置、电子设备及存储介质
技术分类

06120115934171