提供虚拟输入键的移动电子装置和方法

相关申请的交叉引用

本申请要求于2020年2月14日提交的申请号为16/791,567的美国专利申请的优先权，其全部内容通过引用合并于此。

技术领域

本申请总体上涉及人机界面(Man-Machine Interface，MMI)技术，并且更具体地，涉及用于提供虚拟输入键的装置和方法。

背景技术

越来越多地，触摸屏被用作与诸如智能手机、媒体播放器设备、便携式游戏机等之类的移动电子装置进行交互的替代方式。在大多数实践中，触摸屏包括与触摸板集成或放置在触摸板下方的显示屏，通常触摸屏放置在移动电子装置的主板上，通过使用指针、手写笔、触控笔或其他工具向用户提供图形用户界面(Graphical User Interface，GUI)以进行交互。

对于在智能手机上执行的移动游戏应用程序(application，APP)而言，触摸屏上提供的GUI通常是从用户接收游戏控制输入的唯一媒介。随着移动游戏APP的复杂性增长，用户需要各种输入来控制游戏角色的动作。图1是示出第一人射击(First-PersonShooting，FPS)游戏的GUI的示意图。如图1所示，在GUI的左下角和右下角有几个动作按钮，包括“移动”、“瞄准”、“射击”、“跳跃”和“重新加载”等，并且用户通常用他/她的两个拇指按下动作按钮来控制游戏角色的动作。然而，在需要游戏角色的复杂动作的时候，用户会发现很难仅用两个拇指同时按下多个动作按钮。

该问题的常见解决方案是提供硬件附件，例如游戏手柄、操纵杆和物理按钮，以允许更多的手指按下动作按钮。图2是示出了移动游戏手柄组的示意图。然而，在他/她可能想要在某个时间玩移动游戏的情况下，用户需要携带移动游戏手柄组，这给用户带来不便。而且，用户需要在玩移动游戏之前安装移动游戏手柄组，但是移动游戏手柄组的安装很费时间。

因此，期望有一种自由添加(add-on-free)的MMI，以帮助用户与移动游戏APP进行更灵活的交互。

发明内容

本申请提出了一种自由添加的MMI，其提供了虚拟输入键用于帮助用户与移动游戏APP进行更灵活的交互。具体地，在移动电子装置的壳体上提供额外的孔作为虚拟输入键。额外的孔可以允许移动电子装置内的音频接收器(例如，麦克风)接收由音频输出设备(例如，扬声器)输出的参考信号。基于经由额外的孔接收的参考信号，可以检测在额外的孔上发生的触摸事件。

在本申请的一方面，提供了一种包括音频接收器和控制器的移动电子装置。音频接收器被配置为经由移动电子装置的壳体上的第一孔和第二孔接收参考信号。控制器被配置为根据接收到的参考信号检测第二孔上的触摸事件。

在本申请的另一方面，提供了一种用于提供虚拟输入键的方法，该方法由包括音频接收器的移动电子装置执行。该方法包括以下步骤：将音频接收器配置为经由移动电子装置的壳体上的第一孔和第二孔接收参考信号；以及根据接收到的参考信号检测第二孔上的触摸事件。

根据本申请所提供的提供虚拟输入键的移动电子装置和方法，可以帮助用户与在移动电子装置上执行的移动游戏APP进行更灵活的交互。

通过阅读以下对移动电子装置和用于提供虚拟输入键的方法的特定实施例的描述，本申请的其他方面和特征对于本领域普通技术人员将变得显而易见。

附图说明

通过阅读以下参考附图的详细描述和示例，可以更充分地理解本申请，其中：

图1是示出FPS游戏的GUI的示意图；

图2是示出了便携式游戏手柄组的示意图；

图3示出了根据本申请的实施例的移动电子装置的前视图；

图4示出了根据本申请的实施例的移动电子装置100的透视图；

图5示出了根据本申请的实施例的移动电子装置100的音频接收器周围的细节；

图6示出了根据本申请的实施例的声管的截面图；

图7A和图7B示出了根据本申请的实施例的在改变之前和改变之后的音频信号；

图8是示出根据本申请的实施例的移动电子装置100的框图；

图9是示出根据本申请的实施例的用于提供虚拟输入键的方法的流程图；

图10是示出根据本申请的实施例的包括毛刺脉冲的au音频信号的示例图；和

图11是示出根据本申请的实施例的在长按子孔之前和之后的au音频信号的示例性示图。

具体实施方式

以下描述是出于说明本申请的一般原理的目的，并且不应以限制意义来理解。应当理解，实施例可以以软件、硬件、固件或其任何组合来实现。当在本申请中使用时，术语“包含(comprise)”、“包含(comprising)”、“包括(include)”和/或“包括(including)”指定存在所述特征、整数、步骤、操作、元件和/或组件，但不排除存在或一个或多个其他特征、整数、步骤、操作、元件、组件和/或其组的添加。

图3示出了根据本申请的实施例的移动电子装置的前视图。

便携式电子装置100可以是智能手机、平板电脑、媒体播放器设备或便携式游戏机等。

如图3所示，便携式电子装置100以横向放置，并且在便携式电子装置100的左上角和右上角分别设置有主孔和子孔。具体地，主孔和子孔是便携式电子装置100的壳体上的开口。

尽管未示出，但是移动电子装置100可以包括两个分离的音频接收器，其布置在左上角和右上角附近。左上角上的主孔和子孔可以被配置为允许音频信号传递到布置在移动电子装置100内的左上角附近的音频接收器。右上角上的主孔和子孔可以被配置为允许音频信号传递到位于移动电子装置100内的右上角附近的音频接收器。

基于每个音频接收器接收的音频信号，可以检测每个子孔上的触摸事件。因此，每个子孔都可以用作虚拟输入键。例如，左上角上的子孔可以用作虚拟输入键L1用于从左手指(例如，左食指)接收额外的输入，并且右上角的子孔可以用作为虚拟输入键R1用于从右手指(例如，右食指)接收额外的输入。

图4示出了根据本申请的实施例的移动电子装置100的透视图。

如图4所示，便携式电子装置100以纵向放置，并且显示了便携式电子装置100的背面和侧面。

更具体地，两个子孔设置在便携式电子装置100的侧面上，其中一个子孔设置在便携式电子装置100的侧面的顶部附近，另一个子孔设置在便携式电子装置100的侧面的底部附近。

图5示出了根据本申请的实施例的移动电子装置100的音频接收器周围的细节。

如图5所示，主孔和子孔设置在移动电子装置100的角上，以允许音频信号通过移动电子装置100的外壳到达移动电子装置100内部的音频接收器。

为了进一步阐明，进入主孔的音频信号可以在所有频率上具有平坦的幅度响应，而进入子孔的音频信号可以在较高的频率(即，高于预定阈值的频率)处增强。

具体地，子孔允许音频信号的所有频率穿过子孔，但是在从子孔到音频接收器的传播期间音频信号的较高频率处增强。

在一个实施例中，声管(acoustic tube)可以耦接在移动电子装置100的音频接收器和转角处的子孔之间，并且声管可以被配置为增强进入子孔的音频信号的较高频率(例如，用于识别子孔上的长按事件和/或敲击事件)并将增强后的音频信号引入音频接收器。

类似地，声管可以耦接在移动电子装置100的音频接收器和转角处的主孔之间，但是声管可以被配置为以平坦的幅度响应传递音频信号的所有频率，并且将音频信号引入音频接收器。

在另一个实施例中，声管可以耦接在移动电子装置100的音频接收器和转角处的子孔之间，可以配置为以平坦的幅度响应传递音频信号的所有频率(例如，用于识别子孔上的点击事件)并将音频信号引入音频接收器。

图6示出了根据本申请的实施例的声管的截面图。

如图6所示，声管可以包括各种部件，并且这些部件的组件形成将一个子孔连接到一个音频接收器的导管。特别地，零件可以由不同的材料制成，例如橡胶和印刷电路板(Printed Circuit Board，PCB)等，并且由于用于部件的材料和结构不同，通过声管的音频信号可能会随着更高频率的增强而改变，或者在所有频率下都可能保持不变。

图7A和图7B示出了根据本申请的实施例的在改变之前和之后的音频信号。

如图7A所示，进入子孔的音频信号可以表示为绕线曲线，纵轴表示幅度，横轴表示频率。

如图7B所示，由音频接收器接收的音频信号可以表示为不同的曲线，其中较高的频率在从子孔到音频接收器的传播期间被增强。

图8是示出根据本申请的实施例的移动电子装置100的框图。

如图8所示，移动电子装置100可以包括一个或多个音频输出设备10、一个或多个音频接收器20、控制器30、存储设备40和显示设备50。

每个音频输出设备10可以是扬声器，该扬声器被配置为在移动电子装置100进入游戏模式时(即，当启动移动游戏APP时)输出参考信号。

具体地，参考信号处于人类听觉范围之外的频率。例如，人耳可以感知到20Hz(最低音调)到20KHz(最高音调)之间的频率。因此，低于20Hz或高于20KHz的任何声音可能是人耳无法察觉的，并且可以用作参考信号。

在另一实施例中，一个或多个音频输出设备10可以在移动电子装置100的外部，并且可以无线地连接到移动电子装置100以接收指示一个或多个音频输出设备10输出参考信号的命令。

每个音频接收器20可以是麦克风，其被配置为经由间接地连接到音频接收器20的主孔和子孔接收参考信号。

控制器30可以是通用处理器、微控制单元(Micro Control Unit，MCU)、应用处理器、基带处理器、数字信号处理器(Digital Signal Processor，DSP)、图形处理单元(Graphics Processing Unit，GPU)、全息处理单元(Holographic Processing Unit，HPU)、神经处理单元(Neural Processing Unit，NPU)等，包括用于提供数据处理和计算功能、控制一个或多个音频输出设备10输出参考信号、控制一个或多个音频接收器20接收参考信号、向存储设备40存储数据和从存储设备40获取数据(例如程序代码)、并向显示设备50发送与移动游戏APP的GUI相关的一系列帧数据(例如代表文本消息、图形、图像等)的各种电路。

特别地，控制器30协调一个或多个音频输出设备10、一个或多个音频接收器20，存储设备40和显示设备50的上述操作，以执行用于提供虚拟输入键的方法。

如本领域技术人员将理解的，控制器30的多个电路通常将包括多个晶体管，该晶体管被配置为根据本申请描述的功能和操作来控制电路的操作。如将进一步理解的，多个晶体管的具体结构或互连通常将由诸如寄存器传输语言(Register Transfer Language，RTL)编译器的编译器确定。RTL编译器可以由处理器在与汇编语言代码非常相似的脚本上进行操作，以将脚本编译为用于最终电路布局或制造的形式。的确，RTL以其在促进电子和数字系统设计过程中的作用和用途而闻名。

存储设备40可以是非暂时性机器可读存储介质，包括诸如FLASH存储器或非易失性随机存取存储器(Non-Volatile Random Access Memory，NVRAM)的存储器或诸如硬盘或磁带、光盘之类的磁存储设备，或它们的任意组合以用于存储多个移动游戏APP、多个通信协议和/或提供虚拟输入键的方法的数据、指令和/或程序代码。

显示设备50可以是用于显示多个移动游戏APP的GUI的液晶显示器(Liquid-Crystal Display，LCD)、发光二极管(Light-Emitting Diode，LED)显示器、有机LED(OLED)显示器或电子纸显示器(Electronic Paper Display，EPD)等。可选地，显示设备50可以进一步包括一个或多个布置在其上或下方的触摸传感器，用于感测诸如手指或笔的对象的触摸、接触或接近。

应当理解，在图8的实施例中描述的组件仅用于说明目的，并不旨在限制本申请的范围。

例如，移动电子装置100可以包括更多组件，诸如电源、无线收发器和/或输入/输出(I/O)设备。电源可以是向移动电子装置100的所有其他组件供电的移动/可更换电池。无线收发器可以提供无线通信功能，以供需要互联网连接的多个移动游戏APP使用。I/O设备可以包括一个或多个按钮和/或摄像机等。

图9是示出根据本申请的实施例的用于提供虚拟输入键的方法的流程图。

在该实施例中，用于提供虚拟输入键的方法被应用于移动电子装置(例如，移动电子装置100)并由其执行，该移动电子装置在移动电子装置的壳体上具有至少两个孔以允许参考信号传递到移动电子装置内的音频接收器。

首先，移动电子装置检测到其被配置为进入游戏模式(即，启动了移动游戏APP)(步骤S910)。

响应于进入游戏模式，移动电子装置配置音频输出设备以输出参考信号(步骤S920)。

在一个实施例中，音频输出设备可以是移动电子装置内的组件(例如，音频输出设备10)。

在另一个实施例中，音频输出设备可以是移动电子装置外部的组件，其可以无线地连接到移动电子装置以从移动电子装置接收配置命令。

接下来，移动电子装置将音频接收器配置为经由便携式电子装置的壳体上的主孔和子孔接收参考信号(步骤S930)。

此后，移动电子装置确定接收到的参考信号是否包括毛刺脉冲(步骤S940)。

在步骤S940之后，如果所接收的参考信号包括毛刺脉冲，则移动电子装置检测到子孔上的敲击事件已经发生(步骤S950)，并且该方法结束。

具体地，敲击事件是指包括对象(例如，手指)快速接触子孔一次的触摸事件的类型，并且敲击事件可能导致在所接收的参考信号中出现毛刺脉冲，如图10所示。

在步骤S940之后，如果所接收的参考信号不包括毛刺脉冲，则移动电子装置确定与所输出的参考信号相比是否抑制了所接收的参考信号(步骤S960)。

在步骤S960之后，如果相对于输出参考信号抑制了所接收的参考信号，则移动电子装置检测到子孔上发生了长按事件(步骤S970)，并且该方法结束。

具体地，长按事件是指包括对象(例如，手指)接触子孔的时间长于预定阈值的时间的触摸事件的类型，并且长按事件可能导致通过子孔接收的参考信号被抑制，而通过主孔接收的参考信号不被抑制(假设没有任何东西阻塞主孔)。结果，如图11所示，音频接收器接收到的参考信号似乎在较高的频率上受到抑制。

鉴于前述实施例，应当理解，本申请通过提供至少一个虚拟输入键来实现一种灵活的MMI，以帮助用户与在移动电子装置上执行的移动游戏APP进行更灵活的交互。移动电子装置的外壳上的一个额外的孔，并使用通过该额外的孔接收的参考信号作为基础来检测触摸事件(例如敲击事件和/或长按事件)。有利地，可以显着改善在移动电子装置上玩移动游戏的用户体验。

虽然已经通过示例的方式并且根据优选实施例描述了本申请，但是应当理解，本申请不限于此。在不脱离本申请的范围和精神的情况下，本技术领域的技术人员仍然可以做出各种改变和修改。因此，本申请的范围应由所附权利要求及其等同物限定和保护。

在权利要求中使用诸如“第一”、“第二”等序数术语来修饰权利要求元素本身并不表示一个权利要求元素相对于另一个权利要求元素或执行方法动作的时间顺序具有任何优先级、优先权或顺序，其仅用作标签以区分具有相同名称的一个权利要求元素与具有相同名称的另一个元素(但用于序数词)来区分权利要求元素。