掌桥专利:专业的专利平台
掌桥专利
首页

移动设备的输入方法

文献发布时间:2023-06-19 10:51:07


移动设备的输入方法

背景技术

诸如智能电话、可穿戴计算机和平板电脑的电子设备是功能强大的工具,其经常被依赖用于商务和个人使用。机器学习增强这些设备的处理能力,其帮助设备预料其用户的偏好。但是,对于所有这些计算能力和人工智能,这些设备仍然是反应性的通讯器。也就是说,无论智能电话多么“智能”,并且无论用户像人一样与之交谈的多少,电子设备仍取决于在提供反馈之前被激活。为了激活移动设备,用户通常必须首先拿起设备,以使其意识到用户使用电子设备的打算。只有在这种物理交互之后,设备才能使应用和功能性对用户可用。因此,许多电子设备在用户进行显式交互之前会提供较差的用户体验。

发明内容

本文档描述能够实现用于移动设备的输入方法的技术和系统。该技术和系统使用雷达场以使电子设备能够准确地确定电子设备附近的用户的存在或不存在。此外,电子设备可以确定可以通过基于雷达的独立于触摸的手势(雷达手势)接收输入的应用是否正在电子设备上操作。使用这些技术,当用户的手在电子设备周围的手势区内(gesture zone)时,电子设备呈现反馈指示器。当雷达手势输入通常可用于与电子设备进行交互时,该反馈指示器使用户知道用户的手足够靠近电子设备以做出特定的雷达手势。这允许设备向用户提供反馈,该反馈可以教育用户电子设备的能够并允许用户利用雷达手势的可用性所提供的附加功能性和特征。

以下描述的方面包括在包括显示器和雷达系统的电子设备中实现的方法。该方法包括基于通过雷达系统接收到的雷达数据来确定用户的一部分在电子设备的手势区内。该方法还包括确定在电子设备上操作的应用被配置成接收雷达手势输入。该方法进一步包括,响应于确定用户的该部分在电子设备的手势区内以及确定在电子设备上操作的应用被配置成接收雷达手势输入,在电子设备的显示器上提供反馈指示器。反馈指示器的提供指示用户的该部分在手势区内,并且该应用可以接收雷达手势输入。

下面描述的各方面还包括电子设备,该电子设备包括显示器、雷达系统、计算机处理器和计算机可读介质。雷达系统至少部分地以硬件实现,并提供雷达场。雷达系统还感测来自雷达场中用户的反射,分析来自雷达场中用户的反射,并基于对反射的分析来提供雷达数据。该计算机可读介质包括存储的指令,该指令可以由计算机处理器执行以实现基于雷达的交互管理器。基于雷达的交互管理器确定在电子设备上操作的应用被配置成接收雷达手势输入。基于雷达的交互管理器还基于雷达数据确定用户的一部分在电子设备的手势区内。响应于在电子设备上操作的应用被配置成接收雷达手势输入的确定以及用户的该部分在电子设备的手势区内的确定,基于雷达的交互管理器使显示器呈现反馈指示器,该反馈指示器的呈现指示用户的该部分在手势区内并且应用可以接收雷达手势输入。

以下描述的方面包括一种系统,该系统包括显示器和电子设备,该电子设备包括用于提供雷达场的装置或与用于提供雷达场的装置相关联,该装置提供雷达数据,该雷达数据基于感测和分析来自雷达场中对象的反射。该系统还包括用于确定在电子设备上操作的应用被配置成接收雷达手势输入的装置。该系统还包括用于基于雷达数据确定用户的一部分在电子设备的手势区内的装置。该系统进一步包括用于响应于确定在电子设备上操作的应用被配置成接收雷达手势输入并且用户的该部分在电子设备的手势区内而在电子设备的显示器上呈现反馈指示器的装置,该反馈指示器的呈现指示用户的该部分在手势区内,并且应用可以接收雷达手势输入。

提供此发明内容以介绍与用于移动设备的输入方法有关的简化概念,这将在下面的详细描述和附图中进一步描述。此发明内容不旨在标识所要求保护的主题的必要特征,也不旨在用于确定所要求保护的主题的范围。

附图说明

在本文档中参考以下附图描述了用于移动设备的输入方法的一个或多个方面的细节。在整个附图中使用相同的标记来指代相似的特征和组件:

图1图示示例环境,其中可以实现能够实现用于移动设备的输入方法的技术。

图2图示可以实现用于移动设备的输入方法的包括雷达系统的电子设备的示例实施方式。

图3图示图1和图2的雷达系统的示例实施方式。

图4图示用于图3的雷达系统的接收天线元件的示例布置。

图5图示图1和图2的雷达系统的示例实施方式的附加细节。

图6图示可以由图1和图2的雷达系统实现的示例方案。

图7描绘能够实现用于移动设备的输入方法的示例方法。

图8-12图示包括反馈指示器的视觉元素,当雷达手势应用正在在电子设备上运行时其可以被呈现在图1和图2的电子设备的显示器上。

图13-15通过可以在不同模式下呈现在显示器上的视觉元素的示例图示在多种模式下操作的图1和图2的电子设备。

图16图示示例计算系统,该示例计算系统可以被实现为如参考图1至图15所描述的任何类型的客户端、服务器和/或电子设备,或者其中可以实现能够实现用于移动设备的输入方法的技术。

具体实施方式

概述

本文档描述能够实现用于移动设备的输入方法的技术和系统。所描述的技术采用雷达系统,其确定用户相对于电子设备的存在(或不存在)和位置。这些技术还确定设备何时运行可以通过基于雷达的独立于触摸的手势接收输入的应用。当设备正在运行这些应用之一并且用户存在时,这些技术会提供反馈指示器,给予用户可以接收雷达手势的反馈,并且有效地控制在电子设备上操作的应用。

在此描述中,术语“基于雷达的独立于触摸的手势”、“3D手势”或“雷达手势”指代远离电子设备的空间中手势的性质(例如,该手势不要求用户触摸设备,尽管手势并不排除触摸)。雷达手势本身通常可能仅具有存在于二维中的活动信息分量,诸如由在平面中从左上到右下轻扫组成的雷达手势,但是因为雷达手势也与电子设备(“第三”维度)具有一定距离,本文讨论的雷达手势通常可以视为三维。

使用这些技术,电子设备可以提供反馈和通知,以使用户意识到可用的雷达手势输入模式,并且在一些情况下,提供关于雷达手势的使用和结果的反馈。用户的不存在、存在和位置的确定也可以用来提供响应速度更快、效率更高的认证过程。例如,这些技术使设备能够预料用户何时准备好进行认证,并且可以更准确地确定用户离开时何时锁定设备。因为所描述的技术允许电子设备向用户提供关于可用输入模式的有用反馈,所以交互可以更加方便并且减少挫败感,因为用户意识到输入模式并且可以对其中设备可以交互并接收输入的不同方式充满信心。

考虑包括上述雷达系统的示例智能电话。在此示例中,具有通过雷达手势接收输入的能力的应用正在电子设备上操作。这种类型的应用将称为雷达手势订用的应用(“雷达手势应用”)。雷达手势应用的示例包括音乐播放器、媒体播放器以及诸如日历的提供提示或提醒的电子设备的应用或特征。当用户的手在电子设备周围的手势区内时,交互管理器使电子设备在设备的显示器上呈现反馈指示器。手势区是电子设备周围的体积,雷达系统可以在其内检测到雷达手势。例如,交互管理器可以使用雷达数据来确定用户的手在距电子设备的阈值距离(例如,手势区)内。阈值距离可以是雷达系统可以辨识用户的手的任何合适距离,诸如三、五、七或九英寸内。在一些情况下,手势区可以在不同方向上从电子设备延伸不同的阈值距离(例如,它可以具有楔形、长方形、椭圆形或不对称形状)。手势区的大小或形状也可以随时间变化,或者可以基于其他因素,诸如电子设备的状态(例如,电池电量、定向、锁定或未锁定)或环境(诸如在口袋中或钱包、汽车中或平坦的表面上)。此外,手势区可以具有对应于不同反馈指示器的多个子区。例如,当用户进入手势区的外部界限时,可以呈现主要反馈指示器。然后,随着用户(例如,用户的手)越来越靠近电子设备,反馈指示器的属性可改变(例如,它变得更亮、越来越不透明或越来越透明、改变颜色、改变大小或形状)。当用户撤回时,反馈指示器可以以相反的顺序改变。

反馈指示器是用户可感知的元素,诸如呈现在电子设备显示器上的视觉元素,其指示用户的手在手势区内。这通知用户雷达手势可用于与雷达手势应用进行交互。例如,当雷达手势应用在电子设备上运行时,显示器可以呈现图标、对比的照明区域(例如,比周围区域更亮或更暗的区域)或者不同或对比颜色的区域。在一些情况下,反馈指示器可以是这些特征中的一个或多个的组合。因此,在此示例中,当电子设备确定在用户的手处于手势区中时雷达手势应用正在运行时,照明线出现在显示器的顶部边缘或顶部边缘附近。在一些实施方式中,该指示器可以与用户的移动成某种关系移动,或者以其他方式动态地改变其外观以大致表示用户的手在手势区内的移动。

此外,雷达手势的量和种类可能会在距电子设备的不同距离处变化。例如,诸如“轻扫”手势的解除警报或使铃声静音的手势(从左到右、从右到左或向上向下)可能在特定距离处可用,诸如三到五英尺。在更近的距离(例如,七、九或十二英寸)处,更详细的精细手势可能可用,诸如将两个手指摩擦在一起以较小的增量来调整音量或亮度。反馈指示器也可以提供有关这些差异的信息。例如,在所描述的示例中,当仅“轻扫”手势可用时(在距电子设备约三英尺处)时,反馈指示器可能更小、亮度更低或具有不同的颜色。但是,在近距离处,当更多或不同的手势可用时,反馈指示器可能会扩大、变亮或变为不同的颜色。

所描述的技术和系统采用雷达系统以及其他特征,以提供有用且有益的用户体验,这些体验会基于用户的存在或者不存在以及电子设备上雷达手势应用的运行而改变。不是仅依赖用户的知悉和显式的用户输入,电子设备还可以向用户提供反馈,以指示该设备意识到用户的位置,并提示用户可用的特征和功能性。

一些常规的电子设备可以包括传感器,诸如照相机、接近度传感器(例如,电容或红外传感器)或加速度计,以确定用户的位置并基于用户的接近度来调整电子设备的各种功能。例如,除非用户在预定距离之内,否则电子设备可以通过关闭显示器来提供额外的隐私或美学价值。然而,常规的电子设备通常不能提供有用的和丰富的环境经验,其可以教育用户关于电子设备的能力。这些仅仅是所描述的技术和设备可以如何用于能够实现用于移动设备的输入方法的几个示例,在本文档中通篇描述了用于移动设备的输入方法的其他示例和实施方式。现在,本文转向示例操作环境,在其之后描述示例设备、方法和系统。

操作环境

图1图示示例环境100,其中可以实现能够实现用于移动设备的输入方法的技术。示例环境100包括电子设备102,该电子设备102包括雷达系统104、持久性的基于雷达的交互管理器106(交互管理器106)以及可选地一个或多个非雷达传感器108(非雷达传感器108)或者与其相关联。关于雷达系统104或交互管理器106,术语“持久性的”是指不需要用户交互来激活雷达系统104(其可以以各种模式操作,诸如休眠模式、参与模式或者活动模式)或者交互管理器106。在一些实施方式中,“持久性的”状态可以被暂停或关闭(例如,由用户)。在其他实施方式中,可以根据电子设备102(或另一电子设备)的一个或多个参数来排期或以其他方式管理“持久性的”状态。例如,即使电子设备102在晚上和白天期间都处于开启,用户也可以排期“持久性的”状态,使得其仅在白天时间期间是操作的。非雷达传感器108可以是多种设备中的任何一种,诸如音频传感器(例如,麦克风)、触摸输入传感器(例如,触摸屏)或图像捕获设备(例如,照相机或摄像机)。

在示例环境100中,雷达系统104通过发射一个或多个雷达信号或波形来提供雷达场110,如下面参考图3至图6所述。雷达场110是空间的体积,雷达系统104可以从其检测雷达信号和波形的反射(例如,从该空间的体积中的对象反射的雷达信号和波形)。雷达场110可以被配置成多种形状,诸如球体、半球、椭圆体、圆锥体、一个或多个波瓣或不对称形状(例如,可以覆盖不能被雷达穿透的障碍物两侧的区域)。雷达系统104还使电子设备102或另一电子设备能够感测和分析来自雷达场110中的对象的反射。雷达场110可以用于提供辨识区。辨识区是雷达系统104周围的体积,其可以从雷达系统104延伸任意多种距离,诸如大约三、七、十或十四英尺(或大约一、二、三或四米)。辨识区可以等于或小于雷达场110的最大范围。辨识区可以是预定义的、用户可选择的或经由另一种方法(例如,基于功率要求、剩余电池寿命或其他因素)确定的静态大小或者形状。在一些情况下,交互管理器106可以基于各种因素来动态地并且自动地调整辨识区,所述因素诸如电子设备102的速率或位置、一天中的时间或在电子设备上运行的应用的状态。辨识区的阈值距离可以基于许多相关因素来确定,所述相关因素诸如电池电量、电子设备的位置、电子设备的速率或从雷达系统、其他传感器或在电子设备上运行的应用中的一个或者多个接收到的数据。

雷达系统104的一些实施方式在诸如电子设备102的存在问题的汇聚的智能电话的背景下应用时特别有利,所述问题诸如需要低功率、需要处理效率、天线元件的间距和布局的局限性以及其他问题,并且在期待对精细手势的雷达检测的智能电话的特定背景下甚至更加有利。尽管这些实施方式在所描述的需要精细的雷达检测的手势的智能电话的背景中是特别有利的,但是要理解,本发明的特征和优点的适用性并不一定局限于此,并且涉及其他类型的电子设备(例如,如参考图2所描述的)的其它实施方式也属于本教导的范围内。

对象可以是雷达系统104可以从中感测和分析雷达反射的多种对象中的任何对象,诸如木材、塑料、金属、织物、人体或人体部位(例如,电子设备102的用户的脚、手或手指)。如图1中所示,对象是电子设备102的用户的手112。基于对反射的分析,雷达系统104可以提供雷达数据,该雷达数据包括与雷达场110相关联的各种类型的信息以及来自手112的反射,如参考图3至图6所描述的(例如,雷达系统104可以将雷达数据传递到其他实体,诸如交互管理器106)。

可以基于感测和分析的来自对象(例如,雷达场110中的手112)的反射,随时间连续地或周期性地提供雷达数据。手112的方位可以随时间改变(例如,手112可以在雷达场110内移动),并且因此雷达数据可以随时间对应于改变的方位、反射和分析而变化。因为雷达数据可能随时间变化,所以雷达系统104提供雷达数据,该雷达数据包括对应于不同时间段的雷达数据的一个或多个子集。例如,雷达系统104可以提供与第一时间段相对应的雷达数据的第一子集、与第二时间段相对应的雷达数据的第二子集等等。在一些情况下,雷达数据的不同子集可以全部或部分重叠(例如,雷达数据的一个子集可以包括与另一子集相同的数据中的一些或部分)。

电子设备102还可以包括显示器114和应用管理器116。显示器114可以包括任何合适的显示设备,诸如触摸屏、液晶显示器(LCD)、薄膜晶体管(TFT)LCD、平板开关(IPS)LCD、电容式触摸屏显示器、有机发光二极管(OLED)显示器、有源矩阵有机发光二极管(AMOLED)显示器、超级AMOLED显示器等。显示器114用于显示与电子设备102的各种模式相关联的视觉元素,这些视觉元素在本文中参考图10至图15进一步详细描述。应用管理器116可以与在电子设备102上操作的应用通信并与其交互,以确定并解决应用之间的冲突(例如,处理器资源使用、功率使用或对电子设备102的其他组件的访问)。应用管理器116还可以与应用进行交互以确定应用的可用输入模式,诸如触摸、语音或雷达手势,并将可用模式传达给交互管理器106。

交互管理器106可以被用于与电子设备102的各种组件(例如,模块、管理器、系统、接口或非雷达传感器108中的一个或多个)进行交互或控制电子设备102的各种组件。例如,交互管理器106(独立地或通过应用管理器116)可以确定在电子设备上操作的应用具有接收雷达手势输入的能力(例如,雷达手势应用)。雷达手势输入可以基于雷达数据并通过雷达系统104接收。交互管理器106或雷达系统104也可以使用雷达数据的一个或多个子集来确定用户的诸如手112的部分在电子设备102的手势区118内。手势区118是电子设备102周围的区部(region)或体积,雷达系统104(或另一模块或应用)可以在该区部或体积内检测雷达手势,并确定与雷达手势相关联的动作。例如,交互管理器106可以检测用户向电子设备102伸手。为此,交互管理器106可以确定手112在电子设备102的阈值距离(手势区118)内,诸如在电子设备102的三、五、七或九英寸内。虽然雷达系统104可以在较大的距离处检测到雷达场110内的对象,手势区118帮助电子设备102和雷达手势应用在用户的故意雷达手势和可能类似于雷达手势的其它种类的运动之间进行区分。

在一些情况下,手势区118可以是电子设备周围的固定体积,其具有静态大小和/或形状,该大小和/或形状是预定义的、用户可选择的或经由其他方法(例如,基于功率要求、剩余电池寿命或其他因素)确定的。在其他情况下,手势区118可以是电子设备周围的体积,该体积可以由交互管理器106基于诸如电子设备102的速率或位置、一天中的时间、在电子设备102上运行的应用的状态或其他因素来动态和自动地调整。可以基于许多相关因素来确定阈值距离或手势区118,所述相关因素诸如电池电量、电子设备的位置、电子设备的速率或从雷达系统、其他传感器或在电子设备上运行的应用中的一个或多个接收到的数据。手势区118的大小和形状可以是对称的或不对称的,并且手势的范围(例如,距电子设备的阈值距离)在距电子设备不同的方向上可以不同。

当交互管理器106确定雷达手势应用正在电子设备上操作并且手112(或用户的其他部分)在电子设备102的手势区118内时,交互管理器106作为响应可以使显示器114呈现反馈指示器120。类似地,当交互管理器106确定手112(或用户的其他部分)在电子设备102的手势区118之外和/或雷达手势应用不再在电子设备上操作时,交互管理器106作为响应可以使显示器114停止呈现反馈指示器120。反馈指示器120是用户可感知的元素,诸如出现在显示器114的活动区域上的视觉元素。反馈指示器120的出现指示手112(或用户的另一部分)在手势区118内并且雷达手势应用具有接收雷达手势输入的能力。反馈指示器120还可以是(或包括)不在显示器上的发光元素(例如,安装在电子设备的外壳或边框上的发光二极管(LED)或LED阵列)、触觉元素(例如,振动元素)和/或音频元素(例如,用户可感知的声音)。

在一些实施方式中,在确定雷达手势应用正在电子设备102上操作并且确定手112(或用户的其他部分)在手势区118内之前,电子设备可以处于其中电子设备102或电子设备上的应用能够接收雷达手势的状态,但是雷达系统104或交互管理器106阻止电子设备或应用接收手势(例如,因为用户不在手势区内)。在这些实施方式中,雷达手势应用正在操作并且手112在手势区118内的确定使电子设备102进入允许雷达手势的状态(例如,其中雷达系统104或交互管理器106允许电子设备和/或应用接收雷达手势。

反馈指示器120可以呈现在显示器114的边缘处或沿着显示器114的边缘。在本文中,短语“在边缘处”和“沿着边缘”指代靠近边缘或与边缘相邻(例如,没有间隙或以诸如一个像素、两个像素、三个像素等的间隙与边缘相邻)。反馈指示器120可以具有各种形状、大小、颜色和其他视觉参数或属性中的任何一种。其他视觉参数或属性的示例包括光度、颜色、对比度、形状、饱和度或不透明性。光度指代人感知到的对象的亮度,并且修改光度可以包括修改明亮度(例如,亮度)、对比度和/或不透明性。

在一些情况下,视觉元素可以具有作为显示器114的活动区域的一部分的区域,其具有与接近视觉元素的显示器的另一部分的光度或其他视觉属性不同的光度或其他视觉属性。在这种情况下,视觉元素还可以具有外边界的分段,该分段在距显示器的活动区域的边缘的阈值距离内(例如,无间隙或以诸如一个像素、两个像素、三个像素、一毫米、两毫米、三毫米的间隙与边缘相邻)。尽管这些示例中的一些示例描述如在显示器114的边缘处或沿着显示器114的边缘呈现的反馈指示器120,但是反馈指示器120可以出现在显示器114上的不是边缘的位置处。例如,显示器114的边缘可以包括从显示器114的活动区域的边界开始并且从该边界延伸不超过显示器114的边界的总长度的大约15%的距离。

考虑图1中所图示的示例。详细视图100-1示出手势区118内的手112。在详细视图100-1中,反馈指示器120的示例以更高级别的光度被呈现在示例显示器114-1上以指示交互管理器106已检测到手112(例如,交互管理器106已使用雷达数据的一个或多个子集以确定手112在手势区118内)并且至少一个雷达手势应用在电子设备102上操作。另一个详细视图100-2示出手112在手势区118外部。在详细视图100-2中,视觉元素122被呈现在示例显示器114-2上。视觉元素122比反馈指示器120短,并且相对于反馈指示器120具有降低的光度(例如,30%或50%的光度降低),以指示交互管理器106已确定手112在手势区118的外部(和/或电子设备102上没有雷达手势应用正在操作)。

在图1中所示的示例中,反馈指示器120和视觉元素122都被示出为位于电子设备102的顶部边缘处的线。在其他实施方式中,反馈指示器120和/或视觉元素122可以是另一种大小、另一种形状、或在其他位置处被呈现。此外,交互管理器106可以使用雷达数据的一个或多个子集来使反馈指示器120能够跟踪手112的小运动并动态地调整反馈指示器120在显示器114上的方位。对反馈指示器120的方位的动态调整可以对应于手势区118内的用户的手112(或用户的其他部分)的移动。除了或代替对反馈指示器120的方位的调整,交互管理器106可以以与手112的移动相对应的方式调整反馈指示器120的其他视觉属性(例如,光度、颜色、对比度、形状、饱和度和/或不透明性)。这允许用户看到反馈指示器120移动或以其他方式提供与用户的手112的移动(例如,来回、上下等等)相对应的动态响应视觉反馈。

在一些实施方式中,反馈指示器120可以被呈现为对已经在显示器的活动区域的边缘处或沿着边缘被呈现的视觉元素(例如,指示在电子设备102上操作的应用具有接收雷达手势输入的能力的先前呈现的视觉元素)的调整。例如,在图1中所示的示例中,详细视图100-2示出已经在示例显示器114-2上呈现的视觉元素122。当用户的手112移回手势区118时,视觉元素122可以调整为示例反馈指示器120,如详细视图100-1所示。在这种情况下,用户可以撤回手112,并且如果雷达手势应用仍在运行中,则交互管理器106可以停止呈现反馈指示器120,并继续呈现视觉元素122。

如图1中所示,对先前呈现的视觉元素122的调整是视觉元素122的长度和光度的增加。在其他情况下,该调整可以是先前呈现的视觉元素122的大小的改变。大小的改变可以是先前呈现的视觉元素122的区域的扩大。该扩大可以包括在平行于显示器的活动区域的边缘的方向上、在远离显示器的活动区域的边缘的方向上或者在与显示器的活动区域的边缘平行的方向上和在远离显示器的活动区域的边缘的方向上二者延伸先前呈现的视觉元素122。在其他实施方式中,该调整还可以或替代地是另一视觉属性的改变,所述视觉属性诸如光度、颜色、对比度、形状、饱和度和/或不透明性。

在一些实施方案中,随着反馈指示器120距显示器114的活动区域的边缘跨越距离延伸,反馈指示器120的光度(或其他视觉参数)可以变化(例如,具有在显示器114的边缘处或者沿着边缘的随着形状远离边缘延伸而减小的光度,反之亦然)。例如,反馈指示器120可以被呈现为显示器114的具有与显示器114的另一区域(例如,围绕或靠近反馈指示器120的区域)不同的光度并且与显示器114的边缘相邻的区域。在另一示例中,反馈指示器120可以被呈现为具有预定厚度的线,该线具有与显示器114不同的光度并且与显示器114的边缘相邻。

反馈指示器120的颜色可以是可以从该反馈指示器120被呈现在其上的显示器114的背景在视觉上区分开的任何合适的颜色。反馈指示器120的颜色可以基于各种因素中的任何一种而改变,所述因素诸如电子设备102的操作状态或显示器114的环境背景颜色。在一些实施方式中,交互管理器106可以确定在其上显示或者将会显示反馈指示器120的显示器114的区部的背景颜色。响应于确定背景颜色,交互管理器106可以使显示器114以不同于背景颜色的另一种颜色来呈现反馈指示器120。反馈指示器120的不同颜色可以在反馈指示器120和背景颜色之间提供人眼可辨别的对比度,以使用户更容易看到反馈指示器120。在一些情况下,交互管理器106可以基于背景颜色的改变来连续地、自动地并且动态地调整反馈指示器120的颜色。

在一些实施方案中,反馈指示器120可以至少部分地作为简短动画出现。例如,反馈指示器120可以出现在活动显示器的边缘处,并且然后在显现默认外观之前扩张或收缩。类似地,在显现默认外观之前,随着反馈指示器120出现或消失(例如,如果雷达手势应用停止操作),颜色、光度或形状可能会改变。

在一些情况下,反馈指示器120可以是出现在显示器114上的图像,而不是出现在显示器114的区部中的元素。该图像可以具有与显示器114的的周围背景的参数不同的视觉参数,诸如光度、饱和度、颜色等等。在其他情况下,环境背景可以是图像,并且反馈指示器120是具有不同的诸如光度、饱和度、颜色等的视觉参数的同一图像。以此方式,反馈指示器120可以通过向用户传达电子设备正在以雷达手势可用于与电子设备102交互的模式操作来改善用户的体验。参考图8进行描述反馈指示器120的附加细节和示例。

在一些实施方案中,可以基于显示器114上的内容的定向来确定反馈指示器120的位置。例如,交互管理器106可以从应用管理器(或从其他来源)获得内容在显示器114上的定向。交互管理器106还可以基于内容的定向来确定可用于与内容交互的雷达手势输入的方向。基于雷达手势输入的方向,交互管理器106可以使显示器在显示器114的活动区域的对应于雷达手势输入的方向的特定边缘处呈现反馈指示器120。因此,如果所显示内容的上下文是水平的(例如,雷达手势的方向是从左到右或从右到左),则将反馈指示器120显示在顶部或底部边缘,以帮助向用户指示雷达手势是水平的。类似地,如果所显示内容的上下文是垂直的(例如,雷达手势的方向是从底部到顶部或从顶部到底部),则将反馈指示器120显示在侧边缘处,以帮助以向用户指示雷达手势是垂直的。

此外,交互管理器106还能够检测电子设备102相对于用户的定向的改变。例如,用户可以将设备从垂直定向旋转到水平定向以观看视频,或者从水平定向旋转到垂直定向以阅读文章。基于定向的改变,交互管理器106可以使显示器114在活动显示器的不同边缘上呈现反馈指示器120。此不同的边缘可以维持反馈指示器120相对于用户的定向和位置(例如,反馈指示器120随着用户对于设备的定向改变而移动或重新定位)。因此,如果反馈指示器120被定位在显示器114的顶部边缘上并且用户旋转电子设备102,则反馈指示器120的位置从一个边缘改变为另一边缘,使得其关于用户保持在“顶部”。如所注意到的,交互管理器106还考虑内容的定向,并且这些特征可以彼此结合使用以在显示器114上的适合于在显示器114上两者内容的定向和相对于用户的显示器114的定向的位置处呈现反馈指示器120。

在一些实施方式中,交互管理器106可以确定电子设备102上的雷达手势应用正在沉浸式模式中操作,诸如没有任何呈现的控件的全屏模式。响应于此确定,交互管理器可以使显示器114周期性地呈现反馈指示器120。例如,显示器114可以在呈现持续时间内呈现反馈指示器120,并且然后在非呈现持续时间内停止呈现反馈指示器120。呈现持续时间和非呈现持续时间都可以是预定的或可选择的。在一些情况下,持续时间可以是用户可选择的(例如,由用户)或由交互管理器106基于各种因素来选择,所述因素诸如在沉浸式模式下运行的雷达手势应用的类型(例如,游戏或流媒体播放器)、雷达手势应用的状态或用户采用雷达手势的频率。

在一些实施方式中,当用户使用除了雷达手势以外的输入(例如,触摸或语音输入)与电子设备102交互时,反馈指示器120可以完全褪去或消失。例如,当雷达手势应用在电子设备102上操作时,用户可以决定使用触摸命令来启动另一个应用。在这种情况下,当用户拿起电子设备102或触摸显示器114时,反馈指示器120可能褪去或消失。当用户停止触摸显示器114或放下电子设备102时,或如果一个或多个雷达手势应用正在电子设备102上操作时反馈指示器120重新出现(或变亮)。当触摸或语音输入结束时,反馈指示器120可以立即或者在可选择的持续时间之后重新出现或变亮。类似地,当雷达手势应用是提供提示或通知的应用时,当显示提示或通知时,诸如在显示日历提醒时,反馈指示器120出现。当用户使用雷达手势与提示或通知交互时(例如,解除或重置提示或通知),除非其他手势订用的应用正在运行,否则反馈指示器120消失。

可以在电子设备102处于锁定状态或解锁状态时呈现反馈指示器120。例如,当用户在附近(例如,在辨识区内),但未被认证时,或者认证的用户在附近时,电子设备102可以呈现反馈指示器120(以指示手112在手势区118内并且雷达手势应用正在运行)。锁定和解锁状态指代对电子设备102的访问级别。锁定状态可以是其中没有用户被认证并且使用该设备的任何人将具有少于完整的权限或访问权(例如,没有访问权或者权限,或有限的访问权或权限)。锁定状态的示例可以包括本文所述的电子设备102的感知模式和参与模式。类似地,解锁状态可以是其中至少一个用户被认证并且该用户具有对设备的完全权限和/或访问权。如本文所述,解锁状态的示例是电子设备102的活动模式。在一些情况下,取决于电子设备102的类型、配置或状态(例如,电池电量或连接状态),锁定或解锁状态可以具有变化的特性。因此,取决于那些因素,针对不同设备或在不同场境中的同一设备锁定或者解锁状态的特性可能重叠或包括相似的特征。

更详细地,考虑图2,其图示可以实现用于移动设备的输入方法的电子设备102(包括雷达系统104、交互管理器106、非雷达传感器108、显示器114和应用管理器116)的示例实施方式200。图2的电子设备102被图示有各种示例设备,包括智能电话102-1、平板电脑102-2、膝上型计算机102-3、台式计算机102-4、计算手表102-5、游戏系统102-6、计算眼镜102-7、家庭自动化和控制系统102-8、智能冰箱102-9和汽车102-10。电子设备102还可以包括其他设备,诸如电视、娱乐系统、音频系统、无人机、触控板、绘图板、上网本、电子阅读器、家庭安全系统和其他家用电器。注意,电子设备102可以是可穿戴的、不可穿戴的但可移动的或相对不动的(例如,台式机和电器)。

在一些实施方式中,电子设备102的示例性整体横向尺寸可以为大约八厘米乘以大约十五厘米。雷达系统104的示例性占用面积可以是甚至更有限的,诸如包括天线在内的大约四毫米乘六毫米。对于雷达系统104的这种有限的占用面积的这种要求是在这样的空间受限的封装中容纳电子设备102的许多其他期望的特征(例如,指纹传感器、非雷达传感器108等)。结合功率和处理限制,此尺寸要求可能导致雷达手势检测的准确性和功效的折衷,鉴于本文的教导至少可以克服其中的一些。

电子设备102还包括一个或多个计算机处理器202和一个或多个计算机可读介质204,其包括存储器介质和存储介质。被实现为计算机可读介质204上的计算机可读指令的应用和/或操作系统(未示出)可以由计算机处理器202执行以提供本文描述的一些或全部功能性。例如,处理器202可以用于在计算机可读介质204上执行指令以实现基于雷达的交互管理器106和/或应用管理器116。电子设备102还可以包括网络接口206。电子设备102可以使用网络接口206来通过有线、无线或光网络传达数据。作为示例而非限制,网络接口206可以通过局域网(LAN)、无线局域网(WLAN)、个人局域网(PAN)、区域网络(WAN)、内部网、因特网、对等网络、点对点网络或网状网络来传达数据。

雷达系统104的各种实现方式可以包括片上系统(SoC)、一个或多个集成电路(IC)、具有嵌入式处理器指令或配置成访问存储在存储器中的处理器指令的处理器、具有嵌入式固件的硬件、具有各种硬件组件的印刷电路板或其任何组合。雷达系统104通过发射并接收它自己的雷达信号来作为单基地雷达操作。

在一些实施方式中,雷达系统104还可以与在外部环境内的其它雷达系统104合作以实现双基地雷达、多基地雷达或网络雷达。然而,电子设备102的约束或限制可以影响雷达系统104的设计。例如,电子设备102可以具有可用于操作雷达的有限功率、有限计算能力、大小约束、布局限制、使雷达信号衰减或失真的外部外壳等。雷达系统104包括使得在存在这些约束的情况下实现先进雷达功能性和高性能的若干特征,如在下面关于图3进一步描述的。注意在图2中,雷达系统104和交互管理器106被图示为电子设备102的一部分。在其它实施方式中,雷达系统104和交互管理器106中的任何一个或两个可以与电子设备102分离或远离电子设备102。

在下面更详细地阐述这些及其它能力和配置以及图1的实体行动和交互的方式。这些实体可以被进一步划分、组合等。图1的环境100及图2至图15的详细图示说明能够采用所描述的技术的许多可能的环境和设备中的一些。图3至图6描述雷达系统104的附加细节和特征。在图3至图6中,在电子设备102的背景中描述雷达系统104,但是如前所注意的,所描述的系统和技术的特征和优点的适用性不一定如此受限制,并且涉及其它类型的电子设备的其它实施例也可以在本教导的范围内。

图3图示能够用于实现用于移动设备的输入方法的雷达系统104的示例实施方式300。在示例300中,雷达系统104包括以下组件中的每一种的至少一个:通信接口302、天线阵列304、收发器306、处理器308和系统介质310(例如,一个或多个计算机可读存储介质)。能够将处理器308实现为数字信号处理器、控制器、应用处理器、另一处理器(例如,电子设备102的计算机处理器202)或其一些组合。可以包括在电子设备102的计算机可读介质204中或与其分离的系统介质310包括以下模块中的一个或多个:衰减减轻器314、数字波束成形器316、角度估计器318或功率管理器320。这些模块可以补偿或减轻将雷达系统104集成到电子设备102中的影响,从而使雷达系统104能够辨识小的手势或复杂的手势,在用户的不同定向之间进行区分,持续监控外部环境,或实现目标虚警率。通过这些特征,雷达系统104可以在诸如图2中所图示的设备的各种不同设备中实现。

使用通信接口302,雷达系统104能够将雷达数据提供给交互管理器106。基于雷达系统104被实现为与电子设备102分离或者集成在电子设备102内,通信接口302可以是无线接口或有线接口。取决于应用,雷达数据可以包括原始或最低限度地处理的数据、同相和正交(I/Q)数据、距离多普勒数据、包括目标位置信息(例如,距离、方位角、俯仰角)的处理数据、杂波图数据等。通常,雷达数据包含可由交互管理器106用于移动设备的输入方法的信息。

天线阵列304包括至少一个发射天线元件(未示出)和至少两个接收天线元件(如图4中所示)。在一些情况下,天线阵列304可以包括多个发射天线元件以实现能够一次发射多个不同波形(例如,每发射天线元件的不同波形)的多输入多输出(MIMO)雷达。使用多个波形能够增加雷达系统104的测量准确性。对于包括三个或更多个接收天线元件的实施方式,能够以一维形状(例如,线)或二维形状定位接收天线元件。一维形状使得雷达系统104能够测量一个角维度(例如,方位角或俯仰角)而二维形状使得能够测量两个角维度(例如,方位角和俯仰角两者)。关于图4进一步描述接收天线元件的示例二维布置。

图4图示接收天线元件402的示例布置400。例如,如果天线阵列304包括至少四个接收天线元件402,则能够以如在图4中间所描绘的矩形布置404-1中布置接收天线元件402。替换地,如果天线阵列304包括至少三个接收天线元件402,则可以使用三角形布置404-2或L形布置404-3。

由于电子设备102的大小或布局约束,接收天线元件402之间的元件间距或接收天线元件402的数量对雷达系统104将要监视的角度来说可能不是理想的。特别地,元件间距可以导致存在角模糊,这使常规的雷达估计目标的角方位变得有挑战性。常规的雷达因此可以限制视场(例如,要监视的角度)以避免具有角模糊的模糊区,从而减少错误检测。例如,常规的雷达可以将视场限制为在约-45度至45度之间的角度以避免在使用5毫米(mm)的波长和3.5mm的元件间距(例如,元件间距为波长的70%)时发生的角模糊。因此,常规的雷达可能无法检测超过视场的45度限制的目标。相比之下,雷达系统104包括数字波束成形器316和角度估计器318,它们解析角模糊并使得雷达系统104能够监视超过45度限制的角度,诸如介于约-90度至90度之间或多达约-180度和180度的角度。能够跨一个或多个方向(例如,方位角和/或俯仰角)应用这些角度范围。因此,雷达系统104能够针对各种不同的天线阵列设计实现低虚警率,所述天线阵列设计包括小于、大于或等于雷达信号的中心波长的一半的元件间距。

使用天线阵列304,雷达系统104能够形成被转向或未转向、宽的或窄的或被整形(例如,为半球、立方体、扇形、圆锥或圆柱体)的波束。作为示例,一个或多个发射天线元件(未示出)可以具有未转向的全向辐射方向图或者可以能够产生宽波束,诸如宽发射波束406。这些技术中的任何一种使得雷达系统104能够照射空间的大体积。然而,为了实现目标角度准确性和角分辨率,能够使用接收天线元件402和数字波束成形器316来生成数千个窄且转向的波束(例如,2000个波束、4000个波束或6000个波束),诸如窄接收波束408。以这种方式,雷达系统104能够高效地监视外部环境并且准确地确定在外部环境内的反射的到达角。

返回到图3,收发器306包括用于经由天线阵列304发射并接收雷达信号的电路和逻辑。收发器306的组件能够包括用于调节雷达信号的放大器、混频器、开关、模数转换器、滤波器等。收发器306还能够包括用于执行诸如调制或解调的同相/正交(I/Q)操作的逻辑。收发器306能够被配置用于连续波雷达操作或脉冲雷达操作。能够使用各种调制来产生雷达信号,包括线性频率调制、三角频率调制、阶跃频率调制或相位调制。

收发器306能够生成在频率范围(例如,频率频谱)内雷达信号,所述频率范围诸如在1吉赫兹(GHz)与400GHz之间、在4GHz与100GHz之间或在57GHz与63GHz之间。能够将频率频谱划分成具有类似带宽或不同带宽的多个子频谱。带宽能够为大约500兆赫兹(MHz)、1GHz、2GHz等。作为示例,不同的频率子频谱可以包括约57GHz和59GHz、59GHz和61GHz或61GHz和63GHz之间的频率。还可以为了相干性而选取具有相同带宽并且可以为连续的或非连续的多个频率子频谱。能够使用单个雷达信号或多个雷达信号来同时地发射或在时间上分离多个频率子频谱。连续频率子频谱使得雷达信号能够具有较宽的带宽而非连续频率子频谱能够进一步强调使得角度估计器318能够解析角模糊的振幅和相位差异。衰减减轻器314或角度估计器318可以使收发器306利用一个或多个频率子频谱来改进雷达系统104的性能,如关于图5和图6进一步描述的。

功率管理器320使得雷达系统104能够在电子设备102内部或外部节省电力。在一些实施方式中,功率管理器320与交互管理器106进行通信以节省雷达系统104或电子设备102中的任何一个或两个内的电力。在内部,例如,功率管理器320能够使得雷达系统104能够使用预定义功率模式或特定的手势帧更新率来收集数据。手势帧更新率表示雷达系统104通过发射和接收一个或多个雷达信号来活动地监视外部环境的频率。一般而言,功耗与手势帧更新率成正比。这样,较高的手势帧更新率会导致雷达系统104消耗大量功率。

每个预定义的功率模式可以与特定的帧结构、特定的发射功率级别或特定的硬件(例如,低功率处理器或高功率处理器)相关联。调整这些中的一个或者多个会影响雷达系统104的功耗。但是,降低功耗会影响性能,诸如手势帧更新率和响应延迟。在这种情况下,功率管理器320在不同的功率模式之间动态地切换,使得手势帧更新率、响应延迟和功耗基于环境内的活动被一起管理。通常,功率管理器320确定何时且如何能够节省电力,并且渐增地调整功耗以使得雷达系统104能够在电子设备102的功率限制内操作。在一些情况下,功率管理器320可以监视剩余可用电力量并相应地调整雷达系统104的操作。例如,如果剩余电力量低,则功率管理器320可以继续在较低功率模式下操作而不是切换到较高功率模式。

较低功率模式例如可以使用大约几赫兹(例如,约1Hz或小于5Hz)的较低的手势帧更新率,并且消耗大约几毫瓦(mW)(例如,介于约2mW与4mW之间)的功率。另一方面,较高功率模式可以使用大约数十赫兹(Hz)(例如,约20Hz或大于10Hz)的较高手势帧更新率,这使雷达系统104消耗大约数毫瓦(例如,介于约6mW与20mW之间)的功率。虽然低功率模式能够用于监视外部环境或者检测接近的用户,但是如果雷达系统104确定用户正在开始执行手势,则功率管理器320可以切换到较高功率模式。不同的触发可以使功率管理器320在不同的功率模式之间动态切换。示例触发包括运动或缺少运动、用户的出现或消失、用户进出指定区部(例如,通过范围、方位角或俯仰角所定义的区部)、与用户相关联的运动的速率的改变或反射信号强度的改变(例如,由于雷达横截面的改变而导致)。通常,指示用户与电子设备102交互的较低概率或要使用较长响应延迟来收集数据的偏好的触发可以使较低功率模式被激活以节省电力。

每个功率模式可以与特定的成帧结构相关联。成帧结构指定与雷达信号的发射和接收相关联的配置、调度和信号特性。通常,设置成帧结构,使得可以基于外部环境收集适当的雷达数据。可以对成帧结构进行定制,以促进针对不同应用(例如,接近度检测、特征辨识或手势辨识)的不同类型的雷达数据的收集。贯穿成帧结构的每个级别在不活动时间期间,功率管理器320可以关闭图3中收发器306内的组件以节省功率。成帧结构使功率通过每种帧类型内的可调占空比来节省。例如,第一占空比可以基于相对于特征帧总数量的活动特征帧数量。第二占空比可以基于相对于雷达帧总数量的活动雷达帧数量。第三占空比可以基于相对于雷达帧持续时间的雷达信号持续时间。

考虑用于低功率模式的示例成帧结构(未图示),其消耗大约2mW的功率,并且具有在大约1Hz和4Hz之间的手势帧更新率。在该示例中,成帧结构包括具有在大约250ms与1秒之间的持续时间的手势帧。手势帧包括三十一个脉冲模式特征帧。31个脉冲模式特征帧之一处于活动状态。这导致占空比大约等于3.2%。每个脉冲模式特征帧的持续时间在大约8毫秒到32毫秒之间。每个脉冲模式特征帧由八个雷达帧组成。在活动的脉冲模式特征帧内,所有八个雷达帧均处于活动状态。这导致占空比等于100%。每个雷达帧的持续时间在大约1ms到4ms之间。每个活动雷达帧中的活动时间大约在32μs和128μs之间。这样,所产生的空比大约为3.2%。已经发现此示例成帧结构产出良好的性能结果。这些良好的性能结果体现在良好的手势辨识和存在检测方面,同时在低功耗状态下手持智能电话的应用背景中也产出良好的功率效率结果。基于该示例成帧结构,功率管理器320可以确定雷达系统104没有活动地收集雷达数据的时间。基于该非活动时间段,功率管理器320可以通过调整雷达系统104的操作状态并关闭收发器306的一个或多个组件来节省功率,如下文进一步描述的。

功率管理器320还可以通过在不活动时间段期间关闭收发器306中的一个或多个组件(例如,压控振荡器、多路复用器、模数转换器、锁相环或晶体振荡器)来节省功率。如果雷达系统104没有活动地发射或接收雷达信号,则会出现这些不活动的时间段,其可以大约是微秒(μs)、毫秒(ms)或秒(s)。此外,功率管理器320可以通过调整由信号放大器提供的放大量来修改雷达信号的发射功率。另外,功率管理器320可以控制雷达系统104内不同硬件组件的使用以节省功率。例如,如果处理器308包括低功率处理器和高功率处理器(例如,具有不同量的存储器和计算能力的处理器),则功率管理器320可以在用于低级别分析的低功率处理器(例如,实现空闲模式、检测运动、确定用户的位置或监视环境)与用于其中交互管理器106请求高保真或准确的雷达数据的情况(例如,用于实现感知模式、参与模式或活动模式、手势辨识或用户定向)的更高功率的处理器之间进行切换。

此外,功率管理器320可以确定电子设备102周围的环境的场境。根据该场境,功率管理器320可以确定哪些功率状态将变得可用以及如何配置它们。例如,如果电子设备102在用户的口袋中,则尽管检测到用户接近电子设备102,但是雷达系统104不需要以高手势帧更新率在较高功率模式下操作。因此,即使检测到用户接近电子设备102,功率管理器320也可以使雷达系统104保持在低功率模式,并使显示器114保持关闭或处于其他低功率状态。电子设备102可以结合雷达系统104使用任何合适的非雷达传感器108(例如,陀螺仪、加速计、光传感器、接近传感器、电容传感器等)来确定其环境的场境。场境可以是包括一天中的时间、日历日、亮/暗度、用户附近的用户数目、周围的噪音级别、周围对象(包括用户)相对于电子设备102的移动速度等。

图5图示电子设备102内的雷达系统104的示例实施方式500的附加细节。在示例500中,天线阵列304被定位在电子设备102的诸如玻璃盖或外部壳体的外部外壳下面。取决于其材料属性,外部外壳可以作为衰减器502,其使由雷达系统104发射和接收的雷达信号衰减或失真。衰减器502可以包括不同类型的玻璃或塑料,其中的一些可以在电子设备102的显示屏幕、外部外壳或其它组件内找到,并且具有约四至十之间的介电常数(例如,相对电容率)。因此,衰减器502对雷达信号506而言是不透明或半透明的并且可以使发射或接收的雷达信号506的一部分被反射(如通过反射部分504所示出的)。对于常规的雷达,衰减器502可以减小能够被监视的有效范围,防止小目标被检测到,或者降低总体准确性。

假定雷达系统104的发射功率是有限的,并且不希望重新设计外部外壳,雷达信号506的一种或多种衰减相关属性(例如,频率子频谱508或转向角510)或衰减器502的衰减相关特性(例如,衰减器502与雷达系统104之间的距离512或衰减器502的厚度514)被调整以减轻衰减器502的影响。这些特性中的一些能够在制造期间被设置或者能够在雷达系统104的操作期间通过衰减减轻器314来调整。例如,衰减减轻器314能够使收发器306使用所选择的频率子频谱508或转向角510来发射雷达信号506,使平台将雷达系统104移近或远离衰减器502以改变距离512,或者提示用户应用另一衰减器以增加衰减器502的厚度514。

能够由衰减减轻器314基于衰减器502的预定的特性(例如,在电子设备102的计算机可读介质204中或在系统介质310内存储的特性)或通过处理雷达信号506的返回以测量衰减器502的一个或多个特性来做出适当的调整。即使衰减相关特性中的一些是固定的或受约束的,衰减减轻器314可能够考虑这些限制以平衡每个参数并实现目标雷达性能。结果,衰减减轻器314使得雷达系统104能够实现增强的准确性和较大的有效范围以便检测并跟踪位于衰减器502的相对侧的用户。这些技术提供用于增加发射功率或者改变衰减器502的材料属性的替代方案,增加发射功率增加雷达系统104的功耗,改变衰减器502的材料属性在设备在生产中时可能是困难且昂贵的。

图6图示由雷达系统104实现的示例方案600。方案600的各部分可以由处理器308、计算机处理器202或其它硬件电路执行。能够定制方案600以支持不同类型的电子设备和基于雷达的应用(例如,交互管理器106),并且还使得雷达系统104能够不管设计约束如何都实现目标角度准确性。

收发器306基于接收天线元件402对接收到的雷达信号的单独响应来产生原始数据602。所接收到的雷达信号可以与由角度估计器318选择来促进角模糊解析的一个或多个频率子频谱604相关联。例如,可以选取频率子频谱604以降低旁波瓣数量或者降低旁波瓣振幅(例如,将振幅降低0.5dB、1dB或更多)。能够基于雷达系统104的目标角度准确性或计算限制来确定频率子频谱数量。

原始数据602包含一段时间内的数字信息(例如,同相和正交数据)、不同的波数以及分别与接收天线元件402相关联的多个信道。对原始数据602执行快速傅立叶变换(FFT)606以生成预处理数据608。预处理数据608针对不同距离(例如,距离档(range bin))和针对多个信道包括跨时间段的数字信息。对预处理数据608执行多普勒滤波过程610以生成距离多普勒数据612。多普勒滤波过程610可以包括另一FFT,所述另一FFT针对多个距离档、多个多普勒频率并针对多个信道生成振幅和相位信息。数字波束成形器316基于距离多普勒数据612来产生波束成形数据614。波束成形数据614包含针对方位角和/或俯仰角集合的数字信息,其表示不同的转向角和波束由数字波束成形器316形成的视场。尽管未描绘,但是数字波束成形器316可以替换地基于预处理数据608来生成波束成形数据614,并且多普勒滤波过程610可以基于波束成形数据614来生成距离多普勒数据612。为了降低计算数量,数字波束成形器316可以基于距离、时间或感兴趣的多普勒频率间隔来处理距离多普勒数据612或预处理数据608的一部分。

能够使用单视波束成形器616、多视干涉仪618或多视波束成形器620来实现数字波束成形器316。通常,单视波束成形器616能够被用于确定性对象(例如,具有单个相位中心的点源目标)。对于非确定性目标(例如,具有多个相位中心的目标),多视干涉仪618或多视波束成形器620用于改进相对于单视波束成形器616的准确性。人类是非确定性目标的示例并且具有能够基于如624-1和624-2处所示的不同视线角而改变的多个相位中心622。通过多个相位中心622生成的相干或相消干涉中的变型能够使常规的雷达准确确定角方位变得有挑战性。然而,多视干涉仪618或多视波束成形器620执行相干平均以增加波束成形数据614的准确性。多视干涉仪618相干地计算两个信道的平均数以生成能够用于准确地确定角度信息的相位信息。另一方面,多视波束成形器620能够使用诸如傅立叶、Capon、多信号分类(MUSIC)或最小方差无失真响应(MVDR)的线性或非线性波束成形器来相干地平均两个或更多个信道。经由多视波束成形器620或多视干涉仪618提供的增加的准确性使得雷达系统104能够辨识小手势或者区分用户的多个部分。

角度估计器318分析波束成形数据614以估计一个或多个角方位。角度估计器318可以利用信号处理技术、模式匹配技术或机器学习。角度估计器318还解析可以由雷达系统104的设计或雷达系统104监视的视场产生的角模糊。示例角模糊被示出在振幅图626(例如,振幅响应)内。

振幅图626描绘针对目标的不同的角方位和针对不同的转向角510可能发生的振幅差异。针对定位在第一角方位630-1处的目标示出了第一振幅响应628-1(用实线图示)。同样地,针对定位在第二角方位630-2处的目标示出了第二振幅响应628-2(用虚线图示)。在此示例中,跨-180度与180度之间的角度考虑差异。

如振幅图626中所示,对两个角方位630-1和630-2来说存在模糊区。第一振幅响应628-1在第一角方位630-1处具有最高峰而在第二角方位630-2处具有较小峰。虽然最高峰与目标的实际方位相对应,但是较小峰使第一角方位630-1模糊,因为它在常规的雷达可能无法确信地确定目标是在第一角方位630-1还是第二角方位630-2处的某个阈值内。相比之下,第二振幅响应628-2在第二角方位630-2处具有较小峰而在第一角方位630-1处具有较高峰。在这种情况下,较小峰与目标的定位相对应。

虽然常规的雷达可能限于使用最高峰振幅来确定角方位,但是角度估计器318替代地分析振幅响应628-1和628-2的形状方面的细微差异。形状的特性能够包括例如滚降、峰或零值宽度、峰或零值的角位置、峰和零值的高度或深度、旁波瓣的形状、振幅响应628-1或628-2内的对称性或振幅响应628-1或628-2内的对称性的缺少。能够在相位响应中分析类似的形状特性,这能够提供用于解析角模糊的附加信息。角度估计器318因此将唯一角签名或图案映射到角方位。

角度估计器318能够包括能够根据电子设备102的类型(例如,计算能力或功率约束)或交互管理器106的目标角分辨率来选择的一套算法或工具。在一些实施方式中,角度估计器318能够包括神经网络632、卷积神经网络(CNN)634或长短期记忆(LSTM)网络636。神经网络632能够具有各种深度或数量的隐藏层(例如,三个隐藏层、五个隐藏层或十个隐藏层)并且还能够包括不同数量的连接(例如,神经网络632能够包括完全连接神经网络或部分连接神经网络)。在一些情况下,CNN 634能够用于提高角度估计器318的计算速度。LSTM网络636能够用于使得角度估计器318能够跟踪目标。使用机器学习技术,角度估计器318采用非线性函数来分析振幅响应628-1或628-2的形状并且生成角概率数据638,其指示用户或用户的一部分在角档(angle bin)内的可能性。角度估计器318可以针对诸如两个角档的几个角档提供角概率数据638以提供目标在电子设备102的左边或右边的概率或者针对数千个角档提供角概率数据638(例如,以提供用于连续角测量的角概率数据638)。

基于角概率数据638,跟踪器模块640产生识别目标的角位置的角方位数据642。跟踪器模块640可以基于在角概率数据638中有最高概率的角档或者基于预测信息(例如,先前测量的角方位信息)来确定目标的角位置。跟踪器模块640还可以跟踪一个或多个移动目标以使得雷达系统104能够确信地区分或识别目标。还能够使用其它数据来确定角方位,包括距离、多普勒、速率或加速度。在一些情况下,跟踪器模块640能够包括阿尔法-贝塔跟踪器、卡尔曼滤波器、多假设跟踪器(MHT)等。

量化器模块644获得角方位数据642并且对数据进行量化以产生量化角方位数据646。能够基于用于交互管理器106的目标角分辨率来执行量化。在一些情形下,能够使用较少的量化级别,使得量化角方位数据646指示目标是在电子设备102的右边还是在电子设备102的左边或者识别目标所位于的90度象限。这对一些诸如用户接近度检测的基于雷达的应用来说可能是足够的。在其它情形下,能够使用较大数目的量化级别,使得量化角方位数据646在一度的部分、一度、五度等的准确性内指示目标的角方位。此分辨率能够被用于诸如手势辨识的较高分辨率的基于雷达的应用或者在如本文所描述的手势区、辨识区、感知模式、参与模式或者活动模式的实施方式中。在一些实施方式中,数字波束成形器316、角度估计器318、跟踪器模块640和量化器模块644被一起实现在单个机器学习模块中。

在下面阐述这些及其它能力和配置以及图1至图6的实体行动和交互的方式。所描述的实体可以被进一步划分、组合、连同其它传感器或组件一起使用等。以这种方式,能够使用具有雷达系统104和非雷达传感器的不同配置的电子设备102的不同实施方式来实现用于电子设备的输入方法。图1的示例操作环境100和图2至图6的详细图示仅仅图示能够采用所描述的技术的许多可能的环境和设备中的一些。

示例方法

图7描绘了示例方法700,其能够实现用于移动设备的输入方法。可以通过电子设备执行方法700,该电子设备包括显示器、配置成经由雷达手势接收输入的应用以及可以提供雷达场的雷达系统或与其相关联。雷达系统和雷达场可以基于来自雷达场中的诸如电子设备的用户的对象的雷达场的反射来提供雷达数据。例如,雷达数据可以由雷达系统104生成和/或通过雷达系统104接收,如参考图1所述。雷达数据被用于确定用户与电子设备的交互,诸如用户在雷达场中的存在、用户在雷达场中所做的手势以及用户相对于电子设备的移动。基于对用户的存在、移动和手势的确定,电子设备可以进入和退出不同的功能性模式,并在显示器上显示不同的视觉元素。视觉元素向用户提供反馈,以指示用户相对于设备的姿势、电子设备的不同功能性的可用性以及用户与电子设备的交互。参考图8至图12描述视觉元素的附加示例。

方法700被示出为指定被执行操作的一组框,但是这些框不一定限于为了示出的次序或组合以执行相应框的操作。另外,可以重复、组合、重组或链接这些操作中的一个或多个中的任一个以提供各式各样的附加和/或替代方法。在以下讨论的各部分中,可以参考图1的示例工作环境100或者参考图2-图6中详述的实体或过程,对其的参考仅作为示例。这些技术不限于由在一个设备上操作的一个实体或多个实体执行。

在702处,基于通过雷达系统接收到的雷达数据,确定用户的一部分在电子设备的手势区内。例如,交互管理器106或雷达系统104可以使用来自雷达系统104的雷达数据来检测用户的手112在电子设备102的手势区内,如参考图1所描述的(例如,在三、五、七或九英寸内)。

在704处,确定在电子设备上操作的应用具有接收雷达手势输入的能力。雷达手势输入(有时称为雷达手势)由雷达系统生成的雷达数据定义。例如,诸如应用管理器116或交互管理器106的应用管理器可以确定在电子设备(例如,电子设备102)上操作的应用具有接收雷达手势输入的能力(例如,是雷达手势应用)。雷达手势输入所基于的雷达数据可以由雷达系统104生成和/或通过雷达系统104接收,如参考图1所描述的。

在706处,响应于确定用户的一部分在电子设备的手势区内以及确定在电子设备上操作的应用具有接收雷达手势输入的能力,反馈指示器被提供在电子设备的显示器上,该反馈指示器指示用户的一部分在手势区内,并且应用可以接收雷达手势输入。例如,响应于确定手112在手势区118内并且在电子设备102上操作的应用是雷达手势应用,交互管理器106可以在显示器114上提供反馈指示器120。类似地,当正提供反馈指示器时,并且然后确定用户的手(或用户的其他部分)在手势区之外(和/或雷达手势应用不再在电子设备上操作),可以停止提供反馈指示器,即使仍然可以提供另一个视觉元素。因此,当手势区之外的用户朝电子设备伸手并进入手势区时,将显示反馈指示器,而当用户的手被撤回时,将不再显示反馈指示器。

如参考图1所述,手势区是电子设备102周围的区部或体积,雷达系统104(或其他模块或应用)可以在其内检测用户的手。手势区可以是雷达系统可以辨识用户的手的任何合适距离,诸如三、五、七或九英寸内。尽管雷达系统104和交互管理器106可能能够从更大的距离辨识雷达手势并确定与该雷达手势相关联的动作,但是手势区帮助使电子设备能够在故意手势和不是旨在被用于与电子设备上的应用进行交互的其他用户手势之间进行区分。通常,反馈指示器是用户可感知的元素,诸如出现在显示器的活动区域上的视觉元素,其指示诸如用户的手112的用户的一部分足够靠近电子设备能够使用雷达手势与雷达手势应用进行交互(例如,指示用户的手在手势区内)。如参考图1所指出的,手势区可以具有手势区内具有不同形状和大小的各种子区。反馈指示器的视觉属性可能在不同的子区中进行变化(例如,随着用户的手更加靠近,反馈指示器可能会变亮或变大)。

反馈指示器可以在显示器的边缘处或沿着显示器的边缘提供,如参考图1所描述的,并且可以采用各种各样的形状、大小、颜色和其他视觉参数或属性(例如,光度、颜色、对比度、形状、饱和度或不透明性)中的任何一个。在一些实施方式中,如参考图1所描述的,视觉元素可以具有作为显示器的活动区域的一部分的区域,该区域具有与接近于视觉元素的显示器的另一部分的光度或其他视觉属性不同的光度或其他视觉属性。在这种情况下,视觉元素还可以具有外边界的分段,该分段在距显示器的活动区域的边缘的阈值距离内(例如,与该边缘相邻且无间隙或有诸如一个像素、两个像素、三个像素、一毫米、两毫米、三毫米的间隙)。另外,反馈指示器的光度(或其他视觉参数)可以随着反馈指示器跨越距显示器的活动区域的边缘的距离延伸而变化(例如,具有在显示器边缘或沿着显示器的边缘的随着形状远离边缘延伸而减小或者增加的光度)。在其他实施方式中,反馈指示器可以出现在显示器上不是边缘的位置处(例如,反馈指示器可以被呈现在显示器的内部区部中并且不与显示器的边缘相邻或接触显示器的边缘)。

此外,反馈指示器可以被用于提供与用户的手在手势区中正在进行的移动有关的视觉反馈。例如,如参考图1所描述的,交互管理器106可以使用雷达数据的一个或多个子集来使反馈指示器能够跟踪用户的手的移动,并使反馈指示器以对应于手势区内用户的手(或用户的其他部分)的移动的方式动态地调整反馈指示器在显示器上的方位。除了或代替调整反馈指示器的方位,还可以以对应于用户的手的移动的方式来调整反馈指示器的其他视觉属性(例如,光度、颜色、对比度、形状、饱和度和/或不透明性)。这些调整允许反馈指示器提供动态响应的视觉反馈,该视觉反馈对应于用户手的移动(例如,来回、上下等等)。

在方法700的一些实施方式中,可以将反馈指示器呈现为对已经在显示器的活动区域的边缘处或沿着显示器的活动区域的边缘呈现的视觉元素(例如,先前呈现的指示电子设备上操作的应用具有接收雷达手势输入的能力的视觉元素)的调整。例如,在图1中所示的示例中,详细视图100-2示出已经在示例显示器114-2上呈现的视觉元素122。当用户的手112移回手势区118时,视觉元素122可以被调整以成为示例反馈指示器120,如详细视图100-1中所示。在这种情况下,用户可以撤回手112,并且如果雷达手势应用仍在运行,则交互管理器106可以停止呈现反馈指示器120,并继续呈现视觉元素122。

如参考图1所指出的,对先前呈现的视觉元素的调整是视觉元素的长度和光度的增加。在其他情况下,该调整可以是先前呈现的视觉元素的大小的改变。例如,大小的改变可以是先前呈现的视觉元素的区域的扩大。该扩大可以包括将先前呈现的视觉元素在与显示器的活动区域的边缘平行的方向上或在远离显示器的活动区域的边缘的方向上延伸增加的距离,或者在平行于显示器的活动区域的边缘的方向以及在远离显示器的活动区域的边缘的方向两者中都延伸延伸增加的距离。在其他实施方式中,该调整还可以或替代地是另一视觉属性的改变,诸如光度、颜色、对比度、形状、饱和度和/或不透明性。

反馈指示器的颜色可以是可以与该反馈指示器在其上呈现的显示器的背景在视觉上区分的任何合适的颜色。颜色可以基于各种因素中的任何一种而改变,如参考图1所描述的。在方法700的一些实施方式中,电子设备的组件(例如,交互管理器106)可以确定在其上显示反馈指示器的显示器的区部的背景颜色。响应于确定背景颜色,可以以与背景颜色不同的另一种颜色来呈现反馈指示器,这提供在反馈指示器和背景颜色之间的人眼可辨别的对比度,如参考图1所述。在一些情况下,可以基于背景颜色的改变来连续地、自动和动态地调整反馈指示器的颜色。

反馈指示器可以至少部分作为简短的动画出现。例如,反馈指示器可以出现在活动显示器的边缘处,并且然后在显现默认外观之前扩张或收缩。类似地,在显现默认外观之前,随着反馈指示器出现或消失(例如,如果雷达手势应用停止操作),颜色、光度或形状可能会改变。此外,反馈指示器可以是出现在显示器上的图像,而不是出现在显示器的区部中的元素。该图像可以具有与显示器的周围背景的参数不同的视觉参数,诸如光度、饱和度或颜色。在其他情况下,环境背景可以是图像,并且反馈指示器是具有诸如光度、饱和度、颜色等的不同视觉参数的同一图像。通过这种方式,反馈指示器可以通过向用户传达雷达手势应用正在电子设备上操作来改善用户的体验。

在方法700的一些实施方式中,可以基于显示器上的内容的定向和/或用于与内容交互的雷达手势输入的方向来确定反馈指示器的位置。例如,诸如交互管理器106的电子设备的组件可以(例如,从应用管理器116)获得显示器上内容的定向。基于内容的定向,显示器可以确定可用于与内容交互的雷达手势输入的方向,并在对应于雷达输入的方向的显示器的活动区域的特定边缘处提供反馈指示器。因此,如参考图1所描述的,如果所显示内容的上下文是水平的,则反馈指示器显示在顶部边缘处,并且如果所显示内容的上下文是垂直的,则反馈指示器显示在侧边缘处。

此外,可以检测到电子设备相对于用户的定向的改变,并且基于定向的改变,可以在显示器的不同边缘上提供反馈指示器,以便于保持反馈指示器相对于用户的定向和位置。例如,如参考图1所描述的,用户可以将设备从垂直定向旋转到定向以观看视频,或者从水平定向旋转到垂直定向以阅读文章。基于定向的改变,交互管理器106可以使显示器114在活动显示器的不同边缘上提供反馈指示器120,以便于维持反馈指示器120相对于用户的定向和位置。如所注意的,还可以考虑内容的定向,并且这些特征可以彼此结合使用以在显示器上在适合于显示器上的两者内容的定向和相对于用户显示器的定向的位置处提供反馈指示器。

在一些情况下,可以确定电子设备上运行的雷达手势应用正在沉浸式模式下(例如,在不具有任何呈现的控件的全屏模式下)操作。响应于该确定,显示器可以周期性地提供反馈指示器。例如,如参考图1所描述的,反馈指示器可以在呈现持续时间内在显示器上被提供,并且然后在非呈现持续时间内停止被提供。呈现持续时间和非呈现持续时间都可以是预定的或可选择的。持续时间可以是可选择的(例如,由用户或由交互管理器106基于各种因素,诸如在沉浸式模式下运行的雷达手势应用的类型、雷达手势应用的状态或用户采用雷达手势的频率)。

当用户使用除了雷达手势以外的输入(例如,触摸或语音输入)与电子设备进行交互时,反馈指示器可能会完全褪去或消失。例如,如参考图1所描述的,当雷达手势应用也正在运行时,用户可以决定使用电子设备上的触摸命令来启动应用。在这种情况下,当用户拿起电子设备或触摸显示器时,反馈指示器可能会褪去或消失。当用户停止触摸显示器或放下电子设备时(如果一个或多个雷达手势应用仍在初衷),反馈指示器将重新启动。当触摸或语音输入结束时,或在可选择的默认持续时间之后,反馈指示器可能会立即重新出现或变亮。类似地,当雷达手势应用是提供提示或通知的应用时,当显示提示或通知时,会出现反馈指示器,并且当用户使用雷达手势与提示或通知进行交互时,反馈指示器会消失,除非其他手势订用应用正在运行。

可以在电子设备102处于锁定状态或解锁状态时提供反馈指示器。因此,当用户的一部分在手势区内(并且雷达手势应用正在运行)时,无论是否用户被认证或者未被认证,电子设备可以提供反馈指示器。如参考图1所描述的,锁定和解锁状态指代对电子设备的访问权级别。锁定状态可以是其中用户没有被认证并且使用该设备的任何人将具有少于全部的权限或访问权(例如,没有访问权或权限,或受限的访问权或权限)的状态。锁定状态的示例可以包括如本文所述的电子设备的感知和参与模式。类似地,解锁状态可以是其中至少一个用户被认证并且该用户具有对设备的完全权限和/或访问权的状态。如本文所述,解锁状态的示例是电子设备的活动模式。

用于移动设备的输入方法的这些技术可能比其他身份认证和反馈技术更加安全。例如,用户的方位、定向或使用雷达手势(尤其是用户定义的手势、微手势以及基于姿势或基于方位的手势)通常不会被未经授权的人复制或获取(与例如密码不同)。此外,即使用户的雷达图像(例如,基于上述雷达数据)包括用户的面部,该用户的雷达图像也不会像照片或视频那样在视觉上识别用户。即便如此,除了上述描述之外,还可以给用户提供允许用户做出关于本文献中描述的系统、程序、管理器、模块或特征中的任一个是否且何时可以使得能够收集用户信息(例如,用户的图像、描述用户的雷达数据、关于用户的社交网络、社交动作或活动、职业、用户的偏好或用户的当前位置的信息)且用户是否并且何时被从服务器发送了内容或通信的选择的控制。此外,某些数据可以在它被存储或使用之前被以一种或多种方式处理,使得个人可识别的信息被移除。例如,可以处理用户的身份,使得对该用户来说不能确定个人可识别的信息,或者可以在获得定位信息的情况下使用户的地理定位一般化(诸如为城市、邮编/邮政编码或州级别),使得不能够确定用户的特定位置。因此,用户可以控制关于用户收集什么信息、如何使用该信息以及向用户或关于用户提供什么信息。

示例视觉元素

如前所述,本文所述的技术和系统可以使电子设备102能够提供反馈和通知,以使用户意识到可用的雷达手势输入模式,并且在一些情况下,提供关于雷达手势的使用和结果的附加反馈。反馈和通知由一个或多个诸如在显示器114上呈现的视觉元素的用户可感知的元素提供。这些技术和系统还可以使得能够确定用户的不存在、存在和位置,其可以被用于以提供响应更迅速且更高效的认证过程。例如,这些技术使电子设备能够预料用户何时准备好进行认证,并且能够在用户离开时更准确地确定何时锁定设备。反馈、视觉元素和其他特征使的实现更方便且更少令人沮丧的交互,因为用户意识到输入模式,并对设备可以交互和接收输入的不同方式充满信心。图8-15图示运行雷达手势应用的电子设备102的示例,并且描述可以呈现在显示器上以向用户提供反馈的视觉元素的示例。还描述在多种不同模式下操作的电子设备的示例,以及可以在不同模式中在显示器上呈现的视觉元素的示例。

考虑图8,其总体上在800处图示视觉反馈元素的示例,该视觉反馈元素可用于指示雷达手势应用正在电子设备102上运行。在图8中,详细视图800-1示出示例显示器114-3,以指示没有正在运行的雷达手势应用的电子设备102的状态。在另一示例显示器114-4上示出电子设备102的另一状态,其中至少一个雷达手势应用正在运行。如上所述,示例显示器114-4顶部上的视觉元素802指示电子设备102可以通过雷达手势接收输入。视觉元素802被示出为照明线,但是如前所注意到的,可以在另一位置处、以不同照明级别(例如,仅部分照明)或作为另一形状或类型的元素来呈现。例如,在另一个详细视图800-2中,示出示例显示器114-5以指示没有运行的雷达手势应用的电子设备102的状态。在另一示例显示器114-6上示出电子设备102的另一状态,其中至少一个雷达手势应用正在运行。如上所述,示例显示器114-6顶部处的视觉元素804指示电子设备102可以通过雷达手势接收输入。视觉元素804被示出为照明区域(例如,发光区域)。与视觉元素802一样,视觉元素804可以呈现在显示器114-6上的另一位置处,以不同的照明级别(例如,更多照明或更少照明)呈现,或者呈现为另一形状或类型的元素。注意,为了清楚起见,在示例显示器114-3至114-6上未示出其他元素(例如,时间、日期或应用启动图标)。然而,在其他实施方式中,视觉元素802或804可以与其他内容一起显示在显示器上。此外,可以在电子设备102处于感知模式、参与模式、活动模式或另一模式时显示视觉元素802或804。

在一些实施方式中,电子设备102还可以提供与雷达手势的可用性有关的更详细的视觉反馈。例如,交互管理器106可以使显示器114呈现其他视觉元素,这些视觉元素提供关于通过基于雷达的雷达手势接收到的输入的反馈。图9-12图示视觉元素可以被用于提供与雷达手势的使用有关的反馈的一些方式的附加细节。

例如,参考图9A-9D,其在900处大体上图示可以被用于指示用户的手在手势区域内的反馈指示器120的示例,该手势区使雷达手势应用能够接收雷达手势输入(例如,手势区118)。手势区118是电子设备102(或雷达系统104)周围的区域,电子设备102可以在该区域内接收、解释并作用于雷达手势,诸如轻扫或捏合。手势区可以从电子设备102延伸任何合适的距离(例如,大约三英寸、大约五英寸、大约七英寸或大约九英寸)。

在图9A中,示出示例显示器114-7处于至少一个雷达手势应用正在运行的状态(例如,类似于参考图8描述的示例显示器114-6)。在示例显示器114-7附近但是在手势区118之外(手势区的边界被示出为虚线904)示出用户的手902。示例性反馈指示器906(视觉元素906)被示出为在示例显示器114-7的顶部附近的发光区域(例如,具有变化的亮度、颜色或其他属性的区域或形状),该发光区域具有随离顶部的距离而变化的光度。在其他实施方式中,视觉元素906可以被呈现在另一位置处或呈现为另一形状或类型的元素(例如,线,如图8的详细视图800-1中所示)。在图9B中,用户的手902朝着电子设备移动并跨过手势区的边界904,如箭头908所示。响应于电子设备检测到移动908,另一视觉元素910代替视觉元素906,如在示例显示器114-8上所示。在此示例中,视觉元素910是发光区域,该发光区域大于视觉元素906并且具有不同的亮度或光度(例如,较少、较多或完全照明)。在其他实施方式中,视觉元素910也可以呈现在另一位置处或呈现为另一形状或类型的元素。

如图9C中所示(并参考图1所描述的),当用户的手902在手势区的边界904内时,视觉元素910可以被用于提供指示用户的手902的较小的非手势运动的反馈,其由双端箭头912表示。例如,如示例显示器114-9上所示,视觉元素可以通过随用户的手来回移动来移动以指示用户的手的移动,如通过箭头914所示。在图9D中,如箭头916所示,将用户的手902撤回在手势区的边界904之外。响应于用户的手的运动,显示器114返回到示例显示器114-7中所示的状态,其中视觉元素906显示在显示器114的顶部边缘附近。

在一些实施方式中(图9A-9D中未示出),非手势运动可以由其他视觉元素或视觉元素的改变来表示。例如,大小和/或形状可以改变,或者形状的中心或焦点可以移动以表示运动(而形状本身保持静止)。附加地或可替选地,亮度或颜色的强度的改变可以被用于表示运动(例如,形状或形状的一部分的亮度或颜色根据非手势运动而改变)。视觉元素906和910以及视觉元素910的运动可以帮助用户理解手势何时可用,并提供指示电子设备102意识到用户手的相对方位的反馈,这可以通过电子设备102改善用户的体验。图9A-9D中所示的实施例是示例12-18,其中对应于到电子设备的距离和/或用户的一部分在手势区的移动动态地调整反馈指示器的视觉属性。

如参考图9C所描述的,电子设备102可以提供视觉反馈以表示用户的手在手势区中的较小的非手势运动,诸如与用户的手的运动相对应地在显示器上来回移动视觉元素。类似地,当用户做出雷达手势(例如,跳过歌曲的轻扫手势或解除提示或通知的全手势)时,电子设备102可以提供反馈以通知用户该手势已被成功接收或接收到手势尝试,但是不够清楚而无法确认为雷达手势。例如,图10总体上在1000处图示示例视觉元素的序列,其可以用于通知用户已经成功接收到手势。

在图10中,示例显示器114-10被示出为处于至少一个雷达手势应用正在运行并且用户的手1002在手势区的边界内的状态(例如,类似于参考图9B描述的示例显示器114所表示的状态)。示例显示器114-10呈现视觉元素1004,该视觉元素被示出为示例显示器114-10顶部附近的照明线,以指示雷达手势的可用性以及用户的手1002在手势区内。在图10的示例中,用户从左到右做出滑动或轻扫手势,如通过箭头1006所示。响应于用户的手1002的运动1006,视觉元素1004也移动,如序列1008所示(虚线矩形内所示)。示例显示器114-11图示当视觉元素1004开始向右移动时序列1008的开始,如通过箭头1010所示。

序列1008在另一个示例显示器114-12中继续,其中视觉元素1004围绕示例显示器114-12的角弯曲,如箭头1012所示。视觉元素1004可以在显示器114的一侧持续下降达可变距离(例如,视觉元素的尾端一完成弯曲就或在尾端沿着该侧已经行进特定距离之后)并且然后消失。在另一个示例显示器114-13中继续序列1008,视觉元素1004从示例显示器114-13的左侧重新出现或重新生成,并且朝着中心方位移动,如箭头1014所示。在一些实施方式中,视觉元素1004可以在初始方位(如示例显示器114-10中所示)而不是从左侧重新出现或重新生成。当序列1008完成时,显示器返回到示例显示器114-10中所示的状态,其中视觉元素1004显示在显示器114的顶部附近,并且可以在手保持在手势区的边界内时精细地跟踪用户的手1002。视觉元素1004的运动可以帮助用户理解何时已经接受了雷达手势以及手势何时完成,从而可以改善用户对电子设备102的体验。

考虑其中用户正在使用智能电话(例如电子设备102)上的雷达手势应用收听音乐。用户决定跳过曲目,并在智能电话上做出雷达手势。雷达手势可以是在任一方向上的轻扫(例如,从左到右以跳到下一曲目或从右到左以重新开始当前曲目或跳到先前曲目)。当用户的手进入手势区时,呈现视觉元素,诸如反馈指示器120。当用户开始雷达手势时,智能电话(例如,通过交互管理器106)呈现在序列1008中的视觉元素,如参考图10所述。以这种方式,视觉元素可以向用户提供关于雷达手势的成功的反馈。

注意,序列1008在用户开始手势时开始,但是手势和序列1008可以在不同的时间完成。此外,如上所述,虽然视觉元素1004被示出为在显示器114的顶部附近的照明线,但是视觉元素1004可以被呈现在另一位置处或呈现为另一形状或类型的元素(例如,如图9A-9D中所示,或在图8的详细视图800-2中)。序列1008也可以从显示器114上的另一个位置开始,并在另一个方向前进,诸如从右到左、从上到下或从下到上(例如,如果雷达手势从右到左、从上到下、或从下到上移动)。示出成功的雷达手势(图10中未示出)的序列的另一示例包括视觉元素,该视觉元素扩展并变亮,然后自身折叠且短暂消失,并且然后重新生成(例如,从其原始方位)。其他示例还包括弯曲或屈曲(例如,在一端、两端、在中间或在另一位置)的视觉元素,以显示成功的雷达手势,诸如在垂直于显示器114的方向上做出的手势或具有垂直于显示器114的分量的手势。在其他情况下,视觉元素1004可能会在到达角时或在到达角之前消失,或者可能沿着围绕角的显示器114的一侧继续下降,甚至一直围绕显示器114移动。

在某些情况下,如此处所述,即使在雷达手势可用时,视觉元素也可能被隐藏(例如,因为用户以语音或触摸输入进行交互,或者为了降低烧屏的风险)。在这种情况下,当用户做出成功的雷达手势时,仍可以示出视觉元素,诸如视觉元素1004。考虑上面的音乐播放器示例的变型,其中当用户正在听音乐并使用语音输入打开另一个应用时,隐藏视觉元素。在此示例中,用户执行雷达手势以跳过歌曲,并且显示器呈现序列1008以通知用户雷达手势成功。

图11大体上在1100处图示示例视觉元素的序列,其可用于通知用户手势未能被成功地做出或接收。在图11中,示例显示器114-14被示出为处于至少一个雷达手势应用正在运行并且用户的手1102在手势区的边界内的状态下(例如,类似于参考图9B描述的示例显示器114-8中所表示的状态)。示例显示器114-14正在呈现视觉元素1104,该视觉元素被示出为示例显示器114-14的顶部附近的照明线,以指示雷达手势的可用性以及用户的手1102在手势区内。在图11的示例中,假定用户试图从左向右做出滑动或轻扫手势,但是不满足轻扫手势的充分标准或不对应于电子设备上的雷达手势应用的雷达手势。例如,如弯曲的箭头1106所示,用户的手1102在撤回之前可能没有在相关方向行进足够的距离。在这种情况下,当电子设备102(或雷达系统104)检测到缺乏用以成功地确定为雷达手势的足够的定义的用户的手1102的运动1106时,视觉元素1104如序列1108中所示移动(在虚线矩形内示出)。示例显示器114-15图示当视觉元素1104开始向右移动时序列1108的开始,如箭头1110所示。

在另一个示例显示器114-16中继续序列1108,视觉元素1104在到达示例显示器114-16的相对边缘之前已经停止并且收缩(与示例显示器114-14中所示的起始长度相比)。序列1108在另一示例显示114-17中继续,其中视觉元素1104反转方向并开始朝着其原始位置(在该示例中为中心)移回,如另一箭头1112所示。视觉元素1104也开始扩张回到原始长度。在其他实施方式中,视觉元素1104可以在反转方向之前减速并跳动,而不是停止和收缩。当序列1108完成时,显示器返回到示例显示器114-14中所示的状态,其中视觉元素1104显示在示例显示器114的顶部附近,并在用户的手1102保持在手势区的边界内的同时精细地跟踪用户的手1102(例如,如图9A-9D所示)。视觉元素1104的运动可以帮助用户理解何时手势没有成功完成,从而用户可以学习用于做出成功的雷达手势的技术,并在尝试的手势失败时意识到(例如,因此可以再次尝试,如果需要),可以改善用户对电子设备102的体验。

注意,当电子设备102(或交互管理器106)(例如,使用雷达数据的一个或多个子集)检测到用户已经尝试雷达手势并且还确定手势不能满足接受所必需的至少一个准则时,序列1108可能开始。因此,取决于尝试的手势的性质和序列1108的速度,可以在不同的时间完成尝试的手势和序列1108。此外,如上所述,尽管视觉元素1104被示出为在显示器114的顶部附近的部分照明线,视觉元素1104可以呈现在另一位置或呈现为另一形状或类型的元素(例如,如图9A-9D或图8的详细视图800-2所示)。序列1108也可以在显示器114上的另一个位置处开始并且在另一个方向上前进,诸如从右到左、从上到下或从下到上(例如,如果尝试的雷达手势从右到左、从上到下、或从下到上移动)。示出失败的雷达手势尝试的序列的其他示例包括视觉元素,该视觉元素自身部分折叠,诸如通过短暂收缩,并且然后返回其原始尺寸和方位。

在一些实施方式中,电子设备102包括手势暂停模式,当条件指示系统在接收或解释手势方面可能效率低下或无效时,该手势暂停模式可以关闭或挂起电子设备102的雷达手势能力。例如,当电子设备102以高于阈值的速率移动时,或者当电子设备102移动的方向快速且重复地改变时,电子设备可以进入手势暂停模式并向用户提供视觉反馈。电子设备102可以基于来自包括雷达传感器(例如,雷达系统104)、惯性测量单元(IMU)、接近度传感器(例如,有源红外线接近度传感器)等等的各种传感器中的任何一个的输入来确定进入手势暂停模式。例如,如果用户正在步行和利用用户来回摆动的手中的电子设备102收听音频内容,则该运动可能类似于基于雷达的轻扫手势,但是用户不打算跳过曲目或调整音量。因此,因为电子设备102的运动可以将模糊引入手势解释过程中,所以电子设备102可以确定进入手势暂停模式,直到模糊被解决(例如,用户停止步行)。

考虑图12,其在1200处总体上图示示例视觉元素,该示例视觉元素可用于指示雷达手势应用可用于接收雷达手势输入,但是手势当前被暂停。无论何时雷达手势可用、无论用户的手在手势区内还是手势区外,都可以激活手势暂停模式。在图12中,示例显示器114-18被示出为处于至少一个雷达手势应用正在运行并且用户的手在手势区的边界内的状态下(例如,类似于参考图9B描述的示例显示器114-中所表示的状态)。示例显示器114-18呈现视觉元素1202,该视觉元素1202被示出为示例显示器114-18的顶部附近的照明线,以指示雷达手势的可用性以及用户的手1102在手势区内。如果用户采取使电子设备102进入手势暂停模式的动作(例如,当用户步行时用户的手开始来回移动,如箭头1204所示),则视觉元素1202可以改变,如序列1206所示(在虚线矩形内)。

示例显示器114-19图示当响应于电子设备102检测到移动1204另一视觉元素1208代替视觉元素1202时序列1206的开始。如示例显示器114-19所示,视觉元素1208是比视觉元素1202短且暗的另一个线。在视觉元素1202具有特定颜色的实施方式中,视觉元素1208可以具有与视觉元素1202不同的颜色(例如,颜色可以从特定颜色更改为另一种颜色,诸如灰色或白色)。序列1206在另一个示例性显示114-20中继续,其中视觉元素1208开始向右移动,如箭头1210所示。在另一个示例显示器114-21中继续序列1206,视觉元素1208向左移动,如箭头1212所示。在序列1206中,视觉元素1208可以在其到达显示器的一侧之前停止并反转方向,或者在反转方向之前一直去往边缘。在一些实施方案中,视觉元素1208在其停止反转方向时可以进一步收缩,并且然后在其在相反方向中移动时、在其在相反方向中移动之后或随着其在相反方向中移动返回另一大小。此外,视觉元素1208的振荡可以匹配手势暂停模式所基于的条件。例如,在用户的手臂摆动的情况下,视觉元素1208的振动的速率或频率可以大致匹配用户的手移动的速率或频率。

如上所述,虽然视觉元素1208被示出为在显示器114的顶部附近的照明线,但是视觉元素1208可以被呈现在另一位置处或呈现为另一形状或类型的元素(例如,如图9A-9D或图8的详细视图800-2中所示)。序列1108也可以在显示器114上的另一个位置处开始并且在另一个方向上前进,诸如从右到左、从上到下或从下到上(例如,取决于显示器114上的内容的定向、雷达手势输入的方向或其他因素)。

当电子设备102退出手势暂停模式时,序列1206完成,并且显示器114取决于是否存在运行的雷达手势应用以及用户的手的位置返回到适当的状态。视觉元素1208的运动的序列1206可以帮助用户理解何时可以暂停手势,并且允许用户调整如何使用电子设备102来避免或利用手势暂停模式,这可以改善用户对电子设备102的体验。

在一些情况下(图12中未示出),用户的动作可能不会引起模糊,诸如在其中用户带着电子设备步行并稳固地将其保持在用户面前的情况。在这些情况下,即使用户和电子设备在运动中,电子设备也不进入手势暂停模式,并且视觉元素1202可以改变一个或多个视觉参数以提示用户雷达手势可用。例如,视觉元素1202可以从默认颜色改变为另一种颜色(例如,从灰色改变为蓝色、从灰色改变为白色、或者从白色改变为蓝色)。

在一些实施方式中,电子设备102可以确定在电子设备102上运行的雷达手势应用正在以沉浸式模式(例如,在没有任何呈现控件的全屏模式下)操作。响应于此确定,显示器可以周期性地提供参考图8至图12描述的视觉元素(例如,视觉元素802、804、906、910、1004、1104、1202和/或1208)。例如,视觉元素可以在持续时间内在显示器上提供,并且然后在另一持续时间停止提供。持续时间可以是可选的(例如,由用户或由电子设备102,基于诸如在沉浸模式下运行的雷达手势应用的类型、雷达手势应用的状态或用户采用雷达手势的频率的因素)。

注意,以上参考图8至图12描述的视觉元素(例如,视觉元素802、804、906、910、1004、1104、1202、1208和/或反馈指示器120)可以以可以与该视觉元素在其上呈现的显示器的背景在视觉上区分的任何合适的颜色来呈现。此外,视觉元素的颜色可以基于多种因素中的任何一种而改变,所述因素诸如电子设备的操作状态或显示器的环境背景颜色。例如,交互管理器106(或另一实体、模块或管理器)可以确定在其上或将在其上显示视觉元素的显示器的区部的背景颜色。响应于确定背景颜色,视觉元素可以以不同于背景颜色的另一种颜色来呈现。不同的颜色可以在视觉元素和背景颜色之间提供人眼可辨别的对比度,从而使用户更容易看到视觉元素。在一些情况下,视觉元素的颜色可以基于背景颜色的改变进行连续、自动和动态调整。

用户的位置和移动也可以用来检测用户行为,这些行为被归类为用户与电子设备进行交互(或不进行交互)的打算的指示。例如,电子设备可以访问被归类为用户与该设备进行交互或不进行交互的意图的指示物的动作的库(例如,在存储设备中)(例如,向该电子设备伸手、朝向或远离电子设备转身或行走、倾向于电子设备或看着电子设备)。在一些情况下,电子设备还可以包括可以添加、移除或修改存储在库中的动作的机器学习技术。基于对用户的存在、移动和打算的检测,电子设备可以使电子设备进入和退出不同的功能性模式,并基于这些模式在显示器上呈现不同的视觉元素。这些模式可以为电子设备启用不同的功能性,并帮助用户了解电子设备正在操作的模式以及可用的服务和功能。图13-15图示在多种模式下操作的电子设备,并且描述可以在不同模式下呈现在显示器上的视觉元素的示例。

例如,当在电子设备附近(例如,在雷达场110或辨识区内)未检测到用户时,该设备在休眠模式下操作。在休眠模式下,显示器(例如,显示器114)可以呈现比其他模式更少的视觉元素,或者没有视觉元素,并且显示器可以开启或关闭。当电子设备确定用户在辨识区内的存在时(例如,使用来自雷达系统104的雷达数据或雷达数据的一个或多个子集),电子设备退出休眠模式并进入感知模式。在感知模式下,显示器呈现一个或多个视觉元素,其可以指示电子设备的状态或功能性级别。

当电子设备处于感知模式时,电子设备可以检测被归类为用户与电子设备进行交互的意图的指示的用户动作。响应于检测到该用户动作,电子设备可以准备认证系统以执行认证过程。在一些实施方式中,当电子设备检测到用户进行交互的意图的指示时,电子设备还退出感知模式并进入参与模式。在参与模式下,显示器呈现可以指示电子设备的状态或功能性级别改变的附加或替代视觉元素。电子设备还可以检测触发事件,并基于触发事件使认证系统对用户进行认证。响应于用户被认证,电子设备退出感知或参与模式并进入活动模式。在活动模式下,显示器呈现附加或替代的视觉元素,所述视觉元素可以指示电子设备的状态或功能性级别的改变。

图13图示电子设备从休眠模式转变为感知模式的示例1300。详细视图1300-1示出当用户1302在辨识区1304之外时处于休眠模式的电子设备102。在该示例中,辨识区1304具有楔形形状,但是如所注意到的,辨识区1304可以采用任何合适的形状或尺寸。继续该示例,在这种情况下,显示器114不在休眠模式下呈现任何视觉元素,如示例显示器114-22上所示。在另一个详细视图1300-2中,用户1302更靠近电子设备102,电子设备102已经确定用户1302已经进入辨识区1304。基于此确定,电子设备102退出休眠模式并进入感知模式,如箭头1306所示。

在详细视图1300-2中,多个视觉元素被呈现在示例显示器114-23上。例如,在感知模式下,示例显示器114-23呈现一天中时间元素1308(时钟)、日期元素1310、连接性状态元素1312(例如,Wi-Fi、蜂窝网络或其他网络连接性)以及电池电量指示器元素1314(包括图形元素和百分比指示器)。在详细视图1300-2中,示例显示器114-23的其余部分为空白。然而,在一些实施方式中,可以显示附加元素,包括背景图像,诸如墙纸或其他图像。尽管未在图13中示出,如果用户1302退出辨识区1304,则电子设备102可以停止显示视觉元素并且返回到休眠模式(立即或在用户1302已经在辨识区1304之外达可选择的预定的时间量之后)。

图14图示电子设备从感知模式转变到可选参与模式的示例1400。详细视图1400-1示出辨识区1304内的用户1302和处于感知模式的包括在示例显示器114-24上显示的多个视觉元素(1308、1310、1312、1314)的电子设备102,如参考图13所描述的。另一详细视图1400-2示出用户1302向电子设备102伸手。电子设备102(例如,使用雷达数据的一个或多个子集)将伸手检测为是用户与电子设备102进行交互的意图的指示的用户动作。响应于检测到该指示意图的用户动作,电子设备102退出感知模式并进入参与模式,如箭头1402所示。

在详细视图1400-2中,附加的视觉元素被呈现在示例显示器114-25上。例如,在参与模式下,示例显示器114-25呈现背景图像1404(在这种情况下,是金门大桥的图像)。背景图像1404可以具有随用户的场境下调整的动态特征,诸如动画或者取决于伸手的距离或速度而改变的变化的亮度或透明度级别。在参与模式下,电子设备102还准备执行认证过程的认证系统(请注意,在一些情况下,响应于指示用户意图的用户动作,电子设备102不进入参与模式,而是在感知模式下准备认证系统)。相应地,示例显示器114-25还呈现锁定图标1406,其指示对电子设备102的完全访问权是不可用的直到用户1302被认证为止。在一些实施方式中,可以在示例显示器114-25上显示附加的视觉元素,并且可以停止呈现在示例显示器114-24上呈现的视觉元素中的一些或全部。尽管未在图14中示出,如果用户1302撤回伸手手势,则电子设备102可以退出参与模式并返回到感知模式(立即或在伸手已经被撤回达可选择的预定时间量之后)。

图15图示在认证用户1302之后电子设备从参与模式转变为活动模式的示例1500(注意,在一些实施方式中,电子设备可以从感知模式转变为活动模式)。详细视图1500-1示出在辨识区1304内的用户1302和处于参与模式的包括在示例显示器114-26上显示多个视觉元素(1308、1310、1312、1314、1404、1406)的电子设备102,如参考图14所描述的。如参考图14所注意到的,当用户向电子设备102伸手时,认证系统准备认证用户1302。在图15中,另一个详细视图1500-2示出用户1302已经拿起电子设备102。如上所述,电子设备102确定被拿起是触发事件,并且认证用户1302。当用户1302被认证时,电子设备102退出参与模式(或感知模式)并进入活动模式,如箭头1502所示。

还可以在示例显示器114-27上呈现与活动模式相关联的附加视觉元素,如详细视图1500-2中所示。例如,在活动模式下,示例显示器114-27继续呈现与感知模式相关联的视觉元素,但是(与参与模式相关联的)背景图像1404已改变为另一个背景图像1504——沙滩剪影(注意,因为背景图像1504具有不同的颜色方案,所以一些视觉元素已经改变对比度或颜色,使得它们对于用户1302仍然可见)。另外,参与模式锁定图标1406已经转变为解锁图标1506,其指示用户1302被认证。在一些实施方式中,解锁图标1506可以在持续时间内被呈现,并且然后褪去。虽然未在图15中图示,但是在解锁图标1506褪去之后,可以在示例显示器114-27上显示附加的视觉元素,诸如指令(例如,“轻扫或轻敲以打开”)、一个或多个应用启动图标或对电子设备102可用的其他视觉元素。

在一些实施方式中,只要用户1302保持在辨识区(例如,辨识区1304)内或雷达系统可以在其中检测用户1302的存在的另一定义区域内,用户1302就可以保持被认证。在这些实施方式中,显示器114可以保持通电并且能够接收输入和呈现内容,或者屏幕可以关闭以节省电池电力。因为用户1302保持认证,所以即使屏幕关闭,用户也可以通过触摸屏幕、拿起设备或其他动作来访问电子设备102,而不必重新进行认证。这样,可以在节省电池电力的同时改善用户对电子设备102的享受和体验。

此外,所描述的模式之间的进展(例如,从休眠模式,通过感知和参与模式,到认证和活动模式)可以在相反的方向中运行。例如,当电子设备102处于活动模式并且用户1302将其向下放置(例如,发生另一触发事件)时,电子设备可以进入锁定状态(例如,对用户1302取消认证),和/或将电子设备102置于参与或感知模式中,如上所述。因此,如果用户的手保持在电子设备102附近(例如,保持在“伸手”方位),则电子设备102可以保持在参与模式中。相反,如果用户的手被撤回,则电子设备102可以进入感知模式。然后,如上所述,当用户在辨识区中时,电子设备102可以保持在感知模式下。在区之间的这种进展期间,显示器114可以为每个区呈现上述视觉元素,以向用户1302指示电子设备102的改变状态。

如上所述,在一些实施方式中,在电子设备102上运行的应用能够通过基于雷达的独立于触摸的手势(雷达手势)来接收输入。在这些情况下,雷达系统104可以基于电子设备102的场境来检测用户的伸手并执行动作。例如,当电子设备处于上述任一模式时,用户可以接收电话呼叫,接收警报、提示或通知,或通过电子设备播放音乐。在这些情况下,用户可以向电子设备伸手以响应于该动作。因此,在来电或提示期间,伸手可以减小铃声或通知或使铃声或通知静音。此外,如果用户注意到提示或通知正被显示,并且向电子设备伸手,则该通知可以被解除或变为交互式。例如,在检测到用户的伸手时,电子设备可以在允许用户通过解除或推迟提示/通知、回复(在消息或电子邮件通知的情况下)或其他方式进行响应的模式下显示通知。在一些情况下,显示的通知也可能会更改颜色或大小。在用户收听音乐的示例中,伸手可以使电子设备呈现音乐播放器的控制屏幕,使得用户可以控制曲目、音量或其他参数。

这些特征中的一些或全部可能在不同的模式下可用,并且哪些特征可用可以是用户可选择的。例如,用户可以允许在所有模式下音量静音和音乐控制,但是允许仅在活动模式下(例如,当用户已经被认证并且尚未离开辨识区时)才对提示和通知做出响应。用户还可以选择特征和许可级别的其他组合。

雷达设施的功率使用量显着小于相机设施的功率使用量,同时使用雷达设施的结果的适宜性通常要比使用相机设施更好在所描述的实施方式的优点当中,所述实施方式包括其中雷达感测用于检测辨识区内用户的存在的实施方式,并且进一步包括其中雷达被用于检测归类为用户旨在与电子设备进行交互的指示的用户动作的实施方式,所述实施方式中的任一个可以使用被提供给大多数现代智能电话的设备内置相机替选地实现。例如,使用上文所述的雷达设施,可以以范围从个位数的毫瓦到仅几十毫瓦(例如,10mW、20mW、30mW或40mW)的平均功率来实现所需的用户状态或用户打算检测,甚至包括用于处理雷达矢量数据以进行确定的处理能力。在这些低的功率级别下,使雷达设备处于始终开启状态是很容易接受的。这样,例如,在智能电话雷达设施处于始终开启状态的情况下,仍然可以为已经距智能电话在房间另一边坐了多个小时的用户提供当前所描述的令人愉悦的无缝体验。

相反,当今给大多数智能电话提供的光学相机通常以数百毫瓦的功率操作(例如,比40mW高的数量级,其是400mW)。以这样的功率比,光学相机将是不利的,因为它们会大大降低当今大多数智能电话的电池寿命,以至于使光学相机处于始终开启状态如果不禁止则是非常不切实际的。雷达设施的另一个优点是视场可以非常大足以检测用户从任何方向步行,即使当其被平的且面朝上放在桌子上(对于其中雷达芯片以与自拍相机大致相同的方向面向外面的许多典型的实现方式而言)并且此外,借助于其多普勒处理能力,在检测从各种方向的移动的身体的相对精细的移动时,它可以非常有效(尤其是在接近60GHz的操作频率下)。

此外,雷达设施可以在降低或限制相机设施性能的环境中操作。例如,在光线较弱的环境中,相机设施可具有降低的检测形状或移动的能力。相反,雷达设施在光线较弱下和全光下的性能一样好。雷达设施还可以通过一些障碍物检测存在和手势。例如,如果智能电话在口袋或夹克或裤子中,则相机设施无法检测到用户或手势。但是,雷达设施仍可以检测其场内的对象,即使织物会阻挡相机设施。使用雷达设施相比于智能电话的机载摄像机设施的另一个优势是隐私,因为用户可以具有此处描述的令人愉悦和无缝体验的优势,而与此同时无需担忧存在为此目的拍摄其视频的摄像机。

示例计算系统

图16图示示例计算系统1600的各种组件,所述示例计算系统1600能够作为如参考先前的图1至图15所描述的任何类型的客户端、服务器和/或电子设备被实现以实现用于移动设备的输入方法。

计算系统1600包括通信设备1602,所述通信设备1602能够实现设备数据1604(例如,雷达数据、认证数据、参考数据、接收到的数据、正在接收的数据、为广播而调度的数据和数据的数据分组)的有线和/或无线通信。设备数据1604或其它设备内容能够包括设备的配置设定、存储在设备上的媒体内容和/或与设备的对象或用户相关联的信息(例如,雷达场内的人员的身份或者定制手势数据)。存储在计算系统1600上的媒体内容能够包括任何类型的雷达、生物计量、音频、视频和图像数据。计算系统1600包括能够用来接收任何类型的数据、媒体内容和/或输入的一个或多个数据输入1606,诸如人类发言、与雷达场的交互(例如,雷达手势)、触摸输入、用户可选输入或者交互(显式的或隐式的)、消息、音乐、电视媒体内容、录制视频内容以及从任何内容和/或数据源接收的任何其它类型的音频、视频和/或图像数据。

计算系统1600还包括通信接口1608,其能够作为串行和/或并行接口、无线接口、任何类型的网络接口、调制解调器并作为任何其它类型的通信接口中的任何一个或多个被实现。通信接口1608提供计算系统1600与通信网络之间的连接和/或通信链路,其它电子、计算和通信设备通过所述通信网络来与计算系统1600通信数据。

计算系统1600包括一个或多个处理器1610(例如,微处理器、控制器或其它控制器中的任一个),所述处理器1610能够处理各种计算机可执行指令以控制计算系统1600的操作并启用用于移动设备的输入方法或者在其中能够实现用于移动设备的输入方法的技术。替换地或附加地,计算系统1600能够用连同通常在1612处识别的处理和控制电路一起实现的硬件、固件或固定逻辑电路中的任何一个或组合来实现。尽管未示出,但是计算系统1600能够包括耦合设备内的各种组件的系统总线或数据转移系统。系统总线能够包括不同总线结构中的任何一种或组合,诸如存储器总线或存储器控制器、外围总线、通用串行总线和/或利用各种总线架构中的任一种的处理器或本地总线。同样未示出,计算系统1600可以包括一个或多个非雷达传感器,诸如非雷达传感器108。

计算系统1600还包括计算机可读介质1616,诸如能够实现持久和/或非暂时性数据存储(例如,与仅信号传输相反)的一个或多个存储设备,其示例包括随机存取存储器(RAM)、非易失性存储器(例如,只读存储器(ROM)、闪速存储器、EPROM、EEPROM等中的任何一种或多种)和磁盘存储设备。可以将磁盘存储设备实现为任何类型的磁或光学存储设备,诸如硬盘驱动器、可记录和/或可重写紧致盘(CD)、任何类型的数字通用盘(DVD)等。计算系统1600还能够包括大容量存储介质设备(存储介质)1616。

计算机可读介质1616提供用于存储设备数据1604以及各种设备应用1618和与计算系统1600的操作方面有关的任何其它类型的信息和/或数据的数据存储机制。例如,操作系统1620能够作为计算机应用用计算机可读介质1616维护并在处理器1610上执行。设备应用1618可以包括设备管理器,诸如任何形式的控制应用、软件应用、信号处理和控制模块、特定设备本机的代码、抽象模块、手势辨识模块和/或其它模块。设备应用1618还可以包括用于实现用于移动设备的输入方法的系统组件、引擎、模块或管理器,诸如雷达系统104、交互管理器106、或者应用管理器116。计算系统1600还可以包括或者能够访问一个或多个机器学习系统。

下面描述几个示例。

示例1:一种在包括显示器和雷达系统的电子设备中实现的方法,所述方法包括:基于通过所述雷达系统接收的雷达数据,确定用户的一部分在所述电子设备的手势区内;确定在所述电子设备上操作的应用被配置成接收雷达手势输入,所述雷达手势输入根据由所述雷达系统生成的雷达数据来确定;以及响应于确定所述用户的所述部分在所述电子设备的手势区内以及确定在所述电子设备上操作的所述应用被配置成接收雷达手势输入,在所述电子设备的显示器上提供反馈指示器,提供所述反馈指示器指示:所述用户的所述部分在所述手势区内;和所述应用能够接收所述雷达手势输入。

示例2:根据示例1所述的方法,其中,所述反馈指示器是出现在所述显示器的活动区域的边缘处的视觉元素。

示例3:根据示例2所述的方法,其中所述视觉元素包括:包括所述显示器的所述活动区域的部分的区域;视觉属性,所述视觉属性包括与接近所述视觉元素的所述显示器的另一部分的视觉属性不同的光度、颜色、对比度、形状、饱和度和/或不透明性;以及外边界的分段,所述外边界的分段在所述显示器的活动区域的所述边缘的阈值距离内。

示例4:根据示例3所述的方法,其中,所述视觉元素的视觉属性跨所述视觉元素的区域而变化。

示例5:根据示例1-4中的任一项所述的方法,其中:在所述手势区内的所述用户的所述部分是所述用户的手;以及确定所述用户的所述部分在所述电子设备的手势区内包括检测所述用户的手伸向所述电子设备。

示例6:根据示例1所述的方法,其中:在所述电子设备的显示器上提供所述反馈指示器包括调整先前呈现在所述显示器上的视觉元素,所述先前呈现的视觉元素指示在所述电子设备上操作的所述应用被配置成接收雷达手势输入并出现在所述显示器的活动区域的边缘处;以及调整所述先前呈现的视觉元素包括扩大所述先前呈现的视觉元素的区域。

示例7:根据示例6所述的方法,其中,扩大所述先前呈现的视觉元素的区域包括:在与所述显示器的活动区域的所述边缘平行的方向上延伸所述先前呈现的视觉元素;或者在远离所述显示器的活动区域的所述边缘的方向上延伸所述先前呈现的视觉元素

示例8:根据示例1-7中的任一项所述的方法,进一步包括:动态地调整所述反馈指示器的视觉属性,所述视觉属性与到所述电子设备的距离和/或所述用户的所述部分在所述手势区中的移动相对应。

示例9:根据示例8所述的方法,其中:所述视觉属性是所述反馈指示器的光度、亮度或视觉强度中的至少一个;所述视觉属性的度量随着所述距离接近与所述雷达系统的提高的雷达手势辨识功效相对应的量而增加;以及所述反馈指示器的所述视觉属性的度量随着所述距离接近与降低的雷达手势辨识功效相对应的量而减小。

示例10:根据示例1-9中的任一项所述的方法,进一步包括:动态地调整所述反馈指示器在所述显示器上的方位,动态调整所述反馈指示器与在所述电子设备的手势区内的所述用户的所述部分的移动相对应,在所述电子设备的手势区内的所述用户的所述部分的移动是基于所述雷达数据的第一子集或者基于所述雷达数据的第二子集,确定所述用户的所述部分在所述电子设备的手势区内是基于所述雷达数据的第一子集,所述雷达数据的第二子集在接收所述雷达数据的第一子集之后由所述雷达系统接收。

示例11.根据示例1-10中的任一项所述的方法,进一步包括:基于所述雷达数据的第一子集或者基于所述雷达数据的第二子集,确定所述用户的所述部分不再在所述手势区内,确定所述用户的所述部分在所述电子设备的手势区内是基于所述雷达数据的第一子集,所述雷达数据的第二子集在接收所述雷达数据的第一子集之后由所述雷达系统接收;和响应于确定所述用户的所述部分不再在所述手势区内,停止在所述电子设备的显示器上提供所述反馈指示器。

示例12:根据示例1-11中的任一项所述的方法,进一步包括:确定所述反馈指示器被显示的所述显示器的区部的背景颜色;和响应于确定所述反馈指示器被显示的所述显示器的所述区部的背景颜色,使所述显示器以与所述背景颜色不同的另一颜色提供所述反馈指示器,所述不同的颜色在所述反馈指示器和所述反馈指示器被显示的所述显示器的所述区部之间有效地提供人眼能够辨别的对比度。

示例13:一种电子设备,包括:显示器;至少部分地以硬件实现的雷达系统,所述雷达系统被配置成:提供雷达场;感测来自在所述雷达场中的用户的反射;分析来自在所述雷达场中的用户的所述反射;以及基于分析所述反射,提供雷达数据;计算机处理器;以及具有存储在其上的指令的计算机可读介质,所述指令响应于所述计算机处理器的执行,实现基于雷达的交互管理器,所述基于雷达的交互管理器被配置成:确定在所述电子设备上操作的应用被配置成接收雷达手势输入;基于所述雷达数据,确定所述用户的一部分在所述电子设备的手势区内;以及响应于确定在所述电子设备上操作的所述应用被配置成接收雷达手势输入以及确定所述用户的所述部分在所述电子设备的手势区内,使所述显示器呈现反馈指示器,呈现所述反馈指示器指示:所述用户的所述部分在所述手势区内;以及所述应用能够接收所述雷达手势输入。

示例14:根据示例13所述的电子设备,其中,所述反馈指示器是出现在所述显示器的活动区域的边缘处的视觉元素。

示例15:根据示例14所述的电子设备,其中所述视觉元素包括:包括所述显示器的所述活动区域的部分的区域;视觉属性,所述视觉属性包括与接近所述视觉元素的所述显示器的另一部分的视觉属性不同的光度、颜色、对比度、形状、饱和度和/或不透明性;以及外边界的分段,所述外边界的分段在所述显示器的活动区域的所述边缘的阈值距离内。

示例16:根据示例15所述的电子设备,其中,所述视觉元素的视觉属性跨所述视觉元素的所述区域而变化。

示例17:根据示例13-16中的任一项所述的电子设备,其中:在所述手势区内的所述用户的所述部分是所述用户的手;以及确定在所述电子设备的手势区内的所述用户的所述部分是确定所述用户的手伸向所述电子设备。

示例18:根据示例13所述的电子设备,其中:使所述显示器呈现所述反馈指示器包括使所述显示器对先前呈现的视觉元素进行调整,所述先前呈现的视觉元素指示在所述电子设备上操作的所述应用被配置成接收雷达手势输入并出现在所述显示器的所述活动区域的边缘处;以及对所述先前呈现的视觉元素进行调整包括至少扩大所述先前呈现的视觉元素的区域。

示例19:根据示例18所述的电子设备,其中,扩大所述先前呈现的视觉元素的区域包括:在与所述显示器的活动区域的所述边缘平行的方向上延伸所述先前呈现的视觉元素;或者在远离所述显示器的活动区域的所述边缘的方向上延伸所述先前呈现的视觉元素。

示例20:根据示例13-19中的任一项所述的电子设备,其中,所述基于雷达的交互管理器进一步被配置成:动态地调整所述反馈指示器的所述视觉属性,所述反馈指示器的视觉属性与到所述电子设备的距离和/或所述用户的所述部分在所述手势区中的移动相对应。

示例21:根据示例20所述的电子设备,其中,所述视觉属性是所述反馈指示器的光度、亮度或视觉强度中的至少一个;所述视觉属性的度量随着所述距离接近与所述雷达系统的提高的雷达手势辨识功效相对应的量而增加;以及所述反馈指示器的所述视觉属性的度量随着所述距离接近与降低的雷达手势辨识功效相对应的量而减小。

示例22:根据示例13-21中的任一项所述的电子设备,其中,所述基于雷达的交互管理器进一步被配置成:动态地调整所述反馈指示器在所述显示器上的方位,动态地调整所述反馈指示器与在所述电子设备的手势区内的所述用户的所述部分的移动相对应,在所述电子设备的手势区内的所述用户的所述部分的移动是基于所述雷达数据的第一子集或者所述雷达数据的第二子集,确定所述用户的所述部分在所述电子设备的手势区内是基于所述雷达数据的第一子集,所述雷达数据的第二子集在接收所述雷达数据的第一子集之后由所述雷达系统接收。

示例23:根据示例13-22中的任一项所述的电子设备,其中,所述基于雷达的交互管理器进一步被配置成:基于所述雷达数据的第一子集或者基于所述雷达数据的第二子集,确定所述用户的所述部分不再在所述手势区内,确定所述用户的所述部分在所述电子设备的手势区内是基于所述雷达数据的第一子集,所述雷达数据的第二子集在接收所述雷达数据的第一子集之后由所述雷达系统接收;以及响应于确定所述用户的所述部分不再在所述手势区内,使所述显示器停止呈现所述反馈指示器。

示例24:根据示例13-23中的任一项所述的电子设备,其中,所述基于雷达的交互管理器进一步被配置成:确定所述反馈指示器被呈现的所述显示器的区部的背景颜色;以及响应于确定所述反馈指示器被呈现的所述显示器的所述区部的背景颜色,使所述显示器以与所述背景颜色不同的另一颜色呈现所述反馈指示器,所述不同的颜色在所述反馈指示器和所述反馈指示器被显示的所述显示器的所述区部之间有效地提供人眼能够辨别的对比度。

结论

尽管已经以特定于特征和/或方法的语言描述了能够实现用于移动设备的输入方法的技术和能够实现用于移动设备的输入方法的装置的实施方式,但是要理解的是,所附权利要求书的主题不一定限于所描述的具体特征或方法。相反,这些具体特征和方法作为能够实现用于移动设备的输入方法的示例实施方式被公开。

相关技术
  • 一种移动设备的字符输入方法及移动设备
  • 数学表达式输入方法、装置及移动设备
技术分类

06120112703744