掌桥专利:专业的专利平台
掌桥专利
首页

用于基于注视的导航的设备、方法和图形用户界面

文献发布时间:2023-06-19 18:29:06


用于基于注视的导航的设备、方法和图形用户界面

本申请是申请号为202180023583.8、申请日为2021年3月15日、发明名称为“用于基于注视的导航的设备、方法和图形用户界面”的中国专利申请的分案申请。

本申请要求于2020年3月27日提交的美国临时申请号63/001,210以及于2020年12月29日提交的美国临时申请号63/131,754的权益,这两个临时申请的内容据此全文以引用方式并入本文以用于所有目的。

技术领域

本发明整体涉及计算机系统,该计算机系统具有呈现图形用户界面的显示生成组件和一个或多个输入设备,包括但不限于经由显示生成组件呈现实现基于注视的导航的图形用户界面的电子设备。

背景技术

近年来,用于增强现实的计算机系统的发展显著增加。示例增强现实环境包括至少一些替换或增强物理世界的虚拟元素。用于计算机系统和其他电子计算设备的输入设备(诸如相机、控制器、操纵杆、触敏表面和触摸屏显示器)用于与虚拟/增强现实环境进行交互。示例性虚拟元素包括虚拟对象(包括数字图像、视频、文本、图标、控制元素(诸如按钮),以及其他图形)。

但用于与包括至少一些虚拟元素的环境(例如,应用程序、增强现实环境、混合现实环境和虚拟现实环境)进行交互的方法和界面麻烦、低效且受限。例如,提供用于执行与虚拟对象相关联的动作的不足反馈的系统、需要一系列输入来在增强现实环境中实现期望结果的系统,以及虚拟对象操纵复杂、繁琐且容易出错的系统,会给用户造成巨大的认知负担,并且减损虚拟/增强现实环境的体验感。此外,这些方法花费比所需时间更长的时间,从而浪费能量。这后一考虑在电池驱动的设备中是特别重要的。

发明内容

因此,需要具有改进的方法和界面的计算机系统来向用户提供计算机生成的体验,从而使得用户与计算机系统的交互对用户来说更高效且更直观。此类方法和界面任选地补充或替换用于向用户提供计算机生成的现实体验的常规方法。此类方法和界面通过帮助用户理解所提供的输入与设备对这些输入的响应之间的联系,减少了来自用户的输入的数量、程度和/或性质,从而形成了更有效的人机界面。

所公开的系统减少或消除了与用于计算机系统的用户界面相关联的上述缺陷和其他问题,这些计算机系统具有显示生成组件和一个或多个输入设备。在一些实施方案中,计算机系统是具有相关联显示器的台式计算机。在一些实施方案中,计算机系统是便携式设备(例如,笔记本电脑、平板电脑或手持式设备)。在一些实施方案中,计算机系统是个人电子设备(例如,可穿戴电子设备,诸如手表或头戴式设备)。在一些实施方案中,计算机系统具有触控板。在一些实施方案中,计算机系统具有一个或多个相机。在一些实施方案中,计算机系统具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)。在一些实施方案中,计算机系统具有一个或多个眼睛跟踪部件。在一些实施方案中,计算机系统具有一个或多个手部跟踪部件。在一些实施方案中,除显示生成组件之外,计算机系统还具有一个或多个输出设备,这些输出设备包括一个或多个触觉输出发生器和一个或多个音频输出设备。在一些实施方案中,计算机系统具有图形用户界面(GUI)、一个或多个处理器、存储器和一个或多个模块、存储在存储器中用于执行多个功能的程序或指令集。在一些实施方案中,用户通过触控笔和/或手指在触敏表面上的接触和手势、用户的眼睛和手部在相对于GUI或用户身体的空间中的移动(如由相机和其他移动传感器捕获的)以及语音输入(如由一个或多个音频输入设备捕获的)与GUI进行交互。在一些实施方案中,通过交互执行的功能任选地包括图像编辑、绘图、演示、文字处理、电子表格制作、玩游戏、接打电话、视频会议、收发电子邮件、即时通讯、测试支持、数字摄影、数字视频录制、网页浏览、数字音乐播放、记笔记和/或数字视频播放。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的非暂态计算机可读存储介质或其他计算机程序产品中。

需要具有用于导航用户界面的改进方法和界面的电子设备。此类方法和界面可补充或替代用于与图形用户界面进行交互的常规方法。此类方法和界面减少了来自用户的输入的数量、程度和/或性质,并且产生更高效的人机界面。

在一些实施方案中,电子设备根据对用户注视的检测来扩展内容项。在一些实施方案中,电子设备根据确定用户正在阅读内容项来滚动内容项的文本。在一些实施方案中,电子设备根据对用户头部移动的检测和对用户注视的检测在用户界面之间导航。在一些实施方案中,电子设备根据对用户头部移动的检测和对用户注视的检测来显示涉及内容的一部分的增强内容。

需注意,上述各种实施方案可与本文所述任何其他实施方案相结合。本说明书中描述的特征和优点并不全面,具体来说,根据附图、说明书和权利要求书,许多另外的特征和优点对本领域的普通技术人员将是显而易见的。此外,应当指出,出于可读性和指导性目的,在原则上选择了本说明书中使用的语言,并且可以不这样选择以描绘或界定本发明的主题。

附图说明

为了更好地理解各种所述实施方案,应结合以下附图参考下面的具体实施方式,其中类似的附图标号在所有附图中指示对应的部分。

图1是示出根据一些实施方案的用于提供CGR体验的计算机系统的操作环境的框图。

图2是示出根据一些实施方案的计算机系统的被配置为管理和协调用户的CGR体验的控制器的框图。

图3是示出根据一些实施方案的计算机系统的被配置为向用户提供CGR体验的视觉组成部分的显示生成组件的框图。

图4是示出根据一些实施方案的计算机系统的被配置为捕获用户的手势输入的手部跟踪单元的框图。

图5是示出根据一些实施方案的计算机系统的被配置为捕获用户的注视输入的眼睛跟踪单元的框图。

图6是示出根据一些实施方案的闪光辅助的注视跟踪管道的流程图。

图7A至图7K示出了根据一些实施方案的电子设备如何根据对用户注视的检测来提供用户界面的导航的示例。

图8A至图8G是示出根据一些实施方案的根据对用户注视的检测来扩展内容项的方法的流程图。

图9A至图9L是示出根据一些实施方案的根据确定用户正在阅读内容项来滚动内容项文本的方法的流程图。

图10A至图10G是示出根据一些实施方案的根据对用户头部移动的检测和对用户注视的检测在用户界面之间导航的方法的流程图。

图11A至图11J是示出根据一些实施方案的根据对用户头部移动的检测和对用户注视的检测来显示涉及内容的一部分的增强内容的方法的流程图。

具体实施方式

根据一些实施方案,本公开涉及用于向用户提供计算机生成的现实(CGR)体验的用户界面。

本文所述的系统、方法和GUI为电子设备提供了基于用户注视和/或用户头部移动来提供导航的改进方式。

在一些实施方案中,计算机系统基于经由与计算机系统通信的注视跟踪设备检测到用户的注视指示用户正在阅读内容项来扩展内容项。使用例如与触敏表面或其他物理控制器相对的相机(例如,与头戴式设备集成的、远离用户安装的(例如,位于CGR房间中)或当用户正在查看由显示生成组件(例如,安装在显示屏或触摸屏上方的相机阵列)呈现的图像时面向用户安装的相机)来检测用户注视。计算系统任选地基于检测到的注视位置来确定用户正在阅读多个显示的内容项中的哪个内容项,并扩展用户正在阅读的内容项。响应于检测到用户阅读相应内容项而扩展相应内容项允许用户继续阅读内容项,而无需使用除了注视跟踪设备之外的输入设备来提供请求扩展相应内容项的输入,这允许用户更自然和更有效地访问扩展内容。此外,基于注视的导航只需要用户的眼睛和/或头部的移动,使得运动控制受损的人能够访问计算系统。

在一些实施方案中,计算机系统基于经由与计算机系统通信的注视跟踪设备检测到用户的注视指示用户已完成阅读内容项的相应部分来滚动内容项。使用例如与触敏表面或其他物理控制器相对的相机(例如,与头戴式设备集成的、远离用户安装的(例如,位于CGR房间中)或当用户正在查看由显示生成组件(例如,安装在显示屏或触摸屏上方的相机阵列)呈现的图像时面向用户安装的相机)来检测用户注视。计算系统任选地基于检测到的注视位置来确定用户已完成阅读内容的一部分,诸如内容文本的相应行。响应于检测到用户的注视而滚动内容项允许用户继续阅读内容项,而无需使用除了注视跟踪设备之外的输入设备来提供请求滚动内容项的输入,这允许用户更自然和更有效地阅读内容。此外,基于注视的滚动只需要用户的眼睛和/或头部的移动,使得运动控制受损的人能够访问计算系统。

在一些实施方案中,计算机系统基于经由与计算机系统通信的一个或多个图像传感器对用户注视和/或头部移动的检测来导航用户界面。使用例如与触敏表面或其他物理控制器相对的相机(例如,与头戴式设备集成的、远离用户安装的(例如,位于CGR房间中)或当用户正在查看由显示生成组件(例如,安装在显示屏或触摸屏上方的相机阵列)呈现的图像时面向用户安装的相机)来检测用户注视和头部移动。计算系统任选地基于一个或多个图像传感器来确定用户正在查看用户界面的对应于不同于当前导航位置的导航位置的相应部分和/或用户正在朝向用户界面的相应部分倾斜或转动其头部。响应于检测到指向用户界面的相应部分的用户注视和头部移动,电子设备任选地导航到用户界面的相应部分。响应于检测到用户的注视和/或头部移动而导航用户界面允许用户导航用户界面,而无需使用除了注视跟踪设备之外的输入设备来提供请求扩展相应内容项的输入,这允许用户更自然和更有效地与用户界面交互。此外,基于注视的导航只需要用户的眼睛和/或头部的移动,使得运动控制受损的人能够访问计算系统。

在一些实施方案中,计算机系统基于经由与计算机系统通信的一个或多个图像传感器检测到用户的注视和/或头部移动指向内容项的一部分(例如,文字、图像等)来呈现与该部分相关联的增强内容。使用例如与触敏表面或其他物理控制器相对的相机(例如,与头戴式设备集成的、远离用户安装的(例如,位于CGR房间中)或当用户正在查看由显示生成组件(例如,安装在显示屏或触摸屏上方的相机阵列)呈现的图像时面向用户安装的相机)来检测用户注视和/或头部移动。计算系统任选地使用一个或多个图像传感器来确定用户的注视指向内容的一部分以及用户的头部相对于用户的身体向前移动。响应于用户的注视和/或头部移动,电子设备呈现与内容的该部分相关联的增强内容(例如,清晰度、扩展图像、网站预览)。响应于检测到用户的注视和/或头部移动而呈现增强内容允许用户查看增强内容,而无需使用除了注视跟踪设备之外的输入设备来提供请求呈现增强内容的输入,这允许用户更自然和更有效地访问增强内容。此外,响应于检测到用户的注视和/或头部移动而呈现增强内容只需要用户的眼睛和/或头部的移动,使得运动控制受损的人能够访问计算系统。

图1至图6提供了对用于向用户提供CGR体验的示例性计算机系统的描述。图7A至图7K示出了根据一些实施方案的电子设备如何根据对用户注视的检测来提供用户界面的导航的示例。图8至图11是根据各种实施方案的根据对用户注视的检测来提供导航的方法的流程图。图7A至图7K中的用户界面分别用于示出图8至图11中的过程。

在一些实施方案中,如图1中所示,经由包括计算机系统101的操作环境100向用户提供CGR体验。计算机系统101包括控制器110(例如,便携式电子设备的处理器或远程服务器)、显示生成组件120(例如,头戴式设备(HMD)、显示器、投影仪、触摸屏等)、一个或多个输入设备125(例如,眼睛跟踪设备130、手部跟踪设备140、其他输入设备150)、一个或多个输出设备155(例如,扬声器160、触觉输出发生器170和其他输出设备180)、一个或多个传感器190(例如,图像传感器、光传感器、深度传感器、触觉传感器、取向传感器、接近传感器、温度传感器、位置传感器、运动传感器、速度传感器等),以及任选地一个或多个外围设备195(例如,家用电器、可穿戴设备等)。在一些实施方案中,输入设备125、输出设备155、传感器190和外围设备195中的一者或多者与显示生成组件120集成(例如,在头戴式设备或手持式设备中)。

在描述CGR体验时,各种术语用于区别地指代用户可以感测并且/或者用户可以与其进行交互(例如,利用由生成CGR体验的计算机系统101检测到的输入进行交互,这些输入使得生成CGR体验的计算机系统生成与提供给计算机系统101的各种输入对应的音频、视觉和/或触觉反馈)的若干相关但不同的环境。以下是这些术语的子集:

物理环境:物理环境是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品,诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。

计算机生成的现实:相反地,计算机生成的现实(CGR)环境是指人们经由电子系统进行感测和/或交互的完全或部分模拟环境。在CGR中,跟踪人的物理运动的子集或其表示,并且作为响应,以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如,CGR系统可以检测人的头部转动,并且作为响应,以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如,出于可达性原因),对CGR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如,声音命令)来进行。人可以利用其感觉中的任一者来感测CGR对象和/或与之交互,包括视觉、听觉、触觉、味觉和嗅觉。例如,人可以感测音频对象和/或与音频对象交互,该音频对象创建3D或空间音频环境,该3D或空间音频环境提供3D空间中点音频源的感知。又如,音频对象可以使能音频透明度,该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些CGR环境中,人可以感测和/或只与音频对象交互。

CGR的示例包括虚拟现实和混合现实。

虚拟现实:虚拟现实(VR)环境是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如,树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟和/或通过在计算机生成的环境内人的物理移动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。

混合现实:与被设计成完全基于计算机生成的感官输入的VR环境相比,混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如,虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上,混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况,但不包括这两端。在一些MR环境中,计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外,用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向,以使虚拟对象能够与真实对象(即,来自物理环境的物理物品或其表示)交互。例如,系统可以导致移动使得虚拟树木相对于物理地面看起来是静止的。

混合现实的示例包括增强现实和增强虚拟。

增强现实:增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或物理环境的表示上方的模拟环境。例如,用于呈现AR环境的电子系统可具有透明或半透明显示器,人可以透过该显示器直接查看物理环境。该系统可以被配置为在透明或半透明显示器上呈现虚拟对象,使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地,系统可以具有不透明显示器和一个或多个成像传感器,该成像传感器捕获物理环境的图像或视频,这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合,并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境,并且感知叠加在物理环境之上的虚拟对象。如本文所用,在不透明显示器上显示的物理环境的视频被称为“透传视频”,意味着系统使用一个或多个图像传感器捕获物理环境的图像,并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地,系统可以具有投影系统,该投影系统将虚拟对象投射到物理环境中,例如作为全息图或者在物理表面上,使得人利用该系统感知叠加在物理环境之上的虚拟对象。增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如,在提供透传视频中,系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如,视点)。又如,物理环境的表示可以通过图形地修改(例如,放大)其部分而进行转换,使得经修改部分可以是原始捕获图像的代表性的但不是真实的版本。再如,物理环境的表示可以通过以图形方式消除其部分或将其部分进行模糊处理而进行转换。

增强虚拟:增强虚拟(AV)环境是指其中虚拟环境或计算机生成环境结合了来自物理环境的一项或多项感官输入的模拟环境。感官输入可以是物理环境的一个或多个特性的表示。例如,AV公园可以具有虚拟树木和虚拟建筑物,但人的脸部是从对物理人拍摄的图像逼真再现的。又如,虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如,虚拟对象可以采用符合太阳在物理环境中的定位的阴影。

硬件:有许多不同类型的电子系统使人能够感测各种CGR环境和/或与各种CGR环境进行交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人眼睛上的透镜的显示器(例如,类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如,具有或没有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑、和台式/膝上型计算机。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地,头戴式系统可以被配置成接受外部不透明显示器(例如,智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器,而不是不透明显示器。透明或半透明显示器可以具有媒介,代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中,透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统还可以被配置为将虚拟对象投影到物理环境中例如作为全息图,或者投影到物理表面上。在一些实施方案中,控制器110被配置为管理和协调用户的CGR体验。在一些实施方案中,控制器110包括软件、固件和/或硬件的合适组合。下文参考图2更详细地描述控制器110。在一些实施方案中,控制器110是相对于场景105(例如,物理环境)处于本地或远程位置的计算设备。例如,控制器110是位于场景105内的本地服务器。又如,控制器110是位于场景105之外的远程服务器(例如,云服务器、中央服务器等)。在一些实施方案中,控制器110经由一个或多个有线或无线通信通道144(例如,蓝牙、IEEE 802.11x、IEEE 802.16x、IEEE 802.3x等)与显示生成组件120(例如,HMD、显示器、投影仪、触摸屏等)通信地耦接。在另一个示例中,控制器110包括在显示生成组件120(例如,HMD或包括显示器和一个或多个处理器的便携式电子设备等)、输入设备125中的一个或多个输入设备、输出设备155中的一个或多个输出设备、传感器190中的一个或多个传感器和/或外围装设备195中的一个或多个外围装设备的壳体(例如,物理外壳)内,或者与上述设备中的一者或多者共享相同的物理壳体或支撑结构。

在一些实施方案中,显示生成组件120被配置为向用户提供CGR体验(例如,至少CGR体验的视觉组成部分)。在一些实施方案中,显示生成组件120包括软件、固件和/或硬件的合适组合。下文相对于图3更详细地描述了显示生成组件120。在一些实施方案中,控制器110的功能由显示生成组件120提供和/或与该显示生成组件组合。

根据一些实施方案,当用户虚拟地和/或物理地存在于场景105内时,显示生成组件120向用户提供CGR体验。

在一些实施方案中,显示生成组件穿戴在用户身体的一部分上(例如,他/她的头部上、他/她的手部上等)。这样,显示生成组件120包括被提供用于显示CGR内容的一个或多个CGR显示器。例如,在各种实施方案中,显示生成组件120包围用户的视场。在一些实施方案中,显示生成组件120是被配置为呈现CGR内容的手持式设备(诸如智能电话或平板电脑),并且用户握持具有朝向用户的视场的显示器和朝向场景105的相机的设备。在一些实施方案中,手持式设备被任选地放置在穿戴在用户的头部上的壳体内。在一些实施方案中,手持式设备被任选地放置在用户前面的支撑件(例如,三脚架)上。在一些实施方案中,显示生成组件120是被配置为呈现CGR内容的CGR室、壳体或房间,其中用户不穿戴或握持显示生成组件120。参考用于显示CGR内容的一种类型的硬件(例如,手持式设备或三脚架上的设备)描述的许多用户界面可以在用于显示CGR内容的另一种类型的硬件(例如,HMD或其他可穿戴计算设备)上实现。例如,示出基于发生在手持式设备或三脚架安装的设备前面的空间中的交互而触发的与CGR内容的交互的用户界面可以类似地用HMD来实现,其中交互发生在HMD前面的空间中,并且对CGR内容的响应经由HMD来显示。类似地,示出基于手持式设备或三脚架安装的设备相对于物理环境(例如,场景105或用户身体的一部分(例如,用户的眼睛、头部或手部))的移动而触发的与CRG内容的交互的用户界面可以类似地用HMD来实现,其中移动是由HMD相对于物理环境(例如,场景105或用户身体的一部分(例如,用户的眼睛、头部或手部))的移动引起的。

尽管在图1中示出了操作环境100的相关特征,但本领域的普通技术人员将从本公开中认识到,为了简洁起见并且为了不模糊本文所公开的示例性实施方案的更多相关方面,未示出各种其他特征。

图2是根据一些实施方案的控制器110的示例的框图。尽管示出了一些具体特征,但本领域的技术人员将从本公开中认识到,为简洁起见并且为了不使本文所公开的实施方案的更多相关方面晦涩难懂,未示出各种其他特征。为此,作为非限制性示例,在一些实施方案中,控制器110包括一个或多个处理单元202(例如,微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、中央处理单元(CPU)、处理内核等)、一个或多个输入/输出(I/O)设备206、一个或多个通信接口208(例如,通用串行总线(USB)、IEEE802.3x、IEEE802.11x、IEEE 802.16x、全球移动通信系统(GSM)、码分多址(CDMA)、时分多址(TDMA)、全球定位系统(GPS)、红外(IR)、蓝牙、ZIGBEE以及/或者类似类型的接口)、一个或多个编程(例如,I/O)接口210、存储器220以及用于互连这些部件和各种其他部件的一条或多条通信总线204。

在一些实施方案中,一条或多条通信总线204包括互连和控制系统部件之间的通信的电路。在一些实施方案中,一个或多个I/O设备206包括键盘、鼠标、触控板、操纵杆、一个或多个麦克风、一个或多个扬声器、一个或多个图像传感器、一个或多个显示器等中的至少一种。

存储器220包括高速随机存取存储器,诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双倍数据速率随机存取存储器(DDR RAM)或者其他随机存取固态存储器设备。在一些实施方案中,存储器220包括非易失性存储器,诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器220任选地包括远离一个或多个处理单元202定位的一个或多个存储设备。存储器220包括非暂态计算机可读存储介质。在一些实施方案中,存储器220或者存储器220的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集,其中包括任选的操作系统230和CGR体验模块240。

操作系统230包括用于处理各种基础系统服务和用于执行硬件相关任务的指令。在一些实施方案中,CGR体验模块240被配置为管理和协调一个或多个用户的单重或多重CGR体验(例如,一个或多个用户的单重CGR体验,或一个或多个用户的相应群组的多重CGR体验)。为此,在各种实施方案中,CGR体验模块240包括数据获取单元242、跟踪单元244、协调单元246和数据传输单元248。

在一些实施方案中,数据获取单元242被配置为从图1的至少显示生成组件120,以及任选地从输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者获取数据(例如,呈现数据、交互数据、传感器数据、位置数据等)。出于该目的,在各种实施方案中,数据获取单元242包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。

在一些实施方案中,跟踪单元244被配置为映射场景105,并且跟踪至少显示生成组件120相对于图1的场景105的位置,以及任选地跟踪输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者的位置。出于该目的,在各种实施方案中,跟踪单元244包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。在一些实施方案中,跟踪单元244包括手部跟踪单元243和/或眼睛跟踪单元245。在一些实施方案中,手部跟踪单元243被配置为跟踪用户的手部的一个或多个部分的位置,以及/或者用户的手部的一个或多个部分相对于图1的场景105的、相对于显示生成组件120和/或相对于坐标系(该坐标系是相对于用户的手部定义的)的运动。下文相对于图4更详细地描述了手部跟踪单元243。在一些实施方案中,眼睛跟踪单元245被配置为跟踪用户注视(或更广泛地,用户的眼睛、面部或头部)相对于场景105(例如,相对于物理环境和/或相对于用户(例如,用户的手部))或相对于经由显示生成组件120显示的CGR内容的位置或移动。下文相对于图5更详细地描述了眼睛跟踪单元245。

在一些实施方案中,协调单元246被配置为管理和协调由显示生成组件120,以及任选地由输出设备155和/或外围装设备195中的一者或多者呈现给用户的CGR体验。出于该目的,在各种实施方案中,协调单元246包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。

在一些实施方案中,数据传输单元248被配置为将数据(例如,呈现数据、位置数据等)传输到至少显示生成组件120,并且任选地传输到输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者。出于该目的,在各种实施方案中,数据传输单元248包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。

尽管数据获取单元242、跟踪单元244(例如,包括眼睛跟踪单元243和手部跟踪单元244)、协调单元246和数据传输单元248被示为驻留在单个设备(例如,控制器110)上,但应当理解,在其他实施方案中,数据获取单元242、跟踪单元244(例如,包括眼睛跟踪单元243和手部跟踪单元244)、协调单元246和数据传输单元248的任何组合可以位于单独计算设备中。

此外,图2更多地用作可以存在于特定具体实施中的各种特征的功能描述,与本文所述的实施方案的结构示意图不同。如本领域的普通技术人员将认识到的,单独显示的项目可以组合,并且一些项目可以分开。例如,图2中单独示出的一些功能模块可在单个模块中实现,并且单个功能块的各种功能可在各种实施方案中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化,并且在一些实施方案中,部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。

图3是根据一些实施方案的显示生成组件120的示例的框图。尽管示出了一些具体特征,但本领域的技术人员将从本公开中认识到,为简洁起见并且为了不使本文所公开的实施方案的更多相关方面晦涩难懂,未示出各种其他特征。出于所述目的,作为非限制性示例,在一些实施方案中,HMD 120包括一个或多个处理单元302(例如,微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备及传感器306、一个或多个通信接口308(例如,USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE以及/或者类似类型的接口)、一个或多个编程(例如,I/O)接口310、一个或多个CGR显示器312、一个或多个任选的面向内部并且/或者面向外部的图像传感器314、存储器320以及用于互连这些部件和各种其他部件的一条或多条通信总线304。

在一些实施方案中,一条或多条通信总线304包括用于互连和控制各系统部件之间的通信的电路。在一些实施方案中,一个或多个I/O设备及传感器306包括惯性测量单元(IMU)、加速度计、陀螺仪、温度计、一个或多个生理传感器(例如,血压监测仪、心率监测仪、血液氧传感器、血糖传感器等)、一个或多个传声器、一个或多个扬声器、触觉引擎以及/或者一个或多个深度传感器(例如,结构光、飞行时间等)等。

在一些实施方案中,一个或多个CGR显示器312被配置为向用户提供CGR体验。在一些实施方案中,一个或多个CGR显示器312对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)以及/或者类似的显示器类型。在一些实施方案中,一个或多个CGR显示器312对应于衍射、反射、偏振、全息等波导显示器。例如,HMD 120包括单个CGR显示器。又如,HMD 120包括针对用户的每只眼睛的CGR显示器。在一些实施方案中,一个或多个CGR显示器312能够呈现MR和VR内容。在一些实施方案中,一个或多个CGR显示器312能够呈现AR或VR内容。

在一些实施方案中,一个或多个图像传感器314被配置为获取与用户面部的包括用户的眼睛的至少一部分对应的图像数据(并且可被称为眼睛跟踪相机)。在一些实施方案中,一个或多个图像传感器314被配置为获取与用户的手部以及任选地用户的手臂的至少一部分对应的图像数据(并且可被称为手部跟踪相机)。在一些实施方案中,一个或多个图像传感器314被配置为面向前方,以便获取与在不存在HMD 120的情况下用户将会看到的场景对应的图像数据(并且可被称为场景相机)。一个或多个任选图像传感器314可包括一个或多个RGB相机(例如,具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、一个或多个红外(IR)相机以及/或者一个或多个基于事件的相机等。

存储器320包括高速随机存取存储器,诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些实施方案中,存储器320包括非易失性存储器,诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器320任选地包括远离一个或多个处理单元302定位的一个或多个存储设备。存储器320包括非暂态计算机可读存储介质。在一些实施方案中,存储器320或者存储器320的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集,其中包括任选的操作系统330和CGR呈现模块340。

操作系统330包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些实施方案中,CGR呈现模块340被配置为经由一个或多个CGR显示器312向用户呈现CGR内容。出于该目的,在各种实施方案中,CGR呈现模块340包括数据获取单元342、CGR呈现单元344、CGR映射生成单元346和数据传输单元348。

在一些实施方案中,数据获取单元342被配置为至少从图1的控制器110获取数据(例如,呈现数据、交互数据、传感器数据、位置数据等)。出于所述目的,在各种实施方案中,数据获取单元342包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。

在一些实施方案中,CGR呈现单元344被配置为经由一个或多个CGR显示器312呈现CGR内容。出于所述目的,在各种实施方案中,CGR呈现单元344包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。

在一些实施方案中,CGR映射生成单元346被配置为基于媒体内容数据生成CGR映射图(例如,混合现实场景的3D映射图或可以在其中放置计算机生成对象的物理环境以生成计算机生成现实的映射图)。出于所述目的,在各种实施方案中,CGR映射生成单元346包括指令以及/或者用于该指令的逻辑以及启发法和用于该启发法的元数据。

在一些实施方案中,数据传输单元348被配置为将数据(例如,呈现数据、位置数据等)传输到至少控制器110,以及任选地输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者。出于所述目的,在各种实施方案中,数据传输单元348包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。

尽管数据获取单元342、CGR呈现单元344、CGR映射生成单元346和数据传输单元348被示出为驻留在单个设备(例如,图1的显示生成组件120)上,但应当理解,在其他实施方案中,数据获取单元342、CGR呈现单元344、CGR映射生成单元346和数据传输单元348的任何组合可位于单独计算设备中。

此外,图3更多地用作可能存在于特定实施方案中的各种特征的功能描述,与本文所述的实施方案的结构示意图不同。如本领域的普通技术人员将认识到的,单独显示的项目可以组合,并且一些项目可以分开。例如,图3中单独示出的一些功能模块可在单个模块中实现,并且单个功能块的各种功能可在各种实施方案中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化,并且在一些实施方案中,部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。

图4是手部跟踪设备140的示例性实施方案的示意性图解。在一些实施方案中,手部跟踪设备140(图1)由手部跟踪单元243控制(图2)来跟踪用户的手部的一个或多个部分的位置,以及/或者用户的手部的一个或多个部分相对于图1的场景105(例如,相对于用户周围的物理环境的一部分、相对于显示生成组件120,或者相对于用户的一部分(例如,用户的面部、眼睛或头部),以及/或者相对于坐标系(该坐标系是相对于用户的手部定义的))的运动。在一些实施方案中,手部跟踪设备140是显示生成组件120的一部分(例如,嵌入头戴式设备中或附接到头戴式设备)。在一些实施方案中,手部跟踪设备140与显示生成组件120分开(例如,位于单独的外壳中或者附接到单独的物理支撑结构)。

在一些实施方案中,手部跟踪设备140包括捕获至少包括人类用户的手部406的三维场景信息的图像传感器404(例如,一个或多个IR相机、3D相机、深度相机和/或彩色相机等)。图像传感器404以足够的分辨率捕获手部图像,以使手指及其相应位置能够被区分。图像传感器404通常捕获用户身体的其他部分、还或可能捕获身体的所有部分的图像,并且可以具有缩放能力或具有增大放大率的专用传感器以用期望分辨率捕获手部的图像。在一些实施方案中,图像传感器404还捕获手部406的2D彩色视频图像和场景的其他元素。在一些实施方案中,图像传感器404与其他图像传感器结合使用以捕获场景105的物理环境,或者用作捕获场景105的物理环境的图像传感器。在一些实施方案中,以将图像传感器404或其一部分的视场用于限定交互空间的方式相对于用户或用户的环境定位图像传感器,在该交互空间中,由图像传感器捕获的手部移动被视为到控制器110的输入。

在一些实施方案中,图像传感器404将包含3D映射数据(以及此外,可能的彩色图像数据)的帧序列输出到控制器110,该控制器从映射数据提取高级信息。该高级信息通常经由应用程序接口(API)提供给在控制器上运行的应用程序,该应用程序相应地驱动显示生成组件120。例如,用户可以通过移动他的手部408并改变他的手部姿势来与在控制器110上运行的软件交互。

在一些实施方案中,图像传感器404将斑点图案投影到包含手部406的场景上并且捕获所投影图案的图像。在一些实施方案中,控制器110基于图案中斑点的横向偏移来通过三角测量计算场景中的点(包括用户的手部的表面上的点)的3D坐标。这种方法是有利的,因为该方法不需要用户握持或穿戴任何种类的信标、传感器或其他标记。该方法给出了场景中的点在距图像传感器404的特定距离处相对于预先确定的参考平面的深度坐标。在本公开中,假设图像传感器404限定x轴、y轴、z轴的正交集合,使得场景中的点的深度坐标对应于由图像传感器测量的z分量。另选地,手部跟踪设备440可基于单个或多个相机或其他类型的传感器而使用其他3D映射方法,诸如立体成像或飞行时间测量。

在一些实施方案中,手部跟踪设备140在用户移动他的手部(例如,整个手部或一根或多根手指)时捕获并处理包含用户的手部的深度映射图的时间序列。在图像传感器404和/或控制器110中的处理器上运行的软件处理3D映射数据以提取这些深度映射图中手部的图像块描述符。软件可基于先前的学习过程将这些描述符与存储在数据库408中的图像块描述符匹配,以便估计每个帧中手部的位姿。位姿通常包括用户的手部关节和手指尖端的3D位置。

软件还可以分析手部和/或手指在序列中的多个帧上的轨迹以识别手势。本文所述的位姿估计功能可以与运动跟踪功能交替,使得每两个(或更多个)帧仅执行一次基于图像块的位姿估计,而跟踪用于找到在剩余帧上发生的位姿的变化。经由上述API向在控制器110上运行的应用程序提供位姿、运动和手势信息。该程序可以例如响应于位姿和/或手势信息而移动和修改呈现在显示生成组件120上的图像,或者执行其他功能。

在一些实施方案中,软件可以例如通过网络以电子形式下载到控制器110,或者可以另选地在有形非暂态介质诸如光学、磁性或电子存储器介质上提供。在一些实施方案中,数据库408同样存储在与控制器110相关联的存储器中。另选地或除此之外,计算机的所描述的功能中的一些或全部可以在专用硬件(诸如,定制或半定制集成电路或可编程数字信号处理器(DSP))中实现。尽管在图4中示出了控制器110,但是举例来说,作为与图像传感器440分开的单元,控制器的处理功能中一些或全部可以由合适的微处理器和软件或由手部跟踪设备402的外壳内的专用电路或与图像传感器404相关联的其他设备执行。在一些实施方案中,这些处理功能中的至少一些可由与显示生成组件120(例如,在电视接收机、手持式设备或头戴式设备中)集成或与任何其他合适的计算机化设备(诸如,游戏控制台或媒体播放器)集成的合适处理器执行。图像传感器404的感测功能同样可以集成到将由传感器输出控制的计算机或其他计算机化装置中。

图4还包括根据一些实施方案的由图像传感器404捕获的深度映射图410的示意图。如上所述,深度图包括具有相应深度值的像素的矩阵。与手部406对应的像素412已经从该映射图中的背景和手腕分割出来。深度映射图410内的每个像素的亮度与其深度值(即,测量的距图像传感器404的z距离)成反比,其中灰色阴影随着深度的增加而变得更暗。控制器110处理这些深度值以便识别和分割图像的具有人类手部特征的组成部分(即,一组相邻像素)。这些特征可包括例如总体大小、形状和从深度映射图序列中的帧到帧的运动。

图4还示意性地示出了根据一些实施方案的控制器110最终从手部406的深度映射图410提取的手部骨骼414。在图4中,骨骼414叠加在已经从原始深度映射图分割出来的手部背景416上。在一些实施方案中,手部的以及任选地在连接到手部的手腕或手臂上的关键特征点(例如,与指关节、手指尖端、手掌中心、手部的连接到手腕的端部等对应的点)被识别并位于手部骨骼414上。在一些实施方案中,控制器110使用这些关键特征点在多个图像帧上的位置和移动来根据一些实施方案确定由手部执行的手势或手部的当前状态。

图5示出了眼睛跟踪设备130(图1)的示例性实施方案。在一些实施方案中,眼睛跟踪设备130由眼睛跟踪单元245(图2)控制来跟踪用户注视相对于场景105或相对于经由显示生成组件120显示的CGR内容的位置和移动。在一些实施方案中,眼睛跟踪设备130与显示生成组件120集成。例如,在一些实施方案中,当显示生成组件120是头戴式设备(诸如,头戴式耳机、头盔、护目镜或眼镜)或放置在可穿戴框架中的手持式设备时,该头戴式设备包括生成CGR内容以供用户观看的部件以及用于跟踪用户相对于CGR内容的注视的部件两者。在一些实施方案中,眼睛跟踪设备130与显示生成组件120分开。例如,当显示生成组件是手持式设备或CGR室时,眼睛跟踪设备130任选地是与手持式设备或CGR室分开的设备。在一些实施方案中,眼睛跟踪设备130是头戴式设备或头戴式设备的一部分。在一些实施方案中,头戴式眼睛跟踪设备130任选地与也是头戴式的显示生成组件或不是头戴式的显示生成组件结合使用。在一些实施方案中,眼睛跟踪设备130不是头戴式设备,并且任选地与头戴式显示生成组件结合使用。在一些实施方案中,眼睛跟踪设备130不是头戴式设备,并且任选地是非头戴式显示生成组件的一部分。

在一些实施方案中,显示生成组件120使用显示机构(例如,左近眼显示面板和右近眼显示面板)来在用户眼睛前面显示包括左图像和右图像的帧,从而向用户提供3D虚拟视图。例如,头戴式显示生成组件可包括位于显示器和用户眼睛之间的左光学透镜和右光学透镜(在本文中被称为眼睛透镜)。在一些实施方案中,显示生成组件可包括或耦接到一个或多个外部摄像机,该一个或多个外部摄像机捕获用户的环境的视频以用于显示。在一些实施方案中,头戴式显示生成组件可具有透明或半透明显示器,并且在该透明或半透明显示器上显示虚拟对象,用户可以透过该透明或半透明显示器直接观看物理环境。在一些实施方案中,显示生成组件将虚拟对象投影到物理环境中。虚拟对象可例如被投影在物理表面上或作为全息图被投影,使得个体使用系统观察叠加在物理环境上方的虚拟对象。在这种情况下,可能不需要用于左眼和右眼的单独的显示面板和图像帧。

如图5中所示,在一些实施方案中,注视跟踪设备130包括至少一个眼睛跟踪相机(例如,红外(IR)或近红外(NIR)相机),以及朝向用户眼睛发射光(例如,IR或NIR光)的照明源(例如,IR或NIR光源,诸如LED的阵列或环)。眼睛跟踪相机可指向用户眼睛以接收光源直接从眼睛反射的IR或NIR光,或者另选地可指向位于用户眼睛和显示面板之间的“热”镜,这些热镜将来自眼睛的IR或NIR光反射到眼睛跟踪相机,同时允许可见光通过。注视跟踪设备130任选地捕获用户眼睛的图像(例如,作为以每秒60帧-120帧(fps)捕获的视频流),分析这些图像以生成注视跟踪信息,并将注视跟踪信息传送到控制器110。在一些实施方案中,用户的两只眼睛通过相应的眼睛跟踪相机和照明源来单独地跟踪。在一些实施方案中,通过相应的眼睛跟踪相机和照明源来跟踪用户的仅一只眼睛。

在一些实施方案中,使用设备特定的校准过程来校准眼睛跟踪设备130以确定用于特定操作环境100的眼睛跟踪设备的参数,例如LED、相机、热镜(如果存在的话)、眼睛透镜和显示屏的3D几何关系和参数。在将AR/VR装备递送给终端用户之前,可以在工厂或另一个设施处执行设备特定的校准过程。设备特定的校准过程可以是自动校准过程或手动校准过程。根据一些实施方案,用户特定的校准过程可以包括对特定用户的眼睛参数的估计,例如瞳孔位置、中央凹位置、光轴、视轴、眼睛间距等。根据一些实施方案,一旦针对眼睛跟踪设备130确定了设备特定参数和用户特定参数,就可以使用闪光辅助方法来处理由眼睛跟踪相机捕获的图像,以确定当前视轴和用户相对于显示器的注视点。

如图5中所示,眼睛跟踪设备130(例如,130A或130B)包括眼睛透镜520和注视跟踪系统,该注视跟踪系统包括定位在用户面部的被执行眼睛跟踪的一侧上的至少一个眼睛跟踪相机540(例如,红外(IR)或近红外(NIR)相机),以及朝向用户眼睛592发射光(例如,IR或NIR光)的照明源530(例如,IR或NIR光源,诸如NIR发光二极管(LED)的阵列或环)。眼睛跟踪相机540可指向位于用户眼睛592和显示器510(例如,头戴式显示器的左显示器面板或右显示器面板,或者手持式设备的显示器、投影仪等)之间的镜子550(这些镜子反射来自眼睛592的IR或NIR光,同时允许可见光通过)(例如,如图5的顶部部分所示),或者另选地可指向用户眼睛592以接收来自眼睛592的反射IR或NIR光(例如,如图5的底部部分所示)。

在一些实施方案中,控制器110渲染AR或VR帧562(例如,用于左显示面板和右显示面板的左帧和右帧)并且将帧562提供给显示器510。控制器110将来自眼睛跟踪相机540的注视跟踪输入542用于各种目的,例如用于处理帧562以用于显示。控制器110任选地基于使用闪光辅助方法或其他合适的方法从眼睛跟踪相机540获取的注视跟踪输入542来估计用户在显示器510上的注视点。根据注视跟踪输入542估计的注视点任选地用于确定用户当前正在看向的方向。

以下描述了用户当前注视方向的几种可能的使用案例,并且不旨在进行限制。作为示例性使用案例,控制器110可以基于所确定的用户注视的方向不同地渲染虚拟内容。例如,控制器110可以在根据用户当前注视方向确定的中央凹区域中以比在外围区域中的分辨率更高的分辨率生成虚拟内容。作为另一个示例,控制器可至少部分地基于用户当前注视方向来在视图中定位或移动虚拟内容。作为另一个示例,控制器可至少部分地基于用户当前注视方向来在视图中显示特定虚拟内容。作为AR应用程序中的另一个示例性使用案例,控制器110可引导用于捕获CGR体验的物理环境的外部相机在所确定方向上聚焦。然后,外部相机的自动聚焦机构可以聚焦于显示器510上用户当前正看向的环境中的对象或表面上。作为另一个示例性使用案例,眼睛透镜520可以是可聚焦透镜,并且控制器使用注视跟踪信息来调整眼睛透镜520的焦点,使得用户当前正看向的虚拟对象具有适当的聚散度以匹配用户眼睛592的会聚。控制器110可以利用注视跟踪信息来引导眼睛透镜520调整焦点,使得用户正看向的靠近的对象出现在正确距离处。

在一些实施方案中,眼睛跟踪设备是头戴式设备的一部分,该部分包括安装在可穿戴外壳中的显示器(例如,显示器510)、两个眼睛透镜(例如,眼睛透镜520)、眼睛跟踪相机(例如,眼睛跟踪相机540)以及光源(例如,光源530(例如,IR或NIR LED))。光源朝向用户眼睛592发射光(例如,IR或NIR光)。在一些实施方案中,光源可围绕透镜中的每个透镜布置成环或圆圈,如图5中所示。在一些实施方案中,例如,八个光源530(例如,LED)围绕每个透镜520布置。然而,可使用更多或更少的光源530,并且可使用光源530的其他布置和位置。

在一些实施方案中,显示器510发射可见光范围内的光,并且不发射IR或NIR范围内的光,并且因此不会在注视跟踪系统中引入噪声。需注意,眼睛跟踪相机540的位置和角度以举例的方式给出,并且不旨在进行限制。在一些实施方案中,单个眼睛跟踪相机540位于用户面部的每一侧上。在一些实施方案中,可在用户面部的每一侧上使用两个或更多个NIR相机540。在一些实施方案中,可在用户面部的每一侧上使用具有较宽视场(FOV)的相机540和具有较窄FOV的相机540。在一些实施方案中,可在用户面部的每一侧上使用以一个波长(例如,850nm)操作的相机540和以不同波长(例如,940nm)操作的相机540。

如图5中所示的注视跟踪系统的实施方案可例如用于计算机生成的现实、虚拟现实和/或混合现实应用程序,以向用户提供计算机生成的现实、虚拟现实、增强现实和/或增强虚拟体验。

图6示出了根据一些实施方案的闪光辅助的注视跟踪管道。在一些实施方案中,注视跟踪管道通过闪光辅助的注视跟踪系统(例如,如图1和图5中所示的眼睛跟踪设备130)来实现。闪光辅助的注视跟踪系统可保持跟踪状态。最初,跟踪状态为关闭或“否”。当处于跟踪状态时,当分析当前帧以跟踪当前帧中的瞳孔轮廓和闪光时,闪光辅助的注视跟踪系统使用来自先前帧的先前信息。当未处于跟踪状态时,闪光辅助的注视跟踪系统尝试检测当前帧中的瞳孔和闪光,并且如果成功,则将跟踪状态初始化为“是”并且在跟踪状态下继续下一个帧。

如图6中所示,注视跟踪相机可捕获用户左眼和右眼的左图像和右图像。然后将所捕获的图像输入到注视跟踪管道以用于在610处开始处理。如返回到元素600的箭头所指示的,注视跟踪系统可例如以每秒60至120帧的速率继续捕获用户眼睛的图像。在一些实施方案中,可以将每组所捕获的图像输入到管道以用于处理。然而,在一些实施方案中或在一些条件下,不是所有所捕获的帧都由管道处理。

在610处,对于当前所捕获的图像,如果跟踪状态为是,则方法前进到元素640。在610处,如果跟踪状态为否,则如620处所指示的,分析图像以检测图像中的用户瞳孔和闪光。在630处,如果成功检测到瞳孔和闪光,则方法前进到元素640。否则,方法返回到元素610以处理用户眼睛的下一个图像。

在640处,如果从元素410前进,则分析当前帧以部分地基于来自先前帧的先前信息来跟踪瞳孔和闪光。在640处,如果从元素630前进,则基于当前帧中检测到的瞳孔和闪光来初始化跟踪状态。检查元素640处的处理结果以验证跟踪或检测的结果可以是可信的。例如,可检查结果以确定是否在当前帧中成功跟踪或检测到用于执行注视估计的瞳孔和足够数量的闪光。在650处,如果结果不可能是可信的,则跟踪状态被设置为否,并且方法返回到元素610以处理用户眼睛的下一个图像。在650处,如果结果是可信的,则方法前进到元素670。在670处,跟踪状态被设置为YES(如果尚未为是),并且瞳孔和闪光信息被传递到元素680以估计用户的注视点。

图6旨在用作可用于特定具体实施的眼睛跟踪技术的一个示例。如本领域普通技术人员所认识到的,根据各种实施方案,在用于向用户提供CGR体验的计算机系统101中,当前存在或未来开发的其他眼睛跟踪技术可用于取代本文所述的闪光辅助的眼睛跟踪技术或与该闪光辅助的眼睛跟踪技术组合使用。

在本公开中,相对于与计算机系统的交互来描述各种输入方法。当使用一个输入设备或输入方法来提供示例,并且使用另一个输入设备或输入方法来提供另一个示例时,应当理解,每个示例可与相对于另一个示例描述的输入设备或输入方法兼容并且任选地利用该输入设备或输入方法。类似地,相对于与计算机系统的交互来描述各种输出方法。当使用一个输出设备或输出方法来提供示例,并且使用另一个输出设备或输出方法来提供另一个示例时,应当理解,每个示例可与相对于另一个示例描述的输出设备或输出方法兼容并且任选地利用该输出设备或输出方法。类似地,相对于通过计算机系统与虚拟环境或混合现实环境进行的交互来描述各种方法。当使用与虚拟环境的交互来提供示例时,并且使用混合现实环境来提供另一个示例时,应当理解,每个示例可与相对于另一个示例描述的方法兼容并且任选地利用这些方法。因此,本公开公开了作为多个示例的特征的组合的实施方案,而无需在每个示例性实施方案的描述中详尽地列出实施方案的所有特征。

现在将注意力转向可在具有显示生成组件、一个或多个输入设备以及(任选)一个或多个相机的计算机系统(诸如,便携式多功能设备或头戴式设备)上实现的用户界面(“UI”)和相关联过程的实施方案。

图7A至图7K示出了根据一些实施方案的电子设备如何根据对用户注视的检测来提供用户界面的导航的示例。

图7A示出了经由显示生成组件120显示内容浏览用户界面的电子设备101。如上参考图1至图6所述,电子设备101任选地包括显示生成组件120(例如,触摸屏)和多个图像传感器314。图像传感器314任选地包括以下中的一者或多者:可见光相机;红外相机;深度传感器;或当用户与电子设备101交互时电子设备101能够用来捕获用户或用户的一部分的一个或多个图像的任何其他传感器。

如图7A所示,用户界面包括内容浏览区域700。内容浏览区域700包括多个内容项的表示,包括图像702a至702d以及文本704a至704d的与每个项目相关联的部分。图7A还包括在电子设备处接收的事件708的指示和作为响应而显示的事件的视觉指示706。例如,事件的指示是由电子设备101能够访问的应用程序生成的指示,诸如来自另一电子设备的传入消息或另一电子设备的用户账户的指示。通知706的视觉指示任选地包括与事件相关联的文本和/或图像,诸如在电子设备101处接收到的消息的文本以及与发送消息的用户账户相关联的图像。因此,在一些实施方案中,在没有下文将描述的例外的情况下,设备101响应于接收到通知生成事件的指示(例如,指示708)经由显示生成组件120显示通知的视觉指示706。

图7B示出了显示内容浏览区域700的显示生成组件120。在图7B中,电子设备101检测(例如,使用一个或多个图像传感器314)用户的注视716p(例如,用户的注视位置与文本704a一致)并确定用户的注视指示用户正在阅读内容项中的一个内容项的文本704a。在一些实施方案中,电子设备101通过跟踪用户注视的移动并确定该移动是否匹配与阅读一致的眼睛移动来确定用户是否正在阅读。例如,当人们阅读时,他们的注视任选地在阅读文本行的同时沿着文本行在相关语言的文本方向上逐渐移动(例如,对拉丁语来说从左到右,如图7B所示),并且当用户完成阅读文本行时,他们的注视任选地沿着他们在看下一行之前刚刚阅读的行在相反方向上移动(例如,从右到左)。电子设备101任选地将检测到的用户注视的移动与该模式进行比较,以确定用户是否正在阅读。

响应于检测到用户正在阅读如图7B所示的内容项的文本704a,电子设备101更新如图7C所示的用户界面。如图7C所示,电子设备101在叠加在初始内容浏览用户界面700上的扩展内容区域714内显示内容项的图像702a和文本704a,以及内容文本的附加部分710a和包括在内容中的另一图像712a。因此,在一些实施方案中,扩展内容区域714包括内容(例如,文本710a、图像712a)的在内容浏览用户界面700中不可见的部分。设备101任选地以其他方式改变所显示的用户界面,这将在下文进一步详细描述。

如上所述,电子设备101能够使用图像传感器314来确定在查看如图7B所示的文本704a时用户眼睛的移动是否对应于用户阅读。在一些实施方案中,如果电子设备101检测到用户仅查看内容项的文本704a但不阅读它,或者扫描/浏览文本但不阅读它,则电子设备101继续显示图7B所示的用户界面,而不是更新显示器以显示图7C所示的用户界面。然而,在一些实施方案中,电子设备101响应于检测到用户查看文本704a但不阅读它而放弃更新用户界面,并且响应于检测到用户正在扫描或浏览文本704a而更新如图7C所示的用户界面。

如图7B所示,用户界面的内容浏览区域700包括多个内容项的表示,诸如第一内容项的图像702a和文本704a,以及另一内容项的图像702b和文本704b。如图7C所示,当电子设备101将用户界面更新为包括具有第一内容项的附加部分的其他区域714时,其他内容项(例如,用户没有确定要阅读的内容项)不被扩展(例如,电子设备101不显示其他内容项的附加部分)。

同样,在图7B中,如果用户要开始阅读第二内容项的文本704b而不是阅读第一内容项的文本704a,则电子设备101将以类似于图7C所示的电子设备101显示第一内容项的附加区域714的方式的方式将用户界面更新为包括具有第二内容项的附加部分的用户界面区域。电子设备101将任选地类似地扩展用户开始阅读的任何其他内容项(任选地不扩展其他内容项),同时显示图7B所示的内容浏览用户界面700。

如图7C所示,当在用户界面的扩展内容区域714中显示第一内容项时,电子设备101继续显示用户界面的内容浏览区域700(和内容浏览区域700内的其他内容项)。内容浏览区域700(和其中显示的内容项)以弱化的外观显示,同时在扩展内容区域714中显示第一内容项的附加部分710a和712a。例如,如图7C所示,内容浏览区域700(和其中显示的内容项)以与扩展第一内容项之前显示内容浏览区域700的方式(如图7B所示)相比更暗的颜色和更小的尺寸显示。在一些实施方案中,与在显示扩展内容区域714之前如何显示内容浏览区域700(和其中显示的内容项)相比,电子设备101以增大的半透明度显示内容浏览区域700(和其中显示的内容项),同时显示扩展区域714。

此外,如图7C所示,包括第一内容项的扩展内容区域714重叠显示在用户界面的内容浏览区域700上。在一些实施方案中,用户界面中的扩展内容区域714的z高度与显示扩展内容区域714之前的内容浏览区域700的z高度(例如,图7B中的内容浏览区域700的z高度)相同。在一些实施方案中,当将用户界面从图7B所示的用户界面更新为图7C所示的用户界面时,电子设备101任选地将内容浏览区域700移动到用户界面中的较低z高度。

如图7C所示,在一些实施方案中,电子设备101将用户界面的扩展内容区域714中的内容项显示在用户界面中与图7B所示的曾在内容浏览用户界面700中显示内容项的相同位置(例如,显示区域中的相同水平和/或垂直位置)(例如,在图7B和图7C中的显示区域中的相同水平和/或垂直位置处显示图像702a和文本704a)。同样如图7C所示,当内容项显示在扩展内容区域714中时,内容项的宽度任选地与当内容项显示在图7B所示的内容浏览区域700中时的宽度相同。如图7C所示,当内容显示在扩展内容区域714中时,内容的高度改变以显示内容的附加部分710a和712a。在一些实施方案中,内容的高度在图7B和图7C之间保持相同。在一些实施方案中,内容项文本的尺寸在图7B和图7C之间保持相同,这在一些情况下避免了可能分散用户注意力的文本的抖动移动或尺寸调整。

在一些实施方案中,电子设备101不是在从图7B的用户界面转换到图7C的用户界面时将内容显示在用户界面中的相同位置处,而是将内容显示在显示生成组件120的显示区域的中心(或其他预定位置)的扩展内容区域714中。在一些实施方案中,电子设备101初始在与图7B中内容项显示在内容浏览区域700中的相同位置处显示扩展内容区域714中的内容,并且随着用户继续阅读扩展内容区域714中的内容项,逐渐将扩展内容区域714中的内容以及扩展内容区域本身714移动到显示区域的中心(或其他预定位置)(例如,随着用户越来越多地阅读扩展内容区域中的内容,越来越多地移动扩展内容区域)。

将图7B的用户界面更新为图7C的用户界面时,电子设备101还任选地增大用户界面用于显示第一内容项的部分。例如,图7B中显示区域用于显示第一内容项的内容的尺寸任选地小于图7C中显示区域用于显示第一内容项的内容的尺寸。因此,在扩展内容区域714中能够显示比在内容浏览区域700中显示更多的第一内容项。

在一些实施方案中,电子设备101逐步地以动画方式呈现从图7B所示的用户界面到图7C所示的用户界面的转换。电子设备任选地以与用户阅读内容项的文本704a的速率成比例的速率来推进动画呈现(例如,随着用户阅读更多文本704a,完成到图7C的更多转换)。例如,如果用户阅读如图7B所示的内容项的文本704a的一部分,则电子设备任选地显示动画呈现的一部分。又如,如果用户阅读内容项的文本704a的一部分,则电子设备101显示动画呈现的更大部分。

返回到图7C,如果用户要停止阅读内容项的文本704a或710a并且目光从内容项移开(例如,查看用户界面中的位置716c),则电子设备101任选地将用户界面恢复为图7B所示的用户界面。在一些实施方案中,电子设备101改为根据下文所述的方法1000的一个或多个步骤在图7B和图7C中显示的用户界面之间导航。在一些实施方案中,响应于(例如,使用图像传感器314)检测到用户已停止阅读内容项的文本704a和/或710a,电子设备101将用户界面从图7C所示的用户界面恢复到图7B所示的用户界面。此外,在一些实施方案中,如果在电子设备101正在显示将用户界面从图7B所示的用户界面更新为图7C所示的用户界面的动画呈现时用户将目光从内容项移开(例如,移至位置716c),则电子设备将用户界面恢复为图7B所示的用户界面。

在一些实施方案中,当用户正在阅读用户界面中(例如,在扩展内容区域714或内容浏览区域700中)显示的内容项时,电子设备101放弃显示或生成事件的指示706。例如,如图7A所示,当用户没有阅读内容浏览区域700中的任何内容项时,响应于检测到事件的指示708,电子设备101显示事件通知的视觉指示706。如图7C所示,当电子设备101检测到用户正在阅读内容项的一部分704a的注视716b时,响应于接收到事件的指示708,电子设备101放弃显示图7A中显示的通知706的视觉指示。在一些实施方案中,当用户停止阅读内容项并且当用户没有正在阅读任何其他内容项时,电子设备101显示当用户正在阅读时所检测到的事件的指示706。在一些实施方案中,即使当设备101确定用户已停止阅读用户界面中的任何内容时,电子设备101也不显示事件的视觉指示706。

在一些实施方案中,电子设备101根据用户对内容项的阅读来滚动内容项的文本。在图7C中,电子设备101在用户界面中的第一位置722a处(例如,在图像702a的正下方)显示内容项文本的第一行724a。电子设备101还在用户界面中的第二位置722b处(例如,位置722a的正下方)显示文本的第二行724b。

响应于检测到指示用户已完成阅读文本的第一行724a的用户注视716b,电子设备101滚动文本,如图7D所示。如图7D所示,滚动的结果是第二文本行724b现在显示在第一位置722a,而在第二文本行724b之后的第三文本行724c显示在第二位置722b。电子设备101还向上滚动内容项的其余部分,诸如文本710a和图像712a。在一些实施方案中,位置722a和722b相对于用户界面的其余部分固定。在一些实施方案中,在将第二文本行724b滚动到用户界面中的位置722a之后,电子设备停止显示第一文本行724a。在一些实施方案中,图像712a不滚动。

返回到图7C,在一些实施方案中,电子设备101不滚动内容,直到电子设备检测到用户已完成阅读文本行724a。在检测到用户阅读文本行724a而未完成阅读文本行时,电子设备101在用户界面中保持内容的当前滚动状态(例如,放弃滚动内容)。此外,响应于检测到用户在没有阅读的情况下看内容项,或查看用户界面中的其他地方或将目光从用户界面移开,电子设备101任选地放弃滚动内容。在一些实施方案中,响应于检测到用户浏览或扫描文本724a而不是详尽地阅读文本724a,电子设备101也放弃滚动内容项。在一些实施方案中,当用户正在扫描或浏览文本时,电子设备101滚动文本。例如,当使用图像传感器314检测到用户正在扫描或浏览内容项时,响应于检测到用户已完成文本的第一行724a的扫描或浏览,电子设备101任选地将文本滚动到图7D所示的位置。总之,在一些实施方案中,如果用户的注视不对应于用户完成阅读文本的行724a,则电子设备101放弃滚动内容项。

在一些实施方案中,响应于检测到用户已完成阅读文本的第一行724a,包括检测到用户注视716b沿着他们刚刚阅读的行724a向后移动(例如,对于拉丁语是从右到左,如图所示),电子设备101滚动文本。在一些实施方案中,用户在查看下一行724a之前沿着他们刚刚阅读的行向后看,因此,检测到沿着文本的行724a向后移动的用户注视716b指示用户即将阅读文本的下一行724b。在一些实施方案中,电子设备101对文本704a的滚动计时,使得文本的第二行724b移动到第一位置722a,如图7D所示,同时(例如,在诸如0.1秒、0.3秒、0.5秒的时间阈值内)用户注视716b移动到第一位置722a的开始处。以此方式,用户能够在他们阅读第一文本行724a的相同位置722a阅读第二文本行724b,而无需向下移动其注视来查看用户界面中的第二位置722a。

在一些实施方案中,用户在阅读内容时跳过一行或多行文本。例如,假设用户结束阅读第一文本行724a而不是开始阅读第二文本行724b,则用户开始阅读内容项文本的部分710a。响应于使用用户注视检测到用户正在阅读内容项文本的部分710a,电子设备101任选地将部分710a滚动到位置722a。在一些实施方案中,电子设备101将文本的部分710a滚动到位置722a的速度与电子设备101将行724b滚动到位置722a的速度(例如,响应于检测到用户已完成阅读文本的第一行724a)相同或更慢。在一些实施方案中,随着用户继续从部分710a阅读内容项,用户在用户界面中的当前阅读位置逐渐移动到用户界面中的位置722a(例如,在阅读部分710a中的第一文本行之后一部分在那里,在阅读部分710a中的第二文本行之后另一部分在那里等等)。

在一些实施方案中,响应于检测到用户对图像的注视,电子设备101滚动内容项的图像。图7D示出了针对内容项的图像712a的用户注视716d的检测。响应于检测到如图7D所示的指向图像712a的用户注视716d,电子设备101滚动内容以在位置722a处显示图像712a(例如,图像712的垂直中心或其他预定部分),如图7E所示。

当在位置722a处显示图像712a时,电子设备检测到指向显示在图像712a下方的内容项的文本710b的一部分的用户注视716e,如图7E所示。作为响应,电子设备101向上滚动文本710b以重叠图像712a(例如,不在用户界面中滚动图像712a),如图7F所示。在一些实施方案中,设备101滚动文本710b,使得文本710b中用户注视指向的部分显示在用户界面中的位置722a处。在一些实施方案中,设备滚动文本710b,使得文本710b中用户注视指向的部分显示在用户界面中叠加在图像712a上的另一滚动位置处。在一些实施方案中,电子设备101不是响应于检测到如图7E所示用户正在查看文本710b而将文本710b滚动到参考图7F所述的位置,而是响应于不同标准,诸如响应于检测到自将图像712a滚动到如图7E所示的位置722a以来过去了预定时间量,或响应于检测到用户正在阅读而不是仅仅查看文本710b,电子设备将文本710b向上滚动到参考图7F所述的位置。

在一些实施方案中,当显示图7F所示的用户界面时,电子设备101使用用户注视来检测用户正在阅读文本的叠加在图像712a上的部分710b。响应于检测到用户阅读文本的叠加在图像712a上的部分710b,电子设备101任选地向上滚动图像712a,使得文本710b不再叠加在图像上。任选地,电子设备101也以与向上滚动图像712a时类似的方式向上滚动文本704a和710a(并且任选地停止显示文本704a和710a中的一些或全部)。内容项的滚动任选地基于用户注视继续,如参考图7C至图7F所述。

如图7C至图7F所示,在一些实施方案中,电子设备101垂直地滚动文本。在一些实施方案中,随着用户阅读文本,电子设备101水平地滚动文本。此外,在一些实施方案中,电子设备101移动文本(和/或其中显示内容项的整个区域714)以“跟随”用户的头部移动和/或注视(例如,以继续与用户注视一致)。以此方式,例如,电子设备101能够在用户界面中的预定位置处(诸如用户界面的中间)、在如图7A所示的内容浏览区域700中显示内容项的位置处或在另一预定位置处显示内容。

在一些实施方案中,滚动内容的其他方式是可能的。滚动方向任选地包括文本的垂直滚动和水平滚动。例如,如果用户正在阅读数字漫画,则漫画的格根据需要任选地垂直滚动和水平滚动,以在用户界面中的预定位置处显示用户当前正在阅读的格。在一些实施方案中,在显示数字漫画时,电子设备101任选地不显示数字漫画的语音泡和/或一个或多个图像,直到用户完成阅读当前显示的漫画的语音泡(例如,数字漫画的紧接在或以其他方式先于响应于用户正在阅读数字漫画的先前部分而显示的数字漫画的隐藏部分的语音泡或其他部分)。

在一些实施方案中,电子设备101呈现与内容项的文本和/或图像相关联的音频内容,诸如音乐、音效和/或文本的正被大声朗读的记录。电子设备101任选地以与用户阅读内容的速度协调的速度播放音频内容。

此外,在一些实施方案中,电子设备101能够保存用户正在阅读的内容的指示和/或用户正在阅读内容的时间戳。在稍后的时间,响应于呈现用户在相应时间正在阅读的内容项的指示的请求,电子设备101任选地能够呈现用户在相应时间正在阅读的内容项的指示。在一些实施方案中,电子设备101还能够存储用户对内容项的阅读进度,并且当用户返回到该内容项时,电子设备101任选地呈现用户最后阅读的内容部分的指示和/或将内容滚动到用户最后阅读的部分。

在一些实施方案中,当在扩展的内容区域714中显示内容并根据用户注视滚动内容时,响应于使用图像传感器314检测到用户闭上眼睛达预定时间量(例如,0.5秒、1秒、2秒),电子设备将内容项滚动到开始,诸如滚动到图7C所示的内容项的状态。

在一些实施方案中,响应于检测到用户正在浏览或扫描内容项,电子设备101任选地显示内容项的一个或多个关键字,其中该内容项具有与内容项的其余部分不同的视觉特性。例如,关键字以粗体和/或以与文本的其余部分不同的色彩和/或尺寸显示。

如参考图7C至图7F所述,电子设备101响应于检测到用户正在阅读文本而向下滚动文本。在一些实施方案中,需要不同于注视检测的输入来向上滚动文本(例如,设备101任选地不响应于注视输入而向上滚动内容项)。例如,响应于检测到来自除图像传感器314之外的输入设备的输入,诸如在触摸屏、鼠标、键盘、运动传感器或用于在用户界面中向上滚动内容项的其他输入设备处检测到的方向输入,电子设备任选地向上滚动文本。以此方式,设备101能够避免在基于注视执行向上和向下两种滚动时可能发生的注意力分散和不必要的来回滚动。

如上参考图7A至图7C所述,响应于检测到用户正在阅读内容项的部分704a,电子设备101显示叠加在内容浏览区域700上的区域714。如图7C所示,当用户查看区域714时,相对于内容浏览区域700在视觉上强调区域714,诸如通过显示叠加在区域700上的区域714和/或以全色彩、全清晰度(例如,不模糊)和/或全尺寸显示区域714,同时以暗色(例如,减小的饱和度)、减小的清晰度(例如,模糊)和/或减小的尺寸显示内容浏览区域700。

在一些实施方案中,电子设备101根据用户的注视和/或头部移动在用户界面的内容浏览区域700和用户界面的区域714之间导航。返回到图7C,在显示叠加在内容浏览区域700上的区域714中的内容项时,电子设备101检测用户在内容浏览区域700上的注视716c。在一些实施方案中,电子设备101还检测用户头部满足一个或多个标准的移动,诸如用户头部向前(相对于用户身体)和/或朝向内容浏览区域700(例如,向右倾斜或转动)的移动。响应于检测到用户的注视716c和头部移动,电子设备101开始导航回到图7A和/或图7B中所示的内容浏览用户界面,这将在下文更详细地描述。

电子设备101任选地以动画方式呈现如图7C所示的显示叠加在内容浏览区域700上的区域714和如图7B所示的显示内容浏览区域之间的转换。在一些实施方案中,动画呈现以与头部向前和/或朝向内容浏览区域700移动的量和/或持续时间和/或用户注视内容浏览区域700的持续时间成比例的速率推进。图7G和图7H示出了动画呈现的中间帧。响应于在图7C中检测到用户的头部向前和/或朝向内容浏览区域700的移动以及用户注视716c,电子设备101开始动画呈现,包括显示图7G中所示的用户界面。如图7G所示,电子设备101开始不强调区域714(例如,变暗和/或模糊)和/或强调内容浏览区域700(例如,变亮和/或增大清晰度)。在一些实施方案中,电子设备101修改区域714和700的其他特性,诸如半透明度、亮度、饱和度和/或尺寸。

响应于继续检测到头部向前和/或朝向内容浏览区域700的移动以及用户对内容浏览区域700的注视716g,如图7G所示,电子设备101推进动画呈现,包括显示图7H所示的用户界面。如图7H所示,电子设备101继续不强调区域714(例如,变暗和/或模糊)和/或强调内容浏览区域700(例如,变亮和/或增大清晰度)。此外,与区域714和700在动画呈现中较早显示的尺寸相比,电子设备101以减小的尺寸显示区域714并以增大的尺寸显示内容浏览区域700,如图7G所示。在一些实施方案中,电子设备101修改区域714和700的其他特性,诸如半透明度、亮度、饱和度和/或尺寸。在一些实施方案中,响应于检测到用户朝向内容浏览区域700的注视716c(如图7C所示),但没有检测到头部向前和/或朝向内容浏览区域700的移动,电子设备101开始显示图7G和图7H所示的动画呈现。然而,电子设备任选地不导航回到如图7B所示的内容浏览区域700,除非检测到指向内容浏览区域700的用户注视716c和满足标准的头部移动。在一些实施方案中,响应于检测到用户的注视在区域700和714之间来回移动但没有发起区域700和714之间的导航的任选地需要的对应头部移动,设备101仅改变这两个区域的除尺寸之外的一个或多个视觉特性,但不显示或以动画方式呈现这两个区域的尺寸和/或移动的变化。例如,当用户的注视指向区域714时,其以全清晰度、全色彩等显示,而区域700以较低清晰度(例如,变模糊)、较少色彩(例如,减小的饱和度,诸如灰度)等显示,并且响应于用户的注视指向区域700但没有对应的头部移动,设备101以全清晰度、全色彩等显示区域700,而区域714以较低清晰度(例如,变模糊)、较少色彩(例如,灰度)等显示,反之亦然。

响应于继续检测到头部向前和/或朝向内容浏览区域700的移动以及用户对内容浏览区域700的注视716h,如图7H所示(例如,响应于检测到用户的注视和头部移动满足一个或多个预定标准),电子设备101继续推进动画呈现以显示内容浏览区域700并停止显示扩展内容区域714,如图7B所示。如图7B所示,内容浏览区域700以全尺寸、全色彩、全清晰度和/或最小半透明度显示,而区域714不再显示。因此,响应于检测到用户向前和/或朝向内容浏览区域700的头部移动以及用户对内容浏览用户界面700的注视,电子设备101从区域714导航回到内容浏览区域700。

返回到图7C,响应于检测到用户头部的不满足导航回到区域700的标准的移动或检测到根本没有头部移动,电子设备101继续显示叠加在内容浏览区域700上的区域714。此外,响应于检测到用户716c对内容浏览区域700的注视但没有检测到头部移动,电子设备101放弃导航回到内容浏览区域700。此外,如果用户执行满足导航标准的头部移动(例如,向前移动或朝向内容浏览区域700的移动),但继续查看区域714而不是查看内容浏览区域700,则电子设备101放弃导航回到内容浏览区域700。

在一些实施方案中,电子设备101将从区域714导航的动画呈现反转到区域700,并且如果用户在显示动画呈现时查看区域714,则放弃导航回到内容浏览区域700。如图7G所示,电子设备101检测到用户对区域714的注视716f,同时显示从区域714导航到内容浏览区域700的动画呈现。响应于检测到用户的注视716f,电子设备101任选地停止导航回到内容浏览区域700并显示图7C所示的用户界面。如图7C所示,与图7G所示的区域714和700的外观相比,区域714以全色彩、全清晰度和/或全尺寸和/或最小半透明度示,而内容浏览区域700以减小的尺寸和较暗的色彩、增大的模糊度和/或增大的半透明度显示。

因此,如上参考图7A至图7H所述,电子设备能够根据用户的注视和/或头部移动在用户界面的区域之间导航,包括停止显示文本。在一些实施方案中,一些文本(例如,通知706的视觉指示、扩展内容区域714中示出的文本等)不能被删除,除非其被首先阅读。例如,显示通知和/或条款与条件的视觉指示706,直到电子设备101已检测到(例如,利用图像传感器314)用户已阅读了这些项的内容。在一些实施方案中,响应于检测到用户已阅读通知706的指示,电子设备显示与通知相关联的应用。

在一些实施方案中,响应于检测到用户正在查看内容项的一部分并向前移动其头部(例如,相对于用户的身体),电子设备101显示与内容项的该部分相关的增强内容。例如,增强内容是字词的定义、超链接的预览或包括在内容项中的图像的放大(例如,按比例放大或未裁剪)版本。

例如,转到图7C,当用户向前移动其头部时,电子设备101检测到用户的注视716a。如图7C所示,用户的注视716a在内容项的相应字词718a(“Lorem”)的位置处。响应于检测到用户对相应字词718a的注视716a持续预定时间量和/或当用户的注视716a在相应字词718a上时用户的头部移动持续预定时间量和/或超过预定距离,电子设备101以修改的外观显示字词718a,诸如如图7I所示以粗体字体显示字词718a。

响应于继续检测到用户对字词718a的注视716i以及头部向前的移动,如图7I所示,电子设备101显示与字词718a相关联的增强内容720a,如图7J所示。因此,响应于用户的注视和头部移动,电子设备101首先显示电子设备101即将显示增强内容720的指示(例如,改变注视所指向的字词的外观),然后,如果头部移动被保持或继续并且注视保持在字词718a上,则电子设备101显示增强内容720a。

在一些实施方案中,电子设备101以动画方式呈现图7I所示的用户界面与图7J所示的用户界面之间的转换。动画呈现的推进任选地与用户注视在字词718a上的持续时间、用户保持其头部向前的持续时间或用户向前移动其头部的距离和/或速度成比例。

如果用户在向前移动其头部的同时但在显示字词718a的增强内容之前查看内容项的不同字词或图像,则电子设备101任选地显示与不同字词或图像相关的增强内容,包括首先显示即将显示增强内容的视觉指示(例如,加粗另一字词),然后在头部移动继续或被保持并且注视被保持的情况下显示增强内容。例如,如图7K所示,响应于检测到用户对字词718b的注视716n和头部移动,电子设备101显示与字词718b相关的增强内容720b。

在一些实施方案中,如果用户仅查看内容项的一部分但不执行头部移动,则电子设备101不显示与内容项的该部分相关的增强内容。此外,电子设备101还放弃显示电子设备101即将显示增强内容的指示(例如,加粗内容的文字或部分),除非在用户查看内容的该部分检测到头部移动。例如,参考图7C,响应于检测到用户对字词718a的注视716a但未检测到头部移动,电子设备101继续显示图7C的用户界面而不是显示图7I的用户界面。

此外,在一些实施方案中,如果用户在电子设备101显示图7I的用户界面的同时查看内容项的不同部分,则电子设备101放弃显示与字词718a相关的增强内容。相反,在一些实施方案中,电子设备101首先显示即将显示与用户正在查看的内容项的其他部分相关联的增强内容的指示(例如,加粗内容项的该其他部分),然后,如果用户在保持或继续头部移动的同时继续查看内容项的该部分,则电子设备101显示与内容项的该其他部分相关的增强内容。

例如,当响应于检测到用户在向前移动其头部的同时查看字词718a而显示图7I所示的用户界面时,电子设备任选地检测到用户正在查看字词718b。响应于检测到用户正在查看字词718b,电子设备101任选地停止以粗体显示字词718a并且改为以粗体显示字词718b。然后,在该示例中,如果用户继续查看字词718b并继续或保持头部向前移动,则电子设备101显示与字词718b相关的增强内容720b,如图7K所示。

在一些实施方案中,如图7J和图7K所示,电子设备在扩展内容区域714内显示增强内容720。在一些实施方案中,增强内容720被重叠地显示在增强内容720对应的字词上或附近。尽管图7J和图7K示出增强内容720a显示在扩展内容区域714中但未叠加在内容的文本或图像上,但在一些实施方案中,增强内容714叠加在显示在扩展内容区域714中的内容项上。

然而,在一些实施方案中,一旦显示对应于相应字词的增强内容,查看不同的字词将不会导致电子设备101以粗体字体显示其他字词和/或该其他字词的增强内容。例如,参考图7J,如果用户在显示与字词718a相关的增强内容720a的同时查看字词718b,则电子设备101将不会将用户界面更新为以粗体字体显示字词718b。在一些实施方案中,用户能够在显示增强内容之前而不是之后改变内容的要显示增强内容的部分。

返回到图7I,如果在以粗体显示字词718a以指示电子设备101即将显示与字词718a相关的增强内容时,电子设备101检测到用户向后移动其头部,则电子设备101停止显示增强内容的过程。响应于检测到头部向后移动,电子设备101停止以粗体显示字词718a并将用户界面恢复为图7C所示的用户界面。

返回到图7J,在一些实施方案中,当电子设备101显示增强内容720a时,电子设备101任选地检测用于停止显示增强内容720a的一个或多个标准。例如,响应于检测到用户对增强内容的注视716l,随后检测到用户的注视位于用户界面中的不同位置(例如,位置716j),电子设备101任选地停止显示增强内容720a。又如,如果电子设备101检测到用户正在查看增强内容720a并且随后重新开始阅读内容项的文本704a或710a,则电子设备101停止显示增强内容720a。如果用户不查看增强内容720a,而是查看用户界面的不同位置,诸如查看图像702a上的位置716j,则电子设备101任选地继续显示增强内容720a,使得用户能够在稍后时间查看该增强内容。

然而,在一些实施方案中,如果电子设备101检测到用户阅读了内容(例如,文本704a或710a)而不论用户是否看过增强内容720a,则电子设备101停止显示增强内容720a。此外,在一些实施方案中,响应于检测到用户在比典型眨眼更长的预定时间(例如,0.5秒、1秒、2秒等)内闭上眼睛,电子设备101停止显示增强内容720a。电子设备101任选地通过显示增强内容720a淡变或移动离开的动画呈现来停止显示增强内容720a。在一些实施方案中,如果用户在增强内容720a淡变或移动离开的同时但在其完全停止显示之前查看该增强内容,则电子设备101恢复用户界面以显示增强内容720a,如图7J所示。

关于图7A至图7K的另外描述在下文参考相对于下面的图8至图11描述的方法800至1100提供。

图8A至图8G是示出根据一些实施方案的根据对用户注视的检测来扩展内容项的方法800的流程图。在一些实施方案中,方法800在计算机系统(例如,图1中的计算机系统101)处执行,该计算机系统包括显示生成组件(例如,图1、图3和图4中的显示生成组件120)(例如,平视显示器、显示器、触摸屏、投影仪等)和一个或多个相机(例如,向下指向用户手部的相机(例如,颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前指向的相机)。在一些实施方案中,方法800通过存储在非暂态计算机可读存储介质中并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如,图1A中的控制单元110)执行的指令来管理。方法800中的一些操作任选地被组合,并且/或者一些操作的次序任选地被改变。

在方法800中,在一些实施方案中,与显示生成组件和注视跟踪设备(例如314)通信的电子设备(例如,图1中的计算机系统101)(例如,移动设备(例如,平板电脑、智能电话、媒体播放器)、计算机(例如,台式计算机、膝上型计算机)或可穿戴设备(例如,手表、头戴式设备))经由显示生成组件(例如120)显示(802)包括第一内容区域(例如700)的用户界面,该第一内容区域包括内容项的第一部分(例如704a),诸如在图7A中(例如,内容项包括文本内容,并且内容项的第一部分是文本内容的第一部分)。

在一些实施方案中,在显示用户界面时,电子设备(例如101)经由注视跟踪设备(例如314)确定(804)电子设备的用户的注视(例如716p)指向内容项的第一部分(例如704a),诸如在图7B中(例如,注视跟踪设备任选地捕获用户眼睛的一个或多个图像并检测所捕获的一个或多个图像中的瞳孔和闪光以跟踪用户的注视,如上文参考图6所详述)。

在一些实施方案中,响应于确定用户的注视(例如716p)指向内容项(806)的第一部分(例如704a),诸如在图7B中,根据确定用户的注视(例如716p)的运动指示用户正在阅读内容项(808)的第一部分(例如704a)(例如,电子设备能够基于检测到的用户眼睛的移动来确定用户是否仅查看内容项的第一部分或用户是否实际上正在阅读内容项的第一部分),电子设备(例如101)将用户界面更新(810)为包括第二内容区域(例如714),诸如在图7C中,第二内容区域(例如714)包括内容项的第一部分(例如704a)和内容项的未显示在第一内容区域(例如700)中的第二部分(例如710a)(例如,扩展用户界面中显示内容项的区域)。

在一些实施方案中,根据确定图7B所示的用户的注视(例如716p)指向内容项的第一部分(例如704a)但不以指示用户正在阅读内容项的第一部分(例如704a)的方式移动(812)(例如,电子设备基于用户眼睛的一个或多个图像来确定用户眼睛的移动与阅读一致的眼睛移动不匹配),电子设备(例如101)放弃将用户界面更新为包括图7C所示的第二内容区域(例如714)(例如,电子设备继续显示具有第一内容区域的用户界面)。

在一些实施方案中,显示生成组件是与电子设备集成的显示器(任选地,触摸屏显示器)和/或外部显示器(诸如监视器、投影仪、电视等)。在一些实施方案中,注视跟踪设备包括一个或多个相机(例如,IR相机、NIR相机、可见光相机等)。

在一些实施方案中,用户界面包括多个内容项的部分。例如,用户界面是包括数字报纸的一篇或多篇文章的文章标题和/或一部分的数字报纸用户界面。又如,用户界面是电子邮件收件箱用户界面,并且内容项是电子邮件的预览,该预览包括电子邮件发送者的指示、电子邮件主题行的指示和/或电子邮件消息文本的预览。在一些实施方案中,内容项包括除了文本之外的内容,诸如一个或多个图像。

电子设备任选地比较用户眼睛的一个或多个捕获图像,以确定用户眼睛的运动是否匹配与阅读一致的移动。

例如,响应于检测到用户正在阅读文章的文本的第一部分,电子设备发起文章的文本的第二部分的显示。在一些实施方案中,内容项的第一部分和第二部分重叠地显示在包括第一内容区域的用户界面上。在一些实施方案中,在显示第二内容区域之前,响应于检测到用户正在阅读内容的第一部分,电子设备开始以动画方式呈现第二内容区域的逐渐显示。例如,电子设备开始显示内容的第二部分的一部分,或以初始透明但逐渐变得更加不透明的外观将内容的第二部分的叠加显示在用户界面上。在以动画方式呈现第二内容区域的逐渐显示时,响应于检测到用户将目光从第一内容项移开,电子设备任选地停止显示内容的第二部分并恢复显示第一内容区域。在一些实施方案中,响应于检测到用户继续阅读内容项,电子设备完全转换到显示包括内容项的第一部分和第二部分的第二内容区域,诸如通过显示内容项的第二部分的整个部分或完全不透明地显示第二内容区域。在一些实施方案中,响应于由注视跟踪部件收集的数据来执行更新用户界面,而无需从与电子设备通信的另一输入设备接收附加输入。

上述响应于检测到用户正在阅读内容项的第一部分而显示具有内容项的第一部分和第二部分的第二内容区域的方式使电子设备能够扩展内容项,而不需要除跟踪用户的注视之外的用户输入,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过仅在用户实际正在阅读内容的情况下扩展内容),这还通过使用户能够更快速更有效地使用电子设备(诸如通过减少用户错误)而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,诸如在图7B中,用户界面还包括第三内容区域,第三内容区域包括第二内容项(816)的第一部分(例如704b)(例如,在一些实施方案中,第二内容项包括文本内容)。第二内容项任选地不同于第一内容项。例如,第一内容项和第二内容项是数字报纸中的文章。

在一些实施方案中,在显示用户界面时,电子设备经由注视跟踪设备(例如314)确定(818)电子设备的用户的注视指向第二内容项的第一部分(例如704b)(例如,注视跟踪设备任选地捕获用户眼睛的一个或多个图像并检测所捕获的一个或多个图像中的瞳孔和闪光以跟踪用户的注视,如参考图6所详述)。

在一些实施方案中,响应于确定用户的注视指向第二内容项(820)的第一部分(例如704b),根据确定用户的注视的运动指示用户正在阅读第二内容项(822)的第一部分(例如704b)(例如,电子设备能够基于用户眼睛的移动来确定用户正在阅读第二内容项的第一部分,同时用户正在阅读第二内容项的第一部分),电子设备(例如101)将用户界面更新(824)为包括第四内容区域,该第四内容区域包括第二内容项的第一部分(例如704b)和第二内容项的未显示在第三内容区域中的第二部分,而不以类似于如图7C所示的电子设备(例如101)显示内容区域(例如714)的方式的方式来显示第二内容区域。

在一些实施方案中,响应于检测到用户正在阅读第二内容项的显示在第三内容区域中的第一部分,电子设备显示第二内容项的附加部分。因此,当电子设备显示多个内容项(例如,第一内容项和第二内容项)时,电子设备检测到用户开始阅读内容项中的一个内容项,并且作为响应,扩展用户正在阅读的内容项但不扩展用户没有阅读的内容项。在一些实施方案中,根据确定用户没有查看第一内容项或第二内容项(或显示在第一内容区域中的任何其他内容项),电子设备放弃将用户界面更新为包括具有相应内容项的附加部分的相应区域。

上述响应于检测到用户阅读第二内容项而显示第二内容项的第二部分以及响应于检测到用户阅读第一内容项而显示第一内容项的第二部分的方式使得能够电子设备提供呈现用户正在阅读的内容项的附加部分的有效方式,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过接受对用户阅读的检测作为用于扩展内容项的输入,而不需要附加输入来扩展内容),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,在确定电子设备(例如101)的用户的注视(例如716p)指向内容项的第一部分(例如704a)之前,电子设备(例如101)经由显示生成组件120以具有第一值的视觉特性显示(826)一个或多个其他内容项,诸如在图7B中(例如,当在第一内容区域中显示第一内容项的第一部分时,电子设备显示内容项的多个部分)。

在一些实施方案中,响应于确定用户的注视(例如716p)指向内容项(828)的第一部分(例如704a),诸如在图7C中,根据确定用户的注视(例如716p)的运动指示用户正在阅读内容项(830)的第一部分(例如704b),电子设备(例如101)将用户界面更新(832)为以具有不同于第一值的第二值的视觉特性显示一个或多个其他内容项,诸如在图7C中。在一些实施方案中,当在第二内容区域中显示第一内容项时,电子设备以减小的尺寸、减小的不透明度、较暗或较低对比度或饱和度的色彩和/或减小的清晰度(例如,增大的模糊度)来显示其他(例如,未扩展的)内容项。

在扩展用户正在阅读的内容项之前,电子设备任选地显示具有全尺寸、全不透明度、全色彩和/或全清晰度的多个内容项。第二内容区域中的第一内容项任选地以全不透明度、全色彩和/或全清晰度显示。在一些实施方案中,根据确定用户没有阅读内容项的第一部分和/或用户没有查看内容项的第一部分,电子设备继续以具有第一值的视觉特性显示一个或多个内容项。

上述响应于检测到用户正在阅读内容项而改变显示一个或多个其他内容项的视觉特性的值的方式使电子设备能够在用户正在阅读第二内容区域中的内容项时减少视觉混乱,从而对于阅读扩展内容项较少分心,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效,这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,诸如在图7B至图7C中,视觉特性是半透明度(例如,不透明度和/或清晰度),并且第一值对应于比第二值更小的半透明度(834)。在一些实施方案中,当电子设备在第二内容区域中显示第一内容项时,其他内容项的不透明度和/或清晰度降低(例如,变模糊)。

上述响应于检测到用户正在阅读内容项而增大一个或多个其他内容项的半透明度的方式使电子设备能够以不分散用户正在阅读的内容项的注意力的方式来继续显示其他内容项,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过使用户能够看到其他内容项但不丢失第二内容区域),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,诸如在图7B至图7C中,视觉特性是尺寸,并且第一值对应于比第二值更大的尺寸(836)。在一些实施方案中,当电子设备在第二内容区域中显示第一内容项时,电子设备减小其他内容项的尺寸。在一些实施方案中,第二内容区域中的内容以与第一内容区域中的初始内容相同的尺寸显示。

上述响应于检测到用户正在阅读内容项而减小其他内容项的尺寸的方式使电子设备能够在用户正在阅读内容项时以较少分散用户注意力的方式继续显示其他内容项,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过使用户能够更快地阅读内容并看到其他内容项且无需导航离开第二内容区域),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,用户界面还包括第三内容区域,该第三内容区域包括第二内容项(838)的第一部分(例如704b),诸如在图7B中(例如,第三内容区域与第一内容区域同时显示)。第二内容项任选地包括文本内容。

在一些实施方案中,诸如在图7C中,将用户界面更新为包括第二内容区域(例如714)包括显示叠加在第三内容区域上的第二内容区域(例如714)(840)。在一些实施方案中,在显示第二内容区域之前,电子设备显示包括多个内容项的部分的内容浏览用户界面,包括第一内容项的第一部分和第二内容项的第一部分。电子设备任选地显示叠加在内容浏览用户界面上的包括第一内容项的第一部分和第二部分的第二内容区域。

上述显示叠加在第三内容区域上的第二内容区域的方式使电子设备能够在用户正在阅读内容项时以视觉上较少分散用户注意力的方式继续显示第三内容区域,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过使用户能够更快地阅读内容项并同时继续看到第三内容区域且无需导航离开第二内容区域),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,在确定用户的注视运动指示电子设备的用户正在阅读内容项的第一部分(例如704a)之前,第一内容区域(例如700)和第三内容区域显示在用户界面中的第一z高度处,诸如在图7B中(例如,使得没有其他内容叠加在第一内容区域和第三内容区域上的顶部高度),并且将用户界面更新为包括第二内容区域(例如714)包括将第二内容区域(例如714)显示在用户界面中的第一z高度处,以及将第三内容区域的z高度变为用户界面中的第二z高度(842),诸如在图7C中。在一些实施方案中,第二z高度低于第一z高度(例如,进一步回到用户界面中)。响应于检测到用户正在阅读内容,电子设备任选地以与第一内容区域显示的相同的z高度显示叠加在第三内容区域上的第二内容区域。在一些实施方案中,电子设备还显示叠加在第一内容区域上的第二内容区域,从而将第一内容区域移动到较低的z高度。

上述响应于检测到用户正在阅读内容项而将第一内容区域显示在与第三内容区域相同的z水平处并且将第二内容区域显示在高于第三内容区域的z水平处的方式使电子设备能够在用户正在阅读内容项时以视觉上较少分散用户注意力的方式继续显示第三内容区域,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过使用户能够更快地阅读内容项并同时继续看到第三内容区域且无需导航离开第二内容区域),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,诸如在图7C中,将用户界面更新为包括第二内容区域(例如714)包括扩展第一内容区域的尺寸以变成第二内容区域(例如714)(844)。在一些实施方案中,内容区域在一个或多个维度上扩展。例如,第二内容区域比第一内容区域长,允许电子设备在第二内容区域中显示比在第一内容区域中更多的第一内容项。在一些实施方案中,内容区域的高度和宽度扩展。在一些实施方案中,第二内容区域显示在用户界面中显示第一内容区域的相同z水平处。

上述扩展第一内容区域以变为第二内容区域的方式使电子设备能够在保持视觉连续性的同时将内容项的附加部分显示在第二内容区域中,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过在第一内容区域与第二内容区域之间提供清晰的导航连续性),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,将用户界面更新为包括第二内容区域(例如714)包括在用户继续阅读内容项的第一部分(例如704a)的同时逐步地以动画方式呈现第一内容区域变为第二内容区域(例如714)(846)。在一些实施方案中,动画呈现的推进与用户连续阅读第一内容项的时间量成比例。例如,用户开始阅读第一内容项的第一部分并且动画呈现开始,并且随着用户继续阅读,动画呈现继续推进。在一些实施方案中,动画呈现在其开始之后具有预定持续时间。以动画方式呈现第一内容区域变为第二内容区域任选地包括以动画方式呈现第一内容区域和第二内容区域之间的一个或多个差异的进度。例如,第一内容区域的尺寸逐渐扩展以变成大于第一内容区域的第二内容区域。在一些实施方案中,如果用户停止阅读内容项,则动画呈现停止或反转。

上述随着用户继续阅读内容项而逐步地以动画方式呈现第一内容区域变为第二内容区域的方式使电子设备能够向用户提供反馈,即阅读内容项的第一部分导致第一内容区域变为第二内容区域,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过使用户通过例如停止阅读内容项和/或将目光从内容项移开而有机会停止转换),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,在将用户界面更新为包括第二内容区域(例如714)时或之后,电子设备(例如101)经由注视跟踪设备(例如314)确定(848)电子设备的用户的注视(例如716c)不再指向内容项,诸如在图7C中(例如,电子设备检测到用户正在查看用户界面的不包括内容项的一部分(例如,除第二内容区域之外的区域)或用户将目光从用户界面移开)。例如,用户正在查看叠加有第一内容项的不同内容项。

在一些实施方案中,响应于确定电子设备(例如101)的用户的注视(例如716c)不再指向内容项,诸如在图7C中,电子设备(例如101)显示(850)包括第一内容区域(例如700)的用户界面,但不显示第二内容区域(例如714),诸如在图7B中。

例如,第一内容区域显示在内容浏览用户界面中,该内容浏览用户界面除内容项的第一部分之外还包括其他内容项的部分,并且响应于检测到用户将目光从内容项移开,电子设备再次以其初始尺寸、z水平和/或外观来显示内容浏览用户界面。因此,电子设备任选地在第一内容区域中显示内容项的一部分(例如,内容项的第一部分,或用户在将目光从内容项移开之前最后阅读的内容项的一部分),而不是在第二区域中显示内容项的较大部分。

上述响应于检测到用户不再查看内容项而将用户界面恢复为包括第一内容区域但不显示第二内容区域的方式使电子设备能够响应于用户的注视而在没有任何额外输入的情况下导航回到第一内容区域,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过减少用户请求再次查看第一内容区域所需的输入数量),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,在将用户界面更新为包括第二内容区域(例如314)时或之后,电子设备(例如101)经由注视跟踪设备(例如314)确定(852)用户的注视的运动不再指示电子设备的用户正在阅读内容项,诸如在图7C中(例如,在一些实施方案中,用户继续查看内容项或用户将目光从内容项移开,诸如查看用户界面的不同区域(例如,不同于第二内容区域的区域)或将目光从用户界面移开)。

在一些实施方案中,响应于确定用户的注视的运动不再指示电子设备(例如101)的用户正在阅读内容项,电子设备(例如101)将用户界面恢复(854)为包括第一内容区域(例如700)但不显示第二内容区域,如图7B所示。例如,第一内容区域显示在内容浏览用户界面中,该内容浏览用户界面除内容项的第一部分之外还包括其他内容项的部分,并且响应于检测到用户不再阅读内容项,电子设备再次以其初始尺寸、z水平和/或外观来显示内容浏览用户界面。因此,电子设备任选地在第一内容区域中显示内容项的一部分(例如,内容项的第一部分,或用户在停止阅读内容项之前最后阅读的内容项的一部分),而不是在第二区域中显示内容项的较大部分。

上述响应于检测到用户不再阅读内容项而将用户界面恢复为包括第一内容区域但不显示第二内容区域的方式使电子设备能够响应于用户的注视而在没有任何额外输入的情况下导航回到第一内容区域,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过减少用户请求再次查看第一内容区域所需的输入数量),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,诸如在图7B中,确定用户的注视(例如716p)的运动指示用户正在阅读内容项的第一部分(例如704a)基于利用注视跟踪设备(例如314)检测用户的对应于阅读文本的眼睛移动(856)。在一些实施方案中,电子设备通过检测用户在文本语言的阅读方向上沿着文本行的注视移动(例如,对于英语是从左到右,对于希伯来语是从右到左等)来检测用户正在阅读内容,然后快速地(例如,比在文本语言的方向上更快速地)沿着用户在向下看下一行之前刚刚阅读的行在相反方向上移动。任选地,电子设备检测到用户正在阅读,即使用户没有直接查看文本行中的每个字词或每个字母,因为人们任选地阅读而不直接查看文本行中的每个字母或甚至每个字词。在一些实施方案中,电子设备能够通过检测用户沿着用户正查看要阅读的文本行向后注视的移动来检测用户已完成阅读文本行。

上述基于用户的眼睛移动来检测用户正在阅读内容的方式使电子设备能够使用用户正在阅读的确定来在没有其他输入的情况下导航用户界面,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过减少导航用户界面所需的输入),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,电子设备(例如101)在电子设备(例如101)处检测(858)通知事件的指示(例如708),诸如在图7A中(例如,由电子设备能够访问的应用程序生成的警报)。例如,从与电子设备相关联的用户账户之外的用户账户接收消息是一种类型的通知事件,从而接收电话或视频呼叫等。

在一些实施方案中,诸如在图7A中,响应于检测到通知事件(860)的指示(例如708),根据确定用户的注视的运动指示用户没有正在阅读用户界面中的内容项(例如,电子设备使用注视跟踪设备确定用户没有正在阅读由显示生成组件呈现的任何内容。在一些实施方案中,用户仅查看用户界面中的内容而不阅读该内容),电子设备(例如101)在电子设备(例如101)处生成(862)通知事件的指示(例如706)(例如,音频、视觉等)(例如,指示包括图像(包含与通知事件相关联的文本)、声音和/或触觉反馈)。

在一些实施方案中,诸如在图7C中,根据确定用户的注视(例如716b)的运动的指示用户正在阅读用户界面中的内容项,电子设备(例如101)放弃(864)生成通知事件的指示。在一些实施方案中,当用户正在阅读时不呈现通知事件的指示。响应于检测到(例如,经由注视跟踪部件)用户已停止阅读,电子设备任选地呈现在用户正在阅读时检测到的通知事件的指示(例如,先前被抑制的所有指示、先前被抑制的最后一个指示等)。

在用户正在阅读内容时放弃呈现通知的指示的以上方式使电子设备能够呈现内容而不分散注意力,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过使用户能够在更短时间内阅读内容),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,响应于(例如,经由注视跟踪设备)确定用户的注视指向内容项的第一部分(例如704a)(866),根据确定用户的注视(例如716p)的运动指示用户正在阅读内容项的第一部分(868),诸如在图7B中(例如,经由注视跟踪设备),随着用户继续阅读内容项,电子设备(例如101)将第二内容区域的预定部分从用户界面中的第一位置移动(870)到用户界面中的第二位置。

在一些实施方案中,电子设备将第二内容区域(例如,第二内容区域的垂直中心和/或水平中心)移动到显示生成组件的显示区域的中心(例如,垂直中心和/或水平中心)。第二内容区域的预定部分任选地包括内容项的文本、图像或其他内容。因此,在一些实施方案中,第一内容区域显示在用户界面中不同于第二位置的位置处(例如,显示在用户界面中的第一位置处),第二内容区域经由第一内容区域的扩展显示在用户界面中的第一位置处,并且随着用户继续阅读内容项,设备转换用户界面/显示,使得第二内容区域移动到用户界面中的第二位置。在一些实施方案中,根据确定用户正在查看内容项的第一部分但不阅读内容项的第一部分,电子设备放弃移动第二内容区域。

上述随着用户继续阅读内容项而将第二内容区域的预定部分移动到用户界面中的第二位置的方式使电子设备能够将内容项显示在用户界面中的人体工学位置处,从而使用户更容易阅读内容,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过使用户能够更快地阅读内容),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,将第二内容区域从用户界面中的第一位置移动到用户界面中的第二位置包括(872):响应于检测到用户已阅读内容项的第一部分,在移动的第一部分将第二内容区域从第一位置移动到第二位置(874)(例如,响应于检测到用户已阅读内容项的第一部分的第一部分,初始将第二内容区域移动第一量);以及在移动的第一部分将第二内容区域从第一位置移动到第二位置之后,响应于检测到用户已阅读内容项的第二部分,在移动的第二部分将第二内容区域从第一位置移动到第二位置(876)(例如,响应于检测到用户已阅读内容项的第一部分的第二部分,将第二内容区域移动第二量)。

在一些实施方案中,电子设备将第二内容区域移动一定量,该量与用户已阅读的第一内容项的量或用户已花费在阅读第一内容项的第一部分上的时间量成比例。在一些实施方案中,移动内容区域包括移动内容区域的边界。在一些实施方案中,移动内容区域包括在内容区域内移动内容而不移动内容区域本身的边界。

上述以与用户已阅读的内容量成比例的量将第二内容区域移动到用户界面中的第二位置的方式使电子设备能够以视觉连续性有效移动第二内容区域,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过减少输入,用户可尝试输入以使第二内容区域移动到用户界面中的第二位置),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,当用户的注视指向内容项的第一部分时并且在显示第二内容区域之前,内容项的第一部分显示在用户界面中的第一位置处,并且将用户界面更新为包括第二内容区域包括在用户界面中的第一位置处维持内容项的第一部分在第二内容区域内的显示(878)。在一些实施方案中,选择第二内容区域的位置以得到内容项的第一部分不移动的外观。内容项的第一部分任选地显示在显示生成组件的相同位置处或任选地显示以跟随用户的头部移动或注视。

上述将内容项的第一部分显示在用户界面中在第一内容区域和第二内容区域中的相同位置处的方式使电子设备能够在不移动内容项的第一部分的情况下显示内容项的第一部分,从而保持视觉连续性并使用户更容易阅读内容项,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过使用户能够更快地阅读内容项),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,第一内容区域(例如700)中的内容项的第一部分占据用户界面的具有第一尺寸的面积,诸如在图7B中,并且第二内容区域(例如714)中的内容项的第一部分占据用户界面的具有第一尺寸的面积,诸如在图7C中(880)。在一些实施方案中,当从显示第一内容区域转换到第二内容区域时,内容的尺寸保持相同。在一些实施方案中,内容的宽度保持不变,而长度改变(例如,以垂直显示更多内容)。例如,内容的第二部分显示在内容的第一部分之下,使得内容更长。在一些实施方案中,当从显示在第一内容区域中转换到显示在第二内容区域中时,内容的宽度和长度改变。

上述以相同尺寸将第一内容项的第一部分显示在第一内容区域和第二内容区域中的方式使电子设备能够在将用户界面从包括第一内容区域转换为显示第二内容区域时以用户易于阅读的方式继续显示内容项的第一部分,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过使用户能够更快地阅读内容),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

图9A至图9L是示出根据一些实施方案的根据确定用户正在阅读内容项来滚动内容项文本的方法900的流程图。在一些实施方案中,方法900在计算机系统(例如,图1中的计算机系统101)处执行,该计算机系统包括显示生成组件(例如,图1、图3和图4中的显示生成组件120)(例如,平视显示器、显示器、触摸屏、投影仪等)和一个或多个相机(例如,向下指向用户手部的相机(例如,颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前指向的相机)。在一些实施方案中,方法900通过存储在非暂态计算机可读存储介质中并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如,图1A中的控制单元110)执行的指令来管理。方法900中的一些操作任选地被组合,并且/或者一些操作的次序任选地被改变。

在方法900中,在一些实施方案中,电子设备(例如101)(例如,计算系统(例如101))与显示生成组件(例如120)和注视跟踪设备(例如314)(例如,移动设备(例如,平板电脑、智能电话、媒体播放器)、计算机(例如,台式计算机、膝上型计算机)或可穿戴设备(例如,手表、头戴式设备)通信,经由显示生成组件(例如120)显示器(902)包括内容项的文本的第一部分(例如724a)和内容项的文本的第二部分(例如724b)的用户界面,文本的第一部分(例如724a)显示在用户界面中的第一位置(例如722a)处,并且文本的第二部分(例如724b)显示在用户界面中的第二位置(例如722b)处,诸如在图7C中(例如,文本的第一部分是第一文本行,并且文本的第二部分是在第一文本行下方的第二文本行。

在一些实施方案中,当显示用户界面时,电子设备经由注视跟踪设备确定(904)用户的注视的运动指示用户正在阅读文本的第一部分(例如,注视跟踪设备任选地捕获用户眼睛的一个或多个图像并检测所捕获的一个或多个图像中的瞳孔和闪光以确定户的注视的位置,如上文参考图6所详述)。

在一些实施方案中,当用户的注视(例如716b)的运动指示用户正在阅读文本的第一部分(例如724a)时(906)(例如,当电子设备继续检测与阅读文本的第一部分一致的眼睛移动时),根据确定用户的注视(例如716b)的运动指示用户已完成阅读文本的第一部分(例如724a),诸如在图7C中(例如,检测到用户已阅读文本的第一部分的结尾并且正在开始查看文本的第二部分),电子设备(例如101)滚动(910)文本,使得文本的第二部分(例如724b)在第一方向上移动,诸如在图7D中(例如,朝向用户的注视指向的位置,朝向先前由文本的第一部分占据的位置,或朝向用户界面的预定义部分,诸如用户界面的中心)(例如,将文本的第二部分滚动到用户界面中的当前滚动位置)。

在一些实施方案中,根据确定在图7C中用户的注视的运动指示用户未完成阅读文本的第一部分(例如724a)(例如,用户仍在阅读文本的第一部分或在未完成文本的第一部分的情况下将目光从文本的第一部分移开),电子设备(例如101)将文本的第一部分(例如724a)保持(914)在第一位置(例如722a),诸如在图7C中(例如,继续滚动用户界面)。

在一些实施方案中,显示生成组件是与电子设备集成的显示器(任选地,触摸屏显示器)和/或外部显示器(诸如监视器、投影仪、电视等)。在一些实施方案中,注视跟踪设备包括一个或多个相机(例如,IR相机、NIR相机、可见光相机等)。

例如,文本是能够垂直滚动的。在一些实施方案中,文本的第一部分是文本行的第一区段,并且文本的第二部分是文本行的显示在文本行的第一区段的右侧(例如,对于从左到右阅读的语言)或左侧(例如,对于从右到左阅读的语言)的第二区段,并且文本是能够水平滚动的。用户界面中的当前滚动位置任选地是用户界面中相对于用户界面的其余部分固定的位置(例如,用户界面的窗口内的固定位置)。在一些实施方案中,选择人体工学友好的当前滚动位置,诸如在用户能够通过直视前方来查看的位置处(例如,不弯曲其颈部并且同时允许其眼睛在中性高度处直视前方)。在一些实施方案中,响应于检测到用户头部相对于用户界面的移动,电子设备改变当前滚动位置的位置。例如,如果用户正在阅读联接到台式计算机的监视器上的内容并相对于监视器移动其头部(或移动其躯干或身体,从而导致头部移动),则当前滚动位置任选地随着用户头部的移动而移动。在一些实施方案中,基于检测用户头部的位置和取向,选择对于用户而言人体工学友好的文本的第一部分的位置。例如,文本的第一部分显示在用户能够在其头部和/或眼睛处于中性位置时查看的位置处。

此外,在一些实施方案中,电子设备能够基于所检测到的用户眼睛的移动来检测用户是否仅查看文本的第一部分或用户是否正在阅读文本项的第一部分。电子设备任选地比较用户眼睛的一个或多个捕获图像,以确定用户眼睛的运动是否匹配与阅读一致的移动。

例如,检测到用户已阅读整行文本并且正在移动其眼睛以查看第二行文本的开始。

例如,电子设备垂直地滚动文本以将文本的第二部分显示在先前显示文本的第一部分的高度处。又如,电子设备水平地滚动文本以将文本的第二部分显示在先前显示文本的第一部分的水平位置处。更新文本的第二部分的第二滚动位置任选地包括更新文本的第一部分的位置(例如,垂直或水平地移动文本的第一部分以为文本的第二部分腾出空间)或停止显示文本的第一部分。在一些实施方案中,响应于由注视跟踪部件收集的数据来执行更新用户滚动位置,而无需从与电子设备通信的另一输入设备接收附加输入。

在一些实施方案中,电子设备继续将文本的第一部分和第二部分显示在用户界面中它们的相应位置处。

上述响应于检测到用户已完成阅读文本的第一部分而更新内容项的滚动位置的方式使电子设备能够以用户阅读的速度滚动,而无需从除注视跟踪设备之外的输入设备接收输入,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过减少用户在滚动中太多或太少的错误以及不再需要来自其他输入设备的输入),这还通过使用户能够更快速更有效地使用电子设备(诸如通过使用户能够更快地阅读和/或通过减少用户输入错误)而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,当显示用户界面时,电子设备(例如101)经由注视跟踪设备(例如314)确定(916)用户的注视指向如图7C所示的文本的第一部分(例如724a)或文本的第二部分(例如724b),但用户的注视的运动指示用户没有正在阅读文本的第一部分或文本的第二部分(例如,用户眼睛的移动不对应于指示阅读的眼睛移动)。

在一些实施方案中,响应于确定用户的注视指向如图7C所示的文本的第一部分(例如724a)或文本的第二部分(例如724b),但用户的注视的运动指示用户没有正在阅读文本的第一部分或文本的第二部分,电子设备(例如101)放弃(918)滚动文本。在一些实施方案中,响应于检测到用户正在阅读文本,电子设备滚动文本,并且响应于检测到用户正在查看文本但没有阅读文本,电子设备放弃滚动该本(例如,文本保持在用户界面中的其当前位置)。

上述响应于检测到用户正在查看文本但不阅读文本而放弃滚动文本的方式使电子设备能够避免不必要的滚动,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过减少对恢复不必要的滚动的输入的需要),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,当显示用户界面时,电子设备(例如101)经由注视跟踪设备(例如314)确定(920)用户的注视不再指向如图7C所示的文本(例如724a)的第一部分(例如724a)(例如,用户查看用户界面的不同部分,诸如开始查看文本的第二部分或查看用户界面的任何其他部分或将目光从用户界面移开)。

在一些实施方案中,响应于确定用户的注视不再指向如图7C所示的文本的第一部分(例如724a)(922),根据基于检测到的用户的注视在文本的第一部分上的移动确定用户已扫描文本的第一部分(例如724a)但不阅读文本的第一部分(例如724a),电子设备(例如101)放弃(924)滚动文本(例如,继续将文本的第一部分和文本的第二部分显示在用户界面中的相同位置处)。在一些实施方案中,当用户正在扫描(或浏览)文本时,用户眼睛的移动不对应于指示阅读文本的移动,因为人们通常以不同的方式浏览文本和阅读文本。

在一些实施方案中,根据基于检测到的用户的注视(例如716b)在文本的第一部分(例如724a)上的移动确定用户已阅读文本的第一部分(例如724a),诸如在图7C中,电子设备(例如101)滚动(926)文本,使得文本的第二部分(例如724b)在第一方向上移动。在一些实施方案中,电子设备响应于检测到用户正在阅读文本而滚动文本,并且响应于检测到用户正在扫描或浏览文本而放弃滚动文本。

上述响应于检测到用户正在扫描文本而放弃滚动文本的方式使电子设备能够允许用户控制文本的滚动速度,该滚动速度在用户正在扫描文本时可能是不规则的,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过提供在不同情况下滚动文本的直观方式来减少滚动错误和纠正错误所需的输入),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,电子设备(例如101)经由注视跟踪设备(例如314)基于检测到的用户的注视在如图7C所示的文本的第一部分(例如724a)上的移动来确定(928)用户正在扫描文本的第一部分(例如724a)(例如,当用户正在扫描文本时,用户的注视在文本上移动但不匹配指示阅读的眼睛移动图案)。

在一些实施方案中,根据确定用户已完成扫描文本的第一部分(例如724a),电子设备(例如101)滚动(930)文本,使得文本的第二部分(例如724b)在诸如图7C至图7D中的第一方向上移动。在一些实施方案中,响应于检测到用户正在阅读或扫描文本,电子设备滚动文本。在一些实施方案中,根据确定用户尚未完成扫描文本的第一部分,电子设备放弃滚动文本。

上述响应于阅读或扫描而滚动文本的方式使电子设备能够在用户正在扫描时有效地滚动文本,而无需除注视位置之外的用户输入,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过减少滚动文本所需的输入),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,滚动文本使得如图7C所示的文本的第二部分(例如724b)在第一方向上移动是响应于检测到用户已到达文本的第一部分(例如724a)的结尾并且正在朝向文本的第二部分(例如724b)的开头的方向上移动其眼睛(932)。

例如,文本的第二部分的开头是文本的一行(例如,下一行)的第一个字词。在一些实施方案中,电子设备检测对应于用户阅读文本的眼睛移动。对应于阅读的眼睛移动任选地包括随着用户阅读文本行眼睛在查看字词或字词的部分的文本方向(例如,对于英语是从左到右)上的移动,然后眼睛沿着用户刚刚在文本的相反方向(例如,对于英语是从右到左)上阅读的行的移动,然后向下移动到下一行的开头。在一些实施方案中,响应于检测到用户的眼睛沿着用户刚刚在文本的相反方向上阅读的行的移动和/或响应于检测到用户的眼睛向下移动到文本的下一行的开头,执行滚动。

上述响应于检测到眼睛朝向文本的第二部分的开头的移动而滚动文本的方式使电子设备能够在用户没有主动地阅读文本的一个或多个字词时滚动文本,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过以不混淆用户或导致用户丢失其在内容中的位置的方式滚动),这还通过使用户能够更快速有效地使用电子设备(诸如通过使用户能够更快地阅读内容)而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,在用户在朝向文本的第二部分(例如724b)的开头的方向上移动其眼睛时,滚动文本以使得发生如图7C所示的文本的第二部分(例如724b)在第一方向上移动(934)。

例如,文本的第二部分的开头是文本的一行的第一个字词。在一些实施方案中,电子设备检测对应于用户阅读文本的眼睛移动。对应于阅读的眼睛移动任选地包括随着用户阅读文本行眼睛在查看字词或字词的部分的文本方向(例如,对于英语是从左到右)上的移动,然后眼睛沿着用户刚刚在文本的相反方向(例如,对于英语是从右到左)上阅读的行的移动。在一些实施方案中,响应于检测到用户的眼睛沿着用户刚刚在文本的标准阅读方向的相反方向上阅读的行的移动,并且当用户沿着用户刚刚在文本的相反方向上阅读的行移动其眼睛时,执行滚动。

上述在用户的眼睛朝向文本的第二部分的开头移动时滚动文本的方式使电子设备能够一次滚动文本,使得在用户的眼睛移回文本行的开头时,下一行文本的开头显示在该位置,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过以不混淆用户或导致用户丢失其在内容中的位置的方式滚动),这还通过使用户能够更快速有效地使用电子设备(诸如通过使用户能够更快地阅读内容)而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,滚动文本以使得如图7C中所示的文本的第二部分(例如724b)在第一方向上移动致使文本的第二部分(例如724b)显示在用户界面中的用户在朝向文本的第二部分(例如724b)的开头的方向上移动其眼睛时所看到的位置处(936)。

例如,文本的第二部分的开头是文本的一行的第一个字词。在一些实施方案中,电子设备检测对应于用户阅读文本的眼睛移动。对应于阅读的眼睛移动任选地包括随着用户阅读文本行眼睛在查看字词或字词的部分的文本方向(例如,对于英语是从左到右,对于阿拉伯语是从右到左)上的移动,然后眼睛沿着用户刚刚在文本的相反方向(例如,对于英语是从右到左,对于阿拉伯语是从左到右)上阅读的行的移动。在一些实施方案中,执行滚动,使得文本的第二部分移动到先前显示文本的第一部分的位置,同时用户沿着文本的第一部分向后移动其眼睛。例如,滚动被定时,使得文本的第二部分移动到用户正在查看的位置。例如,当用户正在查看用户界面中紧邻文本的第一部分的开头的位置时,电子设备滚动文本并显示用户正在查看的文本的第二部分。因此,随着用户完成沿着文本的第一部分向后查看,文本的第二部分“遇到”用户的注视。

上述滚动文本的方式使得文本的第二部分显示在用户正在查看的位置处,同时朝向文本的第二部分的开头移动其眼睛,这使电子设备能够滚动文本,使得当用户可能即将阅读文本的第二部分时,文本已结束滚动,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过使用户能够更快地阅读文本),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,用户界面包括在用户界面中的第一位置(例如722a)处的文本的第一部分(例如724a)、在用户界面中的第二位置(例如722b)处的文本的第二部分(例如724b),以及在用户界面中的第三位置处的内容项的文本的第三部分(例如710a),诸如在图7C中(938)(例如,文本的第一部分、第二部分和第三部分任选地是文本行)。例如,文本的第二部分是紧跟在也是文本行的文本的第一部分之后的文本行,而文本的第三部分是紧跟在第二文本行之后的文本行。在一些实施方案中,文本的第三部分紧跟在文本的第二部分之后,并且在一些实施方案中,在文本的第三部分与文本的第二部分之间存在一个或多个其他文本行。

在一些实施方案中,当用户的注视(例如716b)的运动指示用户正在阅读诸如图7C所示的文本的第一部分(例如724a)时,根据确定用户的注视(例如716b)的运动指示用户已完成阅读文本的第一部分(例如724a)并且开始阅读文本的第二部分(例如724b),电子设备(101)滚动(940)文本,使得文本的第二部分(例如724b)在第一方向上移动第一量(例如,文本的第二部分移动到用户界面中在用户正在阅读文本的第一部分时显示文本的第一部分的位置)。

在一些实施方案中,根据确定用户的注视的运动指示用户已完成阅读如图7C所示的文本的第一部分(例如724a)并且正在开始阅读文本的第三部分(例如710a),电子设备10滚动(942)文本,使得文本的第三部分(例如710a)在第一方向上移动大于第一量的第二量。

在一些实施方案中,文本的第二部分是在也是文本行的文本的第一部分正下方的文本行,并且文本的第二部分向上前进一行的高度。在一些实施方案中,根据确定用户未完成阅读文本的第一部分,电子设备放弃滚动文本。

在一些实施方案中,文本的第三部分是距文本的第一部分的距离大于文本的第二部分与文本的第一部分之间的距离的文本行。响应于检测到用户正在阅读文本的第三部分,电子设备任选地将文本的第三部分滚动到用户界面中在用户阅读文本的第一部分时显示文本的第一部分的位置。因此,在一些实施方案中,文本的第三部分滚动的距离大于文本的第二部分滚动的距离,以便在用户界面中已显示文本的第一部分的位置处显示用户正在阅读的文本部分。在一些实施方案中,文本的第三部分不立即滚动到显示文本的第一部分的位置,而是部分滚动到该位置,并且随着用户阅读更多文本,最终,用户当前正在阅读的文本部分滚动成与显示文本的第一部分的位置一致。在一些实施方案中,与当用户只是移动到文本的下一行时相比,当用户跳过多行文本时,文本滚动得更多,使得文本的当前阅读部分最终能够追上用户界面中文本的第一部分的初始位置。

上述响应于检测到用户正在阅读文本的第二部分而将文本的第二部分滚动第一量并且响应于检测到用户正在阅读文本的第三部分而将文本的第三部分滚动第三量的方式使电子设备能够在用户界面中的恒定位置处朝向显示用户正在阅读的文本的部分的方向工作,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过使用户能够更快地阅读内容),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,滚动文本以使得如图7C所示的文本的第二部分(例如724b)在第一方向上移动致使图像(例如712a)显示在用户界面的第三区域中(944)(例如,在一些实施方案中,图像是内容项的一部分并且被放置在内容项内位于文本的第二部分之后)。例如,用户界面的第三区域位于文本的第二部分下方,任选地,文本的其他部分位于文本的第二部分与图像之间。

在一些实施方案中,在滚动文本使得文本的第二部分(例如724b)在第一方向(946)上移动之后,电子设备(例如101)经由注视跟踪设备(例如314)确定(948)用户的注视(例如716d)指向图像(例如712a),诸如在图7D中,并且响应于确定用户的注视(例如716d)指向图像(例如712a),电子设备(例如101)在第一方向上滚动(950)文本和图像(例如712a)以将图像(例如712a)显示在用户界面中的第一位置(例如722a)处,诸如在图7E中。

在一些实施方案中,当用户正在阅读文本的第一部分时,图像显示在用户界面中显示文本的第一部分的位置处。滚动文本和图像任选地包括展示在图像之后显示的附加文本。在一些实施方案中,根据确定用户的注视未指向图像,电子设备放弃在第一方向上滚动文本和图像以将图像显示在用户界面中的第一位置处。

上述响应于检测到用户正在查看图像而将图像显示在用户界面中的第一位置处的方式使电子设备能够将图像移动到对于用户而言舒适的查看位置,而无需除注视之外的输入,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过减少查看和成像所需的输入数量),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,将图像(例如712a)显示在用户界面中的第一位置(例如722a)处时,将内容项的文本(例如,文本行)的第三部分(例如710b)显示在图像下方(952)。

在一些实施方案中,将图像(例如712a)显示在用户界面中的第一位置(例如722a)处并且将文本的第三部分(例如710b)显示在图像(例如712a)下方时,电子设备(例如101)确定(954)已满足一个或多个标准,诸如在图7E中(例如,一个或多个标准包括:当用户开始阅读文本的第三部分时满足的标准(例如,用户已阅读文本的预定部分(例如,一个词、两个词)或已阅读文本预定时间量(例如,1秒、2秒等));当用户查看文本的第三部分时满足的标准;和/或当用户将目光从图像移开时满足的标准)。

在一些实施方案中,响应于确定已满足一个或多个标准,电子设备(例如101)更新(956)用户界面以移动文本的要叠加在图像(例如712a)上的第三部分(例如710b),诸如图7F。

在一些实施方案中,滚动内容,使得文本的第三部分显示在用户界面中的第一位置处。图像任选地在用户界面中的第一位置上方延伸并且任选地具有比文本的第三部分更大的宽度。在一些实施方案中,文本与具有高对比度的背景一起显示。例如,文本的第三部分以叠加在白色矩形上的黑色文本显示,该白色矩形叠加在图像上。在一些实施方案中,没有背景叠加在图像上,相反,文本颜色和/或图像的半透明度被修改以在文本与图像之间产生对比度。在一些实施方案中,文本的附加部分也叠加在图像上。例如,文本的第三部分是文本行,并且附加的文本行叠加显示在图像上。在一些实施方案中,根据确定不满足一个或多个标准,电子设备放弃将用户界面更新为移动要叠加在图像上的文本的第三部分。

上述将文本的第三部分叠加显示在图像上的方式使电子设备能够在保持图像的视觉连续性的同时快速有效地将当前的感兴趣文本带到当前阅读位置,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过减少用户查看图像和阅读内容一起花费的时间量),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,当诸如图7F中那样显示叠加在图像(例如712a)上的文本的第三部分(例如710b)时,电子设备(例如101)经由注视跟踪设备(例如314)检测(958)用户的注视的运动指示用户正在阅读文本的第三部分(例如710a)(例如,电子设备检测用户的符合与阅读一致的移动的眼睛移动)。

在一些实施方案中,响应于确定用户的注视的运动指示用户正在阅读如图7F所示的文本的第三部分(例如710b),电子设备(例如101)在第一方向上滚动(960)图像(例如712a),使得文本的第三部分(例如710b)不再叠加在图像(例如712a)上。

在一些实施方案中,文本的第三部分继续显示在用户界面中的第一位置处,并且图像移动以显示在不与用户界面中的第一位置叠加的位置处。例如,图像显示在文本的第三部分上方。在一些实施方案中,根据确定用户没有阅读文本的第三部分,电子设备放弃在第一方向上滚动图像以使得文本的第三部分不再叠加在图像上。

上述响应于检测到用户正在阅读内容的第三部分而滚动图像以使得文本的第三部分不再叠加在图像上的方式使电子设备能够在用户正在阅读内容的第三部分时减少文本的第三部分周围的视觉混乱,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过使用户能够快速阅读内容),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,在显示包括内容项的用户界面时,电子设备经由注视跟踪设备(例如314)检测(962)用户头部的水平移动(例如,沿着用户界面的水平方向(例如,从左到右)的头部移动)。

在一些实施方案中,响应于检测到用户头部的水平移动,电子设备(例如101)更新(964)用户界面以将内容项显示在用户视场中心的位置处。

例如,响应于检测到用户将其头部移动到其右侧,电子设备将内容移动到右侧。因此,在一些实施方案中,即使在用户移动其头部之后,电子设备也将内容显示在用户视场的(例如,水平和/或垂直)中心。在一些实施方案中,如果电子设备没有检测到用户头部的水平移动,则电子设备不更新用户界面。

上述响应于检测到用户的水平头部移动而移动内容项的方式使电子设备能够将内容项显示在用户能够有效阅读的位置处,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过使用户能够更快地阅读内容),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,第一方向是在用户界面中垂直的方向,诸如在图7C至图7D中(966)。任选地,内容包括能够垂直滚动的文本,诸如多行文本。在一些实施方案中,随着用户阅读每个文本行,电子设备向上滚动内容。电子设备响应于在除注视跟踪设备之外的输入设备处接收的输入(例如,用户通过对应于向上滚动内容的请求的不同输入设备提供输入)而任选地向下滚动内容,并且用户任选地不能响应于提供仅基于注视的输入而向下滚动内容。

上述垂直滚动文本的方式使电子设备能够自动地将文本显示在用户界面中用户已经看过的垂直位置处,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过使用户能够更快地阅读内容),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,第一方向是在用户界面中水平的方向(968)。在一些实施方案中,文本是能够水平滚动的(例如,单个)文本行。例如,如果文本是英语或从左到右阅读的另一种语言,则随着用户阅读文本,电子设备向左滚动文本。电子设备任选地能够响应于通过除注视跟踪部件之外的输入设备接收输入(例如,用户通过对应于向后滚动内容的请求的不同输入设备提供输入)而在相反方向上滚动文本,并且用户任选地不能响应于提供仅基于注视的输入而在相反方向上滚动内容。

上述水平滚动文本的方式使电子设备能够自动地将文本显示在用户界面中用户已经看过的水平位置处,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过使用户能够更快地阅读内容),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,第一方向在用户界面中具有垂直分量和水平分量(970)。在一些实施方案中,内容被布置在网格或另一种二维阵列中。例如,内容是多格漫画。在一些实施方案中,在用户完成阅读漫画的一格的内容之后,电子设备将下一格显示在用户界面的第一位置,从而使用户能够在用户界面中的一个位置处继续逐格地阅读漫画。

上述垂直和水平滚动文本的方式使电子设备能够自动地将文本显示在用户界面中用户已经看过的位置处,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过使用户能够更快地阅读内容),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,电子设备(例如101)基于检测到的用户在文本的第一部分(例如724a)上的注视(例如716b)的移动来检测(972)用户已完成阅读文本的第一部分(例如724a),诸如在图7C中。

在一些实施方案中,响应于检测到用户已完成阅读文本的第一部分(例如724a),电子设备(例如101)在用户界面中显示(974)在确定用户已完成阅读文本的第一部分(例如724a)之前内容项的未显示的文本的第三部分。

在一些实施方案中,随着用户完成阅读所显示的内容的部分,电子设备发起内容的后续部分的显示(例如,在用户完成阅读文本的第一部分之后显示文本的第二部分,其中如果在用户完成阅读文本的第一部分之前文本的第二部分显示/可见,则在用户完成阅读文本的第一部分之前文本的第二部分将在用户界面中可见/显示)。在一些实施方案中,根据确定用户未完成阅读文本的第一部分,电子设备放弃显示内容项的文本的第三部分。

上述随着用户完成内容的显示部分的阅读而发起内容的后续部分的显示的方式使电子设备能够以较少的视觉分散来提供用户当前正在阅读的内容的部分,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过使用户能够更快地阅读内容),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,响应于确定用户的注视(例如716b)的运动指示用户正在阅读文本的第一部分(例如724a),诸如在图7C中,电子设备(例如101)生成(976)与文本的第一部分相关联的第一音频(例如,第一音频任选地包括音乐、音效或文本的第一部分的文本的音频(例如,文本的正被大声阅读的第一部分的音频)。

在一些实施方案中,在滚动文本使得图7D中所示的文本的第二部分(例如724b)在第一方向上移动之后,电子设备(例如101)经由注视跟踪设备(例如314)确定(978)用户的注视的运动指示用户正在阅读文本的第二部分(例如724b)(例如,电子设备检测用户眼睛的与用户查看文本的第二部分时的阅读一致的移动)。

在一些实施方案中,响应于确定用户的注视的运动指示用户正在阅读文本的如图7D所示的第二部分(例如724b),电子设备(例如101)确定(980)与文本的第二部分相关联的第二音频。例如,第二音频任选地包括音乐、音效或文本的第二部分的文本的音频(例如,文本的正被大声朗读的第二部分的音频)。在一些实施方案中,如果用户停止阅读文本,则电子设备停止呈现音频的与文本相关联的一个或多个部分。

上述在用户正在阅读时生成对应于用户当前正在阅读的文本部分的音频的方式使电子设备能够播放音频,而无需接收除用户注视的检测之外的输入,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过减少用户致使电子设备播放与内容项协调的音频所需的输入),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,通过与图7C所示的文本的第一部分(例如724a)相关联的第一音频的进度对应于用户正在阅读文本的第一部分(例如724a)的速度,并且通过与文本的第二部分(例如724b)相关联的第二音频(例如724b)的进度对应于用户正在阅读文本的第二部分的速度(982)。

在一些实施方案中,用户阅读文本越快,对应的音频内容播放得越快。同样,在一些实施方案中,用户阅读文本越慢,对应的音频内容播放得越慢。例如,音频内容是正被大声朗读的文本的记录,并且音频以一定速度回放,使得正被大声朗读的短语和/或字词与用户当前正在阅读的短语/字词同步。

上述以对应于用户阅读文本的速度的速度生成音频的方式使电子设备能够与用户的阅读速度协调地播放音频,而无需接收除用户注视的检测之外的输入,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过减少用户致使电子设备与用户的阅读速度协调地播放音频所需的输入),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,当用户的注视的运动指示用户正在阅读相应内容项时,电子设备将那些相应内容项与用户阅读那些相应内容项的相应时间相关联(984)(例如,当用户正在阅读内容项时,电子设备存储与用户阅读内容项的时间的时间戳相关联的内容项的指示(或内容项的特定部分的指示))。例如,当用户正在阅读新闻文章时,电子设备存储新闻文章的指示和用户阅读新闻文章的时间。又如,当用户正在阅读电子书的相应章节时,电子设备存储与用户阅读相应章节、页面、行和/或文字的时间的时间戳相关联的章节、页面、行和/或文字的指示。

在一些实施方案中,在用户的注视的运动指示用户已完成阅读相应内容项之后(986),电子设备(例如101)经由一个或多个输入设备接收(988)呈现关于用户在第一相应时间正在阅读的内容项的信息的请求(例如,用户输入请求电子设备呈现用户在第一相应时间正在阅读的内容项的指示的输入)。例如,用户询问电子设备的虚拟助理“我昨天下午3点阅读了什么?”,并且作为响应,电子设备呈现用户在前一天下午3点阅读的内容项(例如,章节、页面、行和/或字词)的指示。在一些实施方案中,诸如通过键盘或软键盘提供文本输入的其他形式的输入是可能的。

在一些实施方案中,响应于接收到显示关于用户在第一相应时间阅读的内容项的信息的请求(990),根据确定第一相应时间是第一时间,电子设备(例如101)呈现(992)关于第一相应内容项的信息(例如,如果用户请求关于他们在前一天上午10点阅读的内容的信息,电子设备呈现用户在前一天上午10点阅读的内容项或内容项的一部分的指示)。

在一些实施方案中,根据确定第一相应时间是第二时间,电子设备(例如101)呈现(994)关于第二相应内容项的信息。例如,如果用户请求关于他们在上周一下午2点阅读的内容项的信息,则电子设备呈现用户在上周一下午2点阅读的内容项或内容项的一部分的指示。在一些实施方案中,用户请求关于他们在电子设备没有存储相应阅读内容项的时间阅读的信息。响应于该请求,电子设备任选地指示用户在所指示时间没有阅读任何内容,和/或呈现用户在最接近相关联的内容项被存储的所请求时间的时间阅读的内容项的指示。在一些实施方案中,根据确定用户没有在相应时间阅读内容项,电子设备呈现用户没有在相应时间进行阅读的指示。

上述存储用户正在阅读的与当前时间相关联的内容项的指示以及响应于呈现关于在相应时间正被阅读的内容项的信息的请求而呈现关于在相应时间正被阅读的内容项的指示的方式使电子设备能够有效地导航到内容项,而无需提供关于内容项的标题或其他标识信息,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过使用户能够快速回忆和查看他们先前查看的内容),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,在显示内容项时,电子设备(例如101)经由一个或多个输入设备接收(996)停止显示内容项的请求,并且响应于接收到停止显示内容项的请求,停止显示内容项(例如,响应于检测到用户在执行满足一个或多个标准的头部移动时查看显示器的与显示内容项的显示器的区域不同的区域,根据方法1000的一个或多个步骤,电子设备停止显示内容项或仅在内容浏览用户界面中显示内容项的预定部分,如下文所详述)。响应于利用除注视跟踪设备之外的输入设备检测到的用户输入,电子设备任选地停止显示内容项。在一些实施方案中,响应于对应于显示不同内容项与呈现内容项的应用程序不同的应用程序的用户界面的请求的用户输入,电子设备停止显示内容项。

在一些实施方案中,在停止显示内容项之后,电子设备(例如101)经由一个或多个输入设备接收(998)显示内容项的请求(例如,显示在相对短的持续时间(例如,5分钟至1小时)已经过去之后或在更长的时间段(例如,一天或多天)已经过去之后任选地接收的内容项的请求)。

在一些实施方案中,响应于接收到显示内容项的请求(998-2),电子设备显示(998-4)相应内容项(例如,在一些实施方案中,根据上述过程800的一个或多个步骤,内容项叠加在内容浏览用户界面上显示)。

在一些实施方案中,根据确定在内容项的显示停止之前用户最后阅读了内容项的文本的第一部分,电子设备(例如101)提供(998-6)内容项的文本的第一部分的指示(例如,显示内容项的文本的第一部分的指示包括用视觉指示显示内容项的文本的第一部分)。

在一些实施方案中,根据确定在内容项的显示停止之前用户最后阅读了内容项的文本的第二部分,电子设备(例如101)提供(998-8)内容项的文本的第二部分的指示。

例如,即使内容项的文本的第一部分不是内容项的开头,内容项也显示为滚动到内容项的第一部分。在一些实施方案中,即使内容项的开头不包括内容项的第一部分,内容项的开头也与内容项的第一部分的指示同时显示。响应于检测到对内容项的第一部分的指示的选择,电子设备任选地将内容项滚动到内容项的第一部分。在一些实施方案中,指示是一个或多个音频或视觉指示。

在一些实施方案中,显示内容项的文本的第二部分的指示包括用视觉指示显示内容项的文本的第二部分。例如,即使内容项的文本的第二部分不是内容项的开头,内容项也显示为滚动到内容项的第二部分。在一些实施方案中,即使内容项的开头不包括内容项的第二部分,内容项的开头也与内容项的第二部分的指示同时显示。响应于检测到对内容项的第二部分的指示的选择,电子设备任选地将内容项滚动到内容项的第二部分。在一些实施方案中,指示是一个或多个音频或视频指示。

上述在停止显示内容项之前显示用户最后阅读的内容项的部分的指示的方式使电子设备能够快速呈现用户先前阅读的内容项的部分,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过减少用户在导航离开内容之后恢复阅读内容所花费的时间量),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,在显示用户界面时,电子设备(例如101)经由注视跟踪设备(例如314)确定(998-10)用户已经眨眼,包括确定用户眼睛闭上然后以预定定时标准睁开(例如,用户眼睛闭上长于时间阈值(例如,0.05秒、0.1秒、0.2秒、.5秒、1秒、2秒等),然后重新睁开)。在一些实施方案中,阈值比用户在查看用户界面或阅读内容时正常眨眼的时间段长。

在一些实施方案中,响应于确定用户眨眼,电子设备(例如101)在不同于第一方向的第二方向上滚动(998-12)文本,致使内容项的较前部分显示在用户界面中的第一位置(例如722a)处。例如,电子设备随着用户阅读而向下滚动文本,并且响应于检测到用户的眨眼持续长于预定阈值时间量,电子设备向上滚动内容。在一些实施方案中,内容项的第一部分是内容项的开头。在一些实施方案中,长时间眨眼导致内容项滚动回到内容项的开头。在一些实施方案中,长时间眨眼导致内容项以增量向后滚动(每次眨眼导致向后滚动一个增量)。在一些实施方案中,根据确定用户的眼睛没有闭上然后以预定定时标准睁开,电子设备放弃在第二方向上滚动文本。

上述响应于检测到持续长于预定阈值时间的眨眼而向后滚动内容项的方式使电子设备能够有效地导航到内容项的较前部分,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过减少从较前部分开始阅读内容项所需的时间量),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,当显示用户界面时,电子设备(例如101)经由注视跟踪设备(例如314)确定(998-14)用户正在浏览内容项(例如,与浏览文本相关联的眼睛移动不同于与阅读文本相关联的眼睛移动)。电子设备任选地能够经由注视跟踪设备确定用户正在浏览内容。

在一些实施方案中,响应于确定用户正在浏览内容项,电子设备(例如101)以具有第一值的视觉特性呈现(998-16)内容项的一个或多个第一字词,并且以具有不同于第一值的第二值的视觉特性呈现内容项的不同于内容项的第一字词的一个或多个第二字词。

视觉特性任选地是颜色、不透明度、尺寸、高亮或文本样式(例如,粗体、下划线、斜体)中的一者或多者。在一些实施方案中,电子设备任选地以更容易阅读的外观(例如,较高对比度的颜色、较高的不透明度、较大的尺寸、高亮显示,或以粗体、斜体或下划线的字体呈现)呈现被认为对内容项至关重要的一个或多个预定字词,并且以更容易浏览的外观(例如,较低对比度的颜色、较低的不透明度、较小的尺寸、不高亮显示或不以其他字词呈现的文本样式呈现)呈现内容项的其余字词。例如,电子设备在白色背景上显示内容项,其中关键字词以黑色文本显示,而其他字词以灰色文本显示。在一些实施方案中,根据确定用户没有浏览内容项,电子设备放弃以具有第一值的视觉特性呈现内容项的一个或多个第一字词,并且放弃以具有不同于第一值的第二值的视觉特性呈现内容项的不同于内容项的第一字词的一个或多个第二字词。

上述响应于检测到用户正在浏览内容而显示具有不同视觉特性的第一字词和第二字词的方式使电子设备能够以更容易浏览的方式显示内容,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过减少用户浏览文本所花费的时间量),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,在滚动文本以使得文本的第二部分(例如724b)响应于确定用户的注视(例如716b)的运动指示用户已完成阅读诸如图7C中的文本的第一部分(例如724a)而在第一方向上移动之后,电子设备(例如101)经由不同于注视跟踪设备(例如314)的与电子设备(例如101)通信的一个或多个输入设备(例如,键盘、鼠标、触摸屏、触敏表面、跟踪板、语音命令等)接收(998-18)对应于在与第一方向相反的第二方向上滚动文本的请求的输入。

在一些实施方案中,响应于接收到一个或多个输入,电子设备(例如101)在第二方向上滚动(998-20)文本。在一些实施方案中,响应于在除注视跟踪设备之外的输入设备处接收的向后滚动内容的请求,电子设备向后滚动内容。例如,电子设备随着用户阅读内容而自动向下滚动内容,并且响应于在对应于向上滚动内容的请求的跟踪板处接收的输入,电子设备向上滚动内容。在一些实施方案中,电子设备不响应于经由注视跟踪设备检测到的输入而向后滚动内容。例如,电子设备随着用户阅读内容而向下滚动内容,并且检测到用户正在查看显示器的位于用户正在阅读的内容的相应部分上方的区域。在该示例中,电子设备不响应于简单地对用户注视的检测而向上滚动内容。

上述响应于注视而在第一方向上滚动内容以及响应于除注视跟踪设备之外的输入设备而在第二方向上滚动内容的方式使电子设备能够放弃响应于注视而在第二方向上滚动内容,因此允许用户自由地查看用户界面而不会意外地向后滚动文本。这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过减少用户错误的可能性以及减少修正用户错误所需的输入),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

图10A至图10G是示出根据一些实施方案的根据对用户头部移动的检测和对用户注视的检测在用户界面之间导航的方法1000的流程图。在一些实施方案中,方法1000在计算机系统(例如,图1中的计算机系统101)处执行,该计算机系统包括显示生成组件(例如,图1、图3和图4中的显示生成组件120)(例如,平视显示器、显示器、触摸屏、投影仪等)和一个或多个相机(例如,向下指向用户手部的相机(例如,颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前指向的相机)。在一些实施方案中,方法1000通过存储在非暂态计算机可读存储介质中并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如,图1A中的控制单元110)执行的指令来管理。方法1000中的一些操作任选地被组合,并且/或者一些操作的次序任选地被改变。

在方法1000中,在一些实施方案中,电子设备(例如,计算机系统(例如101))与显示生成组件(例如120)和注视跟踪设备(例如314)(例如,移动设备(例如,平板电脑、智能电话、媒体播放器)、计算机(例如,台式计算机、膝上型计算机)或可穿戴设备(例如,手表、头戴式设备)通信,同时经由显示生成组件(例如120)如图7B所示在显示器上显示第一用户界面(例如700),从而检测(1002)从第一用户界面(例如700)导航到第二用户界面(例如714)的请求(例如,第一用户界面任选地是包括一个或多个选项的导航用户界面,这些选项在被选择时致使电子设备导航到不同的用户界面)。

在一些实施方案中,响应于从第一用户界面(例如700)导航到第二用户界面(例如714)的请求,电子设备(例如101)导航(1004)到第二用户界面(例如,响应于检测到导航到第二用户界面的请求,电子设备显示第二用户界面,诸如包括内容项的内容用户界面)。

在一些实施方案中,当经由显示生成组件(例如120)显示诸如图7C中的第二用户界面(例如714)时,电子设备(例如101)检测(1006)用户头部的移动(例如,头部移动满足指示用户头部的移动与预定头部移动匹配的一个或多个标准)。

在一些实施方案中,响应于检测到用户头部的移动(1008),根据确定头部的移动满足第一标准(例如,移动到侧面然后向前移动)并且用户的注视(例如716c)指向用户界面(例如700)的相应部分(例如,在内容区域之外的部分,任选地在从内容区域的第一方向上,诸如在内容区域左侧的部分),电子设备(例如101)从第二用户(例如714)界面导航(1010)回到如图7B所示的第一用户界面(例如700)(例如,电子设备任选地停止显示第二用户界面而是显示第一用户界面)。

在一些实施方案中,根据确定头部的移动不满足第一标准,电子设备(例如101)放弃(1012)从第二用户界面(例如714)导航回到第一用户界面(例如700)(例如,电子设备任选地继续显示第二用户界面)。

在一些实施方案中,根据确定头部的移动满足第一标准并且用户的注视不指向用户界面(例如700)的相应部分,电子设备(例如101)放弃(1014)从第二用户界面(例如714)导航回到第一用户界面(例如700)。

在一些实施方案中,显示生成组件是与电子设备集成的显示器(任选地,触摸屏显示器)和/或外部显示器(诸如监视器、投影仪、电视等)。在一些实施方案中,注视跟踪设备包括一个或多个相机(例如,IR相机、NIR相机、可见光相机等)。

例如,第一用户界面是包括内容项的一个或多个表示的内容浏览用户界面。响应于检测到查看内容项中的一项的请求,诸如根据方法800的一个或多个步骤,电子设备任选地将所请求的内容项显示在第二用户界面中。因此,在一些实施方案中,第二用户界面是包括内容项(例如,文本内容、照片内容和/或视频内容)的内容查看用户界面。

在一些实施方案中,在电子设备显示第二用户界面时,第二用户界面重叠地显示在第一用户界面上并且第一用户界面的一部分保持可见,诸如根据方法800的一个或多个步骤。

例如,头部移动包括向前移动(例如,在显示生成组件和/或注视跟踪设备的方向上和/或以其他方式朝向虚拟环境中的用户界面)和/或移动或旋转到用户界面的显示第一用户界面的一部分的一侧(例如,在虚拟环境中)中的一者或多者。例如,如果第一用户界面的一部分在第二用户界面的左侧可见,则头部移动包括检测朝向左侧的移动和/或旋转。

在第二用户界面叠加在第一用户界面上的一些实施方案中,电子设备检测到用户正在查看第一用户界面的一部分。

在一些实施方案中,满足第一标准的头部移动包括头部朝向用户界面的显示第一用户界面的一部分的一侧的移动。例如,如果第一用户界面的一部分在第二用户界面的右侧可见,则满足第一标准的头部移动包括头部向右的移动。在一些实施方案中,使用注视跟踪设备检测用户注视的位置。注视跟踪设备任选地捕获用户眼睛的一个或多个图像并且检测所捕获的一个或多个图像中的瞳孔和闪光以跟踪用户的注视,如上文参考图6所详述。在一些实施方案中,第一用户界面对象部分叠加在第二用户界面对象上,并且第二用户界面对象的部分可见。电子设备任选地检测用户正在查看第二用户界面对象的可见部分。

在一些实施方案中,如果头部移动的方向、幅度或持续时间中的一者或多者在预定范围之外或不匹配预定模式,则头部移动不满足第一标准。

在一些实施方案中,除非确定头部移动满足第一标准并且确定用户的注视指向用户界面的相应部分,否则头部不导航回到第一用户界面。根据确定头部移动满足第一标准并且用户的注视不指向用户界面的相应部分,电子设备任选地继续显示第二用户界面。

上述响应于检测到用户的注视和头部移动而导航回到第一用户界面的方式使电子设备能够在用户界面对象之间导航,而无需除注视和头部移动之外的用户输入,而且还避免了由于头部和注视的双重要求而导致错误地向后导航,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过减少用户输入导航输入所花费的时间量以及减少错误的导航结果),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,在显示第一用户界面(例如700)的至少一部分时显示第二用户界面(例如714),诸如在图7C中(1016)(例如,第二用户界面叠加在第一用户界面上,并且第一用户界面的一部分在第二用户界面的边界旁可见)。例如,第一用户界面是内容浏览用户界面,而第二用户界面包括用户从第一用户界面导航到的内容项。

在一些实施方案中,在显示第二用户界面(例如714)和第一用户界面(例如700)的至少一部分时,其中第一用户界面(例如700)相对于第二用户界面(例如714)是视觉弱化的,电子设备(例如101)经由注视跟踪设备(例如314)确定(1018)用户的注视(例如716c)已从第二用户界面(例如714)移动到第一用户界面(例如700),诸如在图7C(例如,第一用户界面任选地以第二用户界面更高的半透明度显示,第一用户界面以比第二用户界面更高的模糊度显示,第一用户界面以比第二用户界面更低的亮度或对比度显示,第一用户界面以减小的尺寸显示并且第二用户界面以全尺寸显示等,同时用户正在查看第二用户界面)。

在一些实施方案中,响应于确定用户的注视(例如716c)已从第二用户界面(例如714)移动到第一用户界面(例如700),诸如在图7C中,电子设备(例如101)减小(1020)第一用户界面(例如714)相对于第二用户界面(例如700)的视觉弱化量,诸如在图7G中(例如,以具有不同于第一值的第三值的视觉特性(例如,增大的半透明度、增大的模糊度、降低的亮度或对比度、减小的尺寸等)显示第二用户界面);和/或以具有不同于第二值的第四值的视觉特性(例如,减小的半透明度、减小的模糊度、增大的亮度或对比度、增大的尺寸等)显示第一用户界面的至少一部分)。

在一些实施方案中,当用户查看第二用户界面时,第二用户界面以全尺寸、全色彩、对比度或亮度、全清晰度和低半透明度显示,并且第一用户界面以减小的尺寸、亚光色、低对比度和/或亮度、减小的清晰度和/或更高的半透明度显示。响应于检测到用户正在查看第一用户界面,电子设备任选地对于第二用户界面减小尺寸、色彩、对比度、亮度和/或清晰度和/或增大半透明度,而对于第一用户界面则增大尺寸、对比度、亮度和/或清晰度、使色彩变亮和/或减小半透明度。

上述响应于检测到用户的注视从第二用户界面移动到第一用户界面而修改第一用户界面和第二用户界面的视觉特性的方式使电子设备能够有效地在视觉上强调用户当前正在查看的用户界面,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过使用户能够更快地阅读内容),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,当用户的注视指向第一用户界面(例如700)时并且当以第一用户界面(例如700)相对于第二用户界面(例如714)减小的视觉弱化量显示第一用户界面(例如700)和第二用户界面(例如714)时,诸如在图7G中,电子设备(例如101)经由注视跟踪设备(例如314)确定(1022)用户的注视(例如716f)已从第一用户界面(例如700)移动到第二用户界面(例如714)(例如,当用户正在查看第一用户界面时,与当用户正在查看第一用户界面时第一用户界面的呈现相比,第一用户界面以增大的尺寸、对比度、清晰度和/或亮度、明亮的色彩和/或减小的半透明度显示,而第二用户界面以减小的尺寸、对比度、清晰度和/或亮度、暗淡的色彩和/或增大的半透明度显示)。

在一些实施方案中,响应于确定用户的注视(例如716f)已从第一用户界面(例如700)移动到第二用户界面(例如714)(1024),诸如在图7G中,电子设备(例如101)显示(1026)第一用户界面(例如700)和第二用户界面(例如714),其中第一用户界面(例如700)相对于第二用户界面(例如714)是视觉弱化的,如图7C所示(例如,将视觉弱化的水平恢复为与检测到用户正在查看第一用户界面之前的弱化量相同)。

在一些实施方案中,第二用户界面以减小的半透明度、减小的模糊度、增大的亮度或对比度、增大的尺寸等显示,而第一用户界面以增大的半透明度、增大的模糊度、减小的亮度或对比度、减小的尺寸等显示。在一些实施方案中,响应于检测到用户正在查看第二用户界面,与在用户正在查看第二用户界面时第一用户界面和第二用户界面的呈现相比,电子设备以增大的尺寸、对比度、清晰度和/或亮度、明亮的色彩和/或减小的半透明度显示第二用户界面,而以减小的尺寸、对比度、清晰度和/或亮度、暗淡的色彩和/或增大的半透明度显示第一用户界面。

上述响应于检测到用户查看第二用户界面而修改第一用户界面和第二用户界面的视觉特性的方式使电子设备能够以较少视觉混乱有效地显示用户正在查看的用户界面,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过使用户能够更快地解释他们正在查看的用户界面),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,响应于检测到用户头部的移动(1028),根据头部的移动满足第一标准(例如,移动到侧面然后向前移动)并且用户的注视指向用户界面的相应部分(例如,在内容区域之外的部分,任选地在从内容区域的第一方向上,例如在内容区域左侧的部分),电子问题显示(1030)第二用户界面与第一用户界面之间的动画过渡,同时从第二用户界面导航回到第一用户界面,诸如在7G至图7H中。在第二用户界面叠加在第一用户界面上的一些实施方案中,电子设备检测到用户正在查看第一用户界面的一部分。

在一些实施方案中,根据确定头部的移动不满足第一标准并且用户的注视指向用户界面的相应部分,电子设备(例如101)显示(1032)第二用户界面与第一用户界面之间的动画过渡的第一部分,但不显示第二用户界面之间的完整动画过渡,诸如在图7G中。

在一些实施方案中,电子设备显示第一用户界面和第二用户界面的视觉特性的动画呈现,该动画呈现根据用户正在查看哪个用户界面而改变。例如,响应于检测到用户将其注视从第二用户界面移动到第一用户界面,电子设备显示第一用户界面变得更大且更清晰而第二用户界面变得更小且更不清晰的动画呈现。在一些实施方案中,动画呈现的推进与用户头部移动了多少成比例。在一些实施方案中,如果用户将其头部移动更大量,则动画呈现推进更大量。

上述随着用户移动其头部而以动画方式呈现用户界面的视觉特性的变化的方式使电子设备能够向用户提供指示头部移动引起用户界面之间的导航的有效视觉反馈,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过使用户能够更快地利用头部移动在用户界面之间导航),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,动画过渡的第一部分的幅度取决于头部的移动量(1034)。例如,如果用户将其头部移动第一量,则动画呈现推进第一量,而如果用户将其头部移动更大量,则动画呈现推进更大量。

上述以取决于用户移动其头部的量的量以动画方式呈现用户界面的视觉特性的变化的方式使电子设备能够向用户提供指示头部移动引起用户界面之间的导航的有效视觉反馈,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过使用户能够更快地利用头部移动在用户界面之间导航),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,动画过渡的第一部分以基于头部(1036)的移动速率和/或方向(包括向前和/或向后移动)确定的速率和/或方向推进。在一些实施方案中,电子设备响应于检测到用户头部的较慢移动而以较慢速度推进动画呈现,并且响应于检测到用户头部的较快移动而以较快速度推进动画呈现。电子设备响应于检测到用户头部在第一方向上的移动而任选地向前推进动画呈现,并且响应于检测到用户头部在与第一方向相反的第二方向上的移动而任选地向后推行动画呈现。

上述以基于头部移动的速率或方向的速率或方向以动画方式呈现用户界面的视觉特性的变化的方式使电子设备能够向用户提供指示头部移动引起用户界面之间的导航的有效视觉反馈,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过使用户能够更快地利用头部移动在用户界面之间导航),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,响应于检测到头部移动的结束但头部移动不满足第一标准(例如,头部姿势结束或注视结束),电子设备(例如101)显示(1038)返回到第一用户界面(例如700)的动画过渡相对于第二用户界面(例如714)是视觉弱化的,如图7C所示(例如,反转动画过渡的第一部分)。在一些实施方案中,头部移动的结束对应于检测到用户停止移动其头部或反转头部移动,使得头部的位置与头部移动开始之前相同。

返回到相对于第二用户界面视觉弱化的第一用户界面的动画过渡任选地是反向播放的减小第一用户界面相对于第二用户界面的弱化量的动画过渡。在一些实施方案中,响应于检测到用户将目光从第一用户界面移开,电子设备显示返回到相对于第二用户界面视觉弱化的第一用户界面的动画过渡。上述显示返回到相对于第二用户界面视觉弱化的第一用户界面的动画过渡的方式使电子设备能够向用户提供指示头部移动引起用户界面之间的导航的有效视觉反馈,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过使用户能够更快地利用头部移动在用户界面之间导航),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,第一标准包括要求用户的头部朝一侧倾斜移动的标准(1040)。在一些实施方案中,如果用户将其头部向左或向右倾斜则满足标准,如果用户将其头部向左倾斜则满足标准,或如果用户将其头部向右倾斜则满足标准。电子设备任选地显示叠加在第一用户界面上的第二用户界面,其中第一用户界面的一部分可见。例如,第二用户界面叠加显示在第一用户界面的左侧并且第一用户界面的一部分在第二用户界面的右侧保持可见,并且响应于检测到至少用户的头部向右的移动,则电子设备导航回到第一用户界面。

上述响应于检测到至少用户的头部向侧面的移动而导航回到第一用户界面的方式使电子设备能够提供从第二用户界面导航到第一用户界面的高效直观的方式,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过减少用户在用户界面之间导航所花费的时间量),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,第一标准包括要求用户(例如,相对于用户的身体)向前移动的标准(1042)。在一些实施方案中,响应于至少检测到用户的头部在相对于用户身体的向前方向上的移动,电子设备从第二用户界面导航到第一用户界面。

上述响应于检测到至少用户的头部向前的移动而导航回到第一用户界面的方式使电子设备能够提供从第二用户界面导航到第一用户界面的高效直观的方式,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过减少用户在用户界面之间导航所花费的时间量),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,从第一用户界面(例如700)导航到第二用户界面(例如714)包括显示叠加在第一用户界面(例如700)上的第二用户界面(例如714),诸如在图7C中(1044)。在一些实施方案中,第二用户界面叠加在第一用户界面的一部分上,使得第一用户界面的一部分在显示第二用户界面时可见。例如,第二用户界面叠加在第一用户界面的左侧部分上,并且第一用户界面的右侧部分对于第二用户界面的右侧可见。

上述显示叠加在第一用户界面上的第二用户界面的方式使电子设备能够同时显示第二用户界面以及第一用户界面的一部分,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过允许用户看到第一用户界面的一部分,使得用户在输入导航回到第一用户界面的请求之前知道他们是否想要导航回到第一用户界面),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,从第一用户界面导航到第二用户界面包括弱化第一用户界面,并且根据确定用户的注视指向第二用户界面来强调第二用户界面(1046)。在一些实施方案中,弱化第一用户界面包括减小第一用户界面的尺寸、对比度、亮度、不透明度和/或清晰度中的一者或多者,而强调第二用户界面包括增大第二用户界面的尺寸、对比度、亮度、不透明度和/或清晰度中的一者或多者。

上述弱化第一用户界面和强调第二用户界面来作为从第一用户界面到第二用户界面的导航的一部分的方式使电子设备能够在用户查看第二用户界面时以较少视觉混乱有效地显示用户界面,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过使用户能够更快地理解第二用户界面并提供从第二用户界面导航回到第一用户界面的有效方式),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,当显示第二用户界面(例如714)时(例如,当导航到第二用户界面时),当用户的注视的特征(例如,时间长度)不满足第二标准时,或当用户的头部移动不满足第一标准时(例如,头部移动的时间长度、头部移动的距离和/或头部移动的速度不满足一个或多个标准和/或位置、持续时间和/或注视的其他特性不满足一个或多个标准),电子设备(例如101)继续(1048)显示第二用户界面(例如714),同时基于用户的注视或用户的头部移动来改变第二用户界面(例如714)的外观(例如,或第一用户界面的外观),诸如在图7G中(例如,与检测到用户在第一用户界面上的注视和用户的头部移动之前的第一用户界面和第二用户界面的外观相比,以增大的对比度、亮度、尺寸、不透明度和/或清晰度显示一用户界面和/或以减小的对比度、亮度、尺寸、不透明度和/或清晰度显示第二用户界面)。

在一些实施方案中,根据确定用户的注视的特性满足第二标准并且用户的头部移动满足第一标准,电子设备(例如101)从第二用户界面(例如714)导航(1050)回到第一用户界面(例如700),诸如在图7B中。

在一些实施方案中,保持导航到第二用户界面包括继续显示第二用户界面(例如,叠加在第一用户界面上)。此外,如果在将电子设备导航到第二用户界面时,用户将目光从第一用户界面和第二用户界面两者移开(例如,查看电子设备的系统用户界面或系统用户界面元素,或将目光从显示生成组件的显示区域移开),则电子设备以在用户正在查看第二用户界面时显示第一用户界面和第二用户界面的方式恢复显示第一用户界面和第二用户界面。

在一些实施方案中,从第二用户界面导航回到第一用户界面包括停止显示第二用户界面。此外,一旦电子设备导航回到第一用户界面,如果如上所述用户将目光从第一用户界面移开,则电子设备继续显示第一用户界面但不显示第二用户界面。

上述响应于检测到用户的注视和用户的头部移动满足预定标准而导航回到第一用户界面,但基于不足以导航回到第一用户界面的头部/注视输入而改变第一用户界面和第二用户界面两者的外观的方式使电子设备能够向用户有效地提供继续执行头部移动并继续查看第一用户界面将导致导航回到第一用户界面的反馈,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过使用户在想要这样做时能够更快地导航回到第一用户界面),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,当显示第二用户界面(例如714)并且第二用户界面(例如714)具有变化的外观时,诸如在图7G中(例如,当导航到第二用户界面并显示第一用户界面的至少一部分时),电子设备(例如101)经由注视跟踪设备(例如314)确定(1052)用户的注视(例如716f)指向第二用户界面(例如714)(例如,或第一用户界面)。

在一些实施方案中,响应于确定用户的注视(例如716f)指向第二用户界面(例如714),如图7G所示,电子设备(例如101)将第二用户界面(例如714)的外观恢复(1054)为初始外观,诸如在图7C中。

在一些实施方案中,与当用户查看第一用户界面并执行头部移动之前正在查看第二用户界面时的第二用户界面的初始外观相比,变化的外观包括减小的尺寸、对比度、清晰度和/或不透明度中的一者或多者。

在一些实施方案中,将第二用户界面的外观恢复为初始外观包括放弃导航回到第一用户界面。响应于检测到用户在执行头部移动时正在查看第一用户界面,电子设备任选地还将第一用户界面恢复为初始外观,该初始外观与第一用户界面的外观相比具有减小的尺寸、对比度、清晰度和/或不透明度。

上述响应于检测到用户正在查看第二用户界面而将第二用户界面的外观恢复为初始外观的方式使电子设备能够为用户提供停止导航回到第一用户界面的过程并继续查看第二用户界面的有效方式,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过提供快速有效地恢复显示具有初始外观的第二用户界面的方式),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,电子设备(例如101)在用户界面中显示(1056)文本内容(例如,文本内容叠加在第一用户界面和第二用户界面上或者显示在第一用户界面或第二用户界面中)。

在一些实施方案中,当显示文本内容时,电子设备(例如101)检测(1058)停止显示文本内容的请求(例如,在除注视检测设备之外的与电子设备通信的输入设备中的一个输入设备处接收的用户输入)。

在一些实施方案中,响应于检测到停止显示文本内容的请求(1060),根据确定文本内容不满足一个或多个标准,电子设备(例如101)停止(1062)显示文本内容(例如,该一个或多个标准与预定通知事件相关联,预定通知事件诸如重要警告、由用户或系统指示为重要的由应用程序生成的通知、或由文本创建者指示为重要的文本)。

在一些实施方案中,根据确定文本内容满足一个或多个标准(1064)(例如,该一个或多个标准与预定通知事件相关联,预定通知事件诸如重要警告、由用户或系统指示为重要的由应用程序生成的通知、或由文本创建者指示为重要的文本),根据确定(例如,经由注视跟踪设备)用户已阅读文本内容,电子设备(例如101)停止(1066)显示文本内容(例如,电子设备基于由注视跟踪部件捕获的数据确定用户的眼睛移动与阅读文本内容一致)。

在一些实施方案中,根据确定用户尚未阅读文本内容(例如,经由注视跟踪设备),电子设备(例如101)保持(1068)文本内容的显示。

文本内容任选地包括与通知事件的指示相关联的文本。例如,文本内容是在电子设备处接收到的消息的消息预览,该消息预览显示在指示接收到消息的通知指示中。在一些实施方案中,文本是与软件产品或电子设备服务相关联的条款与条件文本。

在一些实施方案中,输入是用于导航离开例如第二用户界面的注视输入,如上文所述。

例如,输入是按下键盘的键、选择停止显示经由触摸屏、跟踪板、鼠标等进行的文本的选项或语音命令中的一者。

根据确定文本不满足标准,电子设备响应于这样做的用户请求而停止显示文本(例如,在文本内容包括在第二用户界面中的示例中,导航离开并停止显示第二用户界面)。

响应于检测到对应于停止显示文本的请求的输入并且根据确定用户已阅读文本,电子设备停止显示文本(例如,在文本内容包括在第二用户界面中的示例中,导航离开并停止显示第二用户界面)。

在一些实施方案中,如果文本满足一个或多个标准,则响应于对应于停止显示文本的请求的用户输入,用户必须阅读文本以使得文本被消除。

上述响应于检测到用户已阅读文本并且响应于请求停止显示文本的输入而仅消除满足一个或多个标准的文本的方式使电子设备能够有效地继续显示重要文本,直到用户已阅读该文本为止,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过减少用户访问文本以阅读文本所需的输入),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,电子设备(例如101)在用户界面中显示(1070)与相应应用程序相关联的通知(例如706)(例如,通知包括指示在电子设备处检测到的通知事件的文本或图像)。例如,通知事件是消息的接收,并且通知包括消息的文本和用来接收消息的用户帐户的指示。消息的通知任选地与消息传送应用程序相关联。

在一些实施方案中,当显示与相应应用程序相关联的通知(例如706)时,电子设备(例如101)经由注视跟踪设备确定(1072)用户已阅读通知(例如706)(例如,查看通知时用户的眼睛移动与阅读一致)。在一些实施方案中,电子设备确定用户已阅读包括在通知中的所有文本。

在一些实施方案中,响应于确定用户已阅读通知(例如706)(例如,确定用户已完成阅读通知),电子设备(例如101)经由显示生成组件(例如120)显示(1074)相应应用程序的用户界面。例如,通知是消息的通知,并且响应于检测到用户已阅读通知,电子设备显示消息传送应用程序。在一些实施方案中,根据确定用户未完成阅读通知,电子设备放弃显示相应应用程序的用户界面。

上述显示与用户已阅读的通知相关联的应用程序的用户界面的方式使电子设备能够以有效方式呈现与通知相关联的附加信息,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过减少打开与用户已阅读的通知相关联的应用程序所需的输入),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,在经由注视跟踪设备(例如314)确定用户的注视指向第二用户界面(例如714)(1076)时,根据确定用户头部处于第一位置,电子设备(例如101)以第一文本风格(例如,第一风格包括字体、文本尺寸和/或诸如粗体、斜体或下划线的文本风格)显示(1078)第二用户界面(例如714)的文本内容。

在一些实施方案中,根据确定用户头部处于不同于第一位置的第二位置,电子设备(例如101)以不同于第一文本样式的第二文本样式显示(1080)第二用户界面(例如714)的文本内容。例如,如果用户相对于其身体的其余部分和/或相对于其头部的初始位置向前移动其头部,则相比于在用户移动其头部之前显示的字体,电子设备任选地以较大尺寸或不同字体(例如,具有较高分辨率(DPI)但具有相同尺寸的字体,或相比于任选地更容易从较远距离阅读的初始显示的字体,更容易从较近距离阅读的字体)显示文本。

上述响应于检测到用户头部的移动而修改文本样式的方式使电子设备能够提供改变文本样式的有效方式,以优化在不同头部/眼睛距离处的文本显示,诸如文本的装饰的大小或级别,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过减少使文本更易读或更美观所需的输入),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

图11是示出根据一些实施方案的根据对用户头部移动的检测和对用户注视的检测来显示涉及内容的一部分的增强内容的方法1100的流程图。在一些实施方案中,方法1100在计算机系统(例如,图1中的计算机系统101)处执行,该计算机系统包括显示生成组件(例如,图1、图3和图4中的显示生成组件120)(例如,平视显示器、显示器、触摸屏、投影仪等)和一个或多个相机(例如,向下指向用户的手部的相机(例如,颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前指向的相机)。在一些实施方案中,方法1100通过存储在非暂态计算机可读存储介质中并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如,图1A中的控制单元110)执行的指令来管理。方法1100中的一些操作任选地被组合,并且/或者一些操作的次序任选地被改变。

在方法1100中,在一些实施方案中,与显示生成组件(例如120)和注视跟踪设备(例如314)通信的电子设备(例如,计算机系统(例如101))(例如,移动设备(例如,平板电脑、智能电话、媒体播放器)、计算机(例如,台式计算机、膝上型计算机)或可穿戴设备(例如,手表、头戴式设备))经由显示生成组件(例如120)显示(1102)包括第一内容的用户界面,该第一内容包括与第一增强内容相关联的第一部分(例如718a)和与第二增强内容相关联的第二部分(例如718b),诸如在图7I中(例如,文本内容。在一些实施方案中,内容项包括文本和/或图像)。

在一些实施方案中,当显示用户界面时,电子设备(例如101)检测(1104)用户头部的移动(例如,用户头部相对于用户身体向前的移动)。

在一些实施方案中,响应于检测到用户头部的移动(1106),根据确定用户的注视(例如716i)指向第一内容的第一部分(例如718a)(例如,注视跟踪设备任选地捕获用户眼睛的一个或多个图像并检测一个或多个所捕获图像中的瞳孔和闪光以跟踪用户的注视,如上文参考图6所详述)并且当用户的注视(例如716i)指向第一内容项的第一部分时用户头部的移动满足第一标准,诸如在图7I中(例如,头部向前的移动(例如,朝向虚拟环境中的相应部分))满足第一标准,电子设备(例如101)将用户界面更新(1108)为包括与第一内容的第一部分(例如718a)相关联的第一增强内容(例如720a),但不将用户界面更新为包括与第一内容的第二部分相关联的第二增强内容,诸如在图7J中(例如,增强内容包括附加文本和/或图像中的一者或多者)。

在一些实施方案中,根据确定在用户的注视(例如716n)指向第一内容项的第二部分(例如718b)时用户头部的移动满足第一标准,电子设备(例如101)将用户界面更新(1110)为包括与第一内容的第二部分(例如718b)相关联的第二增强内容(例如720b),但不将用户界面更新为包括与第一内容的第一部分相关联的第一增强内容,诸如在7K中(例如,响应于检测到在执行满足一个或多个标准的头部移动时用户正在查看第一内容项的相应部分而显示的增强内容是不同的,具体取决于用户正在查看第一内容项的哪个部分)。

在一些实施方案中,根据确定用户头部的移动不满足第一标准,电子设备(例如101)放弃(1112)将用户界面更新为包括第一增强内容并且放弃将用户界面更新为包括第二增强内容。

在一些实施方案中,显示生成组件是与电子设备集成的显示器(任选地,触摸屏显示器)和/或外部显示器(诸如监视器、投影仪、电视等)。在一些实施方案中,注视跟踪设备包括一个或多个相机(例如,IR相机、NIR相机、可见光相机等)。

例如,内容项是文章、消息、电子书或包括文本的其他内容。在一些实施方案中,第一部分是文本内容的第一字词,并且第二部分是文本内容的第二字词。

在一些实施方案中,检测用户正在向前移动其头部包括检测用户在其正在查看的方向上和/或在显示生成组件和/或注视跟踪设备的方向上移动其头部。一个或多个标准任选地还包括基于时间和距离的标准,诸如执行头部移动至少预定时间量、移动头部至少预定距离和/或以预定范围内的速度移动头部。

例如,第一内容项的第一部分是字词,而增强内容是该字词的定义。又如,第一内容项的第一部分是到网站的超链接,而第一增强内容是该网站的预览。又如,增强内容是第一内容项的第一部分的放大版本。例如,第一内容项的第一部分是图像的一部分,而增强内容是完整图像。又如,增强内容与第一内容项的第一部分相同,但以更大尺寸显示。在一些实施方案中,增强内容与第一内容项的补充第一内容项的第一部分相关。增强内容任选地不包括在第一内容项中。在一些实施方案中,响应于检测到用户的注视和头部移动但未从与电子设备通信的另一输入设备接收到附加输入而执行显示增强内容。

在一些实施方案中,增强内容的内容类型取决于用户查看的第一内容项的哪个部分而变化。例如,如果第一内容项的第一部分是字词,则第一增强内容是定义,并且如果第一内容项的第二部分是网站链接,则第二增强内容是该网站的预览,或者如果增强内容的第二部分是图像,则第二增强内容是另一图像。在一些实施方案中,响应于检测到用户的注视和头部移动但未从与电子设备通信的另一输入设备接收到附加输入而执行显示增强内容。

在一些实施方案中,确定用户没有执行满足一个或多个标准的头部移动包括确定用户没有移动其头部或以不满足一个或多个标准的方式移动其头部。例如,如果用户执行错误的头部移动(例如,向右或向左移动或转动而不是向前移动)、在错误的方向上移动(例如,向后移动而不是向前移动)、以不满足上述基于时间或距离的标准的方式移动或在查看内容的相应部分时根本不移动其头部,则电子设备放弃将用户界面更新为包括对应于内容的相应部分的增强内容。

上述响应于用户的注视和头部移动来显示增强内容的方式使电子设备能够仅响应于用户的注视和头部移动来快速地显示与用户正在查看的内容项的部分相关的增强内容,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过减少用户提供请求增强内容的输入所花费的时间并减少增强内容的错误显示),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,诸如图7J中的第一增强内容(例如720a)是第一内容的第一部分(例如718a)的定义、第一内容的第一部分(例如718a)的网站预览或第一内容的第一部分(例如718a)的放大版本中的一者,并且诸如图7K中的第二增强内容(例如720b)是第一内容的第二部分(例如718b)的定义、第一内容的第二部分(例如718b)的网站预览或第一内容的第二部分(例如718b)的放大版本中的一者(1114)。

例如,内容的相应部分是字词,而增强内容是该字词的定义。又如,内容的相应部分是图像(或图像的一部分),而增强内容是该图像的放大版本(或该图像的整体)。又如,内容的相应部分是超链接,而增强内容是该超链接的内容的预览。

上述显示定义、图像或网站预览的方式使电子设备能够在继续显示内容项的同时快速高效地为内容的该部分提供附加上下文,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过减少用户查看与内容项的相应部分相关联的定义、图像或网站预览所花费的时间),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,在显示如图7J所示的第一增强内容(例如720a)或如图7K所示的第二增强内容(例如720b)(1116)之前,在检测用户头部的移动之前,电子设备(例如101)以具有第一值的视觉特性显示(1118)第一内容的第一部分(例如718a)和第一内容的第二部分(例如718b),诸如在图7C中(例如,视觉特性是尺寸、色彩、粗度或突出显示(或缺乏突出显示)中的一者或多者)。

在一些实施方案中,响应于检测到用户头部的移动的至少一部分(1120)(例如,电子设备响应于检测到用户头部的超过阈值时间量、距离或一些其他标准的移动而显示正确内容),根据确定用户的注视(例如716i)指向第一内容的第一部分(例如718a)并且当用户的注视(例如716i)指向第一内容的第一部分(例如718a)时满足一个或多个第二标准,该第二标准包括要求用户头部的移动的至少一部分是朝向满足第一标准的推进的标准,电子设备(例如101)将用户界面更新(1122)为以具有不同于第一值的第二值的视觉特性显示第一内容的第一部分(例如718a),同时以具有第一值的视觉特性保持第一内容的第二部分(例如718b),诸如在图7I中(例如,一个或多个第二标准任选地类似于一个或多个第一标准,但可以满足一个或多个第二标准而不满足一个或多个第一标准)。

在一些实施方案中,用户头部的移动的部分不超过阈值时间或距离,或者不满足用于显示增强内容的其他标准。

例如,当用户将其头部移动预定量(例如,2cm、3cm、4cm等)并继续移动预定时间量(例如1秒)时,满足一个或多个第一标准,而当用户将其头部移动较小量和/或较短时间段时,满足一个或多个第二标准。相比于以具有第一值的视觉特性呈现内容的第一部分,以具有第二值的视觉特性显示内容的第一部分任选地包括以更大尺寸、以突出显示、以附加轮廓或以附加文本样式(例如,粗体、下划线、斜体)显示内容的第一部分。同时,在一些实施方案中,内容项的第二部分任选地继续以与检测用户头部移动之前相同的视觉外观显示。在一些实施方案中,根据确定不满足一个或多个第一标准,电子设备放弃将用户界面更新为以具有第二值的视觉特性显示第一内容的第一部分。

在一些实施方案中,根据确定用户的注视(例如716n)指向第一内容的第二部分(例如718b)并且当用户的注视(例如716n)指向内容的第二部分(例如718b)时满足一个或多个第二标准,电子设备(例如101)将用户界面更新(1124)为以具有第二值的视觉特性显示第一内容的第二部分(例如718b),同时以具有第一值的视觉特性保持第一内容的第一部分(例如718a),诸如在图7K中。

相比于以具有第一值的视觉特性呈现内容的第二部分,以具有第二值的视觉特性显示内容的第二部分任选地包括以更大尺寸、以突出显示、以附加轮廓或以附加文本样式(例如,粗体、下划线、斜体)显示内容的第二部分。同时,在一些实施方案中,内容项的第一部分任选地继续以与检测用户头部移动之前相同的视觉外观显示。在一些实施方案中,根据确定不满足一个或多个第二标准,电子设备放弃将用户界面更新为以具有第二值的视觉特性显示第一内容的第一部分。

上述在执行满足一个或多个第二标准的头部移动的同时更新用户正在查看的内容项的一部分的视觉外观的方式使电子设备能够有效地向用户提供关于在显示增强内容之前选择内容的哪个部分来显示增强内容的反馈,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过使用户能够准确地请求用于内容的期望部分的增强内容),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,一个或多个第二标准包括要求用户查看图7I中所示的第一内容的第一部分(例如718a)或第一内容的第二部分(例如718b)的时间长于时间阈值(例如,0.2秒、0.3秒、0.4秒、0.5秒等)的标准(1126)。

在一些实施方案中,一个或多个第一标准还包括当用户查看内容的相应部分的时间比大于与第二标准相关联的时间阈值的时间阈值长时满足的标准。例如,与第一一个或多个标准相关联的时间阈值任选地为0.5秒、0.6秒、0.7秒、0.8秒、0.9秒或1秒。

上述响应于确定用户已查看内容项的相应部分至少阈值时间量而更新用户正在查看的相应部分的外观的方式使电子设备能够在用户正在查看内容时以一致的方式显示内容且不旨在查看增强内容,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过减少视觉混乱,从而使用户能够更快地查看内容),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,响应于检测到用户头部的移动的至少一部分(1128),根据确定用户头部的移动的至少一部分不是朝向满足第一标准的推进,电子设备(例如101)继续(1130)以具有第一值的视觉特性显示第一内容的第一部分(例如718a)和第一内容的第二部分(例如718b),诸如在图7C中。

在一些实施方案中,如果用户在不同于满足一个或多个第一标准的移动方向的方向上移动其头部,或在满足第一标准的方向上移动其头部的同时执行附加的头部移动,则电子设备放弃更新内容的相应部分的视觉特性。例如,与第一标准相关联的头部移动是相对于用户身体向前的头部移动。在该示例中,头部向后或向左或向右移动而不向前移动不会导致电子设备更新内容项的部分的视觉特性。此外,在该示例中,如果第一标准排除了附加移动,则包括头部向上、向下或向侧面旋转的头部向前移动不会导致电子设备更新内容项的相应部分的显示。在一些实施方案中,即使已满足注视标准的时间阈值,在不满足头部移动标准的情况下,第一内容的第一部分/第二部分不会以更新的视觉特性显示。

上述响应于检测到头部移动不是朝向满足第一标准的推进而更新内容项的相应部分的视觉特性的方式使电子设备能够在用户以不同于与第一标准相关联的移动的方式移动其头部时以较少视觉混乱来显示内容,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过允许用户更快地阅读内容,即使其头部不静止),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,在显示如图7J所示的第一增强内容(例如720a)或如图7K所示的第二增强内容(例如720b)之前,并且在满足一个或多个第二标准时(1132)(例如,用户正在查看第一内容的第一部分或第二部分,并且执行满足一个或多个第二标准但不满足一个或多个第一标准的头部移动),在以具有第二值的视觉特性显示第一内容的第一部分(例如718a)并且以具有第一值的视觉特性显示第一内容的第二部分(例如718b)时,诸如在图7I中,电子设备(例如101)检测(1134)用户的注视(例如716n)从指向第一内容的第一部分(例如718a)变为指向第一内容的第二部分(例如718b),诸如在图7K中(例如,响应于检测到用户正在查看第一内容的第一部分而以具有第二值的视觉特性显示第一内容的第一部分)。

在一些实施方案中,响应于检测到用户的注视(例如716n)从指向第一内容的第一部分(例如718a)变为指向第一内容的第二部分(例如718b)(1136),电子设备(例如101)将用户界面更新(1138)为以具有第一值的视觉特性显示第一内容的第一部分(例如718a)并且以具有第二值的视觉特性显示第一内容的第二部分(例如718b),诸如在图7K中。

同样地,如果用户在满足第二标准时查看内容的第二部分,则电子设备任选地以具有第二值的视觉特性显示内容的第二部分并且以具有第一值的视觉特性显示内容的第一部分。

在一些实施方案中,如果用户在满足一个或多个第二标准时查看内容的第二部分,然后查看内容的第一部分,则响应于用户的注视从内容的第二部分移动到第一部分,电子设备以具有第二值的视觉特性显示内容的第一部分并且以具有第一值的视觉特性显示内容的第二部分。在一些实施方案中,如果电子设备没有检测到用户的注视从指向内容的第一部分变为指向第一内容的第二部分,则电子设备任选地放弃将用户界面更新为以具有第一值的视觉特性显示第一内容的第一部分并且以具有第二值的视觉特性显示第一内容的第二部分。

上述响应于检测到用户注视从内容的第二部分的第一部分的移动而更新内容的第一部分和第二部分的视觉特性的方式使电子设备能够快速有效地向用户提供关于要显示的增强内容将对应于内容的哪一部分以及改变增强内容将对应于内容的哪一部分的能力的反馈,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过减少用户准确选择内容的将显示增强内容的一部分所花费的时间和输入),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,在显示如图7K所示的第二增强内容(例如720b)(例如,与第一内容的第二部分相关联的增强内容)时,以及在以具有第一值的视觉特性显示第一内容的第一部分(例如718a)并且以具有第二值的视觉特性显示第一内容的第二部分(例如718b)时,诸如在图7K中,电子设备(例如101)检测(1140)用户的注视从指向第一内容的第二部分(例如718b)变为指向第一内容的第一部分(例如718a)。

在一些实施方案中,响应于检测到用户的注视从指向第一内容的第二部分(例如718b)移动到指向第一内容的第一部分(例如718a),电子设备(例如101)继续(1142)以具有第一值的视觉特性显示第一内容的第一部分(例如718a)并且以具有第二值的视觉特性显示第一内容的第二部分(例如718b),诸如在图7K中。

在一些实施方案中,一旦显示增强内容,用户的注视从第一内容的一部分到另一部分的移动不改变第一内容的与增强内容相关联的部分。响应于检测到用户的注视从第一内容的第二部分到第一内容的第一部分的移动,任选地继续显示第二增强内容。在一些实施方案中,在显示第二增强内容之前并且在以具有第二值的视觉特性显示内容的第一部分并且以具有第一值的视觉特性显示内容的第二部分时,响应于检测到用户头部的满足标准的移动,电子设备显示对应于第一部分的增强内容。任选地,在显示对应于内容项的第一部分的第一增强内容时,响应于检测到用户正在查看内容项的第二部分,电子设备继续显示第一增强内容,并且以具有第二值的视觉特性显示内容项的第一部分并且以具有第一值的视觉特性显示第二内容项的第二部分。

上述在检测到用户的注视从第一内容的第二部分移动到第一内容的第一部分之后继续以具有第二值的视觉特性显示第一内容的第二部分并且同时显示第二增强内容的方式使电子设备能够避免不必要的用户界面变化(例如,诸如内容项的第一部分和第二部分的视觉特性变化),这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过使用户能够更快地查看增强内容),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,在显示如图7J所示的第一增强内容(例如720a)或如图7K所示的第二增强内容(例如720b)之前,并且在以具有第二值的视觉特性显示第一内容的第一部分(例如718a)时(1144),诸如在图7I中,电子设备(例如101)检测(1146)用户头部的满足一个或多个第三标准的第二移动,第三标准包括要求用户头部的第二移动是远离满足第一标准的推进的标准(例如,用户头部相对于用户身体向前的移动满足第一标准和第二标准,并且用户头部向后的移动(例如,移动到中性位置)满足第三标准)。

在一些实施方案中,响应于检测到用户头部的满足一个或多个第三标准的第二移动,电子设备(例如101)将用户界面更新(1148)为以具有第一值的视觉特性显示第一内容的第一部分(例如718a),如图7C所示。

例如,电子设备响应于检测到用户头部的向前移动而以具有第二值的视觉特性显示第一内容的第一部分,并且电子设备响应于检测到用户头部的向后移动而以具有第一值的视觉特性显示第一内容的第一部分。

上述响应于检测到满足第三标准的头部移动而将用户界面恢复为以第一视觉特性显示第一内容的第一部分的方式提供了响应于用户反向头部移动而退出显示增强内容的快速有效的方式,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过提供一种有效的方式来取消增强内容的显示),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,将用户界面更新为包括如图7J所示的第一增强内容(例如720a)包括以动画方式呈现第一增强内容(例如720a)的显示,其中动画呈现的推进量和/或方向根据朝向满足基于用户头部移动的一个或多个第一标准而推进的量和/或方向来确定(1150)(例如,在一些实施方案中,头部移动至少阈值量满足一个或多个标准)。

在一些实施方案中,将用户界面更新为包括如图7K所示的第二增强内容(例如720b)包括以动画方式呈现第二增强内容(例如720b)的显示,其中动画呈现的推进量和/或方向根据朝向满足基于用户头部移动的一个或多个第一标准而推进的量和/或方向来确定(1152)。

响应于检测到用户将其头部移动小于阈值量的量,电子设备任选地发起正在显示的增强内容的动画呈现的一部分并且任选地随着用户继续将其头部移动得更接近阈值量而继续推进动画呈现。

在一些实施方案中,电子设备以与用户头部移动的进度成比例的速率以动画方式呈现增强内容的显示,而不论用户正在查看的第一内容的哪个部分。

上述以与用户头部移动的进度成比例的速率以动画方式呈现增强内容的显示的方式使电子设备能够向用户提供头部移动将导致完全显示增强内容的有效反馈,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过使用户能够更快地使电子设备显示增强内容或退出呈现增强内容),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,当显示如图7J所示的第一增强内容720a时,电子设备(例如101)经由注视跟踪设备(例如314)检测(1154)用户的注视(例如716l)指向第一增强内容(例如720a)。

在一些实施方案中,在检测到用户的注视(例如716l)指向诸如图7J中的第一增强内容(例如720a)之后,电子设备(例如101)经由注视跟踪设备(例如314)检测(1156)用户的注视不再指向第一增强内容(例如,用户查看用户界面中的不同位置或将目光从用户界面移开)。

在一些实施方案中,响应于检测到用户的注视不再指向第一增强内容(例如720a),电子设备(例如101)停止(1158)显示第一增强内容(例如720a)。

在一些实施方案中,电子设备显示增强内容,直到用户查看增强内容然后将目光移开。例如,如果用户在停止与显示增强内容的应用程序或电子设备交互之前没有查看增强内容,则当用户重新开始与应用程序和/或电子设备交互时仍显示增强内容。然而,如果用户在已经查看增强内容之后发起与其他内容的交互,则电子设备任选地停止显示增强内容(例如,在一些实施方案中,只要满足了用于取消增强标准的其他标准(如果有的话))。在一些实施方案中,如果用户没有查看增强内容并且停止与电子设备的交互,然后在稍后的时间返回,则仍任选地显示增强内容。

上述响应于检测到用户正在查看增强内容然后将目光移开而停止显示增强内容的方式使电子设备能够有效地取消增强内容(但仅在用户已查看增强内容时),这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过减少在与用户界面的不同部分交互之前停止显示增强内容所需的输入),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,在显示如图7J所示的第一增强内容(例如720a)时并且在检测到用户的注视(例如716l)指向第一增强内容(例如720a)之前,电子设备经由注视跟踪设备(例如314)检测(1160)用户的注视指向用户界面中不同于第一增强内容(例如720a)的位置(例如,用户继续查看不是增强内容的第一内容,或者查看用户界面的包括除第一内容或增强内容之外的内容的一部分)。

在一些实施方案中,响应于检测到用户的注视指向用户界面中除第一增强内容(例如720a)之外的位置但用户的注视不指向第一增强内容(例如720a),电子设备(例如101)继续(1162)显示如图7J所示的第一增强内容(例如720a)。

在一些实施方案中,电子设备继续显示增强内容,直到用户查看增强内容然后将目光移开,或者直到满足用于取消增强内容的其他标准。任选地,用于取消增强内容的其他标准也是可能的。在一些实施方案中,仅查看用户界面的除了增强内容之外的位置并不独自满足取消标准,但在此类实施方案中,查看增强内容任选地是要取消增强内容的至少一个要求。

上述在用户将目光从增强内容移开时继续显示增强内容而不查看增强内容的方式避免了错误地取消增强内容,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过减少增强内容被错误地取消时重新显示增强内容所需的输入和时间),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,在显示如图7J所示的第一增强内容(例如720a)时,电子设备(例如101)经由注视跟踪设备(例如314)检测(1164)用户的注视的运动指示用户正在阅读第一内容(例如,电子设备利用注视跟踪设备检测用户眼睛的与阅读一致的移动)。

在一些实施方案中,响应于检测到用户的注视的运动指示用户正在阅读第一内容,电子设备(例如101)停止(1166)显示第一增强内容(例如720a)。

在一些实施方案中,电子设备在用户已查看增强内容之前检测第一内容的阅读;但在一些实施方案中,在用户已查看增强内容之后检测阅读。

在一些实施方案中,电子设备响应于检测到用户正在阅读第一内容而停止显示增强内容;并且在一些实施方案中,即使用户没有查看增强内容,而在其他实施方案中,电子设备仍然要求用户在可取消增强内容之前已查看增强内容。在一些实施方案中,如果用户仅查看第一内容而不阅读第一内容,则电子设备继续显示增强内容。因此,在一些实施方案中,要求阅读第一内容以消除增强内容。

上述响应于检测到用户阅读第一内容而停止显示增强内容的方式使电子设备能够在用户阅读第一内容时有效地取消增强内容以减少视觉混乱,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过减少停止显示增强内容以聚焦于第一内容所需的输入),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,在显示如图7J所示的第一增强内容(例如720a)时,电子设备(例如101)检测(1168)指向用户界面的除了第一增强内容(例如720a)之外的区域的输入(例如,用户阅读显示在除了第一增强内容之外的区域中的内容或执行不同的输入,诸如在诸如方法1000中所述的向后导航输入)。

在一些实施方案中,响应于检测到输入,电子设备(例如101)发起(1170)第一增强内容(例如720a)的停止显示的动画呈现(例如,增强内容开始淡入和/或收缩和/或离开显示区域)。

在一些实施方案中,在以动画方式呈现第一增强内容(例如720a)的停止显示的同时,但在停止显示第一增强内容(例如720a)之前(1172),根据确定用户的注视(例如716l)指向图7J所示的第一增强内容(例如720a),电子设备(例如101)停止(1174)动画呈现并且将第一增强内容(例如720a)的显示恢复到图7J所示的第一增强内容(例如720a)的初始状态(例如,响应于检测到用户正在查看增强内容,电子设备任选地恢复增强内容的显示)。

在一些实施方案中,根据确定用户的注视指向第一增强内容(例如720a),电子设备(例如101)继续(1176)第一增强内容(例如720a)的停止显示的动画呈现(例如,直到停止显示第一增强内容)。

上述响应于检测到用户正在查看增强内容而结束停止显示增强内容的动画呈现的方式使电子设备能够在用户希望查看增强内容的情况下快速有效地继续显示增强内容并且在用户不希望查看增强内容的情况下取消增强内容,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过提供一种有效的方式来取消增强内容并防止意外取消增强内容),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,在显示如图7J所示的第一增强内容(例如720a)时,电子设备(例如101)经由注视跟踪设备(例如314)确定(1178)用户眼睛的满足一个或多个第二标准(例如,眨眼的持续时间超过与潜意识眨眼一致的阈值时间量)的眨眼。例如,用户的眼睛保持闭上至少0.5秒、0.6秒、0.7秒、0.8秒、0.9秒或1秒。

在一些实施方案中,响应于确定用户眼睛的眨眼满足一个或多个第二标准,电子设备(例如101)停止(1180)显示第一增强内容(例如720a)。在一些实施方案中,如果眨眼不满足一个或多个标准(例如,用户眼睛闭上短于预定阈值的持续时间),则继续显示增强内容。

上述响应于满足一个或多个标准的眨眼而停止显示增强内容的方式使电子设备能够为用户提供使电子设备停止显示增强内容的有效方式,这简化了用户与电子设备之间的交互,增强了电子设备的可操作性,并且使得用户-设备接口更有效(例如,通过减少用户取消增强内容所花费的时间),这还通过使用户能够更快速更有效地使用电子设备而减少功率使用并延长电子设备的电池寿命。

在一些实施方案中,方法800、900、1000和1100的各方面/操作可在这些方法之间互换、替换和/或添加。为了简明起见,此处不再重复这些细节。

出于解释的目的,前面的描述是通过参考具体实施方案来描述的。然而,上面的例示性论述并非旨在是穷尽的或将本发明限制为所公开的精确形式。根据以上教导内容,很多修改形式和变型形式都是可能的。选择和描述实施方案是为了最佳地阐明本发明的原理及其实际应用,以便由此使得本领域的其他技术人员能够最佳地使用具有适合于所构想的特定用途的各种修改的本发明以及各种所描述的实施方案。

相关技术
  • 对用户界面分级结构导航的设备、方法和图形用户界面
  • 用于针对激活状态提供反馈的设备、方法和图形用户界面
  • 一种用于确定目标对象的导航路线信息的方法与设备
  • 用于动态导航调整的方法和设备
  • 一种用于停车场的导航方法、装置及终端设备
  • 用于基于注视的导航的设备、方法和图形用户界面
  • 用于导航媒体内容的设备、方法和图形用户界面
技术分类

06120115582063