改变与计算机生成的内容的显示相关联的锁定模式
文献发布时间:2024-04-18 19:58:26
技术领域
本公开涉及显示计算机生成的内容,并且具体涉及根据锁定模式来显示计算机生成的内容。
背景技术
在各种情况下,设备根据特定锁定模式来显示计算机生成的内容。例如,在扩展现实(XR)环境中,设备可显示锚定到物理环境的物理锚定点的计算机生成的内容。然而,维持特定锁定模式而不管设备的位置改变可能以各种方式负面地影响用户体验。
发明内容
根据一些具体实施,在具有一个或多个处理器、非暂态存储器和显示器的电子设备处执行一种方法。该方法包括:在根据第一锁定模式在显示器上显示计算机生成的内容时,确定电子设备从到物理表面的第一距离改变为距物理表面的第二距离。该方法包括:根据第二距离满足锁定模式改变标准的确定,将计算机生成的内容的显示从第一锁定模式改变为第二锁定模式。该方法包括:根据第二距离不满足锁定模式改变标准的确定,维持根据第一锁定模式显示计算机生成的内容。
根据一些具体实施,一种电子设备包括一个或多个处理器、非暂态存储器和显示器。一个或多个程序被存储于非暂态存储器中并且被配置为由一个或多个处理器执行。该一个或多个程序包括用于执行或促使执行本文描述的任何方法的操作的指令。根据一些具体实施,一种非暂态计算机可读存储介质中存储有指令,当由电子设备的一个或多个处理器执行时,这些指令使得该设备执行或导致执行本文所述方法中的任一种方法的操作。根据一些具体实施,一种电子设备包括用于执行或导致执行本文所述的方法中的任一种方法的操作的装置。根据一些具体实施,一种用于在电子设备中使用的信息处理装置包括用于执行或导致执行本文所述方法中的任一种方法的操作的装置。
附图说明
为了更好地理解各种所述具体实施,应结合以下附图参考下面的具体实施方式,其中类似的附图标号在所有附图中指示对应的部分。
图1是根据一些具体实施的便携式多功能设备的示例的框图。
图2A-图2N是根据一些具体实施的改变与计算机生成的内容的显示相关联的锁定模式的示例。
图3是根据一些具体实施的指示锁定模式可如何改变的锁定模式改变表的示例。
图4是根据一些具体实施的改变与计算机生成的内容的显示相关联的锁定模式的方法的流程图的示例。
具体实施方式
在各种情况下,设备根据特定锁定模式来显示计算机生成的内容。例如,该设备可将计算机生成的内容锁定到AR环境或混合现实(MR)环境中的物理环境的一部分。计算机生成的内容可被世界锁定到物理环境的物理表面,诸如物理壁或物理桌子的表面。然而,维持特定锁定模式而不管设备的位置改变可能负面地影响用户体验。例如,基于设备的位置改变,物理环境的一部分遮挡计算机生成的内容的至少一部分。作为另一示例,基于设备的位置改变,设备可不再准确地或有效地确定相对于计算机生成的内容的用户参与。
相比之下,各种具体实施包括基于电子设备的位置改变而改变与计算机生成的内容的显示相关联的锁定模式的方法、电子设备和系统。为此,电子设备包括根据不同锁定模式来显示计算机生成的内容的显示器。例如,当电子设备与物理表面相距第一距离时,电子设备根据第一锁定模式显示计算机生成的内容。电子设备确定该电子设备诸如经由位置传感器数据(例如,来自IMU)或经由计算机视觉将第一距离改变为距物理表面的第二距离。电子设备进一步确定第二距离是否满足锁定模式改变标准。例如,锁定模式改变标准对应于当第二距离小于第一阈值(例如,设备移动得离物理壁太近)时满足的遮挡标准。作为另一示例,锁定模式改变标准对应于当第二距离大于比第一阈值更大的第二阈值(例如,设备移动得离物理壁太远)时满足的遥远度标准。
基于确定锁定模式改变标准的满足,电子设备将计算机生成的内容的显示从第一锁定模式改变为第二锁定模式。例如,基于遮挡标准的满足,电子设备将计算机生成的内容的显示从对象锁定模式(例如,锁定到设备的显示器)改变为世界锁定到物理表面。从对象锁定模式改变为世界锁定模式可防止或停止物理表面遮挡计算机生成的内容。作为另一示例,基于遥远度标准的满足,电子设备将计算机生成的内容的显示从世界锁定模式(例如,世界锁定到物理表面)改变为对象锁定模式,从而实现跟踪相对于计算机生成的内容的后续用户参与的更高准确性。
现在将详细地参考具体实施,这些具体实施的实施例在附图中示出。下面的详细描述中示出许多具体细节,以便提供对各种所描述的具体实施的充分理解。但是,对本领域的普通技术人员将显而易见的是,各种所描述的具体实施可以在没有这些具体细节的情况下被实践。在其他情况下,没有详细地描述众所周知的方法、过程、部件、电路和网络,从而不会不必要地使具体实施的各个方面晦涩难懂。
还将理解的是,虽然在一些情况下,术语“第一”、“第二”等在本文中用于描述各种元件,但是这些元件不应受到这些术语限制。这些术语只是用于将一个元件与另一元件区分开。例如,第一接触可被命名为第二接触,并且类似地,第二接触可被命名为第一接触,而不脱离各种所描述的具体实施的范围。第一接触和第二接触均为接触,但它们不是同一个接触,除非上下文另外明确指示。
在本文中对各种所述具体实施的描述中所使用的术语只是为了描述特定具体实施的目的,而并非旨在进行限制。如在对各种所述具体实施的描述中和所附权利要求书中所使用的那样,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文另外明确地指示。还将理解的是,本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是,术语“包括”(“includes”、“including”、“comprises”和/或“comprising”)在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其分组。
如本文中所使用,根据上下文,术语“如果”任选地被解释为意指“当……时”或“在……时”或“响应于确定”或“响应于检测到”。类似地,根据上下文,短语“如果确定……”或“如果检测到[所陈述的条件或事件]”任选地被解释为意指“在确定……时”或“响应于确定……”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。
图1是根据一些具体实施的便携式多功能设备100(为了简洁起见,在本文中有时也称为“电子设备100”)的示例的框图。电子设备100包括存储器102(其任选地包括一个或多个计算机可读存储介质)、存储器控制器122、一个或多个处理单元(CPU)120、外围设备接口118、输入/输出(I/O)子系统106、扬声器111、显示系统112、惯性测量单元(IMU)130、图像传感器143(例如,相机)、接触强度传感器165、音频传感器113(例如麦克风)、眼睛跟踪传感器164(例如,包括在头戴式设备(HMD)内)、肢体跟踪传感器150以及其他输入或控制设备116。在一些具体实施中,电子设备100对应于移动电话、平板计算机、膝上型计算机、可穿戴计算设备、头戴式设备(HMD)、头戴式壳体(例如,电子设备100滑动到或以其他方式附接到头戴式壳体)等中的一种。在一些具体实施中,头戴式壳体被成形为形成用于接收具有显示器的电子设备100的接收器。
在一些具体实施中,外围设备接口118、一个或多个处理单元120和存储器控制器122任选地在单个芯片诸如芯片103上实现。在一些其他具体实施中,它们任选地在独立的芯片上实现。
I/O子系统106将电子设备100上的输入/输出外围设备诸如显示系统112和其他输入或控制设备116与外围设备接口118耦接。I/O子系统106任选地包括显示控制器156、图像传感器控制器158、强度传感器控制器159、音频控制器157、眼睛跟踪控制器160、用于其他输入或控制设备的一个或多个输入控制器152、IMU控制器132、肢体跟踪控制器180和隐私子系统170。一个或多个输入控制器152从其他输入或控制设备116接收电信号/将电信号发送到该其他输入或控制设备。其他输入控制设备116任选地包括物理按钮(例如,下压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击轮等。在一些另选的具体实施中,一个或多个输入控制器152任选地与以下各项中的任一者耦接(或不与以下各项中的任一者耦接):键盘、红外线端口、通用串行总线(USB)端口、触笔、配对输入设备和/或指针设备诸如鼠标。一个或多个按钮任选地包括用于扬声器111和/或音频传感器113的音量控制的增大/减小按钮。一个或多个按钮任选地包括下压按钮。在一些具体实施中,其他输入或控制设备116包括获得关于电子设备100相对于特定对象的位置和/或定向的信息的定位系统(例如,GPS)。在一些具体实施中,其他输入或控制设备116包括获取表征特定对象的深度信息的深度传感器和/或飞行时间传感器。
显示系统112提供电子设备100与用户之间的输入接口和输出接口。显示控制器156从显示系统112接收电信号和/或将电信号发送至该显示系统。显示系统112向用户显示视觉输出。视觉输出任选地包括图形、文本、图标、视频以及它们的任何组合(统称为“图形”)。在一些具体实施中,一些视觉输出或全部视觉输出对应于用户界面对象。如本文所用,术语“示能表示”是指用户交互式图形用户界面对象(例如,被配置为对被引向图形用户界面对象的输入进行响应的图形用户界面对象)。用户交互式图形用户界面对象的示例包括但不限于按钮、滑块、图标、可选择菜单项、开关、超链接或其他用户界面控件。
显示系统112可具有基于触觉和/或触感接触来接受来自用户的输入的触敏表面、传感器、或传感器组。显示系统112和显示控制器156(与存储器102中的任何相关联的模块和/或指令集一起)检测显示系统112上的接触(和该接触的任何移动或中断),并且将检测到的接触转换为与被显示在显示系统112上的用户界面对象(例如,一个或多个软按键、图标、网页或图像)的交互。在示例性具体实施中,显示系统112与用户之间的接触点对应于用户的手指或配对输入设备。
在一些具体实施中,显示系统112对应于集成在头戴式设备(HMD)(诸如,AR眼镜)中的显示器。例如,显示系统112包括立体显示器(例如,立体对显示器),该立体显示器为佩戴HMD的用户的眼睛提供(例如,模拟)立体感视觉。
显示系统112任选地使用LCD(液晶显示器)技术、LPD(发光聚合物显示器)技术或LED(发光二极管)技术,但是在其他具体实施中使用其他显示技术。显示系统112和显示控制器156任选地使用现在已知的或以后将开发出的多种触摸感测技术中的任何技术以及其他接近传感器阵列或用于确定与显示系统112接触的一个或多个点的其他元件来检测接触及其任何移动或中断,该多种触摸感测技术包括但不限于电容性技术、电阻性技术、红外线技术和表面声波技术。
用户任选地使用任何合适的物体或附加物(诸如触笔、配对输入设备、手指等)来与显示系统112接触。在一些具体实施中,将用户界面设计成与基于手指的接触和手势一起工作,由于手指在触摸屏上的接触区域较大,因此这可能不如基于触笔的输入精确。在一些具体实施中,电子设备100将基于手指的粗略输入转化为精确的指针/光标位置或命令以用于执行用户所期望的动作。
扬声器111和音频传感器113提供用户与电子设备100之间的音频接口。音频电路从外围设备接口118接收音频数据,将音频数据转换为电信号,并且将电信号传输到扬声器111。扬声器111将电信号转换为人类可听到的声波。音频电路还接收由音频传感器113(例如,麦克风)从声波转换的电信号。音频电路将电信号转换为音频数据,并且将音频数据传输到外围设备接口118以用于处理。音频数据任选地由外围设备接口118检索自和/或传输到存储器102和/或RF电路。在一些具体实施中,音频电路还包括耳麦插孔。该耳麦插孔提供音频电路与可移除的音频输入/输出外围设备之间的接口,该可移除的音频输入/输出外围设备为诸如仅输出的耳机或者具有输出(例如,单耳耳机或双耳耳机)和输入(例如,麦克风)两者的耳麦。
惯性测量单元(IMU)130包括加速度计、陀螺仪和/或磁力仪,以便测量相对于电子设备100的各种力、角速率和/或磁场信息。因此,根据各种具体实施,IMU 130检测电子设备100的一个或多个位置改变输入,诸如电子设备100被摇动、旋转、沿特定方向移动等。
图像传感器143捕获静态图像和/或视频。在一些具体实施中,图像传感器143位于电子设备100的背面上,与电子设备100正面上的触摸屏相背对,使得触摸屏能够用作用于静态图像和/或视频图像采集的取景器。在一些具体实施中,另一图像传感器143位于电子设备100的正面上,使得获取该用户的图像(例如,用于自拍、用于当用户在触摸屏上观看其他视频会议参与者时进行视频会议等等)。在一些具体实施中,图像传感器集成在HMD内。
接触强度传感器165检测电子设备100上的接触的强度(例如,电子设备100的触敏表面上的触摸输入)。接触强度传感器165与I/O子系统106中的强度传感器控制器159耦接。接触强度传感器165任选地包括一个或多个压阻应变仪、电容式力传感器、电气力传感器、压电力传感器、光学力传感器、电容式触敏表面或其他强度传感器(例如,用于测量触敏表面上的接触的力(或压力)的传感器)。接触强度传感器165从物理环境接收接触强度信息(例如,压力信息或压力信息的代用物)。在一些具体实施中,至少一个接触强度传感器165与电子设备100的触敏表面并置排列或邻近。在一些具体实施中,至少一个接触强度传感器165位于电子设备100的侧面上。
眼睛跟踪传感器164检测电子设备100的用户的眼睛注视,并且生成指示用户的眼睛注视的眼睛跟踪数据。在各种具体实施中,眼睛跟踪数据包括指示用户在显示面板上的固定点(例如,关注点)的数据,该显示面板为诸如头戴式设备(HMD)、头戴式壳体或平视显示器内的显示面板。
肢体跟踪传感器150获取指示用户的肢体位置的肢体跟踪数据。例如,在一些具体实施中,肢体跟踪传感器150对应于获得指示特定对象内用户的手或手指的位置的手部跟踪数据的手部跟踪传感器。在一些具体实施中,肢体跟踪传感器150利用计算机视觉技术以基于相机图像来估计肢体的姿态。
在各种具体实施中,电子设备100包括隐私子系统170,该隐私子系统包括与用户信息相关联的一个或多个隐私设置滤波器,诸如包括在与用户相关联的肢体跟踪数据、眼睛注视数据和/或身体位置数据中的用户信息。在一些具体实施中,隐私子系统170选择性地防止和/或限制电子设备100或其部分获取和/或传输用户信息。为此,隐私子系统170响应于提示用户进行用户偏好和/或选择来从用户接收用户偏好和/或选择。在一些具体实施中,隐私子系统170防止电子设备100获取和/或传输用户信息,除非并且直到隐私子系统170从用户获取到知情同意。在一些具体实施中,隐私子系统170匿名化(例如,加扰或模糊)某些类型的用户信息。例如,隐私子系统170接收指定隐私子系统170匿名化哪些类型的用户信息的用户输入。作为另一示例,隐私子系统170独立于用户指定(例如,自动地)匿名化可能包括敏感和/或识别信息的某些类型的用户信息。
图2A-图2N是根据一些具体实施的改变与计算机生成的内容的显示相关联的锁定模式的示例。参考图2A,用户50在操作环境200内持有电子设备210。操作环境200包括第一物理壁202和第二物理壁204。电子设备210与第一物理壁202相距第一距离(D1)216。在一些具体实施中,电子设备210对应于移动设备(诸如智能电话、平板计算机等)。
电子设备210包括与可视区214相关联的显示器212。可视区214包括第一物理壁202和第二物理壁204的相应部分。为此,在一些具体实施中,电子设备210包括具有接近可视区214的视场的图像传感器,并且图像传感器捕获第一物理壁202和第二物理壁204的相应部分的图像数据。电子设备210可在显示器212上显示图像数据,并且可将图像数据与计算机生成的内容合成以供在显示器212上显示。因此,操作环境200可对应于XR环境。
在一些具体实施中,电子设备210对应于头戴式设备(HMD),该HMD包括一对立体集成显示器(例如,内置显示器)。在一些具体实施中,电子设备210包括头戴式壳体。在各种具体实施中,头戴式壳体包括附接区,具有显示器的另一设备可附接到该附接区。在各种具体实施中,头戴式壳体被成形为形成用于接收包括显示器的另一设备(例如,电子设备210)的接收器。例如,在一些具体实施中,电子设备210滑动/卡扣到头戴式壳体中或以其他方式附接到该头戴式壳体。在一些具体实施中,附接到头戴式壳体的设备的显示器呈现(例如,显示)第一物理壁202和第二物理壁204的相应表示。
根据本文所公开的各种具体实施,电子设备210跨不同锁定模式显示计算机生成的内容。例如,如图2B所示,电子设备210根据头部锁定显示模式显示绘图应用程序用户界面(UI)220。当处于头部锁定模式时,不管电子设备210的取向或位置改变,电子设备210在显示器212上的固定位置处显示绘图应用程序UI 220。例如,电子设备210在距电子设备210的第一深度222处显示绘图应用程序UI 220,并且维持第一深度222而不管电子设备210的位置改变。换句话讲,第一深度222可被表征为固定深度。类似地,电子设备210可以相对于电子设备210的第一取向显示绘图应用程序UI 220,并且维持第一取向而不管电子设备210的取向改变。
如图2C所示,用户50在持有电子设备210时开始朝向第一物理壁202的第一移动,如由第一移动线224指示。如图2C进一步所示,第一阈值线226是距第一物理壁202的第一阈值距离227。如下文将描述,电子设备210越过第一阈值线226可导致与绘图应用程序UI 220的显示相关联的锁定模式改变。在一些具体实施中,第一阈值距离227可等于第一深度222。在这些具体实施中,响应于比第一阈值距离227更近的移动,计算机生成的内容(例如,绘图应用程序UI 220)可表现为与第一物理壁202碰撞并且保持固定到该第一物理壁。在其他具体实施中,其他距离可用于第一阈值距离227。
如图2D所示,用户50和电子设备210移动得更靠近第一物理壁202,从第一距离(D1)216到距第一物理壁202的第二距离(D2)228。第二距离(D2)228大于阈值距离227,并且因此电子设备210尚未越过第一阈值线226。
根据本文所公开的各种具体实施,电子设备210确定物理表面与电子设备210之间的距离是否满足锁定模式改变标准。基于确定锁定模式改变标准的满足,电子设备210改变与计算机生成的内容的显示相关联的锁定模式。在一些具体实施中,锁定模式改变标准对应于当距物理表面的距离小于第一阈值时满足的遮挡标准。基于确定满足遮挡标准,电子设备210将计算机生成的内容的显示从第一锁定模式改变为第二锁定模式,以便防止物理表面遮挡计算机生成的内容的至少一部分。第一阈值可基于第一阈值距离227。例如,返回参考图2D,由于第二距离(D2)228不小于第一阈值距离227,因此电子设备210确定第二距离(D2)228不满足遮挡标准。
响应于确定第二距离(D2)228不满足遮挡标准,电子设备210根据头部锁定模式维持绘图应用程序UI 220的显示。由于根据头部锁定模式显示绘图应用程序UI 220,因此电子设备210在距电子设备210的第一深度222处维持绘图应用程序UI 220,如图2D所示。
如图2E所示,用户50和电子设备210移动得甚至更靠近第一物理壁202并且越过第一阈值线226。基于位置改变,电子设备210是距第一物理壁202的第三距离(D3)230,其中第三距离(D3)230小于第二距离(D2)228。在一些具体实施中,由于第三距离(D3)230小于第一阈值距离227,因此电子设备210确定第三距离(D3)230满足遮挡标准。响应于确定第三距离(D3)230满足遮挡标准,电子设备210发起与绘图应用程序UI 220的显示相关联的锁定模式改变。
例如,如图2F所示,锁定模式改变包括从头部锁定模式到世界锁定模式的改变,其中绘图应用程序UI 220被世界锁定到第一物理壁202的物理锚定点232。电子设备210可基于来自用户50的输入(例如,凝视输入或肢体输入)或独立于来自用户50的输入(例如,将物理锚定点232设定为与绘图应用程序UI 220的左上角对准)来设定物理锚定点232。在根据世界锁定模式显示绘图应用程序UI 220时,电子设备210将绘图应用程序UI 220锚定到物理锚定点232,而不管电子设备210的位置改变。
改变为世界锁定模式防止或停止第一物理壁202遮挡绘图应用程序UI 220的至少一部分。如果绘图应用程序UI 220保持在头部锁定模式中,则在距电子设备210的固定深度处可能已经发生遮挡。例如,如图2G所示,用户50完成第一移动,从而将电子设备210移动得更靠近第一物理壁202。基于位置改变,电子设备210是距第一物理壁202的第四距离(D4)234,其中第四距离(D4)234小于第三距离(D3)230。由于电子设备210在世界锁定模式中将绘图应用程序UI 220锚定到物理锚定点232,因此绘图应用程序UI 220从距电子设备210的第一深度222改变为更小的第二深度236。然而,如果绘图应用程序UI 220保持在头部锁定模式中,则绘图应用程序UI 222将保持在距电子设备210的第一深度222处,该第一深度大于第四距离(D4)234。因此,第一物理壁202将遮挡绘图应用程序UI 220,从而降低用户体验。相反,将绘图应用程序UI 220的显示从头部锁定模式改变为世界锁定模式防止第一物理壁202遮挡绘图应用程序UI 220。
如图2H所示,用户50在持有电子设备210时开始远离第一物理壁202的第二移动,如由第二移动线238指示。如图2H进一步所示,第二阈值线240是距第一物理壁202的第二阈值距离241。第二阈值距离241大于第一阈值距离227。如下文将描述,电子设备210越过第二阈值线240可导致与绘图应用程序UI 220的显示相关联的锁定模式改变。在其他具体实施中,诸如当电子设备210移动得更靠近第一物理壁202时(例如,第四距离(D4)234小于第一阈值距离227),第二阈值距离241可等于第一阈值距离227或可小于第一阈值距离227。
如图2I所示,用户50和电子设备210远离第一物理壁202移动,但是尚未越过第二阈值线240。基于位置改变,电子设备210是距第一物理壁202的第五距离(D5)242,其中第五距离(D5)242大于第四距离(D4)234。
在一些具体实施中,锁定模式改变标准对应于当电子设备210与物理表面之间的距离大于第二阈值时满足的遥远度标准。在一些具体实施中,物理表面是计算机生成的内容(例如,绘图应用程序UI 220)被锚定到的相同物理表面。然而,由于第五距离(D5)242小于第二阈值距离241,因此电子设备210确定不满足遥远度标准。因此,电子设备210将绘图应用程序UI 220维持为世界锁定到物理锚定点232,如图2I所示。由于绘图应用程序UI 220保持世界锁定到物理锚定点232,因此绘图应用程序UI 220导致从第二深度236到距电子设备210更大的第三深度244的改变。
如图2J所示,用户50和电子设备210远离第一物理壁202移动得更远,并且越过第二阈值线240。因此,电子设备210从距第一物理壁202的第五距离(D5)242改变为更大的第六距离(D6)246。此外,绘图应用程序UI 220从第三深度244改变为更大的第四深度248。由于第六距离(D6)246大于第二阈值距离241(例如,电子设备210越过第二阈值线240),因此电子设备210确定满足遥远度标准。换句话讲,电子设备210确定电子设备210相对于第一物理壁202足够远。因此,如图2K所示,电子设备210将绘图应用程序UI 220从世界锁定模式改变为对象锁定模式,其中绘图应用程序UI 220从第四深度248改变为更小的第五深度250。在一些具体实施中,计算机生成的内容(例如,绘图应用程序UI 220)可使用等于第二阈值距离241的第五深度250在对象锁定模式中显示。在这些具体实施中,计算机生成的内容可表现为响应于超过第二阈值距离241的移动而远离物理表面被拉动。在一些具体实施中,绘图应用程序UI 220的XY位置在从世界锁定模式到对象锁定模式的转变中改变。例如,如图2J所示,绘图应用程序UI 220从可视区214的中心向右偏移,而在图2K中,绘图应用程序UI220更接近可视区214的中心。然而,在一些具体实施中,电子设备210将XY位置维持在从世界锁定模式到对象锁定模式的转变中。
对象锁定模式可对应于显示器锁定模式(例如,头部锁定模式),其中电子设备210将绘图应用程序UI 220维持在相对于显示器212的固定深度和取向。例如,如图2K和图2L所示,用户50和电子设备210远离第一物理壁202移动得更远(到第七距离(D7)252),并且电子设备210将绘图应用程序UI 220维持在距电子设备210的第五深度250。
从世界锁定模式改变为对象锁定模式防止与相对于绘图应用程序UI 220的用户参与相关联的过量误差水平。例如,在绘图应用程序UI 220被世界锁定到第一物理壁202时,随着电子设备210远离第一物理壁202移动,电子设备210与绘图应用程序UI 220之间的距离对应地增加。随着距离增加,电子设备210可不太准确地确定相对于绘图应用程序UI220的用户参与。作为一个示例,执行用户50的眼睛跟踪或用户50的肢体跟踪以便在绘图应用程序UI 220内绘制标记随着距离增加而变得不太可靠。因此,所绘制的标记可能与用户50的意图不匹配。将绘图应用程序UI 220改变为对象锁定模式(例如,具有距显示器212更小的深度)实现用户参与的更准确的确定。例如,如图2M所示,在绘图应用程序UI 220处于对象锁定模式时,电子设备210准确地检测绘图输入254(例如,用户50的手指在对应于绘图应用程序UI 220的画布的位置处的空间中向右移动)。因此,如图2N所示,电子设备210在显示器212上显示对应于绘图输入254的绘图标记256。
图3是根据一些具体实施的指示锁定模式可如何改变的锁定模式改变表300的示例。锁定模式改变表300的第一列指示六种移动类型(302-312)。每种移动类型是从距物理表面的起始距离(DS)到距物理表面的结束距离(DF)。例如,参考图2A-图2N,物理表面对应于第一物理壁202。
如锁定模式改变表300的第二列中指示,第一移动类型302对应于DS大于第一阈值距离(DT1),并且DF小于或等于DT1。例如,参考图2D和图2E,电子设备210从大于第一阈值距离227的第二距离(D2)228移动到小于第一阈值距离227的第三距离(D3)230。因此,如图2F所示以及如锁定模式改变表300的第三列中指示,电子设备210将绘图应用程序UI 220从对象锁定模式改变为世界锁定模式。在世界锁定模式中,绘图应用程序UI 220被世界锁定到第一物理壁202。
如锁定模式改变表300的第二列中指示,第二移动类型304对应于DS和DF中的每一者小于DT1。例如,参考图2F和图2G,电子设备210从小于第一阈值距离227的第三距离(D3)230移动到也小于第一阈值距离227的第四距离(D4)234。因此,如图2G所示以及如锁定模式改变表300的第三列中指示,电子设备210将绘图应用程序UI 220维持在世界锁定模式中。
如锁定模式改变表300的第二列中指示,第三移动类型306对应于DS小于DT1,并且DF大于或等于DT1但小于第二阈值距离(DT2)。在一些具体实施中,DT2大于DT1。在其他具体实施中,DT2等于DT1。在又其他具体实施中,DT2大于DT1。例如,参考图2H和图2I,电子设备210从小于第一阈值距离227的第四距离(D4)234移动到大于第一阈值距离227但小于第二阈值距离241的第五距离(D5)242。因此,如图2I所示以及如锁定模式改变表300的第三列中指示,电子设备210将绘图应用程序UI 220维持在世界锁定模式中。
如锁定模式改变表300的第二列中指示,第四移动类型308对应于DS和DF中的每一者大于DT1但小于DT2。例如,参考图2I,电子设备210从第五距离(D5)242移动到距第一物理壁202大于第五距离(D5)242但小于第二阈值距离241(例如,不越过第二阈值线240)的距离。因此,如锁定模式改变表300的第三列中指示,电子设备210将绘图应用程序UI 220维持在世界锁定模式中。
如锁定模式改变表300的第二列中指示,第五移动类型310对应于DS大于DT1但小于DT2,并且DF大于或等于DT2。例如,参考图2I和图2J,电子设备210从小于第二阈值距离241的第五距离(D5)242移动到大于第二阈值距离241的第六距离(D6)246。因此,如图2K所示以及如锁定模式改变表300的第三列中指示,电子设备210将绘图应用程序UI 220从世界锁定模式改变为对象锁定模式。
如锁定模式改变表300的第二列中指示,第六移动类型312对应于DS大于DT2,并且DF小于或等于DT2但大于DT1。例如,参考图2L,电子设备210从第七距离(D7)252移动到距第一物理壁202小于第二阈值距离241但大于第一阈值距离227的距离。因此,如锁定模式改变表300的第三列中指示,电子设备210将绘图应用程序UI 220维持在对象锁定模式中。
图4是根据一些具体实施的改变与计算机生成的内容的显示相关联的锁定模式的方法400的流程图的示例。在各种具体实施中,方法400或其部分由包括显示器的电子设备(例如,图1中的电子设备100、图2A-图2N中的电子设备210)执行。在各种具体实施中,方法400或其部分由头戴式设备(HMD)执行。在一些具体实施中,方法400由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中,方法400由执行存储在非暂态计算机可读介质(例如,存储器)中的代码的处理器执行。在各种具体实施中,方法400中的一些操作任选地被组合,并且/或者一些操作的次序任选地被改变。
如框402所表示,方法400包括根据第一锁定模式在显示器上显示计算机生成的内容。例如,计算机生成的内容是二维(2D)内容,诸如用户界面(UI)或可选择的示能表示。作为另一示例,计算机生成的内容是三维(3D)内容,诸如虚拟篮球。
在一些具体实施中,第一锁定模式可对应于其中计算机生成的内容被锁定到对象的对象锁定模式。对象锁定模式的示例包括身体锁定模式或显示锁定模式(例如,头部锁定模式)。例如,在头部锁定模式中,计算机生成的内容保持在相对于电子设备的固定深度(Z)和相对于电子设备的固定XY位置,而不管电子设备的位置或取向改变。作为另一示例,在身体锁定模式中,计算机生成的内容保持在相对于电子设备的固定深度(Z),但相对于电子设备的XY位置基于电子设备的位置改变而改变。作为又一示例,参考图2B-图2D,电子设备210将绘图应用程序UI 220显示为显示锁定到显示器212。因此,尽管电子设备210的移动,但绘图应用程序UI 220仍相对于电子设备210以固定深度222(例如,固定Z值)和固定取向(例如,固定X值和固定Y值)显示。
另一方面,在身体锁定模式中,基于电子设备的位置改变,电子设备可改变计算机生成的内容相对于电子设备的取向,但将计算机生成的内容维持在距电子设备固定深度(例如,固定z值)。例如,当电子设备在显示器的右边缘附近显示计算机生成的内容时,电子设备向右旋转。基于向右旋转,电子设备将计算机生成的内容远离右边缘向显示器的中心移动。继续该示例,基于后续平移移动(例如,电子设备朝向物理壁向前移动),电子设备使计算机生成的内容保持在距电子设备的固定深度,靠近显示器的中心(由先前向右旋转引起)。在一些具体实施中,可显示计算机生成的内容,使得其持久地出现在相对于用户或电子设备的某一方向上。
在一些具体实施中,第一锁定模式可对应于世界锁定模式。在世界锁定模式中,计算机生成的内容被锁定到物理环境的点或部分(例如,2D部分或3D部分)。作为一个示例,参考图2F-图2I,电子设备210将绘图应用程序UI 220显示为世界锁定到第一物理壁202的物理锚定点232。为此,在一些具体实施中,电子设备基于来自用户的输入或自动地设定物理锚定点(例如,设定到显示器的当前可视区的中心)。
如框404所表示,方法400包括在根据第一锁定模式显示计算机生成的内容时,确定电子设备从到物理表面的第一距离改变为距物理表面的第二距离。例如,参考图2A-图2N,物理表面对应于第一物理壁202。
例如,如框406所表示,确定从第一距离到第二距离的改变可基于来自位置传感器数据的位置传感器数据。位置传感器数据可指示电子设备的位置、取向、姿势或其改变。例如,位置传感器对应于生成深度传感器数据的深度传感器。深度传感器数据包括指示第一距离的第一距离值,并且包括指示第二距离的第二距离值。作为另一示例,位置传感器对应于生成惯性测量单元(IMU)数据的IMU,并且确定从第一距离到第二距离的改变是基于IMU数据的。
作为另一示例,如框408所表示,确定从第一距离到第二距离的改变可基于计算机视觉技术。为此,在一些具体实施中,执行方法400的电子设备包括捕获物理表面的图像数据的图像传感器。图像数据包括表示距电子设备第一距离处的物理表面的第一图像,并且包括表示距电子设备第二距离处的物理表面的第二图像。确定从第一距离到第二距离的改变包括将第一图像与第二图像进行比较。例如,将第一图像与第二图像进行比较包括:识别对应于物理表面的第一图像的相应像素子集;识别对应于物理表面的第二图像的相应像素子集;以及将第一图像的相应像素子集与第二图像的相应像素子集进行比较。识别相应像素子集可包括任选地借助于神经网络执行计算机视觉技术,诸如每像素的像素分类技术(例如,实例分割或语义分割)。
作为另一示例,确定从第一距离到第二距离的改变可基于位置传感器数据与计算机视觉技术的组合。
如框410所表示,方法400包括确定第二距离满足锁定模式改变标准。基于确定锁定模式改变标准的满足,方法400包括将计算机生成的内容从第一锁定模式改变为第二锁定模式,如将参考框422-426所描述。
如框412所表示,在一些具体实施中,锁定模式改变标准对应于遮挡标准。遮挡标准是基于当计算机生成的内容在对象锁定模式中显示时物理表面遮挡计算机生成的内容的至少一部分的。在一些具体实施中,为了防止遮挡,方法400包括将计算机生成的内容的显示从对象锁定模式改变为世界锁定模式,如将参考框424所描述。如框414所表示,在一些具体实施中,当距物理表面的第二距离小于第一阈值时,可满足遮挡标准。作为一个示例,参考图2E,由于第三距离(D3)230小于第一阈值距离227,因此电子设备210确定第三距离(D3)230满足遮挡标准。在一些具体实施中,第一阈值可经选择以等于当处于第一锁定模式中时电子设备与计算机生成的内容之间的偏移距离。在一些具体实施中,如框416所表示,确定第二距离满足遮挡标准包括确定在电子设备与物理表面相距第二距离时物理表面遮挡计算机生成的内容的至少一部分。
如框418所表示,在一些具体实施中,锁定模式改变标准对应于遥远度标准。遥远度标准可基于第二距离过于远离物理表面(例如,距该物理表面远)以实现相对于计算机生成的内容的用户参与的准确确定。例如,跟踪用户参与的特征在于误差水平,并且遥远度标准是基于超过(或几乎超过)误差阈值的误差水平的。如框420所表示,当第二距离大于第二阈值时可满足遥远度标准,第二阈值大于第一阈值。例如,参考图2J,由于第六距离(D6)246大于第二阈值距离241(例如,电子设备210越过第二阈值线240),因此电子设备210确定满足遥远度标准。换句话讲,电子设备210确定电子设备210相对于第一物理壁202足够远。在其他具体实施中,第二阈值等于第一阈值。
如框422所表示,根据第二距离满足锁定模式改变标准的确定,方法400包括将计算机生成的内容的显示从第一锁定模式改变为第二锁定模式。另一方面,根据第二距离不满足锁定模式改变标准的确定,方法400包括维持根据第一锁定模式显示计算机生成的内容。
例如,如框424所表示,基于确定满足遮挡标准,方法400包括将计算机生成的内容的显示从对象锁定模式改变为世界锁定模式。作为一个示例,基于确定在图2E中满足遮挡标准,电子设备210将绘图应用程序UI 220世界锁定到物理锚定点232,如图2F-图2I所示。在一些具体实施中,物理锚定点232可以是物理表面上的在第二距离满足锁定模式改变标准时计算机生成的内容与之相交或最接近的点。
在世界锁定模式中,当电子设备与物理表面相距第二距离时,计算机生成的内容可在距电子设备的第一深度处显示。在一些具体实施中,方法400包括确定电子设备从距物理表面的第二距离改变为小于第二距离的第三距离。此外,方法400包括响应于确定电子设备从第二距离改变为第三距离,将计算机生成的内容的深度从距电子设备的第一深度减小到第二深度,同时维持计算机生成的内容世界锁定到物理表面。例如,在图2F中,绘图应用程序UI 220在距电子设备210第一深度222处被世界锁定到物理锚定点232。基于更靠近图2G所示的第一物理壁202的移动,电子设备210将深度从第一深度222减小到第二深度236,以便将绘图应用程序UI 220维持为世界锁定到物理锚定点232。因此,电子设备210防止第一物理壁202遮挡绘图应用程序UI 220,而不管电子设备210移动得更靠近第一物理壁202。
作为另一示例,如框426所表示,基于确定满足遥远度标准,方法400包括将计算机生成的内容的显示从世界锁定模式改变为对象锁定模式。对象锁定模式的示例包括身体锁定模式或显示锁定模式(例如,头部锁定模式)。作为一个示例,基于确定在图2J中满足遥远度标准,电子设备210将绘图应用程序UI 220对象锁定到显示器212,如图2K-图2N所示。将计算机生成的内容的显示从世界锁定模式改变为对象锁定模式防止误差水平(与跟踪用户参与相关联)超过误差阈值,或者将误差水平减小到低于误差阈值。例如,图2M和图2N所示的绘图操作与低于误差阈值的误差水平相关联,因为电子设备210与绘图应用程序UI 220之间的相对小的深度实现相对于绘图应用程序UI 220的准确参与跟踪。
在一些具体实施中,将计算机生成的内容的显示从世界锁定模式改变为对象锁定模式包括维持与世界锁定模式相关联的显示位置。例如,参考图2J,当在世界锁定模式中显示绘图应用程序UI 220时,绘图应用程序UI 220被显示为稍微偏移到可视区214的中心的右侧。基于确定满足遥远度标准,电子设备210将绘图应用程序UI 220改变为对象锁定模式。继续先前示例,在从世界锁定模式到对象锁定模式的转变期间,电子设备210可将绘图应用程序UI 220维持为显示为稍微偏移到可视区214的中心的右侧并且在距电子设备210的固定深度。由于深度在对象锁定模式中是固定的,因此电子设备210的平移移动不影响深度。例如,如图2K和图2L所示,维持第五深度250而不管远离第一物理壁202的移动。此外,当电子设备210将绘图应用程序UI 220从世界锁定模式改变为身体锁定模式时,电子设备210的旋转影响绘图应用程序UI 220的XY位置,而不影响与绘图应用程序UI 220相关联的深度(Z)。例如,当在身体锁定模式中将绘图应用程序UI 220显示为稍微偏移到可视区214的中心的右侧时,电子设备210的向左旋转进一步将绘图应用进一步偏移到可视区214的中心的右侧。
本公开描述了各种特征,其中没有一个特征能够单独实现本文所述的益处。应当理解,本文所述的各种特征可被组合、修改或省略,这对本领域的普通技术人员是显而易见的。本文具体描述的那些之外的其他组合和子组合对于普通技术人员而言将显而易见,并旨在形成本公开的一部分。本文结合各种流程图步骤和/或阶段描述了各种方法。应当理解,在很多情况下,某些步骤和/或阶段可被组合在一起,使得流程图中所示的多个步骤和/或阶段可作为单个步骤和/或阶段来被执行。另外,某些步骤和/或阶段可分成要独立执行的附加子部件。在一些情况下,可重新布置步骤和/或阶段的次序,并且可完全省略某些步骤和/或阶段。另外,本文所述的方法应被理解为可广泛解释的,使得也可执行除本文所示和所述那些之外的附加步骤和/或阶段。
本文所述的一些或所有方法和任务可由计算机系统执行和完全自动化。在一些情况下,计算机系统可包括通过网络进行通信和互操作以执行所述功能的多个不同的计算机或计算设备(例如,物理服务器、工作站、存储阵列等)。每个此类计算设备通常包括处理器(或多个处理器),该处理器执行存储在存储器或其他非暂态计算机可读存储介质或设备中的程序指令或模块。本文所公开的各种功能可在此类程序指令中实现,但另选地可在计算机系统的专用电路(例如,ASIC或FPGA或GP-GPU)中实现所公开的功能中的一些或全部。在计算机系统包括多个计算设备的情况下,这些设备可位于同一位置或不位于同一位置。可通过将物理存储设备诸如固态存储器芯片和/或磁盘转换成不同状态来持久地存储所公开的方法和任务的结果。
本文定义的各种过程考虑了获取和利用用户的个人信息的选项。例如,可利用此类个人信息以便在电子设备上提供改进的隐私屏幕。然而,在收集此类个人信息的程度上,此类信息应在用户知情同意的情况下获取。如本文所描述的,用户应了解和控制其个人信息的使用。
个人信息将由适当方仅用于合法和合理的目的。利用此类信息的各方将遵守至少符合适当法律法规的隐私政策和惯例。此外,此类政策应是完善的、用户可访问的,并且被认为符合或高于政府/行业标准。此外,除任何合理和合法的目的外,各方不得分发、出售或以其他方式分享此类信息。
然而,用户可限制各方能访问或以其他方式获取个人信息的程度。例如,可调整设置或其他偏好,使得用户可决定其个人信息是否可由各种实体访问。此外,虽然在使用个人信息的上下文中描述了本文所定义的一些特征,但可在不需要使用此类信息的情况下实现这些特征的各方面。例如,如果收集到用户偏好、账户名称和/或位置历史,则该信息可被模糊化或以其他方式一般化,使得该信息不会识别相应用户。
本公开并不旨在限于本文所示的具体实施。对于本领域的技术人员而言,对本公开中描述的具体实施的各种修改可为显而易见的,并且可将本文所定义的一般原理应用于其他具体实施,而不脱离本公开的实质或范围。本文所提供的本发明的教导内容可应用于其他方法和系统,并且不限于上述方法和系统,并且可组合上述各种具体实施的元素和动作以提供更多具体实施。因此,本文描述的新颖方法和系统可以以多种其他形式来实现;此外,在不脱离本公开的实质的情况下,可以对本文所述的方法和系统的形式进行各种省略、替换和改变。所附权利要求及其等同内容旨在涵盖落入本公开的范围和实质内的此类形式或修改形式。
- 用户界面和内容项的计算机生成显示组件的动画
- 基于django数据库改变数据显示内容的方法
- 用于生成与多媒体内容相关联的动画图像的方法、装置和计算机程序产品
- 用于生成与多媒体内容相关联的动画图像的方法、装置和计算机程序产品