具有位置传感器的系统

本申请要求2021年8月20日提交的美国临时专利申请63/235,357号的优先权，该申请通过引用整体并入本文。

技术领域

本公开整体涉及电子设备，并且更具体地涉及诸如头戴式设备的电子设备。

背景技术

电子设备具有诸如显示器和其他光学部件的部件。在操作时，由于掉落事件和其他不期望的高应力事件，存在部件之间可能相对于彼此而错位的风险。这对保证令人满意的部件性能提出了挑战。

发明内容

一种头戴式设备诸如一副眼镜可具有头戴式外壳。该头戴式设备可包括诸如投影仪显示器的显示器，并可包括相关联的光学部件。该光学部件可包括波导，该波导用于将从该显示器接收的图像提供到对应的眼箱，以供用户观看。

该显示器和该波导之间相对取向的变化可扭曲该眼箱中的图像。为了补偿这种效应，该头戴式设备中的控制电路可使用位置传感器来测量该显示器和该波导的相对位置。随后，可通过对该显示器生成的图像应用补偿性图像扭曲来消除由于该显示器和该波导之间所测量的错位而导致的图像扭曲。

可在包括附加设备的系统中操作该头戴式设备，诸如具有位置传感器的外围设备(外设)。外围设备位置传感器(外设位置传感器)可测量该外围设备的位置，并且可以将该信息无线传输到该头戴式设备。该头戴式设备可至少部分地基于所测量的该外围设备的位置来更新该头戴式设备的该显示器呈现给用户的视觉内容。例如，当用户旋转该外围设备时，该头戴式设备可使用该显示器来呈现视觉内容，该视觉内容中该用户观看的对应虚拟对象旋转了相应的量。

附图说明

图1是根据实施方案的例示性系统的图。

图2是根据实施方案的例示性头戴式设备的顶视图。

图3是示出根据实施方案的如何使用位置传感器测量部件位置的图。

图4是根据实施方案的例示性眼镜的镜腿的一部分的横截面图。

图5是根据实施方案的使用系统所涉及的例示性操作的流程图。

具体实施方式

一种系统可包括一个或多个电子设备。每个设备可包括光学部件和其他部件。在操作时，可使用位置传感器来监测这些部件和设备的位置。使用来自该传感器的位置信息和/或其他传感器数据，该系统中的设备可协调操作，可执行校准操作以补偿所测量的部件错位和/或可采取其他措施。

图1是可包括一个或多个具有位置传感器的电子设备类型的例示性系统的示意图。如图1所示，系统8可包括电子设备10。设备10可包括头戴式设备(例如，护目镜、眼镜、头盔和/或其他头戴式设备)、蜂窝电话、平板电脑、诸如耳机、游戏控制器和/或其他输入设备的外围设备(有时称为外设)。如果需要的话，设备10可包括膝上型电脑、包含嵌入式计算机的计算机显示器、台式电脑、媒体播放器或其他手持式或便携式电子设备、小型设备(诸如手表设备、挂件设备、耳塞或其他可穿戴或微型设备)、电视机、不包含嵌入式计算机的计算机显示器、游戏设备、遥控器、嵌入式系统(诸如装备安装在售货亭、汽车、飞机或其他交通工具上的系统)、用于电子装备的可拆卸外壳、带子、腕带或发带、用于电子设备的可拆卸盖子、用于容纳和携带电子装备和其他物品的盒子或袋子、项链或手臂带、可插入电子装备或其他物品的钱包、袖子、口袋或其他结构、衣服或其他可穿戴物品的一部分(例如，帽子、腰带、腕带、发带、袜子、手套、衬衫、裤子等)或实现这些设备中的两个或更多设备的功能的装备。

在一种例示性配置(有时可在本文中描述为示例)中，系统8包括诸如一副眼镜(有时称为增强现实眼镜)的头戴式设备。系统8还可包括诸如耳机、游戏控制器和/或其他输入-输出设备(作为示例)的外设。在一些场景中，系统8可包括一个或多个独立设备10。在其他场景中，系统8中的多个设备10使用有线和/或无线链路来交换信息，从而使得这些设备10可以一起使用。例如，设备10中的第一设备可收集用于控制设备10中的第二设备的用户输入或其他输入(例如，该第一设备可以是用于该第二设备的控制器)。又例如，设备10中的第一设备可收集用于控制第二设备10的输入，而该第二设备则在第三设备10上显示内容。

设备10可包括部件12。部件12可包括控制电路。该控制电路可包括存储和处理电路，该电路用于支持系统8的运行。该存储和处理电路可包括存储装置，诸如非易失性存储器(例如，闪存存储器或被配置为形成固态驱动器的其他电可编程只读存储器)、易失性存储器(例如，静态或动态随机存取存储器)等。控制电路中的处理电路可用于收集来自传感器和其他输入设备的输入，并且可用于控制输出设备。处理电路可基于一个或多个微处理器、微控制器、数字信号处理器、基带处理器和其他无线通信电路、电源管理单元、音频芯片、专用集成电路等。

为了支持设备10之间的通信和/或支持系统8中的装备和外部电子装备之间的通信，设备10可包括有线和/或无线通信电路。设备10的该通信电路(有时可称为控制电路和/或控制和通信电路)可包括天线、射频收发电路和其他无线通信电路和/或有线通信电路。例如，设备10的该通信电路可经由诸如无线链路14(例如，无线局域网链路、近场通信链路或其他合适的有线或无线通信链路(例如，

部件12可包括输入-输出设备。该输入-输出设备可用于收集用户输入、用于收集用户周围环境的信息和/或用于向用户提供输出。该输入-输出设备可包括传感器，诸如力传感器(例如，应变仪、电容式力传感器、阻力传感器等)、音频传感器(诸如麦克风)、触摸传感器和/或接近传感器(诸如电容传感器)、光学传感器(诸如发射和探测光的光学传感器)、超声波传感器和/或其他触摸传感器和/或接近传感器、单色和彩色环境光传感器、图像传感器、用于检测位置、取向和/或运动的传感器(例如，加速度计、磁性传感器(诸如罗盘传感器、陀螺仪和/或包含这些传感器中部分或全部传感器的惯性测量单元))、射频传感器、深度传感器(例如，基于立体成像设备的结构光传感器和/或深度传感器)、光学传感器(诸如自混合传感器和收集飞行时间测量结果的光探测和测距(激光雷达)传感器)、湿度传感器、含水率传感器和/或其他传感器。在一些布置中，设备10可使用传感器和/或其他输入-输出设备来收集用户输入(例如，按钮可用于收集按钮按压输入、与显示器重叠的触摸传感器可用于收集用户触摸屏输入、触控板可用于收集触摸输入、麦克风可用于收集音频输入、加速度计可用于监测手指何时接触输入表面，并且因此可用于收集手指按压输入等)。

部件12可包括触觉输出设备。该触觉输出设备可产生用户(例如，通过该用户的头、手或其他身体部位)感测到的运动。触觉输出设备可包括致动器，诸如电磁致动器、马达、压电致动器、电活性聚合物致动器、振动器、线性致动器、旋转致动器、使能够弯曲构件弯曲的致动器等。

如果需要的话，部件12的输入-输出设备可包括其他设备，诸如显示器(例如，为用户显示图像)、状态指示灯(例如，用作电源指示灯的发光二极管和其他基于光的输出设备)、扬声器和其他音频输出设备、电磁体、永磁体、由磁性材料形成的结构(例如，被诸如电磁体和/或永磁体的磁体吸引的铁条或其他铁磁构件)等。

如图1所示，可将诸如位置传感器16的传感器安装到一个或多个部件12上。位置传感器16可包括加速度计、磁性传感器诸如罗盘传感器、陀螺仪和/或包含这些传感器中的一些或全部传感器的惯性测量单元。传感器16可用于测量位置(例如，沿着X轴、Y轴和Z轴的位置)、取向(例如，围绕X轴、Y轴和Z轴的角取向)和/或运动(作为时间的函数的位置和/或取向变化)。可测量位置、取向和/或运动的诸如传感器16的传感器在本文中有时可被称为位置传感器、运动传感器和/或取向传感器。

设备10可使用传感器16来实时监测设备10的位置(例如，位置、取向、运动等)。该信息可用于控制系统8中的一个或多个设备10。例如，用户可以将设备10中的第一设备用作控制器。通过改变该第一设备的位置，该用户可控制设备10中的第二设备(或者与第二设备10一起操作的第三设备10)。例如，第一设备可用作游戏控制器，该游戏控制器向显示交互式游戏的第二设备提供用户命令。

设备10还可使用传感器16来检测部件12相对于设备10的外壳和其他结构和/或相对于彼此的位置的任何变化。例如，设备10中的一个给定设备可使用第一传感器16来测量部件12中的第一部件的位置，并且可使用第二传感器16来测量部件12中的第二部件的位置。通过比较所测量的该第一部件和第二部件的位置(和/或通过使用其他传感器数据)，设备10可确定是否应执行设备10中的校准操作和/或其他操作。

在例示性配置中，设备10包括诸如一副眼镜(有时称为增强现实眼镜)的头戴式设备。图2示出采用例示性配置的设备10的俯视图，其中设备10为一副眼镜。如图2所示，设备10可包括外壳18。外壳18可包括诸如主体部分18M的主体部分(有时称为镜框)和通过铰链18H耦接到主体部分18M的镜腿18T。鼻梁部分NB可具有凹槽，该凹槽使外壳18可放置在用户的鼻子上，而镜腿18T可放置在该用户的耳朵上。

可使用显示器22(例如，投影仪显示器，有时称为光引擎)和波导24在眼箱20中显示图像。波导24可具有输入耦合器，该输入耦合器接收来自投影仪显示器22的光。随后，根据全内反射的原理，在波导24内横向(沿着X轴)引导该图像光。每个波导24可在各自的眼箱20前方都具有输出耦合器。该输出耦合器将该图像光从该波导24耦合出来，并将图像引导至相关联的眼箱20，以供用户(例如，眼睛位于眼箱20中的用户)观看，如箭头26所示。设备10的输入和输出耦合器可由光栅和/或其他光学结构形成。

图3是例示性投影仪显示器22和相关联的波导24的图。如图3所示，投影仪显示器(投影仪)22和波导24可设有各自的位置传感器16。在操作时，传感器16可用于监测投影仪显示器22相对于波导24的位置。如果热引起的变化和/或应力引起的错位导致投影仪显示器22相对于波导24发生错位，可采取合适的措施。例如，如果确定投影仪22从其预期轴线26错位了2°，那么设备10中的控制电路可得出在没有校正措施的情况下，向眼箱20提供的图像将会失真(例如，图像将会扭曲且出现梯形失真)。因此，当测量到2°的错位时，设备10中的控制电路可对投影仪显示器22生成的图像应用校正(相等且相反)几何变换，从而对显示器22生成的图像实现校正图像扭曲。这确保了用户在眼箱20中观看的图像不会由于显示器22相对于波导24的角度错位而发生几何失真。通常，可采用这种方式(例如，图像平移、旋转等)校正由于所测量的错位导致的任何图像失真。

如果需要的话，来自其他传感器(例如，视觉惯性测距传感器、结构光传感器、飞行时间传感器、可测量外壳弯曲并且因此测量部件错位的应变计等)的数据可与来自位置传感器16(例如，可使用传感器融合布置提高错位补偿准确性和/或以其他方式提升使用位置传感器的操作性能)的数据结合使用。由耦合到部件12(诸如显示器22和波导24)的位置传感器16所收集的位置传感器数据的使用在本文中有时可作为示例描述。但是，通常，可使用位置传感器数据和/或来自其他传感器的数据来执行任何合适的操作(例如，控制操作等)。

图4是设备10的横截面图，该图是通过外壳18的外壳壁(例如，外壳18M中与铰链18H相邻并与镜腿18T对齐的延伸部分)并通过传感器16和显示器22得到的。如图4所示，显示器22可具有诸如显示器外壳22H的显示器外壳(有时称为投影仪包或投影仪外壳)。显示器22可包括照明源(例如，一个或多个发光二极管)和由该照明源照亮的像素阵列(例如，诸如镜阵列的反射像素阵列)。来自该像素阵列的图像(例如，从该镜阵列反射的光)通过透镜30发射到波导24(图3)中。可将位置传感器16安装到诸如印刷电路32的基板上，该印刷电路附接到外壳22H(例如，使用粘合剂或其他附接机构)。位置传感器壳体34(例如，金属罐)可用于为传感器16提供环境保护。如果需要的话，可将显示器22封闭在密封包内，外壳18M可以是环境密封的和/或以其他方式被配置为向显示器22和/或传感器16提供环境保护，和/或可在设备10中提供其他外壳结构和/或设备包装，以保护诸如显示器22和/或传感器16的潜在敏感部件免受环境暴露(例如，湿气和灰尘)的影响。在将传感器16密封在外壳18M的内部部分内以保护环境的配置中(例如，在外壳18M形成传感器16的密封环境保护壳体的情况下)，外壳18M的壁可与壳体34一起操作和/或与壳体34分开操作，以帮助密封传感器16中的敏感结构，防止该结构吸收湿气而可能导致性能变化。通常，设备10中由防潮材料(诸如玻璃、金属和/或防潮聚合物)形成的任何合适的壁、壳体和/或其他结构可用于防止湿气和潮气到达传感器16。这些结构可包括设备10中的光学元件(有时称为光学结构、透镜、波导等)的部分，诸如如图3所示的透镜和/或波导24的部分，可包括如图4所示的外壳18M中的壁，可包括如图4所示的显示器外壳22H的部分，和/或可包括设备10中有助于防止传感器16的一个或多个部分受潮的其他结构。通过以这种方式减慢或完全阻止湿气向传感器16移动，设备10中的外壳结构、光学元件、传感器壳体结构和/或其他结构可帮助确保设备10中的每个传感器16令人满意地操作。

设备10可具有任何合适数量的位置传感器16。可将传感器16安装到显示器、波导、其他光学部件、外壳壁、非光学电气部件、部件12的部分(例如诸如镜阵列、透镜、部件包、印刷电路等部件)和/或设备10的其他部分上。例如，分别位于外壳18的左部和右部中的左显示器和右显示器22可设有对应的左位置传感器和右位置传感器16。设备10还可具有附接到左波导和右波导24的左位置传感器和右位置传感器。在操作时，可将每个显示器的位置与该显示器向其提供图像输出的波导的位置进行比较，从而使设备10检测左显示器相对于左波导的任何错位并检测右显示器相对于右波导的任何错位。响应于检测到错位，可采取校正措施。校正措施可包括警告设备10的用户、使用定位器来重新对齐设备10中的相关部件、以及将数字图像处理应用到由显示器22输出的图像(例如，对输出图像进行几何变换以将提供给眼箱20的图像扭曲一定的量，该量补偿任何检测到的错位引起的图像扭曲等)。

如果需要的话，可在设备10之间共享位置传感器数据。例如，设备10中的第一设备可以是佩戴在用户头部上的头戴式设备，并且设备10中的第二设备可用于控制该第一设备。该第一设备可使用显示器22来为用户显示视觉内容，诸如计算机生成的图像。波导24可以具有眼镜镜片形状和/或可以安装在用户眼睛前方的眼镜镜片上，该波导优选地从前到后是透明的，以便用户可通过波导观看环境来观看用户周围环境中的真实世界对象。同时，波导24上的输出耦合器可用于从波导24提取与来自显示器22的图像相关联的图像光。通过这种方式，用户可同时观看真实世界和叠加在真实世界之上的增强的(计算机生成的)内容。第二设备可以是一副耳机、游戏控制器或用于收集来自用户和/或来自环境的输入的其他外围设备。该输入可用于控制第一设备。例如，第二设备可具有一个或多个位置传感器16，该一个或多个位置传感器在用户移动第二设备时检测第二设备的位置和/或检测第二设备内的部件的位置。来自第二设备中的传感器的位置信息和/或其他传感器信息可经由无线链路从第二设备传送到第一设备。在例示性场景中，该用户可移动第二设备以移动第一设备上运行的游戏或其他程序中的项目、选择由第一设备呈现的菜单项，和/或以其他方式与使用第一设备向用户呈现的视觉内容(图像)进行交互并调整该视觉内容。

如果需要的话，该第一设备中的位置传感器可用于检测该第一设备和该第一设备内的显示器的位置(例如，左显示器和右显示器的位置，包括左显示器和右显示器的取向，该取向对应于用户的左眼和右眼)。该第二设备中的位置传感器可用于确定该第二设备相对于该第一设备和该第一设备的显示器(“眼睛”)的位置。可使用该第一设备中的注视跟踪传感器来监测用户的注视方向(有时称为用户的注视点)和/或可使用该第一设备的位置传感器来测量用户头部的大致取向。该第二设备(例如，该外围设备)相对于用户在增强现实空间中的注视和取向所测量的位置可由系统的控制电路(例如，该第一设备的控制电路)一起确定，从而能够创建增强的用户体验。例如，可基于所测量的外围设备的位置来调整使用该第一设备中的扬声器提供给用户的音频输出。又例如，考虑该第二设备具有立方体形外壳或其他可手持外壳形状的情景。该第二设备中的位置传感器可实时收集该第二设备的位置信息。该第一设备(例如，该头戴式设备)中的位置传感器与第二设备(例如，该立方体)之间的交互(例如，信息共享)可使得用户与真实世界中的立方体进行交互，同时使用该第一设备中的显示器向用户呈现对应的计算机生成的对象。例如，用户可旋转该立方体以旋转使用该第一设备显示的计算机生成的对象。可使用从该立方体和该头戴式设备两者中的位置传感器收集的位置信息来测量该立方体相对于该显示器的取向(并且因此用户的头部取向和观看方向)的运动。

图5是在使用系统8中所涉及的例示性操作的流程图。在框50的操作期间，设备10可监测指示应使用传感器16收集位置信息的条件。在一些情景下，可连续使用传感器16(例如，可重复进行位置测量)。在其他情形下，传感器16可处于非活跃状态，直到检测到预定的触发条件为止，此时传感器可通电并用于进行测量。此方法可以只在需要位置数据时才使用传感器16，有助于减少功耗。

例如，设备10可使用诸如触摸传感器、麦克风、按钮或其他输入设备的输入设备来收集来自用户的用户输入(例如，指示传感器16应收集位置测量结果的用户输入命令，以便能够将显示器22的位置与相关联的波导24的位置进行比较和/或以便能够收集其他位置数据)。又例如，加速度计、力传感器或其他传感器可用于检测设备10何时已经经历了跌落事件或其他对设备部件施加应力(例如，可能导致部件错位的过度应力)的事件。设备10还可使用其控制电路中的内部时钟来测量当前时间(例如，确定是否已达到进行位置传感器测量的预定时间)。如果需要的话，框50的操作可用于检测用于触发位置传感器测量的其他条件(例如，检测设备10何时已经放置在存储盒内或者已经从存储盒取出、检测设备10何时通电或者断电、检测来自另一设备10和/或远程装备的无线命令何时已经被接收等)。这些标准和/或其他合适的位置传感器测量标准可用于确定何时应收集位置测量结果。

响应于检测到指示应收集位置测量结果的条件，设备10可在框52的操作期间使用位置传感器16来进行位置测量。如果需要的话，可周期性地进行位置测量(例如，每X秒，其中X为至少1s、至少10s、至少100s、小于500s、小于50s、小于5s或其它合适的时间段)。

在已收集来自位置传感器16的位置数据之后，可在框54的操作期间使用此信息(如果需要的话，结合传感器融合布置中的其它传感器数据)。在框54期间，设备10的控制电路可，例如，确定部件是否已经因掉落事件或其他事件而错位。在例示性配置中，可测量显示器22相对于波导24的位置以检测显示器与所需角取向的偏离。随后，可采取校正措施来重新校准设备10的光学系统。例如，响应于确定显示器相对于波导的取向错误而导致不期望的图像扭曲，设备的控制电路可用于将几何变换应用到显示器输出的图像。该几何变换可产生相等且相反量的图像扭曲，以便在眼箱20中观看的图像不会因错位而失真。

又例如，可至少部分地基于来自用作控制器的第二设备的位置信息来更新第一设备上显示的视觉内容。用户可移动第二设备以移动虚拟对象(例如，第二设备可用作手持控制器或其他控制器以控制第一设备)和/或第一设备和第二设备两者中的位置传感器可收集第一设备和第二设备的位置信息，以便当使用第一设备将虚拟内容呈现给用户时，能够考虑第一设备和第二设备的相对位置(例如，以便第二设备对应的虚拟对象能够准确地放置在使用第一设备呈现给用户的虚拟现实世界中)。通常，设备10可基于位置传感器信息来采取任何合适的措施(例如，考虑所测量的部件错位的校准操作、基于传感器的所检测的位置来控制一个设备的行为的控制操作等)。如果需要的话，图5的操作可在设备10通电并在系统8中使用时连续地执行。

在一些实施方案中，传感器可收集个人用户信息。为了确保保护用户的隐私，应当满足或超过所有适用的隐私规则，并且应当遵循用于处理个人用户信息的最佳实践。可以允许用户根据他们的偏好控制他们的个人信息的使用。

根据一个实施方案，提供了一种头戴式设备，该头戴式设备包括：波导，该波导具有第一位置传感器，该第一位置传感器被配置为测量该波导的第一取向，该波导被配置为接收图像并且将图像引导至眼箱；和投影仪显示器，该投影仪显示器显示该图像，该投影仪显示器具有第二位置传感器，该第二位置传感器被配置为测量该投影仪显示器的第二取向，并且该投影仪显示器被配置为基于所测量的第一取向和所测量的第二取向调整该图像。

根据另一个实施方案，该头戴式设备包括支撑该波导的头戴式外壳。

根据另一个实施方案，该头戴式外壳支撑该投影仪显示器。

根据另一个实施方案，该头戴式设备包括支撑该投影仪显示器和该波导的镜框。

根据另一个实施方案，该镜框支撑该眼箱前方的该波导。

根据一个实施方案，提供了一种能够与外设一起操作的头戴式设备，该外设具有测量该外设的第一位置的外设位置传感器并且具有被配置为无线传输该第一位置的无线通信电路，该头戴式设备包括：头戴式设备外壳；和显示器，该显示器被配置为显示图像，该显示器由该头戴式外壳支撑并且具有测量该显示器的第二位置的显示器位置传感器，并且该显示器被配置为至少部分地基于该无线传输的第一位置和该第二位置调整该图像。

根据另一个实施方案，该头戴式设备包括波导，该波导被配置为将图像从该显示器提供到眼箱。

根据另一个实施方案，该显示器包括向该波导提供该图像的投影仪显示器。

根据另一个实施方案，该头戴式设备包括波导位置传感器，该波导位置传感器测量该波导的第三位置。

根据另一个实施方案，该投影仪显示器被配置为至少部分地基于所测量的第二位置和所测量的第三位置扭曲该图像。

根据一个实施方案，提供了一种眼镜，该眼镜包括：外壳；波导，该波导由该外壳支撑；显示器，该显示器被配置为向该波导提供图像，该波导向眼箱提供该图像，并且该显示器被配置为基于所测量的该显示器和该波导之间的错位调整该图像。

根据另一个实施方案，该外壳包括镜框。

根据另一个实施方案，该显示器包括投影仪显示器。

根据另一个实施方案，该眼镜包括显示器位置传感器，该显示器位置传感器被配置为测量该投影仪显示器的显示取向。

根据另一个实施方案，该显示器被配置为至少部分地基于该显示取向调整该图像。

根据另一个实施方案，该眼镜包括波导位置传感器，该波导位置传感器被配置为测量该波导的波导取向。

根据另一个实施方案，该显示器被配置为至少部分地基于所测量的波导取向调整该图像。

根据另一个实施方案，该显示器被配置为通过扭曲该图像来调整该图像，以补偿由于该投影仪显示器和该波导之间的错位而导致的图像扭曲。

根据另一个实施方案，该眼镜能够与外设一起操作，该外设具有位置传感器，该位置传感器被配置为测量该外设的位置，并且该显示器被配置为至少部分地基于所测量的该外设的位置调整该图像。

根据另一个实施方案，该显示器位置传感器包括附接到该显示器的第一惯性测量单元，并且该波导位置传感器包括附接到该波导的第二惯性测量单元。

根据另一个实施方案，该眼镜包括显示器位置传感器，该显示器位置传感器被配置为测量该投影仪显示器的显示取向，该外壳被配置为形成该显示器位置传感器的密封环境保护壳体。

根据另一个实施方案，该眼镜包括环境密封的位置传感器。

根据另一个实施方案，该眼镜包括：位置传感器和透镜，该透镜有助于防止该位置传感器受潮。

根据另一个实施方案，该眼镜包括位置传感器，该波导有助于防止该位置传感器受潮。

前述内容仅为例示性的并且可对所述实施方案作出各种修改。前述实施方案可独立实施或可以任意组合实施。