掌桥专利:专业的专利平台
掌桥专利
首页

在增强现实设备的透镜上实施的可调谐透明天线

文献发布时间:2024-04-18 20:02:40


在增强现实设备的透镜上实施的可调谐透明天线

引用加入

本申请要求根据《美国法典》第35卷第119条第e款规定的、于2021年8月30日提交的、申请号为63/238,461的美国临时申请的优先权的权益,该美国临时申请的内容通过引用整体并入本文中。

发明内容

本发明涉及根据权利要求1所述的增强现实设备、根据权利要求13所述的系统和根据权利要求14所述的方法。有利的实施例可以包括从属权利要求的特征。

因此,根据本发明的增强现实设备包括:框架,该框架的尺寸被设计为能够佩戴在用户的头部上;以及透镜叠置体,该透镜叠置体耦接到框架并且定位在用户的光路中,使得用户能够透过该透镜叠置体的至少一部分进行观看。该透镜叠置体包括:透镜;光波导,该光波导被配置为向用户显示计算机生成的内容并且与透镜至少部分地对准;以及射频天线,该射频天线设置在该透镜上。

在一些实施例中,该透镜叠置体还可以包括附加透镜,该附加透镜相对于该透镜更靠近用户的头部定位。可选地,该光波导可以在该透镜叠置体内定位在该透镜与该附加透镜之间。

在一些实施例中,该射频天线可以沿着该透镜的透视区的外缘经由透明薄膜设置。可选地,该透明薄膜可以耦接到该透镜的面向用户的一侧。此外,可选地,该增强现实设备还可以包括嵌入在该框架中的电路板,其中,该射频天线经由附接到该透明薄膜的板对板连接器而通信地耦接到设置在该电路板上的至少一个部件。该电路板和该板对板连接器可以定位在用户的光路之外,并且可以嵌入该框架的前框架部分中。该增强现实设备还可以可选地包括柔性传声器设备和天线调谐器,该天线调谐器通信地耦接在该射频天线与设置在该电路板上的调制解调器之间,其中,该天线调谐器结合在该柔性传声器设备中。该增强现实设备还可以可选地包括天线馈线,该天线馈线通信地耦接在该射频天线与设置在该电路板上的射频电路之间。可选地,该射频天线可以包括调谐器端口和馈电端口,该调谐器端口通信地耦接到该天线调谐器,该馈电端口通信地耦接到该天线馈线。

在根据本发明的增强现实设备的、透镜叠置体还包括相对于该透镜更靠近用户的头部的定位的附加透镜的一些实施例中,该透镜叠置体还可以包括设置在该附加透镜上的眼动追踪设备。可选地,该眼动追踪设备可以包括一个或多个传感器,该一个或多个传感器经由透明薄膜耦接到该附加透镜的面向该光波导的一侧。

在透镜叠置体还包括相对于该透镜更靠近用户的头部定位的附加透镜的一些实施例中,该透镜和该附加透镜中的至少一者可以包括校正特征,该校正特征被配置为减轻用户视力中的屈光不正。

在根据本发明的增强现实设备的一些实施例中,该射频天线可以包括纳米线网状结构,该纳米线网状结构是至少部分光学透射的。

在一些实施例中,该射频天线可以包括以下项中的至少一项:环路天线拓扑、环形天线拓扑或单极天线拓扑。

在一些实施例中,该框架可以是以下项中的至少一项:对无线电频率不穿透,或者对可见光不透明。

根据本发明的系统包括如上所述的增强现实设备和计算设备,该计算设备经由设置在该透镜上的射频天线通信地耦接到该增强现实设备。

根据本发明的方法包括:将透镜叠置体耦接到尺寸被设计为能够由用户佩戴的增强现实设备的框架,使得通过如下将该透镜叠置体定位在用户的光路中:在光路中将一组透镜固定到该增强现实设备的框架;将光波导固定在该组透镜之间,其中,该光波导被配置为向用户显示计算机生成的内容,并且该光波导与光路中的该组透镜至少部分地对准;以及将射频天线设置在该组透镜中包括的透镜上。

附图说明

附图示出了多个示例性实施例,并且附图是说明书的一部分。这些附图与以下描述一起展示和解释了本公开的各种原理。

图1是根据本公开的一个或多个实施例的示例性增强现实设备的图示,该示例性增强现实设备包括在透镜上实施的可调谐透明天线。

图2是根据本公开的一个或多个实施例的示例性增强现实设备的图示,该示例性增强现实设备包括在透镜上实施的可调谐透明天线。

图3是根据本公开的一个或多个实施例的示例性增强现实设备的图示,该示例性增强现实设备包括在透镜上实施的可调谐透明天线。

图4是根据本公开的一个或多个实施例的示例性增强现实设备的图示,该示例性增强现实设备包括在透镜上实施的可调谐透明天线。

图5是根据本公开的一个或多个实施例的示例性增强现实设备的图示,该示例性增强现实设备包括在透镜上实施的可调谐透明天线。

图6是根据本公开的一个或多个实施例的具有纳米线(nano-wire)网状结构的示例性射频天线的图示。

图7是根据本公开的一个或多个实施例的用于在AR眼镜的透镜上实施的可调谐透明天线的示例性方法的流程图。

图8是根据本公开的一个或多个实施例的示例性系统的图示,该示例性系统包括经由网络彼此通信的增强现实设备和计算设备。

图9是可以结合本公开的实施例使用的示例性增强现实眼镜的图示。

图10是可以结合本公开的实施例使用的示例性虚拟现实头戴式设备(headset)的图示。

图11是包含了能够对用户的单眼或双眼进行追踪的眼动追踪子系统的示例性系统的图示。

图12是图11中示出的眼动追踪子系统的各个方面的更详细的图示。

虽然本文描述的示例性实施例容许各种修改和替代形式,但是在附图中已经通过示例的方式示出了具体的示例并且这些示例将在本文中进行详细描述。然而,本文所描述的示例性实施例并不旨在局限于所公开的特定形式。而是,本公开内容涵盖落入本公开内的所有修改、组合、等同物和替代物。

具体实施方式

本公开总体上涉及在增强现实(Augmented-Reality,AR)设备的透镜上实施的可调谐透明天线。如下面将更详细地解释的,这些可调谐透明天线和相应的系统可以提供许多特征和益处。

AR眼镜可以构成和/或表示佩戴在消费者的面部上供日常使用的下一代计算平台。在这种AR眼镜中,结构可靠性可能既具有挑战性,并且/或者对于寿命和/或可操作性又是必需的。与许多其他电子产品(例如,手机、平板电脑和/或笔记本电脑)相比,这种AR眼镜的机械损坏的几率可能要高得多。

在某些情况下,AR眼镜的前框架的破裂几率(例如,如果用户将眼镜掉到地上)可能最高。至少出于这个原因,为了实现高结构可靠性,AR眼镜的前框架可以由金属和/或复合材料制成,该复合材料例如为镁合金、碳纤维复合材料和/或钛。遗憾的是,这些材料可能是射频(Radio-Frequency,RF)不穿透的和/或可能阻挡天线辐射,从而阻碍和/或不鼓励将某些RF部件(例如,天线)放置在形成AR眼镜的前框架的金属和/或复合材料后面。此外,AR眼镜前框架上的任何RF窗口(例如,用RF穿透材料替换和/或由RF穿透材料形成以支持RF辐射传输的窗口)都可能会影响结构刚度和/或可靠性以及外观设计。

在一些示例中,当将具有RF集成电路(Radio-Frequency Integrated Circuit,RFIC)的印刷电路板(Printed Circuit Board,PCB)放置在前框架内部时,也可以将天线放置在前框架中,以最小化天线与RFIC引出脚之间的电缆损耗。遗憾的是,AR设计者和/或工程师可能面临与AR眼镜的结构完整性和/或RF穿透性有关的某些折衷和/或设计限制。例如,这种AR设计者和/或工程师可能需要决定是用阻挡天线辐射的结构可靠的材料来维护和/或加固前框架,还是用结构不太可靠的材料来通过前框架提供RF穿透性。因此,本公开认识到并且解决了对在AR眼镜的透镜上实施的可调谐透明天线的需求。

如以下将更详细地论述的,AR眼镜的透镜区域可以由光学叠置体中的几个层组成。避免上述折衷和/或设计限制的一种解决方案可以是创建透明薄膜,该透明薄膜具有附接到透镜的面向用户侧的嵌入式透明导电天线迹线。这个解决方案可以为天线实施开辟全新的领域。在一个示例中,天线层可以是配备有板对板(Board-to-Board,B2B)连接器的透明薄膜,该B2B连接器经由短的同轴电缆通信地耦接到主PCB上的RFIC引出脚。在这个示例中,安装在天线的透明薄膜上的B2B连接器可以位于前框架的、位于AR眼镜上的防水密封件(water seal)外部的延伸区域中。

在前框架的这个位置,B2B连接器对用户可以是不可见的。安装在薄膜上的B2B连接器可以插入和/或嵌入到安装在主PCB上的相应B2B连接器中,和/或可以使RF馈送到在主PCB上实施的RFIC输入/输出信号迹线。在薄膜上实施的天线可以采取沿着透镜边缘的环路(loop)、环形(ring)和/或单极拓扑的形式,以尽可能地最小化对用户视力的阻碍。尽管天线是高度透明的,但是所谓的透明天线不一定表现出100%的光学透射率。

参照图1至图6以及图8,以下将提供对在AR眼镜的透镜上实施的可调谐透明天线的示例性设备、系统、部件和相应实施方式的详细描述。此外,结合图7详细描述用于在AR眼镜的透镜上实施的可调谐透明天线的方法。与图9至图12相对应的论述将提供能够在透镜上实施可调谐透明天线的多种类型的示例性人工现实设备、可穿戴设备和/或相关系统的详细描述。

图1示出了包括和/或表示框架102和透镜叠置体104的示例性AR设备100。在一些示例中,AR设备100可以包括和/或表示集成了真实特征或元素和/或虚拟特征或元素以供用户观看的眼镜。在这种示例中,框架102的尺寸可以被设计为能够佩戴在用户的头部上和/或安置到用户的头部。如图1所示,透镜叠置体104可以耦接和/或固定到框架102。在一个示例中,透镜叠置体104可以定位和/或放置在用户的光路中。在这个示例中,透镜叠置体104在光路中的定位和/或放置可以在框架102佩戴在用户的头部上和/或安置到用户的头部时,使用户能够透过透镜叠置体104的至少一部分进行观看。

在一些示例中,透镜叠置体104可以包括和/或表示促进和/或支持AR设备100的一个或多个特征或功能的各种光学部件和/或RF部件。例如,透镜叠置体104可以包括和/或表示一个或多个透镜、一个或多个光波导和/或设置在该一个或多个透镜上的一个或多个RF天线。在一个示例中,每个光波导可以被配置为向用户显示和/或呈现计算机生成的内容。在这个示例中,每个光波导可以与AR设备100的相应透镜至少部分地对准,以支持和/或促进在用户的光路中观看这种计算机生成的内容。

在一些示例中,除框架102和/或透镜叠置体104之外,AR设备100还可以包括和/或表示一个或多个附加光学部件。例如,AR设备100可以包括和/或表示与透镜叠置体104并排和/或靠近透镜叠置体104而耦接和/或固定到框架102的透镜106。在这个示例中,透镜106可以包括和/或表示与透镜叠置体104相同的各特征和/或各部件中的任何特征和/或部件。附加地或替代地,透镜106可以排除和/或省略透镜叠置体104中包括的某些特征和/或部件。

在一些示例中,AR设备100可以包括和/或表示结合到和/或应用于透镜叠置体104的RF天线。例如,RF天线108可以设置在透镜叠置体104中包括的透镜和/或形成透镜叠置体104的一部分的透镜上。在一个示例中,RF天线108可以沿着透镜的透视区的外缘经由透明薄膜定位和/或放置。在这个示例中,透明薄膜可以通过粘合剂耦接和/或附接到透镜的面向用户的一侧。

在一些示例中,AR设备100可以包括和/或表示嵌入和/或安装在框架102中的电路板118。在一个示例中,RF天线108可以经由附接到透明薄膜的B2B连接器通信地耦接到设置在电路板118上的至少一个部件。例如,AR设备100可以包括和/或表示焊接和/或耦接到电路板118的部件120和部件122。在这个示例中,安装和/或配备在透明薄膜和/或电路板118上的一个或多个B2B连接器可以使RF天线108能够形成和/或建立与部件120和/或部件122的通信连续性和/或电连续性。

在一些示例中,AR设备100可以指和/或表示佩戴在用户的头部或面部上和/或安置到用户的头部或面部的任何类型的显示器和/或视觉设备。在一个示例中,AR设备100可以包括和/或表示被设计为佩戴在用户的头部或面部上和/或固定到用户的头部或面部的一副AR眼镜。在一个示例中,AR设备100可以包括和/或结合形成显示屏和/或相应的部分透视区的透镜。附加地或替代地,AR设备100可以包括和/或结合一个或多个指向和/或瞄准用户的视线和/或视场的摄像头。

在一些示例中,AR设备100可以经由RF天线108实现和/或建立与一个或多个附加和/或远程计算设备的一条或多条链路、一个或多个连接和/或一个或多个通信通道。例如,AR设备100可以能够与兼容蜂窝网络和/或位于用户附近和/或远离用户的一个或多个计算设备通信。附加地或替代地,RF天线108可以实现、支持、促进和/或建立AR设备100与一个或多个附加设备之间的无线电通信(例如,蓝牙通信、WiFi通信、蜂窝通信等)。

在一些示例中,可以以任何合适的方式设计框架102的大小和/或形状,以适配在用户的头部和/或面部上和/或安置到用户的头部和/或面部。在一个示例中,框架102对于无线电频率可以是不穿透的和/或对于可见光可以是不透明的。框架102可以包括和/或包含多种不同材料中的任何一种材料。例如,框架102可以由镁合金、碳纤维复合材料和/或钛制成。这种材料的附加示例包括但不限于金属、铜、铝、钢、银、金、铂、塑料、陶瓷、聚合物、复合材料、橡胶、尼龙、聚碳酸酯、上述材料中的一种或多种材料的变体或组合和/或任何其他合适的材料。

在一些示例中,可以以任何合适的方式设计透镜叠置体104和/或透镜106的大小和/或形状,以适配在框架102中和/或固定到该框架。在一个示例中,透镜叠置体104和/或透镜106可以包括和/或表示旨在校正和/或减轻用户视力中的一个或多个屈光不正或缺陷的处方透镜和/或校正透镜。透镜叠置体104和/或透镜106可以包括和/或包含多种不同材料中的任何一种材料。这种材料的示例包括但不限于塑料、玻璃(例如,盐冕玻璃(crownglass))、聚碳酸酯、上述材料中的一种或多种材料的组合或变体和/或任何其他合适的材料。

在一些示例中,可以以任何合适的方式来设计RF天线108的大小和/或形状,以布置和/或应用在透镜叠置体104上,目的是实现高度的RF功能和/或光学透射率或穿透性。在这种示例中,RF天线108的大小和/或形状可能影响其经由某些频率发送和/或接收通信的能力。例如,如图6所示,RF天线108可以包括和/或表示至少部分光学可透射(尤其是相对于用户的视觉体验和/或AR体验)的纳米线网状结构602。在这个示例中,纳米线网状结构602可以设置在透镜叠置体104和/或透镜106上和/或应用到该透镜叠置体和/或该透镜,以实现RF天线108。附加地或替代地,RF天线108可以包括和/或表示环路天线拓扑、环形天线拓扑和/或单极天线拓扑。RF天线108可以包括和/或包含多种不同材料中的任何一种材料。这种材料的示例包括但不限于金属、铜、铝、钢、不锈钢、银、金、上述材料中的一种或多种材料的变体或组合和/或任何其他合适的材料。

在一些示例中,可以以任何合适的方式设计电路板118的大小和/或形状,以放置和/或插入框架102内。在一个示例中,电路板118可以包括和/或表示促进电气部件和/或电子部件的安装(例如,机械支承)和/或互连(例如,电耦接)的绝缘材料。例如,电路板118可以包括和/或表示一个或多个PCB,该一个或多个PCB的形状和/或轮廓被设计为适于安装在框架102的前框架内。电路板118的示例包括但不限于单面板、双面板、多层板、母板、上述电路板中的一者或多者的变体或组合和/或任何其他合适类型的电路板。

在一些示例中,可以以任何合适的方式设计部件120和部件122的尺寸和/或形状,以附接到和/或安装在电路板118上。在一个示例中,部件120和部件122可以包括和/或表示促进和/或支持RF通信和/或AR内容的集成电路。例如,部件120可以包括和/或表示RFIC,和/或部件122可以包括和/或表示处理设备(例如,中央处理单元)。部件120和部件122的附加示例包括但不限于电路、晶体管、电阻器、电容器、二极管、收发器、插座、布线(wiring)、电路板、电源、电池、电缆(cabling)、连接器、处理器、存储器设备、调制解调器、上述部件中的一者或多者的变体或组合和/或任何其他合适的部件。

在一些示例中,AR设备100可以包括和/或表示不一定在图1中示出和/或标注的一个或多个附加部件、设备和/或机制。例如,AR设备100可以包括和/或表示不一定在图1中示出和/或标注的一个或多个处理器和/或存储器设备。这种处理器可以包括和/或表示能够解释和/或执行计算机可读指令的任何类型或形式的硬件实施的处理设备。在一个示例中,这种处理器可以访问、修改和/或执行与计算机生成的内容和/或RF通信相关的某些软件模块和/或固件模块。这种处理器的示例包括但不限于物理处理器、中央处理单元(CentralProcessing Unit,CPU)、微处理器、实施软核处理器的现场可编程门阵列(Field-Programmable Gate Array,FPGA)、专用集成电路(Application-Specific IntegratedCircuit,ASIC)、上述处理器中的一者或多者的一部分、上述处理器中的一者或多者的变体或组合和/或任何其他合适的处理设备。

在一些示例中,AR设备100可以包括和/或表示存储软件模块或数据和/或固件模块或数据的一个或多个存储器设备,这些软件模块或数据和/或固件模块或数据促进和/或支持AR显示和/或呈现、RF通信和/或相应的计算任务。这种存储器设备可以包括和/或存储计算机可执行指令,这些计算机可执行指令在被处理器执行时,使得处理器执行与在AR眼镜的透镜上实施的可调谐透明天线相关的一个或多个任务。

在一些示例中,这种存储器设备可以包括和/或表示能够存储数据和/或计算机可读指令的任何类型或形式的易失性或非易失性存储设备或介质。在一个示例中,这种存储器设备可以存储、加载和/或维护执行与AR内容和/或RF通信相关的某些任务、分类和/或确定的一个或多个模块和/或经训练的推理模型。这种存储器设备的示例包括但不限于随机存取存储器(Random Access Memory,RAM)、只读存储器(Read Only Memory,ROM)、闪存、硬盘驱动器(Hard Disk Drive,HDD)、固态驱动器(Solid-State Drive,SSD)、光盘驱动器、高速缓冲存储器、上述存储器设备中的一者或多者的变体或组合和/或任何其他合适的存储存储器。

在一些示例中,尽管不一定在图1中以这种方式示出和/或标注,但是AR设备100可以包括和/或表示附加的电路、晶体管、电阻器、电容器、二极管、收发器、插座、布线、电路板、电源、电池、电缆和/或连接器以及其他部件。附加地或替代地,AR设备100可以排除和/或省略图1中示出和/或标注的各部件、各设备和/或各机制中的一个或多个部件、设备和/或机制。例如,在替代实施方式中,AR设备100可以排除和/或省略部件122。

图2示出了示例性AR设备100的截面。在一些示例中,AR设备100的框架102可以包括和/或表示前框架220和镜腿(temple)218。在这种示例中,透镜叠置体104可以包括和/或表示一对透镜106(1)和106(2)、光波导206、眼动追踪设备212和/或透明薄膜214。在一个示例中,透镜106(1)和106(2)、光波导206、眼动追踪设备212和/或透明薄膜214可以定位在正佩戴着AR设备100的用户204的光路208中。在透镜叠置体104位于该位置的情况下,用户204可以能够经由光路208透过透镜叠置体104的至少一部分进行观看。

在一些示例中,光波导206可以被配置为向用户204显示计算机生成的内容。在一个示例中,光波导206可以沿着光路208至少部分地与透镜106(1)和106(2)对准。如图2所示,透镜106(2)可以相对于透镜106(1)更靠近用户的头部定位。换句话说,透镜106(1)可以相对于透镜106(2)定位在远离用户头部的位置。

在一些示例中,光波导206可以在透镜叠置体104内定位和/或放置在透镜106(1)与透镜106(2)之间。在一个示例中,RF天线108可以沿着透镜106(1)的透视区的外缘经由透明薄膜214布置和/或耦接。例如,RF天线108可以布局和/或布置在透明薄膜214上。在这个示例中,透明薄膜214可以通过粘合剂耦接和/或附接到透镜106(1)。

在一些示例中,透明薄膜214可以耦接和/或附接到透镜106(1)的面向用户204的一侧(例如,透镜的内侧)。附加地或替代地,透明薄膜214可以耦接和/或附接到透镜106(1)的面向外部世界的一侧(例如,透镜的外侧)。

在一些示例中,眼动追踪设备212可以包括和/或表示经由透明薄膜耦接和/或固定到透镜106(2)的一个或多个传感器。例如,眼动追踪设备212的各传感器可以布局和/或布置在透明薄膜上。在这个示例中,透明薄膜可以经由粘合剂将眼动追踪设备212的各传感器耦接和/或附接到透镜106(2)。

在一些示例中,眼动追踪设备212可以耦接和/或附接到透镜106(2)的面向光波导206的一侧(例如,透镜的内侧)。附加地或替代地,眼动追踪设备212可以耦合和/或附接到透镜106(2)的面向用户204的一侧(例如,透镜的外侧)。

图3示出了示例性AR设备100的实施方式。在一些示例中,AR设备100可以包括和/或表示沿着透镜叠置体104的透视区302的外缘304设置和/或应用的RF天线108。在RF天线108沿着外缘304设置和/或应用的情况下,RF天线108对用户204的视觉影响可以被减轻和/或最小化。此外,RF天线108的光学透射率可以被进一步减轻和/或可以最小化对用户204的视觉影响。因此,在一些实施方式中,RF天线108在运行期间对用户来说可以几乎不可见和/或不明显。

图4示出了示例性AR设备100的实施方式。在一些示例中,AR设备100可以包括和/或表示沿着透镜叠置体104的透视区302的外缘304设置和/或应用的RF天线108。如图4所示,AR设备100还可以包括和/或表示柔性传声器设备406。在一些示例中,柔性传声器设备406可以被配置为在AR设备100的运行期间检测、采集和/或记录来自用户204的音频。在一个示例中,柔性传声器设备406可以被成形和/或定位为遵循透镜叠置体104的轮廓、前框架220的一部分的轮廓和/或用户204的鼻子的轮廓。

在一些示例中,AR设备100还可以包括和/或表示通信地耦接在RF天线108与调制解调器(不一定在图4中示出和/或标注)之间的天线调谐器404。在这种示例中,天线调谐器404可以促进和/或支持将RF天线108调谐到某些频率,从而使RF天线108能够经由不同的频率发送和/或接收通信。在一个示例中,天线调谐器404可以结合和/或集成到柔性传声器设备406中。附加地或替代地,AR设备100可以包括和/或表示通信地耦接在RF天线108与设置在电路板118上的RF电路之间的天线馈线。在一个示例中,RF天线108可以包括和/或表示通信地耦合到天线调谐器404的调谐器端口408。在这个示例中,RF天线108还可以包括和/或表示通信地耦接到天线馈线的馈电端口410。

图5示出了示例性AR设备100的示意图。如图5所示,AR设备100可以包括和/或表示通信地耦接到RF天线108和柔性传声器设备406这两者的电路板118。在一些示例中,电路板118可以经由连接器510(1)和连接器510(2)分别实现与RF天线108和柔性传声器设备406的这些通信耦接。附加地或替代地,RF天线108和柔性传声器设备406可以经由连接器510(3)彼此通信地耦接。

在一些示例中,连接器510(1)至510(3)中的一个或多个连接器可以包括和/或表示B2B连接器。在一个示例中,连接器510(1)至510(3)中的一个或多个连接器和/或电路板118可以嵌入位于AR设备100上的防水密封件外部的框架102中和/或被该框架覆盖。如图5所示,电路板118可以包括和/或表示RF电路504(例如,RFIC)、天线馈线506和/或调制解调器508。在一个示例中,RF电路504和天线馈线506可以在电路板118上彼此通信地耦接。在这个示例中,天线馈线506可以经由RF连接器510(1)和/或馈电端口410通信地耦接到RF天线108。

在一些示例中,调制解调器508可以经由连接器510(2)通信地耦接到天线调谐器404和/或柔性传声器设备406。附加地或替代地,柔性传声器设备406可以经由连接器510(3)和/或调谐器端口408通信地耦接到RF天线108。如图5所示,RF天线108、馈电端口410和/或调谐器端口408可以在透明薄膜214上实施和/或设置。在一个示例中,透明薄膜214可以耦接和/或附接到透镜106和/或透镜叠置体104的一部分,以在不干扰和/或不影响用户经由AR设备100的视觉体验的情况下支持和/或促进RF通信。

图8示出了示例性系统800,该示例性系统包括经由网络804彼此通信的AR设备100和计算设备802。在一些示例中,AR设备100可以能够经由RF天线108建立和/或保持与计算设备802和/或网络804的通信和/或数据传输。因此,AR设备100与计算设备802之间交换的通信可以经由RF天线108发送和/或接收。

在一些示例中,计算设备802可以包括和/或表示能够读取计算机可执行指令和/或经由网络804与AR设备100通信的任何类型或形式的物理计算设备。计算设备802的示例包括但不限于路由器(例如,提供商边缘路由器、集线器路由器、辐条路由器、自治系统边界路由器和/或区域边界路由器)、交换机、集线器、调制解调器、网桥、中继器、网关、多路复用器、网络适配器、网络接口、客户端设备、笔记本电脑、平板电脑、台式机、服务器、蜂窝电话、个人数字助理(Personal Digital Assistant,PDA)、多媒体播放器、嵌入式系统、可穿戴设备、游戏机、上述设备中的一者或多者的变体或组合和/或任何其他合适的计算设备。

网络804概括地表示能够促进通信或数据传输的任何介质和/或架构。在一些示例中,网络804可以包括和/或表示图8中未示出的一个或多个附加计算设备,该一个或多个附加计算设备促进通信和/或形成AR设备100与计算设备802之间的路由路径的一部分。网络804可以促进使用无线连接和/或有线连接的通信或数据传输。网络804的示例包括但不限于内联网、接入网、二层网络(layer 2network)、三层网络(layer 3network)、多协议标签交换(Multiprotocol Label Switching,MPLS)网络、互联网协议(Internet Protocol,IP)网络、异构网络(例如,二层、三层、IP和/或MPLS)网络、广域网(Wide Area Network,WAN)、局域网(Local Area Network,LAN)、个人区域网(Personal Area Network,PAN)、互联网、电力线通信(Power Line Communication,PLC)、蜂窝网络(例如,全球移动通信系统(Global System for Mobile Communication,GSM)网络)、上述网络中的一者或多者的一部分、上述网络中的一者或多者的变体或组合和/或任何其他合适的网络。

图7是用于在AR眼镜的透镜上实施的可调谐透明天线的示例性方法700的流程图。在一个示例中,图7中示出的各步骤可以在人工现实系统的制造和/或组装期间执行。附加地或替代地,图7中示出的各步骤可以结合和/或涉及与以上结合图1至图6以及图8提供的各描述中的一个或多个描述一致的各种子步骤和/或变体。

如图7所示,方法700可以包括和/或涉及步骤(710):将透镜叠置体耦接到尺寸被设计为能够由用户佩戴的AR设备的框架,使得该透镜叠置体定位在用户的光路中。步骤710可以以各种方式(包括以上结合图1至图6以及图8描述的那些方式中的任何方式)来执行。例如,AR装备制造商和/或承包商可以将透镜叠置体耦接和/或附接到尺寸被设计为能够由用户佩戴的AR设备的框架,使得透镜叠置体定位在用户的光路中。

在一些示例中,步骤710可以包括和/或涉及一个或多个子步骤,以实现透镜叠置体与框架的耦接。例如,如图7所示,方法700还可以包括和/或涉及子步骤(720(1)):在光路中将一组透镜固定到AR设备的框架。步骤720(1)可以以各种方式(包括以上结合图1至图6以及图8描述的那些方式中的任何方式)来执行。例如,AR装备制造商和/或承包商可以在光路中将一组透镜固定和/或耦接到AR设备的框架。

此外,如图7所示,方法700还可以包括和/或涉及子步骤(720(2)):将光波导固定在该组透镜之间。步骤720(2)可以以各种方式(包括以上结合图1至图6以及图8描述的那些方式中的任何方式)来执行。例如,AR装备制造商和/或承包商可以将光波导固定在该组透镜之间。在这个示例中,光波导可以被配置为向用户显示和/或呈现计算机生成的内容和/或AR内容。光波导在光路中可以与透镜叠置体至少部分地对准。

方法700还可以包括和/或涉及步骤(730):将RF天线设置在该组透镜中包括的透镜上。步骤730可以以各种方式(包括以上结合图1至图6以及图8描述的那些方式中的任何方式)来执行。例如,AR装备制造商和/或承包商可以经由粘合剂将RF天线设置和/或应用在该组透镜中包括的透镜上。在一个示例中,粘合剂可以设置和/或包括在其上布局了RF天线的透明薄膜上。在这个示例中,透明薄膜可以有效地将RF天线耦接和/或固定到透镜。

本公开的实施例可以包括各种类型的人工现实系统或结合各种类型的人工现实系统来实施。人工现实是一种在呈现给用户之前已经以某种方式进行了调整的现实形式,人工现实可以包括例如虚拟现实、AR、混合现实(mixed reality)、混合现实(hybridreality)或它们的某种组合和/或衍生物。人工现实内容可以包括完全计算机生成的内容或与采集的(例如,真实世界)内容组合的计算机生成的内容。人工现实内容可以包括视频、音频、触觉反馈或它们的某种组合,以上中的任何一者可以在单个通道或多个通道(例如,向观看者产生三维(3D)效果的立体视频)中呈现。此外,在一些实施例中,人工现实还可以与用于例如在人工现实中创建内容和/或以其他方式用于人工现实(例如,在其中执行活动)的应用程序、产品、配件、服务或它们的某种组合相关联。

人工现实系统可以以各种不同的形状要素和构造来实施。一些人工现实系统可以被设计为在没有近眼显示器(Near-Eye Display,NED)的情况下工作。其他人工现实系统可以包括也提供对现实世界的可见性(例如,诸如图9中的AR系统900)或者在视觉上使用户沉浸在人工现实中(例如,诸如图10中的虚拟现实系统1000)的NED。虽然一些人工现实设备可以是独立式系统,但是其他人工现实设备可以与外部设备通信和/或配合,以向用户提供人工现实体验。这种外部设备的示例包括手持式控制器、移动设备、台式计算机、用户穿戴的设备、一个或多个其他用户穿戴的设备和/或任何其他合适的外部系统。

转到图9,AR系统900可以包括具有框架910的眼镜设备902,该框架被配置为将左显示设备915(A)和右显示设备915(B)保持在用户的眼睛前面。显示设备915(A)和915(B)可以一起或独立地作用,以向用户呈现一幅图像或一系列图像。虽然AR系统900包括两个显示器,但是本公开的实施例可以在具有单个NED或多于两个NED的AR系统中实施。

在一些实施例中,AR系统900可以包括一个或多个传感器,例如传感器940。传感器940可以响应于AR系统900的运动而生成测量信号,并且可以位于框架910的基本任何部分上。传感器940可以表示各种不同的感测机构中的一种或多种,这些感测机构例如为位置传感器、惯性测量单元(Inertial Measurement Unit,IMU)、深度摄像头组件、结构化光发射器和/或检测器或它们的任意组合。在一些实施例中,AR系统900可以包括或可以不包括传感器940,或者可以包括一个以上的传感器。在传感器940包括IMU的实施例中,该IMU可以基于来自传感器940的测量信号,生成校准数据。传感器940的示例可以包括但不限于加速度计、陀螺仪、磁力计、检测运动的其他合适类型的传感器、用于IMU的误差校准的传感器或它们的某种组合。

在一些示例中,AR系统900还可以包括具有多个声学换能器920(A)至920(J)的传声器阵列,这些声学换能器统称为声学换能器920。声学换能器920可以表示检测由声波引起的空气压力变化的换能器。每个声学换能器920可以被配置为检测声音并将检测到的声音转换成电子格式(例如,模拟或数字格式)。图9中的传声器阵列可以包括例如十个声学换能器:声学换能器920(A)和920(B),这些声学换能器可以被设计为放置在用户的相应耳朵内;声学换能器920(C)、920(D)、920(E)、920(F)、920(G)和920(H),这些声学换能器可以定位在框架910上的不同位置处;和/或声学换能器920(I)和920(J),这些声学换能器可以定位在相应的颈带905上。

在一些实施例中,声学换能器920(A)至920(J)中的一个或多个声学换能器可以用作输出换能器(例如,扬声器)。例如,声学换能器920(A)和/或920(B)可以是耳塞式耳机或任何其他合适类型的头戴式耳机或扬声器。

传声器阵列的声学换能器920的构造可以改变。虽然AR系统900在图9中被示为具有十个声学换能器920,但是声学换能器920的数量可以大于或小于十个。在一些实施例中,使用更多数量的声学换能器920可以增加收集到的音频信息的量和/或音频信息的灵敏度和准确性。相比之下,使用更少数量的声学换能器920可以降低相关控制器950处理所收集的音频信息所需的计算能力。此外,传声器阵列的每个声学换能器920的位置可以改变。例如,声学换能器920的位置可以包括用户上的限定位置、框架910上的限定坐标、与每个声学换能器920相关联的取向或它们的某种组合。

声学换能器920(A)和920(B)可以定位在用户耳朵的不同部分上,例如耳廓(pinna)后面、耳屏后面和/或耳廓(auricle)或耳窝内。或者,除了耳道内的声学换能器920之外,耳朵上或耳朵周围可能还有附加的声学换能器920。使声学换能器920定位在用户的耳道附近可以使传声器阵列能够收集关于声音如何到达耳道的信息。通过将至少两个声学换能器920定位在用户头部的两侧(例如,作为双耳传声器),AR系统900可以模拟双耳听力,并且采集围绕用户头部的3D立体声场。在一些实施例中,声学换能器920(A)和920(B)可以经由有线连接930连接到AR系统900,并且在其他实施例中,声学换能器920(A)和920(B)可以经由无线连接(例如,蓝牙(BLUETOOTH)连接)连接到AR系统900。在其他实施例中,声学换能器920(A)和920(B)可以根本不与AR系统900结合使用。

框架910上的各声学换能器920可以以各种不同的方式进行定位,包括沿着镜腿(temple)的长度定位、横跨镜梁定位、定位在显示设备915(A)和915(B)的上方或下方或它们的某种组合。声学换能器920还可以被定向为使得传声器阵列能够检测正穿戴着AR系统900的用户周围的宽范围方向上的声音。在一些实施例中,可以在AR系统900的制造期间执行优化过程,以确定各个声学换能器920在传声器阵列中的相对定位。

在一些示例中,AR系统900可以包括外部设备(例如,配对设备)或可以连接到该外部设备,该外部设备例如为颈带905。颈带905概况地表示任何类型或形式的配对设备。因此,以下对颈带905的论述也可以应用于各种其他配对设备,例如充电盒(charging case)、智能手表、智能手机、腕带、其他可穿戴设备、手持式控制器、平板电脑、笔记本电脑、其他外部计算设备等。

如所示出的,颈带905可以经由一个或多个连接器耦接到眼镜设备902。这些连接器可以是有线的或无线的,并且可以包括电子部件和/或非电子部件(例如,结构部件)。在一些情况下,眼镜设备902和颈带905可以在它们之间没有任何有线连接或无线连接的情况下独立地运行。虽然图9示出了眼镜设备902的各部件和颈带905的各部件位于眼镜设备902上的示例位置和颈带905上的示例位置,但是这些部件可以位于眼镜设备902和/或颈带905上的其他位置和/或以不同方式分布在该眼镜设备和/或该颈带上。在一些实施例中,眼镜设备902的各部件和颈带905的各部件可以位于与眼镜设备902配对的一个或多个附加的外围设备上、颈带905上、或它们的某种组合。

将外部设备(例如,颈带905)与AR眼镜设备进行配对可以使眼镜设备能够实现一副眼镜的形状要素,并且仍然为扩展后的能力提供足够的电池电量和计算能力。AR系统900的电池电量、计算资源和/或附加特征中的一些或全部可以由配对设备提供,或者在配对设备与眼镜设备之间共享,从而总体上减小眼镜设备的重量、热分布和形状要素,同时仍然保留所期望的功能。例如,颈带905可以允许将原本包括在眼镜设备上的部件包括在颈带905中,这是因为用户在其肩部上可以承受比用户在其头部上承受的重量负荷更重的重量负荷。颈带905还可以具有更大的表面积,利用该更大的表面积,将热扩散和分散到周围环境。因此,相较于原本在独立式眼镜设备上可能实现的电池容量和计算能力,颈带905可以允许更大的电池容量和计算能力。由于相较于眼镜设备902中携带的重量,颈带905中携带的重量可能对用户的侵害更小,因此相较于用户容忍穿戴沉重的独立眼镜设备,用户可以容忍更长时间穿戴更轻的眼镜设备以及携带或穿戴配对设备,从而使用户能够将人工现实环境更充分地融入到他们的日常活动中。

颈带905可以与眼镜设备902通信地耦接,和/或通信地耦接到其他设备。这些其他设备可以为AR系统900提供某些功能(例如,追踪、定位、深度图构建、处理、存储等)。在图9的实施例中,颈带905可以包括两个声学换能器(例如,920(I)和920(J)),这两个声学换能器是传声器阵列的一部分(或者潜在地形成它们自己的传声器子阵列)。颈带905还可以包括控制器925和电源935。

颈带905的声学换能器920(I)和920(J)可以被配置为检测声音,并且将检测到的声音转换为电子格式(模拟或数字)。在图9的实施例中,声学换能器920(I)和920(J)可以定位在颈带905上,从而增加了颈带声学换能器920(I)和920(J)与定位在眼镜设备902上的其他声学换能器920之间的距离。在一些情况下,增加传声器阵列的各声学换能器920之间的距离可以提高经由传声器阵列执行的波束成形的准确性。例如,如果声学换能器920(C)和920(D)检测到声音,并且声学换能器920(C)和920(D)之间的距离大于例如声学换能器920(D)和920(E)之间的距离,则所确定的检测到的声音的源位置可以比如果声音已经由声学换能器920(D)和920(E)检测到的情况更准确。

颈带905的控制器925可以处理由颈带905上和/或AR系统900上的各传感器生成的信息。例如,控制器925可以处理来自传声器阵列的、描述由该传声器阵列检测到的声音的信息。对于每个检测到的声音,控制器925可以执行波达方向(Direction-of-Arrival,DOA)估计,以估计检测到的声音从哪个方向到达传声器阵列。当传声器阵列检测到声音时,控制器925可以用信息填充音频数据集。在AR系统900包括惯性测量单元的实施例中,控制器925可以根据位于眼镜设备902上的IMU来计算所有的惯性和空间计算。连接器可以在AR系统900与颈带905之间以及在AR系统900与控制器925之间传送信息。该信息可以是光学数据形式、电子数据形式、无线数据形式或任何其他可传输的数据形式。将对由AR系统900生成的信息的处理移动到颈带905可以减小眼镜设备902的重量和热量,使得该眼镜设备对用户而言更舒适。

颈带905中的电源935可以向眼镜设备902和/或向颈带905提供电力。电源935可以包括但不限于锂离子电池、锂聚合物电池、一次性锂电池、碱性电池或任何其他形式的电力存储装置。在一些情况下,电源935可以是有线电源。在颈带905上而不是在眼镜设备902上包括电源935,可以有助于更好地分布由电源935产生的重量和热量。

如所指出的,一些人工现实系统可以用虚拟体验来基本上替代用户对真实世界的感官感知中的一个或多个感官感知,而不是将人工现实与实际现实相混合。这种类型的系统的一个示例是头戴式显示系统,例如图10中的几乎全部或完全覆盖了用户的视场的虚拟现实系统1000。虚拟现实系统1000可以包括前部刚性本体1002和被成形位围绕用户的头部适配的带1004。虚拟现实系统1000还可以包括输出音频换能器1006(A)和1006(B)。此外,虽然图10中未示出,但是前部刚性本体1002可以包括一个或多个电子元件,该一个或多个电子元件包括一个或多个电子显示器、一个或多个惯性测量单元(IMU)、一个或多个追踪发射器或检测器和/或用于创建人工现实体验的任何其他合适的设备或系统。

人工现实系统可以包括各种类型的视觉反馈机制。例如,AR系统900和/或虚拟现实系统1000中的显示设备可以包括一个或多个液晶显示器(Liquid Crystal Display,LCD)、发光二极管(Light-Emitting Diode,LED)显示器、微型LED显示器、有机LED(OrganicLiquid Crystal Display,OLED)显示器、数字光投影(Digital Light Project,DLP)微型显示器、硅基液晶(Liquid Crystal on Silicon,LCoS)微型显示器和/或任何其他合适类型的显示屏。这些人工现实系统可以包括用于双眼的单个显示屏,或者可以为每只眼睛提供一个显示屏,这可以允许针对变焦调节或校正用户的屈光不正(refractive error)的附加灵活性。这些人工现实系统中的一些人工现实系统还可以包括光学子系统,这些光学子系统具有一个或多个透镜(例如,凹透镜或凸透镜、菲涅耳透镜、可调液体透镜等),用户可以透过该一个或多个透镜观看显示屏。这些光学子系统可以用于各种目的,这些目的包括准直光(例如,使对象显现在比其物理距离更远的距离处)、放大光(例如,使对象显现得比其实际尺寸更大)和/或中继光(例如,到达观看者的眼睛)。这些光学子系统可以用于直视型架构(例如,直接对光进行准直但会导致所谓枕形失真的单透镜构造)和/或非直视型架构(诸如,为了消除枕形失真而产生所谓桶形失真的多透镜构造)。

除了使用显示屏之外或者替代使用显示屏,本文描述的多个人工现实系统中的一些人工现实系统可以包括一个或多个投射系统。例如,AR系统900中的显示设备和/或虚拟现实系统1000中的显示设备可以包括将光(使用例如波导)投射到显示设备中的微型LED投射器,例如允许环境光穿过的透明组合器透镜。显示设备可以将投射的光朝向用户的瞳孔折射,并且可以使用户能够同时观看人工现实内容和真实世界这二者。显示设备可以使用各种不同的光学部件中的任何一种来实现这一点,这些光学部件包括波导部件(例如,全息波导元件、平面波导元件、衍射波导元件、偏振波导元件和/或反射波导元件)、光操纵表面和元件(例如,衍射元件和光栅、反射元件和光栅以及折射元件和光栅)、耦接元件等。人工现实系统还可以被配置有任何其他合适类型或形式的图像投射系统,诸如虚拟视网膜显示器中使用的视网膜投射器。

本文描述的人工现实系统还可以包括各种类型的计算机视觉部件和子系统。例如,AR系统900和/或虚拟现实系统1000可以包括一个或多个光学传感器,例如二维(two-dimensional,2D)摄像头或3D摄像头、结构化光发射器和检测器、飞行时间深度传感器、单波束测距仪(single beam rangefinder)或扫描激光测距仪、3D激光雷达(LiDAR)传感器和/或任何其他合适类型或形式的光学传感器。人工现实系统可以处理来自这些传感器中的一个或多个传感器的数据,以识别用户的位置、绘制真实世界的地图、向用户提供与真实世界环境有关的背景和/或执行各种其他功能。

本文描述的人工现实系统还可以包括一个或多个输入和/或输出音频换能器。输出音频换能器可以包括音圈扬声器、带式扬声器、静电扬声器、压电扬声器、骨传导换能器、软骨传导换能器、耳屏振动换能器和/或任何其他合适类型或形式的音频换能器。类似地,输入音频换能器可以包括电容式传声器、动态传声器、带式传声器和/或任何其他类型或形式的输入换能器。在一些实施例中,对于音频输入和音频输出这两者,可以使用单个换能器。

在一些实施例中,本文描述的人工现实系统还可以包括触觉(即,触感)反馈系统,该触觉反馈系统可以结合到头饰、手套、连体衣(bodysuit)、手持式控制器、环境设备(例如,椅子、地板垫等)和/或任何其他类型的设备或系统中。触觉反馈系统可以提供各种类型的皮肤反馈,这些皮肤反馈包括振动、力、牵拉、质地和/或温度。触觉反馈系统还可以提供各种类型的动觉反馈,例如运动和顺应性。触觉反馈可以使用马达、压电致动器、流体系统和/或各种其他类型的反馈机制来实施。触觉反馈系统可以独立于其他人工现实设备、在其他人工现实设备内和/或与其他人工现实设备结合来实施。

通过提供触觉知觉、听觉内容和/或视觉内容,人工现实系统可以在各种情境和环境中创建完整的虚拟体验或增强用户的真实世界体验。例如,人工现实系统可以辅助或扩展用户在特定环境内的感知、记忆或认知。一些系统可以增强用户与真实世界中的其他人的交互,或者可以实现与虚拟世界中的其他人的更加沉浸式的交互。人工现实系统也可以用于教育目的(例如,用于学校、医院、政府组织、商业企业等中的教学或训练)、娱乐目的(例如,用于玩视频游戏、听音乐、观看视频内容等)和/或用于可接入性目的(例如,用作助听器、视觉辅助器等)。本文所公开的实施例可以在这些情境和环境中的一个或多个情境和环境中和/或在其他情境和环境中实现或增强用户的人工现实体验。

在一些实施例中,本文描述的系统还可以包括眼动追踪子系统,该眼动追踪子系统被设计为识别和追踪用户的单眼或双眼的各种特性(例如,用户的注视方向)。在一些示例中,短语“眼动追踪”可以指通过其测量、检测、感测、确定和/或监测眼睛的位置、取向和/或移动的过程。所公开的系统可以各种不同的方式来测量眼睛的位置、取向和/或移动,这些方式包括通过使用各种基于光学的眼动追踪技术、基于超声的眼动追踪技术等。眼动追踪子系统可以以多种不同的方式来构造,并且可以包括各种不同的眼动追踪硬件部件或其他计算机视觉部件。例如,眼动追踪子系统可以包括各种不同的光学传感器,例如,二维(2D)摄像头或3D摄像头、飞行时间深度传感器、单波束测距仪或扫描激光测距仪、3D LiDAR传感器和/或任何其他合适类型或形式的光学传感器。在这个示例中,处理子系统可以处理来自这些传感器中的一个或多个传感器的数据,以测量、检测、确定和/或以其他方式监测用户的单眼或双眼的位置、取向和/或移动。

图11是示例性系统1100的图示,该示例性系统结合了能够对用户的单眼或双眼进行追踪的眼动追踪子系统。如图11所示,系统1100可以包括光源1102、光学子系统1104、眼动追踪子系统1106和/或控制子系统1108。在一些示例中,光源1102可以生成用于图像(例如,待呈现给观看者的眼睛1101的图像)的光。光源1102可以表示各种合适的设备中的任何一种设备。例如,光源1102可以包括二维投射器(例如,LCoS显示器)、扫描源(例如,扫描激光器)或其他设备(例如,LCD、LED显示器、OLED显示器、有源矩阵OLED显示器(AMOLED)、透明OLED显示器(TOLED)、波导或能够生成用于向观察者呈现图像的光的某种其他显示器)。在一些示例中,图像可以表示虚拟图像,虚拟图像可以指由来自空间中的某点的光线的表观发散形成的光学图像,而不是指由光线的实际发散形成的图像。

在一些实施例中,光学子系统1104可以接收由光源1102生成的光,并且基于所接收的光生成包括图像的会聚光1120。在一些示例中,光学子系统1104可以包括任何数量的透镜(例如,菲涅耳透镜、凸透镜、凹透镜)、光圈(aperture)、滤光器、反射镜、棱镜和/或可能与致动器和/或其他设备组合的其他光学部件。特别地,致动器和/或其他设备可以使各光学部件中的一个或多个光学部件平移和/或旋转,以改变会聚光1120的一个或多个方面。此外,各种机械耦接可以用于以任何合适的组合保持各光学部件的相对间隔和/或取向。

在一个实施例中,眼动追踪子系统1106可以生成指示观看者的眼睛1101的注视角度的追踪信息。在这个实施例中,控制子系统1108可以至少部分地基于该追踪信息,来控制光学子系统1104的各方面(例如,会聚光1120的入射角)。此外,在一些示例中,控制子系统1108可以存储和利用历史追踪信息(例如,在给定持续时间内的追踪信息的历史,给定的持续时间例如为前一秒或前一秒的几分之一),以预测眼睛1101的注视角度(例如,眼睛1101的视觉轴线与解剖轴线之间的角度)。在一些实施例中,眼动追踪子系统1106可以检测从眼睛1101的某个部分(例如,角膜、虹膜、瞳孔等)发出的辐射,以确定眼睛1101的当前注视角度。在其他示例中,眼动追踪子系统1106可以使用波前传感器来追踪瞳孔的当前位置。

可以使用任何数量的技术来追踪眼睛1101。一些技术可能涉及用红外光照射眼睛1101并且用至少一个光学传感器来测量反射,该光学传感器被调谐为对红外光敏感。可以分析关于红外光如何从眼睛1101反射的信息,以确定一只或多只眼睛的一个或多个特征(例如,角膜、瞳孔、虹膜和/或视网膜血管)的一个或多个位置、一个或多个取向和/或一个或多个移动。

在一些示例中,由眼动追踪子系统1106的传感器采集的辐射可以被数字化(即,转换成电子信号)。此外,传感器可以将该电子信号的数字表示发送到一个或多个处理器(例如,与包括眼动追踪子系统1106的设备相关联的处理器)。眼动追踪子系统1106可以包括各种不同构造的各种传感器中的任何一种。例如,眼动追踪子系统1106可以包括对红外辐射作出反应的红外探测器。红外探测器可以是热探测器、光子探测器和/或任何其他合适类型的探测器。热探测器可以包括对入射的红外辐射的热效应作出反应的探测器。

在一些示例中,一个或多个处理器可以处理由眼动追踪子系统1106的一个或多个传感器生成的数字表示,以追踪眼睛1101的移动。在另一个示例中,这些处理器可以通过执行由存储在非暂态存储器上的计算机可执行指令表示的算法来追踪眼睛1101的移动。在一些示例中,片上逻辑(例如,专用集成电路或ASIC)可以用于执行此类算法的至少一部分。如所指出的,眼动追踪子系统1106可以被编程为使用一个或多个传感器的输出来追踪眼睛1101的移动。在一些实施例中,眼动追踪子系统1106可以分析由传感器生成的数字表示,以从反射的变化提取眼睛转动信息。在一个实施例中,眼动追踪子系统1106可以使用角膜反射或闪光(也称为浦肯野(Purkinje)图像)和/或眼睛的瞳孔1122的中心作为要随时间进行追踪的特征。

在一些实施例中,眼动追踪子系统1106可以使用眼睛的瞳孔1122的中心和红外或近红外的非准直光来产生角膜反射。在这些实施例中,眼动追踪子系统1106可以使用眼睛的瞳孔1122的中心与角膜反射之间的矢量来计算眼睛1101的注视方向。在一些实施例中,所公开的系统可以在追踪用户的眼睛之前对个人(使用例如监督或非监督技术)执行校准过程。例如,校准过程可以包括引导用户观看显示在显示器上的一个或多个点,同时眼动追踪系统记录对应于与每个点相关联的每个注视位置的值。

在一些实施例中,眼动追踪子系统1106可以使用两种类型的红外和/或近红外(也称为主动光)眼动追踪技术:亮瞳眼动追踪和暗瞳眼动追踪,这可以基于照明源相对于所使用的光学元件的位置来区分。如果照明与光路同轴,则当光反射离开视网膜时,眼睛1101可以充当回射器(retroreflector),从而产生类似于摄影中的红眼效应的亮瞳效应。如果照明源偏离光路,则眼睛的瞳孔1122可能看起来很暗,因为来自视网膜的回射被引导远离传感器。在一些实施例中,亮瞳追踪可以产生更大的虹膜/瞳孔对比度,从而允许在虹膜色素沉着的情况下进行更稳健的眼动追踪,并且可以具有减少干扰(例如,由睫毛和其他模糊特征引起的干扰)的特点。亮瞳追踪也可以在从完全黑暗到非常明亮的环境的照明条件下进行追踪。

在一些实施例中,控制子系统1108可以控制光源1102和/或光学子系统1104,以减小可能由眼睛1101引起或受眼睛1101影响的图像的光学像差(例如,色差和/或单色像差)。在一些示例中,如上所述,控制子系统1108可以使用来自眼动追踪子系统1106的追踪信息来执行这种控制。例如,在控制光源1102时,控制子系统1108可以(例如,通过图像渲染)改变光源1102所生成的光,以修改(例如,预失真)图像,从而减小由眼睛1101引起的图像的像差。

所公开的系统可以追踪瞳孔的位置和(例如,由于瞳孔放大和/或收缩引起的)相对大小。在一些示例中,用于检测和/或追踪瞳孔的眼动追踪设备和部件(例如,传感器和/或源)对于不同类型的眼睛可以是不同的(或不同地校准的)。例如,对于不同颜色和/或不同瞳孔类型、大小等的眼睛,传感器的频率范围可以是不同的(或单独校准的)。因此,可能需要针对每个个体用户和/或眼睛来校准本文描述的各种眼动追踪部件(例如,红外源和/或传感器)。

所公开的系统可以在进行眼科校正和不进行眼科校正的情况下追踪两只眼睛,该眼科校正例如为由用户佩戴的隐形眼镜提供的校正。在一些实施例中,眼科校正元件(例如,可调节透镜)可以直接被结合到本文描述的人工现实系统中。在一些示例中,用户眼睛的颜色可能需要修改相应的眼动追踪算法。例如,眼动追踪算法可能需要至少部分地基于棕色眼睛与例如蓝色眼睛之间的不同颜色对比度进行修改。

图12是图11中示出的眼动追踪子系统的各个方面的更详细的图示。如这幅图所示的,眼动追踪子系统1200可以包括至少一个源1204和至少一个传感器1206。源1204概括地表示能够发射辐射的任何类型或形式的元件。在一个示例中,源1204可以生成可见、红外和/或近红外辐射。在一些示例中,源1204可以朝向用户的眼睛1202辐射电磁频谱的非准直红外部分和/或近红外部分。源1204可以利用各种采样率和速度。例如,所公开的系统可以使用具有较高采样率的源,以采集用户的眼睛1202的注视眼动和/或正确测量用户的眼睛1202的迅速扫视动态。如上所述,可以使用任何类型或形式的眼动追踪技术(包括基于光学的眼动追踪技术、基于超声的眼动追踪技术等)来追踪用户的眼睛1202。

传感器1206概括地表示能够检测辐射(例如,自用户的眼睛1202反射的辐射)的任何类型或形式的元件。传感器1206的示例包括但不限于电荷耦合器件(Charge CoupledDevice,CCD)、光电二极管阵列和基于互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor,CMOS)的传感器器件等。在一个示例中,传感器1206可以表示具有预定参数的传感器,预定参数包括但不限于动态分辨率范围、线性度和/或专门为眼动追踪选择和/或设计的其他特征。

如上所述,眼动追踪子系统1200可以产生一个或多个闪光。如上所述,闪光1203可以表示来自用户的眼睛结构的辐射(例如,来自红外源的红外辐射,例如源1204)的反射。在各种实施例中,可以使用由处理器(位于人工现实设备内部或人工现实设备外部)执行的眼动追踪算法来追踪闪光1203和/或用户的瞳孔。例如,人工现实设备可以包括处理器和/或存储器设备以在本地执行眼动追踪,和/或可以包括收发器,以发送和接收在外部设备(例如,移动电话、云服务器或其他计算装置)上执行眼动追踪所需的数据。

图12示出了由诸如眼动追踪子系统1200等的眼动追踪子系统采集的示例图像1205。在这个示例中,图像1205可以包括用户的瞳孔1208和该用户的瞳孔附近的闪光1210这两者。在一些示例中,可以使用诸如基于计算机视觉的算法等的基于人工智能的算法,来识别瞳孔1208和/或闪光1210。在一个实施例中,图像1205可以表示可以被连续分析以追踪用户的眼睛1202的一系列帧中的单个帧。此外,可以在一段时间内追踪瞳孔1208和/或闪光1210,以确定用户的注视。

在一个示例中,眼动追踪子系统1200可以被配置为识别并且测量用户的瞳间距(Inter-Pupillary Distance,IPD)。在一些实施例中,眼动追踪子系统1200可以在用户穿戴人工现实系统时测量和/或计算用户的IPD。在这些实施例中,眼动追踪子系统1200可以检测用户眼睛的位置,并且可以使用该信息来计算用户的IPD。

如上所述,本文公开的眼动追踪系统或子系统可以以各种方式追踪用户的眼睛位置和/或眼睛移动。在一个示例中,一个或多个光源和/或光学传感器可以采集用户眼睛的图像。然后,眼动追踪子系统可以使用采集的信息来确定用户的瞳间距、两眼间距离(interocular distance)和/或每只眼睛的3D位置(例如,用于失真调节目的),包括每只眼睛的扭转和旋转(即,翻滚、俯仰和偏转)的大小和/或注视方向。在一个示例中,红外光可以由眼动追踪子系统发射,并且从每只眼睛反射。反射光可以由光学传感器接收或检测,并且被分析,以从由每只眼睛反射的红外光的变化中提取眼睛转动数据。

眼动追踪子系统可以使用多种不同方法中的任何一种方法来追踪用户的眼睛。例如,光源(例如,红外发光二极管)可以将点图案发射到用户的每只眼睛上。然后,眼动追踪子系统可以(例如,经由耦接到人工现实系统的光学传感器)检测,并且分析来自用户的每只眼睛的点图案的反射,以识别用户的每个瞳孔的位置。因此,眼动追踪子系统可以追踪每只眼睛的多达六个自由度(即,3D位置、翻滚、俯仰和偏转),并且可以将来自用户的双眼的所追踪的量的至少一个子集组合,以估计注视点(即,用户正在观看的虚拟场景中的3D位置或定位)和/或IPD。

在某些情况下,当用户的眼睛移动而看向不同方向时,用户的瞳孔与显示器之间的距离可能会变化。瞳孔与显示器之间的距离随着观察方向变化的变化可以被称为“瞳孔游移”,并且当瞳孔与显示器之间的距离变化时,由于光聚焦在不同的位置,所以可能导致用户感觉到的失真。因此,测量不同眼睛位置和光瞳距离处相对于显示器的失真并且对于不同位置和距离生成失真校正,可以通过追踪用户眼睛的3D位置并且应用与给定时间点上的用户每只眼睛的3D位置对应的失真校正来允许缓解由瞳孔游移引起的失真。因此,知道用户的每只眼睛的3D位置可以允许通过对每个3D眼睛位置应用失真校正来缓解由眼睛的瞳孔与显示器之间的距离的变化引起的失真。此外,如上所述,知道用户的每只眼睛的位置还可以使眼动追踪子系统能够对用户的IPD进行自动调节。

在一些实施例中,显示子系统可以包括各种附加子系统,这些附加子系统可以与本文描述的眼动追踪子系统一起工作。例如,显示子系统可以包括变焦子系统、场景渲染模块和/或辐辏处理模块。变焦子系统可以使左显示元件和右显示元件改变显示设备的焦距。在一个实施例中,变焦子系统可以通过移动显示器、光学器件或这两者来物理地改变显示器与光学器件之间的距离,其中,通过该光学器件能够观看显示器。此外,相对于彼此移动或平移两个透镜也可以用来改变显示器的焦距。因此,变焦子系统可以包括移动显示器和/或光学器件以改变它们之间的距离的致动器或马达。该变焦子系统可以与显示子系统分开或集成到显示子系统中。该变焦子系统还可以被集成到本文描述的其致动子系统和/或眼动追踪子系统中,或与该致动子系统和/或眼动追踪子系统分开。

在一个示例中,显示子系统可以包括辐辏处理模块,该辐辏处理模块被配置为基于由眼动追踪子系统确定的注视点和/或注视线的估计交叉点来确定用户的注视的辐辏深度。辐辏可以指双眼沿相反方向同时移动或转动以保持单双眼视觉,这可以由人眼自然地和自动地执行。因此,用户眼睛趋近的位置是用户正在观看的位置,并且通常也是用户眼睛聚焦的位置。例如,辐辏处理模块可以对注视线进行三角测量,以估计距用户的、与注视线的交叉点相关联的距离或深度。然后,与注视线的交叉点相关联的深度可以用作调节距离的近似值,该调节距离可以标识距用户的、用户的眼睛指向的距离。因此,辐辏距离可以允许确定用户的眼睛应当聚焦的位置以及距用户眼睛的眼睛聚焦的深度,从而提供用于对虚拟场景进行渲染调节的信息(例如,对象或焦平面)。

辐辏处理模块可以与本文描述的眼动追踪子系统配合,从而对显示子系统进行调节以考虑到用户的辐辏深度。当用户聚焦于远处的某物时,用户的瞳孔可能比用户聚焦于近处的某物时稍微远离一些。眼动追踪子系统可以获得关于用户的辐辏深度或聚焦深度的信息,并且可以将显示子系统调节为当用户的眼睛聚焦或趋近近处的某物时靠得更近,并且将显示子系统调节为当用户的眼睛聚焦或趋近远处的某物时更远离。

例如,由上述眼动追踪子系统生成的眼动追踪信息还可以用于修改如何呈现不同的计算机生成的图像的各个方面。例如,显示子系统可以被配置为基于由眼动追踪子系统生成的信息来修改如何呈现计算机生成的图像的至少一个方面。例如,可以基于用户的眼睛移动来修改计算机生成的图像,使得如果用户向上看,则计算机生成的图像可以在屏幕上向上移动。类似地,如果用户向一侧或向下看,则计算机生成的图像可以在屏幕上向一侧或向下移动。如果用户的眼睛是闭着的,则计算机生成的图像可以暂停或从显示器移除,并且一旦用户的眼睛再次睁开就恢复。

可以以各种方式将上述眼动追踪子系统结合到本文描述的各种人工现实系统中的一个或多个人工现实系统中。例如,系统1100和/或眼动追踪子系统1200的各种部件中的一个或多个部件可以结合到图9中的AR系统900中和/或图10中的虚拟现实系统1000,以使这些系统能够执行各种眼动追踪任务(包括本文描述的多个眼动追踪操作中的一个或多个眼动追踪操作)。

本文描述和/或示出的过程参数和步骤的顺序仅作为示例给出,并且可以根据期望改变。例如,虽然本文示出和/或描述的步骤可以以特定顺序示出或论述,但是这些步骤不一定需要以所示出或所论述的顺序执行。本文描述和/或示出的各种示例性方法还可以省略本文描述或示出的这些步骤中的一个或多个步骤,或者包括除了所公开的那些步骤之外的附加步骤。

提供了前面的描述,以使本领域的其他技术人员能够最好地利用本文公开的示例性实施例的各个方面。这个示例性描述并不旨在穷举或局限于所公开的任何精确形式。在不脱离本公开的精神和范围的情况下,许多修改和变化是可能的。本文所公开的实施例在所有方面都应当被认为是说明性的,而非限制性的。在确定本公开的范围时,应当参考所附的任何权利要求及其等同物。

除非另有说明,否则如说明书和/或权利要求书中使用的术语“连接到”和“耦接到”(及其派生词)应当被解释为允许直接连接和间接(即,经由其他元件或部件)连接。此外,如在说明书和/或权利要求中使用的术语“一”或“一个”应当被解释为表示“……中的至少一个”。最后,为了便于使用,如说明书和/或权利要求书中使用的术语“包括”和“具有”(以及它们的派生词)与词语“包含”可互换并且具有相同的含义。

相关技术
  • 天线调谐方法、天线调谐装置及终端设备
  • 一种天线调谐系统、电子设备以及天线调谐方法
技术分类

06120116587138