眼球追踪系统和头戴显示设备

技术领域

本发明涉及智能技术领域，尤其涉及眼球追踪系统和头戴显示设备。

背景技术

头戴显示设备，例如虚拟现实设备等，在运行过程中大多会对用户的眼球的位置进行追踪，以根据追踪到的眼球位置进行画面显示。

在眼球追踪过程中一般需要在设备上设置多个点光源，并通过相机捕捉人眼反射点光源的光形成的光斑来对眼球进行定位，然而要满足定位需求，需要在多个不同的位置设置大量的点光源，这不但容易对人眼造成危害，还会使设备运行功耗过大。

发明内容

本发明的主要目的在于提供一种眼球追踪系统和头戴显示设备，旨在实现眼球追踪的同时减少所需使用光源的数量，以降低眼球追踪过程对人眼的危害，降低设备运行功耗。

为实现上述目的，本发明提供一种眼球追踪系统，应用于头戴显示设备，所述眼球追踪系统包括：

多个点光源；

摄像头，用于拍摄目标区域的图像；

第一光波导装置，所述多个点光源分别朝向所述第一光波导装置发射光线，所述第一光波导装置对入射的光线进行扩瞳后朝向目标区域射出多组光束，每组所述光束包括所述多个点光源分别对应的出射光线；

分析装置，所述分析装置用于根据所述图像中的眼部图像和所述多个点光源对应的多个光斑图像确定眼球位置。

可选地，所述眼球追踪系统还包括第二光波导装置，所述第二光波导装置用于接收所述目标区域入射的光线并朝向所述摄像头射出，以在所述摄像头成像形成所述图像。

可选地，所述第二光波导装置设于所述第一光波导装置朝向所述目标区域的表面。

可选地，所述第一光波导装置包括第一入射耦合部、与所述第一入射耦合部连接的第一全反射部以及与所述第一全反射部连接的第一出射耦合部，所述第二光波导装置包括第二入射耦合部、与所述第二入射耦合部连接的第二全反射部以及与所述第二全反射部连接的第二出射耦合部，所述第一出射耦合部与所述第二入射耦合部对位设置，所述第一入射耦合部对应所述多个点光源设置，所述第二出射耦合部的出射方向朝向所述摄像头。

可选地，所述第一出射耦合部的第一区域范围和所述第二入射耦合部的第二区域范围均根据所述目标区域内的预设人眼活动范围确定。

可选地，所述第一光波导装置和第二光波导装置均为玻璃结构。

可选地，所述多个点光源非共线设置。

可选地，所述分析装置还用于：

根据所述多个光斑图像确定眼部的光轴位置，确定所述眼部图像中的瞳孔位置；

根据所述瞳孔位置相对于所述光轴位置的相对位置确定所述眼球位置。

可选地，所述根据所述多个光斑图像确定眼部的光轴位置的步骤包括：

根据所述多个光斑图像确定所述多个光斑图像所在的圆形轮廓；

确定所述圆形轮廓的圆心为所述光轴位置。

此外，为了实现上述目的，本申请还提出一种头戴显示设备，所述头戴显示设备包括：

如上任一项所述的眼球追踪系统；

显示装置，所述眼球追踪系统中的第一光波导装置设于所述目标区域与所述显示装置之间。

本发明提出的一种眼球追踪系统，该眼球追踪系统通过第一波导装置对多个点光源入射的光线进行扩瞳后朝向目标区域射出多组光束，每组光束包括多个点光源分别对应的出射光线，当人眼位于目标区域时可对多个出射光线进行反射，摄像头拍摄到目标区域的图像除了包括眼部图像以外还会包括多个点光源对应的光斑图像，基于此，通过分析装置对眼部图像和多个光斑图像进行分析便可确定眼球当前的位置，此过程中，通过利用第一波导装置的扩瞳效果，只需一组点光源便可射出多组点光源的光线，实现对人眼在不同角度下均可反射形成多个光斑进行定位，实现过程无需在设备设置多组点光源，从而实现眼球追踪的同时减少所需使用光源的数量，以降低眼球追踪过程对人眼的危害，降低设备运行功耗。

附图说明

图1为本发明眼球追踪系统一实施例的结构示意图；

图2为本发明眼球追踪系统另一实施例中运行涉及的硬件结构示意图；

图3为本发明眼球追踪系统一实施例中多个点光源的分布示意图；

图4为本发明头戴显示设备一实施例的结构示意图。

附图标号说明：

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例提出一种应用于头戴显示设备的眼球追踪系统1，用于对眼球进行定位。

在本发明实施例中，参照图1和图2，所述眼球追踪系统1包括多个点光源11、摄像头12、第一光波导装置13以及分析装置14。

在本实施例中，点光源11为LED灯，所发射的光为红外光。其他实施例中，点光源11也可为荧光灯。或者，其他实施例中，点光源11发射的光可为可见光。在本实施例中，多个点光源11的数量为3个。在其他实施例中，多个点光源11的数量也可设置为4个或5个等。

分析装置14可与点光源11连接，以控制点光源11的开启和关闭。

在本实施例中，摄像头12用于拍摄目标区域01的图像，摄像头12的数量可为一个或多于一个。目标区域01为预先设置的人眼所在区域。在本实施例中，摄像头12为红外摄像头12。在其他实施例中，摄像头12也可为可见光摄像头12。

所述多个点光源11分别朝向所述第一光波导装置13发射光线，所述第一光波导装置13对入射的光线进行扩瞳后朝向目标区域01射出多组光束，每组光束包括所述多个点光源11分别对应的出射光线。每个点光源11朝向第一光波导装置13发射一条光线，第一光波导装置13的扩瞳作用下每条入射光线分别对应出射多条出射光线，出射光线的出射方向朝向目标区域01。

每组光束中多个点光源11对应的多条出射光线与多个点光源11具有相同的排布方式。每个点光源11对应出射的光线的数量可根据预测的目标区域01内的人眼活动范围确定。

在本实施例中，多个点光源11与目标区域01分别设置于第一光波导装置13相对设置的两侧。在其他实施例中，多个点光源11与目标区域01也可设于第一光波导装置13的同一侧。

在本实施例中，多个点光源11朝向第一光波导装置13发射的光线与第一光波导装置13出射的光线平行、且发射光线和出射光线均与第一光波导装置13垂直，以有利于简化设备结构。在其他实施例中，多个点光源11朝向第一光波导装置13发射的光线与第一光波导装置13出射的光线可呈夹角设置，或，第一光波导装置13发射的光线与第一光波导装置13出射的光线均与第一光波导装置13呈夹角设置。

所述分析装置14用于根据所述图像中的眼部图像和所述多个点光源11对应的多个光斑图像确定眼球位置。具体的，当目标区域01内存在人眼时，摄像头12拍摄的图像包括眼部图像和叠加在眼部图像上显示的多个光斑图像，光斑图像与点光源11一一对应，每个光斑图像由对应的点光源11的其中一条出射光线在人眼反射形成。通过眼部图像和多个光斑图像的相对位置可确定图像中眼球的所在的图像位置，按照预设位置转换关系，可确定眼球在目标空间坐标系(例如头戴显示设备中用于显示的显示坐标系等或世界坐标系)中的目标空间位置。

本发明实施例提出的一种眼球追踪系统1，该眼球追踪系统1通过第一波导装置对多个点光源11入射的光线进行扩瞳后朝向目标区域01射出多组光束，每组光束包括多个点光源11分别对应的出射光线，当人眼位于目标区域01时可对多个出射光线进行反射，摄像头12拍摄到目标区域01的图像除了包括眼部图像以外还会包括多个点光源11对应的光斑图像，基于此，通过分析装置14对眼部图像和多个光斑图像进行分析便可确定眼球当前的位置，此过程中，通过利用第一波导装置的扩瞳效果，只需一组点光源11便可射出多组点光源11的光线，实现对人眼在不同角度下均可反射形成多个光斑进行定位，实现过程无需在设备设置多组点光源11，从而实现眼球追踪的同时减少所需使用光源的数量，以降低眼球追踪过程对人眼的危害，降低设备运行功耗。

进一步的，在一实施例中，参照图1，所述眼球追踪系统1还包括第二光波导装置15，所述第二光波导装置15用于接收所述目标区域01入射的光线并朝向所述摄像头12射出，以在所述摄像头12成像形成所述图像。

在本实施例中，第二光波导装置15可设于第一光波导装置13与目标区域01之间。在其他实施例中，第一光波导装置13也可设于第二光波导装置15与目标区域01之间。

在本实施例中，第二光波导装置15与第一光波导装置13平行设置。在其他实施例中，第二光波导装置15与第一光波导装置13也可呈夹角设置。

在本实施例中，目标区域01入射到第二光波导装置15的光线与第二光波导装置15垂直、第二光波导装置15出射光线与第二光波导装置15呈夹角设置。

在本实施例中，摄像头12与目标区域01位于第二光波导装置15的同一侧。在其他实施例中，摄像头12与目标区域01也可位于第二光波导装置15相对设置的两侧。

现有技术中，摄像头12需要拍摄到目标区域01的图像时，一般需要正对目标区域01设置以使目标区域01反射的光线可被摄像头12采集到，摄像头12与人眼的距离很近，这对摄像头12的景深和设置的位置有非常严格的要求才能保证拍摄到清晰的人眼图像，在本实施例中，通过第二光波导装置15的设置，目标区域01内人眼所反射的光线可通过第二光波导装置15传递到摄像头12所在位置并被摄像头12采集，摄像头12的位置可灵活设置，例如摄像头12的拍摄方向可背离目标区域01、摄像头12可设置在距离目标区域01较远的位置、摄像头12拍摄方向与目标区域01内人眼反射光线的方向可呈夹角设置等等，并且由于摄像头12可以设置在距离目标区域01较远的位置，摄像头12也无需具有很小的景深便可采集到清晰的眼部图像，从而保证摄像头12拍摄到清晰的人眼图像的同时降低摄像头12的性能要求以及提高摄像头12位置设置的灵活性。

进一步的，在本实施例中，参照图1，所述第二光波导装置15设于所述第一光波导装置13朝向所述目标区域01的表面。

在本实施例中，第一光波导装置13和第二光波导装置15均为平板结构。在其他实施两种，第一光波导装置13和第二光波导装置15中之一为平板结构，第一光波导装置13和第二光波导装置15中之一为弯折结构。

需要说明的是，第一光波导装置13与第二光波导装置15贴合设置时，第一光波导装置13除了出射光线以外的其他光线不会入射到第二光波导装置15，第二光波导装置15的所有光线均不会入射到第一光波导装置13，也就是说，多个点光源11发射形成的光线与目标区域01反射并入射到摄像头12的光线互不干扰，具体的，可通过第一光波导装置13与第二光波导装置15各自的介质常数分别控制在一定数值范围内，以使第一光波导装置13与第二光波导装置15之间的折射率可满足上述互不干扰的需求。

在本实施例中，第二光波导装置15贴合第一光波导装置13的表面设置，一方面有利于缩小眼球追踪系统1所占用的空间，另一方面有利于保证摄像头12可全面有效的采集到目标区域01中人眼反射的所有光线，以保证眼球定位的准确性。

进一步的，在一实施例中，参照图1，所述第一光波导装置13包括第一入射耦合部131、与所述第一入射耦合部131连接的第一全反射部132以及与所述第一全反射部132连接的第一出射耦合部133，所述第二光波导装置15包括第二入射耦合部151、与所述第二入射耦合部151连接的第二全反射部152以及与所述第二全反射部152连接的第二出射耦合部153，所述第一出射耦合部133域与所述第二入射耦合部151对位设置，所述第一入射耦合部131对应所述多个点光源11设置，所述第二出射耦合部153的出射方向朝向所述摄像头12。

具体的，第一入射耦合部131和第二入射耦合部151均为入射光栅，第一出射耦合部133为出射光栅，第二出射耦合部153为单个的光学器件。

第一全反射部132和第二全反射部152均为均匀介质结构。

多个点光源11入射到第一入射耦合部131的光线耦合到第一全反射部132进行全反射，光线通过全反射作用传递到第一出射耦合部133上的不同位置，传递到第一出射耦合部133的光线不同位置的光线在光栅作用下出射到第二入射耦合部151，并经过第二入射耦合部151朝向目标区域01射出。上述的多组光束均从所述第一出射耦合部133射出。

目标区域01入射到第二入射耦合部151的光线耦合到第二全反射部152进行全反射，该光线不会进入到第一光波导装置13中，光线通过全反射作用传递到第二出射耦合部153，在第二出射耦合部153的耦合作用下朝向摄像头12所在位置射出。

在本实施例中，通过上述设置，有利于保证第一光波导装置13出射范围内的所有光线被人眼所反射时均可在第二光波导装置15的作用下被摄像头12全部采集，有利于进一步提高目标区域01内眼球的定位精度。

进一步的，在一实施例中，所述第一出射耦合部133的第一区域范围和所述第二入射耦合部151的第二区域范围均根据所述目标区域01内的预设人眼活动范围确定。

这里的第一区域范围可指第一出射耦合部133的出射面的面积。第二区域范围可指第二入射耦合部151的入射面的面积。

预设人眼活动范围可根据用户使用状态进行预测的范围，还可根据用户设置参数所确定的范围，还可根据头戴显示设备的用户属性(例如性别和/或年龄等)所确定的范围。

在本实施例中，按照上述方式设置第一出射耦合区和第二入射耦合区分别对应的区域范围，有利于确保眼球追踪系统1可对目标区域01内任意活动的眼球位置均可实现有效准确地识别，提高眼球追踪系统1的眼球追踪的有效性和准确性。

进一步的，在一实施例中，所述第一光波导装置13和第二光波导装置15均为玻璃结构。

具体的，第一光波导装置13和第二光波导装置15均为平板玻璃结构。具体的，当第一光波导装置13包括第一入射耦合部131、第一全反射部132以及第一出射耦合部133、且第二光波导装置15包括第二入射耦合部151、第二全反射部152以及第二出射耦合部153时，第一全反射部132和第二全反射部152可分别为玻璃基底。

在本实施例中，第一光波导装置13和第二光波导装置15采用玻璃结构，有利于眼球追踪系统1应用于头戴显示设备时，可减少眼球追踪系统1对头戴显示设备本身显示输出的图像光线(例如透过率和成像清晰度等)的干扰，实现眼球准确追踪的同时保证设备的图像显示质量。

进一步的，在一实施例中，参照图3，多个点光源11非共线设置。

在本实施例中，多个点光源11包括第一光源、第二光源以及第三光源，第一光源、第二光源以及第三光源沿圆周间隔分布设置。

在本实施例中，第一光源与第二光源之间的距离为其所在圆周的直径，第一光源与第三光源的距离等于第二光源与第三光源的距离。在其他实施例中，第一光源、第二光源以及第三光源中任意两个光源之间的距离也可不相等。

在本实施例中，通过多个非共线设置的点光源11，有利于保证基于摄像头12采集到的多个光斑图像可对目标区域01内的眼球实现精准定位。

进一步的，在一实施例中，所述分析装置14还用于：根据所述多个光斑图像确定眼部的光轴位置，确定所述眼部图像中的瞳孔位置；根据所述瞳孔位置相对于所述光轴位置的相对位置确定所述眼球位置。

分析装置14可包括处理器和存储器，存储器内存储有眼球追踪程序，处理器可调用存储器内的眼球追踪程序执行上述确定眼球位置的步骤。

眼球位置可指的是眼球相对于光轴的所在位置。

具体的，可根据多个光斑图像和目标形状(例如方形、三角形或圆形等)拟合得到多个光斑图像所在的轮廓线，轮廓线的形状与目标形状相同，将轮廓线的中心作为眼部的光轴位置。在本实施例中，根据所述多个光斑图像确定所述多个光斑图像所在的圆形轮廓；确定所述圆形轮廓的圆心为所述光轴位置。

识别眼部图像中的瞳孔图像，将瞳孔图像所在的图像区域确定的通孔位置。

具体的，瞳孔位置和光轴位置可分别以摄像头12的图像坐标系中的第一坐标与第二坐标表示，根据第一坐标和第二坐标计算通孔位置相对于光轴位置的矢量方向，作为眼球的转动方向，根据第一坐标和第二坐标计算通孔位置相对于光轴位置的距离，作为眼球的转动偏移量，眼球位置可包括这里的转动方向和/或转动偏移量。

在本实施例中，通过上述方式，可实现对眼球所在位置的准确测量。

本发明实施例提出一种头戴显示设备。在本实施例中，头戴显示设备为虚拟现实设备。在其他实施例中，头戴显示设备也可为增强现实设备。

在本发明实施例中，参照图4，头戴显示设备包括上述眼球追踪系统1和显示装置2，所述眼球追踪系统1中的第一光波导装置13设于所述目标区域01与所述显示装置2之间。

其中，显示设备显示画面发出的可见光线透过第一光波导装置13射向目标区域01。

进一步的，眼球追踪系统1包括上述的第二光波导装置15时，显示设备显示画面发出的可见光线依次透过第一光波导装置13和第二光波导装置15射向目标区域01。

眼球追踪系统1的具体结构参照上述实施例，由于头戴显示设备采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。