针对旋屏终端设备的眼球追踪方法及装置

技术领域

本发明涉及眼球追踪技术领域，特别是涉及针对旋屏终端设备的眼球追踪方法及装置。

背景技术

现有基于终端的眼球追踪方案，大都需要终端在某种状态下才能提供较为精准的眼动追踪服务。

但是，眼球追踪方案逐渐应用在手机、平板等旋屏终端设备上，手机、平板等终端设备的设备姿态(或使用者相对于旋屏设备的使用姿态)可有多种变化。若只支持在某种状态下进行眼动追踪，会限制其推广。甚至，有些眼动追踪方案在某些设备姿态下是完全无法使用的。

发明内容

针对于上述问题，本发明提供针对旋屏终端设备的眼球追踪方法及装置，以实现自适应调节眼动追踪方案进行眼球追踪的目的。

为了实现上述目的，本发明提供了如下技术方案：

一种针对旋屏终端设备的眼球追踪方法，所述方法包括：

确定所述旋屏终端设备的运行状态；所述运行状态至少包括所述旋屏终端设备的当前设备姿态；

根据所述运行状态，从多个预设的眼球追踪方案中确定出相应的眼球追踪方案；确定出的眼球追踪方案为目标眼球追踪方案；

采用所述目标眼球追踪方案进行眼球追踪。

可选的，所述旋屏终端设备具有多种设备姿态，每一种设备姿态对应至少一个眼球追踪方案；所述根据所述运行状态，从多个预设的眼球追踪方案中确定出相应的眼球追踪方案包括：从与所述当前设备姿态对应的至少一个眼球追踪方案中，确定出所述目标眼球追踪方案。

可选的，所述运行状态还包括：所述旋屏终端设备的当前负载；所述从与所述当前设备姿态对应的至少一个眼球追踪方案中，确定出所述目标眼球追踪方案包括：当所述当前负载高于预设负载阈值时，从与所述当前设备姿态对应的至少一个眼球追踪方案中，确定出系统资源负载最低的眼球追踪方案。

可选的，所述运行状态还包括：所述旋屏终端设备的剩余电量；所述从与所述当前设备姿态对应的至少一个眼球追踪方案中，确定出所述目标眼球追踪方案包括：当所述剩余电量低于预设电量阈值时，从与所述当前设备姿态对应的至少一个眼球追踪方案中，确定出用电需求最小的眼球追踪方案。

可选的，所述运行状态还包括：所述旋屏终端设备中当前运行软件的软件类型；所述从与所述当前设备姿态对应的至少一个眼球追踪方案中，确定出所述目标眼球追踪方案包括：从与所述当前设备姿态对应的至少一个眼球追踪方案中，确定出满足所述软件类型的精度要求的眼球追踪方案。

可选的，不同的眼球追踪方案，在如下一个或多个方面不相同：设备使用策略；眼动追踪算法；其中，所述眼动追踪算法用于计算注视信息。

可选的，所述设备使用策略包括光源使用策略，光源闪烁策略，相机使用策略，相机帧率设定策略，以及，相机分辨率设定策略中的至少一种；其中：所述光源使用策略用于指示：光源设备、所述光源设备的功率和照明强度；所述光源设备包括光源或光源组；所述光源闪烁策略用于指示：所述光源组中切换不同光源进行照明的频率；所述相机使用策略用于指示：相机组的使用状态；所述相机组包括至少一个目标相机；所述目标相机包括用于拍摄眼图的相机和深度相机中的至少一种；所述相机帧率设定策略用于指示：所述目标相机的帧率；所述相机分辨率设定策略用于指示：所述目标相机的分辨率。

可选的，所述目标眼球追踪方案中光源使用策略所指示的照明设备为目标照明设备，所指示的功率为目标功率，所指示的照明强度为目标照明强度；所述目标眼球追踪方案中的相机使用策略为相机使用目标策略；所述目标眼球追踪方案中的光源闪烁策略为光源闪烁目标策略；所述目标眼球追踪方案中的眼动追踪算法为目标眼动追踪算法；所述采用所述目标眼球追踪方案进行眼球追踪包括：控制所述目标照明设备采用所述目标功率、所述目标照明强度和所述光源闪烁目标策略进行照明；控制所述目标相机使用所述相机使用目标策略实时采集图像；使用所述目标眼动追踪算法，从采集的图像中提取特征数据，并根据所述特征数据计算得到注视信息。

可选的，所述当前设备姿态包括：所述旋屏终端设备的当前屏幕姿态以及所述旋屏终端设备与使用者面部之间的相对距离。

可选的，所述旋屏终端设备的当前屏幕姿态包括：所述旋屏终端设备的屏幕相对于使用者面部的姿态和/或旋屏终端设备的屏幕本身的姿态；所述旋屏终端设备的屏幕相对于使用者面部的姿态通过第一姿态分析方法确定；所述旋屏终端设备的屏幕本身的姿态通过第二姿态分析方法确定；所述第一姿态分析方法的优先级高于所述第二姿态分析方法。

可选的，所述旋屏终端设备的屏幕相对于使用者面部的姿态通过第一姿态分析方法确定；所述第一姿态分析方法包括：使用广域相机拍摄包含所述使用者面部的图像；从所述图像中获取特定部位的位置数据；所述特定部位包括：面部、瞳孔、额头、鼻子、耳朵、嘴中的至少一种；使用所述位置数据计算所述广域相机与所述面部的相对角度；根据所述广域相机与所述屏幕间的位置关系，将所述相对角度转换为所述屏幕相对于使用者面部的姿态。

可选的，所述旋屏终端设备的屏幕本身的姿态通过第二姿态分析方法确定；所述第二姿态分析方法包括：获取姿态确定模组输出的当前方位；根据所述当前方位，确定所述屏幕本身的姿态。

一种针对旋屏终端设备的眼球追踪装置，包括：

确定单元，用于确定所述旋屏终端设备的运行状态；所述运行状态至少包括所述旋屏终端设备的当前设备姿态；

选择单元，用于根据所述运行状态，从多个预设的眼球追踪方案中确定出相应的眼球追踪方案；确定出的眼球追踪方案为目标眼球追踪方案；

追踪单元，用于采用所述目标眼球追踪方案进行眼球追踪。

可选的，所述旋屏终端设备具有多种设备姿态，每一种设备姿态对应至少一个眼球追踪方案；在所述根据所述运行状态，从多个预设的眼球追踪方案中确定出相应的眼球追踪方案的方面，所述选择单元具体用于：从与所述当前设备姿态对应的至少一个眼球追踪方案中，确定出所述目标眼球追踪方案。

一种针对旋屏终端设备的眼球追踪设备，包括：处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一项所述针对旋屏终端设备的眼球追踪方法的步骤。

一种存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如上任一项所述针对旋屏终端设备的眼球追踪方法步骤。

相较于现有技术，本发明实施例配置了多个预设的眼球追踪方案。在确定出旋屏终端设备实时的运行状态(示例性地包括当前设备姿态)后，可从多个预设的眼球追踪方案中确定出与之相应的眼球追踪方案进行眼球追踪，从而实现了自适应调节眼动追踪方案进行眼球追踪的目的。

以设备姿态为例，当设备姿态发生变化时，本发明实施例可依据设备姿态的变化进行眼球追踪方案间的切换。这样，与采用单一眼球追踪方案相比，本发明实施例在各个设备姿态下的眼球追踪效果优于采用单一眼球追踪方案的效果，提升了用户的体验效果，可促进眼动追踪的推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1a至图1h为本发明实施例提供的相机和光源部署示意图；

图2为本发明实施例提供的眼球追踪方法的示例性流程；

图3为本发明实施例提供的确定旋屏终端设备的当前设备姿态的一种示例性流程；

图4为本发明实施例提供的靶面与人脸长度方向关系示意图；

图5a至图5c为本发明实施例提供的屏幕与人脸长度方向关系示意图；

图6为本发明实施例提供的确定旋屏终端设备的当前设备姿态的另一种示例性流程；

图7a为本发明实施例提供的使用者在侧卧状态使用竖排姿态的示意图；

图7b为本发明实施例提供的确定旋屏终端设备的当前设备姿态的又一种示例性流程；

图7c为本发明实施例提供的确定旋屏终端设备的当前设备姿态的又一种示例性流程；

图8为本发明实施例提供的眼球追踪方法的另一示例性流程；

图9a至图9c为本发明实施例提供的设备使用示意图；

图10为本发明实施例提供的眼球追踪方法的又一示例性流程；

图11为本发明实施例提供的眼球追踪方法的又一示例性流程；

图12为本发明实施例提供的眼球追踪方法的又一示例性流程；

图13为本发明实施例提供的眼球追踪方法的又一示例性流程；

图14为本发明实施例提供的眼球追踪装置的示例性结构。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

在本发明实施例中提供的针对旋屏终端设备的眼球追踪方法和眼球追踪装置应用于眼球追踪领域，眼球追踪也可以称为视线追踪，是通过测量眼睛运动情况来估计眼睛的视线和/或注视点的技术。

先介绍旋屏终端设备：旋屏终端设备可包括手机、平板等终端设备。旋屏终端设备的屏幕所显示的页面可依据设备姿态、当前运行软件进行旋转，较为常见的显示方式包括横屏显示和竖屏显示。旋屏终端设备一般内置姿态确定模组，包括惯性测量单元(Inertialmeasurement unit，简称IMU)和运算单元，IMU是测量物体三轴姿态角(或角速率)以及加速度的装置。一般的，一个IMU包含了三个单轴的加速度计和三个单轴的陀螺，加速度计检测物体在载体坐标系统独立三轴的加速度信号，而陀螺检测载体相对于坐标系的角速度信号，测量物体在三维空间中的角速度和加速度，并以此解算出物体的姿态。

本发明实施例涉及的眼球追踪装置部署于旋屏终端设备中，可根据旋屏终端设备的运行状态确定出适宜的眼球追踪方案，并采用确定出的眼球追踪方案进行眼球追踪。

一个眼球追踪方案包括眼动追踪算法和硬件设备的使用策略，不同的眼球追踪方案，在设备使用策略和眼动追踪算法的至少一方面不同。

其中，眼动追踪算法用于计算注视信息。具体的，眼动追踪算法可计算视线方向和眼球位置，根据视线方向和眼球位置得到屏幕上的注视点坐标。

硬件设备进一步示例性的可包括相机、光源等，硬件设备同样也部署于旋屏终端设备上，硬件的使用服务于眼动追踪算法。

也可将一套眼动追踪算法与相配置的硬件设备看作一个眼球追踪系统。

更具体的，设备使用策略可包括：光源使用策略，光源闪烁策略，相机使用策略，相机帧率设定策略，以及，相机分辨率设定策略中的至少一种。

若将同一套眼动追踪算法与不同的设备使用策略(在光源使用策略、光源闪烁策略、相机使用策略、相机帧率设定策略、相机分辨率设定策略的至少一方面不同)相结合，也会得到多种眼动追踪方案。

下面一一介绍：

一，相机使用策略：

相机使用策略用于指示：相机组的使用状态。

其中，相机组包括至少一个目标相机。目标相机包括用于拍摄眼图的相机(例如环境相机、红外相机)和深度相机。

这里的眼图指包含眼睛的图像，例如正面、侧面头像，或者只包含眼部的图像。

环境相机(广域相机)、深度相机和红外相机均部署于旋屏终端设备上。

在一个示例中，可在屏幕短边中间位置部署红外相机，例如在home键附近部署至少一个红外相机；同时，可在屏幕长边中间位置部署至少一个红外相机。

有些眼动追踪算法(例如根据瞳孔位置形态的眼动追踪算法)仅依赖环境相机拍摄的图像就可计算注视信息，有些眼动追踪算法既可使用环境相机也可使用红外相机，还有些眼动追踪算法(例如gaze方法)则不能使用环境相机拍摄的图像计算注视信息，需要依赖一个或多个红外相机拍摄的图像计算注视信息。

进一步的，请参见图1a，若可选择的眼动追踪算法中包括双目定位来确定眼球距离的眼动追踪算法，则硬件上需要在同一侧部署2个红外相机。

在同一侧部署2个红外相机也可有其他应用，例如为了获得更大的可用范围，可令这2个红外相机分别为不同的眼动追踪算法服务，也即本发明实施例可支持同时使用两种以上眼动追踪方案计算注视信息，后期可对由不同眼动追踪方案计算出的注视信息进行融合，以获得更好的追踪效果。

本领域技术人员可根据算法需要，灵活设置同一侧部署的红外相机的数量，在此不作赘述。

深度相机一般部署在红外相机附近，深度相机用于获取深度图像。深度图像可用于构建使用者的头部姿势，服务于需要使用头部姿势数据的眼动追踪算法。当然，也可使用深度图像得到面部各部位(例如瞳孔)与终端间的距离。

与眼动追踪算法相配套的相机使用策略指示了使用哪一或哪些相机组，以及相机组中的哪一或哪些目标相机进行拍摄。

在一个示例中，可根据相机种类和部署位置将相机分组，例如，环境相机自成一组(可称为相机组1)，home键附近部署的红外相机、深度相机组成一个相机组(可称为相机组2)，在屏幕长边中间位置部署的红外相机、深度相机组成一个相机组(可称为相机组3)。

当然，若终端采用的所有眼动追踪算法都不需要使用深度相机，则可不部署深度相机。

相机使用策略中的相机组使用状态可包括：每一相机组的使用状态。

可以0或者1表示是否使用(0可理解为第一状态，1可理解为第二状态)，以相机组2为例，若相机组2的使用状态为“1”，表示使用相机组2。

进一步的，相机组的使用状态还可包括：使用状态为第二状态的相机组中各相机的使用状态。

仍以相机组2为例，假定相机组2包括红外相机1和红外相机2，其中，红外相机1的使用状态为“0”，红外相机2的使用状态为“1”，则表示不使用红外相机1，使用红外相机2，则红相机2为目标相机。

二，相机帧率设定策略：

相机帧率设定策略用于指示：目标相机的帧率。

帧率的单位为每秒帧数，简称：FPS(Frame per Second)，如相机的帧率是30FPS，则每秒钟拍摄30帧。

需要说明的是，算法帧率与相机帧率可相同也可不同。举例来讲，若相机帧率设置为30FPS，算法帧率可设置为小于等于30FPS，例如15FPS。在此情况下，虽然相机每秒拍摄了30帧，但算法1秒钟处理的图像的张数为15帧。

算法帧率越大，所需的运算资源及存储资源也越大。

三，相机分辨率设定策略：

相机分辨率设定策略用于指示：目标相机的分辨率。

分辨率主要影响处理器的负载。在未达到硬件瓶颈的情况下，分辨率越高，处理器的负载越重。

此外，若相机分辨率设定策略中的分辨率(可称为目标分辨率)小于目标相机的最大分辨率时，相机分辨率设定策略还可包括具体的采样方式：

举例来讲，目标相机的最大分辨率为500万像素，若相机分辨率设定策略中的分辨率为100万像素，则示例性的有不同的采样方式实现100万像素：

方式一，对所拍摄图像整体进行降采样处理，降采样后的图像的像素为目标分辨率。

仍以最大分辨率为500万为例，可对拍摄得到的500万像素的图像通过降采样的手段间隔取点，得到100万像素的图像。

方式二，截取所拍摄图像的一部分，所截取部分(最终图像)的像素点数量与目标分辨率相同。

仍以最大分辨率为500万为例，可选取拍摄得到的500万像素的图像的某一区域，该区域的像素点数量为100万。

在一个示例中，还可结合广角镜头拍摄图像，确定眼部区域作为目标区域。然后选取500万像素图像中的目标区域作为最终图像。

四，光源使用策略：

光源使用策略用于指示光源设备、光源设备的功率和照明强度。

这里的光源设备包括(红外)光源或(红外)光源组。

对于一些基于瞳孔-角膜反射法(PCCR)的眼动追踪算法，需要使用红外相机和红外光源，红外光线不会影响眼睛的视觉。

其工作原理是：红外光源照向眼睛，在角膜上形成反射点即光斑(也称为普尔钦斑)。红外相机对眼部进行拍摄，获取带有光斑的眼部图像。

随着眼球转动时，瞳孔中心与光斑的相对位置关系会随之发生变化，相应的，由红外相机采集到的带有光斑的若干眼部图像也会反映出这样的位置变化关系，根据位置变化关系可进行视线/注视点估计。

红外光源组同样是为眼动追踪算法服务的，其部署位置也需考虑眼动追踪算法的需求。

举例来讲，在基于瞳孔-角膜反射法(PCCR)的眼动追踪算法中，有一些是使用亮暗瞳技术的。亮暗瞳技术需要控制光源交替亮灭，以产生亮瞳和暗瞳隔帧交替出现的视频序列。利用相邻亮瞳和暗瞳图像做差分，在阈值化后的差分图像中检测瞳孔，从而可有效的提取瞳孔。

为使用亮暗瞳技术的眼动追踪算法所服务的红外光源组可进行如下部署：

请参见图1a，一组红外光源组中的多个红外光源a围绕红外相机一圈部署，以形成稳定亮瞳光斑，围绕红外相机的红外光源a可称为亮瞳红外光源组；一组红外光源组(可称为暗瞳红外光源组)或一个红外光源b(可称为暗瞳红外光源)部署在距离红外相机较远的位置上(例如屏幕的左上、左下、右上、右下角位置)，以形成稳定暗瞳光斑。

光源使用策略可指示光源设备的使用状态。可以0或者1表示是否使用(0可理解为第一状态，1可理解为第二状态)，以某一红外光源为例，若其使用状态为“1”，表示使用该红外光源。

至于光源组，光源使用策略可指示光源组的使用状态，以及光源组中各光源的使用状态。

举例来讲，假定有两个光源组(光源组1和光源组2)，光源组1的使用状态为0，光源组2的使用状态为1，则表示不使用光源组1，使用光源组2。

进一步的，光源组2中包括3个红外光源1-3，其使用状态分别为“010”，则表示不使用红外光源1和3，使用红外光源2。

光源使用策略与相机使用策略可有多种搭配组合，以适用于不同的眼动追踪算法的硬件需求。

例如，图1b或图1c所示的搭配组合包括：单(红外)相机、围绕单相机的亮瞳红外光源组、左右对称的暗瞳红外光源组，搭配不使用光源照明的广角相机(为了突出搭配组合，部署于旋屏终端设备上其他不参与工作的相机和红外光源未在图中显示，以下均相同)；

再例如，图1d或图1e所示的搭配组合包括：单(红外)相机、围绕单相机的亮瞳红外光源组、左右对称的暗瞳红外光源组，搭配不使用光源照明的深度相机；

再例如，图1f所示的不需要光源照明的单环境相机；

再例如，图1g或图1h所示的搭配组合：同一方向排列的暗瞳红外光源组1、红外相机1、红外相机2、暗瞳红外光源组2，四者之间间距接近并占满一边。

五，光源闪烁策略：

光源闪烁策略用于指示：光源组中切换不同光源进行照明的频率和切换顺序。

对于一些使用亮暗瞳技术的眼动追踪算法，需要设置切换不同光源进行照明的频率和切换顺序。

仍以光源组2中的3个红外光源1-3为例，切换顺序123与切换顺序132为不一样的光源闪烁策略。

下面将基于以上描述中本发明涉及的共性方面，对本发明实施例做进一步详细说明。

实施例一

为解决上述问题，在本申请实施例一中提供一种针对旋屏终端设备的眼球追踪方法以自适应调节眼动追踪方案进行眼球追踪。请参见图2，该针对旋屏终端设备的眼球追踪方法包括：

S1：确定旋屏终端设备的运行状态。

上述运行状态可包括旋屏终端设备的当前设备姿态、当前负载、剩余电量、当前运行软件的软件类型等。上述当前设备姿态、当前负载、剩余电量、当前运行软件的软件类型也可理解为运行状态参数。

S2：根据上述运行状态，从多个预设的眼球追踪方案中确定出相应的眼球追踪方案。

为称呼方便，可将确定出的眼球追踪方案称为目标眼球追踪方案。

S3：采用目标眼球追踪方案进行眼球追踪。

相较于现有技术，本发明实施例配置了多个预设的眼球追踪方案。在确定出旋屏终端设备实时的运行状态(示例性地包括当前设备姿态)后，可从多个预设的眼球追踪方案中确定出与之相应的眼球追踪方案进行眼球追踪，从而实现了自适应调节眼动追踪方案进行眼球追踪的目的。

实施例二

在实施例一中介绍了运行状态可包括旋屏终端设备的当前设备姿态。

当前设备姿态具体可包括：旋屏终端设备的当前屏幕姿态以及旋屏终端设备与使用者面部之间的相对距离。

其中，旋屏终端设备的当前屏幕姿态包括：旋屏终端设备的屏幕相对于使用者面部的姿态和旋屏终端设备的屏幕本身的姿态中的至少一种。

当前屏幕姿态可通过多种方式确定。

可选的，旋屏终端设备的屏幕相对于使用者面部的姿态通过第一姿态分析方法确定；

可选的，旋屏终端设备的屏幕本身的姿态通过第二姿态分析方法确定；第一姿态分析方法的优先级高于第二姿态分析方法。

下面将具体分别按照实施例介绍第一姿态分析方法、第二姿态分析方法、他们之间的优先级关系以及旋屏终端设备与使用者面部之间的相对距离的具体确定方法。

实施例三

图3即示出了确定旋屏终端设备的当前设备姿态的一种示例性流程可包括：

S31：使用广域相机拍摄包含使用者面部的图像。

广域相机部署于旋屏终端设备上，其示例性的可包括旋屏终端设备的前置摄像头。

S32：从拍摄的图像中获取特定部位的位置数据。

上述特定部位可包括：面部、瞳孔、额头、鼻子、耳朵和嘴中的至少一种。

S33：使用上述位置数据计算广域相机与面部的相对角度。

具体的，可计算广域相机中图像传感器的靶面中心到光心的方向与人脸长度方向之间的夹角，作为广域相机与面部的相对角度。

图4设定靶面的正交方向为x轴、y轴，其中，设定向右的靶面方向为x轴正方向，向上的靶面方向为y轴正方向，设定与xy面垂直向前(也可向后)的方向为z轴正方向，人脸长度方向在该坐标系下的方向则可用一(x,y,z)方向向量表示。

同理，靶面中心到光心的方向也可用一(x,y,z)方向向量表示，对这两方向向量求夹角即可。

在一个示例中，人脸长度方向可为脸部的下巴最低点沿鼻梁到额头的方向。人脸长度方向至少可根据双眼瞳孔、鼻子的位置而确定，此外，也可参考额头、嘴、耳朵的位置。

S34：根据广域相机与屏幕间的位置关系，将相对角度转换为屏幕相对于使用者面部的姿态。

因为广域相机在旋屏终端设备上的位置是固定的，那么广域相机与屏幕间的位置关系也是固定的，因此，可将广域相机与面部的相对角度转换为屏幕相对于使用者面部的姿态。

在一个示例中，屏幕相对于使用者面部的姿态可包括：

1，竖排姿态：

竖排姿态指：屏幕的长边与人脸长度方向(下巴到额头的方向)平行；

举例来讲，使用者在直立状态使用竖屏模式时，屏幕相对于使用者面部的姿态为竖排姿态，或者，使用者在侧卧状态(头、躯干基本在一条直线上)使用横屏模式时，屏幕相对于使用者面部的姿态为竖排姿态。

其中，上述竖屏模式为旋屏终端设备的屏幕长边垂直地面的摆放形式；上述横屏模式为旋屏终端设备的屏幕长边平行地面的摆放形式。

请参见图5a，设定屏幕长边向上方向为y轴正方向，短边向右方向为x轴正方向，设定与xy面垂直向前(也可向后)的方向为z轴正方向，人脸长度方向在该坐标系下的方向则可用一(x,y,z)方向向量表示。

屏幕长边与人脸长度方向间的夹角可在四象限中的任一象限，在一个示例中，若屏幕长边与人脸长度方向间的夹角在0度附近或180度附近，即可当作长边与人脸长度方向平行。

所谓的附近，以0度举例，可设计一个阈值，夹角与0度间的差值小于等于阈值，即可判定在0度附近。

180度附近与之相类似，在此不作赘述。

2，横排姿态：

横排姿态指：整个屏幕与人脸长度方向平行，屏幕长边与人脸长度方向垂直。

举例来讲，使用者在直立状态使用横屏模式时，屏幕相对于使用者面部的姿态为横排姿态。

在一个示例中，请参见图5b，若屏幕长边与人脸长度方向间的夹角在90度附近，或270度附近，即可当作长边与人脸长度方向垂直。

所谓的附近的判定可参见前述介绍，在此不作赘述。

3，斜排姿态：

请参见图5c，斜排姿态指：整个屏幕与人脸长度方向平行或不平行，屏幕长边与人脸长度方向不平行且不垂直，例如，屏幕长边与人脸长度方向夹角为45度(简称斜排)。

需要说明的是，竖排姿态、横排姿态和斜排姿态，均可以屏幕长边与人脸长度方向间的夹角来表示。例如，夹角等于0或180度表示竖排姿态，夹角等于90或270度表示竖排姿态，其他角度表示斜排姿态。

S35：计算旋屏终端设备与使用者面部之间的相对距离。

计算旋屏终端设备与使用者面部之间的相对距离的方式有多种，例如，采用前述介绍的深度图像计算旋屏终端设备与使用者面部之间的相对距离。

再例如，使用旋屏终端设备上设置的距离传感器发射光脉冲，并测量此光脉冲从发射到被物体反射回来的时间，通过测时间间隔来计算旋屏终端设备与面部之间的相对距离。

再例如，基于双目立体视觉的数学原理计算相对距离：由双摄像机从不同角度同时获取面部的两幅图像，两个摄像机的图像平面和面部之间构成三角形。已知两摄像机之间的位置关系，由三角几何关系可计算得到面部各点在摄像机坐标系下的三维坐标，再根据三维坐标即可计算得到相对距离。

本领域技术人员还可选择其他计算旋屏终端设备与面部之间的相对距离的方式，在此不作赘述。

步骤S31-S35可称为第一姿态分析方法。

S36：根据屏幕相对于使用者面部的姿态(即当前屏幕姿态)及相对距离，从多个预设的眼球追踪方案中确定出目标眼球追踪方案。

本文后续将详细介绍如何根据屏幕相对于使用者面部的姿态及相对距离确定出目标眼球追踪方案。

S37：采用目标眼球追踪方案进行眼球追踪。

在本实施例中，通过拍照、分析图像数据的方式来确定旋屏终端设备的屏幕相对于使用者面部的姿态，可适应于使用者在多种状态(直立、侧卧)下使用不同屏幕模式(横屏、竖屏)的场景。

当姿态发生变化时，本发明实施例可依据姿态的变化进行眼球追踪方案间的切换。这样，与采用单一眼球追踪方案相比，本发明实施例在各个设备姿态下的眼球追踪效果优于采用单一眼球追踪方案的效果，提升了用户的体验效果，可促进眼动追踪的推广。

实施例四

在实施例二中介绍了第一姿态分析方法来确定当前设备姿态，本实施例介绍另一种姿态分析方法来确定当前设备姿态。图6示出了一种示例性流程可包括：

S61:获取姿态确定模组输出的当前方位。

姿态确定模组用于计算旋屏终端设备相对于固定坐标系的当前方位。固定坐标系为自定义的坐标系，可以根据需要自行定义，例如：以平行地面正北方为Y轴正方向，正东方为X轴正方向，以垂直地面并远离地面的方向为Z轴正方向。

姿态确定模组包括惯性测量单元(Inertial measurement unit，简称IMU)是旋屏终端设备内置的测量设备三轴姿态角(或角速率)以及加速度的装置。一般的，一个IMU包含了三个单轴的加速度计和三个单轴的陀螺，加速度计检测物体在载体坐标系统独立三轴的加速度信号，而陀螺检测载体相对于坐标系的角速度信号，测量物体在三维空间中的角速度和加速度，并以此解算出物体的姿态，即当前方位。

S62：根据当前方位，确定屏幕本身的姿态。

具体的，旋屏终端设备内置的姿态确定模组可以监测到设备当前的摆放姿态，例如相对于地面而言(假设地面为一个平面)，旋屏终端设备的屏幕垂直地面，并且短边与地面的夹角在0度或者180度附近时，则确定设备屏幕本身的姿态为竖排姿态；旋屏终端设备的屏幕垂直地面，并且短边与地面的夹角在90度或者270度附近时，则确定设备屏幕本身的姿态为横排姿态；旋屏终端设备的屏幕垂直地面，并且短边与地面的夹角在45度或者135度附近时，则确定设备屏幕本身的姿态为斜排姿态。所谓的附近，以0度举例，可设计一个阈值，夹角与0度间的差值小于等于阈值，即可判定在0度附近。

90度、180度和270度附近与之相类似，在此不作赘述。

也可以定义：旋屏终端设备的屏幕垂直地面的情况下，如果设备不属于横排姿态也不属于竖排姿态则判定设备为斜排姿态。

S63：计算旋屏终端设备与使用者面部之间的相对距离。

可采用多种方式计算旋屏终端设备与使用者面部之间的相对距离，在此不作赘述。

步骤S61-S63可称为第二姿态分析方法。

S64：根据屏幕本身的姿态(即当前屏幕姿态)及相对距离，从多个预设的眼球追踪方案中确定出目标眼球追踪方案。

本文后续将详细介绍如何根据屏幕相对于使用者面部的姿态及相对距离确定出目标眼球追踪方案。

S65：采用目标眼球追踪方案进行眼球追踪。

在本实施例中，是直接根据姿态确定模组输出的数据来确定使用姿势。相对于实施例三的拍照方式，姿态确定模组的分析方法不需要拍摄和分析图片，在用户直立的情况下，计算结果比较准确，因此不需要终端设备安装其他的计算软件，更便捷，节省算力。

实施例五

姿态确定模组的分析方法虽然更便捷，但其有不适用的场景，例如，请参见图7a，使用者在侧卧状态(头、躯干基本在一条直线上且平行地面)采用竖排姿态(终端屏幕长边与人脸长度方向平行)使用终端设备时，根据姿态确定模组输出的当前方位确定出的屏幕为横排姿态(因为屏幕短边与地面垂直)，但其实应该为竖排姿态(因为屏幕的长边与人脸长度方向平行)。

为此，当设备同时具备第一姿态分析方法和第二姿态分析方法时，本实施例对第一姿态分析方法和第二姿态分析方法的优先级进行了限定，对旋屏终端设备的当前设备姿态进行确定。请参见图7b，其示例性的包括如下流程：

S71:若旋屏终端设备同时具备第一姿态分析方法和第二姿态分析方法，则根据所述第一姿态分析方法对所述旋屏终端设备的当前屏幕姿态进行确定；

前述提及了，姿态确定模组在一些特殊场景下不适用，因此，若旋屏终端设备同时具备第一姿态分析方法和第二姿态分析方法，则第一姿态姿态确定方法是更可信的，所以将优先使用所述第一姿态分析方法对所述旋屏终端设备的当前屏幕姿态进行确定。

S72：计算旋屏终端设备与使用者面部之间的相对距离。

计算旋屏终端设备与使用者面部之间的相对距离的方式有多种，例如，采用前述介绍的深度图像计算旋屏终端设备与面部之间的相对距离。

再例如，使用旋屏终端设备上设置的距离传感器发射光脉冲，并测量此光脉冲从发射到被物体反射回来的时间，通过测时间间隔来计算旋屏终端设备与面部之间的相对距离。

再例如，基于双目立体视觉的数学原理计算相对距离：由双摄像机从不同角度同时获取面部的两幅图像，两个摄像机的图像平面和面部之间构成三角形。已知两摄像机之间的位置关系，由三角几何关系可计算得到面部各点在摄像机坐标系下的三维坐标，再根据三维坐标即可计算得到相对距离。

本领域技术人员可参考现有方式计算旋屏终端设备与面部之间的相对距离，在此不作赘述。

S73：根据所述旋屏终端设备的当前屏幕姿态及相对距离，从多个预设的眼球追踪方案中确定出目标眼球追踪方案。

本文后续将详细介绍如何根据屏幕相对于使用者面部的姿态及相对距离确定出目标眼球追踪方案。

S74：采用目标眼球追踪方案进行眼球追踪。

可见，在本实施例中，在设备同时具备第一姿态分析方法和第二姿态分析方法时，优先使用第一姿态分析方法对旋屏终端设备的当前屏幕姿态进行确定，可适应于使用者在多种状态(直立、侧卧)下使用不同屏幕模式(横屏、竖屏)的场景。

实施例六

除了优先使用第一姿态分析方法外，还可用另外的处理方式体现第一姿态分析方法的优先级，请参见图7c，其示例性的包括如下流程：

S701：使用第一姿态分析方法确定当前屏幕姿态(可称为第一姿态)；

如何确定请参见前述实施例三的记载，在此不作赘述。

S702：使用第二姿态分析方法确定当前屏幕姿态(可称为第二姿态)；

如何确定请参见前述实施例四的记载，在此不作赘述。

S703：比较第一姿态和第二姿态。

S704：若第一姿态和第二姿态相同，将第二姿态确定为最终的当前屏幕姿态。

在二者相同的情况下，第二姿态分析方法得到的数据更为精确，所以以第二姿态为准。

S705：若第一姿态和第二姿态不同，将第一姿态确定为最终的当前屏幕姿态。

此处体现了第一姿态分析方法的优先级。

S706：计算旋屏终端设备与使用者面部之间的相对距离。

可采用多种方式计算旋屏终端设备与使用者面部之间的相对距离，在此不作赘述。

S707：根据最终的当前屏幕姿态及相对距离，从多个预设的眼球追踪方案中确定出目标眼球追踪方案。

本文后续将详细介绍如何根据屏幕的当前姿态及相对距离确定出目标眼球追踪方案。

S708：采用目标眼球追踪方案进行眼球追踪。

可见，在本实施例中，结合了两种分析方法的优势，令得到的姿态更为准确。

实施例七

本实施例将重点介绍，如何根据旋屏终端设备的当前设备姿态来确定目标眼球追踪方案。

请参见图8，其可包括如下步骤：

S81：确定旋屏终端设备的当前屏幕姿态及当前相对距离。

如何确定当前屏幕姿态及当前相对距离请参考实施例二至六，在此不作赘述。

S82：从多个预设的眼球追踪方案中确定出与上述当前相对距离和当前屏幕姿态均适配的目标眼球追踪方案。

前述提及了，不同的眼球追踪方案在设备使用策略和眼动追踪算法的至少一方面不同。因此，在确定目标眼球追踪方案的过程中，包含了对眼动追踪算法的确定，以及对设备使用策略的确定，下面一一介绍：

在确定眼动追踪算法方面，有些眼动追踪算法有其适宜的距离，太近或太远其效果都无法达到最好。

因此，在一个示例中，可根据计算得到的当前相对距离，从多个眼动追踪算法中确定出与计算得到的当前距离相适配的眼动追踪算法。

举例来讲，假定计算得到的相对距离为A，有眼动追踪算法a-c的相对距离范围与之相匹配，也即，相对距离A落入眼动追踪算法a-c的相对距离范围内，则眼动追踪算法a-c为备选算法，可进一步从眼动追踪算法a-c中确定出最终采用的眼动追踪算法。

在确定最终的眼动追踪算法时，可随机确定，也可对各眼动追踪算法设置优先级，根据优先级由高到低从选择备选算法中选择，或者，根据其他运行状态参数确定(本文后续将进行介绍)。

对于设备使用策略，本实施例重点介绍相机使用策略和光源使用策略。

设备使用策略是为眼动追踪算法服务的。

以竖排姿态为例，对于基于瞳孔-角膜反射法(PCCR)的眼动追踪算法，使用部署在某一位置的相机和光源，与部署于其他位置的相机和光源相比，拍摄效果更好，更易形成光斑。

例如，以基于明暗瞳技术的眼动算法为例，在竖排姿态下，请参见图9a，若人脸长度方向与屏幕长边的当前夹角为0度，选择红外相机1、暗瞳红外光源组3、暗瞳红外光源组4和亮瞳红外光源组1更不易被眼皮遮挡，更易拍摄到带有光斑的眼部图像。

同理，请参见图9b，若人脸长度方向与屏幕长边当前夹角为180度，选择红外相机2、暗瞳红外光源组1、暗瞳红外光源组2和亮瞳红外光源组2更不易被眼皮遮挡，更易拍摄到带有光斑的眼部图像。

再例如，在横排姿态下，请参见图9c，若人脸长度方向与屏幕长边当前夹角为90度，选择红外相机4、暗瞳红外光源组1、暗瞳红外光源组3和亮瞳红外光源组4更不易被眼皮遮挡，更易拍摄到带有光斑的眼部图像。

类似，若人脸长度方向与屏幕长边当前夹角为270度，选择红外相机3、暗瞳红外光源组2、暗瞳红外光源组4和亮瞳红外光源组3更不易被眼皮遮挡，更易拍摄到带有光斑的眼部图像。

对于斜排姿态，可根据屏幕长边与人脸长度方向的当前夹角，判定其更接近0、180、80、270度的哪一角度，然后可根据最接近的角度，确定相应的相机和红外光源组。

当然，对于仅需使用环境相机的眼动追踪算法而言，则不必选择红外光源照明。

S83：采用目标眼球追踪方案进行眼球追踪。

需要说明的是，以竖排姿态和横排姿态为例，竖排姿态和横排姿态下拍摄的图像的分辨率是不同的，并且，使用者的眼球特性数据在竖排姿态和横排姿态也是不同的。

因此，最终采用的眼动追踪算法，需要根据当前姿态对算法参数(例如分辨率、眼球特性数据)进行微调。

可见，在本实施例中，在获取到屏幕相对于使用者面部的当前姿态及当前相对距离，可从多个预设的眼球追踪方案中确定出与上述相对距离和姿态均适配的目标眼球追踪方案。这样，若与前一次获取的姿态和相对距离相比，本次获取的姿态和/或相对距离发生变化时，本实施例可依据其变化进行眼球追踪方案间的切换。这样，与采用单一眼球追踪方案相比，本发明实施例在各个设备姿态下的眼球追踪效果优于采用单一眼球追踪方案的效果，提升了用户的体验效果，可促进眼动追踪的推广。

实施例八

本实施例将重点介绍，如何根据旋屏终端设备的当前负载来确定目标眼球追踪方案。

请参见图10，其示例性的可包括如下步骤：

S101：确定旋屏终端设备的当前设备姿态，并确定出与当前设备姿态适配的至少一个眼球追踪方案(备选方案)。

如何确定当前设备姿态，以及确定出与当前设备姿态适配的至少一个眼球追踪方案，可参见前述的S81和S82，在此不作赘述。

S102：确定旋屏终端设备的当前负载。

在一个示例中，当前负载具体可指旋屏终端设备的控制器(例如CPU)的负载，负载可用CPU占用率衡量。

步骤S102和S101可并行执行，也可顺序执行。

S103：当当前负载高于预设负载阈值时，从与当前设备姿态对应的至少一个眼球追踪方案(备选方案)中，确定出系统资源负载最低的眼球追踪方案作为目标眼球追踪方案。

假定预设负载阈值为0.7，则在当前负载高于0.7时，从备选方案中确定出系统资源负载最低的眼球追踪方案。

具体的，算法帧率越高，对负载的影响越大，因此，可从备选方案中选择算法帧率最低的一个方案作为目标眼球追踪方案。

具体的，可从多种算法帧率中选择最低的算法帧率最低的眼动追踪算法，确定相应的相机使用策略和光源使用策略后，从而得到目标眼动追踪方案。

当然，若当前负载未超过预设负载阈值，则可选择预设算法帧率，或性能最优的眼动追踪算法。

此外，相机分辨率、相机帧率、算法精度需求等也会影响CPU负载，因此可综合考虑，选择负载最低的眼球追踪方案。

S104：采用目标眼球追踪方案进行眼球追踪。

S104与前述的S83相同，在此不作赘述。

可见，在本实施例中，结合当前设备姿态和当前负载，从多个预设的眼球追踪方案中确定出适配的目标眼球追踪方案。若当前负载超过负载阈值(也即负载过重)，可选择负载最低的眼动追踪方案为目标眼动追踪方案，以尽可能降低设备负载。

实施例九

本实施例将重点介绍，如何根据旋屏终端设备的剩余电量来确定目标眼球追踪方案。

请参见图11，其示例性的可包括如下步骤：

S111：确定旋屏终端设备的当前设备姿态，并确定出与当前设备姿态适配的至少一个眼球追踪方案。

如何确定当前设备姿态，以及确定出与当前设备姿态适配的至少一个眼球追踪方案，可参见前述的S81和S82，在此不作赘述。

S112：确定旋屏终端设备的剩余电量。

剩余电量可以百分比形式表现。

步骤S112和S111可并行执行，也可顺序执行。

S113：当剩余电量低于预设电量阈值时，从与当前设备姿态对应的至少一个眼球追踪方案(备选方案)中，确定出用电需求最小的作为目标眼球追踪方案。

假定预设电量阈值为30％，则当剩余电量低于30％时，从备选方案中确定出用电需求最小的眼球追踪方案。

具体的，红外光源的使用和相机的使用对用电量影响较大，因此，在一个示例中，可从备选方案中选择红外光源最少、目标相机个数最少的一个方案作为目标眼球追踪方案，或者，若备选方案中有使用环境相机的眼球追踪方案，可将使用环境相机的眼球追踪方案作为目标眼球追踪方案。

此外，相机分辨率、相机帧率、算法处理帧率，算法精度需求等影响CPU负载的部分也会影响耗电量，因此可综合考虑，选择耗电量最低的眼球追踪方案。

当然，若剩余电量大于预设电量阈值，则可从备选方案中随机选择，或根据优先级由高至低选择，或根据其他参数(例如当前负载)以及优先级确定出最优的目标眼球追踪方案。

如何根据当前负载确定出目标眼球追踪方案可参见本文前述记载，在此不作赘述。

S114：采用目标眼球追踪方案进行眼球追踪。

S114与前述的S83相同，在此不作赘述。

可见，在本实施例中，结合当前设备姿态和剩余电量，从多个预设的眼球追踪方案中确定出适配的目标眼球追踪方案。若剩余电量低于预设电量阈值(也即剩余电量过低)，可选择用电量最小的眼动追踪方案为目标眼动追踪方案，以尽可能减少用电量。

实施例十

本实施例将重点介绍，如何根据旋屏终端设备的当前运行软件的软件类型来确定目标眼球追踪方案。

请参见图12，其示例性的可包括如下步骤：

S121：确定旋屏终端设备的当前设备姿态，并确定出与当前设备姿态适配的至少一个眼球追踪方案。

如何确定当前设备姿态，以及确定出与当前设备姿态适配的至少一个眼球追踪方案，可参见前述的S81和S82，在此不作赘述。

S122：确定旋屏终端设备中当前运行软件的软件类型。

在一个示例中，软件类型可包括：游戏、阅读、浏览器、学习或视频等。

或者，软件类型可以软件对定位精度的等级表示，例如，分为低、中、高精度等级类型。

步骤S122和S121可并行执行，也可顺序执行。

S123：从与当前设备姿态对应的至少一个眼球追踪方案(备选方案)中，确定出满足上述软件类型的精度要求的眼球追踪方案作为目标眼球追踪方案。

在一个示例中，以软件类型包括：游戏、阅读、浏览器等为例，一般而言，游戏、阅读对定位的精度要求较高，使用浏览器浏览时对定位的精度要求较低，因此，可根据不同软件类型的精度要求确定目标眼球追踪方案。

在另一个示例中，可不根据软件性质分类，而是根据精度需求等级进行分类，也即，使用精度需求等级作为软件类型。

可使用量化的指标来表征不同的精度需求等级。指标示例性的可包括：可采用计算的视线方向与真实的视线方向的夹角、图标级等。

以夹角为例，可以0.5度、2度等表征不同的精度需求等级。

以图标级为例，以屏幕可部署的图标个数表征不同的精度需求等级。例如，4*5(横轴方向放置4个，竖轴方向放置5个)、8*10等表征不同的精度需求等级。

相应的，可根据当前运行软件的精度需求等级，确定符合其精度需求等级的眼球追踪算法及相适配的设备使用策略。

除考虑软件类型外，若剩余电量低于预设电量阈值，还可结合剩余电量选择硬件上用电量低的眼动追踪算法和设备使用策略，或者，负载过重，还可选择硬件上负载最小的眼动追踪算法和设备使用策略等，在此不作赘述。

S124：采用目标眼球追踪方案进行眼球追踪。

S124与前述的S83相同，在此不作赘述。

可见，在本实施例中，结合当前设备姿态和当前运行软件的精度要求，从多个预设的眼球追踪方案中确定出适配的目标眼球追踪方案，以达到更好的使用体验。

在本发明其他实施例中，还可为各运行状态参数设置优先级，按照优先级确定目标眼球追踪方案。

示例性的，假定软件类型的精度要求优先级最高，可先根据当前运行软件的软件类型的精度要求确定适配的备选方案。

当前设备姿态优先级次之，可从备选方案中根据当前设备姿态进一步缩小备选方案的范围，或根据当前设备姿态从备选方案中确定出目标眼球追踪方案。

剩余电量次之，若剩余电量过低，则从满足精度要求和当前设备姿态的备选方案中选出用电量最小的方案。

负载次之，若无剩余电量过低的问题而存在负载过重的问题，则可从满足精度要求和当前设备姿态的备选方案中选出负载最低的方案。

根据设备的各运行状态参数设置优先级，从而从多个预设的眼球追踪方案中确定出适配的目标眼球追踪方案，使目标眼球追踪方案更加智能和有效，以达到更好的使用体验。

实施例十一

本实施例将重点介绍，如何采用目标眼球追踪方案进行眼球追踪。图13示出了一种示例性流程可包括：

S131：确定旋屏终端设备的运行状态。

相关内容请参见本文前述介绍，在此不作赘述。

S132：根据上述运行状态，从多个预设的眼球追踪方案中确定出目标眼球追踪方案。

相关内容请参见本文前述介绍，在此不作赘述。

为称呼方便，将目标眼球追踪方案中的设备使用策略所指示的照明设备称为目标照明设备，所指示的功率为目标功率，所指示的照明强度为目标照明强度；

将目标眼球追踪方案中的相机使用策略称为相机使用目标策略，光源闪烁策略称为光源闪烁目标策略，眼动追踪算法为目标眼动追踪算法。

S133：控制目标照明设备采用目标功率、目标照明强度和光源闪烁目标策略进行照明；

举例来讲，目标光源包括红外光源1和红外光源2，目标功率为A，目标照明强度为B，切换不同光源进行照明的频率为C。

则红外光源1和红外光源2以频率C交替明灭，在照明时，红外光源1或红外光源2的功率为A，照明强度为B。

S134：控制目标相机根据“相机使用目标策略”实时采集图像。

假定相机使用目标策略中设置的帧率为30FPS，则控制目标相机以每秒30帧的帧率拍摄视频序列。

S135：使用目标眼动追踪算法，从采集的图像中提取特征数据，并根据特征数据计算得到注视信息。

特征数据可包括：瞳孔位置、瞳孔形状、虹膜位置、虹膜形状、眼皮位置、眼角位置、光斑位置等等。

不同的眼动追踪算法对于特征数据的种类可能有不同的要求，例如，根据瞳孔位置形态的眼动追踪算法，通过瞳孔的主轴方向、瞳孔位置来计算注视信息。则该算法需要提取的特征数据包括瞳孔的主轴方向、瞳孔位置、瞳孔长轴长度瞳孔短轴长度等。此种算法仅需要环境相机拍摄即可。

再例如，某一种特征向量拟合法，其工作原理是：

提取瞳孔的中心位置、左眼角中心位置和右眼角的中心位置；

将瞳孔中心位置减去左眼角中心位置作为特征向量A；

将瞳孔中心位置减去右眼角中心位置作为特征向量B。

构建向量A、向量B与注视点间的映射函数(若干方程组)。

基于给定的特征向量A和B，以及已知的注视信息，进行多项式拟合，以得到映射函数中的未知系数(未知系数的求解可在校准过程中完成)。

在得到未知系数后，再将当前提取的特征向量输入映射函数，即可得到当前的注视点(此过程为跟踪过程)。

对于上述特征向量拟合法，其需要提取的特征数据包括孔中心位置、左眼角中心位置和右眼角的中心位置。

由于眼动追踪算法种类很多，在此不再一一赘述。

实施例十二

本实施例提供一种针对旋屏终端设备的眼球追踪装置，参见图14，该装置包括：

确定单元1，用于确定旋屏终端设备的运行状态；运行状态至少包括旋屏终端设备的当前设备姿态；

选择单元2，用于根据运行状态，从多个预设的眼球追踪方案中确定出相应的眼球追踪方案；确定出的眼球追踪方案为目标眼球追踪方案；

追踪单元3，用于采用目标眼球追踪方案进行眼球追踪。

本发明实施例涉及的眼球追踪装置部署于旋屏终端设备中，可根据旋屏终端设备的运行状态确定出适宜的眼球追踪方案，并采用确定出的眼球追踪方案进行眼球追踪。

具体内容请参见前述记载，在此不作赘述。

在一个示例中，旋屏终端设备具有多种设备姿态，每一种设备姿态对应至少一个眼球追踪方案。

在根据运行状态，从多个预设的眼球追踪方案中确定出相应的眼球追踪方案的方面，上述选择单元2具体用于：

从与当前设备姿态对应的至少一个眼球追踪方案中，确定出目标眼球追踪方案。

具体内容请参见前述记载，在此不作赘述。

在另一个示例中，上述运行状态还包括：旋屏终端设备的当前负载。

在从与当前设备姿态对应的至少一个眼球追踪方案中，确定出目标眼球追踪方案的方面，上述选择单元2具体用于：

当当前负载高于预设负载阈值时，从与当前设备姿态对应的至少一个眼球追踪方案中，确定出系统资源负载最低的眼球追踪方案。

具体内容请参见前述记载，在此不作赘述。

在又一个示例中，上述运行状态还包括：旋屏终端设备的剩余电量。

在从与当前设备姿态对应的至少一个眼球追踪方案中，确定出目标眼球追踪方案的方面，上述选择单元2具体用于：

当剩余电量低于预设电量阈值时，从与当前设备姿态对应的至少一个眼球追踪方案中，确定出用电需求最小的眼球追踪方案。

具体内容请参见前述记载，在此不作赘述。

在又一个示例中，上述运行状态还包括：旋屏终端设备中当前运行软件的软件类型。

在从与当前设备姿态对应的至少一个眼球追踪方案中，确定出目标眼球追踪方案的方面，上述选择单元2具体用于：

从与当前设备姿态对应的至少一个眼球追踪方案中，确定出满足软件类型的精度要求的眼球追踪方案。

具体内容请参见前述记载，在此不作赘述。

在又一个示例中，上述不同的眼球追踪方案，在如下一个或多个方面不相同：

设备使用策略；

眼动追踪算法；

其中，眼动追踪算法用于计算注视信息。

具体内容请参见前述记载，在此不作赘述。

在又一个示例中，上述设备使用策略包括光源使用策略，光源闪烁策略，相机使用策略，相机帧率设定策略，以及，相机分辨率设定策略中的至少一种；

其中：

光源使用策略用于指示：光源设备、光源设备的功率和照明强度；光源设备包括光源或光源组；

光源闪烁策略用于指示：光源组中切换不同光源进行照明的频率和切换顺序；

相机使用策略用于指示：相机组的使用状态；相机组包括至少一个目标相机；目标相机包括用于拍摄眼图的相机和深度相机中的至少一种；

相机帧率设定策略用于指示：目标相机的帧率；

相机分辨率设定策略用于指示：目标相机的分辨率。

具体内容请参见前述记载，在此不作赘述。

在又一个示例中，上述目标眼球追踪方案中光源使用策略所指示的照明设备为目标照明设备，所指示的功率为目标功率，所指示的照明强度为目标照明强度；

目标眼球追踪方案中的相机使用策略为相机使用目标策略；

目标眼球追踪方案中的光源闪烁策略为光源闪烁目标策略；

目标眼球追踪方案中的眼动追踪算法为目标眼动追踪算法；

在采用目标眼球追踪方案进行眼球追踪的方面，上述追踪单元3具体用于：

控制目标照明设备采用目标功率、目标照明强度和光源闪烁目标策略进行照明；

控制相机组中的目标相机使用“相机使用目标策略”实时采集图像；

使用目标眼动追踪算法，从采集的图像中提取特征数据，并根据特征数据计算得到注视信息。

具体内容请参见前述记载，在此不作赘述。

在又一个示例中，当前设备姿态包括：所述旋屏终端设备的当前屏幕姿态以及旋屏终端设备与使用者面部之间的相对距离。

具体内容请参见前述记载，在此不作赘述。

在又一个示例中，旋屏终端设备的屏幕相对于使用者面部的姿态通过第一姿态分析方法确定；

第一姿态分析方法包括：

使用广域相机拍摄包含使用者面部的图像；

从图像中获取特定部位的位置数据；特定部位包括：面部、瞳孔、额头、鼻子、耳朵和嘴中的至少一种；

使用位置数据计算广域相机与面部的相对角度；

根据广域相机与屏幕间的位置关系，将相对角度转换为屏幕相对于使用者面部的姿态。

具体内容请参见前述记载，在此不作赘述。

在又一个示例中，旋屏终端设备的屏幕本身的姿态通过第二姿态分析方法确定；

第二姿态分析方法包括：

获取姿态确定模组输出的当前方位；

根据当前方位，确定屏幕本身的姿态。

具体内容请参见前述记载，在此不作赘述。

在又一个示例中，旋屏终端设备的当前屏幕姿态通过如下方式确定；

若旋屏终端设备同时具备第一姿态分析方法和第二姿态分析方法，则根据所述第一姿态分析方法对所述旋屏终端设备的当前屏幕姿态进行确定；

具体内容请参见前述记载，在此不作赘述。

实施例十三

本发明实施例提供了一种存储介质，该存储介质中存储有计算机可执行指令，计算机可执行指令被处理器加载并执行时，实现实施例一至九任一项所述的针对旋屏终端设备的眼球追踪方法的步骤。

实施例十四

本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行实施例一至九中任一项所述的针对旋屏终端设备的眼球追踪方法步骤。

实施例十五

本发明实施例提供一种旋屏终端设备，该设备包括处理器、存储器以及存储在存储器上并可在处理器上运行的程序，处理器执行程序时，可执行实施例一至九中任一项所述的针对旋屏终端设备的眼球追踪方法步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。