视线追踪方法、头戴显示设备及计算机可读存储介质

技术领域

本发明涉及可穿戴设备技术领域，尤其涉及一种视线追踪方法、头戴显示设备及计算机可读存储介质。

背景技术

VR(Virtual Reality，虚拟现实)设备或者AR(Augmented Reality，增强现实)设备等头戴显示设备，是目前正在快速发展和普及的虚拟现实和增强现实产品。

目前，头戴显示设备进行视线追踪的主流技术是基于图像处理的眼球跟踪与视线检测技术，该技术实时计算并记录眼睛所看的位置，而头戴显示设备主要基于暗瞳技术，并以角膜反光点作为参考点计算瞳孔-角膜反光点矢量对人眼视线进行追踪，存在以下问题：由于左右眼分别对应一个眼球追踪模块，并且在两个眼球追踪模块中均采用相同的光源，导致在标定或者使用时，两个眼球追踪模块中的光源发出的光线会相互干扰，使得计算结果的误差增大，从而造成对用户视线进行追踪识别的准确率较低。

发明内容

本发明的主要目的在于提供一种视线追踪方法、头戴显示设备及计算机可读存储介质，旨在解决目前头戴显示设备中两个眼球追踪模块的光源发出的光线容易相互干扰，影响视线追踪精度的技术问题。

为实现上述目的，本发明提供一种视线追踪方法，所述视线追踪方法包括：

所述视线追踪方法应用于头戴显示设备，所述头戴显示设备包括左眼明瞳追踪组件、左眼暗瞳追踪组件、右眼明瞳追踪组件和右眼暗瞳追踪组件，所述方法包括：

控制所述左眼明瞳追踪组件和所述左眼暗瞳追踪组件之间交替运行，以交替采集左眼明瞳图像和左眼暗瞳图像；根据交替采集的左眼明瞳图像和左眼暗瞳图像，对左眼视线进行追踪定位；

控制所述右眼明瞳追踪组件和所述右眼暗瞳追踪组件之间交替运行，以交替采集右眼明瞳图像和右眼暗瞳图像；根据交替采集的右眼明瞳图像和右眼暗瞳图像，对右眼视线进行追踪定位；

其中，所述左眼明瞳图像和右眼暗瞳图像在同一采集周期进行采集，所述左眼暗瞳图像和所述右眼明瞳图像在同一采集周期进行采集。

可选地，所述根据交替采集的左眼明瞳图像和左眼暗瞳图像，对左眼视线进行追踪定位的步骤之前包括：

对相邻采集周期采集的左眼明瞳图像和左眼暗瞳图像进行眼球特征的识别，得到左眼明瞳眼球特征和左眼暗瞳眼球特征，其中，所述眼球特征包括瞳孔中心位置、瞳孔形状、虹膜位置、虹膜形状和光斑位置中的至少一种；

将所述左眼明瞳眼球特征和所述左眼暗瞳眼球特征进行特征匹配，得到特征匹配程度；

若所述特征匹配程度大于预设程度阈值，则执行：所述根据交替采集的左眼明瞳图像和左眼暗瞳图像，对左眼视线进行追踪定位的步骤。

可选地，所述将所述左眼明瞳眼球特征和所述左眼暗瞳眼球特征进行特征匹配，得到特征匹配程度的步骤之后，还包括：

若所述特征匹配程度小于或等于预设程度阈值，则对左眼明瞳图像进行图像识别，确定所述左眼明瞳图像对应的明瞳采集干扰程度，并对左眼暗瞳图像进行图像识别，确定左眼暗瞳图像对应的暗瞳采集干扰程度；

若所述明瞳采集干扰程度大于所述暗瞳采集干扰程度第一预设程度值，则通过所述左眼暗瞳图像对所述左眼明瞳图像进行校正；根据左眼暗瞳图像，以及校正后的左眼明瞳图像，对左眼视线进行追踪定位；

若所述明瞳采集干扰程度小于所述暗瞳采集干扰程度第二预设程度值，则通过所述左眼明瞳图像对所述左眼暗瞳图像进行校正；根据左眼明瞳图像，以及校正后的左眼暗瞳图像，对左眼视线进行追踪定位。

可选地，所述通过所述左眼暗瞳图像对所述左眼明瞳图像进行校正的步骤包括：

获取所述左眼暗瞳图像对应的左眼暗瞳眼球特征，以及所述左眼明瞳图像对应的左眼明瞳眼球特征；

将第一预设权重的所述左眼暗瞳眼球特征与第二预设权重的所述左眼明瞳眼球特征进行和值计算，得到融合眼球特征，其中，所述第一预设权重大于所述第二预设权重，且所述第一预设权重与所述第二预设权重的和等于一；

将所述融合眼球特征关联的明瞳图像，作为校正后的左眼明瞳图像。

可选地，所述对左眼明瞳图像进行图像识别，确定所述左眼明瞳图像对应的明瞳采集干扰程度的步骤包括：

对左眼明瞳图像进行图像识别，确定所述左眼明瞳图像中瞳孔大小和/或虹膜颜色的深浅度；

根据所述左眼明瞳图像中瞳孔大小和/或虹膜颜色的深浅度，确定所述左眼明瞳图像对应的明瞳采集干扰程度。

可选地，所述对左眼暗瞳图像进行图像识别，确定左眼暗瞳图像对应的暗瞳采集干扰程度的步骤包括：

对左眼暗瞳图像进行图像识别，确定所述左眼暗瞳图像中睫毛的遮盖度和/或虹膜颜色的深浅度；

根据所述左眼暗瞳图像中睫毛的遮盖度和/或虹膜颜色的深浅度，确定所述左眼暗瞳图像对应的暗瞳采集干扰程度。

可选地，所述根据交替采集的左眼明瞳图像和左眼暗瞳图像，对左眼视线进行追踪定位的步骤包括：

根据交替采集的左眼明瞳图像和左眼暗瞳图像，动态识别出左眼瞳孔中心位置和左眼光斑位置；

根据所述左眼瞳孔中心位置和所述左眼光斑位置，确定左眼对应的瞳孔中心与光斑之间的相对位置矢量；

从预设的左眼数据映射库中，查询得到所述相对位置矢量映射的左眼视线方向，以对左眼视线进行追踪定位。

可选地，所述方法还包括：

在预设显示位置显示预设校准标识；

控制所述左眼明瞳追踪组件和所述左眼暗瞳追踪组件的工作状态，识别用户注视所述预设校准标识时左眼对应瞳孔中心与光斑之间的左眼校准矢量；

根据用户注视所述预设显示位置对应的左眼视线方向，确定左眼校准视线方向；

建立所述左眼校准矢量和所述左眼校准视线方向的映射关系，根据所述左眼校准矢量和所述左眼校准视线方向的映射关系，对预先标定的左眼矢量映射库进行校准；

将校准后的左眼矢量映射库，作为预设的左眼矢量映射库。

为实现上述目的，本发明提供一种头戴显示设备，所述头戴显示设备应用于如上述的视线追踪方法，所述头戴显示设备包括：

左眼视线追踪装置，包括左眼明瞳追踪组件和左眼暗瞳追踪组件，所述左眼明瞳追踪组件包括属于同一光学路径上的第一光源和第一图像采集装置，所述左眼暗瞳追踪组件包括属于不同光学路径上的第二光源和第二图像采集装置，所述左眼暗瞳追踪组件和所述左眼明瞳追踪组件设置为分时开启运行；

右眼视线追踪装置，包括右眼明瞳追踪组件和右眼暗瞳追踪组件，所述右眼明瞳追踪组件包括属于同一光学路径上的第三光源和第三图像采集装置，所述右眼暗瞳追踪组件包括属于不同光学路径上的第四光源和第四图像采集装置，所述右眼暗瞳追踪组件和所述右眼明瞳追踪组件设置为分时开启运行；

其中，所述左眼暗瞳追踪组件和所述右眼明瞳追踪组件设置为在同一采集周期开启运行，所述左眼明瞳追踪组件和所述右眼暗瞳追踪组件设置为在同一采集周期开启运行。

此外，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有视线追踪程序，所述计算机可读存储介质上存储有视线追踪程序，所述视线追踪程序被处理器执行时实现如上所述视线追踪方法的步骤。

本申请的技术方案是通过控制左眼明瞳追踪组件和左眼暗瞳追踪组件之间交替运行，以交替采集左眼明瞳图像和左眼暗瞳图像，根据交替采集的左眼明瞳图像和左眼暗瞳图像，对左眼视线进行追踪定位，并控制右眼明瞳追踪组件和右眼暗瞳追踪组件之间交替运行，以交替采集右眼明瞳图像和右眼暗瞳图像，再根据交替采集的右眼明瞳图像和右眼暗瞳图像，对右眼视线进行追踪定位，其中，左眼明瞳图像和右眼暗瞳图像在同一采集周期进行采集，左眼暗瞳图像和所述右眼明瞳图像在同一采集周期进行采集，从而通过明瞳追踪和暗瞳追踪，实现分方法、分时的视线追踪，减小追踪过程中左右眼光源相互干扰的因素。

同时，由于采用单一的追踪方式存在较多缺陷，例如暗瞳追踪时，识别的准确性容易受睫毛、眼斑、眼镜框等障碍物影响，而明瞳追踪时，摄像头需要识别亮色的瞳孔，识别的准确性容易受瞳孔大小等因素影响，而本申请基于交替帧不同的追踪方式(明瞳追踪和暗瞳追踪)，通过对比前后两帧图像，对双眼视线方向进行追踪定位，这样使得每只眼睛均包括明瞳图像和暗瞳图像，从而可以融合明瞳图像和暗瞳图像各自对视线方向进行追踪定位的优点，尽量消除明瞳图像和暗瞳图像的缺陷，从而增加了识别的准确率。同时由于在某一帧中，左右眼的视线追踪方式不同，因此可以极大地降低两只眼睛出现光源互相干扰的情况，进一步提升了视线追踪的准确性，进而解决对于视线追踪的准确性和易受干扰的问题，本申请通过暗瞳追踪和明瞳追踪两种方式，从硬件和软件两方面结合提出解决办法，进一步减小对芯片算力的需求，提升识别准确率。

相比于传统技术中基于暗瞳技术，在左右眼对应的眼球追踪模块(即为左眼暗瞳追踪组件和右眼暗瞳追踪组件)中分别各自采用一组光源，导致在标定或者使用时，两组光源发出的光线容易相互干扰情况(特别是佩戴近视眼镜的用户，使其计算结果的误差增大，影响眼球追踪的位置精度的问题)，本申请通过在每一特定帧中，左眼暗瞳追踪组件和右眼暗瞳追踪组件各自对应的光源仅能点亮一个，且在每一特定帧中左眼明瞳追踪组件和右眼明瞳追踪组件各自对应的光源也仅能点亮一个，降低两只眼睛出现光源相互干扰的情况，从而减小视线定位误差、提高追踪精度，为用户提供更完美的虚拟现实沉浸体验，进而解决目前头戴显示设备中两个眼球追踪模块的光源发出的光线容易相互干扰，影响视线追踪精度的技术问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明视线追踪方法第一实施例的流程示意图；

图2为本发明视线追踪方法第二实施例的流程示意图；

图3为本申请一实施例中单眼明瞳图像的示意图；

图4为本申请一实施例中单眼暗瞳图像的示意图；

图5为本申请一实施例中采集单眼暗瞳图像的场景示意图；

图6为本申请一实施例中采集单眼明瞳图像的场景示意图；

图7为本发明实施例方案涉及的硬件运行环境的终端结构示意图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

在本实施例中，本申请的头戴显示设备可以是例如混合现实(Mixed Reality)—MR设备(例如MR眼镜或MR头盔)、增强现实(Augmented Reality)—AR设备(例如AR眼镜或AR头盔)、虚拟现实-(Virtual Reality)—VR设备(例如VR眼镜或VR头盔)、扩展现实(Extended Reality)—XR设备(例如XR眼镜或XR头盔)或其某种组合。

目前，头戴显示设备进行视线追踪的主流技术是基于图像处理的眼球跟踪与视线检测技术，该技术实时计算并记录眼睛所看的位置，而头戴显示设备主要基于暗瞳技术，并以角膜反光点作为参考点计算瞳孔-角膜反光点矢量对人眼视线进行追踪，存在以下问题：由于左右眼分别对应一个眼球追踪模块，并且在两个眼球追踪模块中均采用相同的光源，导致在标定或者使用时，两个眼球追踪模块中的光源发出的光线会相互干扰，使得计算结果的误差增大，从而造成对用户视线进行追踪识别的准确率较低。

基于此，本发明提供一种视线追踪方法，请参照图1，图1为本发明视线追踪方法第一实施例的流程示意图，在本实施例中，所述视线追踪方法应用于头戴显示设备，所述头戴显示设备包括左眼明瞳追踪组件、左眼暗瞳追踪组件、右眼明瞳追踪组件和右眼暗瞳追踪组件，所述方法包括：

步骤S10，控制所述左眼明瞳追踪组件和所述左眼暗瞳追踪组件之间交替运行，以交替采集左眼明瞳图像和左眼暗瞳图像；根据交替采集的左眼明瞳图像和左眼暗瞳图像，对左眼视线进行追踪定位；

在本实施例中，左眼明瞳追踪组件用于追踪采集用户的左眼明瞳图像，左眼暗瞳追踪组件用于追踪采集用户的左眼暗瞳图像。本领域技术人员可知的是，左眼明瞳图像是光源的光轴与左眼视线同轴所形成的左眼图像。如图3所示，图3为本申请一实施例的单眼明瞳图像，其中，瞳孔31为亮色，而虹膜32相对较暗，当图3的单眼明瞳图像为左眼明瞳图像时，4为左眼明瞳追踪组件中的光源照射于左眼所形成的光斑。对应地，左眼暗瞳图像为光源的光轴与左眼视线不同轴所形成的左眼图像。如图4所示，图4为本申请一实施例的单眼暗瞳图像，瞳孔31为暗色，而虹膜32相对较亮，当图4的单眼暗瞳图像为左眼暗瞳图像时，4为左眼暗瞳追踪组件中的光源照射于左眼所形成的光斑。

如图5和图6所示，图5为本申请一实施例中采集单眼暗瞳图像的场景示意图，图6为本申请一实施例中采集单眼明瞳图像的场景示意图。当图5的单眼暗瞳图像为左眼暗瞳图像，图6的单眼明瞳图像为左眼明瞳图像时，“12”即代表左眼暗瞳追踪组件，“11”即代表左眼明瞳追踪组件。具体地，左眼明瞳追踪组件11包括属于同一光学路径上的第一光源111和第一图像采集装置112，从而实现在拍摄左眼图像时，光源的光轴能与左眼视线同轴，以拍摄得到左眼明瞳图像。左眼暗瞳追踪组件12包括属于不同光学路径上的第二光源121和第二图像采集装置122，从而实现在拍摄左眼图像时，光源的光轴能与左眼视线处于不同轴，以拍摄得到左眼暗瞳图像。其中，左眼暗瞳追踪组件11和左眼明瞳追踪组件12设置为分时开启运行。本实施例可以通过控制左眼暗瞳追踪组件11和左眼明瞳追踪组件12分时开启运行，从而交替采集左眼明瞳图像和左眼暗瞳图像。例如先控制第一光源111启动(第二光源121处于关闭状态)，然后控制第一图像采集装置112启动拍照，从而获取左眼亮瞳图像。紧接着，控制第一光源111进入关闭状态，控制第二光源121启动，然后控制第二图像采集装置122启动拍照，从而获取左眼暗瞳图像。需要说明的是，本实施例不限定获取左眼亮瞳图像和左眼暗瞳图像的顺序，只要能够在不同时机获取即可。

在一实施例中，根据交替采集的左眼明瞳图像和左眼暗瞳图像，对左眼视线进行追踪定位的步骤，可包括：根据交替采集的左眼明瞳图像和左眼暗瞳图像，识别出用户的左眼瞳孔边缘信息，根据所述左眼瞳孔边缘信息，确定用户的左眼瞳孔中心点(即左眼瞳孔中心位置)；根据所述左眼瞳孔中心点确定左眼观察的目标点，以得到用户的左眼视线方向。具体地，可根据所述左眼瞳孔中心点和用户观察目标点的预设匹配关系，确定用户的左眼视线方向。在本实施例中，该预设匹配关系，可以通过大数据的方式确定，无需事先对该用户进行训练学习或者建模。另外，具体地，可通过对交替采集的左眼明瞳图像和左眼暗瞳图像进行灰度化处理，得到所述左眼明瞳图像和左眼暗瞳图像在指定方向上灰度的梯度值，并将所述灰度的梯度值达到最大值时所在的位置确定为左眼瞳孔边缘的位置，以得到左眼瞳孔边缘信息。

在另一实施例中，可根据瞳孔-角膜反射法进行视线估计，以对左眼视线进行追踪定位，其中，瞳孔-角膜反射法的原理是，光源照向眼睛，由图像采集装置对眼部进行拍摄，同时拍摄到光源在角膜上的反射点即光斑，由此获取到带有光斑的眼部图像，随着眼球的转动，瞳孔中心与光斑的相对位置关系发生变化。采集到多张带有光斑的眼部图像都可以反映位置变化关系，根据位置变化关系进行视线/注视点的估计。

步骤S20，控制所述右眼明瞳追踪组件和所述右眼暗瞳追踪组件之间交替运行，以交替采集右眼明瞳图像和右眼暗瞳图像；根据交替采集的右眼明瞳图像和右眼暗瞳图像，对右眼视线进行追踪定位。

其中，所述左眼明瞳图像和右眼暗瞳图像在同一采集周期进行采集，所述左眼暗瞳图像和所述右眼明瞳图像在同一采集周期进行采集。

在本实施例中，对应地，右眼明瞳追踪组件用于追踪采集用户的右眼明瞳图像，右眼暗瞳追踪组件用于追踪采集用户的右眼暗瞳图像。本领域技术人员可知的是，右眼明瞳图像是光源的光轴与右眼视线同轴所形成的右眼图像。如图3所示，图3为本申请一实施例的单眼明瞳图像，其中，瞳孔31为亮色，而虹膜32相对较暗，当图3的单眼明瞳图像为右眼明瞳图像时，4为右眼明瞳追踪组件中的光源照射于右眼所形成的光斑。对应地，右眼暗瞳图像为光源的光轴与右眼视线不同轴所形成的右眼图像。如图4所示，图4为本申请一实施例的单眼暗瞳图像，瞳孔31为暗色，而虹膜32相对较亮，当图4的单眼暗瞳图像为右眼暗瞳图像时，4为右眼暗瞳追踪组件中的光源照射于右眼所形成的光斑。

如图5和图6所示，图5为本申请一实施例中采集单眼暗瞳图像的场景示意图，图6为本申请一实施例中采集单眼明瞳图像的场景示意图。对应地，当图5的单眼暗瞳图像为右眼暗瞳图像，图6的单眼明瞳图像为右眼明瞳图像时，“12”即代表右眼暗瞳追踪组件，“11”即代表右眼明瞳追踪组件。具体地，右眼明瞳追踪组件11包括属于同一光学路径上的第三光源111和第三图像采集装置112，从而实现在拍摄右眼图像时，光源的光轴能与右眼视线同轴，以拍摄得到右眼明瞳图像。右眼暗瞳追踪组件12包括属于不同光学路径上的第四光源121和第四图像采集装置122，从而实现在拍摄左眼图像时，光源的光轴能与左眼视线处于不同轴，以拍摄得到右眼暗瞳图像。其中，右眼暗瞳追踪组件11和右眼明瞳追踪组件12设置为分时开启运行。本实施例可以通过控制右眼暗瞳追踪组件11和右眼明瞳追踪组件12分时开启运行，从而交替采集右眼明瞳图像和右眼暗瞳图像。例如先控制第三光源111启动(第四光源121处于关闭状态)，然后控制第三图像采集装置112启动拍照，从而获取右眼亮瞳图像。紧接着，控制第三光源111进入关闭状态，控制第四光源121启动，然后控制第四图像采集装置122启动拍照，从而获取右眼暗瞳图像。需要说明的是，本实施例不限定获取右眼亮瞳图像和右眼暗瞳图像的顺序，只要能够在不同时机获取即可。

在一实施例中，根据交替采集的右眼明瞳图像和右眼暗瞳图像，对右眼视线进行追踪定位的步骤，可包括：根据交替采集的右眼明瞳图像和右眼暗瞳图像，识别出用户的右眼瞳孔边缘信息，根据所述右眼瞳孔边缘信息，确定用户的右眼瞳孔中心点(即右眼瞳孔中心位置)；根据所述右眼瞳孔中心点确定右眼观察的目标点，以得到用户的右眼视线方向。具体地，可以根据所述右眼瞳孔中心点和用户观察目标点的预设匹配关系，确定用户的右眼视线方向。在本实施例中，该预设匹配关系，可以通过大数据的方式确定，无需事先对该用户进行训练学习或者建模。另外，具体地，可对交替采集的右眼明瞳图像和右眼暗瞳图像进行灰度化处理，得到右眼明瞳图像和右眼暗瞳图像在指定方向上灰度的梯度值，并将所述灰度的梯度值达到最大值时所在的位置确定为右眼瞳孔边缘的位置，以得到右眼瞳孔边缘信息。

在另一实施例中，可根据瞳孔-角膜反射法进行视线估计，以对右眼视线进行追踪定位，其中，瞳孔-角膜反射法的原理是，光源照向眼睛，由图像采集装置对眼部进行拍摄，同时拍摄到光源在角膜上的反射点即光斑，由此获取到带有光斑的眼部图像，随着眼球的转动，瞳孔中心与光斑的相对位置关系发生变化。采集到多张带有光斑的眼部图像都可以反映位置变化关系，根据位置变化关系进行视线/注视点的估计。

需要说明的是，在本实施例中，所述左眼明瞳图像和右眼暗瞳图像在同一采集周期进行采集，所述左眼暗瞳图像和所述右眼明瞳图像在同一采集周期进行采集。也就是说，在左眼明瞳追踪组件和左眼暗瞳追踪组件之间交替运行，以及右眼明瞳追踪组件和右眼暗瞳追踪组件之间交替运行的过程中，左眼明瞳追踪组件和右眼暗瞳追踪组件在同一运行周期运行，左眼暗瞳追踪组件和右眼明瞳追踪组件在同一运行周期运行。例如，在依次交替运行的6个运行周期为T、2T、3T、4T、5T和6T中，左眼明瞳追踪组件的运行周期分别为T、3T和5T，左眼暗瞳追踪组件的运行周期分别为2T、4T和6T。那么，此时右眼暗瞳追踪组件的运行周期分别为T、3T和5T，右眼明瞳追踪组件的运行周期分别为2T、4T和6T。

为了助于理解，列举示例进行说明，在一示例中，通过控制左眼明瞳追踪组件、左眼暗瞳追踪组件、右眼明瞳追踪组件和右眼暗瞳追踪组件的工作状态，连续采集用户的双眼图像，其中，在奇数帧时，左眼进行明瞳追踪，右眼进行暗瞳追踪；在偶数帧时，左眼进行暗瞳追踪，右眼进行明瞳追踪。在奇数帧时得到的是左眼明瞳图像和右眼暗瞳图像；在偶数帧时得到的是左眼暗瞳图像和右眼明瞳图像，这样前后两帧中每只眼睛均得到了明瞳图像和暗瞳图像。通过前后两帧图像的对比，对双眼视线方向进行判断。

当然，在另一示例中，也可为在奇数帧时，右眼进行明瞳追踪，左眼进行暗瞳追踪；在偶数帧时，右眼进行暗瞳追踪，左眼进行明瞳追踪。在奇数帧时得到的是右眼明瞳图像和左眼暗瞳图像；在偶数帧时得到的是右眼暗瞳图像和左眼明瞳图像，这样前后两帧中每只眼睛均得到了明瞳图像和暗瞳图像。通过前后两帧图像的对比，对双眼视线方向进行判断，这样使得每只眼睛均包括明瞳图像和暗瞳图像，从而可以融合明瞳图像和暗瞳图像分别对视线方向进行追踪定位的优点，尽量消除明瞳图像和暗瞳图像各自对视线方向进行追踪定位的缺陷(例如，对于明瞳图像而言，睫毛的遮蔽和眼斑对视线追踪效果影响较小，而瞳孔大小对视线追踪效果影响较大，且明瞳图像对蓝色或浅色虹膜的追踪效果较好。而对于暗瞳图像而言，睫毛的遮蔽和眼斑对视线追踪效果影响较大，而瞳孔大小对视线追踪效果影响较小，且暗瞳图像对深色虹膜的追踪效果较好)，排除一些干扰因素的影响，包括睫毛、黑色斑点、瞳孔过小和虹膜颜色的深浅等等，通过算法完成瞳孔的识别，增加了识别的准确率。同时由于在某一帧中，左右眼的视线追踪方式不同，因此可以极大地降低两只眼睛出现光源互相干扰的情况，进一步提升了视线追踪的准确性。

进一步地，本实施例可以通过对左眼视线和右眼视线进行共同追踪定位，从而确定出用户双眼的视线焦点，实现视线定位。

目前在虚拟现实产品等头戴显示设备中的视线追踪模块，均选择单一的追踪方式，明瞳追踪或暗瞳追踪。两种追踪方式各有优缺点，受不同的干扰因素影响，导致视线识别的准确率较低，影响后续注视点估计位置的判断。而且在目前比较常用的暗瞳追踪方式存在左右眼光互相干扰情况。

基于此，本实施例的技术方案是通过控制左眼明瞳追踪组件和左眼暗瞳追踪组件之间交替运行，以交替采集左眼明瞳图像和左眼暗瞳图像，根据交替采集的左眼明瞳图像和左眼暗瞳图像，对左眼视线进行追踪定位，并控制右眼明瞳追踪组件和右眼暗瞳追踪组件之间交替运行，以交替采集右眼明瞳图像和右眼暗瞳图像，再根据交替采集的右眼明瞳图像和右眼暗瞳图像，对右眼视线进行追踪定位，其中，左眼明瞳图像和右眼暗瞳图像在同一采集周期进行采集，左眼暗瞳图像和所述右眼明瞳图像在同一采集周期进行采集，从而通过明瞳追踪和暗瞳追踪，实现分方法、分时的视线追踪，减小追踪过程中左右眼光源相互干扰的因素。

同时，由于采用单一的追踪方式存在较多缺陷，例如暗瞳追踪时，识别的准确性容易受睫毛、眼斑、眼镜框等障碍物影响，而明瞳追踪时，摄像头需要识别亮色的瞳孔，识别的准确性容易受瞳孔大小等因素影响，而本实施例基于交替帧不同的追踪方式(明瞳追踪和暗瞳追踪)，通过对比前后两帧图像，对双眼视线方向进行追踪定位，这样使得每只眼睛均包括明瞳图像和暗瞳图像，从而可以融合明瞳图像和暗瞳图像各自对视线方向进行追踪定位的优点，尽量消除明瞳图像和暗瞳图像的缺陷，从而增加了识别的准确率。同时由于在某一帧中，左右眼的视线追踪方式不同，因此可以极大地降低两只眼睛出现光源互相干扰的情况，进一步提升了视线追踪的准确性，进而解决对于视线追踪的准确性和易受干扰的问题，本实施例通过暗瞳追踪和明瞳追踪两种方式，从硬件和软件两方面结合提出解决办法，进一步减小对芯片算力的需求，提升识别准确率。

相比于传统技术中基于暗瞳技术，在左右眼对应的眼球追踪模块(即为左眼暗瞳追踪组件和右眼暗瞳追踪组件)中分别各自采用一组光源，导致在标定或者使用时，两组光源发出的光线容易相互干扰情况(特别是佩戴近视眼镜的用户，使其计算结果的误差增大，影响眼球追踪的位置精度的问题)，本实施例通过在每一特定帧中，左眼暗瞳追踪组件和右眼暗瞳追踪组件各自对应的光源仅能点亮一个，且在每一特定帧中左眼明瞳追踪组件和右眼明瞳追踪组件各自对应的光源也仅能点亮一个，降低两只眼睛出现光源相互干扰的情况，从而减小视线定位误差、提高追踪精度，为用户提供更完美的虚拟现实沉浸体验，进而解决目前头戴显示设备中两个眼球追踪模块的光源发出的光线容易相互干扰，影响视线追踪精度的技术问题。

在一种可能的实施方式中，所述根据交替采集的左眼明瞳图像和左眼暗瞳图像，对左眼视线进行追踪定位的步骤之前包括：

步骤A10，对相邻采集周期采集的左眼明瞳图像和左眼暗瞳图像进行眼球特征的识别，得到左眼明瞳眼球特征和左眼暗瞳眼球特征，其中，所述眼球特征包括瞳孔中心位置、瞳孔形状、虹膜位置、虹膜形状和光斑位置中的至少一种；

本领域技术人员可知的是，光斑位置是指左眼明瞳追踪组件或左眼暗瞳追踪组件的光源照射于左眼所形成光斑的位置。

步骤A20，将所述左眼明瞳眼球特征和所述左眼暗瞳眼球特征进行特征匹配，得到特征匹配程度；

容易理解的是，左眼明瞳眼球特征是指对左眼明瞳图像进行图像识别，而识别得到的眼球特征。左眼暗瞳眼球特征是指对左眼暗瞳图像进行图像识别，而识别得到的眼球特征。

在本实施例中，将左眼明瞳眼球特征和左眼暗瞳眼球特征进行特征匹配，具体为：对左眼明瞳图像进行图像识别而识别得到的眼球特征，与对左眼暗瞳图像进行图像识别而识别得到的眼球特征进行特征匹配，得到特征匹配程度。其中，眼球特征包括瞳孔中心位置、瞳孔形状、虹膜位置、虹膜形状和光斑位置中的至少一种。例如，在一示例中，眼球特征为瞳孔中心位置、瞳孔形状和虹膜位置。在另一示例中，眼球特征为瞳孔中心位置、虹膜位置和虹膜形状。在又一示例中，眼球特征为瞳孔中心位置和光斑位置。本实施例在此不作具体地限定。

为了助于理解本实施例，例举一实例，在该实例中，眼球特征为瞳孔中心位置和光斑位置。此时，将所述左眼明瞳眼球特征和所述左眼暗瞳眼球特征进行特征匹配，得到特征匹配程度的步骤具体可为：根据对左眼明瞳图像进行图像识别而识别得到的第一瞳孔中心位置和第一光斑位置，构建得到第一瞳孔中心位置和第一光斑位置之间的第一相对位置向量；根据对左眼暗瞳图像进行图像识别而识别得到的第二瞳孔中心位置和第二光斑位置，构建得到第二瞳孔中心位置和第二光斑位置之间的第二相对位置向量，确定第一相对位置向量和第二相对位置向量的一致程度，将所述一致程度作为特征匹配程度。容易理解的是，根据眼球光学知识可知，人眼瞳孔与视线方向一致，如果人眼视线方向正对光源(例如红外光)，那么对该人眼采集的人眼图像中，光斑的位置应该越接近瞳孔的位置。具体地，可以是分别比较第一相对位置向量和第二相对位置向量的向量长度，如果向量长度越接近，则说明特征匹配程度越高。应当理解，根据提取眼部区域图像识别光斑和瞳孔的位置信息，并做两点向量长度计算可以通过本技术领域的常用技术手段来实现，本实施例对此不作具体限定。

步骤A30，若所述特征匹配程度大于预设程度阈值，则执行：所述根据交替采集的左眼明瞳图像和左眼暗瞳图像，对左眼视线进行追踪定位的步骤。

在一种可能的实施方式中，所述将所述左眼明瞳眼球特征和所述左眼暗瞳眼球特征进行特征匹配，得到特征匹配程度的步骤之后，还包括：

步骤B10，若所述特征匹配程度小于或等于预设程度阈值，则对左眼明瞳图像进行图像识别，确定所述左眼明瞳图像对应的明瞳采集干扰程度，并对左眼暗瞳图像进行图像识别，确定左眼暗瞳图像对应的暗瞳采集干扰程度；

步骤B20，若所述明瞳采集干扰程度大于所述暗瞳采集干扰程度第一预设程度值，则通过所述左眼暗瞳图像对所述左眼明瞳图像进行校正；根据左眼暗瞳图像，以及校正后的左眼明瞳图像，对左眼视线进行追踪定位；

步骤B30，若所述明瞳采集干扰程度小于所述暗瞳采集干扰程度第二预设程度值，则通过所述左眼明瞳图像对所述左眼暗瞳图像进行校正；根据左眼明瞳图像，以及校正后的左眼暗瞳图像，对左眼视线进行追踪定位。

在本实施例中，该预设程度阈值，本领域技术人员可根据实际情况进行设定，以更好地确定出左眼明瞳图像或者左眼暗瞳图像的采集难度是否较高，导致左眼明瞳图像或者左眼暗瞳图像发生较大偏差。

在本实施例中，该第一预设程度值和该第二预设程度值，可以相同，也可以不同，本实施例不作具体的限定。

需要说明的是，由于该特征匹配程度是指相邻采集周期采集的左眼明瞳图像和左眼暗瞳图像对应眼球特征的匹配程度，也即连续两帧分别采集的左眼明瞳图像和左眼暗瞳图像，由于连续两帧的相隔时长极短，几乎可以忽略不计，左眼眼球仍然保持不变或产生较小的变化，因此连续两帧分别采集的左眼明瞳图像和左眼暗瞳图像的眼球特征几乎是一致的。但在一些情况中，例如在暗瞳追踪时，左眼暗瞳图像受到睫毛、眼斑、眼镜框等物体遮挡的影响，导致采集的左眼暗瞳图像不准。或者，明瞳追踪时，左眼明瞳图像受到瞳孔大小等因素影响，导致采集的左眼明瞳图像不准，进而导致左眼明瞳图像和左眼暗瞳图像的特征匹配程度小于或等于预设程度阈值。

因此本实施例通过在确定特征匹配程度小于或等于预设程度阈值后，对左眼明瞳图像进行图像识别，确定左眼明瞳图像对应的明瞳采集干扰程度，并对左眼暗瞳图像进行图像识别，确定左眼暗瞳图像对应的暗瞳采集干扰程度，若所述明瞳采集干扰程度大于暗瞳采集干扰程度第一预设程度值，则通过左眼暗瞳图像对左眼明瞳图像进行校正；根据左眼暗瞳图像，以及校正后的左眼明瞳图像，对左眼视线进行追踪定位；若明瞳采集干扰程度小于暗瞳采集干扰程度第二预设程度值，则通过左眼明瞳图像对左眼暗瞳图像进行校正；根据左眼明瞳图像，以及校正后的左眼暗瞳图像，对左眼视线进行追踪定位，从而实现在左眼暗瞳图像受到睫毛、眼斑、眼镜框等物体遮挡的影响，导致采集的左眼暗瞳图像不准时，通过左眼明瞳图像对左眼暗瞳图像进行校准，而在左眼明瞳图像受到瞳孔大小或者虹膜颜色深浅度等因素的影响，导致采集的左眼明瞳图像不准时，通过左眼暗瞳图像对左眼明瞳瞳图像进行校准，从而融合明瞳图像和暗瞳图像分别对视线方向进行追踪定位的优点，尽量消除明瞳图像和暗瞳图像各自的缺陷，进一步增加了对用户双眼进行视线追踪的准确率。

对应地，在一种可能的实施方式中，所述根据交替采集的右眼明瞳图像和右眼暗瞳图像，对右眼视线进行追踪定位的步骤之前包括：

步骤C10，对相邻采集周期采集的右眼明瞳图像和右眼暗瞳图像进行眼球特征的识别，得到右眼明瞳眼球特征和右眼暗瞳眼球特征，其中，所述眼球特征包括瞳孔中心位置、瞳孔形状、虹膜位置、虹膜形状和光斑位置中的至少一种；

步骤C20，将所述右眼明瞳眼球特征和所述右眼暗瞳眼球特征进行特征匹配，得到特征相似程度；

步骤C30，若所述特征相似程度大于预设程度阈值，则执行：所述根据交替采集的右眼明瞳图像和右眼暗瞳图像，对右眼视线进行追踪定位的步骤。

在一种可能的实施方式中，所述将所述右眼明瞳眼球特征和所述右眼暗瞳眼球特征进行特征匹配，得到特征相似程度的步骤之后，还包括：

步骤D10，若所述特征相似程度小于或等于预设程度阈值，则对右眼明瞳图像进行图像识别，确定所述右眼明瞳图像对应的明瞳拍摄干扰程度，并对右眼暗瞳图像进行图像识别，确定右眼暗瞳图像对应的暗瞳拍摄干扰程度；

步骤D20，若所述明瞳拍摄干扰程度大于所述暗瞳拍摄干扰程度第三预设程度值，则通过所述右眼暗瞳图像对所述右眼明瞳图像进行校正；根据右眼暗瞳图像，以及校正后的右眼明瞳图像，对右眼视线进行追踪定位；

步骤D30，若所述明瞳拍摄干扰程度小于所述暗瞳拍摄干扰程度第四预设程度值，则通过所述右眼明瞳图像对所述右眼暗瞳图像进行校正；根据右眼明瞳图像，以及校正后的右眼暗瞳图像，对右眼视线进行追踪定位。

在本实施例中，该第三预设程度值和该第四预设程度值，可以相同，也可以不同，本实施例不作具体的限定。

本实施例的技术原理或技术效果与上一实施例对应，在此不再赘述，两者区别在于，上一实施例是对应用户的左眼，而本实施例是对应于用户的右眼。

在一种可能的实施方式中，本实施例中，所述通过所述左眼暗瞳图像对所述左眼明瞳图像进行校正的步骤包括：

步骤E10，获取所述左眼暗瞳图像对应的左眼暗瞳眼球特征，以及所述左眼明瞳图像对应的左眼明瞳眼球特征；

步骤E20，将第一预设权重的所述左眼暗瞳眼球特征与第二预设权重的所述左眼明瞳眼球特征进行和值计算，得到融合眼球特征，其中，所述第一预

设权重大于所述第二预设权重，且所述第一预设权重与所述第二预设权重的5和等于一；

在一示例中，第一预设权重为0.7，第二预设权重为0.3。在另一示例中，第一预设权重为0.8，第二预设权重为0.2。在另一示例中，第一预设权重为0.9，第二预设权重为0.1。在又一示例中，第一预设权重为1，第二预设权重为0。

0步骤E30，将所述融合眼球特征关联的明瞳图像，作为校正后的左眼明瞳

图像。

本实施例通过获取左眼暗瞳图像对应的左眼暗瞳眼球特征，以及左眼明瞳图像对应的左眼明瞳眼球特征，将第一预设权重的左眼暗瞳眼球特征与第

二预设权重的左眼明瞳眼球特征进行和值计算，得到融合眼球特征，其中，5第一预设权重大于第二预设权重，且第一预设权重与第二预设权重的和等于一，从而实现取受干扰较小的一帧图像所拾取的眼球特征，对另一帧受干扰较大的图像眼球特征进行校正，进而达到消除明瞳图像和暗瞳图像各自对视线方向进行追踪定位的缺陷，提高双眼视线定位准确性的目的。

0在一种可能的实施方式中，本实施例中，所述通过所述右眼暗瞳图像对所述右眼明瞳图像进行校正的步骤包括：

步骤F10，获取所述右眼暗瞳图像对应的右眼暗瞳眼球特征，以及所述右眼明瞳图像对应的右眼明瞳眼球特征；

步骤F20，将第一预设权重的所述右眼暗瞳眼球特征与第二预设权重的所5述右眼明瞳眼球特征进行和值计算，得到结合眼球特征，其中，所述第一预设权重大于所述第二预设权重，且所述第一预设权重与所述第二预设权重的和等于一；

步骤F30，将所述结合眼球特征关联的明瞳图像，作为校正后的右眼明瞳图像。

0本实施例的技术原理或技术效果与上一实施例对应，在此不再赘述。两者区别在于，上一实施例是对应用户的左眼，而本实施例是对应于用户的右眼。

在一种可能的实施方式中，本实施例中，所述通过所述左眼明瞳图像对所述左眼暗瞳图像进行校正的步骤包括：

步骤G10，获取所述左眼暗瞳图像对应的左眼暗瞳眼球特征，以及所述左眼明瞳图像对应的左眼明瞳眼球特征；

步骤G20，将第三预设权重的所述左眼明瞳眼球特征与第四预设权重的所述左眼暗瞳眼球特征进行和值计算，得到综合眼球特征，其中，所述第三预设权重大于所述第四预设权重，且所述第三预设权重与所述第四预设权重的和等于一；

在一示例中，第三预设权重为0.7，第四预设权重为0.3。在另一示例中，第三预设权重为0.8，第四预设权重为0.2。在另一示例中，第三预设权重为0.9，第四预设权重为0.1。在又一示例中，第三预设权重为1，第四预设权重为0。

步骤G30，将所述综合眼球特征关联的明瞳图像，作为校正后的左眼暗瞳图像。

本实施例通过获取左眼暗瞳图像对应的左眼暗瞳眼球特征，以及左眼明瞳图像对应的左眼明瞳眼球特征，将第三预设权重的左眼明瞳眼球特征与第四预设权重的左眼暗瞳眼球特征进行和值计算，得到综合眼球特征，其中，第三预设权重大于第四预设权重，且第三预设权重与第四预设权重的和等于一，从而实现取受干扰较小的一帧图像所拾取的眼球特征，对另一帧受干扰较大的图像眼球特征进行校正，进而达到消除明瞳图像和暗瞳图像各自对视线方向进行追踪定位的缺陷，提高双眼视线定位准确性的目的。

在一种可能的实施方式中，本实施例中，所述通过所述右眼明瞳图像对所述右眼暗瞳图像进行校正的步骤包括：

步骤H10，获取所述右眼暗瞳图像对应的右眼暗瞳眼球特征，以及所述右眼明瞳图像对应的右眼明瞳眼球特征；

步骤H20，将第三预设权重的所述右眼明瞳眼球特征与第四预设权重的所述右眼暗瞳眼球特征进行和值计算，得到联合眼球特征，其中，所述第三预设权重大于所述第四预设权重，且所述第三预设权重与所述第四预设权重的和等于一；

步骤H30，将所述联合眼球特征关联的明瞳图像，作为校正后的右眼暗瞳图像。

本实施例的技术原理或技术效果与上一实施例对应，在此不再赘述。两者区别在于，上一实施例是对应用户的左眼，而本实施例是对应于用户的右眼。

在一种可能的实施方式中，所述对左眼明瞳图像进行图像识别，确定所述左眼明瞳图像对应的明瞳采集干扰程度的步骤包括：

步骤I10，对左眼明瞳图像进行图像识别，确定所述左眼明瞳图像中瞳孔大小和/或虹膜颜色的深浅度；

步骤I20，根据所述左眼明瞳图像中瞳孔大小和/或虹膜颜色的深浅度，确定所述左眼明瞳图像对应的明瞳采集干扰程度。

其中，瞳孔越小和/或虹膜颜色越深，明瞳采集干扰程度越大。

本实施例通过根据左眼明瞳图像中瞳孔大小和/或虹膜颜色的深浅度，确定左眼明瞳图像对应的明瞳采集干扰程度，其中，瞳孔越小和/或虹膜颜色越深，明瞳采集干扰程度越大，从而更准确地识别出左眼明瞳图像对应的明瞳采集干扰程度。

对应地，在一种可能的实施方式中，所述对右眼明瞳图像进行图像识别，确定所述右眼明瞳图像对应的明瞳拍摄干扰程度的步骤包括：

步骤J10，对右眼明瞳图像进行图像识别，确定所述右眼明瞳图像中瞳孔大小和/或虹膜颜色的深浅度；

步骤J20，根据所述右眼明瞳图像中瞳孔大小和/或虹膜颜色的深浅度，确定所述右眼明瞳图像对应的明瞳拍摄干扰程度。

其中，瞳孔越小和/或虹膜颜色越深，明瞳拍摄干扰程度越大。

在一种可能的实施方式中，所述对左眼暗瞳图像进行图像识别，确定左眼暗瞳图像对应的暗瞳采集干扰程度的步骤包括：

步骤K10，对左眼暗瞳图像进行图像识别，确定所述左眼暗瞳图像中睫毛的遮盖度和/或虹膜颜色的深浅度；

步骤K20，根据所述左眼暗瞳图像中睫毛的遮盖度和/或虹膜颜色的深浅度，确定所述左眼暗瞳图像对应的暗瞳采集干扰程度。

其中，睫毛的遮盖度越大和/或虹膜颜色越浅，暗瞳采集干扰程度越大。

本实施例通过根据左眼暗瞳图像中睫毛的遮盖度和/或虹膜颜色的深浅度，确定左眼暗瞳图像对应的暗瞳采集干扰程度，其中，睫毛的遮盖度越大和/或虹膜颜色越浅，暗瞳采集干扰程度越大，从而更准确地识别出左眼暗瞳图像对应的暗瞳采集干扰程度。

对应地，在一种可能的实施方式中，所述对右眼暗瞳图像进行图像识别，确定右眼暗瞳图像对应的暗瞳采集干扰程度的步骤包括：

步骤L10，对右眼暗瞳图像进行图像识别，确定所述右眼暗瞳图像中睫毛的遮盖度和/或虹膜颜色的深浅度；

步骤L20，根据所述右眼暗瞳图像中睫毛的遮盖度和/或虹膜颜色的深浅度，确定所述右眼暗瞳图像对应的暗瞳拍摄干扰程度。

其中，睫毛的遮盖度越大和/或虹膜颜色越浅，暗瞳采集干扰程度越大。

基于本发明的第一实施例，本发明提供第二实施例的视线追踪方法，请参照图2，在本实施例中，所述根据交替采集的左眼明瞳图像和左眼暗瞳图像，对左眼视线进行追踪定位的步骤包括：

步骤S11，根据交替采集的左眼明瞳图像和左眼暗瞳图像，动态识别出左眼瞳孔中心位置和左眼光斑位置；

步骤S12，根据所述左眼瞳孔中心位置和所述左眼光斑位置，确定左眼对应的瞳孔中心与光斑之间的相对位置矢量；

步骤S13，从预设的左眼数据映射库中，查询得到所述相对位置矢量映射的左眼视线方向，以对左眼视线进行追踪定位。

在本实施例中，该左眼数据映射库中存储有多种矢量参数，以及各矢量参数与左眼视线方向一一映射的映射关系，因此可通过从该左眼数据映射库中查询得到相对位置矢量对应矢量参数所映射的左眼视线方向。需要说明的是，该左眼数据映射库可为在头戴显示设备出厂前，本领域技术人员通过实验标定所得，并预存于头戴显示设备的系统中。

本实施例通过根据交替采集的左眼明瞳图像和左眼暗瞳图像，动态识别出左眼瞳孔中心位置和左眼光斑位置，并根据左眼瞳孔中心位置和左眼光斑

位置，确定左眼对应的瞳孔中心与光斑之间的相对位置矢量，然后从预设的5左眼数据映射库中，查询得到该相对位置矢量映射的左眼视线方向，实现注视信息的动态计算，提高了眼球追踪的准确率，进而实现准确地对左眼视线进行追踪定位。

对应地，所述根据交替采集的右眼明瞳图像和右眼暗瞳图像，对右眼视

线进行追踪定位的步骤包括：0步骤N10，根据交替采集的右眼明瞳图像和右眼暗瞳图像，动态识别出右眼瞳孔中心位置和右眼光斑位置；

步骤N20，根据所述右眼瞳孔中心位置和所述右眼光斑位置，确定右眼对应的瞳孔中心与光斑之间的相对空间矢量；

步骤N30，从预设的右眼数据映射库中，查询得到所述相对空间矢量映5射的右眼视线方向，以对右眼视线进行追踪定位。

在本实施例中，该右眼数据映射库中存储有多种矢量参数，以及各矢量参数与右眼视线方向一一映射的映射关系，因此可通过从该右眼数据映射库中查询得到相对空间矢量对应矢量参数所映射的右眼视线方向。需要说明的

是，该右眼数据映射库可为在头戴显示设备出厂前，本领域技术人员通过实0验标定所得，并预存于头戴显示设备的系统中。

本实施例的技术原理或技术效果与上一实施例对应，在此不再赘述，两者区别在于，上一实施例是对应用户的左眼，而本实施例是对应于用户的右眼。

5在一种可能的实施方式中，所述方法还包括：

步骤M10，在预设显示位置显示预设校准标识；

步骤M20，控制所述左眼明瞳追踪组件和所述左眼暗瞳追踪组件的工作状态，识别用户注视所述预设校准标识时左眼对应瞳孔中心与光斑之间的左

眼校准矢量；

0在本实施例中，该工作状态包括开启运行状态和关闭状态。控制所述左眼明瞳追踪组件和所述左眼暗瞳追踪组件的工作状态，具体可为控制左眼明瞳追踪组件和左眼暗瞳追踪组件之间交替运行。

步骤M30，根据用户注视所述预设显示位置对应的左眼视线方向，确定左眼校准视线方向；

步骤M40，建立所述左眼校准矢量和所述左眼校准视线方向的映射关系，根据所述左眼校准矢量和所述左眼校准视线方向的映射关系，对预先标定的左眼矢量映射库进行校准；

步骤M50，将校准后的左眼矢量映射库，作为预设的左眼矢量映射库。

由于个体眼球生理差异，使用左眼数据映射库前，本实施例可以首先对左眼数据映射库进行用户校准。用户校准又称用户标定，在视线/注视点估计过程中，为了校准用于视线/注视点估计的左眼数据映射库中的参数(即各矢量参数与左眼视线方向一一映射的映射关系)，常用的方法是：让用户注视一个或多个预设校准标识，假定所述预设校准标识的信息为已知的视线(因为预设校准标识的显示位置是预先设定的)，由此可以反解出上述校准参数(即测试出更加匹配用户眼球的矢量参数与左眼视线方向之间的映射关系，对矢量参数与左眼视线方向一一映射的映射关系进行校正)。

预设校准标识的显示位置、个数及形状不作限定，本领域技术人员可以根据实际情况设定，如预设校准标识的位置均匀分布至显示器上、预设校准标识可以分布于显示器中心位置和边界位置处或校准点呈九宫格的形式显示在显示器上。预设校准标识的形状可以为圆形。通过获取用户注视预设校准标识的图像和预设校准标识的位置信息，建立左眼校准矢量和左眼校准视线方向的映射关系，根据左眼校准矢量和左眼校准视线方向的映射关系，对预先标定的左眼矢量映射库进行校准，从而得到更匹配用户个人的左眼真实情况的左眼数据映射库。

对应地，在一种可能的实施方式中，所述方法还包括：

步骤O10，在预设显示位置显示预设校准标识；

步骤O20，控制所述右眼明瞳追踪组件和所述右眼暗瞳追踪组件的工作状态，识别用户注视所述预设校准标识时右眼对应瞳孔中心与光斑之间的右眼校准矢量；

在本实施例中，控制所述右眼明瞳追踪组件和所述右眼暗瞳追踪组件的工作状态，具体可为控制右眼明瞳追踪组件和右眼暗瞳追踪组件之间交替运行。

步骤O30，根据用户注视所述预设显示位置对应的右眼视线方向，确定右眼校准视线方向；

步骤O40，建立所述右眼校准矢量和所述右眼校准视线方向的映射关系，根据所述右眼校准矢量和所述右眼校准视线方向的映射关系，对预先标定的右眼矢量映射库进行校准；

步骤O50，将校准后的右眼矢量映射库，作为预设的右眼矢量映射库。

本实施例的技术原理或技术效果与上一实施例对应，在此不再赘述，两者区别在于，上一实施例是对应用户的左眼，而本实施例是对应于用户的右眼。

此外，本申请实施例还提供一种头戴显示设备，头戴显示设备应用于如上任一项所述的视线追踪方法，头戴显示设备包括：

左眼视线追踪装置，包括左眼明瞳追踪组件和左眼暗瞳追踪组件，所述左眼明瞳追踪组件包括属于同一光学路径上的第一光源和第一图像采集装置，所述左眼暗瞳追踪组件包括属于不同光学路径上的第二光源和第二图像采集装置，所述左眼暗瞳追踪组件和所述左眼明瞳追踪组件设置为分时开启运行；

右眼视线追踪装置，包括右眼明瞳追踪组件和右眼暗瞳追踪组件，所述右眼明瞳追踪组件包括属于同一光学路径上的第三光源和第三图像采集装置，所述右眼暗瞳追踪组件包括属于不同光学路径上的第四光源和第四图像采集装置，所述右眼暗瞳追踪组件和所述右眼明瞳追踪组件设置为分时开启运行；

其中，所述左眼暗瞳追踪组件和所述右眼明瞳追踪组件设置为在同一采集周期开启运行，所述左眼明瞳追踪组件和所述右眼暗瞳追踪组件设置为在同一采集周期开启运行。

本发明实施例提供的头戴显示设备，采用上述实施例的视线追踪方法，能够解决目前头戴显示设备中两个眼球追踪模块的光源发出的光线容易相互干扰，影响视线追踪的识别精度的技术问题。与现有技术相比，本发明实施例提供的头戴显示设备的有益效果与上述实施例提供的视线追踪方法的有益效果相同，且所述头戴显示设备中的其他技术特征与上一实施例方法公开的特征相同，在此不做赘述。

如图7所示，图7是本发明实施例方案涉及的硬件运行环境的终端结构示意图。

本发明实施例终端为头戴显示设备。该头戴显示设备可以是例如混合现实(MixedReality)—MR设备(例如MR眼镜或MR头盔)、增强现实(Augmented Reality)—AR设备(例如AR眼镜或AR头盔)、虚拟现实-(Virtual Reality)—VR设备(例如VR眼镜或VR头盔)、扩展现实(Extended Reality)—XR设备(例如XR眼镜或XR头盔)或其某种组合。

如图7所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地，终端还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在终端设备移动到耳边时，关闭显示屏和/或背光。当然，终端设备还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

本领域技术人员可以理解，图7中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图7所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及视线追踪程序。

在图7所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的视线追踪程序，并执行以下操作：

控制所述左眼明瞳追踪组件和所述左眼暗瞳追踪组件之间交替运行，以交替采集左眼明瞳图像和左眼暗瞳图像；根据交替采集的左眼明瞳图像和左眼暗瞳图像，对左眼视线进行追踪定位；

控制所述右眼明瞳追踪组件和所述右眼暗瞳追踪组件之间交替运行，以交替采集右眼明瞳图像和右眼暗瞳图像；根据交替采集的右眼明瞳图像和右眼暗瞳图像，对右眼视线进行追踪定位；

其中，所述左眼明瞳图像和右眼暗瞳图像在同一采集周期进行采集，所述左眼暗瞳图像和所述右眼明瞳图像在同一采集周期进行采集。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有视线追踪程序，所述视线追踪程序被处理器执行时实现如上所述视线追踪方法的步骤。

本发明计算机可读存储介质具体实施方式与上述视线追踪方法各实施例基本相同，在此不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。