眼球追踪的标定校准方法、装置、移动终端及存储介质

技术领域

本申请涉及图像处理技术领域，具体涉及一种眼球追踪的标定校准方法、装置、移动终端及存储介质。

背景技术

当前，最常用的眼球跟踪技术是瞳孔中心角膜反射技术(pupil centre cornealreflection简称PCCR)。PCCR技术的原理是，通过物理追踪设备的摄像头捕捉光源对瞳孔照射形成的高度可见反射光的图像，通过这些图像确定光源在角膜和瞳孔中的反射情况，最后通过对角膜、瞳孔反射形成向量的方向以及其他几何特征的计算，得出人眼注视的方向。

在计算人眼注视的方向之前，一般会采用参数标定的过程。参数标定时，要求用户注视标定点，然后点击屏幕确认注视，摄像头会拍摄用户注视当前的图像，并且与此时的注视点一一对应。目前的标定方法，眼球追踪的效果非常依赖首次标定的效果，一旦首次标定不好，后续眼球追踪效果不好。

发明内容

本申请实施例提供一种眼球追踪的标定校准方法、装置、移动终端及存储介质，可以在上一次标定后对上一次标定结果进行自动校准，提高眼球追踪的标定效果。

本申请实施例的第一方面提供了一种眼球追踪的标定校准方法，包括：

在上一次标定完成之后，检测触控操作，确定所述触控操作对应的触控区域；

若所述触控区域位于目标标定区域内，拍摄所述触控区域对应的目标人眼图像；

从所述目标人眼图像提取目标眼部特征数据，将所述目标眼部特征数据输入眼球追踪模型，获得目标注视点坐标；所述眼球追踪模型基于所述上一次标定确定；

若所述目标注视点坐标与所述目标标定区域对应的坐标的差异度小于第一阈值，将所述目标眼部特征数据与所述目标注视点坐标作为一条置信点数据，将所述置信点数据记录在置信数据集合中；

在所述置信数据集合中的置信点数据的数量达到第二阈值时，根据所述置信数据集合中的置信点数据对所述眼球追踪模型进行重新拟合，得到校准后的眼球追踪模型。

本申请实施例的第二方面提供了一种眼球追踪的标定装置，包括：

检测单元，用于在上一次标定完成之后，检测触控操作；

确定单元，用于确定所述触控操作对应的触控区域；

拍摄单元，用于在所述触控区域位于目标标定区域内的情况下，拍摄所述触控区域对应的目标人眼图像；

提取单元，用于从所述目标人眼图像提取目标眼部特征数据；

模型计算单元，用于将所述目标眼部特征数据输入眼球追踪模型，获得目标注视点坐标；所述眼球追踪模型基于所述上一次标定确定；

处理单元，用于在所述目标注视点坐标与所述目标标定区域对应的坐标的差异度小于第一阈值的情况下，将所述目标眼部特征数据与所述目标注视点坐标作为一条置信点数据，将所述置信点数据记录在置信数据集合中；

校准单元，用于在所述置信数据集合中的置信点数据的数量达到第二阈值时的情况下，根据所述置信数据集合中的置信点数据对所述眼球追踪模型进行重新拟合，得到校准后的眼球追踪模型。

本申请实施例的第三方面提供了一种移动终端，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如本申请实施例第一方面中的步骤指令。

本申请实施例的第四方面提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。

本申请实施例的第五方面提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

本申请实施例中，在上一次标定完成之后，还可以对上一次标定进行校准。在上一次标定完成之后，检测触控操作，确定触控操作对应的触控区域；若触控区域位于目标标定区域内，拍摄触控区域对应的目标人眼图像；从目标人眼图像提取目标眼部特征数据，将目标眼部特征数据输入眼球追踪模型，获得目标注视点坐标；眼球追踪模型基于上一次标定确定；若目标注视点坐标与目标标定区域对应的坐标的差异度小于第一阈值，将目标眼部特征数据与目标注视点坐标作为一条置信点数据，将置信点数据记录在置信数据集合中；在置信数据集合中的置信点数据的数量达到第二阈值时，根据置信数据集合中的置信点数据对眼球追踪模型进行重新拟合，得到校准后的眼球追踪模型。本申请实施例可以在上一次标定后，通过触控操作收集置信点数据，将置信点数据记录在置信数据集合中，当置信数据集合中的置信点数据的数量达到第二阈值时，根据置信数据集合中的置信点数据对眼球追踪模型进行重新拟合，得到校准后的眼球追踪模型。可以在上一次标定后对上一次标定结果进行自动校准，提高校准后的眼球追踪模型的眼球追踪准确度，从而提高眼球追踪的标定效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种眼球追踪的标定校准方法的流程示意图；

图2a是本申请实施例提供的一种标定区域的示意图；

图2b是本申请实施例提供的一种瞳孔中心点的计算示意图；

图2c是本申请实施例提供的一种提取瞳孔眼角向量的示意图；

图3是本申请实施例提供的另一种眼球追踪的标定校准方法的流程示意图；

图4是本申请实施例提供的一种标定的具体流程示意图；

图5是本申请实施例提供的一种标定校准的具体流程示意图；

图6为本申请实施例提供的一种眼球追踪的标定装置的结构示意图；

图7是本申请实施例提供的一种移动终端的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。

本申请实施例所涉及到的移动终端可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(user equipment，UE)，移动台(mobile station，MS)，终端设备(terminaldevice)等等。为方便描述，上面提到的设备统称为移动终端。

请参阅图1，图1是本申请实施例提供的一种眼球追踪的标定校准方法的流程示意图。如图1所示，该眼球追踪的标定校准方法可以包括如下步骤。

101，在上一次标定完成之后，移动终端检测触控操作，确定触控操作对应的触控区域。

本申请实施例中，移动终端的眼球追踪的准确度非常依赖眼球追踪的标定效果。如果眼球追踪的标定过程中，如果标定出现了一定误差，则会影响后续的眼球追踪的效果。

移动终端可以向用户提供眼球追踪功能。用户可以手动选择开启或关闭眼球追踪功能，移动终端也可以自动开启眼球追踪功能。在一些应用场景下，移动终端可以自动开启眼球追踪功能。比如，在阅读模式下，移动终端可以自动开启眼球追踪功能。

在用户首次使用眼球追踪时，移动终端会引导用户进行眼球追踪的标定。眼球追踪的标定流程具体可以包括如下步骤：

(11)移动终端在触控显示屏的N个标定区域生成N个标定点；

(12)移动终端在用户视线分别注视N个标定点的情况下，分别采集N张人眼图像；

(13)移动终端分别从N张人眼图像提取N个眼部特征数据；

(14)移动终端基于N个眼部特征数据对待拟合模型进行拟合，得到眼球追踪模型。

本申请实施例中，在标定过程中，移动终端会引导用户依次注视触控显示屏的N个标定区域内生成N个标定点。移动终端在用户视线分别注视N个标定点的情况下，分别采集N张人眼图像。

具体的，移动终端的触控显示屏每次在一个标定区域生成一个标定点，提示用户看向该标定点，移动终端在用户注视该标定点的情况下，采集至少一张人眼图像，从该至少一张人眼图像中选择一张人眼图像作为该标定点对应的人眼图像，或者，从该至少一张人眼图像中选择的至少两张符合条件的图像合成得到该标定点对应的人眼图像。然后，移动终端的触控显示屏的另一个标定区域生成一个标定点，继续采集人眼图像。移动终端在用户视线分别注视N个标定点的情况下，分别采集N个标定点对应的N张人眼图像。

其中，标定点与背景区域的颜色不同，除了标定点之外的背景区域颜色统一。比如，标定点颜色为黑色，背景区域颜色为白色，标定点与背景区域的色差越大越好。

眼部特征数据可以包括眼球瞳孔中心坐标、眼球角膜反射光斑中心坐标、左眼角坐标、右眼角坐标等。

待拟合模型可以包括多元多次多项式函数模型。比如，以二元二次多项式函数模型为例：

其中，在眼球追踪过程中，Z

为了在标定过程中拟合得到较好的标定参数，一般需要至少9张人眼图像的9个眼部特征数据。其中，N可以为大于或等于9的整数。

标定过程就是为了确定待拟合函数模型的标定参数，当待拟合函数模型的标定参数确定下来后，则确定得到眼球追踪模型。后续可以用该眼球追踪模型来计算用户眼球注视在触控显示屏的注视点的坐标。

在首次标定结束之后，移动终端可以定期的提醒用户重新进行标定。每次标定过程与首次标定过程类似，此处不再赘述。

移动终端检测触控操作后，可以确定该触控操作与触控显示屏接触的区域，确定该触控操作与触控显示屏接触的区域为该触控操作对应的触控区域。

其中，触控操作可以包括点击操作或滑动操作。

其中，滑动操作可以包括滑动区域内的操作，如果滑动区域位于目标标定区域内，可以对整个滑动区域内的点进行拟合。

102，若触控区域位于目标标定区域内，移动终端拍摄触控区域对应的目标人眼图像。

本申请实施例中，目标标定区域为标定过程中用于生成标定点的区域。举例来说，请参阅图2a，图2a是本申请实施例提供的一种标定区域的示意图。如图2a所示，在触控显示屏上，可以包括9个标定区域，每个标定区域内都包含一个标定点。目标标定区域可以是9个标定区域中的任意一个。若触控区域位于9个标定区域中的任意一个，则确定触控区域位于目标标定区域。

若检测到触控区域位于目标标定区域内，移动终端可以通过前置摄像头拍摄目标人眼图像，该目标人眼图像为该触控区域对应的人眼图像。

其中，目标人眼图像可以是移动终端通过前置摄像头连续拍摄多张人眼图像中的任意一张。比如，在触控区域位于目标标定区域的情况下，移动终端可以连续拍摄触控区域对应的N张人眼图像，对于N张人眼图像中的每张人眼图像，都可以执行步骤103至步骤105的操作。

其中，移动终端可以通过红外光源(infrared light source，IR)摄像头或红绿蓝(red green blue，RGB)摄像头。IR摄像头可以发出红外光，红外光照射在人眼上出现光斑，IR摄像头可以拍摄灰度人眼图像。

其中，RGB摄像头可以拍摄彩色人眼图像。

一般来说，IR摄像头会瞳孔反射红外光瞳孔图像会比RGB摄像头更加准确；RGB方案需要更多的图像处理，计算精度和准确性IR摄像头要高于RGB摄像头。在通用性方面，RGB摄像头的结构和方案设计要比IR摄像头更通用。

103，移动终端从目标人眼图像提取目标眼部特征数据，将目标眼部特征数据输入眼球追踪模型，获得目标注视点坐标；眼球追踪模型基于上一次标定确定。

本申请实施例中，目标眼部特征数据可以包括眼球瞳孔中心坐标、眼球角膜反射光斑中心坐标、左眼角坐标、右眼角坐标等。

眼球追踪模型为上一次标定确定的，该眼球追踪模型的参数为上一次标定确定。每一次标定都可以重新确定眼球追踪模型的参数(比如，眼球追踪模型的参数可以包括上述公式中的a

可选的，步骤103中，移动终端从目标人眼图像提取目标眼部特征数据，具体可以包括如下步骤：

(21)移动终端确定目标人眼图像中的感兴趣ROI区域；

(22)移动终端从ROI区域中提取瞳孔眼角向量，目标眼部特征数据包括瞳孔眼角向量。

本申请实施例中，感兴趣区域为可以为人眼图像中的左眼区域或右眼区域。瞳孔眼角向量为瞳孔中心到左眼角的向量或者瞳孔中心到右眼角的向量。

可选的，步骤(22)中，移动终端从ROI区域中提取瞳孔眼角向量，具体可以还包括如下步骤：

(221)移动终端采用核梯度瞳孔定位方法确定ROI区域中的瞳孔中心坐标；

(222)移动终端采用边缘检测和核梯度眼角定位方法确定ROI区域中的第一眼角坐标和第二眼角坐标；

(223)移动终端根据瞳孔中心坐标、第一眼角坐标和第二眼角坐标确定瞳孔眼角向量。

本申请实施例中，请参阅图2b，图2b是本申请实施例提供的一种瞳孔中心点的计算示意图。如图2b所述，图2b的左图中灰色区域为眼球，的c是瞳孔中心的候选点(c位于灰色区域之内)，x

其中，C

下面举例说明本申请实施例的核梯度与传统梯度的区别。

举例来说，如果某一个矩阵

grad

grad

本申请实施例的核梯度如下：

归一化梯度：grad′(x,y)＝abs(grad

本申请实施例的眼角检测使用核梯度和Susan边缘检测(Susan Edge Detection)方法进行检测。单纯使用核梯度，眼角处的梯度没有瞳孔处的梯度容易检测，结合边缘检测可以过滤出至多2个眼角。

请参阅图2c，图2c是本申请实施例提供的一种提取瞳孔眼角向量的示意图。如图2c所示。获取人眼ROI区域后，对ROI区域做基于核梯度方法的瞳孔定位，输出瞳孔中心坐标(x,y)。对ROI区域做边缘检测和核梯度定位第一眼角坐标(X1，Y1)和第二眼角坐标(X2，Y2)，计算得到两个候选瞳孔眼角向量vec1和vec1。其中，vec1＝(X1-x,Y1-y)；vec2＝(X2-x,Y2-y)。确定候选瞳孔眼角向量vec1的模|vec1|和选瞳孔眼角向量vec2的模|vec2|中模最小的向量作为瞳孔眼角向量(比如，|vec1|大于|vec2|，则确定vec2为瞳孔眼角向量)。

104，若目标注视点坐标与目标标定区域对应的坐标的差异度小于第一阈值，移动终端将目标眼部特征数据与目标注视点坐标作为一条置信点数据，将置信点数据记录在置信数据集合中。

本申请实施例中，若目标注视点坐标与目标标定区域对应的坐标的差异度小于第一阈值，则认为该目标眼部特征数据为可靠数据，将目标眼部特征数据与目标注视点坐标作为一条置信点数据，将置信点数据记录在置信数据集合中。目标标定区域对应的坐标可以包括目标标定区域内的标定点的坐标。

其中，每个目标标定区域都会对应一个标定点坐标，具体可以参见图2a所示。每个目标标定区域内的标定点坐标是确定的。

本申请实施例中，如果目标注视点坐标与目标标定区域对应的坐标的差异度小于第一阈值，可认为该目标注视点坐标对应的目标注视点与该目标标定区域内的标定点的坐标接近，认为是可靠数据。反之，则认为是不可靠数据。

比如，本申请的置信点数据的前提是用户手眼一致性。也即，用户手指触控的区域，是用户眼睛注视的区域。但是，在一些情况下，如果用户手指触控某一区域时，用户眼睛看向了其他区域，此时，目标注视点坐标与目标标定区域对应的坐标的差异度较大，则该将目标眼部特征数据与目标注视点坐标不是本申请实施例想要的数据，则认为是不可靠数据。

其中，第一阈值可以预先进行设定并存储在移动终端的存储器(比如，非易失性存储器)中。

其中，眼球追踪模型可以包括多元多次多项式函数模型。比如，以二元二次多项式函数模型为例：

如果目标标定区域对应的坐标为Z

其中，deta为注视点坐标与目标标定区域对应的坐标的差异度，detazZ

可选的，若目标注视点坐标与目标标定区域对应的坐标的差异度小于第一阈值，移动终端丢弃目标眼部特征数据。

105，在置信数据集合中的置信点数据的数量达到第二阈值时，移动终端根据置信数据集合中的置信点数据对眼球追踪模型进行重新拟合，得到校准后的眼球追踪模型。

本申请实施例中，在置信数据集合中的置信点数据的数量达到第二阈值时，认为置信数据集合中的置信点数据的数量达到重新拟合的标准，则据置信数据集合中的置信点数据对眼球追踪模型进行重新拟合，得到校准后的眼球追踪模型。

其中，重新拟合后，校准后的眼球追踪模型的参数(比如，眼球追踪模型的参数可以包括上述公式中的a

其中，第二阈值可以预先进行设定并存储在移动终端的存储器(比如，非易失性存储器)中。比如，第二阈值可以设定为大于9。例如，第二阈值可以设定为10、100、200、1000等。

本申请实施例中，每一次触控操作最多只能收集一个置信点数据，在标定完成后，可以在用户的触控操作的过程中收集置信点数据，作为后续校正的数据源，从而重新拟合，可以提高校准后的眼球追踪模型的眼球追踪准确度，从而提高眼球追踪的标定效果。

可选的，在执行步骤105之后，还可以执行如下步骤：

(31)在进行眼球追踪的情况下，移动终端获取目标用户人眼图像；

(32)移动终端从目标用户人眼图像中提取目标用户眼部特征数据；

(33)移动终端将目标用户眼部特征数据输入校准后的眼球追踪模型，得到目标用户注视点坐标。

本申请实施例中，步骤(32)和步骤(33)可以参见上述步骤103的具体描述，此处不再赘述。

本申请实施例采用校准后的眼球追踪模型进行眼球追踪，可以准确计算人眼的注视点坐标，从而提高眼球追踪准确度。

本申请实施例中，可以在上一次标定后，通过触控操作收集置信点数据，将置信点数据记录在置信数据集合中，当置信数据集合中的置信点数据的数量达到第二阈值时，根据置信数据集合中的置信点数据对眼球追踪模型进行重新拟合，得到校准后的眼球追踪模型。可以在上一次标定后对上一次标定结果进行自动校准，提高校准后的眼球追踪模型的眼球追踪准确度，从而提高眼球追踪的标定效果。

请参阅图3，图3是本申请实施例提供的另一种眼球追踪的标定校准方法的流程示意图。如图3所示，该眼球追踪的标定校准方法可以包括如下步骤。

301，移动终端启动标定模式，在触控显示屏的N个标定区域生成N个标定点。

302，在用户视线分别注视所述N个标定点的情况下，移动终端分别采集N张人眼图像。

303，移动终端分别从所述N张人眼图像提取N个眼部特征数据。

304，移动终端基于所述N个眼部特征数据对待拟合模型进行拟合，得到所述眼球追踪模型。

本申请实施例中，在标定过程中，移动终端会引导用户依次注视触控显示屏的N个标定区域内生成N个标定点。移动终端在用户视线分别注视N个标定点的情况下，分别采集N张人眼图像。

具体的，移动终端的触控显示屏每次在一个标定区域生成一个标定点，提示用户看向该标定点，移动终端在用户注视该标定点的情况下，采集至少一张人眼图像，从该至少一张人眼图像中选择一张人眼图像作为该标定点对应的人眼图像，或者，从该至少一张人眼图像中选择的至少两张符合条件的图像合成得到该标定点对应的人眼图像。然后，移动终端的触控显示屏的另一个标定区域生成一个标定点，继续采集人眼图像。移动终端在用户视线分别注视N个标定点的情况下，分别采集N个标定点对应的N张人眼图像。

其中，标定点与背景区域的颜色不同，除了标定点之外的背景区域颜色统一。比如，标定点颜色为黑色，背景区域颜色为白色，标定点与背景区域的色差越大越好。

眼部特征数据可以包括眼球瞳孔中心坐标、眼球角膜反射光斑中心坐标、左眼角坐标、右眼角坐标等。

待拟合模型可以包括多元多次多项式函数模型。比如，以二元二次多项式函数模型为例：

其中，在眼球追踪过程中，Z

为了在标定过程中拟合得到较好的标定参数，一般需要至少9张人眼图像的9个眼部特征数据。其中，N可以为大于或等于9的整数。

标定过程就是为了确定待拟合函数模型的标定参数，当待拟合函数模型的标定参数确定下来后，则确定得到眼球追踪模型。后续可以用该眼球追踪模型来计算用户眼球注视在触控显示屏的注视点的坐标。

下面以移动终端为手机，N等于9为例，结合图4说明标定的具体流程。请参阅图4，图4是本申请实施例提供的一种标定的具体流程示意图。如图4所示，视线标定开始后，人眼依次注视手机屏幕中1-9个标定区域；通过手机前置摄像头(IR摄像头或红外摄像头)拍摄1-9对应的标定区域的9张图像；通过人眼检测输出每张图像中的ROI区域，对ROI区域做基于核梯度方法的瞳孔定位，输出瞳孔中心坐标(x,y)；ROI区域做边缘检测和核梯度定位眼角坐标(包括第一眼角坐标(X1,Y1)和第二眼角坐标(X2,Y2))，其中，第一眼角坐标可以是左眼角坐标，第二眼角坐标可以是右眼角坐标；得出瞳孔-眼角向量vec1＝(X1-x,Y1-y)，vec2＝(X2-x,Y2-y)；取|vec1|和|vec2|最小的向量作为计算；计算手机屏幕中1-9个标定区域对应的标定点的坐标(Z

下面以移动终端为手机，N等于9为例，第二阈值等于1000，结合图5说明标定校准的具体流程。请参阅图5，图5是本申请实施例提供的一种标定校准的具体流程示意图。如图5所示，视线标定校准开始，人眼依次注视手机屏幕中1-9任意一个标定区域，如果有，通过手机前置摄像头(IR摄像头或红外摄像头)拍摄对应的标定区域的人眼图像；通过人眼检测输出该人眼图像中的ROI区域，对ROI区域做基于核梯度方法的瞳孔定位，输出瞳孔中心坐标(x,y)；ROI区域做边缘检测和核梯度定位眼角坐标(包括第一眼角坐标(X1,Y1)和第二眼角坐标(X2,Y2))，其中，第一眼角坐标可以是左眼角坐标，第二眼角坐标可以是右眼角坐标；得出瞳孔-眼角向量vec1＝(X1-x,Y1-y)，vec2＝(X2-x,Y2-y)；取|vec1|和|vec2|最小的向量作为计算；计算手机屏幕中1-9个标定区域对应的标定点的坐标(Z

305，在上一次标定完成之后，移动终端检测触控操作，确定触控操作对应的触控区域。

306，若触控区域位于目标标定区域内，移动终端拍摄触控区域对应的目标人眼图像。

307，移动终端从目标人眼图像提取目标眼部特征数据，将目标眼部特征数据输入眼球追踪模型，获得目标注视点坐标；眼球追踪模型基于上一次标定确定。

308，若目标注视点坐标与目标标定区域对应的坐标的差异度小于第一阈值，移动终端将目标眼部特征数据与目标注视点坐标作为一条置信点数据，将置信点数据记录在置信数据集合中。

309，在置信数据集合中的置信点数据的数量达到第二阈值时，移动终端根据置信数据集合中的置信点数据对眼球追踪模型进行重新拟合，得到校准后的眼球追踪模型。

其中，步骤305至步骤309的具体实施可以参见图1所示的步骤101至步骤105，此处不再赘述。

本申请实施例中，可以在上一次标定后，通过触控操作收集置信点数据，将置信点数据记录在置信数据集合中，当置信数据集合中的置信点数据的数量达到第二阈值时，根据置信数据集合中的置信点数据对眼球追踪模型进行重新拟合，得到校准后的眼球追踪模型。可以在上一次标定后对上一次标定结果进行自动校准，提高校准后的眼球追踪模型的眼球追踪准确度，从而提高眼球追踪的标定效果。

上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，移动终端为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对移动终端进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

与上述一致的，请参阅图6，图6为本申请实施例提供的一种眼球追踪的标定装置的结构示意图，该眼球追踪的标定装置600可以包括检测单元601、确定单元602、拍摄单元603、提取单元604、模型计算单元605、处理单元606和校准单元607，其中：

检测单元601，用于在上一次标定完成之后，检测触控操作；

确定单元602，用于确定所述触控操作对应的触控区域；

拍摄单元603，用于在所述触控区域位于目标标定区域内的情况下，拍摄所述触控区域对应的目标人眼图像；

提取单元604，用于从所述目标人眼图像提取目标眼部特征数据；

模型计算单元605，用于将所述目标眼部特征数据输入眼球追踪模型，获得目标注视点坐标；所述眼球追踪模型基于所述上一次标定确定；

处理单元606，用于在所述目标注视点坐标与所述目标标定区域对应的坐标的差异度小于第一阈值的情况下，将所述目标眼部特征数据与所述目标注视点坐标作为一条置信点数据，将所述置信点数据记录在置信数据集合中；

校准单元607，用于在所述置信数据集合中的置信点数据的数量达到第二阈值时的情况下，根据所述置信数据集合中的置信点数据对所述眼球追踪模型进行重新拟合，得到校准后的眼球追踪模型。

可选的，所述提取单元604从所述目标人眼图像提取目标眼部特征数据，具体为；确定所述目标人眼图像中的感兴趣ROI区域；从所述ROI区域中提取瞳孔眼角向量，所述目标眼部特征数据包括所述瞳孔眼角向量。

可选的，所述提取单元604从所述ROI区域中提取瞳孔眼角向量，具体为：采用核梯度瞳孔定位方法确定所述ROI区域中的瞳孔中心坐标；采用边缘检测和核梯度眼角定位方法确定所述ROI区域中的第一眼角坐标和第二眼角坐标；根据所述瞳孔中心坐标、第一眼角坐标和第二眼角坐标确定瞳孔眼角向量。

可选的，所述处理单元606，还用于在所述目标注视点坐标与所述目标标定区域对应的坐标的差异度小于第一阈值的情况下，丢弃所述目标眼部特征数据。

可选的，所述触控操作包括点击操作或滑动操作。

可选的，该眼球追踪的标定装置600还可以包括标定单元608；

所述标定单元608，用于在所述上一次标定完成之前，启动标定模式，在触控显示屏的N个标定区域生成N个标定点；在用户视线分别注视所述N个标定点的情况下，分别采集N张人眼图像；分别从所述N张人眼图像提取N个眼部特征数据；基于所述N个眼部特征数据对待拟合模型进行拟合，得到所述眼球追踪模型。

可选的，该眼球追踪的标定装置600还可以包括眼球追踪单元609；

所述眼球追踪单元609，用于在所述校准单元607根据所述置信数据集合中的置信点数据对所述眼球追踪模型进行重新拟合，得到校准后的眼球追踪模型之后，在进行眼球追踪的情况下，获取目标用户人眼图像；从所述目标用户人眼图像中提取目标用户眼部特征数据；将所述目标用户眼部特征数据输入所述校准后的眼球追踪模型，得到目标用户注视点坐标。

其中，拍摄单元603可以是移动终端的摄像头，检测单元601可以是移动终端的触控显示屏，确定单元602、提取单元604、模型计算单元605、处理单元606、校准单元607、标定单元608、眼球追踪单元609可以是移动终端的处理器。

本申请实施例中，可以在上一次标定后，通过触控操作收集置信点数据，将置信点数据记录在置信数据集合中，当置信数据集合中的置信点数据的数量达到第二阈值时，根据置信数据集合中的置信点数据对眼球追踪模型进行重新拟合，得到校准后的眼球追踪模型。可以在上一次标定后对上一次标定结果进行自动校准，提高校准后的眼球追踪模型的眼球追踪准确度，从而提高眼球追踪的标定效果。

请参阅图7，图7是本申请实施例提供的一种移动终端的结构示意图，如图7所示，该移动终端700包括处理器701和存储器702，处理器701、存储器702可以通过通信总线703相互连接。通信总线703可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，简称EISA)总线等。通信总线704可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。存储器702用于存储计算机程序，计算机程序包括程序指令，处理器701被配置用于调用程序指令，上述程序包括用于执行图1至图5所示的方法。

处理器701可以是通用中央处理器(CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制以上方案程序执行的集成电路。

存储器702可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(ElectricallyErasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。

该移动终端700还可以包括摄像头704和显示屏705。摄像头704可以包括前置摄像头、后置摄像头等。显示屏705可以包括液晶显示屏、LED显示屏、OLED显示屏等触控显示屏。

此外，该移动终端700还可以包括通信接口、天线等通用部件，在此不再详述。

本申请实施例中，可以在上一次标定后，通过触控操作收集置信点数据，将置信点数据记录在置信数据集合中，当置信数据集合中的置信点数据的数量达到第二阈值时，根据置信数据集合中的置信点数据对眼球追踪模型进行重新拟合，得到校准后的眼球追踪模型。可以在上一次标定后对上一次标定结果进行自动校准，提高校准后的眼球追踪模型的眼球追踪准确度，从而提高眼球追踪的标定效果。

本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种眼球追踪的标定校准方法的部分或全部步骤。

本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种眼球追踪的标定校准方法的部分或全部步骤。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在申请明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。

所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器、随机存取器、磁盘或光盘等。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。