快速校准的视线追踪方法

技术领域

本发明涉及人机交互技术领域，具体地，涉及一种快速校准的视线追踪方法。

背景技术

人机交互是指人与计算机之间以一定的交互方式，为完成确定任务的人与计算机之间的信息交换过程，其作为计算机研究的一个重要领域，拥有着广阔的发展空间。目前的人机交互分为两大类，一种是接触式的人机交互，另一种是非接触式人机交互。前者的应用如触摸屏、鼠标、键盘等。后者的主流应用如语音识别、手势识别、视线跟踪等。相较于前者而言，后者可以提供更加便捷的操作方式，减少了操作的复杂性和时间成本。手势识别和语音识别是目前人机交互领域的主流，但由于手势识别容易有死角或者遮挡，语音识别容易受到噪声影响，使得视线追踪技术逐渐进入大众视角内并逐渐成为人机交互方式的新趋势，其在医学领域、教育领域和航空心理学领域都有较好的表现。

目前，现有的视线追踪技术使用的校准方案多是在屏幕上特定位置设置多个校准点，每个点亮起时，眼睛注视该点，摄像头拍摄此时的眼睛图像，通过拍摄的眼图和每个校准点的坐标位置来构建坐标对应关系。这种系统让用户依次注视校准点进行逐个校准，消耗时间过长(大约40-70秒左右)。因此，急需要提供一种能够快速校准的视线追踪方法。

发明内容

本发明的目的是提供一种快速校准的视线追踪方法，该视线追踪方法校准速度快，节省时间。

为了实现上述目的，本发明提供了一种快速校准的视线追踪方法，该快速校准的视线追踪方法包括：

步骤1、通过访问摄像头，提取实时视频中每一帧图像，获取人脸区域的图像；

步骤2、使用图像预处理模块对步骤1中的获取的图片进行图像预处理，得到瞳孔中心点坐标；

步骤3、采用对角线两点校准，构建屏幕对角线L与屏幕的w和h之间的函数关系；将校准模块设置为能够在摄像头连续多帧检测不到人脸时立即进入待机校准状态，且再次检测到人脸后会立即启动校准模块进行人眼校准工作；

步骤4、通过步骤3校准工作过程中获取的眼图数据构建出双眼瞳孔中心点之间的中心点和电脑光标之间的映射函数，之后将任意时刻的眼图数据代入映射函数之中，即可得到此刻在屏幕上注视点坐标并控制鼠标移动和单击操作。

优选地，在步骤1中采用卷积神经网络cnn的方法进行实时视频的特征提取。

优选地，在步骤2中采用加权平均的方法对步骤1中提取的图像进行灰度化处理，公式如下：

Gray(x,y)＝αR(x,y)+βG(x,y)+γB(x,y) (1)

其中，Gray为最终像素值，R、G、B为对应通道的像素值，(x,y)为图像中第x行和第y列的坐标，α、β和γ是权重参数。

优选地，在步骤2中采用多尺度高斯细节增强，即使用多个尺度的高斯核对灰度化的图像进行滤波处理，获得不同程度的瞳孔边缘信息，从而得到瞳孔的边缘点，公式如下：

B

I＝B

其中，I^为灰度图，D

优选地，在步骤2中引用最小二乘法椭圆拟合方法，将采用多尺度高斯对图像进行处理得到的人眼瞳孔边缘点进行椭圆拟合，实现对人眼瞳孔中心的定位，椭圆的中心点坐标即为瞳孔中心坐标。

优选地，在步骤3中采用对角线上两点校准，只需要依次注视A、B两个校准点，使两点依次变绿，即可快速完成校准工作；其中，使用机器学习中的L

令

存在点(x

存在点(x

此时，F(x，y)无限接近于0，L与L1数值最接近，点(x

优选地，在步骤3中进行二次校准时，快速注视图中A、B两点，获得实际注视点A，和B’的坐标，分别以A和B为圆心画圆，半径均为r，若|A′-A|＜r且|B′-B|＜r时，则二次校准工作完成；若|A′-A|＞r或|B′-B|＞r时，则重新进行一次校准工作。

优选地，在步骤4中，计算出图像预处理模块中所得到的左右眼瞳孔中心点之间的中心点，当用户将此中心点放在设置在电脑屏幕中央矩形框的顶部、底部、左侧和右侧，即可在相应的方向上移动光标；

根据校准模块中给出的校准点和此时的眼图数据构建出双眼瞳孔中心点之间的中心点和光标之间的映射函数关系，之后将任意时刻的眼图数据带入映射关系之中，即可得到一组数据，将这组数据认为是此刻用户注视点的坐标位置。

优选地，步骤4中使用预构建模型检测人眼的特征，提取出人眼上的六个特征点用作眼宽比EAR的计算，将眼睛动作转换成鼠标操作，其公式如下：

当眼睛闭上时，EAR值急剧下降，当EAR值小于0.1即可触发鼠标的单击操作。

根据上述技术方案，本发明对从实时视频中获取的图片进行图像预处理，定位瞳孔中心，进而实现视线追踪。在图像预处理模块使用多尺度高斯核对图像进行多次滤波处理，与其他图像处理方式相比，可以缩短程序运行的时间。对角线两点校准能在摄像头连续多帧检测不到人脸时快速进入待机校准状态，用户进入摄像头检测范围内立即启动校准模块进行人眼校准，节约了在校准阶段所需时间。

本发明的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：

图1是根据本发明提供的快速校准的视线追踪方法中图像预处理的流程图；

图2是根据本发明提供的快速校准的视线追踪方法中获取用户人脸区域图像和校准的流程图；

图3是根据本发明提供的快速校准的视线追踪方法中对角线上两点校准的示意图；

图4是根据本发明提供的快速校准的视线追踪方法中控制光标移动和单击的示意图；

图5是根据本发明提供的快速校准的视线追踪方法中眼宽比EAR的示意图。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

参见图1和图2，本发明提供了一种快速校准的视线追踪方法，该快速校准的视线追踪方法包括：

步骤1、通过访问摄像头，提取实时视频中每一帧图像，获取人脸区域的图像；

步骤2、使用图像预处理模块对步骤1中的获取的图片进行图像预处理，得到瞳孔中心点坐标；

步骤3、采用对角线两点校准，构建屏幕对角线L与屏幕的w和h之间的函数关系；将校准模块设置为能够在摄像头连续多帧检测不到人脸时立即进入待机校准状态，且再次检测到人脸后会立即启动校准模块进行人眼校准工作；

步骤4、通过步骤3校准工作过程中获取的眼图数据构建出双眼瞳孔中心点之间的中心点和电脑光标之间的映射函数，之后将任意时刻的眼图数据代入映射函数之中，即可得到此刻在屏幕上注视点坐标并控制鼠标移动和单击操作。

在本实施方式中，在步骤1中采用卷积神经网络cnn的方法进行实时视频的特征提取。

当在步骤2中对图像进行预处理时，采用加权平均的方法对步骤1中提取的图像进行灰度化处理，公式如下：

Gray(x，y)＝αR(x，y)+βG(x，y)+γB(x，y) (1)

其中，Gray为最终像素值，R、G、B为对应通道的像素值，(x，y)为图像中第x行和第y列的坐标，α、β和γ是权重参数。

同时，还采用多尺度高斯细节增强，即使用多个尺度的高斯核对灰度化的图像进行滤波处理，获得不同程度的瞳孔边缘信息，从而得到瞳孔的边缘点，公式如下：

B

I＝B

其中，I^为灰度图，D

进一步的，再引用最小二乘法椭圆拟合方法，将采用多尺度高斯对图像进行处理得到的人眼瞳孔边缘点进行椭圆拟合，实现对人眼瞳孔中心的定位，椭圆的中心点坐标即为瞳孔中心坐标。

针对校准，目前在用的校准模块一般采用九点、十二点、十六点进行人眼校准，校准方式是用户依次注视校准点，校准过程中当校准点全部由红变绿后即为校准结束。但是这类校准方式一般为一次校准，一旦用户的人脸离开摄像头检测的范围内，所有程序会立马停止运行，实时性很差。在校准过程中如果用户出现注意力不集中的情况，校准进程会从第一个校准点重新开始校准，耗时较多。为了提高校准的效率，本发明在校准模块上做了如下改进：

为了在提高程序运行速率的前提下不丧失校准的准确性，在步骤3中采用对角线上两点校准，只需要依次注视A、B两个校准点，使两点依次变绿，即可快速完成校准工作；其中，使用机器学习中的L

令

存在点(x

存在点(x

此时，F(x，y)无限接近于0，L与L1数值最接近，点(x

校准模块会在摄像头连续多帧检测不到人脸时立马进入待机校准状态，再次检测到人脸后立即启动校准模块进行人眼校准工作。具体的，当进行二次校准时，快速注视图中A、B两点(见图3)，获得实际注视点A’和B’的坐标，分别以A和B为圆心画圆，半径均为r，若|A′-A|＜r且|B′-B|＜r时，则二次校准工作完成；若|A′-A|＞r或|B′-B|＞r时，则重新进行一次校准工作。

在步骤4中，计算出图像预处理模块中所得到的左右眼瞳孔中心点之间的中心点，当用户将此中心点放在设置在电脑屏幕中央矩形框的顶部、底部、左侧和右侧，即可在相应的方向上移动光标(如图4所示)；

根据校准模块中给出的校准点和此时的眼图数据构建出双眼瞳孔中心点之间的中心点和光标之间的映射函数关系，之后将任意时刻的眼图数据带入映射关系之中，即可得到一组数据，将这组数据认为是此刻用户注视点的坐标位置。

参见图5，在步骤4中，为了检测人眼的特征，使用了一个预构建模型，提取出人眼上的六个特征点用作眼宽比EAR的计算，将眼睛动作转换成鼠标操作，其公式如下：

当眼睛闭上时，EAR值急剧下降，当EAR值小于0.1即可触发鼠标的单击操作。

通过上述技术方案，本方法对从实时视频中获取的图片进行图像预处理，定位瞳孔中心，进而实现视线追踪。在图像预处理模块使用多尺度高斯核对图像进行多次滤波处理，与其他图像处理方式相比，可以缩短程序运行的时间。对角线两点校准能在摄像头连续多帧检测不到人脸时快速进入待机校准状态，用户进入摄像头检测范围内立即启动校准模块进行人眼校准，节约了在校准阶段所需时间。

以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。

此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。