一种头眼双通道智能人机交互系统及运行方法

技术领域

本发明涉及一种头眼双通道智能人机交互系统及运行方法，属于人机交互技术领域。

背景技术

人机交互技术，作为人与计算机之间信息交流的接口，在军事、工业、教育、医疗、家居等领域应用广泛。随着电子技术和计算机技术的快速发展，人机交互方式也发生了巨大的改变，不再局限于传统的鼠标键盘输入、显示屏输出等，而是逐渐发展为集传统交互方式与眼动、姿态、语音等自然人机交互方式于一体的多通道交互方式，极大提高了人机交互的智能性。

由于视线能够反映人眼的关注信息，在人机交互中被当作重要的信息输入源，因此视线追踪技术备受该领域研究人员的关注。但目前基于视线追踪的视线控制技术存在固有的缺陷，比如难以完成大范围内的精确操作以及头动对系统精度造成的偏差，仅仅依靠视线进行人机交互的实用性依然较低。

由于人眼的注视点是由眼睛和头部的方位共同决定的，头部方位决定人眼能够注视到的范围，眼睛确定精确的注视方向。如果将头部姿态作为一种互补输入通道，与视线输入通道相结合，用头部姿态确定注视区域完成粗定位，用视线确定具体的注视点，实现头眼双输入通道控制的人机交互方式，弥补单输入通道存在的缺陷，则能大大提高视线交互的实用性，将具有巨大的市场和经济效益。

发明内容

本发明的目的在于解决现有单通道视觉交互系统在实际应用中实用性较低的问题，而公开一种基于视线追踪技术和头部姿态检测技术的头眼双通道智能人机交互系统及方法。

一种头眼双通道智能人机交互系统，头眼双通道智能人机交互系统包括：眼部图像采集模块、头部姿态检测模块、系统核心模块、无线数据传输模块和电源模块，眼部图像采集模块和头部姿态检测模块均与系统核心模块连接，系统核心模块与无线数据传输模块连接，电源模块同时为眼部图像采集模块、头部姿态检测模块、系统核心模块和无线数据传输模块通电；

进一步的，头眼双通道智能人机交互系统还包括电子终端，其中，

眼部图像采集模块，用于获取人眼灰度图像数据，并将人眼灰度图像数据传输至系统核心模块；

头部姿态检测模块，用于获取三轴姿态数据，再对三轴姿态数据进行姿态解算，并将姿态解算结果发送至系统核心模块；

系统核心模块，用于对灰度图像数据和姿态解算结果进行处理，转换为适用于计算机的交互数据，并发送交互数据至电子终端；

无线数据传输模块，用于使系统核心模块和电子终端无线连接；

电子终端，用于将交互数据转换成为适用于电子终端的操作指令；

头眼双通道智能人机交互系统还包括头戴式框架，头戴式框架包括镜框、左支腿、右支腿、充电接口、LED状态指示灯和镜片拓展框，左支腿和右支腿分别转动连接于镜框的左右两端，充电接口设置于左支腿上，镜片拓展框设置在镜框中，LED状态指示灯设置于左支腿的外侧面上；

LED状态指示灯为RGB指示灯，用于指示系统的不同状态；

镜片拓展框中安装有镜片，镜片为平面镜片或近视镜片；

左支腿和右支腿均为空腔结构；

进一步的，系统核心模块内嵌于右支腿的空腔中，系统核心模块包括眼部图像缓存模块和FPGA控制与数据处理模块，FPGA控制与数据处理模块分别与眼部图像采集模块、头部姿态检测模块、眼部图像缓存模块连接；

眼部图像采集模块安装在镜框的右下部，眼部图像采集模块包括单个集成红外LED且可调角度的微型红外摄像头、摄像头左右角度调节滚轮和摄像头上下角度调节滚轮，微型红外摄像头的左右角度和上下角度分别通过摄像头左右角度调节滚轮和摄像头上下角度调节滚轮调节；

眼部图像数据缓存模块，用于把微型红外摄像头输出的视频图像数据以帧为单位缓存起来；

FPGA控制与数据处理模块，用于以帧为单位读取眼部图像数据缓存模块中的数据，并利用FPGA控制与数据处理模块内部的视线追踪算法处理图像数据得到视线落点数据；

FPGA控制与数据处理模块，还用于获取头部姿态检测模块输出的姿态数据，对姿态数据进行处理后得到头部姿态角数据；

FPGA控制与数据处理模块，还用于通过数据融合将视线落点数据和头部姿态角数据进行融合处理，转换为适用于计算机的交互数据，

头部姿态检测模块内嵌在镜框的中上部；头部姿态检测模块包括三轴陀螺仪、三轴加速度计和数字运动处理器DMP；

无线数据传输模块核心为低功耗蓝牙芯片，与FPGA控制与数据处理模块连接。

进一步的，电源模块包括电源管理模块、聚合物锂电池和电源开关按钮，其中，电源管理模块与充电接口连接，聚合物锂电池与电源管理模块连接，电源开关按钮与电源管理模块相连；

进一步的，在电源充电状态下，LED状态指示灯发出红光，充满时发出绿光；在电源开关按钮按下时，头眼双通道智能人机交互系统电源接通，LED状态指示灯发出蓝光，表示系统开始正常工作；电量低于预设低电量警戒线时，LED状态指示灯闪烁并发出红光。

一种头眼双通道智能人机交互方法，基于上述的一种头眼双通道智能人机交互系统，头眼双通道智能人机交互方法包括以下步骤：

S100、视线信息提取；

S200、头部姿态检测；

S300、数据融合处理；

S400、交互数据发送。

进一步的，在S100中，具体包括以下步骤：

S110、使用微型红外摄像头获取原始图像，并将原始图像转换为人眼灰度图像数据；

S120、将获取到的人眼灰度图像数据以帧为单位缓存到眼部图像数据缓存模块；

S130、由FPGA控制与数据处理模块从眼部图像数据缓存模块读取人眼灰度图像数据，使用视线追踪算法提取视线信息。

进一步的，在S130中，视线信息的提取包括以下步骤：

S131、眼部图像预处理：图像预处理包括中值滤波，滤除眼部图像中的椒盐噪声；

S132、瞳孔边缘特征提取：瞳孔边缘特征提取包括图像的二值化、形态学处理和Sobel边缘检测三个子步骤：

二值化：利用事先确定的灰度阈值T和如下公式对图像f(x,y)进行二值化分割得到二值图像g(x,y)：

其中，T＝35；

形态学处理：对于图像中仍然存在的睫毛或瞳孔边缘噪点，利用数学形态学运算对图像进行处理，具体的，系统根据图像中噪声的特点，选用半径为6的盘形结构元素B，先利用公式(2)对图像A进行闭运算、再利用公式(3)对图像A进行开运算处理：

Sobel边缘检测：采用3×3的Sobel水平方向算子Gx和垂直方向算子Gy对图像进行卷积计算，提取瞳孔区域的边缘轮廓；

S133、利用瞳孔的近圆特性提取瞳孔中心：具体的，计算瞳孔区域轮廓的最小外接矩形，用矩形形心(x

S134、视线落点估计：视线落点估计采用基于九点标定的二维多项式映射的方法，得到瞳孔中心坐标与标定点之间的映射关系；将交互界面的长、宽三等分得到等面积的九个注视区域，选择其中一块区域作为标定界面，

标定方法具体为：用户调整身体位置，使得目光直视时视线落在标定界面中间标定点处，然后保持头部不动，依次注视标定界面上的九个点，系统记录瞳孔中心坐标和对应的标定点坐标，建立如下二维映射方程：

其中，X

进一步的，在S200中，的头部姿态检测，首先通过头部姿态检测模块内部的三轴陀螺仪和三轴加速度计获取三轴姿态数据，再使用数字运动处理器DMP对三轴姿态数据进行姿态解算，FPGA控制与数据处理模块读取使用三轴姿态数据姿态解算后的四元数，最后对四元数进行公式转换即可得到姿态角数据，具体转换过程如下：

四元数定义：一个四元数表示为q＝w+xi+yj+zk，写成矩阵形式为：

q＝(w,x,y,z)

|q|

四元数与欧拉角转换，利用式(8)，四元数进行转换得到姿态角：

其中，

进一步的，在S300中，的数据融合处理，首先通过FPGA控制与数据处理模块获取S200中通过姿态解算得到的姿态角数据，利用阈值判断头部运动是否产生有效运动；然后获取S200中得到的原始加速度数据，通过不断对加速度数据进行二次积分得到位移数据，利用阈值判断头部运动作为交互动作的有效性，并将有效交互动作的位移通过映射方程映射为交互界面坐标数据，将非交互动作产生的位移叠加到视线落点上，用来补偿头部运动对视线落点估计造成的偏差。

进一步的，在S400中的交互数据发送，是通过FPGA控制与数据处理模块将交互数据通过无线数据传输模块发送到电脑端，电脑将交互数据转换为成鼠标的操作指令，完成与人机之间的交互。

本发明的有以下优点：本发明提出了一种头眼双通道智能人机交互系统及交互方法，通过用头部姿态确定注视区域完成粗定位，用视线确定具体的注视点，实现头眼双输入通道控制的人机交互方式，解决了单输入通道人机交互系统存在的缺陷。本发明提出的一种头眼双通道智能人机交互方法，把头动分为具有交互意图的动作和非交互意图动作，将交互意图动作映射为交互数据，将非交互意图动作用于补偿视线落点，减小了无意识头动对视线追踪带来的偏差，提升了视线交互技术的实用性。本发明提出的一种头眼双通道智能人机交互系统，数据的采集、处理和发送都基于嵌入式硬件设计，对上位机的硬件性能要求低，使用方便，适用性强。

附图说明

图1为本发明的一种头眼双通道智能人机交互系统的系统结构框图；

图2为本发明的一种头眼双通道智能人机交互系统的系统结构示意图；

图3为本发明的视线信息提取的方法步骤图；

图4为本发明的Sobel算子示意图；

图5为瞳孔中心提取示意图；

图6为九点标定界面示意图；

图7为头部运动识别流程图；

图8为头部运动示意图；

图9为头部运动示意图；

图10为九点标定界面示意图。

其中，1为头戴式框架、1-1为镜框、1-2为左支腿、1-3为右支腿、1-4为充电接口、1-5为LED状态指示灯、1-6为镜片扩展框、2为眼部图像采集模块、2-1为微型红外摄像头、2-2为摄像头左右角度调节滚轮、2-3为摄像头上下角度调节滚轮、3为头部姿态检测模块、4为系统核心模块、4-1为眼部图像数据缓存模块、4-2为FPGA控制与数据处理模块、5为无线数据传输模块、6为电源模块、6-1为电源管理模块、6-2为聚合物锂电池、6-3为电源开关按钮。

具体实施方式

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1所示，本发明提出了一种头眼双通道智能人机交互系统，头眼双通道智能人机交互系统包括：眼部图像采集模块2、头部姿态检测模块3、系统核心模块4、无线数据传输模块5和电源模块6，眼部图像采集模块2和头部姿态检测模块3均与系统核心模块4连接，系统核心模块4与无线数据传输模块5连接，电源模块6同时为眼部图像采集模块2、头部姿态检测模块3、系统核心模块4和无线数据传输模块5通电。

进一步的，头眼双通道智能人机交互系统还包括电子终端，其中，

眼部图像采集模块2，用于获取人眼灰度图像数据，并将人眼灰度图像数据传输至系统核心模块4；

头部姿态检测模块3，用于获取三轴姿态数据，再对三轴姿态数据进行姿态解算，并将姿态解算结果发送至系统核心模块4；

系统核心模块4，用于对灰度图像数据和姿态解算结果进行处理，转换为适用于计算机的交互数据，并发送交互数据至电子终端；

无线数据传输模块5，用于使系统核心模块4和电子终端无线连接；

电子终端，用于将交互数据转换成为适用于电子终端的操作指令。

进一步的，参照图2所示，头眼双通道智能人机交互系统还包括头戴式框架1，头戴式框架1包括镜框1-1、左支腿1-2、右支腿1-3、充电接口1-4、LED状态指示灯1-5和镜片拓展框1-6，左支腿1-2和右支腿1-3分别转动连接于镜框1-1的左右两端，充电接口1-4设置于左支腿1-2上，镜片拓展框1-6设置在镜框1-1中，LED状态指示灯1-5设置于左支腿1-2的外侧面上。

进一步的，LED状态指示灯1-5为RGB指示灯，可发出红、绿、蓝三种颜色光，用于指示系统的不同状态。

进一步的，镜片拓展框1-6中安装有镜片，镜片为平面镜片或近视镜片，可增加系统的可拓展性和实用性。

进一步的，左支腿1-2和右支腿1-3均为空腔结构。

进一步的，系统核心模块4内嵌于右支腿1-3的空腔中，系统核心模块4包括眼部图像缓存模块4-1和FPGA控制与数据处理模块4-2，FPGA控制与数据处理模块4-2分别与眼部图像采集模块2、头部姿态检测模块3、眼部图像缓存模块4-1连接。

进一步的，眼部图像采集模块2安装在镜框1-1的右下部，眼部图像采集模块2包括单个集成红外LED且可调角度的微型红外摄像头2-1、摄像头左右角度调节滚轮2-2和摄像头上下角度调节滚轮2-3，微型红外摄像头2-1的左右角度和上下角度分别通过摄像头左右角度调节滚轮2-2和摄像头上下角度调节滚轮2-3调节。

进一步的，其中，

眼部图像数据缓存模块4-1，用于把微型红外摄像头2-1输出的视频图像数据以帧为单位缓存起来；

FPGA控制与数据处理模块4-2，用于以帧为单位读取眼部图像数据缓存模块4-1中的数据，并利用FPGA控制与数据处理模块4-2内部的视线追踪算法处理图像数据得到视线落点数据；

FPGA控制与数据处理模块4-2，还用于获取头部姿态检测模块3输出的姿态数据，对姿态数据进行处理后得到头部姿态角数据；

FPGA控制与数据处理模块4-2，还用于通过数据融合将视线落点数据和头部姿态角数据进行融合处理，转换为适用于计算机的交互数据。

进一步的，头部姿态检测模块3内嵌在镜框1-1的中上部；头部姿态检测模块3包括三轴陀螺仪、三轴加速度计和数字运动处理器DMP。

进一步的，无线数据传输模块5核心为低功耗蓝牙芯片，与FPGA控制与数据处理模块4-2连接，用于把交互数据通过无线形式发送到手机或电脑等终端中。

进一步的，电源模块6包括电源管理模块6-1、聚合物锂电池6-2和电源开关按钮6-3，其中，电源管理模块6-1与充电接口1-4连接，聚合物锂电池6-2与电源管理模块6-1连接，电源开关按钮6-3与电源管理模块6-1相连。

进一步的，在电源充电状态下，LED状态指示灯1-5发出红光，充满时发出绿光；在电源开关按钮6-3按下时，头眼双通道智能人机交互系统电源接通，LED状态指示灯1-5发出蓝光，表示系统开始正常工作；电量低于预设低电量警戒线时，LED状态指示灯1-5闪烁并发出红光。

一种头眼双通道智能人机交互方法，基于上述的一种头眼双通道智能人机交互系统，头眼双通道智能人机交互方法包括以下步骤：

S100、视线信息提取；

S200、头部姿态检测；

S300、数据融合处理；

S400、交互数据发送。

进一步的，在S100中，具体包括以下步骤：

S110、使用微型红外摄像头2-1获取原始图像，并将原始图像转换为人眼灰度图像数据；

S120、将获取到的人眼灰度图像数据以帧为单位缓存到眼部图像数据缓存模块4-1；

S130、由FPGA控制与数据处理模块4-2从眼部图像数据缓存模块4-1读取人眼灰度图像数据，使用视线追踪算法提取视线信息。

进一步的，在S130中，参照图3所示，所述视线信息的提取包括以下步骤：

S131、眼部图像预处理：所述图像预处理包括中值滤波，滤除眼部图像中的椒盐噪声；

S132、瞳孔边缘特征提取：瞳孔边缘特征提取包括图像的二值化、形态学处理和Sobel边缘检测三个子步骤：

二值化：利用事先确定的灰度阈值T和如下公式对图像f(x,y)进行二值化分割得到二值图像g(x,y)：

其中，T＝35；

形态学处理：对于图像中仍然存在的睫毛或瞳孔边缘噪点，利用数学形态学运算对图像进行处理，具体的，系统根据图像中噪声的特点，选用半径为6的盘形结构元素B，先利用公式(2)对图像A进行闭运算、再利用公式(3)对图像A进行开运算处理：

Sobel边缘检测：参照图4所示，采用3×3的Sobel水平方向算子Gx和垂直方向算子Gy对图像进行卷积计算，提取瞳孔区域的边缘轮廓；

S133、利用瞳孔的近圆特性提取瞳孔中心：具体的，计算瞳孔区域轮廓的最小外接矩形，用矩形形心(x

S134、视线落点估计：参照图5、图6所示，视线落点估计采用基于九点标定的二维多项式映射的方法，得到瞳孔中心坐标与标定点之间的映射关系；将交互界面的长、宽三等分得到等面积的九个注视区域，选择其中一块区域作为标定界面，

标定方法具体为：用户调整身体位置，使得目光直视时视线落在标定界面中间标定点处，然后保持头部不动，依次注视标定界面上的九个点，系统记录瞳孔中心坐标和对应的标定点坐标，建立如下二维映射方程：

其中，X

S135、视线落点估计：视线落点估计采用基于九点标定的二维多项式映射的方法，得到瞳孔中心坐标与标定点之间的映射关系；本系统为保证视线交互的自然性和小范围区域内视线控制的精确性，将交互界面的长、宽三等分得到等面积的九个注视区域，选择其中一块区域作为标定界面，参照图6所示，

标定方法具体为：用户调整身体位置，使得目光直视时视线落在标定界面中间标定点处，然后保持头部不动，依次注视标定界面上的九个点，系统记录瞳孔中心坐标和对应的标定点坐标，建立如下二维映射方程：

其中，X

进一步的，在S200中，头部姿态检测，首先通过头部姿态检测模块3内部的三轴陀螺仪和三轴加速度计获取三轴姿态数据，再使用数字运动处理器DMP对三轴姿态数据进行姿态解算，FPGA控制与数据处理模块4-2读取使用角速度数据和加速度数据姿态解算后的四元数，最后对四元数进行公式转换即可得到姿态角数据，具体转换过程如下：

四元数定义：一个四元数表示为q＝w+xi+yj+zk，写成矩阵形式为：

q＝(w,x,y,z)

|q|

四元数与欧拉角转换，利用式(8)，四元数进行转换得到姿态角：

其中，

进一步的，在S300中，参照图7所示，数据融合处理，首先通过FPGA控制与数据处理模块4-2获取S200中通过姿态解算得到的姿态角数据，利用阈值判断头部运动是否产生有效运动；然后获取S200中得到的原始加速度数据，通过不断对加速度数据进行二次积分得到位移数据，利用阈值判断头部运动作为交互动作的有效性，并将有效交互动作的位移通过映射方程映射为交互界面坐标数据，将非交互动作产生的位移叠加到视线落点上，用来补偿头部运动对视线落点估计造成的偏差。

具体的，(1)有效交互动作：

头部运动位移大于设定阈值时，被识别为具有交互意图的动作，此时同样采用基于九点标定的二维多项式映射的方法，将空间三维坐标系中头部运动轨迹在X-Y平面上的投影生成的位移矢量

标定方法为：保持身体不动，通过头部的运动，使得视线保持直视标定界面上的某个点，依次完成九个点的标定，得到九组位移矢量作为方程组的输入，代入方程组求解待定参数，将头部动作映射为计算机交互界面光标位置的变化；当用户头部运动产生交互动作时，系统将屏蔽视觉输入通道的数据，将头部运动数据作为控制交互界面光标的唯一数据来源，用户仅通过头部的运动确定注视区域，完成粗定位；当头部运动停止后，系统将开启视觉输入通道，将视线落点数据作为交互界面光标移动的数据来源，用户通过视线的移动控制光标在上述注视区域内移动完成精确定位；系统通过设置注视时间阈值，将用户视线注视动作模拟为交互界面光标的双击操作；

(2)无效交互动作：

头部运动位移小于设定阈值时，被识别为无意识头动，作为非交互动作；此时头部运动将作为对视线落点的补偿，补偿方式为将头部运动相对于X-Y平面上的位移数据叠加到瞳孔中心坐标上，然后利用建立的二维映射方程对对视线落点进行估计；

进一步的，在S400中交互数据发送，是通过FPGA控制与数据处理模块4-2将交互数据通过无线数据传输模块5发送到电脑端，电脑将交互数据转换为成鼠标的操作指令，完成与人机之间的交互。

以上实施示例只是用于帮助理解本发明的方法及其核心思想，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。