多画面显示屏幕的眼动追踪控制方法及系统

技术领域

本发明涉及多画面显示技术，特别是涉及一种多画面显示屏幕的眼动追踪控制方法及系统。

背景技术

眼动追踪(eye tracking或gaze tracking)是一种测量人眼凝视点和相对于头部运动程度的技术，一般使用一些非接触的光学方法来测量眼睛的运动。通常是眼睛反射红外线，摄像机或其他专门设计的光学传感器进行测量，然后分析测量信息，从反射光斑的变化中提取眼睛旋转信息。

传统的眼动追踪控制在显示屏幕的使用上，只可应用到单一主机屏幕上，随着大屏幕及宽屏幕的发展，多主机常以画外画(picture by picture，PBP)或画中画(picturein picture，PIP)等多画面来应用，画面虽然可以共享，但眼动追踪控制在使用上无法跨主机在进行。

发明内容

针对上述技术问题，本发明提供一种多画面显示屏幕的眼动追踪控制方法及系统，可让连接至同一显示屏幕的多个信源主机通过单一眼动追踪模块实现跨主机控制。

本发明的一种多画面显示屏幕的眼动追踪控制方法，包括：步骤1，将通过网络连接的第一主机和第二主机分别信号连接于显示屏幕，该第一主机和该第二主机以多画面显示方式共享该显示屏幕，其中，该第一主机用以控制在该显示屏幕的第一范围内显示画面，该第二主机用以控制在该显示屏幕的第二范围内显示画面；步骤2，获得该第二范围与该第一范围的相对位置关系；步骤3，侦测使用者目视该显示屏幕的视线位置；步骤4，当该视线位置处于该第二范围内时，该第一主机根据该相对位置关系将该视线位置转换，并将转换后的视线位置信息提供给该第二主机，该第二主机根据该转换后的视线位置信息进行眼动追踪控制。

较佳地，在步骤3后还包括，当该视线位置处于该第一范围内时，该第一主机直接根据侦测到的视线位置进行眼动追踪控制。

较佳地，在步骤1中，该第一范围和该第二范围对应于画外画或画中画的多画面显示方式。

较佳地，在步骤1中，该第一主机信号连接于眼动追踪装置。

进一步地，在步骤2中还包括如下步骤：该第一主机控制该显示屏幕在该第一范围内显示用以校准该眼动追踪装置的第一校正画面，且该第一主机通过网络要求该第二主机控制该显示屏幕在该第二范围内显示用以校准该眼动追踪装置的第二校正画面；该眼动追踪装置根据该第一校正画面获得对应于该第一主机的第一校准资料，该眼动追踪装置根据该第二校正画面获得对应于该第二主机的第二校准资料；该第一主机根据该第一校准资料和该第二校准资料，获得该第二范围与该第一范围的相对位置关系。

本发明还提供一种多画面显示屏幕的眼动追踪控制系统，包括显示屏幕、第一主机、第二主机和眼动追踪装置；该第一主机通过网络连接于该第二主机，该第一主机和该第二主机分别信号连接于该显示屏幕，该眼动追踪装置信号连接于该第一主机；当该第一主机和该第二主机以多画面显示方式共享该显示屏幕时，该第一主机用以控制在该显示屏幕的第一范围内显示画面，该第二主机用以控制在该显示屏幕的第二范围内显示画面；该第一主机用以获得该第二范围与该第一范围的相对位置关系，该眼动追踪装置用以侦测使用者目视该显示屏幕的视线位置，当该视线位置处于该第二范围内时，该第一主机根据该相对位置关系将该视线位置转换，并将转换后的视线位置信息提供给该第二主机，该第二主机根据该转换后的视线位置信息进行眼动追踪控制。

较佳地，当该视线位置处于该第一范围内时，该第一主机直接根据该眼动追踪装置侦测到的视线位置进行眼动追踪控制。

较佳地，该第一范围和该第二范围对应于画外画或画中画的多画面显示方式。

较佳地，当该第一主机和该第二主机以多画面显示方式共享该显示屏幕时，该第一主机控制该显示屏幕在该第一范围内显示用以校准该眼动追踪装置的第一校正画面，且该第一主机通过网络要求该第二主机控制该显示屏幕在该第二范围内显示用以校准该眼动追踪装置的第二校正画面。

进一步地，该眼动追踪装置根据该第一校正画面获得对应于该第一主机的第一校准资料，该眼动追踪装置根据该第二校正画面获得对应于该第二主机的第二校准资料，该第一主机根据该第一校准资料和该第二校准资料获得该第二范围与该第一范围的相对位置关系。

本发明的多画面显示屏幕的眼动追踪控制方法及系统，将两主机通过网络连接，第一主机用以控制在显示屏幕的第一范围内显示画面，第二主机用以控制在显示屏幕的第二范围内显示画面，第二范围与第一范围存在相对位置关系；侦测在多画面显示(如PBP或PIP)模式下的视线位置，主控端主机(即安装有眼动追踪装置的主机)根据该视线位置以及第二范围与第一范围的相对位置关系选择性地将视线位置转换，达成共享屏幕眼动操控的目的。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一种多画面显示屏幕的眼动追踪控制方法的流程图。

图2为本发明的一种多画面显示屏幕的眼动追踪控制系统的示意图。

图3为本发明的一实施例的眼动追踪控制系统的原理示意图。

图4为本发明的另一实施例的眼动追踪控制系统的原理示意图。

具体实施方式

为使对本发明的目的、构造、特征、及其功能有进一步的了解，兹配合实施例详细说明如下。

请结合参见图1和图2，图1为本发明的一种多画面显示屏幕的眼动追踪控制方法的流程图，图2为本发明的一种多画面显示屏幕的眼动追踪控制系统的示意图。

本发明的一种多画面显示屏幕的眼动追踪控制方法包括以下步骤。

步骤S1，将通过网络连接的第一主机和第二主机分别信号连接于显示屏幕，第一主机和第二主机以多画面显示方式共享显示屏幕，其中，第一主机用以控制在显示屏幕的第一范围内显示画面，第二主机用以控制在显示屏幕的第二范围内显示画面。优选地，在步骤S1中，该第一范围和该第二范围对应于画外画(PBP)或画中画(PIP)的多画面显示方式。

步骤S2，获得该第二范围与该第一范围的相对位置关系。

步骤S3，侦测使用者目视显示屏幕的视线位置；

步骤S4，当该视线位置处于该第二范围内时，第一主机根据该相对位置关系将该视线位置转换，并将转换后的视线位置信息提供给第二主机，第二主机根据该转换后的视线位置信息进行眼动追踪控制。

优选地，在步骤S3后还包括步骤S5，当该视线位置处于该第一范围内时，第一主机直接根据侦测到的视线位置进行眼动追踪控制。

优选地，在步骤S1中，第一主机信号连接于眼动追踪装置。通过眼动追踪装置，可判断视线位置是处于第二范围内还是处于第一范围内。

在获得上述第二范围与第一范围的相对位置关系的步骤2中，还包括如下步骤。第一主机控制显示屏幕在该第一范围内显示用以校准眼动追踪装置的第一校正画面，且第一主机通过网络要求第二主机控制显示屏幕在该第二范围内显示用以校准眼动追踪装置的第二校正画面；眼动追踪装置根据该第一校正画面获得对应于第一主机的第一校准资料，眼动追踪装置根据该第二校正画面获得对应于第二主机的第二校准资料；第一主机根据该第一校准资料和该第二校准资料获得该第二范围与该第一范围的相对位置关系。

在实际应用中，以安装眼动追踪模块的主机为主控端，要求被控端同时开启校正。被控端的校正过程要利用主控端上的眼动追踪模块，以主控端来看，被控端的校正流程可用眼动追踪模块取得上述第二校正画面中的标记位置，被控端只作开启校正画面的动作。用户目视校正画面中提示的标记位置进行校正，以取得目视对应于显示屏幕的位置数据，校正完成后，依照用户目视于屏幕的位置作为目视位置，当目视于被控端对应的屏幕范围时，由主控端转换成坐标位置提供给被控端，以进行控制。上述坐标可以是以显示屏幕的像素排列方向为轴方向的横、纵坐标，但本发明并不以此为限。

在上述坐标转换的过程中，由于眼动追踪模块的分辨率(如800*600)可能不匹配于显示屏幕的分辨率(如1920*1080)，还可以进一步通过内插法生成实际位置坐标，但本发明并不以此为限。

请继续参见图2，本发明的一种多画面显示屏幕的眼动追踪控制系统1包括显示屏幕10、第一主机11、第二主机12和眼动追踪装置13；第一主机11通过网络连接于第二主机12，第一主机11和第二主机12分别信号连接于显示屏幕10，眼动追踪装置13信号连接于第一主机11。本实施例中，第一主机11可视为主控端，第二主机12可视为被控端。

当第一主机11和第二主机12以多画面显示方式共享显示屏幕10时，第一主机11用以控制在显示屏幕10的第一范围内显示画面，第二主机12用以控制在显示屏幕10的第二范围内显示画面。

第一主机11用以获得该第二范围与该第一范围的相对位置关系，眼动追踪装置13用以侦测使用者目视显示屏幕10的视线位置，当该视线位置处于该第二范围内时，第一主机11根据该相对位置关系将该视线位置转换，并将转换后的视线位置信息提供给第二主机12，第二主机12根据该转换后的视线位置信息进行眼动追踪控制。

优选地，当该视线位置处于该第一范围内时，第一主机11直接根据眼动追踪装置13侦测到的视线位置进行眼动追踪控制。

请参见图3，图3为本发明一实施例的眼动追踪控制系统的原理示意图。该实施例中，第一范围110和第二范围120对应于画外画的多画面显示方式。当第一主机11和第二主机12以多画面显示方式共享显示屏幕10时，第一主机11控制显示屏幕10在第一范围110内显示用以校准眼动追踪装置13的第一校正画面111，且第一主机11通过网络要求该第二主机12控制显示屏幕10在第二范围120内显示用以校准眼动追踪装置13的第二校正画面121。眼动追踪装置13根据第一校正画面111获得对应于第一主机11的第一校准资料，眼动追踪装置13根据第二校正画面121获得对应于第二主机12的第二校准资料，第一主机11根据第一校准资料和第二校准资料获得第二范围120与第一范围110的相对位置关系。

请参见图4，图4为本发明另一实施例的眼动追踪控制系统的原理示意图。该实施例中，第一范围110’和第二范围120’对应于画中画的多画面显示方式。当第一主机11和第二主机12以多画面显示方式共享显示屏幕10时，第一主机11控制显示屏幕10在第一范围110’内显示用以校准眼动追踪装置13的第一校正画面111’，且第一主机11通过网络要求第二主机12控制显示屏幕10在第二范围120’内显示用以校准眼动追踪装置13的第二校正画面121’。眼动追踪装置13根据第一校正画面111’获得对应于第一主机11的第一校准资料，眼动追踪装置13根据第二校正画面121’获得对应于第二主机12的第二校准资料，第一主机11根据该第一校准资料和该第二校准资料获得第二范围120’与第一范围110’的相对位置关系。

本发明各实施例的上述过程可包含于眼动追踪启用前的校准过程中。举例来说，主控端(如第一主机11)利用眼动追踪装置13抓取资料，画面依序指示使用者应注视的位置来进行校正，据此就可以侦测得到被控端(如第二主机12)画面对应于主控端(如第一主机11)画面的相对位置关系。

以图3来说，眼动追踪装置13根据第一校正画面111获得对应于第一主机11的第一校准资料时，第一校正画面111依序提醒使用者应注视的位置，例如图3中第一校正画面111的边缘四角(可定义为第一左上、第一右上、第一左下和第一右下)的四个标记位置并获得该四个位置的位置信息以作为第一校准资料。如前所述，眼动追踪装置13的分辨率(如800*600)可能不匹配于显示屏幕的分辨率(如1920*1080)，可以进一步通过例如内插法生成实际位置坐标。

同样的，眼动追踪装置13根据第二校正画面121获得对应于第二主机12的第二校准资料时，第二校正画面121依序提醒使用者应注视的位置，例如图3中第二校正画面121的边缘四角(可定义为第二左上、第二右上、第二左下和第二右下)的四个标记位置并获得该四个位置的位置信息以作为第二校准资料。

第一主机11根据上述第一校准资料确定第一范围110，根据上述第二校准资料确定第二范围120，第一范围110例如表示为第一坐标范围，第二范围120表示为第二坐标范围，第一主机11即可根据第一坐标范围和第二坐标范围来确定出第二范围120与第一范围110的相对位置关系。

以图4来说，眼动追踪装置13根据第一校正画面111’获得对应于第一主机11的第一校准资料时，第一校正画面111’依序提醒使用者应注视的位置，例如图4中第一校正画面111’的边缘四角(可定义为第一左上、第一右上、第一左下和第一右下)的四个标记位置并获得该四个位置的位置信息以作为第一校准资料。如前所述，眼动追踪装置13的分辨率(如800*600)可能不匹配于显示屏幕的分辨率(如1920*1080)，可以进一步通过例如内插法生成实际位置坐标。

同样的，眼动追踪装置13根据第二校正画面121’获得对应于第二主机12的第二校准资料时，第二校正画面121’依序提醒使用者应注视的位置，例如图3中第二校正画面121’的边缘四角(可定义为第二左上、第二右上、第二左下和第二右下)的四个标记位置并获得该四个位置的位置信息以作为第二校准资料。

第一主机11根据上述第一校准资料确定第一范围110’，根据上述第二校准资料确定第二范围120’，第一范围110’例如表示为第一坐标范围，第二范围120’表示为第二坐标范围，第一主机11即可根据第一坐标范围和第二坐标范围来确定出第二范围120’与第一范围110’的相对位置关系。

需要说明的是，在如图4所示的画中画模式中，被控端(如第二主机12)的显示画面包含在主控端(如第一主机11)的显示画面范围内，此时只要侦测到的视线位置是在被控端的第二范围120’内，就需要使用主控端进行坐标转换，被控端根据该转换后的视线位置信息进行眼动追踪控制，而如果侦测到的视线位置是在除此之外的第一范围110’内，正常使用主控端的坐标体系进行眼动追踪控制。

本发明可采用习知的眼动追踪校准、控制技术，以常见的桌面式眼动追踪仪为例，其工作原理大致如下，根据在屏幕上的注视点的位置坐标和瞳孔-角膜反射向量的对应关系进行函数拟合，校正定标的过程就是求解拟合函数中未知参数的过程，得到这些参数后即可将瞳孔-角膜反射向量映射为用户在计算机屏幕上的注视点坐标。其具体的图像处理和函数拟合技术，并非本发明的重点所在，故不在此赘述。本发明的重点在于提供一种共享屏幕的眼动追踪控制方式，单一屏幕具有对应多个主机的多个屏幕显示范围，针对对应各主机的各个屏幕显示范围进行眼动追踪校正，通过侦测实时眼动参数，判断眼睛观看屏幕区域对应的主机，将眼动参数转换为对应坐标，并将对应坐标传送给对应主机。

本发明的多画面显示屏幕的眼动追踪控制方法及系统，将两主机通过网络连接，第一主机用以控制在显示屏幕的第一范围内显示画面，第二主机用以控制在显示屏幕的第二范围内显示画面，第二范围与第一范围存在相对位置关系；侦测在多画面显示(如PBP或PIP)模式下的视线位置，主控端主机(即安装有眼动追踪装置的主机)根据该视线位置以及第二范围与第一范围的相对位置关系选择性地将视线位置转换，达成共享屏幕眼动操控的目的。

本发明已由上述相关实施例加以描述，然而上述实施例仅为实施本发明的范例。此外，上面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。必需指出的是，已揭露的实施例并未限制本发明的范围。相反地，在不脱离本发明的精神和范围内所作的更动与润饰，均属本发明的专利保护范围。