一种人眼运动注视点检测方法及装置
文献发布时间:2023-06-19 09:54:18
技术领域
本发明涉及眼动交互技术领域,尤其涉及一种人眼运动注视点检测方法及装置。
背景技术
随着科技不断创新发展,眼动交互方式产品受到越来越多人的青睐,眼动交互其实就是通过设备记录和识别人眼的运动方式,将特定的眼动动作作为输入信号,从而对特定的任务指令进行控制。
目前,在人眼运动观看屏幕的过程中,主要是通过获取眼球运动信息、建模处理和训练模拟眼球运动等等方式,以实现如何能够准确地追踪人眼运动,即:追踪由于人眼运动而产生视线在屏幕上的落点。
然而,根据人的实际心理活动不同,人眼运动时的用眼状态也是多样的,比如:在观看屏幕过程中,用户可能对屏幕显示的某些内容没兴趣,甚至并没有真正阅读查看视线所及屏幕范围,就匆匆一瞥过(即用眼扫视状态);如果遇见感兴趣的内容就会盯着看或反复查看(即:用眼注视状态)等等,通过分析用眼状态尤其是注视状态,以有助于分析出人眼运动与实际用户关心内容存在的关联,进而更有助于辅助去研发改进眼动设备性能。但是,根据现有眼动追踪方法仅仅是能够准确地追踪到人眼运动在屏幕上视线落点,是无法检测到用户何时处于用眼注视状态的。
发明内容
有鉴于此,本发明提供一种人眼运动注视点检测方法及装置,主要目的在于解决了现有方法无法在人眼运动时有效检测出用眼注视状态的问题,本发明优化追踪人眼运动操作,能够有效判断出人眼运动时何时处于用眼注视状态以及还计算出对应的注视点。
为了解决上述目的,本发明主要提供如下技术方案:
本申请第一方面提供了一种人眼运动注视点检测方法,该方法包括:
按照预设时间间隔,在人眼观看屏幕的过程中持续获取人眼运动对应视线与屏幕的交点及其对应像素坐标;
当统计持续获取到的所述交点数目达到预设阈值时,利用所述交点组成交点集合,所述交点集合中存储每个所述交点及其对应像素坐标;
判断所述交点集合对应离散度的散度值是否大于预设散度阈值;
若是,则确定人眼运动处于注视状态并根据所述交点集合计算对应注视点及其对应像素坐标。
在本申请第一方面的一些变更实施方式中,所述方法还包括:
在屏幕上将所述注视点确定为目标交点;
在屏幕上选取距离所述目标交点预设像素范围内的区域,作为目标区域;
对所述目标区域执行特征渲染操作并输出显示效果。
在本申请第一方面的一些变更实施方式中,所述在人眼观看屏幕的过程中持续获取人眼运动对应视线与屏幕的交点及其对应像素坐标,包括:
按照获取到人眼运动对应视线与屏幕的交点时间先后,逐个将所述交点存储到预设缓冲区;
按照所述交点存储进入所述预设缓冲区内时间先后,将所述交点进行排序得到交点序列。
在本申请第一方面的一些变更实施方式中,所述当统计获取到的所述交点数目达到预设阈值时,利用所述交点组成交点集合,包括:
设置一个滑动窗口,所述滑动窗口长度是预先设定的且用于圈选所述预设阈值数目的交点;
以所述预设缓冲区内存储进入的第一个交点为首位交点,利用所述滑动窗口在所述交点序列中圈选所述预设阈值数目的目标交点;
利用所述目标交点组成交点集合。
在本申请第一方面的一些变更实施方式中,若判断所述交点集合对应离散度的散度值不大于预设散度阈值,所述方法还包括:
触发所述滑动窗口向右移动预设数目交点位置以重新确定首位交点;
以重新确定的首位交点,在所述预设缓冲区的交点序列中重新圈选所述预设阈值数目的目标交点;
根据重新圈选的所述目标交点组成新的交点集合;
判断所述新的交点集合对应离散度的散度值是否大于预设散度阈值;
若否,则重复执行触发所述滑动窗口移动、重新圈选目标交点以及判断目标交点组成新的交点集合对应离散度的散度值是否大于预设散度阈值操作,直至若判断所述散度值大于预设阈值,则确定人眼处于注视状态并根据新的交点集合计算对应注视点及其对应像素坐标。
本申请第二方面提供一种人眼运动注视点检测装置,该装置包括:
获取单元,用于按照预设时间间隔,在人眼观看屏幕的过程中持续获取人眼运动对应视线与屏幕的交点及其对应像素坐标;
组成单元,用于当统计所述获取单元持续获取到的所述交点数目达到预设阈值时,利用所述交点组成交点集合,所述交点集合中存储每个所述交点及其对应像素坐标;
判断单元,用于判断所述组成单元组成的交点集合对应离散度的散度值是否大于预设散度阈值;
确定单元,用于当所述判断单元判断交点集合对应离散度的散度值大于预设散度阈值时,则确定人眼运动处于注视状态;
计算单元,用于在所述确定单元确定人眼运动处于注视状态之后,根据所述交点集合计算对应注视点及其对应像素坐标。
在本申请第二方面的一些变更实施方式中,所述装置还包括:
所述确定单元,还用于在屏幕上将所述注视点确定为目标交点;
选取单元,用于在屏幕上选取距离所述确定单元确定的目标交点预设像素范围内的区域,作为目标区域;
渲染单元,用于对所述选取单元选取的目标区域执行特征渲染操作;
输出单元,用于输出所述渲染单元执行渲染操作得到的显示效果。
在本申请第二方面的一些变更实施方式中,所述获取单元包括:
存储模块,用于按照获取到人眼运动对应视线与屏幕的交点时间先后,逐个将所述交点存储到预设缓冲区;
排序模块,用于按照所述存储模块存储交点进入所述预设缓冲区内时间先后,将所述交点进行排序得到交点序列。
在本申请第二方面的一些变更实施方式中,所述组成单元包括:
设置模块,用于设置一个滑动窗口,所述滑动窗口长度是预先设定的且用于圈选所述预设阈值数目的交点;
圈选模块,用于以所述预设缓冲区内存储进入的第一个交点为首位交点,利用所述设置模块设置的滑动窗口在所述交点序列中圈选所述预设阈值数目的目标交点;
组成模块,用于利用所述圈选模块圈选的目标交点组成交点集合。
在本申请第二方面的一些变更实施方式中,所述装置还包括:
触发单元,用于当所述判断单元判断所述交点集合对应离散度的散度值不大于预设散度阈值时,触发所述滑动窗口向右移动预设数目交点位置以重新确定首位交点;
圈选单元,用于以重新确定的首位交点,在所述预设缓冲区的交点序列中重新圈选所述预设阈值数目的目标交点;
组成单元,用于根据所述圈选单元重新圈选的所述目标交点组成新的交点集合;
所述判断单元,还用于判断所述组成单元组成新的交点集合对应离散度的散度值是否大于预设散度阈值;
执行单元,用于若所述判断单元判断所述新的交点集合对应离散度的散度值不大于预设散度阈值,则重复执行触发所述滑动窗口移动、重新圈选目标交点以及判断目标交点组成新的交点集合对应离散度的散度值是否大于预设散度阈值操作,直至若判断所述散度值大于预设阈值则确定人眼处于注视状态并根据新的交点集合计算对应注视点及其对应像素坐标。
本申请第三方面提供一种存储介质,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行如上述的人眼运动注视点检测方法。
本申请第四方面提供一种电子设备,所述设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线;
其中,所述处理器、所述存储器通过所述总线完成相互间的通信;
所述处理器用于调用所述存储器中的程序指令,以执行如上述的人眼运动注视点检测方法。
借由上述技术方案,本发明提供的技术方案至少具有下列优点:
本发明提供一种人眼运动注视点检测方法及装置,本发明是周期性地持续获取人眼运动视线在屏幕的交点及其像素坐标,当统计获取达到预设阈值数目时,就利用统计到的交点组成交点集合,判断该交点集合对应离散度的散度值是否大于预设散度阈值,若是,则确定人眼处于注视状态并根据该交点集合计算对应注视点及其对应像素坐标。相较于现有技术,解决了现有方法无法在人眼运动时有效检测出用眼注视状态的问题,本发明优化追踪人眼运动操作,能够有效判断出人眼运动时何时处于用眼注视状态以及还计算出对应的注视点,该注视点相当于代表了交点集合中散乱的点,进而根据该注视点就有助于获知其周边区域就是用户感兴趣或关注内容,也方便于分析到人眼运动和用户感兴趣或关注内容之间存在关联。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1为本发明实施例提供的一种人眼运动注视点检测方法流程图;
图2为本发明实施例提供的另一种人眼运动注视点检测方法流程图;
图3为本发明实施例例举的利用滑动窗口圈选预设缓冲区内交点序列;
图4为本发明实施例例举的屏幕示出扫视状态和注视状态的显示效果;
图5为本发明实施例提供的一种人眼运动注视点检测装置的组成框图;
图6为本发明实施例提供的另一种人眼运动注视点检测装置的组成框图;
图7为本发明实施例提供的人眼运动注视点检测的电子设备。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
本发明实施例提供了一种人眼运动注视点检测方法,如图1所示,该方法是在人眼观看屏幕的过程中持续获取人眼运动对应视线与屏幕的交点及其对应像素坐标,由持续获取到的交点组成交点集合,通过判断该交点集合的离散度的散度值是否大于预设散度阈值,以判断用户用眼是否处于注视状态,对此本发明实施例提供以下具体步骤:
101、按照预设时间间隔,在人眼观看屏幕的过程中持续获取人眼运动对应视线与屏幕的交点及其对应像素坐标。
在本发明实施例中,在人眼观看屏幕的过程中,主要可以采用眼动追踪技术实时地获取人眼运动视线在屏幕的落点,即:人眼运动视线与屏幕的交点的像素坐标。具体的,应用中,可以预先设定获取交点的时间周期,进而根据该时间周期,持续性地获取人眼运动视线和屏幕交点,以及每个交点在屏幕上的像素坐标。
102、当统计持续获取到的交点数目达到预设阈值时,利用交点组成交点集合,交点集合中存储每个交点及其对应像素坐标。
需要说明的是,仅凭获取到一个交点,是不足以判断出用户用眼状态的,所以在本发明实施例中,预先设定一个阈值数目,当统计获取到的交点数目达到预设阈值时,就利用所这些交点组成交点集合,该交点集合中按照时间先后最早被获取到交点和最晚被获取到交点之间是存在时间差的,该时间差就代表了用户观看屏幕的时间。
103、判断交点集合对应离散度的散度值是否大于预设散度阈值。
在本发明实施例中,交点集合中包含的交点是人眼运动视线与屏幕之间的交点,实际上在屏幕中这些交点都是些离散的点,可以预先设定散度值去衡量这些离散的点对应的离散度,如果判断出离散度低,那么表明交点集合中的交点密度是比较高的,也就表明了:在该交点集合对应用户观看屏幕时间内,在该观看屏幕时间内用户人眼运动视线是反复落入该交点集合对应屏幕区域内,所以是用户感兴趣或者说比较关注的,此时间段内用户处于用眼注视状态,而不是人眼运动扫视而过。
104、判断交点集合对应离散度的散度值大于预设散度阈值,则确定人眼运动处于注视状态并根据该交点集合计算对应注视点及其对应像素坐标。
在本发明实施例中,注视点相当于是代表了该交点集合,利用这个注视点,就能够获知在该交点集合对应观看屏幕时间内,用户感兴趣或关注内容就是该注视点周围区域。
本发明实施例提供一种人眼运动注视点检测方法,本发明实施例是周期性地持续获取人眼运动视线在屏幕的交点及其像素坐标,当统计获取达到预设阈值数目时,就利用统计到的交点组成交点集合,判断该交点集合对应离散度的散度值是否大于预设散度阈值,若是,则确定人眼运动处于注视状态并根据该交点集合计算对应注视点及其对应像素坐标。相较于现有技术,解决了现有方法无法在人眼运动时有效检测出用眼注视状态的问题,本发明实施例优化追踪人眼运动操作,能够有效判断出人眼运动时何时处于用眼注视状态以及还计算出对应的注视点,该注视点相当于代表了交点集合中散乱的点,进而根据该注视点就有助于获知其周边区域就是用户感兴趣或关注内容,也方便于分析到人眼运动和用户感兴趣或关注内容之间存在关联。
为了对上述实施例做出更加详细的说明,本发明实施例还提供了另一种人眼运动注视点检测方法,如图2所示,该方法是对上述实施例方法的细化陈述和补充陈述,对此本发明实施例提供以下具体步骤:
201、按照预设时间间隔,在人眼观看屏幕的过程中持续获取人眼运动对应视线与屏幕的交点及其对应像素坐标。
在本发明实施例中,对于持续获取到的人眼运动视线和屏幕之间的交点,可以利用一个固定深度的预设缓冲区进行存储,该固定深度的预设缓冲区用于接收数据并遵循数据的先进先出处理原则,即:对于该缓冲区,若数据存储时存在数据溢出,则将溢出最先存储进入该缓冲区的数据。
进而,按照交点存储进入预设缓冲区内时间先后,将交点进行排序得到交点序列。对于本发明实施例中,是结合预设缓冲区,按照先获取视线和屏幕的交点,优先被执行处理的原则,进而根据处理交点的先后顺序,间接地方便于按照时间顺序分析用户用眼状态。
202、当统计持续获取到的交点数目达到预设阈值时,利用交点组成交点集合,交点集合中存储每个交点及其对应像素坐标。
在本发明实施例中,对本步骤进行细化陈述,可以利用一个固定长度的滑动窗口实现统计预设阈值数目的交点,进而分析这些交点组成交点集合对应用户观看屏幕时间内用户的用眼状态,具体步骤为:
首先,设置一个滑动窗口,该滑动窗口长度是预先设定的且用于圈选预设阈值数目的交点。
在本发明实施例中,如何设定该预设阈值,可以结合实际检测需求时间(如检测用户观看屏幕时间达到10分钟,等等)和获取每个交点时间间隔来确定,具体采用如下公式(1):
L=t/s 公式(1);
其中,L为滑动窗口长度,t为观测人眼运动时间长度,s为获取人眼运动视线和屏幕交点的时间周期。进而也就是在t观测时间内,结合获取到人眼运动视线和屏幕交点的时间周期,较佳的方式是,预先设定滑动窗口的长度为L,该滑动窗口长度是满足并适用于统计预设阈值数目交点操作的。
其次,以预设缓冲区内存储进入的第一个交点为首位交点,利用滑动窗口在交点序列中圈选预设阈值数目的目标交点,利用目标交点组成交点集合。如图3所示的,例举的利用滑动窗口圈选预设缓冲区内交点序列,如图3中假设预设缓冲区内交点序列包含6个交点,滑动窗口长度足以最多圈选5个交点,则以左侧最早被存储进入预设缓冲区的交点为首位交点,利用滑动窗口圈选如图3中5个交点,但如果滑动窗口向右移动,则按照预设缓冲区内交点序列中的排序,则可以圈选到如图3中最右侧的交点,即交点序列中第6个交点。
需要说明的是,利用固定长度滑动窗口圈选序列的优点在于,当确定一个首位被圈选的交点时,利用滑动窗口圈选的交点不是散乱分布的,而是能够在一个排序序列上以该首位为起始自动实现圈选序列中存在的连续交点,另外,对于本发明实施例而言,也会存在滑动窗口本次圈选交点不足以判断用户用眼为注视状态,进而通过滑动窗口的滑动,也方便于按照持续获取到视线和屏幕之间交点时间先后,通过重新圈选而再次判断预设缓冲区内交点序列中其他连续交点对应时间内用户用眼状态。
尤其需要说明的是,对于滑动窗口移动而圈选交点操作,相邻两次圈选操作是可以圈选重复交点的,并且每个交点对应于一次用户用眼观看屏幕的,进而根据存在的重复交点,也表明是利用两个存在时间重叠的检测时间段去检测用户用眼状态,这种时间重叠,也便于尽可能全面的检测用户用眼状态,避免出现检测时间疏漏。
203、判断交点集合对应离散度的散度值是否大于预设散度阈值。
需要说明的是,滑动窗口圈选的交点集合中每个交点,在屏幕上对应的像素坐标都是根据步骤201已获取到的。
首先,结合这些交点的像素坐标计算对应的离散度的散度值的具体实施方法,可以包括如下:
从滑动窗口圈选的所有交点中,获取每个交点对应在屏幕上的像素坐标,通过比较每个交点的横坐标和纵坐标,求出横坐标中最大的像素坐标max(x),同时求出横坐标中最小的像素坐标min(x);求出纵坐标中最大的像素坐标max(y),同时求出纵坐标中最小的像素坐标min(y)。在横坐标和纵坐标这两个维度,分别将最大坐标值和最小坐标值的差进行相加,得到所有坐标的离散度度量。具体过程,可简单表达为如下公式(2):
div(x.y)=[max(x)-min(x)]+[max(y)-min(y)] 公式(2);
其中,div(x.y)就是滑动窗口包含交点对应的离散程度的散度值。
其次,判断上述计算得到的散度值是否达到预设阈值。
在本发明实施例中,是将滑动窗口圈选的交点集合所对应离散度的散度值,与一个预设阈值相比较,由于该预设阈值(散度值)是根据实际需求预先设定的并用于衡量离散程度高低的衡量标准,所以通过比较操作,就能够判断出滑动窗口圈选的交点集合所对应离散度的高低。
204、若判断交点集合对应离散度的散度值是大于预设散度阈值,则确定人眼运动处于注视状态并根据交点集合计算对应注视点及其对应像素坐标。
在本发明实施例中,若判断交点集合对应离散度的散度值是大于预设散度阈值,则将滑动窗口内所有交点的像素坐标进行平均值加权计算,求出人眼所注视的屏幕上的坐标位置,如公式(3)对于滑动窗口中的交点{(x
其中,注视点像素坐标为(c
进一步的,在本发明实施例中,在经计算得到交点集合对应的注视点的像素坐标之后,则表明利用该交点集合能够确定用户处于注视状态且计算得到注视点,那么代表本轮检测用户用眼状态任务完成并结束(即:删除滑动窗口内全部交点),进而开启新的一轮检测用户用眼状态任务,由于在人眼运动观看屏幕过程中持续获取视线和屏幕之间交点的,所以新的一轮任务就可以重新统计获取预设阈值数目的交点,并且应该注意的是,在新的一轮任务中应该避免获取与上一轮任务中交点集合相重复的交点,也就是检测本轮任务的下一个时间段内的用户用眼状态,具体的,重新执行新一轮任务的操作过程可以包括如下:
首先,按照持续获取到人眼运动对应视线与屏幕的交点的时间先后,重新统计获取预设阈值数目的交点。具体的,可以以上一轮任务圈选的交点集合中最后被圈选的交点为基准,在预设缓冲区内交点序列中查找该交点的下一个交点,并以这个交点为起始来利用滑动窗口圈选目标交点并组成新的交点集合。
其次,判断新的交点集合对应离散度的散度值是否大于预设散度阈值;若是,则确定人眼处于注视状态并根据交点集合计算对应注视点及其对应像素坐标。
需要说明的是,在本发明实施例中,实施例给出的应用场景都是:对于判断交点集合对应离散度的散度值大于预设散度阈值的情况,以及还给出的详细解释说明。但是如果遇见当前滑动窗口圈选目标交点组成交点集合对应离散度的散度值不大于预设散度阈值的情况,则具体可以执行如下操作过程:
首先,触发滑动窗口向右移动预设数目交点位置以重新确定首位交点,以重新确定的首位交点,在预设缓冲区的交点序列中重新圈选预设阈值数目的目标交点。
其次,根据重新圈选的目标交点组成新的交点集合,判断新的交点集合对应离散度的散度值是否大于预设散度阈值。
最后根据上述判断条件,执行判断操作,若新的交点集合对应离散度的散度值是大于预设散度阈值,则确定用户处于注视状态并根据该新的交点集合计算注视点的像素坐标。
但是若新的交点集合对应离散度的散度值仍然是不大于预设散度阈值的,那么就重复执行触发滑动窗口移动、重新圈选目标交点以及判断目标交点组成新的交点集合对应离散度的散度值是否大于预设散度阈值操作,也就是执行以上迭代操作,直至若判断散度值是大于预设阈值的,则确定人眼处于注视状态并根据确定的交点集合计算对应注视点及其对应像素坐标。
205、在屏幕上将注视点确定为目标交点。
206、在屏幕上选取距离目标交点预设像素范围内的区域,作为目标区域。
在本发明实施例中,对于步骤205-206进行详细说明,注视点相当于是代表了该交点集合,利用这个注视点,就能够获知在该交点集合对应观看屏幕时间内,用户感兴趣或关注内容就是该注视点周围区域,因此可以以该注视点作为目标交点,从而在屏幕上选取距离目标交点预设像素范围内的区域作为目标区域,如此操作就能够实现在屏幕上圈选注视点附近区域,实际上被圈选的注视点附近区域,也就是在用户处于注视状态时反复视线落点范围。
207、对目标区域执行特征渲染操作并输出显示效果。
在本发明实施例中,为清晰示出屏幕中用户感兴趣或关注内容与其他内容是存在区别的,那么在确定目标区域之后,可以采用对该目标区域执行特征渲染的方式,比如:以高分辨率/多分辨率渲染、渲染背景色等等突出显示效果,将该目标区域展示在屏幕中,借助如此特征渲染操作,更加提高用户观看屏幕内容的体验,也能够清晰地示出用户对屏幕中哪些内容更加感兴趣。
例如,如图4例举的屏幕示出扫视状态和注视状态的显示效果,在图4左侧中因处于用眼扫视状态,例举根据追踪到多个用眼视线和屏幕之间交点的连线得到的显示效果,在图4中右侧中因处于用眼注视状态,例举对注视状态对应注视点附近区域执行高清渲染得到的显示效果。
进一步的,作为对上述图1、图2所示方法的实现,本发明实施例提供了一种人眼运动注视点检测装置。该装置实施例与前述方法实施例对应,为便于阅读,本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述,但应当明确,本实施例中的装置能够对应实现前述方法实施例中的全部内容。该装置应用于检测人眼运动是否处于注视状态并得到对应注视点,具体如图5所示,该装置包括:
获取单元301,用于按照预设时间间隔,在人眼观看屏幕的过程中持续获取人眼运动对应视线与屏幕的交点及其对应像素坐标;
组成单元302,用于当统计所述获取单元301持续获取到的所述交点数目达到预设阈值时,利用所述交点组成交点集合,所述交点集合中存储每个所述交点及其对应像素坐标;
判断单元303,用于判断所述组成单元302组成的交点集合对应离散度的散度值是否大于预设散度阈值;
确定单元304,用于当所述判断单元303判断交点集合对应离散度的散度值大于预设散度阈值时,则确定人眼运动处于注视状态;
计算单元305,用于在所述确定单元304确定人眼运动处于注视状态之后,根据所述交点集合计算对应注视点及其对应像素坐标。
进一步,如图6所示,所述装置还包括:
所述确定单元304,还用于在屏幕上将所述注视点确定为目标交点;
选取单元306,用于在屏幕上选取距离所述确定单元304确定的目标交点预设像素范围内的区域,作为目标区域;
渲染单元307,用于对所述选取单元306选取的目标区域执行特征渲染操作;
输出单元308,用于输出所述渲染单元307执行渲染操作得到的显示效果。
进一步,如图6所示,所述获取单元301包括:
存储模块3011,用于按照获取到人眼运动对应视线与屏幕的交点时间先后,逐个将所述交点存储到预设缓冲区;
排序模块3012,用于按照所述存储模块3011存储交点进入所述预设缓冲区内时间先后,将所述交点进行排序得到交点序列。
进一步,如图6所示,所述组成单元302包括:
设置模块3021,用于设置一个滑动窗口,所述滑动窗口长度是预先设定的且用于圈选所述预设阈值数目的交点;
圈选模块3022,用于以所述预设缓冲区内存储进入的第一个交点为首位交点,利用所述设置模块3021设置的滑动窗口在所述交点序列中圈选所述预设阈值数目的目标交点;
组成模块3023,用于利用所述圈选模块3022圈选的目标交点组成交点集合。
进一步,如图6所示,所述装置还包括:
触发单元309,用于当所述判断单元303判断所述交点集合对应离散度的散度值不大于预设散度阈值时,触发所述滑动窗口向右移动预设数目交点位置以重新确定首位交点;
圈选单元310,用于以重新确定的首位交点,在所述预设缓冲区的交点序列中重新圈选所述预设阈值数目的目标交点;
组成单元302,用于根据所述圈选单元310重新圈选的所述目标交点组成新的交点集合;
所述判断单元303,还用于判断所述组成单元302组成新的交点集合对应离散度的散度值是否大于预设散度阈值;
执行单元311,用于若所述判断单元303判断所述新的交点集合对应离散度的散度值不大于预设散度阈值,则重复执行触发所述滑动窗口移动、重新圈选目标交点以及判断目标交点组成新的交点集合对应离散度的散度值是否大于预设散度阈值操作,直至若判断所述散度值大于预设阈值则确定人眼处于注视状态并根据新的交点集合计算对应注视点及其对应像素坐标。
综上所述,本发明实施例提供一种人眼运动注视点检测方法及装置,本发明实施例是周期性地持续获取人眼运动视线在屏幕的交点及其像素坐标,当统计获取达到预设阈值数目时,就利用统计到的交点组成交点集合,判断该交点集合对应离散度的散度值是否大于预设散度阈值,若是,则确定人眼处于注视状态并根据该交点集合计算对应注视点及其对应像素坐标。相较于现有技术,解决了现有方法无法在人眼运动时有效检测出用眼注视状态的问题,本发明实施例优化追踪人眼运动操作,能够有效判断出人眼运动时何时处于用眼注视状态以及还计算出对应的注视点,该注视点相当于代表了交点集合中散乱的点,进而根据该注视点就有助于获知其周边区域就是用户感兴趣或关注内容,也方便于分析到人眼运动和用户感兴趣或关注内容之间存在关联。
所述人眼运动注视点检测装置包括处理器和存储器,上述获取单元、组成单元、判断单元、确定单元和计算单元等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来解决了现有方法无法在人眼运动时有效检测出用眼注视状态的问题。本发明优化追踪人眼运动操作,能够有效判断出人眼运动时何时处于用眼注视状态以及还计算出对应的注视点。
本发明实施例提供了一种存储介质,其上存储有程序,该程序被处理器执行时实现所述人眼运动注视点检测方法。
本发明实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行所述人眼运动注视点检测方法。
本发明实施例提供了一种电子设备40,如图7所示,设备包括至少一个处理器401、以及与处理器401连接的至少一个存储器402、总线403;其中,处理器401、存储器402通过总线403完成相互间的通信;处理器401用于调用存储器402中的程序指令,以执行上述的人眼运动注视点检测方法。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:
一种人眼运动注视点检测方法,该方法包括:按照预设时间间隔,在人眼观看屏幕的过程中持续获取人眼运动对应视线与屏幕的交点及其对应像素坐标;当统计持续获取到的所述交点数目达到预设阈值时,利用所述交点组成交点集合,所述交点集合中存储每个所述交点及其对应像素坐标;判断所述交点集合对应离散度的散度值是否大于预设散度阈值;若是,则确定人眼运动处于注视状态并根据所述交点集合计算对应注视点及其对应像素坐标。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
在一个典型的配置中,设备包括一个或多个处理器(CPU)、存储器和总线。设备还可以包括输入/输出接口、网络接口等。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
- 一种人眼运动注视点检测方法及装置
- 一种差分式二维注视点检测方法及装置