一种三维眼动追踪系统及其追踪方法

技术领域

本发明属于成像装置技术领域，特别涉及一种三维眼动追踪系统及其追踪方法。

背景技术

光学相干断层扫描(OCT)技术是一种三维成像技术，它具有灵敏度高、成像速度快、分辨率高等优点，广泛应用于眼科(包括眼前节、眼后节)、心血管科、皮肤科等领域。近二十年来，OCT技术的一项重要进步是扫描速率越来越快，从传统时域OCT到基于频域的OCT(SD-OCT)，再到基于扫频源技术的OCT(SS-OCT)，OCT成像的速度得到长足发展。成像速度快具有独到的临床应用优势：可以在更短的时间内完成二维和/或三维扫描，因而降低了成像时人的眼动对成像质量的敏感度，从而大幅度提高了临床诊疗效率，广受临床医生的青睐。

眼动对于OCT成像的影响主要体现在影响成像的精度和可重复性，临床上降低了诊疗的效率。进一步降低眼动对于OCT成像质量的影响，一方面可以进一步提高OCT的扫频速度，例如视微影像已临床使用的SS-OCT VG200轴向扫描速率已达20万次每秒(参考文献：Yang J，Chen Y.Vitreoretinal Traction with Vitreoschisis Using OCT.OphthalmolRetina.2019Nov；3(11)：961.doi：10.1016/j.oret.2019.07.003.PMID：31699311)，在该系统里，仍然需要眼动追踪技术；实验室平台已有兆赫兹级别的OCT，例如文献Klein T，Wieser W，Eigenwillig CM，Biedermann BR，Huber R.Megahertz OCT for ultrawide-field retinal imaging with a 1050 nm Fourier domain mode-locked laser.OptExpress.2011；19：3044-62.Available：

基于瞳孔相机的眼动追踪技术，以其低成本优势，广泛应用于三维眼动追踪系统。例如文献Oscar Carrasco-Zevallos，Derek Nankivil，Brenton Keller，ChristianViehland，Brandon J.Lujan，and Joseph A.Izatt，Pupil tracking optical coherencetomography for precise control of pupil entry position，Biomed.Opt.Express 6，3405-3419(2015)；公开了一种基于瞳孔相机的二维眼动追踪，可以有效地对水平和/或竖直方向的眼动进行追踪，进而对眼后节OCT进行补偿；文献Carrasco-Zevallos OM，Nankivil D，Viehland C，Keller B，Izatt JA.Pupil Tracking for Real-Time MotionCorrected Anterior Segment Optical Coherence Tomography.PLoS One.2016；11(8)：e0162015.Published 2016 Aug 30.doi：10.1371/journal.pone.0162015公开的基于pupil camera的二维眼动追踪对水平和/或竖直方向的眼动进行了追踪，进而对眼前节OCT进行了补偿。但是这些方法均是将眼动的大小补偿到OCT扫描振镜的驱动波形上，受限于补偿的范围大小和帧率，不能基于眼动实时调节眼睛和接目镜中心对齐，并且没有针对眼轴方向的眼动进行实时追踪。

发明内容

发明目的：针对上述缺陷，本发明提供一种三维眼动追踪系统及其追踪方法，能够有效地降低眼动对眼前节OCT和眼后节OCT成像质量的影响。

技术方案：本发明提出一种三维眼动追踪系统及其追踪方法，包括依次连接的瞳孔相机成像模块、图像识别分析模块、马达控制模块和OCT系统模块；

所述瞳孔相机成像模块通过瞳孔相机实时获取瞳孔的图像；

所述图像识别分析模块通过阈值方法，得到实时瞳孔相机图像中环形映光点的半径或直径相对初始瞳孔相机图像中环形映光点的半径或直径的变化量ΔR，进一步得出人的眼动沿眼轴方向的移动量，然后换算为回到准确的工作距离，并由此得出马达应该移动的位移量ΔZ；并行的，通过图像识别分析模块得出实时瞳孔相机图像中环形映光点的中心离瞳孔相机光轴的偏移，并与初始瞳孔相机图像中环形映光点的中心离瞳孔相机光轴的偏移对比，得出人眼在水平和竖直方向的偏移量，据此换算水平和竖直方向补偿马达的位移量ΔX和ΔY；

所述马达控制模块根据计算出的ΔX、ΔY、ΔZ，分别调整相应的马达，使得人眼在有眼动的情况下，始终保持准确的工作距离，并且和接目镜中心对齐；

所述OCT系统模块在有实时眼动追踪的辅助下，进行眼前节OCT和眼后节OCT成像。

进一步的，所述瞳孔相机成像模块由环形瞳孔照明LED、接目镜、成像透镜和相机构成，所述环形瞳孔照明LED由排列成圆环状的不少于3个等间距排列的LED组成。

一种如上所述的三维眼动追踪系统的追踪方法，其特征在于，包括如下步骤：

(1)对待测物进行成像采集从而获取不少于两幅图像；

(2)追踪眼睛沿眼轴方向的移动，得到第二图像中环形映光点的半径或直径相对初始图像中环形映光点的半径或直径的变化量ΔR；根据变化量ΔR换算为马达移动的位移量ΔZ；

(3)追踪眼睛沿水平和竖直方向的移动，得出人眼在水平和竖直方向的偏移量，据此换算为调整接目镜和人眼的中心对齐的马达的水平方向的位移量ΔX和竖直方向的位移量ΔY；

(4)根据计算出的ΔX、ΔY、ΔZ调节马达进行移动；

(5)最终通过OCT系统模块进行成像。

进一步的，所述步骤(2)中追踪眼睛沿眼轴方向的移动的具体步骤如下：

(2.1)根据图像中的环形映光点，通过拟合计算出每个图像中环形映光点的半径或直径；

(2.2)当有眼动时，后一个图像中环形映光点的半径或直径相对前一个图像中环形映光点的直径会有变化量ΔR，当变化量ΔR超出阈值时，向马达控制模块发出指令，使马达移动相应的位移量ΔZ。

进一步的，所述步骤(2.2)中计算变化量ΔR和位移量ΔZ的具体步骤如下：在傍轴近似条件下，环形瞳孔照明LED的直径为：

其中m

由上式求导数可得环形映光点直径随工作距离的变化为：

其中变化量

进一步的，所述步骤(2.2)中阈值的确定方法如下：所述环形映光点的半径或直径变化大小阈值不小于环形映光点的半径或直径的测试可重复性。

进一步的，所述步骤(3)中追踪眼睛沿水平和竖直方向的移动的具体步骤如下：

(3.1)取其中一幅图像为第一图像，计算第一图像中的环形映光点中心离瞳孔相机光轴的偏移；

(3.2)选取另外一幅图像作为第二图像，计算第二图像中的环形映光点中心离瞳孔相机光轴的偏移；

(3.3)当有眼动时，第二图像中环形映光点中心离瞳孔相机光轴的偏移相对初始图像即第一图像中环形映光点中心离瞳孔相机光轴的偏移有变化量，当变化量超出阈值时，调整水平和竖直位置，使得眼睛始终与接目镜中心重合，其中移动的水平位移量为ΔX、竖直位移量为ΔY。

进一步的，所述步骤(5)中通过OCT系统模块进行成像的具体步骤如下：眼前节OCT成像时，从系统内部将OCT前后节切换模块移入OCT光路中即可对眼前节进行成像；当进行眼后节OCT成像时，从系统内部将OCT前后节切换模块移出OCT光路即可对眼后节进行成像。

本发明采用上述技术方案，具有以下有益效果：

本发明所述的三维眼动追踪系统可以对三维眼动都进行实时追踪与补偿，克服了二维眼动追踪系统不能对眼轴方向眼动进行追踪的缺点，同时增大了水平和竖直方向眼动追踪的大小范围，更好地应用于临床诊断系统。基于瞳孔相机的三维眼动追踪系统，其光路设计可以与其它成像模块解耦，同时应用于眼前节和眼后节OCT系统，克服了基于SLO只能应用于眼后节OCT系统的缺点。此外，基于瞳孔相机的三维眼动追踪系统，较SLO成像技术，其帧率更高、成本更低，因此具有更广泛应用的潜力。

附图说明

图1为本发明的系统结构示意图；

图2为具体实施例中环形照明LED经过眼睛角膜反射后，经过透镜成像的光路原理图；

图3为具体实施例中环形照明LED经过眼睛角膜反射后，所成的360度环形LED图像；

图4为具体实施例中所使用的眼后节OCT成像和眼前节OCT成像的光学系统图；

图5为具体实施例中所使用的瞳孔相机成像光学系统图；

图6为具体实施例中没有眼动追踪时，水平方向眼动造成的OCT眼后节的成像图像：

图7为具体实施例中没有眼动追踪时，竖直方向眼动造成的OCT眼后节的成像图像；

图8为具体实施例中没有眼动追踪时，沿眼轴方向眼动造成的OCT眼后节的成像图像；

图9为具体实施例中有眼动追踪时，OCT眼后节的成像图像OCT眼后节的成像图像；

图10为具体实施例中没有眼动追踪时，水平方向眼动造成的OCT眼前节的成像图像；

图11为具体实施例中没有眼动追踪时，竖直方向眼动造成的OCT眼前节的成像图像；

图12为具体实施例中没有眼动追踪时，沿眼轴方向眼动造成的OCT眼前节的成像图像；

图13为具体实施例中有眼动追踪时，OCT眼前节的成像图像。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，本发明所述的一种三维眼动追踪系统，包括瞳孔相机成像模块、图像识别分析模块、马达控制模块、OCT系统成像模块；

所述瞳孔相机成像模块用于实时采集瞳孔图像，实施例帧率达到60帧每秒，更高帧率受限于相机的曝光时间和水平/竖直方向像素数目设置；

所述图像识别分析模块用于识别瞳孔相机图像中的环形映光点，进而通过拟合计算出环形映光点的半径或直径，以及环形映光点中心相对瞳孔相机光轴的偏移，图像分析模块还能通过短时间连续读取至少两幅图像，取第一幅图为参考图片，计算出第二幅图中环形映光点的半径或直径及环形映光点的中心离瞳孔相机光轴的偏移，和参考图像对比，并以此计算三维眼动的方向和大小，进而换算为相应的马达补偿的移动方向和位移；

所述马达控制模块用于控制马达按照图像识别分析模块计算得到的马达补偿方向和位移进行移动，以此追踪人眼移动；

所述OCT成像系统用于对眼前节和/或眼后节进行三维成像。其中图4为眼后节OCT和眼前节OCT的光路系统图。本发明通过图4中OCT前后节切换模块，可以分别进行OCT成像，而不影响其他光路。当进行眼前节OCT成像时，从系统内部将OCT前后节切换模块移入OCT光路中即可对眼前节进行成像。反之，当进行眼后节OCT成像时，从系统内部将OCT前后节切换模块移出OCT光路即可对眼后节进行成像。操作便利，同时可以提高眼前节OCT的视场分辨率。此外，前后节切换不影响瞳孔相机成像模块光路和系统中其它成像模块的光路。

其中瞳孔相机成像模块的光学系统如图5所示，接目镜为双非球透镜，瞳孔相机成像模块和OCT成像模块共用接目镜及二向色镜1。瞳孔相机成像中，瞳孔照明LED发出的散射光入射到人眼角膜上，增强了瞳孔的亮度和对比度，使得角膜上的漫反射光经接目镜，二向色镜1、二向色镜2和系统中其它透镜，最终入射到瞳孔相机成像模块，最后被瞳孔相机收集，经软件获取后显示在电脑屏幕上。瞳孔照明LED在人眼角膜的反射下也被瞳孔相机成像模块获取，显示在瞳孔相机图像上为映光点，图像见图3所示。当角膜处于接目镜的准确的工作距离位置时，瞳孔照明LED成像清晰，对比度高；当远离准确的工作距离时，成像变模糊。

本实施例中关于沿水平方向、竖直方向以及沿眼轴方向的眼动追踪：其中水平方向、竖直方向和沿眼轴方向的眼动追踪彼此完全独立，可以分别独立应用于一维眼动追踪系统，也可以组合应用于二维和三维眼动追踪系统；其中组合应用于二维和三维眼动追踪系统时眼轴与水平/竖直，可以并行追踪和补偿。水平方向和竖直方向的眼动追踪与沿眼轴方向的眼动追踪的区别在于图像识别分析模块里的算法有所区别，以及马达控制模块里的补偿马达不一样。

本实施例中，图像识别分析模块分别计算沿水平、竖直方向眼动的大小和方向以及沿眼轴方向的眼动的大小和方向。

其中计算沿水平、竖直方向眼动的大小和方向方法如下：图像识别分析模块用于识别瞳孔相机图像中的环形映光点，进而通过拟合计算出环形映光点的中心，进而计算出环形映光点中心相对瞳孔相机光轴的偏移。图像分析模块通过短时间连续读取至少两幅图像，取第一图像为参考图像，通过对比第二图像和参考图像的环形映光点中心相对瞳孔相机光轴的偏移的变化量，计算沿水平、竖直方向眼动的大小和方向，进而换算为相应的马达补偿的位移大小和移动方向。

其中计算沿眼轴方向的眼动的大小和方向方法如下：图像识别分析模块用于识别瞳孔相机图像中的环形映光点，进而通过拟合计算出环形映光点的半径或直径，图像分析模块还能通过短时间连续读取至少两幅图像，取第一图像为参考图像，计算出第二图像中环形映光点的半径或直径相对参考图像的偏移量，以此计算沿眼轴方向的眼动的大小和方向，进而换算为相应的马达补偿的位移大小和移动方向。

首先，具体的，本事实例中对于沿水平、竖直方向眼动的大小和方向：瞳孔相机成像模块的视野大小为16mm x 12mm，单个像素大小设置为18um x 18um。选取的水平方向和竖直方向的眼动阈值为：水平方向眼动大小：不小于0.5像素(即9um)，不大于4mm(16mm x25％)；竖直方向眼动大小：不小于0.5像素(即9um)，不大于3mm(12mm x 25％)。

以瞳孔相机图像的中心为坐标原点，眼动向水平方向的右侧和竖直方向的上侧偏移为正方向，以左侧和下侧为负方向。水平方向眼动大小阈值的数学表述为区间[-4mm，-9um]和[9um，4mm]；竖直方向眼动大小阈值的数学表述为区间[-3mm，-9um]和[9um，3mm]。

进一步举例说明，当沿水平方向或竖直方向的眼动为1mm时，图像识别分析模块获取到当前图像中环形映光点中心相对瞳孔相机光轴的偏移的变化量是1mm，方向沿水平方向的右侧或竖直方向的上侧。以此得到水平或竖直方向补偿马达的移动位移量是1mm，方向为沿水平方向的左侧和/或竖直方向的下侧。当沿水平方向和/或竖直方向的眼动为-1mm时，图像识别分析模块获取到当前图像中环形映光点中心相对瞳孔相机光轴的偏移的变化量是1mm，方向沿水平方向的左侧和/或竖直方向的下侧。以此得到水平或竖直方向补偿马达的移动位移量是1mm，方向为沿水平方向的右侧和/或竖直方向的上侧。通过OCT成像系统的成像效果可参考图6、7、9、10、11、13分别可以看出：如图6所示，当没有眼动追踪时，水平方向眼动造成的眼后节成像时OCT光路光轴沿水平方向出现偏移，造成图像的质量下降，图示例为右侧有暗区；如图7所示，当没有眼动追踪时，竖直方向眼动造成的眼后节成像时OCT光路光轴沿竖直方向出现偏移，造成图像的质量下降，图示例为OCT整幅图的信号强度出现明显衰减；如图9所示，当有眼动追踪时，眼后节图像清晰，没有受到水平、竖直以及沿眼轴方向的眼动的干扰。如图10所示，当没有眼动追踪时，水平方向眼动造成的眼前节图像出现偏移，造成图像整体偏向一侧，图示例为眼动沿左向，导致OCT眼前节图像偏向左侧；如图11所示，当没有眼动追踪时，竖直方向眼动造成的眼前节图像出现偏移，造成图像左、右两侧图像显示不全，导致无法看清完整的眼前节组织结构；如图13所示，当有眼动追踪时，眼前节图像清晰，没有受到水平、竖直以及沿眼轴方向的眼动的干扰。

然后，具体的，本实施例中对于沿眼轴方向眼动的大小和方向：环形照明灯由12个等间距排列的LED组成。基于图2的光学原理图，在傍轴近似条件下，环形映光点直径和眼睛到接目镜的距离的关系可以用如下公式描述：

其中，m

本实施例中，w远大于d和R

由上式可得环形映光点直径随工作距离的变化为：

注意等式右边的负号，表明本实施例中，当工作距离变大时，环形照明灯所成的像(即映光点)的直径变小；反之，当工作距离变小时，环形照明灯所成的像(即映光点)的直径变大。其中变化量ΔR＝dΦ

本实施例中，m

通过OCT成像系统的成像效果可参考图8、9、12、13分别可以看出：如图8所示，没有眼动追踪时，沿眼轴方向眼动造成的眼后节成像时，工作距离不准确，造成OCT图像出现两侧变暗，导致无法看清边缘的组织结构；如图9所示，当有眼动追踪时，眼后节图像清晰，没有受到水平、竖直以及沿眼轴方向的眼动的干扰。如图12所示，没有眼动追踪时，沿眼轴方向眼动造成的眼前节图像出现偏移，图示例为眼动偏离6mm，造成图像位置偏高，导致无法看清角膜处的组织结构；如图13所示，当有眼动追踪时，眼前节图像清晰，没有受到水平、竖直以及沿眼轴方向的眼动的干扰。

本实施例中，环形映光点直径的可重复性测试结果见表1。分别通过对模型眼和人眼连续选取30-50张图像，分别计算得到环形映光点直径测量值，从而得到环形映光点直径的可重复性。这里可重复性定义为多次测量值的一个标准差。表1的测量结果显示，模型眼和人眼的可重复性分别可达1.98um和2.16um，精度足以跟踪沿眼轴方向的微小眼动。

根据表1的可重复性测试，本实施例中环形映光点的半径或直径变化大小阈值可以设为2.5um，对于沿眼轴方向大于2.5um的眼动，本发明提出的方案可以进行实时眼动追踪和补偿。

表1：环形映光点直径的可重复性

最后OCT成像系统用于对眼前节和/或眼后节进行三维成像：本实施例中，通过图4中OCT前后节切换模块，可以分别进行OCT成像，而不影响其它光路。当进行眼前节OCT成像时，从系统内部将OCT前后节切换模块移入OCT光路中即可对眼前节进行成像。反之，当进行眼后节OCT成像时，从系统内部将OCT前后节切换模块移出OCT光路即可对眼后节进行成像。操作便利，同时可以提高眼前节OCT的视场分辨率。此外，前后节切换不影响瞳孔相机成像模块光路和系统中其它成像模块的光路。如图9和13可见：如图9所示，当有眼动追踪时，眼后节图像清晰，没有受到水平、竖直以及沿眼轴方向的眼动的干扰；如图13所示，当有眼动追踪时，眼前节图像清晰，没有受到水平、竖直以及沿眼轴方向的眼动的干扰。