一种眼球突出度测量方法、系统、终端及介质

技术领域

本发明涉及医学影像处理技术领域，具体地，涉及一种眼球突出度测量方法、系统、终端及介质。

背景技术

眼球突出是眼眶疾病最常见的一种临床体征，占眼眶病症状的80％以上。除此以外，许多内分泌疾病也会造成眼球突出，比如甲亢等；而且这些疾病可能仅表现有眼球突出而眼眶内无其他异常，这时确定有无眼球突出将是确诊的唯一根据。因此，判断眼球是否突出及其突出程度的测量具有重要的临床意义。

目前医学界测量眼球的突出程度主要有两种方法：Hertel眼球突出计测量和CT测量法。Hertel眼球突出计测量法是通过检查者肉眼观察刻度线与角膜顶点重合，测量眼球相对于外侧眶缘的突出量。该方法简便易行，但准度和精度较低，受人为因素影响较大，同一患者不同时刻多次测量的结果一般会有较大的差异，且体验不佳。CT测量法是在CT影像中选择轴状位眼球最大显示层面连接两侧眶外则骨壁前缘，测量眼球后部眼环到该线的距离。该方法直观且具有较高的准度和精度，但设备昂贵、测试成本高、耗时长且具有一定的辐射量。由于现行方法存在种种不足，因此亟待新技术、新方案的出现。

近年来，随着计算机科学的不断发展以及硬件能力的大幅提升，计算机视觉技术在许多领域得到了广泛的应用。传统的计算机视觉方法，如常见的双目立体视觉，具有严谨的数学理论依据和较高的精度，因此被广泛应用于航空航天、导航定位、工业生产、三维重建等领域。而随着深度学习理论和应用的不断发展，其在计算机视觉、自然语言处理等领域都取得了比传统方法更为突出的效果，也给各个领域的创新发展带来了新的可能。医疗领域通常需要依据图像来做出诊断，而计算机在图像的处理速度和精度上拥有明显的优势，所以近年来计算机视觉技术在医疗领域得到了越来越广泛的应用。

经检索发现，公开号为CN111803024A的中国发明专利，公开了一种基于深度学习算法测量眼球突出度的系统以及方法，包括通信连接的CT/MRI眼眶图像切割模块、眼环轮廓标记模块、眼球突出部分标记模块、眼球突出度计算模块以及终端，通过模块计算突出眼眶外部分体积与眼球体积之比。该专利中基于切割眼眶图像逐个精确标注眼环计算出的体积比，属于三维参数，精确度比普通二维直线测量和平面测量的面积比高，为眼眶减压手术从主观预测提升到定量预测提供了基础。不过，该专利需要用CT/MRI机扫描患者头部获得容积图像，所需设备昂贵、测试成本高、耗时长且具有一定的辐射量；还需要自行标注大量眼眶图片用于训练眼环轮廓标记模块和眼球突出部分标记模块，标注成本比较高。另外，因过去测量方法结果是二维的，该发明的结果无法和过去的结果直接进行比较，验证结果的准确性不方便。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于深度学习和双目立体视觉的眼球突出度测量方法、系统、终端及介质,实现低成本且无辐射的全程自动化的高精度测量。

本发明的第一方面，提供一种眼球突出度测量方法，包括：

利用双目相机拍摄眼部区域左右视角的图像各一张；

利用深度神经网络在拍摄的图像上进行关键点检测，得到关键点的二维像素坐标，所述关键点为左右眼的瞳孔中心点和眼角点；

利用所述关键点的特征在另一视图中寻找该关键点的匹配点，根据所述匹配点计算视差；

基于左右眼的瞳孔中心点和眼角点的二维像素坐标及其视差，利用双目立体视觉得到左右眼的瞳孔中心点和眼角点的三维世界坐标；

根据所述左右眼的瞳孔中心点和眼角点的三维世界坐标，计算空间中所述瞳孔中心点到眼角点连成直线的距离，得到患者眼球突出的距离。

可选地，所述利用深度神经网络在拍摄的图像上进行关键点检测，包括：

通过深度学习算法先预测出面部的关键点；

基于所述面部的关键点，将眼部区域从整个面部中分割出来，得到眼部图像；

将分割出的所述眼部图像送入神经网络中，从而预测出眼部的各个关键点。

可选地，所述利用双目立体视觉得到左右眼的瞳孔中心点和眼角点的三维世界坐标，包括：

根据匹配点计算瞳孔中心点和眼角点在左右视图中的视差；

获取所述双目相机的内外参，利用坐标转换矩阵将所述左右眼的瞳孔中心点和眼角点的二维像素坐标转换到三维世界坐标。

可选地，所述利用所述关键点的特征在另一视图中寻找该关键点的匹配点，包括：

对于左右视角的图像中一图像中的关键点，计算出该关键点的128维SIFT特征；

然后在左右视角的图像另一图像中计算各个点的SIFT特征，找到与上述关键点特征最接近的点即为匹配点。

本发明的第二方面，提供一种眼球突出度测量系统，包括：

图像采集模块：利用双目相机拍摄眼部区域左右视角的图像各一张；

关键点检测模块：利用深度神经网络在拍摄的图像上进行关键点检测，得到左右眼的瞳孔中心点和眼角点的二维像素坐标；

视差计算模块：利用关键点的特征在另一视图中寻找匹配点，根据匹配点计算视差；

坐标转换模块：基于所述左右眼的瞳孔中心点和眼角点的二维像素坐标及其视差，利用双目立体视觉得到左右眼的瞳孔中心点和眼角点的三维世界坐标；

距离计算模块：根据所述瞳孔中心点和眼角点的三维世界坐标，计算空间中所述瞳孔中心点到眼角点连成直线的距离，得到眼球突出的距离。

根据本发明的第三方面，提供一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时用于执行所述的眼球突出度测量方法，或，运行所述的眼球突出度测量系统。

根据本发明的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行所述的眼球突出度测量方法，或，运行所述的眼球突出度测量系统。

与现有技术相比，本发明实施例具有如下至少一种有益效果：

本发明上述方法和系统，实现了自动化测量患者眼球突出距离，测量的全过程无需人工参与，因而结果不受人为因素影响；所需提取的瞳孔中心和眼角点是学术界和工业界常用的关键点，有许多公开数据集可以直接使用或者进行微调，标注成本大幅降低。

本发明上述方法和系统，所需设备简单价廉，可以用极低的成本实现，并且不会对患者的健康产生危害。

本发明上述方法和系统，利用计算机视觉技术，测量速度很快，测量结果相对稳定且具有较高的精度：可以在10s内完成一次测量，通过多次测量取平均值的方法可以将测量精度控制在2mm左右。

因过去的测量方法和测量结果都是基于二维的，本发明测量的眼球突出距离结果也是基于二维的，可以直接进行比较以验证本发明方法的准确性。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明一实施例中的眼球突出度测量方法的流程图；

图2为本发明一实施例中的眼球突出度测量系统的模块框图；

图3为本发明一较优实施例中的眼球突出度测量流程图；

图4为本发明一较优实施例中的测量的眼球突出距离示意图；

图5为本发明一较优实施例中的MediaPipe眼部关键点检测；

图6为本发明一较优实施例中的HRNet网络结构；

图7为本发明一较优实施例中的预训练模型检测的眼角点与所需眼角点的偏差；

图8为本发明一较优实施例中的AFLW数据集标注点；

图9为本发明一较优实施例中的SIFT基本原理；

图10为本发明一较优实施例中的极线约束示意图；

图11为本发明一较优实施例中的通过视差来计算深度；

图12为本发明一较优实施例中MediaPipe眼角点定位结果与HRNet微调后眼角点定位结果对比。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

参照图1所示，在本发明一实施例中，提供一种眼球突出度测量方法，包括：

S100,利用双目相机拍摄眼部区域左右视角的图像各一张；

S200,利用深度神经网络在拍摄的图像上进行关键点检测，得到关键点的二维像素坐标；其中，关键点是指左右眼的瞳孔中心点和左右眼的眼角点；

S300,利用上述检测得到的关键点的特征在另一视图中寻找匹配点，根据匹配点计算视差；

S400,基于左右眼的瞳孔中心点和眼角点的二维像素坐标及其视差，利用双目立体视觉得到左右眼的瞳孔中心点和眼角点的三维世界坐标；

S500,根据左右眼的瞳孔中心点和眼角点的三维世界坐标，计算空间中瞳孔中心点到眼角点连成直线的距离，得到患者眼球突出的距离。

为了提高检测精度以及实现全自动化测量眼球的突出距离，本发明实施例利用深度学习和双目立体视觉技术，通过关键点的检测和匹配，以及关键点瞳孔中心点和眼角点的二维像素坐标到三维世界坐标的转换，最终计算空间中瞳孔中心点到眼角点连成直线的距离，得到患者眼球突出的距离。从而实现了在无人工干预的情况下，快速、准确的测量患者眼球的突出距离。

在部分实施例中，S200为了利用深度神经网络在拍摄的图像上进行关键点检测，可以采用以下方法：

S201,通过深度学习算法先预测出面部的关键点；

S202,基于所述面部的关键点，将眼部区域从整个面部中分割出来，得到眼部图像；

S203,将分割出的所述眼部图像送入神经网络中，从而预测出眼部的各个关键点。

本实施例采用的上述关键点检测方法，其对于瞳孔中心点的检测准确度较高，且可以轻松部署在移动端、嵌入式等平台上。

在部分实施例中，执行S300，同一个三维世界点在左右视角的图像中检测得到的关键点即为匹配点对，根据该匹配点对得到视差。此步骤可以采用深度神经网络直接通过深度学习算法检测关键点的方式来得到左右视图的匹配点，方法简单直接。

为了更好更准确地得到两张图中关键点的匹配点对，在部分优选实施例中，可以采用SIFT算子来进行，具体包括：

S3011，获取双目相机的内外参，采用极线约束将匹配点约束到同一水平线上；

S3012，确定一张图像中的某个关键点的特征后，在另一幅图像中计算同一水平线上各个点的SIFT特征，找到与上述关键点特征最接近的点即为匹配点，该关键点及其在另一图像中的匹配点形成匹配点对。

上述步骤中，通过深度学习算法来检测关键点的精度可能不足，在左右视图中得到的关键点不一定是匹配点，而通过SIFT算子得到的匹配点更加准确，计算得到的视差、深度信息也就更准确，最后得到的三维世界坐标也就更准确。

进一步的，上述实施例中特征匹配，可以选择128维SIFT特征来描述关键点，具体的，对于一图像中的关键点，计算出该关键点的128维SIFT特征，然后在另一图像中计算各个点的SIFT特征，找到与上述关键点特征最接近的点即为匹配点。通过采用128维SIFT特征可以得到更佳的效果，从而匹配结果更为准确。

在部分实施例中，执行S400，利用双目立体视觉得到左右眼的瞳孔中心点和眼角点的三维世界坐标，可以包括：获取双目相机的内外参并根据关键点的视差，将左右眼的瞳孔中心点和眼角点的二维像素坐标转换到三维世界坐标。

如图2所示，在本发明另一实施例中，还提供一种眼球突出度测量系统，用于实现上述的眼球突出度测量方法，具体的，该系统包括：

图像采集模块：利用双目相机拍摄眼部区域左右视角的图像各一张；

关键点检测模块：利用深度神经网络在拍摄的图像上进行关键点检测，得到左右眼的瞳孔中心点和眼角点的二维像素坐标；

视差计算模块：利用关键点的特征在另一视图中寻找匹配点，根据匹配点计算视差；

坐标转换模块：基于所述左右眼的瞳孔中心点和眼角点的二维像素坐标及其视差，利用双目立体视觉得到左右眼的瞳孔中心点和眼角点的三维世界坐标；

距离计算模块：根据所述瞳孔中心点和眼角点的三维世界坐标，计算空间中所述瞳孔中心点到眼角点连成直线的距离，得到眼球突出的距离。

本发明上述实施例中的眼球突出度测量系统的各个模块的实现，可以参照眼球突出度测量方法中各个步骤实现的技术，在此不再赘述。

本发明另一实施例中，还提供一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时用于执行所述的眼球突出度测量方法，或，运行所述的眼球突出度测量系统。

本发明另一实施例中，还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行所述的眼球突出度测量方法，或，运行所述的眼球突出度测量系统。

为了更好理解本发明上述技术方案，以下较优实施例结合一个具体应用进行说明，但是需要说明的是，本发明并不局限于以下较优实施例：

整个实施例中，所用设备仅为一台普通RGB双目相机和一台小型边缘计算设备，RGB双目相机用于拍摄眼部区域左右视角的图像各一张，小型边缘计算设备用于其他步骤中的图像处理和计算。图3为本发明一较优实施例中的眼球突出度测量流程图。

在开始测量之前，首先对两个单目相机构成的双目相机进行标定，得到两个相机的内参和外参。

正式测量时，双目相机首先拍摄患者眼部区域左右视角的图像各一张，具体的，人脸正对双目相机拍照即可，两个相机不是平行的而是略微朝内，形如“/”，见图4中的相机摆放位置，两个相机间距6cm左右，与人脸间距20cm左右。左边的相机拍摄的图像称为左视图，右边的相机拍摄的图像称为右视图。左视图和右视图即为上述左右视角的图像。

然后利用相机的内外参对拍摄的图像进行校正，包括畸变校正和立体校正。

再对校正后的图像进行一些必要的预处理后，进行关键点(左视图和右视图中的瞳孔中心点和眼角点)检测。预处理的目的是为了得到后续关键点检测模型需要的图片格式，比如，本实施例中添加了拍摄照片的属性信息和拍摄数据，以及将单通道的灰度图改为三通道的灰度图。

在关键点检测时，采用MediaPipe模型负责从图像中得到瞳孔中心点的像素坐标，采用HRNet负责得到眼角点的像素坐标。当然，在其他实施例中，也可以采用其他的网络/模型来进行关键点的检测，MediaPipe、HRNet仅是本发明实施例中的一个优选，并不局限于这两个网络/模型。

在得到了关键点(瞳孔中心点和眼角点)在某一视图中的像素坐标后，利用SIFT特征描述算子找到其在另一视图中的匹配点并计算出视差，由此再利用双目立体视觉得到关键点的世界坐标。

最后，计算空间中瞳孔中心点到左右眼眼角点连成直线的距离即可得到患者眼球的突出距离。该方案所测量的眼球突出距离为图4中的AP长度，A,A’点为两眼的瞳孔中心点，B,B’点为两眼的眼角点。

下面详细介绍一下上述实施例中的各个部分的具体实现方法：

1)关键点检测模型MediaPipe和HRNet

MediaPipe是一款由Google开发并开源的深度学习应用开发框架，支持桌面端、移动端、云平台、嵌入式设备等各大主流平台，同时支持GPU加速，可以进行快速的开发、验证和推理。

本实施方案中使用MediaPipe中眼部关键点检测功能，可以稳定且准确的输出瞳孔中心点在图像中的坐标。该框架通过深度学习算法先预测出面部的关键点，接着将眼部区域从整个面部中分割出来，然后将分割出的眼部图像送入一个小型神经网络中，从而预测出眼部的各个关键点，效果如图5所示。本实施例中，通过MediaPipe可以得到瞳孔中心点的像素坐标。而对于眼角点，虽然MediaPipe能检测到眼角点的二维像素坐标，但不是很稳定，因此需要更精准的眼角点定位。本实施例中另采用HRNet得到眼角点，HRNet能够很好的完成图像分类、分割、目标检测、人脸关键点检测、姿态识别等任务，因此借助该网络进行眼角点的精确定位。

HRNet的网络结果如图6所示，该网络从高分辨率子网络开始，逐步增加到低分辨率的子网络，并将多个分辨率的子网络并行连接。随着多次多尺度融合，每一个高分辨率到低分辨率的表征都从其他并行表示中反复接收信息，从而得到丰富的高分辨率表征。因此，该网络预测的关键点热图会更为准确，在空间位置上也更精确。

HRNet预训练模型是在公开数据集上训练得到的，而这些数据集上对于眼角点的标注是在眼眶骨的位置，而本发明实施例眼球突出度要测量的位置决定了需要的眼角点是眼白和眼角皮肤的交界处。因此，HRNet预训练模型的眼角点定位与本发明实施例想要的眼角点有一定的偏差，如图7所示：HRNet预训练模型检测到的眼角点(圆圈)更偏外侧，为常用的人脸关键点检测数据集中眼角点的标注位置，而靠内侧的点(方块)才是所需的眼角点，因此本发明实施例在HRNet预训练模型上进行了微调。

具体的，使用AFLW(Annotated Facial Landmarks in the Wild)数据集对HRNet预训练模型进行训练和验证，该数据集中包含不同姿态、表情、光照等约25,000张手工标注的人脸图像。每张图像标注了21个关键点，如图8所示。

在AFLW人脸图像的基础上，对240张人脸的眼角点进行了重新标注，并将其中200张作为微调的训练集，40张作为微调的验证集。将用于训练的关键点从原来的19个调整为2个(即左右眼角点)，学习率调整为0.0001，批处理大小调整为4，同时将特征提取层的梯度固定下来。其余参数的设置维持HRNet原本的设置不变，loss选择MSELoss，优化器使用adam优化器，训练60个epoch后结束。此时得到的HRNet模型可以很好的检测出眼球突出度测量所需的眼角点。

2)利用SIFT算子寻找匹配点

SIFT是一种基于尺度空间的，对图像缩放、旋转、甚至仿射变换保持不变性的图像局部特征描述算子。SIFT通过提取图像的局部特征，在尺度空间寻找极值点，并提取出其位置、尺度、方向信息。得到某个关键点的特征后，在另一幅图像中进行特征匹配，从而找到匹配点。

SIFT描述子的基本原理如图9所示，首先对关键点周围像素区域分块，对于一个8*8像素的图像块，可以划分为4个4*4像素的子区域，对于每个区域中的所有像素点的梯度做高斯加权，最终取8个方向，即可以生成2*2*8维度的向量，这2*2*8维向量即为中心关键点的数学描述。同时David G.Lowe教授的实验结果表明，对于每个关键点，采用周围16*16像素的图像块上计算得到的4*4*8维向量的描述子进行关键点表征，可以得到最佳的效果，因此本实施例中也采用128维的SIFT特征描述子。

具体的，对于上一步在某一视图中检测出的关键点，计算出该关键点的128维SIFT特征，然后在另一视图中计算各个点的SIFT特征，找到与上述关键点特征最接近的点即为匹配点。

在此之前，需要先对两个相机进行标定，从而得到相机各自的固有参数以及两个相机之间的相对位置和朝向，即相机的内外参。在得到内外参后，对图像进行畸变矫正和立体校正，畸变矫正用来消除图像的失真，立体校正采用极线约束的方法来将匹配点约束到同一高度(如图10)，这样在寻找匹配点时就可以只用在同一水平线上一维搜索了，而不用在全图上进行二维搜索。

本实施例中，在深度学习算法(本实施例中MediaPipe和HRNet)得到某个视图中的关键点之后，寻找这个关键点在另一个视图中的匹配点，据此计算视差，以便后续步骤完成二维到三维的坐标转换。寻找另一个视图中的匹配点可以直接采用深度学习算法在这一视图中检测到的关键点，但研究中发现不太准确。而用SIFT算子在另一视图中寻找匹配点的方式可以更加准确的找到匹配点。因此，本实施例中没有直接采用深度学习算法在另一视图中检测得到的关键点作为匹配点，而是利用SIFT算子来得到匹配点，从而可以提高寻找匹配点的准确性。同时，匹配点可以用于计算视差，然后才能进行后续关键点的深度计算。

3)双目立体视觉

要得到关键点的三维坐标，就需要解决从像素坐标到三维坐标的转换，根据如下公式可以完成转换。

其中Z

正如人类可以通过两只眼睛来感知深度一样，对于计算机视觉，也可以从同一物体在左右视图的视差中恢复出深度信息。深度的计算方法如图11所示，其中B是两个相机光心之间的距离，f是相机的焦距，x

计算出关键点的深度后，通过前述坐标转换就可以得到瞳孔中心点A,A’和眼角点B,B’的三维坐标。

4)计算患者眼球突出的距离

得到得到瞳孔中心点A,A’和眼角点B,B’的三维坐标后，连接左右眼角点形成一条直线BB’，再利用空间点到直线的距离公式计算出瞳孔中心点到眼角连线的距离d。

上述距离d即为眼球突出距离。

实施效果：

将AFLW数据分为4组进行训练，每组分别训练50，100，150，200张重新标注后的人脸图像，然后对比各组在验证集上的归一化平均误差NME，对比结果展示在表1中。可以看到，随着训练数据的不断增多，眼角点的定位越来越准确，当训练数据为150张图像时，达到了极小值。

表1不同训练数据量训练HRNet模型在验证集上的预测误差对比

MediaPipe眼角点定位结果与HRNet微调后眼角点定位结果对比如图12所示，第一行是MediaPipe的眼角点定位结果，第二行是HRNet微调后眼角点的定位结果，第三行是MediaPipe定位的眼角点用SIFT在另一视图中的找到的匹配点，第四行是微调后HRNet定位的眼角点用SIFT在另一视图中的找到的匹配点。可以看出，经过微调后的HRNet对眼角点的定位较微调前得到了极大的改善，与MediaPipe的定位结果相比也有不小的提升。同时可以观察到根据SIFT描述子在另一视图中寻找的匹配点也比较准确。

随机选取了三名受试者并对他们的眼球突出度进行测量，结果如表2所示，ABC分别表示三名受试者。可以看到，同一名受试者多次测量结果之间存在一定的偏差，且同一名受试者的左右眼数据也存在一定的偏差，这主要是由于微调后的HRNet对眼角点的定位还没有非常稳定。但是在对同一名受试者的多次测量数据取平均之后，结果得到了较大的改善同时，每一组测试的时间均不超过10秒即可完成。将该方案测得结果与真实数据相比，误差在2mm左右。

后续若要进一步提升该方法的测量精度，可以多采集一些实拍图像并标注眼角点，然后从头开始对眼角点进行完整的训练。

表2三名受试者测得的眼球突出距离

本发明上述实施例，可以解决目前医学上测量患者眼球的突出距离的方法存在测量结果受人为因素影响大、测试成本高、有辐射量的问题，全程无需人工干预，结果不受人为因素影响，测量设备简单价廉，测量过程速度快；测量结果相对稳定且具有较高的精度，验证方便。

需要说明的是，本发明提供的所述方法中的步骤，可以利用所述系统中对应的模块、装置、单元等予以实现，本领域技术人员可以参照所述系统的技术方案实现所述方法的步骤流程，即，所述系统中的实施例可理解为实现所述方法的优选例，在此不予赘述。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。上述各优选特征在互不冲突的情况下，可以任意组合使用。