用于定位眼底相机的工作距离的方法及相关产品

技术领域

本披露一般地涉及眼底成像技术领域。更具体地，本披露涉及一种用于定位眼底相机的工作距离的方法、镜筒、眼底相机、设备和计算机可读存储介质。

背景技术

眼底相机工作过程中，需要把镜头移动到相对于瞳孔特定的一个位置，这个过程称作眼底相机的工作距离定位。现在的眼底相机设计中，一般会引入双目系统，以便高效的完成工作距离定位的过程。但是两个摄像头的引入，较大的提高了眼底相机硬件设计和软件实现的复杂度。

有鉴于此，亟需提供一种更为有效的工作距离定位方案，以便简化现有的双目系统，从而降低系统的复杂度并且减小硬件的成本。

发明内容

为了至少解决如上所提到的一个或多个技术问题，本披露在多个方面中提出了一种用于定位眼底相机的工作距离的方法方案。

在第一方面中，本披露提供一种用于定位眼底相机的工作距离的方法，其特征在于，所述眼底相机包括主摄像头、一个副摄像头、至少一组照明组件，所述方法包括：启用所述照明组件并调节所述主摄像头的位置；记录所述副摄像头捕获到的具有最小尺寸的光斑；记录所述光斑的位置坐标作为标定坐标；以及启用所述照明组件并调节所述主摄像头的位置，使得所述副摄像头捕获到的眼部图像中的瞳孔和照明圆环的中心位置位于所述标定坐标处，以实现所述眼底机机的工作距离定位。

在一些实施例中，所述至少一组照明组件包括发射红外光的红外发光二极管。

在一些实施例中，所述至少一组照明组件包括第一照明组件和第二照明组件，其中所述第一照明组件包括发射红外光的红外发光二极管，所述第二照明组件包括发射白光的白光发光二极管，所述白光发光二极管和红外发光二极管沿所述主摄像头的镜筒布置，所述方法包括：

在令所述副摄像头捕获所述光斑期间，启用所述白光发光二极管进行白光照明；以及在令所述副摄像头捕获所述眼部图像期间，启用所述红外发光二极管进行红外光照明。

在另一些实施例中，在垂直于所述主摄像头的光轴上并位于所述工作距离预定范围内设置有标定平板，其中令所述副摄像头捕获到所述光斑包括：令所述副摄像头捕获到在所述标定平板处所形成的光斑。

在一些实施例中，所述记录具有最小尺寸的所述光斑的位置坐标包括：对所述副摄像头捕获的每个光斑图像进行二值化处理，以获得每个所述光斑图像的中心区域的连通域；计算包裹所述连通域的最小圆的直径，以确定每个所述光斑的尺寸；以及根据每个所述光斑的尺寸来选择出具有最小尺寸的光斑，以便将其位置坐标记录为标定坐标。

在另一些实施例中，使得所述副摄像头捕获到的眼部图像中的瞳孔和照明圆环的中心位置位于所述位置坐标处包括：对所述副摄像头捕获到的眼部图像执行瞳孔检测算法和照明圆环检测算法；以及根据所述瞳孔检测算法和照明圆环检测算法的检测结果分别确定所述瞳孔的中心位置和照明圆环的中心位置。

在一些实施例中，所述执行瞳孔检测算法包括使用基于深度学习的瞳孔检测器来检测瞳孔出所述瞳孔的中心位置。

在一些实施例中，所述执行照明圆环检测算法包括对所述眼部图像进行二值化处理和霍夫变换，以检测出所述照明圆环的中心位置。

在第二方面中，本披露提供了一种用于眼底相机的镜筒，所述眼底相机包括主摄像头和一个副摄像头，所述镜筒用于容纳主摄像头并且在其外周上布置有至少一组照明组件，其中所述至少一组照明组件根据第一方面及其多个实施例所述的方法进行操作，以用于辅助定位眼底相机的工作距离。

在一些实施例中，其中所述至少一组照明组件包括第一照明组件和第二照明组件，其中所述第一照明组件包括多个第一照明件并且第二照明组件包括多个第二照明件，并且所述第一照明件和第二照明件绕所述外周等间隔地交替布置。

在另一些实施例中，所述第一照明组件的多个第一照明件串联和/或所述第二照明组件的多个第二照明件串联，并且所述第一照明组件和第二照明组件被分别控制。

在一些实施例中，所述第一照明组件和第二照明组件包括均光系统，所述均光系统操作于使得所述第一照明组件和第二照明组件的照明亮度均匀。

在第三方面中，本披露提供了一种眼底相机，包括：主摄像头；一个副摄像头；以及根据第二方面及其多个实施例所述的镜筒。

在第四方面中，本披露提供了一种用于定位眼底相机的工作距离的设备，其特征在于，所述眼底相机包括主摄像头、一个副摄像头、至少一组照明组件，所述设备包括：处理器；以及存储器，其存储有用于定位眼底相机的工作距离的程序指令，当所述程序指令由所述处理器运行时，使得实现根据第一方面及其多个实施例所述的方法。

在第五方面中，本披露提供了一种计算机可读存储介质，其存储有用于定位眼底相机的工作距离的程序指令，当所述程序指令由处理器运行时，使得实现根据第一方面及其多个实施例所述的方法

通过如上所提供的用于定位眼底相机的工作距离的方法、镜筒、眼底相机、设备和计算机可读存储介质，本披露实施例通过创新性地布置照明组件，从而可以仅通过一个副摄像头即实现对工作距离的定位。由此，本披露的方案可以很好地替代现有的双目系统。进一步，由于仅需要一个副摄像头即可完成工作距离的定位，本披露的方案也简化了工作距离的定位操作并且减小了硬件成本。特别地，由于仅需要一个副摄像头而非双目系统中的两个摄像头，本披露的方案可以降低眼底相机生产中工作距离标定的复杂度。另外，当采用包括第一照明组件和第二照明组件的实施例时，例如在启用发射红外光的红外发光二极管的基础上增加发射白光的白光发光二极管时，本披露的眼底相机还可以满足眼前节采集时白光泛光的要求。

附图说明

通过参考附图阅读下文的详细描述，本披露示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式

示出了本披露的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：

图1以现有眼底相机为参考示意性示出根据本披露实施例的眼底相机的结构框图；

图2示意性示出根据本披露实施例的一个主镜筒的结构图；

图3示意性示出根据本披露实施例的另一个主镜筒的结构图；

图4示出了本披露一些实施例的用于定位眼底相机工作距离的方法的示例性流程图；

图5示出了本披露一些实施例的用于定位眼底相机工作距离的方法的示例性详细流程图；

图6a示出了本披露实施例用于定位眼底相机工作距离的标定过程的一示意场景；

图6b示出了本披露实施例用于定位眼底相机工作距离的标定过程的又一示意场景；

图6c示出了本披露实施例用于定位眼底相机工作距离的标定过程的又一示意场景；

图7a示出了本披露实施例用于眼底相机工作距离定位过程的一示意场景；

图7b示出了本披露实施例用于眼底相机工作距离定位过程的又一示意场景；

图7c示出了本披露实施例用于眼底相机工作距离定位过程的另一示意场景；

图8示出了本披露实施例用于定位眼底相机工作距离的设备的示例性结构图；以及

图9示出了根据本披露实施例的眼底相机的结构框图。

具体实施方式

下面将结合本披露实施例中的附图，对本披露实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本披露一部分实施例，而不是全部的实施例。基于本披露中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本披露保护的范围。

应当理解，本披露的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本披露说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本披露。如在本披露说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本披露说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

下面结合附图来详细描述本披露的具体实施方式。

图1以现有眼底相机为参考示意性示出根据本披露实施例的眼底相机的结构框图。具体来说，图1左部示出现有眼底相机的结构，其主要包括主镜筒102，其内部可以容纳有主摄像头。在实际操作中，主摄像头安装于一个可以在X、Y和Z三个方向上移动的平台上，以用于拍摄眼底图像，特别是在工作距离处进行眼底图像采集，以便为针对眼底的图像分析和处理提供数据资料。进一步，该现有眼底相机还包括两个副摄像头，即图中所示出的副摄像头1(即第一副摄像头104)和副摄像头2(即第二副摄像头106)。通常，副摄像头(或称辅助摄像头)安装在主摄像头附近并且与主摄像头固定连接；由此，其可以随主摄像头移动并用于拍摄脸部及外眼部。当用于工作距离定位时，前述的副摄像头104和106可以构成双目系统，以实现眼表图像的采集和瞳孔定位，以便用于后续工作距离的定位。

为了实现工作距离定位，前述的现有眼底相机引入了包括两个副摄像头的双目系统。然而，如前所述，这样的双目系统增加了硬件成本和系统的复杂度。为此，本披露对现有眼底相机进行创新性改进，提出如图1右部示出的眼底相机。可以看出，本披露的眼底相机包括主镜筒102和一个副摄像头104，而非现有眼底相机的两个副摄像头。进一步，其还包括一个围绕主镜筒102布置的照明机构200，以用于与副摄像头和主摄像头配合，从而辅助实现眼底相机工作距离的定位。下文将结合图2和图3对该照明机构进行详细的描述。

图2示意性示出根据本披露实施例的一个主镜筒102的结构图。如图2中所示，该主镜筒的外周上布置有灯带或灯板202，其用于安装本披露的照明组件，以形成上文所述的照明机构200。具体地，本披露提出沿主镜筒外周布置至少一组照明组件204。作为示例，此处的至少一组照明组件可以包括发射红外光的红外发光二极管。进一步，图3示意性示出根据本披露实施例的一个主镜筒300的结构图。可以看出，图3所示主镜筒300相对于图2所示主镜筒增加了另一组照明组件306。换句话说，图3所示实施例将图2中的至少一组照明组件具体化为两组照明组件，即第一照明组件和第二照明组件。作为示例，第一照明组件204可以是发射红外光的红外发光二极管，而第二照明组件306可以是发射白光的白光发光二极管。

作为一个实际的应用场景，可以在主镜筒靠近人眼的位置周围制作一系列的照明灯(也即本披露上下文所称的照明件，并且多个照明件构成本披露上下文的照明组件)，这些照明灯(包括白光LED和红外LED)可以布置在前述的灯带或灯板上。例如，可以在围绕主镜筒的外周上布置8颗白光LED和8颗红外LED，其可以等间隔地均匀分布。在操作中，红外LED可以用于工作距离对齐过程中副摄像头的图像采集，而白光LED可以用于标定过程中的标定位置确定和主摄像头的眼前节采集需求。就电路连接而言，前述的8颗白光LED串联连接，并且8颗红外LED串联连接。而就控制而言，白光LED和红外LED可以单独控制，并且均支持亮度调节。尽管此处以8个白光LED和红外LED进行描述，但本领域技术人员可以理解的是，本披露照明件的数量可以根据实际情况进行增加或删减。在一些应用场景，还可以令照明灯设计有均光系统，以便使得第一照明组件和第二照明组件的照明亮度均匀，从而光板或光带看起来是亮度均匀的圆环。

图4示出了本披露一些实施例的用于定位眼底相机工作距离的方法400的示例性流程图。可以理解的是，这里的眼底相机可以是图1右部所示出的本披露的眼底相机，并且其具有图2或图3中所示出的照明设置。鉴于此，前文结合图1～图3对眼底相机的描述同样适用于下文的描述，并且相同的内容将不再赘述。进一步，方法400的步骤可以由处理器来执行，并且该处理器可以是集成于眼底相机中的处理器或者是与眼底相机共享的处理器。

如图4所示，在步骤S402处，启用照明组件并调节主摄像头的位置，以便令副摄像头捕获到光斑。如前所述，这里的照明组件可以是发射红外光的红外发光二极管。作为示例，光斑可以是图6a、6b和6c中所示出的光斑602、610和612，并且该光斑随着主镜筒位置的移动而具有不同的中心位置和亮度。可以理解的是，随着主摄像头位置的移动，副摄像头也将捕获到多个不同的光斑，即中心位置和亮度不同的光斑。

接着，在步骤S404处，记录所述副摄像头捕获到的具有最小尺寸的光斑。这里，可以通过比较多个光斑的面积来确定最小尺寸的光斑。接着，在步骤S406处，记录前述具有最小尺寸的光斑的位置坐标作为标定坐标。进一步，前述的标定坐标可以是副摄像头的图像坐标系下的坐标，如(x,y)。就本披露的工作距离定位过程而言，步骤S402～S406可以视为定位工作距离操作中的标定过程，而后续的步骤可以归属于眼底相机的使用过程。

最后，在步骤S408处，启用照明组件并调节所述主摄像头的位置，使得所述副摄像头捕获到的眼部图像中的瞳孔和照明圆环的中心位置位于所述标定坐标处，以实现所述眼底机机的工作距离定位。如前所述，这里的照明组件例如可以由一组红外发光二极管构成，并且随着主摄像头的多次移动(即位置调节)，副摄像头也将相应地捕获到多个眼表图像，该眼表图像包括瞳孔(如图中704所示)和照明圆环(如图7a中708所示)。进一步，该瞳孔和照明圆环具有各自的中心位置，并且在副摄像头的图像坐标系中具有各自的坐标。通过调整或调节主摄像头的位置，可以相应地改变瞳孔和照明圆环的中心位置。为了实现工作距离的定位，本披露的方案提出将瞳孔的中心位置和照明圆环的中心位置与前述步骤S406处所确定的标定坐标对齐。当确定瞳孔的中心位置、照明圆环的中心位置以及前述的标定坐标重合时，则可以判断当前的主摄像头位于其工作距离处。此时，主摄像头可以使用拍摄焦距拍摄眼底图像，也即在工作距离处执行拍摄。

通过上述结合图4的描述，可以理解的是本披露通过使用照明组件来实现工作距离的定位。通过这种方式，本披露的方案支持仅使用一个副摄像头，从而可以替代现有的双目系统。由此，就工作距离的对齐和定位来说，本披露的方案减小了定位的系统复杂度和硬件成本。

图5示出了本披露一些实施例的用于定位眼底相机工作距离的方法500的示例性详细流程图。可以理解的是，此处所示出的方法500可以视为图4所示方法500的一种具体实施方式，因此结合图4对方法400的描述同样适用于以下结合图5对方法500的描述，并且相同的内容将不再赘述。

在步骤S502处，在垂直于眼底相机(例如图1右部所示)的主摄像头的光轴上并位于工作距离预定范围内设置标定平板。作为示例，此处的标定平板可以是如图6中606处所示出的标定平板。在一个实施方式中，前述的标定平板可以是漫反射平板，其可以布置成垂直于主镜筒的光轴。接着，在步骤S504处，启用白光发光二极管进行白光照明。如前所述，这里的白光发光二极管也即本披露的第二照明组件并且其可以通过单独的控制电路来进行控制，以便在标定阶段使用。此后，在步骤S506处，令眼底相机的副摄像头捕获到在标定平板处所形成的光斑。例如，可以通过眼底相机的处理器或单独的处理器来控制副摄像头执行操作，以捕获光斑。由于眼底相机的照明设计使得眼底照明在工作距离处汇聚，因此在主镜筒前后调节的过程中，光斑的大小和中心亮度均发生变化。在这个过程，可以记录副摄像头捕捉到的光斑图像信息。该具体处理过程如步骤S508～S512所示。

在步骤S508处，可以对副摄像头捕获的每个光斑图像进行二值化处理，以获得每个光斑图像的中心区域的连通域。这里，二值化处理可以是针对光斑图像像素点的灰度值来设置或选取合适的阈值，从而令光斑图像呈现出明显的黑白效果，由此得到光斑的轮廓。接着，对经二值化处理后的光斑图像中具有相同的像素值且相邻的区域进行标记，以获得光斑图像的中心区域的连通域。接着，在步骤S510处，计算包裹连通域的最小圆直径，以确定每个光斑的尺寸。然后，步骤S512处，根据每个所述光斑的尺寸来选择具有最小尺寸的光斑，以便将位置坐标记录为标定坐标。换句话说，通过在标定阶段，从调节主摄像头期间副摄像头所捕获的多张光斑图像中选取具有最小尺寸的光斑，并且将该最小尺寸光斑的中心位置确定为标定坐标(或称标定位置)，本披露的方案创新性地通过一个副摄像头即可完成眼底相机工作距离的定位。

在步骤S514处，启用红外发光二极管进行红外光照明。如前所述，启用或者说点亮红外LED的时刻可以是在本披露眼底相机的工作(或使用)初始阶段。此后，在步骤S516，令所述副摄像头捕获眼部图像，特别是眼表图像。接着，在步骤S518处，可以对副摄像头所捕获到的眼部图像执行瞳孔检测算法和照明圆环检测算法。

关于上述的瞳孔检测算法，作为示例，本披露提出使用深度学习(例如YOLOv5)的方法来训练瞳孔检测器。具体来说，首先可以采集大量的眼表照片，这些眼表照片可以是在不同方向和/或不同时间所采集的眼表照片。接着，可以对每张眼表照片中的瞳孔进行标注，从而可以得到用于训练瞳孔检测器的训练数据。此后，可以使用前述的训练数据对例如YOLOv5的深度学习神经网络进行训练。通过不断的训练，最终可以得到适于做出推断的神经网络，也即瞳孔检测器。作为一个实施场景，本披露的瞳孔检测器的检测结果可以包括一个检测框，该检测框可以标识或表征眼表图像中瞳孔的位置和尺寸。

关于前述的照明圆环(或称红外照明圆环)检测算法，作为示例，本披露提出如下的一种检测方法。首先，可以对捕获到的眼表图像进行图像二值化处理。考虑到红外照明圆环的亮度相对较高，当选择合适的针对于像素灰度值的阈值时，则照明圆环将在图像二值化处理后显现出来。接着，可以对照明圆环执行霍夫变换，以检测出照明圆环的中心和半径。

返回图5所示流程，在步骤S520处，可以根据瞳孔检测算法和照明圆环检测算法的检测结果分别确定瞳孔的中心位置和照明圆环的中心位置。尽管图中流程未示出，可以想到的是当步骤S520处得到的瞳孔的中心位置、照明圆环的中心位置和在步骤S512处所记录的标定坐标不重合时，则在步骤S522处，调节(或再次调节)主摄像头的位置，使得副摄像头捕获到的眼部图像中的瞳孔和照明圆环的中心位置位于标定坐标处。当瞳孔和照明圆环的中心位置与标定坐标重合时，则此时完成主摄像头的工作距离的定位。此后，主摄像头可以在工作距离处执行眼底图像的拍摄，也即从使用过程的初始阶段正式进入到主摄像头的眼底图像捕获操作。

图6a示出了本披露实施例用于定位眼底相机工作距离的标定过程的一示意场景。如图6a中所示，在标定过程期间，可以在主摄像头(其容纳于主镜筒)的工作距离附近放置标定平板606，并且其位置垂直于主摄像头的光轴。如前所述，该标定平板例如可以是漫反射平板。当点亮布置于沿主镜筒外周所布置的白光LED时，其发出的白光608将在工作距离附近时发生汇聚，并形成如602所指示的光斑。并行地或此后，可以启用副摄像头以便在其视野(“FoV”)504内对光斑图像进行捕获，从而可以获得如602所指示的光斑。由于标定平板放置于工作距离处，因此此时得到的光斑具有最小的尺寸。相对地，图6b和图6c分别示出了在标定过程中，当标定平板放置于小于工作距离和大于工作距离时，副摄像头所捕获到的尺寸相对较大的光斑的情形，也即图6b中610和图6c中612所指示的。

图7a示出了本披露实施例用于眼底相机工作距离定位过程的一示意场景，其中702指示主摄像头的光轴，704指示瞳孔，706指示用户的眼表(即眼睛表面)并且708指示红外光照明圆环。如图7a中所示出的，当主镜筒的位置被调节至如图中所示位置时，此时副摄像头所捕获的眼表图像中的瞳孔中心位置和红外光照明圆环的中心位置在副摄像头的图像坐标系下的坐标与在标定过程中所获得的标定坐标(x,y)相重合。相对地，如图7b和图7c中所分别示出的，当瞳孔在Z轴方向远离主镜筒(也即主摄像头时)，则从副摄像头中看到的瞳孔中心位于标定位置的左边，即在x轴上相对于标定坐标(x,y)向左偏差Δx；当瞳孔在Z轴方向距离主镜筒太近，则从副摄像头中看到瞳孔的中心位于标定位置的右边，即在x轴上相对于标定坐标(x,y)向右偏差Δx。可以看出，通过照明圆环和标定过程中所确定的标定坐标(x,y)确定瞳孔的位置是唯一的，即工作距离位置。

图8示出了本披露实施例用于定位眼底相机工作距离的设备800的示例性结构图。可以理解的是，这里的眼底相机可以是前文结合图1～图7所讨论的眼底相机，其具有主摄像头和一个副摄像头，并且还包括如前所述的照明组件，例如第一照明组件和第二照明组件。

如图8中所示，该设备800可以包括处理器801和存储器802，二者可以通过总线803进行连接。在一个实施例中，该处理器801可以包括通用处理器(CPU)和/或专用处理器(如图形处理器GPU)，而存储器802可以是存储有用于定位眼底相机的工作距离的程序指令。当前述的程序指令由处理器801运行时，使得实现结合图1～图7所示出的本披露的方法步骤。在一些实施场景中，该设备800可以集成于本披露的眼底相机中。基于此，该设备800的处理器801可以是眼底相机的处理器或与眼底相机的处理器分离的另一处理器。进一步，存储器802可以是眼底相机中的存储器或与眼底相机中的存储器分离的另一存储器。

在一些实现场景中，当合适的硬件(如本披露的照明机构)已经布置完成时，本披露的方案还可以采用软件程序模块的形式来实现。如果以软件程序模块的形式实现并作为独立的产品销售或使用时，该软件程序模块可以存储在计算机可读取存储器中。基于此，当本披露的方案以软件产品(例如计算机可读存储介质)的形式体现时，该软件产品可以存储在存储器中，其可以包括若干指令用以使得处理器或计算设备(例如个人计算机、服务器或者网络设备等)执行本披露实施例所述方法的部分或全部步骤。前述的存储器可以包括但不限于U盘、闪存盘、只读存储器(“Read Only Memory”，简写为ROM)、随机存取存储器(“Random Access Memory”，简写为RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

基于上文的讨论，可以理解的是本披露的方案实际上也公开了如图9中所示出的眼底相机900。如图9中所示，该眼底相机900可以包括主镜筒102，其内部容纳有主摄像头并且沿其周向布置有照明机构200。如前结合图2所描述的，该照明机构可以包括灯带或灯板以及安装在灯带或灯板上的白光LED和红外LED。由于照明机构的创新性设计，本披露的眼底相机可以仅布置一个副摄像头104即可以实现现有双目系统的工作距离定位。进一步，为了实现工作距离的定位，本披露的眼底相机900还可以包括如图8中所示出的设备800，从而可以借助于设备800的配合操作来实现眼底相机的工作距离定位。

虽然本文已经示出和描述了本披露的多个实施例，但对于本领域技术人员显而易见的是，这样的实施例只是以示例的方式来提供。本领域技术人员可以在不偏离本披露思想和精神的情况下想到许多更改、改变和替代的方式。应当理解的是在实践本披露的过程中，可以采用对本文所描述的本披露实施例的各种替代方案。所附权利要求书旨在限定本披露的保护范围，并因此覆盖这些权利要求范围内的等同或替代方案。