眼科显微镜系统及对应的系统、方法和计算机程序

技术领域

示例涉及眼科显微镜系统并且涉及用于眼科显微镜系统的对应系统、方法和计算机程序，更具体地但不排他地涉及用于生成用于引导眼科显微镜系统的用户的视觉引导覆盖层的概念。

背景技术

组织结构的可视化是手术显微术的主要焦点。但是，通过相应的手术显微镜系统的目镜可视化这种组织结构可能存在固有的挑战。例如，在眼科显微镜系统的辅助下执行的白内障手术中，眼科医生常常依靠所谓的红光反射，其提供理想的对比度来可视化囊膜、晶状体和前房结构。红光反射可以在眼睛的晶状体与后囊膜之间提供必要的对比度，这提供关于外科医生在眼睛内工作的深度的信息。但是，在致密白内障中，红色反射光的穿透会被白内障晶状体的不透明性所阻挡，从而限制了观察到的红光反射的强度。

在白内障手术期间，晶状体囊膜的后表面在前段与后段之间提供了屏障。白内障手术期间后囊膜的意外撕裂使晶状体取出变得复杂，妨碍植入晶状体的插入，并导致术后问题发生率高。但是，外科医生有时难以测量膜状胶原结构的深度和强度，尤其是在红光反射照明差的情况下。

眼睛后部的视网膜手术常常涉及剥离规程，例如，剥离视网膜前膜(ERM)或内界膜(ILM)以治疗各种玻璃体视网膜疾病，包括黄斑裂孔、黄斑皱褶、视网膜前膜、糖尿病性黄斑水肿、视网膜脱离。由于两种视网膜膜都是半透明的且厚度为微米级，因此外科医生常常使用诸如台盼蓝或吲哚青绿(ICG)之类的有毒染料来对膜进行染色和可视化。

去除玻璃体(流体)是防止患者再次发生视网膜脱离的另一个重要的工作流程步骤。外科医生有时使用类固醇将透明的玻璃体染成白色，以确保完全去除眼睛中的玻璃体袋。但是，这些类固醇可能对患者具有类似的毒性，并且外科医生常常尽可能限制或尝试完全避免在手术中使用这些类固醇。

内照明系统的照明不佳或低照明和半透明的组织特征会使后部的观察进一步复杂化，从而导致区分眼部特征具有挑战性。

图像识别、认可智能和机器学习已经被用于医学领域中的图像分析，特别是也用于示出眼部结构的图像，以识别所述眼部结构。但是，此类系统仅用于静态数据，例如，以注释眼部结构的静态图像。

一些人工晶状体(IOL)引导系统具有一些图像识别能力，仅限于识别瞳孔尺寸和巩膜血管弯曲度和厚度，使得能够在白内障手术期间进行人工晶状体的正确定位。但是，此类系统仅限于术前规划和对准复曲面IOL，并且一般不提供在术中识别和跟踪感兴趣的眼部特征的特征。

可能期望眼科显微镜系统的改进概念。

发明内容

这个期望由独立权利要求的主题来解决。

本公开的各种实施例基于这样的发现：眼科显微镜系统的至少一个成像传感器的术中传感器数据的基于机器学习的分析可以用于在手术规程期间引导外科医生。使用机器学习在术中传感器数据中识别和跟踪解剖特征，例如，以分类和定位解剖特征，和/或检测关于解剖特征的异常。为了在手术期间引导外科医生，生成视觉覆盖层，以用于突出显示或注释在术中传感器数据的视觉表示中感兴趣的解剖特征。例如，可以突出显示一些解剖结构，例如，以突出显示上面提到的后囊膜的边缘，或注释异常，诸如视网膜中的孔或角膜移植物的不正确朝向。实际上，所提出的概念提供了一种用于识别感兴趣的眼部特征(诸如后囊膜、视网膜膜或黄斑裂孔)的方法，使用数字增强来突出显示和跟踪手术显示器中的一个或多个特征。

本公开的各种示例涉及一种用于眼科显微镜系统的系统。该系统包括一个或多个处理器和一个或多个存储设备。该系统被配置为从眼科显微镜系统的至少一个成像设备获得眼睛的术中传感器数据。该系统被配置为使用机器学习模型处理术中传感器数据。机器学习模型被训练为基于术中传感器数据输出关于眼睛的一个或多个解剖特征的信息。该系统被配置为基于关于眼睛的一个或多个解剖特征的信息来生成用于眼科显微镜系统的显示设备的显示信号。显示信号包括视觉引导覆盖层，用于针对眼睛的一个或多个解剖特征引导眼科显微镜系统的用户。例如，机器学习模型可以用于实时跟踪眼睛的解剖特征(即，眼部特征)，而视觉引导覆盖层可以用于注释或突出显示至少一些解剖特征以在手术期间辅助外科医生。

一般而言，可以通过注释眼睛的一个或多个解剖特征，例如，通过提供文本注释、通过突出显示解剖特征、通过突出显示/勾勒一个或多个解剖特征的边缘，或者通过突出显示与一个或多个解剖特征相关的异常来引导外科医生。因而，视觉引导覆盖层可以包括眼睛的一个或多个解剖特征的注释，适合于在手术规程期间引导眼科显微镜系统的用户。

在眼科手术期间，眼睛的状况由于外科医生执行的操作而不断改变。因此，术中传感器数据可以被不断更新和处理，并且视觉引导覆盖层可以被相应地更新。换言之，系统可以被配置为以不断更新的术中传感器数据流获得术中传感器数据。系统可以被配置为基于不断更新的术中传感器数据流来更新视觉引导覆盖层。

视觉引导覆盖层被用于针对眼睛的一个或多个解剖特征来引导眼科显微镜系统的用户。因而，视觉引导覆盖层可以覆盖在术中传感器数据上，或者更确切地说，覆盖在其视觉表示上。换言之，系统可以被配置为将视觉引导覆盖层覆盖在显示信号内的术中传感器数据的视觉表示之上。

如上面所提到的，可以在视觉引导覆盖层内注释一个或多个解剖特征。系统可以被配置为生成具有多个视觉指示器中的一个或多个视觉指示器的引导覆盖层。例如，多个视觉指示器包括以下各项中的一项或多项：一个或多个解剖特征的至少子集的文本注释、用于突出显示一个或多个解剖特征的一个或多个表面的覆盖层、用于突出显示一个或多个解剖特征的一个或多个边缘的覆盖层、一个或多个方向指示器和与关于一个或多个解剖特征的一个或多个异常相关的一个或多个指示器。例如，文本注释可以用于标记一个或多个解剖特征、描述关于一个或多个解剖特征的异常，或描述手术规程期间的后续任务。例如，用于突出显示解剖特征的表面或边缘的覆盖层可以辅助外科医生在术中传感器数据的视觉表示中区分解剖特征。定向操作器可以引导外科医生至要执行进一步操作的位置。类似地，与异常相关的指示器可以用于警告外科医生该异常，并引导外科医生至要进行进一步操作的位置。

但是，在不同的手术规程中，或在手术规程的不同阶段，外科医生感兴趣的解剖特征可能不同。因此，可能只会考虑解剖特征的子集用于视觉引导覆盖层。换言之，系统可以被配置为基于对多个视觉指示器的子集的选择来生成视觉引导覆盖层。例如，该选择可以基于眼科显微镜系统的用户的输入。换言之，用户(例如，外科医生)可以选择用于视觉引导覆盖层的解剖特征或解剖特征的类别。附加地或可替代地，系统可以被配置为基于在眼科显微镜系统的辅助下执行的眼科手术规程的进展来确定该选择。换言之，自动化系统可以被用于跟踪手术规程的进展，并基于手术规程的进展调整被考虑的一个或多个解剖特征，这可以减少外科医生的负担，使他们能够集中精力在手术规程上。

眼科规程期间的主要工具是光学相干断层扫描术(OCT)，其被用于在一条或多条扫描线上获得眼睛的各层的深度剖面。例如，术中传感器数据可以包括术中光学相干断层扫描传感器数据。机器学习模型可以被训练为基于术中光学相干断层扫描传感器数据输出关于眼睛的一个或多个层的信息。系统可以被配置为生成具有突出显示或注释眼睛的一个或多个层的至少子集的视觉指示器的视觉引导覆盖层。例如，经由术中成像传感器数据可能难以在视觉上区分眼睛的各个层，因此OCT用于在手术规程期间在深度上引导外科医生。通过注释/突出显示术中OCT传感器数据中示出的特征，可以促进这种导航，并且可以引起外科医生对异常的注意。

在一些示例中，机器学习模型被训练为输出关于术中传感器数据内的一个或多个解剖特征的类别的信息。系统可以被配置为生成具有与一个或多个解剖特征的类别相关的视觉指示器的视觉引导覆盖层。例如，这可以用于辅助外科医生区分术中传感器数据的视觉表示中的解剖特征。

如上面所提到的，所提出的概念可以用于检测和突出显示异常。因而，机器学习模型可以被训练为输出关于与眼睛的一个或多个解剖特征相关的一个或多个异常的信息。系统可以被配置为生成具有与一个或多个异常相关的视觉指示器的视觉引导覆盖层。例如，当检测到异常时，可以显示警告消息。换言之，系统可以被配置为包括对显示信号内的一个或多个异常的警报，或者经由眼科显微镜系统的输出设备输出警报。附加地或可替代地，可以在术中传感器数据的视觉表示中突出显示异常的位置，或者可以将异常添加到外科医生执行的任务列表中。

在一些示例中，系统可以包括多个成像设备，诸如眼科显微镜系统的显微镜的成像传感器和上面提到的OCT系统。在许多情况下，成像设备之一的术中传感器数据可能更适合检测给定的解剖特征。例如，术中OCT传感器数据特别适合检测和区分眼睛的各个层。例如，如果在术中OCT传感器数据中检测到关于眼睛的各个层中的一个层的异常，那么这个异常可能不仅在术中OCT传感器数据的视觉表示中突出显示，而且还(或专门)在显微镜的成像传感器的术中传感器数据的视觉表示的对应位置处突出显示。更一般而言，术中传感器数据可以包括来自第一成像设备的第一术中传感器数据和来自第二成像设备的第二术中传感器数据。系统可以被配置为利用第一术中传感器数据的第一视觉表示和第二术中传感器数据的第二视觉表示来生成显示信号。系统可以被配置为将由机器学习模型基于第一术中传感器数据检测到的异常的视觉指示器覆盖在显示信号内的第二术中传感器数据的第二视觉表示的对应位置之上。例如，对应的视觉指示器(例如，具有相同的形状、颜色和/或线条样式)可以覆盖在两个视觉表示之上，因此外科医生可以识别视觉指示器之间的对应关系。

可以用于引导外科医生并促进手术的另一方面是相对于一个或多个解剖特征跟踪手术器械。例如，可以跟踪手术器械与解剖特征之间的距离，使得外科医生能够在紧邻解剖特征的边缘处进行操作，而不会造成不想要的切口。因而，系统可以被配置为检测术中传感器数据中一个或多个手术器械的存在。系统可以被配置为确定检测到的一个或多个手术器械与一个或多个解剖特征之间的距离。系统可以被配置为生成具有表示检测到的一个或多个手术器械与一个或多个解剖特征之间的距离的视觉指示器的视觉引导覆盖层。

如上面所概述的，可以通过所提出的概念来处理不同类型的术中传感器数据。例如，术中传感器数据可以包括眼科显微镜系统的术中光学相干断层扫描设备的术中光学相干断层扫描传感器数据、眼科显微镜系统的显微镜的成像传感器的术中成像传感器数据和眼科显微镜系统的内窥镜的术中内窥镜传感器数据中的一项或多项。例如，不同类型的术中传感器数据特别适合于检测不同类型的解剖特征。

所生成的显示信号可以经由眼科显微镜系统的显示设备输出。例如，系统可以被配置为向眼科显微镜系统的显示设备提供显示信号。例如，显示设备可以是平视显示器、头戴式显示器、安装至眼科显微镜系统的显微镜的显示器和眼科显微镜系统的显微镜的目镜显示器中的一种。

本公开的各个方面涉及一种对应的眼科显微镜系统，其包括至少一个成像设备、显示设备和上述系统。例如，至少一个成像设备可以包括术中光学相干断层扫描设备、显微镜的成像传感器和内窥镜中的至少一种。例如，不同成像设备的术中传感器数据可以特别适合于检测不同类型的解剖特征。

本公开的各个方面涉及一种用于眼科显微镜系统的相应方法。该方法包括从眼科显微镜系统的至少一个成像设备获得眼睛的术中传感器数据。该方法包括使用机器学习模型处理术中传感器数据。机器学习模型被训练为基于术中传感器数据输出关于眼睛的一个或多个解剖特征的信息。该方法包括基于关于眼睛的一个或多个解剖特征的信息来生成显示信号。显示信号包括视觉引导覆盖层，用于针对眼睛的一个或多个解剖特征引导眼科显微镜系统的用户。

本公开的各个方面涉及一种具有程序代码的对应计算机程序，其用于当计算机程序在处理器上执行时实施上述方法。

附图说明

下面将仅通过示例并参考附图描述装置和/或方法的一些示例，其中：

图1a示出了用于眼科显微镜系统的系统的示例的框图；

图1b在眼科显微镜系统的组件的上下文中示出了用于眼科显微镜系统的系统的示例的示意图；

图1c示出了眼科显微镜系统的示例的示意图；

图2a和2b示出了覆盖在相机传感器数据的视觉表示之上的解剖特征的注释的示例的示意图；

图3a示出了覆盖在OCT传感器数据的视觉表示之上的解剖特征的文本注释的示例的示意图；

图3b示出了覆盖在OCT传感器数据的视觉表示之上的解剖特征的图形注释的示例的示意图；

图3c示出了并排示出的相机传感器数据的视觉表示和OCT传感器数据的视觉表示的示例的示意图；

图4a示出了眼睛的各个层的文本注释和图形注释的示例的示意图；

图4b示出了覆盖在OCT传感器数据的视觉表示之上的眼睛的各个层的图形注释的示例的示意图；

图5a和5b示出了突出显示后囊膜破裂的图形注释的示例的示意图；

图6a示出了突出显示视网膜中的裂孔的图形注释的示例的示意图，该图形注释覆盖在相机传感器数据的视觉表示和OCT传感器数据的视觉表示之上；

图6b示出了突出显示角膜移植物中的异常的图形注释的示例的示意图，该图形注释覆盖在相机传感器数据的视觉表示和OCT传感器数据的视觉表示之上；

图6c示出了突出显示裂开的切口伤口的图形注释的示例的示意图，该图形注释覆盖在相机传感器数据的视觉表示和OCT传感器数据的视觉表示之上；

图7示出了突出显示器械尖端(instrument tip)与解剖特征之间的相对距离的图形注释的示例的示意图；

图8示出了用于眼科显微镜系统的方法的示例的流程图；以及

图9示出了包括显微镜和计算机系统的系统的示意图。

具体实施方式

现在将参考其中图示了一些示例的附图更全面地描述各种示例。在图中，为了清楚起见，可能夸大了线、层和/或区域的厚度。

图1a示出了用于眼科显微镜系统(图1c中所示)的系统110的示例的框图。可选地，该系统包括接口112。系统110包括一个或多个处理器114和一个或多个存储设备116。可选地，该系统包括接口112。一个或多个处理器耦接到一个或多个存储设备以及可选的接口。一般而言，系统的功能性由一个或多个处理器，例如，结合可选的接口(用于交换信息)和/或一个或多个存储设备(用于存储数据)提供。

该系统被配置为例如经由接口112从眼科显微镜系统的至少一个成像设备120；142；150(如图1b和/或图1c中所示)获得眼睛的术中传感器数据。该系统被配置为使用机器学习模型处理术中传感器数据。机器学习模型被训练为基于术中传感器数据输出关于眼睛的一个或多个解剖特征的信息。该系统被配置为基于关于眼睛的一个或多个解剖特征的信息生成用于眼科显微镜系统的显示设备130；130a；130b；130c(如图1b和/或图1c中所示)的显示信号。显示信号包括视觉引导覆盖层，用于针对眼睛的一个或多个解剖特征引导眼科显微镜系统的用户。

在图1a中，系统110被单独示出。但是，系统110可以耦接到眼科显微镜系统的一个或多个可选组件，如图1b中所示。图1b在眼科显微镜系统的组件的上下文中示出了用于眼科显微镜系统的系统的示例的示意图。例如，如图1b中所示，系统110可以与眼科显微镜系统的至少一个成像设备(诸如术中光学相干断层扫描(术中OCT或iOCT)设备120、显微镜的成像传感器142和眼科显微镜系统的内窥镜150)耦接。例如，成像传感器142可以集成在显微镜(140，如图1c中所示)中，而OCT设备120和内窥镜直接在眼睛160处或者甚至在眼睛160中使用。

图1c示出了眼科显微镜系统100的示例的示意图。眼科显微镜系统包括至少一个成像设备(诸如OCT设备120、显微镜140的成像传感器142或内窥镜150)、显示设备130a；130b；130c，以及系统110。在图1c中，示出了三个潜在的显示设备—平视显示器130a、显微镜140的目视显示器130b以及安装在显微镜(或者更确切地说显微镜的保持结构)上的显示器130c。如名称所指示的，眼科显微镜系统还包括显微镜140。

一般而言，显微镜，诸如图1c中所示的显微镜140，是适合于检查可能太小而无法(单独)通过人眼检查的物体的光学器械。例如，显微镜可以提供样品的光学放大。在现代显微镜中，常常为相机或成像传感器(诸如显微镜140的成像传感器142)提供光学放大。换言之，显微镜140可以是数字显微镜或组合的光学-数字显微镜。可替代地，可以采用纯光学方法。显微镜140还可以包括用于放大样品的视图的一个或多个光学放大组件，诸如物镜(即，透镜)。在本申请的上下文中，使用术语“眼科显微镜系统”，以便覆盖系统中不属于实际显微镜(其包括光学组件并因此也表示为“光学器件载体”)的一部分但与显微镜结合使用的部分，诸如系统110、OCT设备120、显示器130a-c或内窥镜150。

图1c中所示的显微镜系统是眼科显微镜系统，其是在眼科手术(即，眼睛手术)期间使用的手术显微镜系统。图1c中所示的眼科显微镜系统100包括多个可选组件，诸如具有(滚动)支架的基座单元105(包括系统110)，以及将显微镜140保持在适当位置并且耦接至基座单元105和显微镜140的(机械或手动)臂170。由于本公开涉及用于眼睛手术中的眼科(手术)显微镜和眼科显微镜系统，因此通过显微镜查看的样品是患者的眼睛160或眼睛的至少一部分。

本公开的各种示例用于生成视觉引导覆盖层，用于例如通过注释眼睛的一个或多个解剖特征来针对眼睛的一个或多个解剖特征引导眼科显微镜系统的用户(例如，外科医生)。该视觉引导覆盖层进而是基于至少一个成像传感器的术中传感器数据的基于机器学习的分析。因此，该系统被配置为从眼科显微镜系统的至少一个成像设备120；142；150获得眼睛的术中传感器数据。例如，系统可以被配置为经由接口112接收术中传感器数据，即，至少一个成像设备可以被配置为主动向系统提供术中传感器数据。可替代地，系统可以被配置为从至少一个成像设备或从系统和至少一个成像传感器设备两者外部的存储器读出术中传感器数据。

一般而言，所提出的系统被设计为在手术期间使用—因此使用“术中”传感器数据。因而，术中传感器数据可以是在手术规程期间生成的传感器数据。例如，术中传感器数据可能不是在手术规程开始之前收集的传感器数据，例如，不是在手术规程的准备中，而是在例如做出第一切口之后收集的传感器数据。在各种示例中，术中传感器数据被不断更新——随着手术规程的进展，术中传感器数据记录手术规程的进展。因此，还可以不断地重新获得(例如，接收或读出)术中传感器数据，使得可以基于最新的术中传感器数据不断地重新生成视觉引导覆盖层。因此，系统可以被配置为以不断更新的术中传感器数据流获得术中传感器数据。相应地，如下面更详细地讨论的，系统可以被配置为基于不断更新的术中传感器数据流来更新视觉引导覆盖层。实际上，术中传感器数据以及由此生成的视觉引导覆盖层可以表示(接近)实时(例如，具有至多500ms的延迟)观察的眼睛。

如上面所提到的，眼科显微镜系统可以包括各种成像设备，诸如iOCT设备120、成像传感器142或内窥镜150。术中传感器数据可以对应地包括眼科显微镜系统的术中光学相干断层扫描设备120的术中光学相干断层扫描传感器数据、眼科显微镜系统的显微镜140的成像传感器142的术中成像传感器数据以及眼科显微镜系统的内窥镜150的术中内窥镜传感器数据中的一项或多项。在一些情况下，术中传感器数据可以包括例如来自两个或更多个成像传感器的两组或更多组术中传感器数据。

使用机器学习来处理术中传感器数据，以基于术中传感器数据确定关于眼睛的一个或多个解剖特征的信息。因而，提供了一种用于基于术中传感器数据使用图像识别来识别和数字化跟踪解剖(组织)特征的方法，该术中传感器数据可以由相机(诸如显微镜系统的成像传感器)、术中光学相干断层扫描(iOCT)系统或由其他成像配件提供。通过引用可以用于训练机器学习模型的图像和视频数据集库，基于机器学习(ML)特别是深度学习(DL)的软件可以能够识别、定位和定量解剖或病理特征，诸如区分角膜、虹膜、前房角、后囊膜等。根据来自手术相机、iOCT或其他形式的成像配件的术中视频，软件可以适合于实时推断哪些特征目前正在被观察。因此，所提出的概念提供了一种用于识别感兴趣的眼部特征(诸如后囊膜、视网膜膜或黄斑裂孔)并使用数字增强来突出显示和跟踪手术显示器中的特征的方法。换言之，各种示例可以执行组织特征的数字视觉标记。

机器学习可以指计算机系统可以用于执行特定任务而不使用显式指令而是依赖模型和推理的算法和统计模型。例如，在机器学习中，可以使用从历史和/或训练数据的分析中推断出的数据的变换，而不是基于规则的数据的变换。例如，可以使用机器学习模型或使用机器学习算法来分析图像的内容。为了让机器学习模型分析图像的内容，可以使用训练图像作为输入和使用训练内容信息作为输出来训练机器学习模型。通过用大量的训练图像和/或训练序列(例如，词或句子)以及相关联的训练内容信息(例如，标签或注释)来训练机器学习模型，机器学习模型“学习”识别图像的内容，因此使用机器学习模型可以识别不包括在训练数据中的图像的内容。相同的原理也可以用于其他种类的传感器数据：通过使用训练传感器数据和期望的输出来训练机器学习模型，机器学习模型“学习”传感器数据与输出之间的变换，该变换可以用于基于提供给机器学习模型的非训练传感器数据提供输出。所提供的数据(例如，传感器数据、元数据和/或图像数据)可以被预处理以获得特征向量，该特征向量被用作机器学习模型的输入。

在本公开的上下文中，机器学习模型被训练为基于术中传感器数据输出关于眼睛的一个或多个解剖特征的信息。换言之，术中传感器数据在机器学习模型的输入端处提供，并且关于眼睛的一个或多个解剖特征的信息在机器学习模型的输出端处提供。因此，机器学习模型将术中传感器数据变换成关于一个或多个解剖特征的信息。为了执行这种变换，基于训练数据对机器学习模型进行训练。

可以使用训练输入数据来训练机器学习模型。上述示例使用称为“监督式学习”的训练方法。在监督式学习中，使用多个训练样本来训练机器学习模型，其中每个样本可以包括多个输入数据值和多个期望的输出值，即，每个训练样本与期望的输出值相关联。通过指定训练样本和期望的输出值，机器学习模型基于与训练期间提供的样本相似的输入样本“学习”提供哪个输出值。除了监督式学习之外，还可以使用半监督式学习。在半监督式学习中，一些训练样本缺乏对应的期望的输出值。监督式学习可以基于监督式学习算法(例如，分类算法、回归算法或相似性学习算法)。当输出被限制为有限的值集合(分类变量)时，可以使用分类算法，即，输入被分类为有限的值集合之一。当输出可以具有任何数值(在一定范围内)时，可以使用回归算法。相似性学习算法可以类似于分类算法和回归算法两者，但基于从使用相似性函数的示例中学习，相似性函数测量两个对象的相似或相关程度。

在所提出的概念中，机器学习模型被训练为处理表示一个或多个解剖特征的术中传感器数据，以获得并输出一个或多个解剖特征的特性。例如，一个或多个解剖特征可以包括眼睛的至少一个层、眼睛的至少一个组织结构、至少一个移植物和至少一个病理特征中的一项或多项。一般而言，可以由机器学习模型提供关于一个或多个解剖特征的(至少)四个一般类别的信息—一个或多个解剖特征的身份或类别、一个或多个解剖特征的位置、一个或多个解剖特征的定量，以及一个或多个解剖特征中的异常。

为了促进或使得能够通过机器学习模型对一个或多个解剖特征进行分析，机器学习模型可以被训练为检测并分割术中传感器数据内的一个或多个解剖特征。换言之，机器学习模型可以被训练为执行一个或多个解剖特征的分割，以区分术中传感器数据内的各个解剖特征。例如，可以使用监督式学习训练机器学习模型以执行分割，其中使用来自上面所述的传感器的传感器数据的样本作为训练输入数据，并且使用样本的手动分割版本作为期望的输出。随后，机器学习模型可以单独(或并发地)处理分割的解剖特征。在一些示例中，机器学习模型可以包括两个或更多个子模型——用于执行图像分割以便分离一个或多个解剖特征的第一子模型，和用于执行分割的解剖特征的进一步分析的一个或多个第二子模型。

例如，机器学习模型可以被训练为确定一个或多个解剖特征的身份。在机器学习中，这个任务被称为“分类”任务。换言之，机器学习模型可以被训练为对一个或多个解剖特征进行分类，即，输出关于术中传感器数据内的一个或多个解剖特征的类别的信息。如上面所概述的，可以使用监督式学习训练机器学习模型以执行分类。例如，可以提供表示解剖特征的训练样本作为训练输入，并且可以提供关于训练样本中表示的解剖特征的类别的信息作为机器学习模型的训练的期望输出。实际上，正在对术中传感器数据执行特征识别，并且提供了一种用于识别感兴趣的眼部特征(诸如后囊膜、视网膜膜或黄斑裂孔)的方法。如之前提到的，机器学习模型或机器学习模型的多个第二子模型中的一个可以被训练为基于一个或多个解剖特征的分割来单独处理每个解剖特征。

在各种示例中，一个或多个解剖特征的位置和/或范围由机器学习模型输出。例如，可以基于一个或多个解剖特征的分割来输出一个或多个解剖特征的位置和/或范围。换言之，机器学习模型可以被训练为输出表示一个或多个解剖特征的位置和/或范围的一个或多个点作为分割的结果。类似地，例如在后处理任务期间可以基于一个或多个解剖特征的分割来执行一个或多个解剖特征的定量，该后处理任务用于确定相应分割的解剖特征的数量和/或尺寸。

如上面所提到的，在一些示例中，术中传感器数据包括术中光学相干断层扫描传感器数据。光学相干断层扫描术常常用于扫描眼睛的各个层，从而提供眼睛的各个层的深度分析。这些层由术中OCT传感器数据表示，并且可以通过机器学习模型进行分割和识别。因此，机器学习模型可以被训练为基于术中光学相干断层扫描传感器数据输出关于眼睛的一个或多个层的信息。为了促进不同类型的术中传感器数据的处理，可以将术中传感器数据作为图像数据输入到机器学习模型中。例如，术中OCT传感器数据可以被转换成图像数据，并且作为图像数据提供给机器学习模型。

在本上下文中，眼睛的每个层可以被认为是眼睛的单独的解剖特征。因此，如上面所概述的，机器学习模型可以被训练为输出关于与眼睛的一个或多个解剖特征对应的一个或多个层的类别的信息。类似地，机器学习模型可以被训练为输出表示与眼睛的一个或多个解剖特征对应的一个或多个层所对应的一个或多个层的位置和/或范围的一个或多个点。

在一些示例中，机器学习模型还被用于异常检测。换言之，机器学习模型可以被训练为输出关于与眼睛的一个或多个解剖特征相关的一个或多个异常的信息。在这种上下文中，异常检测可以用于识别两种类型的异常中的至少一种，两种类型的异常为作为手术规程的一部分的与待处理的解剖特征相关的异常，例如，如结合图6a所示的视网膜中的裂孔，或如结合图6b所示的方向不正确的角膜移植物，以及作为手术规程的不期望或必要的副产品的与解剖特征相关的异常，例如如图6c中所示的切口伤口。再次，可以使用监督式学习训练机器学习模型以输出关于与眼睛的一个或多个解剖特征相关的一个或多个异常的信息。例如，表示异常的传感器数据的样本可以用作训练样本，并且异常的位置和/或异常的类别可以用作用于训练机器学习模型的期望的输出。因此，关于一个或多个异常的信息可以包括关于一个或多个异常的位置和/或类别的信息。例如，一个或多个第二子模型中的一个可以被训练为对分割的解剖特征单独执行异常检测。

一般而言，机器学习模型可以用于对各种不同类型的解剖特征进行分类、定位、定量或执行异常检测。但是，在许多情况下，用户(例如，外科医生)可能只对解剖特征的子集感兴趣。用户可以允许软件自动检测所有组织特征，或者手动选择要识别的感兴趣的特征。如果只对特征的子集感兴趣，那么可以过滤机器学习模型的输出以(仅)包括感兴趣的解剖特征，或者可以向机器学习模型提供另一输入，该另一输入向机器学习模型指示感兴趣的特征。在机器学习模型的训练中可以考虑这个输入。

虽然在眼科显微镜系统和对应的系统、方法和计算机程序的上下文中描述了机器学习模型的训练，但是机器学习模型的训练可以在机器学习模型被加载到系统中并用于处理术中传感器数据之前已经结束。换言之，机器学习模型可以是预训练的机器学习模型，其由眼科显微镜系统外部的实体训练。

机器学习模型的输出被用于生成具有视觉引导覆盖层的显示信号。换言之，该系统被配置为基于关于眼睛的一个或多个解剖特征的信息来生成用于眼科显微镜系统的显示设备的显示信号。一般而言，显示信号可以是用于驱动(例如，控制)显示的信号。例如，显示信号可以包括用于驱动显示的视频数据和/或控制指令。例如，可以经由系统的一个或多个接口112中的一个来提供显示信号。因而，系统110可以包括适合于向触摸屏的显示器提供视频信号的视频接口112。

显示信号包括视觉引导覆盖层。如名称所指示的，视觉引导覆盖层可以覆盖在显示信号的一个或多个其他视觉分量之上。例如，显示信号还可以包括术中传感器数据的视觉表示。换言之，系统可以被配置为将视觉引导覆盖层覆盖在显示信号内的术中传感器数据的视觉表示之上。而且，视觉引导覆盖层的一个或多个元素(诸如视觉指示器)的位置可以与术中传感器数据的对应部分相匹配。

该系统被配置为生成视觉引导覆盖层作为显示信号的一部分，其中视觉引导覆盖层适合于针对眼睛的一个或多个解剖特征引导眼科显微镜系统的用户。这可以通过对关于一个或多个解剖特征的术中传感器数据进行注释来完成，其中视觉引导覆盖层包括术中传感器数据的注释。换言之，视觉引导覆盖层可以包括眼睛的一个或多个解剖特征的注释，适合于在手术规程期间引导眼科显微镜系统的用户。例如，数字增强可以用于突出显示和跟踪手术显示器中的解剖特征。

例如，可以通过在视觉引导覆盖层中包括一个或多个视觉指示器来执行注释。换言之，系统可以被配置为生成具有多个视觉指示器中的一个或多个视觉指示器的视觉引导覆盖层。一个或多个视觉指示器可以用于注释一个或多个解剖特征。因此，一个或多个视觉指示器可以覆盖在显示信号中的一个或多个解剖特征之上，例如，使得视觉引导覆盖层中的视觉指示器的位置与术中传感器数据的表示中所示的对应解剖特征的位置相匹配。这种方法适用于各种类型的视觉指示器。例如，多个视觉指示器可以包括以下各项中的一项或多项：用于突出显示一个或多个解剖特征的一个或多个表面的覆盖层、用于突出显示一个或多个解剖特征的一个或多个边缘的覆盖层、一个或多个方向指示器和与关于一个或多个解剖特征的一个或多个异常相关的一个或多个指示器。这些类型的视觉指示器可以被直接覆盖在术中传感器数据的视觉表示中示出的对应解剖特征之上。在一些示例中，多个视觉指示器可以包括一个或多个解剖特征的至少子集的文本注释。如图2a、图2b、图3a和图4a中所示，这样的文本注释可以被示为覆盖在术中传感器数据的视觉表示中所示的相应解剖特征附近，例如，通过视觉元素链接，或者可以被示为作为用户界面的一部分的一般信息，其为显示信号的一部分。

如上面所提到的，术中传感器数据可以在手术规程期间被不断更新。相应地，系统可以被配置为基于不断更新的术中传感器数据流来更新视觉引导覆盖层。例如，系统可以被配置为基于不断更新的术中传感器数据流周期性地重新生成视觉引导覆盖层。例如，不断更新的术中传感器数据流可以包括术中传感器数据的样本序列。该系统可以被配置为使用机器学习模型处理样本序列的至少样本子集(例如，每第n个样本，或根据预定义的频率)，并且基于机器学习模型的最新输出重新生成视觉引导显示。

下面，提供一些示例说明在手术规程期间使用视觉指示器来引导外科医生。

如已经关于机器学习模型所概述的，机器学习模型可以被训练为输出关于术中传感器数据内的一个或多个解剖特征的类别的信息。该类别可以用于填充视觉引导覆盖层，以提供相应解剖特征的文本或图形注释。换言之，系统可以被配置为生成具有与一个或多个解剖特征的类别相关的视觉指示器的视觉引导覆盖层。在图2a至图4b中给出了与类别相关的这种视觉指示器的示例。

图2a和图2b示出了覆盖在相机传感器数据的视觉表示之上的解剖特征的注释的示例的示意图。在图2a和图2b中，软件被用于识别、定位和定量后部和前部中的病理特征。根据来自手术相机、iOCT或其他形式的成像配件的术中视频，该软件可以实时推断当前观察的哪些特征。例如，在图2a中，示出了眼睛的相机图像中可见的解剖特征的注释。在图2a中，文本注释可以覆盖在相机图像之上，如以下标号所表示的。例如，图2a示出了收缩沟(traction furrow)201、瞳孔202、囊领(collarette)203、隐窝204、睫状区205、瞳孔区206和放射状沟207的注释。在图2b中，解剖特征，并且特别是与解剖特征相关的异常(诸如出血和动脉瘤)，被注释为文本注释。图2b示出了软渗出物211、出血212、微动脉瘤213、脉管系统结构214、硬渗出物215、视盘216、微出血217和黄斑218的注释。

来自相机、iOCT或其他成像配件的输入的组合可以被用于允许软件解释解剖细节，诸如结构的尺寸和深度。所提出的概念的应用的示例涉及白内障手术期间后囊膜的检测，以辅助引导外科医生的工作流程，以防止在执行水分离、超声乳化和晶状体放置时囊膜的意外撕裂和破裂。后囊膜的这种检测可以基于OCT传感器数据来执行，该检测可以用于区分眼睛的不同层。因而，系统可以被配置为生成具有突出显示或注释眼睛的一个或多个层的至少子集的视觉指示器的视觉引导覆盖层。实际上，由机器学习模型基于术中OCT传感器数据生成的关于眼睛的一个或多个层的信息可以被用于生成具有突出显示或注释眼睛的一个或多个层的至少子集的视觉指示器的视觉引导覆盖层。

图3a至图3c图示了在防止囊膜意外撕裂和破裂期间对后囊膜的检测。特别地，图3a示出了覆盖在术中OCT传感器数据的视觉表示之上的解剖特征的文本注释的示例的示意图。在图3a中，文本注释用于注释前囊膜301、IOL 302和后囊膜303。

在图3b中，选择了不同的方法。图3b示出了覆盖在OCT传感器数据的视觉表示之上的解剖特征的图形注释的示例的示意图。在图3b中，视觉引导覆盖层包括突出显示解剖特征的边缘的两个视觉指示器，即突出显示IOL的边缘的线311和突出显示后囊膜的边缘的线312。

在图3c中，给出了包括术中传感器数据的两个视觉表示321；323的显示信号的示例。图3c示出了并排示出的相机传感器数据的视觉表示和OCT传感器数据的视觉表示的示例的示意图。在左侧，示出了显微镜的成像传感器的术中成像传感器数据的视觉表示321(在下文中称为“相机视图”)，并且在右侧，示出了术中OCT传感器数据的视觉表示323(在下文中称为“OCT视图”)。在相机视图321之上，覆盖OCT的当前扫描线322。如本领域技术人员将认识到的，OCT是用于对目标进行三维扫描的扫描技术。但是，视觉表示323仅示出了三维扫描的横截面的二维视觉表示。OCT扫描线322指示在术中OCT传感器数据的视觉表示323中示出的横截面的位置。用户可以例如通过直接移动扫描线或者经由在术中OCT传感器数据的视觉表示323下方示出的滑块控件来移动扫描线。

可以在术中且实时地识别各种组织结构。为了防止信息过载，在一些示例中，用户可以附加地选择仅查看与其工作流程步骤相关的感兴趣的特定特征。换言之，系统可以被配置为基于对多个视觉指示器的子集的选择来生成视觉引导覆盖层。例如，一个或多个解剖特征的子集以及因此多个视觉指示器的子集可以被用户选择。附加地或可替代地，用户可以选择视觉指示器的类型或原因的子集以确定多个视觉指示器。因而，多个视觉指示器的子集的选择可以基于眼科显微镜系统的用户的输入。这可以经由交互式图形用户界面或者经由显微镜手柄和脚踏开关来完成。

然后可以通过勾勒边缘、提供解剖信息、突出显示结构、提供方向信息或其他形式的信息在手术显示器中数字增强所选择的组织特征以引导手术工作流程。

在图4a至图4b中，给出了关于用户如何选择仅查看与其工作流程步骤相关的感兴趣的特定特征的示例。图4a示出了眼睛的各个层的文本注释和图形注释的示例的示意图。图4a示出了各个层：内界膜(ILM)401、视网膜神经纤维层(RNFL)402、神经节细胞层(GCL)403、内丛状层(也称为内网层，IPL)404、内核层(INL)405、外丛状层(也称为外网层，OPL)406、外核层(ONL)407、外界膜(ELM)408、感光层(PR)409、视网膜色素上皮(RPE)410、布鲁赫膜(BM)411、脉络膜血管层(CC)412和脉络膜基质(CS)413。例如，各个层的首字母缩略词可以在突出显示的层的任一侧示出。例如，用户可以例如通过选择或取消选择类似于图4a中所示的图示中的层来选择感兴趣的层。

可替代地，可以基于手术规程的进展自动选择感兴趣的层或更一般地感兴趣的解剖特征。例如，系统可以被配置为基于在眼科显微镜系统的辅助下执行的眼科手术规程的进展来确定对多个视觉指示器的子集的选择。例如，系统可以被配置为例如基于术前计划来跟踪眼科手术规程的进展，并且为多个视觉指示器的子集选择视觉指示器的预定义集合。

用户或系统的选择的结果在图4b中示出。图4b示出了覆盖在OCT传感器数据的视觉表示之上的眼睛各个层的图形注释的示例的示意图。在图4a中，仅层的子集(感光层424、内界膜425、视网膜神经纤维426和外核层427)由迹线突出显示。图4b还示出了眼睛的相机视图421和OCT视图423，以及OCT扫描线422的位置。

此外，可以在屏幕上提供警告，以提示可能的并发症(例如，由于异常的组织结构或手术技术中的潜在错误)。因而，如上面所提到的，机器学习模型可以被训练为输出关于与眼睛的一个或多个解剖特征相关的一个或多个异常的信息。系统可以被配置为生成具有与一个或多个异常相关的视觉指示器的视觉引导覆盖层。换言之，视觉引导覆盖层可以包括警告或通知用户一个或多个异常的视觉指示器。例如，视觉指示器可以包括警告消息、警告象形图和/或描述异常位置的视觉指示器中的一项或多项。因而，系统可以被配置为包括关于显示信号内的一个或多个异常的警报。可替代地或附加地，系统可以被配置为经由眼科显微镜系统的输出设备(诸如警告灯或扬声器)输出警报。

如图5a和图5b中所示，可以在屏幕上提供警告，以对由于异常组织结构可能引起的并发症提供警报。此类警告的有用应用在于检测形状异常变形或检测后囊膜的微撕裂，示出在执行水分离、超声乳化和晶状体放置时后囊膜破裂的风险升高。图5a和图5b示出了突出显示后囊膜破裂的图形注释的示例的示意图。图5a示出了眼睛的两个视图，相机视图501和OCT视图505，其中OCT扫描线502覆盖在相机视图501之上。在相机视图中，示出了覆盖的两条线503；504，突出显示异常组织结构(在这种情况下是后囊膜的破裂)的第一和第二边缘。两个不同OCT扫描位置处的对应破裂在OCT视图505中由线506；507突出显示。此外，可以示出警告消息508“后囊膜破裂”，可选地连同一个或多个警告象形图509一起显示。

此外，如果特定规程已完成，那么系统可以提供手术确认和导航指南。例如，可以使用iOCT通过图像识别来检测视网膜中剩余的裂孔，并在手术显示器中突出显示以便于跟踪。另一个示例涉及角膜移植规程，其中所提出的系统可以检测移植物是否处于正确的朝向并在移植部位之上准确对准。图6a至图6c示出了对应的示例。

图6a图示了基于特定规程是否已完成的手术确认和导航指南的示例。在这个示例中，可以使用iOCT通过图像识别来检测视网膜中剩余的裂孔，并在手术显示器中突出显示以便于跟踪。图6a示出了突出显示视网膜中的裂孔的图形注释的示例的示意图，该图形注释覆盖在相机传感器数据的视觉表示和OCT传感器数据的视觉表示之上。类似于图4b至图5b，图6a示出了眼睛的两个视图，相机视图601和OCT视图607。OCT的扫描线602覆盖在相机视图601之上。在图6a中，视网膜中的第一裂孔和第二裂孔由圆圈603；606a突出显示。对应的圆圈606b突出显示OCT视图607b中的第二裂孔。此外，针对两个裂孔示出了方向标记604；605。例如，方向标记可以用于朝着裂孔的位置引导外科医生。

如图6a中可以看出的，在一些情况下，当从两个或更多个成像设备获得两组或更多组术中传感器数据时，可以在一组术中传感器数据中检测异常，并且可以将指示器覆盖在另一组术中传感器数据的视觉表示之上。例如，在图6a中，在术中OCT传感器数据中检测到异常并且将异常覆盖在术中OCT传感器数据和显微镜的成像传感器的术中成像传感器数据的视觉表示之上。换言之，术中传感器数据可以包括来自第一成像设备的第一术中传感器数据(例如，术中OCT传感器数据)和来自第二成像设备的第二术中传感器数据(例如，术中成像传感器数据)。系统可以被配置为生成具有第一术中传感器数据的第一视觉表示和具有第二术中传感器数据的第二视觉表示的显示信号。例如，图6a的相机视图601可以示出第二术中传感器数据的第二视觉表示，并且图6a的OCT视图607可以示出第一术中传感器数据的第一视觉表示。例如，除了覆盖在第一术中传感器数据的视觉表示607之上的异常的视觉指示器606b之外，该系统可以被配置为将由机器学习模型基于第一术中传感器数据检测到的异常的视觉指示器603；604；605；606a覆盖在显示信号内的第二术中传感器数据的第二视觉表示601的对应位置之上。图6b中示出了该概念的另一个示例。

图6b图示了基于特定手术是否已完成的手术确认和导航指南的另一个示例。在这个示例中，系统识别并提示角膜移植物是否未处于正确朝向或未准确对准。图6b示出了突出显示角膜移植物中的异常的图形注释的示例的示意图，该图形注释覆盖在相机传感器数据的视觉表示和OCT传感器数据的视觉表示之上。图6b示出了相机视图611以及第一和第二OCT视图616；617。由于使用了两个OCT设备，因此示出了第一OCT的第一扫描线612和第二OCT的第二扫描线614。在这个示例中，三角形613a；615a用于突出显示覆盖在相机视图之上的角膜移植物中的第一和第二异常，而三角形613b；615b在第一和第二OCT视图616；617中突出显示相同异常。例如，覆盖在术中传感器数据的不同视觉表示之上的对应视觉指示器(即，三角形)可以具有相同的形状、相同的颜色和/或相同的线条样式。

图6c图示了基于特定规程是否已完成的手术确认和导航指南的另一个示例。在这个示例中，系统识别并提示切口伤口是否裂开并需要进一步水化。图6c示出了突出显示裂开的切口伤口的图形注释的示例的示意图，该图形注释覆盖在相机传感器数据的视觉表示和OCT传感器数据的视觉表示之上。图6c示出了相机视图621、第一OCT视图625和第二OCT视图627。图6c还示出了对应的第一和第二OCT扫描线622；623。在图6c中，突出显示裂开的切口伤口的椭圆624a覆盖在相机视图上，并且突出显示裂开的切口伤口的对应椭圆624b覆盖在OCT视图上。此外，显示警告消息626“需要水化，伤口未闭合”。

在一些示例中，还可以结合器械检测，例如以跟踪器械尖端与组织结构之间的相对距离。例如，可以识别器械的形状轮廓以跟踪器械尖端与组织结构之间的相对距离。这可以允许外科医生执行精确的、视觉引导的操纵任务，同时跟踪其器械相对于感兴趣的组织特征的深度和距离。

因而，系统可以被配置为检测术中传感器数据中一个或多个手术器械的存在。例如，系统可以被配置为使用对象检测算法(诸如视觉对象匹配算法或被训练为检测术中传感器数据中的一个或多个器械的机器学习模型(例如，使用机器学习模型的基于监督式学习的训练))来检测一个或多个手术器械的存在。例如，用于处理术中传感器数据的机器学习模型可以被进一步训练为检测并定位术中传感器数据中的一个或多个器械。

系统还可以被配置为确定检测到的一个或多个手术器械与一个或多个解剖特征之间的距离。例如，用于检测一个或多个手术器械的术中传感器数据(例如，如图7中所示的术中传感器数据)可以具有相对于一个或多个手术器械的已知尺度，或者一个或多个手术器械的尺寸可以被用于确定术中传感器数据的尺度。系统可以被配置为基于术中传感器数据的尺度并且基于在术中传感器数据的视觉表示中的检测到的一个或多个手术器械与一个或多个解剖特征之间的距离(例如，以像素为单位)来确定检测到的一个或多个手术器械与一个或多个解剖特征之间的距离。可替代地，该距离可以与相应术中传感器数据的视觉表示中的检测到的一个或多个手术器械与一个或多个解剖特征之间的距离(例如，以像素为单位)对应。系统可以被配置为生成具有表示检测到的一个或多个手术器械与一个或多个解剖特征之间的距离的视觉指示器的视觉引导覆盖层。例如，表示检测到的一个或多个手术器械之间的距离的视觉指示器可以包括距离的数字表示，或者视觉指示器可以增加视觉表示的对比度和/或突出显示一个或多个手术器械的边缘和/或一个或多个解剖边缘，以提高检测到的一个或多个手术器械之间的距离的可视性，可以包括该距离的数字表示。在一些示例中，如果距离低于阈值，那么表示距离的视觉指示器可以包括接近警告。

图7示出了如何可以结合器械检测来跟踪器械尖端与组织结构之间的相对距离的示例。图7示出了突出显示器械尖端与解剖特征之间的相对距离的图形注释的示例的示意图。图7a示出了相机视图701和OCT视图704。在术中OCT传感器数据中检测器械尖端705并且在视觉传感器数据的视觉表示中突出显示器械尖端705。圆圈702-703用于突出显示相机视图和OCT视图中的器械尖端。例如，图7a示出了在相机视图中突出显示第一器械尖端的圆圈702a、在OCT视图中突出显示第一器械尖端的对应的圆圈702b、在相机视图中突出显示第二器械尖端的圆圈703a、以及在OCT视图中突出显示第二器械尖端的对应的圆圈703b。与图6a至图6c中所示的示例类似，描述同一器械尖端的对应视觉指示器(诸如圆圈)可以具有相同的颜色、相同的形状和/或相同的线条样式。

为眼科显微镜系统的显示设备生成显示信号。相应地，该系统可以被配置为向眼科显微镜系统的显示设备提供显示信号。例如，手术显示器可以是3D平视手术监视器、头戴式或显微镜安装式数字查看器或图像注入显微镜接目镜(eyepiece)的形式。因而，如图1c中所示，显示设备可以是平视显示器130a(即，外科医生在直视前方而不是向下看手术部位时查看的显示器)、头戴式显示器(未示出)(诸如虚拟现实护目镜或增强现实或混合现实眼镜)、安装到眼科显微镜系统的显微镜的显示器130c以及眼科显微镜系统的显微镜的目镜显示器130b中的一种。

一个或多个接口112可以与用于在模块内、在模块之间或在不同实体的模块之间接收和/或传输信息的一个或多个输入端和/或输出端对应，这些信息可以为根据指定代码的数字(位)值。例如，一个或多个接口112可以包括被配置为接收和/或传输信息的接口电路。在实施例中，一个或多个处理器114可以使用一个或多个处理单元、一个或多个处理设备、用于处理的任何部件来实现，诸如处理器、计算机或可与相应适配的软件一起操作的可编程硬件组件。换言之，所描述的一个或多个处理器114的功能也可以以软件实现，然后该软件在一个或多个可编程硬件组件上执行。此类硬件组件可以包括通用处理器、数字信号处理器(DSP)、微控制器等。在至少一些实施例中，一个或多个存储设备116可以包括计算机可读存储介质的组中的至少一个元件，诸如磁或光存储介质，例如硬盘驱动器、闪存、固态盘(SSD)、软盘、随机存取存储器(RAM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电子可擦除可编程只读存储器(EEPROM)或网络存储装置。

结合所提出的概念或上面或下面描述的一个或多个示例(例如，图8至图9)提到了该系统和眼科显微镜系统的更多细节和方面。该系统和眼科显微镜系统可以包括与所提出的概念的一个或多个方面或者上面或下面描述的一个或多个示例对应的一个或多个附加的可选特征。

图8示出了用于眼科显微镜系统(例如，用于结合图1a至图7介绍的眼科显微镜系统)的对应(计算机实现的)方法的示例的流程图。例如，该方法可以由结合图1a至图7介绍的系统110执行。该方法包括从眼科显微镜系统的至少一个成像设备获得810眼睛的术中传感器数据。该方法包括使用机器学习模型处理820术中传感器数据。机器学习模型被训练为基于术中传感器数据输出关于眼睛的一个或多个解剖特征的信息。该方法包括基于关于眼睛的一个或多个解剖特征的信息生成830显示信号。显示信号包括视觉引导覆盖层，用于针对眼睛的一个或多个解剖特征引导眼科显微镜系统的用户。

可选地，该方法可以包括一个或多个另外的特征，例如，结合图1a至图7介绍的系统或手术显微镜系统引入的一个或多个特征。

结合所提出的概念或上面或下面描述的一个或多个示例(例如，图1a至图7、图9)提到了该方法的更多细节和方面。该方法可以包括与所提出的概念的一个或多个方面或者上面或下面描述的一个或多个示例对应的一个或多个附加的可选特征。

一些实施例涉及包括结合图1至图8中的一个或多个所描述的系统的显微镜。可替代地，显微镜可以是结合图1至图8中的一个或多个所描述的系统的一部分或连接到该系统。图9示出了被配置为执行本文描述的方法的系统900的示意图。系统900包括显微镜910和计算机系统920。显微镜910被配置为拍摄图像并连接到计算机系统920。计算机系统920被配置为执行本文描述的方法的至少一部分。计算机系统920可以被配置为执行机器学习算法。计算机系统920和显微镜910可以是单独的实体，但也可以一起集成在一个公共壳体中。计算机系统920可以是显微镜910的中央处理系统的一部分和/或计算机系统920可以是显微镜910的子组件的一部分，诸如显微镜910的传感器、执行器、相机或照明单元等。

计算机系统920可以是具有一个或多个处理器和一个或多个存储设备的本地计算机设备(例如，个人计算机、膝上型计算机、平板计算机或移动电话)，或者可以是分布式计算机系统(例如，云计算系统，具有分布在不同位置处的一个或多个处理器和一个或多个存储设备，例如，在本地客户端和/或一个或多个远程服务器场和/或数据中心处)。计算机系统920可以包括任何电路或电路的组合。在一个实施例中，计算机系统920可以包括可以是任何类型的一个或多个处理器。如本文所使用的，处理器可以意指任何类型的计算电路，诸如但不限于微处理器、微控制器、复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、图形处理器、数字信号处理器(DSP)、多核处理器、现场可编程门阵列(FPGA)(例如，显微镜或显微镜组件(例如，相机)的)或任何其他类型处理器或处理电路。可以包括在计算机系统920中的其他类型的电路可以是定制电路、专用集成电路(ASIC)等，诸如例如用于如移动电话、平板计算机、膝上型计算机、双向无线电设备和类似电子系统的无线设备中的一个或多个电路(诸如通信电路)。计算机系统920可以包括一个或多个存储设备，其可以包括一个或多个适用于特定应用的存储器元件，诸如随机存取存储器(RAM)形式的主存储器、一个或多个硬盘驱动器、和/或处置可移动介质(诸如压缩盘(CD)、闪存卡、数字视频盘(DVD)等)的一个或多个驱动器。计算机系统920还可以包括显示设备、一个或多个扬声器和键盘和/或控制器，控制器可以包括鼠标、轨迹球、触摸屏、语音识别设备或允许系统用户向计算机系统920输入信息和从计算机系统920接收信息的任何其他设备。

方法步骤中的一些或全部可以通过(或使用)硬件装置(如例如，处理器、微处理器、可编程计算机或电子电路)来执行。在一些实施例中，这种装置可以执行最重要的方法步骤中的某个或某些。

取决于某些实施要求，本发明的实施例可以以硬件或软件来实施。可以使用具有存储在其上的电子可读控制信号的非暂态存储介质(诸如数字存储介质，例如软盘、硬盘驱动器(HDD)、固态盘(SSD)、DVD、蓝光光盘、CD、ROM、PROM和EPROM、EEPROM或闪存)执行该实施方式，该电子可读控制信号与可编程计算机系统协作(或能够与其协作)，使得执行相应的方法。因此，数字存储介质可以是计算机可读的。

根据本发明的一些实施例包括具有电子可读控制信号的数据载体，该电子可读控制信号能够与可编程计算机系统协作，使得执行本文描述的方法之一。

一般而言，本发明的实施例可以被实现为具有程序代码的计算机程序产品，用于当计算机程序产品在计算机上运行时，该程序代码可操作用于执行所述方法之一。程序代码可以例如被存储在机器可读载体上。

其他实施例包括存储在机器可读载体上的用于执行本文描述的方法之一的计算机程序。

换言之，因此，本发明的实施例是一种具有程序代码的计算机程序，当计算机程序在计算机上运行时，该程序代码用于执行本文描述的方法之一。

因此，本发明的另一个实施例是一种存储介质(或数据载体，或计算机可读介质)，其包括存储在其上的计算机程序，该计算机程序在由处理器执行时用于执行本文所述的方法之一。数据载体、数字存储介质或记录介质通常是有形的和/或非暂时性的。本发明的另一个实施例是如本文所述的装置，其包括处理器和存储介质。

因此，本发明的另一个实施例是表示用于执行本文描述的方法之一的计算机程序的数据流或信号序列。数据流或信号序列可以例如被配置为经由数据通信连接(例如，经由互联网)来传送。

另一个实施例包括处理部件，例如计算机或可编程逻辑设备，其被配置为或适于执行本文描述的方法之一。

另一个实施例包括一种计算机，该计算机上安装了用于执行本文描述的方法之一的计算机程序。

根据本发明的另一个实施例包括一种装置或系统，该装置或系统被配置为将用于执行本文描述的方法之一的计算机程序(例如，电子地或光学地)传送到接收器。接收器可以是例如计算机、移动设备、存储器设备等。该装置或系统可以例如包括用于将计算机程序传送到接收器的文件服务器。

在一些实施例中，可编程逻辑设备(例如，现场可编程门阵列)可以被用于执行本文描述的方法的一些或全部功能。在一些实施例中，现场可编程门阵列可以与微处理器协作以便执行本文描述的方法之一。一般而言，该方法优选地由任何硬件装置执行。

实施例可以基于使用机器学习模型或机器学习算法。已经关于图1a至图7讨论了两种学习方法，即，监督式学习和半监督式学习。

除了监督式或半监督式学习之外，无监督学习也可以被用于训练机器学习模型。在无监督学习中，(仅)输入数据可能会被供应，并且无监督学习算法可以被用于查找输入数据中的结构(例如，通过对输入数据进行分组或聚类，发现数据中的共性)。聚类是将包括多个输入值的输入数据指派到子集(集群)中，以便同一集群内的输入值根据一个或多个(预定义的)相似性准则是相似的，同时与包括在其他集群中的输入值不同。

强化学习是第三组机器学习算法。换言之，强化学习可以被用于训练机器学习模型。在强化学习中，一个或多个软件执行器(software actor，称为“软件代理”)被训练以在环境中采取动作。基于采取的动作，计算奖励。强化学习基于训练一个或多个软件代理来选择这样的动作，使得累积奖励增加，从而导致软件代理在给定的任务中变得更好(通过增加奖励来证明)。

此外，一些技术可以应用于机器学习算法中的一些。例如，可以使用特征学习。换言之，机器学习模型可以至少部分地使用特征学习来训练，和/或机器学习算法可以包括特征学习组件。可称为表示学习算法的特征学习算法可以保留其输入中的信息，但也可以以使其有用的方式对其进行变换，常常作为执行分类或预测之前的预处理步骤。例如，特征学习可以基于主成分分析或聚类分析。

在一些示例中，可以使用异常检测(即，离群值检测)，其目的是提供输入值的识别，这些输入值通过与大多数输入或训练数据显著不同而引起怀疑。换言之，机器学习模型可以至少部分地使用异常检测来训练，和/或机器学习算法可以包括异常检测组件。

在一些示例中，机器学习算法可以使用决策树作为预测模型。换言之，机器学习模型可以基于决策树。在决策树中，关于项(例如，输入值的集合)的观察可以由决策树的分支表示，并且与该项对应的输出值可以由决策树的叶子表示。决策树可以同时支持离散值和连续值作为输出值。如果使用离散值，那么决策树可以被表示为分类树，如果使用连续值，那么决策树可以被表示为回归树。

关联规则是可以被用在机器学习算法中的另一种技术。换言之，机器学习模型可以基于一个或多个关联规则。关联规则是通过识别大量数据中变量之间的关系来创建的。机器学习算法可以识别和/或利用一个或多个表示从数据中导出的知识的关系规则。例如，规则可以被用于存储、操纵或应用知识。

机器学习算法通常基于机器学习模型。换言之，术语“机器学习算法”可以表示可以被用于创建、训练或使用机器学习模型的指令集。术语“机器学习模型”可以表示数据结构和/或规则集，该数据结构和/或规则集表示所学习的知识(例如，基于通过机器学习算法执行的训练)。在实施例中，机器学习算法的使用可以暗示底层机器学习模型(或多个底层机器学习模型)的使用。机器学习模型的使用可以暗示机器学习模型和/或作为机器学习模型的数据结构/规则集是由机器学习算法训练的。

例如，机器学习模型可以是人工神经网络(ANN)。ANN是受生物神经网络启发的系统，生物神经网络诸如为可以在视网膜或大脑中找到的生物神经网络。ANN包括多个互连的节点和节点之间的多个连接，即，所谓的边。通常有三种类型的节点，接收输入值的输入节点，(仅)连接到其他节点的隐藏节点，以及提供输出值的输出节点。每个节点可以表示人工神经元。每条边可以将信息从一个节点传输到另一个节点。节点的输出可以被定义为其输入的(非线性)函数(例如，其输入之和)。节点的输入可以用在基于提供输入的边或节点的“权重”的函数中。可以在学习过程中调整节点和/或边的权重。换言之，人工神经网络的训练可以包括调整人工神经网络的节点和/或边的权重，即，以实现用于给定输入的期望输出。

可替代地，机器学习模型可以是支持向量机、随机森林模型或梯度提升模型。支持向量机(即，支持向量网络)是具有相关联学习算法的监督式学习模型，其可以被用于分析数据(例如，在分类或回归分析中)。可以通过提供具有属于两个类别之一的多个训练输入值的输入来训练支持向量机。可以训练支持向量机以将新的输入值指派给两个类别之一。可替代地，机器学习模型可以是贝叶斯网络，其是概率有向无环图模型。贝叶斯网络可以使用有向无环图表示随机变量的集合及其条件依赖性。可替代地，机器学习模型可以基于遗传算法，遗传算法是模仿自然选择过程的搜索算法和启发式技术。

如本文所使用的，术语“和/或”包括一个或多个相关联列出的项目的任何和所有组合，并且可以缩写为“/”。

虽然已经在装置的上下文中描述了一些方面，但是很明显，这些方面也表示对应方法的描述，其中框或设备与方法步骤或方法步骤的特征对应。类似地，在方法步骤的上下文中描述的方面也表示对应装置的对应框或项目或特征的描述。

附图标记列表

100 眼科显微镜系统

105 基座单元

110 系统

112 接口

114 处理器

116 存储设备

120 OCT设备

130 显示设备

130a 平视显示器

130b 目镜显示器

130c布置在显微镜上的显示器

140 显微镜

142 光学成像传感器

150 内窥镜

160 眼睛

170 臂

201-218 解剖特征的文字注释

301 前囊膜

302IOL

303后囊膜

311突出显示IOL的边缘的线

312 突出显示后囊膜的线

321 相机视图

322 OCT的扫描线

323 OCT视图

401-413 眼睛的层

421 相机视图

422 OCT的扫描线

423 OCT视图

424-427 突出显示眼睛的层的线

501 相机视图

502 OCT的扫描线

503、504突出显示异常组织结构的边缘的线

505OCT视图

506、507突出显示OCT中的异常组织结构的线508警告消息“后囊膜破裂”

509 警告象形图

601 相机视图

602 OCT的扫描线

603、606a突出显示相机视图中的视网膜的裂孔的圆圈604、605方向标记

606b突出显示OCT视图中的视网膜中的裂孔的圆圈

607 OCT视图

611 相机视图

612、614OCT的扫描线

613a；615a突出显示相机视图中的角膜移植物中的异常的三角形613b；615b突出显示OCT视图中的角膜移植物中的异常的三角形616、617OCT视图

621相机视图

622、623OCT扫描线

624a突出显示相机视图中的裂开的切口伤口的椭圆

624b突出显示OCT视图中的裂开的切口伤口的椭圆

625、627OCT视图

626警告消息“需要水化，伤口未闭合”

701相机视图

702a、703a突出显示相机视图中的器械尖端的圆圈

702b、703b突出显示OCT视图中的器械尖端的圆圈

704 OCT视图

705 器械尖端

810 获得术中传感器数据

820使用机器学习模型处理术中传感器数据

830生成具有视觉引导覆盖层的显示信号

900 系统

910 显微镜

920 计算机系统