器械深度预测的方法、设备及存储介质

技术领域

本申请实施例涉及但不限于医疗技术领域，尤其涉及一种器械深度预测的方法、设备及存储介质。

背景技术

基于显微镜的眼科手术是治疗眼底视网膜疾病常用手段，如黄斑病变、黄斑前膜、黄斑裂孔等。以黄斑裂孔为例，其常常由外伤、高度近视、囊性黄斑水肿导致，需要及时进行手术治疗，否则会导致失明。黄斑裂孔的手术治疗方法包括采用手工剥除法，以剥除黄斑裂孔周围的视网膜内界膜。但是在进行剥离手术时，如果医生对手术刀深度的判断不准确，产生了范围过大的抖动，手术刀就容易误触黄斑裂孔周围视网膜的结构，造成视网膜的损伤。因此，通过预测较为准确的器械的深度信息，能够更好辅助眼科手术的进行。

发明内容

以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

本申请实施例提供了一种器械深度预测的方法、设备及存储介质，能够提供较为准确的器械深度信息。

第一方面，本申请实施例提供了一种器械深度预测的方法，所述方法包括：

获取当前时刻待预测器械的显微镜图像以及光学相干断层扫描图像；

分别对所述显微镜图像、所述光学相干断层扫描图像进行图像分割，得到待预测器械在所述显微镜图像上的第一面积、所述光学相干断层扫描图像上的第二面积；

根据所述第一面积、所述第二面积，预测得到当前时刻的所述待预测器械的第一深度。

第二方面，本申请实施例还提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任意一项所述的器械深度预测的方法。

第三方面，本申请实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如第一方面任意一项所述的器械深度预测的方法。

根据本申请的上述实施例，至少具有如下有益效果：通过对显微镜图像、光学相干断层扫描进行图像分割，得到第一面积和第二面积，从而根据第一面积、第二面积得到待测器械的第一深度。此时，第一深度为采用两种采集设备(即显微镜、光学相干断层扫描设备)的图像进行处理并结合图像分割得到的，其相对于传统方法(如三维建模)计算器械深度的方式，本申请的处理更为简单且准确度高。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本申请技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。

图1是本申请实施例的器械深度预测的方法的流程示意图；

图2是本申请实施例的器械深度预测的方法中第一深度计算的流程示意图；

图3是本申请实施例的器械深度预测的方法对应的电子设备的连接示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

基于显微镜的眼科手术是治疗眼底视网膜疾病常用手段，如黄斑病变、黄斑前膜、黄斑裂孔等。以黄斑裂孔为例，其常常由外伤、高度近视、囊性黄斑水肿导致，需要及时进行手术治疗，否则会导致失明。黄斑裂孔的手术治疗方法包括采用手工剥除法，以剥除黄斑裂孔周围的视网膜内界膜。但是在进行剥离手术时，如果医生对手术刀深度的判断不准确，产生了范围过大的抖动，手术刀就容易误触黄斑裂孔周围视网膜的结构，造成视网膜的损伤。因此，通过获得较为准确的器械的深度信息，能够更好辅助眼科手术的进行。现有技术中，通常采用三维建模的方式模拟手术过程，从而获得器械的深度信息。但是眼科手术中器械的移动距离较小，因此需要采集的图像的精度足够高且同时具有深度信息；才能建立三维模型进行深度预测，否则深度预测不够准确。为此，本申请提供一种器械深度预测的方法、设备及存储介质，更为简单的预测得到较为准确的器械深度信息。

如图1所示，本申请提供一种器械深度预测的方法，方法包括：

步骤S100、获取当前时刻待预测器械的显微镜图像以及光学相干断层扫描图像。

需说明的是，显微镜图像为显微镜实时采集得到的图像进行预处理得到的。光学相干断层扫描图像为光学相干断层扫描仪(OCT)实时采集到的图像进行预处理得到。预处理包括图像清晰度处理或者边缘模糊处理等操作。

步骤S200、分别对显微镜图像、光学相干断层扫描图像进行图像分割，得到待预测器械在显微镜图像上的第一面积、光学相干断层扫描图像上的第二面积。

需说明的是，可以通过神经网络对显微镜图像、光学相干断层扫描图像进行图像分割，得到待预测器械的形状，从而得到在对应图像下的面积信息。

步骤S300、根据第一面积、第二面积，预测得到当前时刻的待预测器械的第一深度。

需说明的是，在神经网络中，可以通过多个样本数据训练得到面积与深度的关系，因此当采用神经网络对显微镜图像、光学相干断层扫描进行图像分割得到待测器械的第一面积、第二面积后，同时可以得到第一面积、第二面积对应的深度信息。在另一些实施例中，由于同一器械的深度以及面积是呈规律性变化，可以通过拟合方式得到深度与面积的关系，从而可以根据第一面积和第二面积得到第一深度。

需说明的是，由于是根据面积与深度关系获取的第一深度，因此无需建模，操作更为简单，而OCT图像和显微镜图像分别来自于两个不同采集设备，其得到的第一深度准确度更高。

因此，通过对显微镜图像、光学相干断层扫描进行图像分割，得到第一面积和第二面积，从而根据第一面积、第二面积得到待测器械的第一深度。此时，第一深度为采用两种采集设备(即显微镜、光学相干断层扫描设备)的图像进行处理结合图像分割得到的面积计算得到，其相对于传统方法(如三维建模)计算器械深度的方式，本申请的处理更为简单且准确度高。

可理解为，步骤S100、获取当前时刻待预测器械的显微镜图像以及光学相干断层扫描图像，包括获取当前时刻来自于显微镜的第一初始图像；将第一初始图像进行全聚焦处理，得到显微镜图像；

可理解为，步骤S100、获取当前时刻待预测器械的显微镜图像以及光学相干断层扫描图像，还包括获取当前时刻来自于光学相干断层扫描设备的第二初始图像；将第二初始图像进行全聚焦处理，得到光学相干断层扫描图像。

需说明的是，以手术器械为例，在实际手术操作过程中，会存在由于操作医生的手抖动，此时获取到的图像中的手术器械会出现边缘模糊等问题。因此，采用显微镜、OCT实时跟踪待测器械时，存在初始的图像清晰度不够的问题，导致分割得到的第一面积、第二面积误差较大。而全聚焦处理后的图像更为清晰，因此可以提升获取深度信息的准确性。

可理解为，将第一初始图像进行全聚焦处理，得到显微镜图像，包括：获取第一初始图像的梯度信息；将梯度信息、第一初始图像输入预设的第一编码解码模型中，得到显微镜图像。

需说明的是，第一编码解码模型可以采用Unet模型。在一些实施例中，第二初始图像也可以采用第一编码解码模型进行全聚焦处理。

可理解为，将第二初始图像进行全聚焦处理，得到光学相干断层扫描图像，包括：将第二初始图像输入预设的全聚焦学习模型中，得到光学相干断层扫描图像；其中，全聚焦学习模型为采用自然场景图像训练得到的深度学习模型结合迁移学习得到。

需说明的是，在一些实施例中，第一初始图像也可以采用全聚焦学习模型进行全聚焦处理。

可理解为，步骤S200、分别对显微镜图像、光学相干断层扫描图像进行图像分割，得到待预测器械在显微镜图像上的第一面积、光学相干断层扫描图像上的第二面积，包括：将显微镜图像输入预设的第二编码解码模型中，得到第一面积；将光学相干断层扫描图像输入第二编码解码模型中，得到第二面积。

可理解为，第二编码解码模型为Unet模型、Transformer模型之一。

需说明的是，Unet模型、Transformer模型为神经网络的一种，其中Unet模型采用U型网络结构。Unet模型、Transformer模型的组成均包括若干编码层以及若干解码层。

可理解为，如图2所示，步骤S300、根据第一面积、第二面积，预测得到当前时刻的待预测器械的第一深度，包括：

步骤S310、根据第一面积、第二面积，得到器械尺寸比例。

示例性的，假设第一面积为A1，第二面积为A2，则器械尺寸比例a＝A1/A2。

步骤S320、获取显微镜图像中第一面积对应的待预测器械的深度面积比。

示例性的，深度面积比通过第二编码解码模型得到。

步骤S330、根据深度面积比、第一面积，得到第二深度。

步骤S340、根据器械尺寸比例、深度面积比、第二深度，得到第一深度。

可理解为，步骤S340、根据器械尺寸比例、深度面积比、第二深度，得到第一深度，包括：计算器械尺寸比例与深度面积比的平方的乘积，得到第一数值；计算第二深度与第一数值的乘积，得到第一深度。

示例性的，假设深度面积比为b1，第二深度为d2，则第一深度d1＝d2×b1×a

可理解为，本申请还提供一种电子设备，包括：存储器100、处理器200及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上所述的器械深度预测的方法。

如图3所示，电子设备还包括显示模块300；处理器200与显微镜、OCT电连接，显示模块300显示处理器200执行器械深度预测的方法得到的深度信息。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

实现上述实施例的信息处理方法所需的非暂态软件程序以及指令存储在存储器中，当被处理器执行时，执行上述实施例中的信息处理方法，例如，执行以上描述的图1中的方法步骤S100～步骤S300、图2的步骤S310～步骤S340对应的方法步骤。

可理解为，本申请还提供一种计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令用于执行如上所述的器械深度预测的方法。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

以上是对本申请的较佳实施进行了具体说明，但本申请并不局限于上述实施方式，熟悉本领域的技术人员在不违背本申请精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。