管状结构分割的设备和方法

技术领域

本申请涉及医学图像领域，具体涉及医学图像的处理，涉及管状结构分割的设备和方法。

背景技术

分割医学扫描图像(例如，X射线荧光透视图像)中的管状结构(诸如动脉、静脉、导管、导丝等)对于包括例如可见性增强、多模态图像配准、路径映射等的许多下游图像处理任务可能是必要的。近年来，基于深度学习的分割技术已经越来越多地被采用在医学成像领域中，并且已经显示出比常规图像分割技术更优越的性能。然而，由于用于管状结构的已标记训练数据的稀缺性，这些基于深度学习的技术尚未应用于涉及常见管状结构(诸如上述管状结构)的分割任务中。因此，非常期望基于当前可用的可能限于特定类型的管状结构的管状训练数据来开发基于深度学习的系统和装置，并且将从这些训练数据学习的知识转移或适配到其他类型的管状结构。

发明内容

本文描述了与管状结构的分割相关联的系统、方法和装置。一种被配置为执行分割任务的设备可以包括一个或多个处理器，其可以被配置为：接收描绘第一类型的管状结构(例如，导管、导丝等)的医学图像(例如，X射线荧光透视图像)，并且使用人工神经网络(ANN)从医学图像分割第一类型的管状结构。ANN可以通过一个过程来训练以分割第一类型的管状结构，该过程可以包括：在过程的第一阶段期间训练ANN以基于第二类型管状结构的带标注医学图像来分割第二类型的管状结构(例如，视网膜血管)，以及在过程的第二阶段期间进一步训练ANN以基于从训练过程的第一阶段学习的分割模型来分割第一类型的管状结构。训练过程的第二阶段可以包括：向ANN提供包括第一类型管状结构的第一训练图像，使ANN基于从训练过程的第一阶段学习的分割模型生成第一类型管状结构的第一分割，基于第一类型管状结构的一个或多个特征校正由ANN生成的第一分割以导出校正的分割，以及使ANN基于由ANN生成的第一分割与校正的分割之间的差异调节分割模型。

在示例中，基于第一类型管状结构的一个或多个特征校正第一分割可以包括：识别第一分割中与第一类型管状结构相对应的一个或多个连接区域，确定一个或多个连接区域中的每一个的相应尺寸，以及在校正的分割中基于连接区域的尺寸指示一个或多个连接区域中的每一个是否包括第一类型的管状结构。例如，如果连接区域的尺寸高于阈值，则连接区域可以被指示为包括第一类型的管状结构，并且如果连接区域的尺寸低于阈值，则连接区域可以被指示为不包括第一类型的管状结构。在示例中，连接区域的尺寸可以基于包括在连接区域中的像素数量来确定，并且识别第一分割中可以与第一类型的管状结构相对应的连接区域可以包括：识别第一分割中被指示为属于第一类型管状结构的连续数量的像素，以及将由连续数量的像素占据的区域视为连接区域。

在示例中，基于第一类型管状结构的一个或多个特征校正第一分割可以包括：确定第一分割的可以被指示为包括第一类型管状结构的区域的运动，以及在校正的分割中基于区域的运动指示该区域是否包括第一类型的管状结构。在示例中，区域的运动可以通过计算包括第一类型管状结构的第一训练图像与包括第一类型管状结构的第二训练图像之间的变化(例如，信号变化、像素级位移等)来确定。区域的运动可以通过首先将第一训练图像与第二训练图像配准来确定。使用这些技术，如果区域具有比第一分割的背景区域更大的运动，则该区域可以继续被标记为包括第一类型的管状结构。相反，如果该区域具有与第一分割的背景区域大致类似的运动，则该区域可以被重新标记为不包括第一类型的管状结构。

附图说明

从以下结合附图以示例方式给出的描述中，可以更详细地理解本文公开的示例。

图1是例示了根据本文所述的一个或多个实施例的管状结构分割(TSS)系统或设备的示例的图。

图2A是例示了使用特定类型管状结构的带标注医学图像训练人工神经网络的图，并且图2B是例示了在没有不同类型管状结构的带标注医学图像的情况下进一步训练人工神经网络以处理不同类型的管状结构的简化图。

图3A是例示了用于基于由人工神经网络生成的分割的一个或多个连接区域的相应尺寸来校正该分割的示例技术的图。

图3B是例示了用于基于由人工神经网络生成的分割中与所识别管状结构相关联的运动信息来校正该分割的示例技术的图。

图4是例示了根据本文所述的一个或多个实施例的可以被执行用于训练神经网络的示例操作的流程图。

图5是例示了可以被配置为执行本文所述的管状结构分割任务的设备的示例部件的框图。

具体实施方式

在附图的各图中，通过示例而非限制性的方式例示了本公开。

图1例示了管状结构分割(TSS)系统或设备(例如TSS 102)的示例，其可以被配置为接收包括多个管状结构的医学图像104，并使用基于深度学习的技术获得管状结构的分割106。医学图像104可以包括医学扫描图像(诸如人体的X射线荧光透视图像)，并且图像104中描绘的管状结构可以包括人体的解剖学管状结构(例如，血管)和/或置于人体中的人工管状结构(例如，导管、导丝等)。TSS 102可以包括人工神经网络(ANN)，其被预先训练以从医学图像104分割管状结构。在示例中，ANN可以包括卷积神经网络(CNN)(例如，具有U-Net结构)，其具有多个卷积层、一个或多个池化层和/或一个或多个全连接层。卷积层之后可以是批归一化层和/或线性或非线性激活函数(例如，修正线性单元或ReLU激活函数)。各个卷积层可以包括具有相应权重的多个卷积核或过滤器，权重的值可以通过训练过程来学习，以便从医学图像104提取特征。由卷积层提取的特征可以通过一个或多个池化层下采样，以获得特征的表示，例如，以特征图或特征向量的形式。CNN还可以包括一个或多个上池化层和一个或多个转置卷积层。通过上池化层，CNN可以对从医学图像104提取的特征进行上采样，并且通过一个或多个转置卷积层(例如，经由多个反卷积运算)处理上采样的特征，以导出放大的或密集的特征图或特征向量。然后，密集特征图或向量可以用于预测医学图像104的属于管状结构的区域(例如，像素)。

如下面将更详细描述的，与从医学图像104分割管状结构相关联的ANN的执行参数(例如，ANN的各种过滤器或核的权重)可以通过训练过程(例如，离线训练过程)来学习，该训练过程可以使用不同类型管状结构的已标记训练图像来进行。进一步地，即使在图1中仅示出了一个输入医学图像，本领域技术人员也将理解，TSS可以被配置为例如顺序地或并行地处理多个医学图像。

分割106可以以不同的格式获得(例如，生成)，包括例如一个或多个分割掩模或一个或多个二进制图像的形式。例如，由TSS 102生成的二进制图像可包括对应于医学图像104的像素，并且二进制图像中属于所识别的管状结构的像素可被赋予第一值(例如，1)，而属于非管状区域的像素(例如，背景像素)可被赋予第二值(例如，0)。

图2A和图2B例示了可用于训练人工神经网络(例如，关于图1的TSS102描述的ANN)以从医学图像分割管状结构的示例技术。图2A例示了可以首先使用包括特定类型(例如，第二类型)管状结构的已标记医学图像的第一训练数据集来训练人工神经网络，并且图2B例示了可以在没有其它类型(例如，第一类型)管状结构的已标记训练图像的情况下进一步训练使用第一训练数据集训练的人工神经网络以处理(例如，分割)其它类型的管状结构。如下面将更详细描述的，这些示例训练技术可以允许人工神经网络采集(例如，学习)分割多种类型的管状结构的能力，尽管仅具有用于特定类型管状结构的已标记训练数据。

参考图2A，可以使用特定类型(例如，第二类型)管状结构的医学图像204来初始地(例如，在训练过程的第一阶段期间)训练ANN 202。医学图像204可以包括例如视网膜的光学图像，并且医学图像中包括的类型的管状结构可以包括光学图像中描绘的视网膜血管。医学图像204可以从公共数据库获得，并且可以包括可以用作用于训练的金标准的对应带标注(例如，已标记)分割206。当在本文中引用时，带标注医学图像可以指医学图像204和与医学图像相关联的管状结构的带标注分割(例如，分割206)。在示例中，ANN 202可以在训练的迭代期间接收(例如，被提供)医学图像204，并且基于所接收的图像和网络的当前执行参数(例如，权重)来预测分割208。一旦被预测，就可以将分割208与分割206(例如，金标准)进行比较，并且可以基于该比较来确定与预测相关联的损失。损失例如可以使用适当的损失函数来计算，该损失函数诸如基于交叉熵损失、均方误差、L1范数、L2范数等的损失函数。然后，可以使用所计算的损失来调节ANN 202的参数，例如通过将损失反向传播通过ANN 202(例如，基于损失的梯度下降)。

上述操作可以重复多次迭代，直到满足用于终止训练的特定准则为止。例如，如果上述损失降至预定阈值以下，如果两个训练迭代之间(例如，连续训练迭代之间)的损失值的变化降至预定阈值以下等，则可以满足用于终止训练的准则。在完成训练时，可以认为ANN 202的执行参数(例如构成分割模型)适于分割包括在医学图像204中的类型的管状结构(例如视网膜血管)。随后，可以进一步扩展ANN 202的分割能力(例如在训练的第一阶段期间学习的分割模型)以覆盖其他类型的管状结构，诸如来自人体其他区域的血管、人工放置的导管和/或导丝等。

图2B例示了使用其它类型管状结构的未标记(例如，没有标注)的训练图像来训练ANN 202以处理(例如，分割)其它类型的管状结构的示例。在训练(例如，可以在图2A例示的第一阶段之后的训练过程的第二阶段)期间，ANN 202可以接收(例如，被提供)包括一种类型(例如，第一类型)管状结构(例如，冠状动脉)的医学图像224，并且可以基于所接收的图像和从第一阶段学习的分割模型(例如，网络的执行参数或权重)来预测分割226。然后，可以由分割校正模块228(例如，伪标签生成器)基于第一类型管状结构的一个或多个特征(例如，预定约束)来校正分割226，以导出分割230，其可以用作应当如何为第一类型管状结构生成分割226的金标准。例如，可以将分割230与分割226进行比较，以确定两个分割之间的差异(例如，损失)，并且可以使用该差异来指导ANN的执行参数(例如，分割模型)的调节，使得可以进一步优化这些参数(例如，根据使用图2A的医学图像202学习的参数)，以使由ANN202生成的分割与校正的分割230相适应。如本文所述，分割226与分割230之间的差异或损失可以使用基于MSE、L1范数、L2范数等的损失函数来确定。并且一旦确定，就可以将损失反向传播通过ANN 202(例如，基于与损失相关联的梯度下降)，以调节神经网络的参数。

分割校正模块228(例如，伪标签生成器)可以使用软件和/或硬件部件来实施以实现上述功能，并且分割226的校正可以基于第一类型管状结构的特征(例如，约束)来执行，这些特征可以用于区分包括第一类型管状结构的区域与不包括第一类型管状结构的区域。图3A和图3B例示了用于基于第一类型管状结构的特征校正由ANN 202预测的分割的示例技术。

图3A例示了基于与分割中识别的管状结构对应的一个或多个连接区域的相应尺寸校正分割(例如，图2B所示的分割226)的示例。这些尺寸可以用于区分管状结构，因为真实的管状结构(例如，血管、导丝等)可能比错误识别的管状结构(例如，类似目标管状结构的伪影)占据更大的区域(例如，更大的长度)。如图3A所示，分割校正模块(例如，分割校正模块228)可以被配置为通过识别各个区域中的相应数量的连接像素(例如，连接像素)来检测分割302中的与所识别的管状结构相对应的多个连接区域(例如，302a、302b、302c等)。例如，分割校正模块可以通过以下方式来识别连接区域302a：识别区域中被指示为属于管状结构的第一像素，并且进一步识别连接到第一像素的也被指示为属于管状结构的连续像素的链，直到链断开(例如，通过被指示为不属于管状结构的像素)。然后，分割校正模块可以将由像素链(包括第一像素)占据的区域作为连接区域302a。

使用类似的技术，分割校正模块可以识别其他连接区域(例如，302b和302c)，并且可以进一步确定各个连接区域(例如，连接区域302a、302b、302c等)的尺寸，例如，通过对各个区域中包括的像素的数量进行计数。分割校正模块然后可以基于连接区域的尺寸确定各个连接区域是否应当真实地被标记为管状结构区域(例如，包括目标管状结构)。例如，如果连接区域302a的尺寸在阈值(例如，预设阈值)以上，则分割校正模块可以确定连接区域302a是管状结构区域。如果连接区域302b和302c的相应尺寸低于阈值，则分割校正模块可以进一步确定连接区域302b和302c被错误地识别为管状结构区域。响应于做出这样的确定，分割校正模块可以在校正分割304中维持将区域302a标记为管状结构区域并且改变将区域302b和302c标记为非管状结构区域。

图3B例示了基于分割中与所识别的管状结构相关联的运动信息(例如，帧间信号差)校正分割(例如，图2B所示的分割226)的示例。运动信息可以用于区分管状结构，因为与图像帧的其他部分相比，感兴趣的管状结构(例如，血管、导丝等)可以从一个图像帧到下一个图像帧呈现更大的运动。如图3B所示，一个或多个目标管状结构的运动可以基于包括管状结构的多个医学图像322a和322b来确定。医学图像322a和322b可以是相邻的图像帧，或者可以由一个或多个其他图像帧分离，并且如本文所述，医学图像332a可以通过ANN 324(例如，图2B的ANN 202)处理以获得管状结构的分割325(例如，二值图)。基于所获得的分割325和/或输入医学图像(例如，322a和322b)，分割校正模块326(例如，图2B的分割校正模块228)可以确定可能已经在分割325的一个或多个区域(例如，管状和/或非管状区域)中发生的变化(例如，可以指示信号变化的特征的差异或位移、像素级位移等)，并且分割校正模块326还可以基于变化来确定与一个或多个区域相关联的运动。分割校正模块326可以例如通过包括运动计算模块326a来评估变化，该运动计算模块被配置为基于医学图像322a和322b的一个或多个特征(例如，图像梯度和/或帧间像素强度差)来计算运动场或流场326b的幅度。在示例中，这种运动场或流场可以包括可以指示针对医学图像中描绘的管状和非管状对象的特征从医学图像322a到医学图像322b的差异或位移的向量、向量网格、向量值函数等。

由于特征的差异或位移(例如，或其缺乏)可以指示医学图像322a和322b中描绘的对象的相应运动(或运动的缺乏)，并且图像中的感兴趣管状结构可以(例如，固有地)具有比图像中的非管状结构更大的运动，因此分割校正模块328可以能够基于运动场或流场326b将分割325中的真实管状结构与错误识别的管状结构区分开。例如，分割校正模块326可以包括运动平均模块326c，其被配置为生成运动图326d，在该运动图中，各个像素可以包含描绘像素可以属于的分割325中的连接区域的运动(例如，从多个图像计算的平均运动)的值。分割校正模块326还可以包括运动阈值化模块326e，其可以被配置为确定具有大运动(例如，高于阈值)的分割325的区域被正确地标记为管状结构，因此，在校正的分割327中应当同样维持对这些区域的标记。运动阈值化模块326e还可以确定具有较小运动(例如，低于阈值)的分割325的区域被不正确地标记为管状结构，因此，在校正的分割327中应当将这些区域重新标记为非管状区域。运动阈值化模块326e可以使用背景区域的运动作为用于校正分割325中的标记的阈值。例如，运动阈值化模块326e可确定如果区域表现出比背景区域更大的运动，则该区域被正确地标记为包括感兴趣管状结构，如果区域表现出与背景区域相同或更小的运动，则该区域被不正确地地标记为包括感兴趣

管状结构。运动阈值化模块326e还可以使用预设(例如，预先配置或预先5确定的)运动阈值来校正分割325中的标记。

可以应用各种技术来提高上述运动估计的准确度。例如，可使用基于光流的技术配准分割325的背景像素(例如，在指示分割的二值图中标记为0的像素)，以逐帧稳定背景(例如，逐帧将背景中的静止对象保持在

相同图像坐标处)，使得可容易地确定前景中的管状结构的运动。此外，0目标管状结构的已标记医学图像(如果可用的话)可以与本文所述的公开

可用的已标记训练图像(例如，视网膜血管图像)一起使用，以训练本文所述的分割神经网络，这可以加速本文所述的转移学习过程和/或改进神经网络的分割能力。

图4例示了可以与训练神经网络(例如，图1的ANN 102和/或图2A和图2B的ANN202)以执行本文所述的分割任务相关联的示例操作。如图

所示，训练操作可以包括在402初始化神经网络的参数(例如，与神经网络的各个过滤器或核相关联的权重)。参数例如可以基于从具有类似架构的另一神经网络的一个或多个概率分布或参数值收集的样本来初始化。训

练操作还可以包括在404向神经网络提供训练数据(例如，包括一种类型0的管状结构的公开可用的已标记医学图像)，并且在406使神经网络预测

分割。在408，可以将所预测的分割与金标准(诸如带标注金标准分割(例如，图2A所示的分割206)或使用本文所述技术生成的分割(例如，图2B的校正分割230))进行比较，以确定与预测相关联的损失。损失可以使用

合适的损失函数来确定，诸如基于均方误差(MSE)、L1范数、L2范数等5的损失函数。一旦确定了损失，则可以在410评估该损失以确定是否已经

满足一个或多个训练终止准则。例如，如果上述损失低于预定阈值，如果两次训练迭代之间(例如，连续训练迭代之间)的损失变化降至预定阈值以下等，则可以认为训练终止准则被满足。如果在410确定已经满足训练终止准则，则训练可以结束。否则，在训练返回到406之前，可以在412将损失反向传播通过神经网络(例如，基于与损失相关联的梯度下降)。

为了说明的简单起见，训练步骤在本文中以特定顺序描绘和描述。然而，应当理解，训练操作可以以各种顺序、同时和/或与本文未呈现或描述的其它操作一起发生。此外，应当注意，并非可包括在训练过程中的所有操作都在本文中描绘和描述，并且并非所有例示的操作都需要执行。

本文所述的系统、方法和/或装置可以使用一个或多个处理器、一个或多个储存装置和/或其他合适的辅助装置(诸如显示装置、通信装置、输入/输出装置等)来实施。图5是例示了可以被配置为执行本文所述的管状结构分割任务的示例设备500的框图。如图所示，设备500可以包括处理器(例如，一个或多个处理器)502，该处理器可以是中央处理单元(CPU)、图形处理单元(GPU)、微控制器、精简指令集计算机(RISC)处理器、专用集成电路(ASIC)、专用指令集处理器(ASIP)、物理处理单元(PPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)或能够执行本文所述的功能的任何其它电路或处理器。设备500还可以包括通信电路504、存储器506、大容量储存装置508、输入装置510和/或通信链路512(例如，通信总线)，附图所示的一个或多个部件可以通过该通信链路交换信息。

通信电路504可以被配置为利用一个或多个通信协议(例如，TCP/IP)和一个或多个通信网络来发送和接收信息，这些通信网络包括局域网(LAN)、广域网(WAN)、因特网、无线数据网络(例如，Wi-Fi、3G、4G/LTE或5G网络)。存储器606可以包括被配置为存储机器可读指令的存储介质(例如，非瞬时性存储介质)，当机器可读指令被实行时，使得处理器502执行本文所述的一个或多个功能。机器可读介质的示例可以包括易失性或非易失性存储器，包括但不限于半导体存储器(例如，电可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM))、闪存等)。大容量储存装置508可以包括一个或多个磁盘，诸如一个或多个内置硬盘、一个或多个可移动盘、一个或多个磁光盘、一个或多个CD-ROM或DVD-ROM盘等，在磁盘上可以存储指令和/或数据，以便于处理器502的操作。输入装置510可以包括键盘、鼠标、语音控制输入装置、触敏输入装置(例如，触摸屏)等，用于接收设备500的用户输入。

应当注意，设备500可以作为独立装置操作或者可以与其他计算装置连接(例如，联网或成群)，以执行本文所述的功能。并且即使在图5中仅示出了各个部件的一个实例，本领域技术人员也将理解，设备500可以包括图中示出的一个或多个部件的多个实例。

尽管已经根据某些实施例和一般关联的方法描述了本公开，但是实施例和方法的变更和变换将对本领域技术人员显而易见。因此，示例性实施例的以上描述不限制本公开。在不脱离本公开的精神和范围的情况下，其它改变、替换和变更也是可能的。另外，除非另外具体陈述，否则利用诸如“分析”、“确定”、“启用”、“识别”、“修改”等术语的讨论是指计算机系统或类似电子计算装置的动作和过程，这些动作和过程将表示为计算机系统的寄存器和存储器内的物理(例如，电子)量的数据操纵和变换成表示为计算机系统存储器或其它这种信息存储、传输或显示装置内的物理量的其它数据。

应当理解，上述描述旨在为说明性的，而不是限制性的。在阅读和理解以上描述之后，许多其它实施方式对于本领域技术人员将显而易见。因此，本公开的范围应当参考所附权利要求以及这种权利要求被赋予的等同物的全部范围来确定。