关于CT图像左心房和左心耳组织的联合分割方法和系统

技术领域

本发明涉及计算机视觉技术领域，具体地，涉及一种关于CT图像左心房和左心耳组织的联合分割方法、系统、介质及终端。

背景技术

房颤是心脏相关疾病中最常见的一类疾病之一，该疾病与左心房组织密切相关。在左心房这一腔式结构的旁边，存在着左心耳这一更加精细的结构。而绝大多数由房颤引发的中风则是由左心耳里的血栓引起的。针对中风的常见治疗方法为抗凝疗法，然而不少病人对于该疗法存在禁忌症。因此，一种更加有效且可行的左心耳封堵技术应运而生。该方法可以规避抗凝疗法的绝大多数弊病。

而封堵器的尺寸与左心房和左心耳的交界面大小密切相关，因此强化对于左心房和左心耳拓扑结构的研究，有助于开展由房颤导致的中风治疗的研究。而术前的心脏CT成像则是对于该疾病的典型介入方式，因此左心房及左心耳CT图像的全自动精确分割对于此类疾病的诊断和治疗至关重要。

到目前为止，许多工作致力于左心房的自动分割，相比之下，对于左心耳的研究却是不足的，尤其是对于两者之间的相对位置关系的建模。左心房以及左心耳的形状结构都存在较大的差异。除此之外，相比于左右心房，左右心室，左心耳结构具有更加不确定的边缘，尤其是其与左心房的交界面区域，因此该区域的精确分割存在困难。

目前已有若干工作用于解决粗糙边缘的分割问题，这些工作大致可以分为三个类别。

第一个类别的策略是引入多任务学习的概念，对边界区域利用损失函数施加一个较强的约束。第二种则是通过复杂的后处理过程去优化边缘区域的粗糙分割结果。但以上两种方法主要用于优化高质量图像中具有清晰边缘的区域，并不适用于左心房以及左心耳交界面的不确定边缘。

相比之下，第三种解决策略能够起作用，该策略是基于增强不确定边缘区域所对应的深度特征，从而实现对于该区域的精确定位。目前的方法侧重于以注意力的方式将边缘区域的标注信息隐式地加入边缘特征里，或是考虑对边缘的像素引入不确定性，但这两种方法依然未能较好地描述边缘的不确定性。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种关于CT图像左心房和左心耳组织的联合分割方法和系统。

根据本发明的一个方面，提供一种关于CT图像左心房和左心耳组织的联合分割方法，包括：

构建第一阶段数据集；

搭建用于左心房和左心耳联合分割的第一阶段神经网络模型N1；

使用所述第一阶段数据集，训练所述第一阶段神经网络模型N1；

使用所述第一阶段数据集，测试所述第一阶段神经网络模型N1；

对所述第一阶段神经网络模型N1在验证集上的粗分割结果进行采样，构建第二阶段数据集；

搭建用于优化所述粗分割结果的第二阶段神经网络模型N2；

使用所述第二阶段数据训练所述第二阶段神经网络模型N2；

使用所述第二阶段数据测试所述第二阶段神经网络模型N2。

用训练好的所述第一阶段神经网络模型N1和第二阶段神经网络模型N2分割CT图像中的左心房和左心耳。

优选地，搭建的所述第一阶段神经网络模型N1为带有多尺度特征提取、特征增强和特征融合的3D医学图像分割神经网络模型；

在所述第一阶段神经网络模型N1中的操作，包括：

对3D CT图像采用层级神经网络模型，提取多尺度图像特征；

对所述多尺度图像特征采用基于扩散理论设计的语义差分模块进行边缘特征增强，得到增强后的特征；

对所述增强后的特征进行多尺度融合，得到最终的深度编码特征；

将所述深度编码特征输入到分割网络对前景目标进行分割，得到粗分割结果；

所述第一阶段神经网络模型N1的训练，包括：

利用所述第一阶段数据集的标注结果与所述粗分割结果构建损失函数，进行训练，优化所述第一阶段神经网络模型N1的参数。

优选地，所述增强后的特征包括两部分，一部分是来自所述层级神经网络模型的原始特征，另一部分是来自所述语义差分模块增强后的边缘特征。

优选地，所述语义差分模块是基于扩散理论进行设计的，包括：

将所述扩散理论采用二阶偏微分方程进行描述：

其中，

求解所述二阶偏微分方程，得到近似数值解：

其中，p表示特征图里的特定像素点，δ

在表示基于卷积的映射函数h中，提出可学习的边缘算子，使得卷积核在各个位置具有不同的数值，同时保证卷积核具有差分属性，卷积核正中心位置处的值设定为1，得到最终增强后的边缘特征

其中

优选地，所述第二阶段神经网络模型N2的训练过程，包括：

对所述粗分割结果进行采样，采样包括左心房和左心耳出现不连通的区域；

截取所述不连通区域对应的图像和粗分割掩码，同时输入到第二阶段神经网络模型N2中；

采用基于距离约束的连通性损失函数

优选地，所述采用基于距离约束的连通性损失函数

计算所述连通性损失函数

通过分割真值掩码的像素标签信息提取到左心耳区域的逐点坐标，定位左心耳区域；

找到包含所述左心耳区域的近似最小外接六面体，并确定六面体上与左心房表面距离最近的四个顶点V

利用最近的四个所述顶点到左心房表面的最小距离计算连通性损失函数

其中σ表示激活函数，P表示左心房表面的点集集合，P

计算总的损失函数

其中，

优选地，所述使用第二阶段数据测试所述第二阶段神经网络模型N2时，进行通道校正，具体为：将截取的不连通区域的图像和粗分割掩码，同时输入到第二阶段神经网络模型N2中，通过编码器-解码器结构求得解码以后的特征F

根据本发明的第二个方面，提供一种关于CT图像左心房和左心耳组织的联合分割系统，包括：

第一数据模块，该模块构建第一阶段数据集；

第一网络模型模块，该模块第一神经搭建用于左心房和左心耳联合分割的第一阶段神经网络模型N1；

第一训练模块，该模块使用所述第一阶段数据集，训练所述神经网络模型N1；

第一测试模块，该模块使用所述第一阶段数据集，测试所述神经网络模型N1；

第二数据模块，该模块对所述第一阶段神经网络模型N1的粗分割结果进行采样，构建第二阶段数据集；

第二网络模型模块，该模块搭建用于优化所述粗分割结果的第二阶段神经网络模型N2；

第二训练模块，该模块使用所述第二阶段数据训练所述第二阶段神经网络模型N2；

第二测试模块，该模块使用所述第二阶段数据测试所述第二阶段神经网络模型N2。

根据本发明的第三个方面，提供一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行任一项所述的关于CT图像左心房和左心耳组织的联合分割方法，或，运行所述的关于CT图像左心房和左心耳组织的联合分割系统。

根据本发明的第四个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可用于执行任一项所述的关于CT图像左心房和左心耳组织的联合分割方法，或，运行所述的关于CT图像左心房和左心耳组织的联合分割系统。

与现有技术相比，本发明实施例至少具有如下的一种有益效果：

本发明实施例提供的一种关于CT图像左心房和左心耳组织的联合分割方法和系统，首次实现基于神经网络模型对左心房和左心耳组织的相对位置关系进行建模，利用带标注的左心房及左心耳图像数据，同时实现对于左心房和左心耳组织的精确的联合分割。

本发明实施例提供的一种关于CT图像左心房和左心耳组织的联合分割方法和系统，可以应用到心房颤动等疾病的临床诊断和手术治疗当中。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明一实施例的左心房以及左心耳CT图像的联合分割方法的流程图；

图2为本发明一较佳实施例的左心房以及左心耳分割的第一阶段神经网络模型的示意图；

图3为本发明一较佳实施例的左心房以及左心耳分割的第二阶段神经网络模型的示意图；

图4为本发明一较佳实施例的语义差分模块SDM示意图；

图5为本发明一较佳实施例的第二阶段神经网络模型对于粗分割结果的迭代优化图；

图6为本发明一较佳实施例的本发明方法与现有方法的分割结果对比图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

本发明沿用背景技术中第三种策略，即基于增强不确定边缘区域所对应的深度特征，从而实现对于该区域的精确定位。但本发明构思不同于现有基于注意力机制的技术，首次将热力学的扩散理论模型引入到对于不确定区域的增强模块中，具体地，将边缘的形成建模为像素扩散的最终稳定态，而扩散过程本身也是生成不确定性的过程。因此，扩散理论相比现有技术存在对于不确定性的更强建模能力。

同时由于成像过程中的噪声以及左心耳区域的模糊边缘，导致部分病例出现左心房与左心耳之间不连通的问题。该问题也会使得两者交界面的精确分割成为阻碍，降低临床手术介入治疗的效率。因此，针对左心房及左心耳联合分割任务，尤其是对于不确定边缘精确分割的需求，需要针对性地设计合适的深度学习方法。

基于上述的发明构思，本发明提供一种实施例，一种关于CT图像左心房和左心耳组织的联合分割方法，参见图1，其具体过程如下：

S11，构建第一阶段数据集；

S12，搭建用于左心房和左心耳联合分割的第一阶段神经网络模型N1；

S13，使用S11中构建的第一阶段数据集，训练S12中搭建的第一阶段神经网络模型N1；

S14，使用S11中构建的第一阶段数据集，测试S13完成训练的第一阶段神经网络模型N1；

S15，对第一阶段神经网络模型N1的粗分割结果进行采样，构建第二阶段数据集；

S16，搭建用于优化粗分割测试结果的第二阶段神经网络模型N2；

S17，使用S15构建的第二阶段数据训练S15搭建的第二阶段神经网络模型N2；

S18，使用S15构建的第二阶段数据测试S17完成训练的第二阶段神经网络模型N2。

用训练好的所述第一阶段神经网络模型N1和第二阶段神经网络模型N2分割CT图像中的左心房和左心耳。

本实施例实现基于神经网络模型对左心房和左心耳组织的相对位置关系进行建模，同时实现对于左心房和左心耳组织的精确分割。

在本发明的一个优选实施例中，实施S11，对于给定的心脏CT三维图像，划分为训练集，验证集和测试集。

在本发明的一个优选实施例中，S12建立的第一阶段神经网络模型N1如图2所示，是一个带有多尺度特征提取，特征增强和特征融合的3D医学图像分割神经网络模型。

一较佳实施例中，实施S12，第一阶段神经网络模型N1的搭建过程，包括：

S121，对3D CT图像采用层级神经网络模型(编码器)，提取到多尺度的图像特征；

S122，对S121中的多尺度特征分别采用基于扩散理论设计的语义差分模块进行边缘特征增强，得到增强后的特征；

S123，对S122的增强后的特征进行多尺度融合，得到最终的深度编码特征；

S124，对S123的深度编码特征输入到分割网络对前景目标进行分割，得到分割结果。

一较佳实施例中，实施S13，即训练第一阶段神经网络模型N1的具体过程为：利用专家标注的结果与分割结果构建损失函数(掩码真值结合戴斯损失+交叉熵损失)，利用S11的训练集对第一神经网络模型N1进行训练，优化神经网络模型参数。

进一步的，S122中增强后的特征由两部分组成，一部分是来自层级神经网络模型的原始特征，另一部分是来自语义差分模块增强后的边缘特征S122中的语义差分模块，如图4所示，该模块是基于扩散理论进行设计的。扩散理论可由如下二阶偏微分方程进行描述：

其中

具体地，对于特定的初始特征F，其随着扩散过程逐步更新。在靠近不确定边缘的区域，其扩散运动被抑制，反之，远离该边缘的区域，其扩散运动被增强。

较佳实施例中，扩散函数D＝D(F)具备非线性特性，同时由于不确定边缘的定位需要语义信息来指导，故引入来自卷积网络的深层特征G作为扩散函数的自变量。综上，

其中p表示特征图里的特定像素点，δ

与此同时，由于左心房和左心耳数据在x，y，z方向上存在各向异性分布的特点，故采用传统的边缘检测算子不能较佳地提取到特征F的差分图。为此本实施例提出了一种可学习的边缘算子，该卷积核在各个位置具有不同的数值，同时为保证卷积核具有差分属性，卷积核正中心位置处的值设定为-1。最终增强后的边缘特征

其中

由以上所搭建的第一阶段的层级神经网络模型N1，可得到对于测试集的粗略分割结果。

由于左心耳区域存在模糊边缘且CT成像过程中存在噪声，故由第一阶段的网络产生的部分粗略分割结果存在左心房与左心耳之间的不连通，不连通会使得两者交界面的精确分割成为阻碍，降低临床手术介入治疗的效率。为解决该问题，本发明的另一个优选实施例中，实施S16，进行搭建了第二阶段的神经网络模型N2，又叫作连通性优化网络，具体结构如图3所示。

本发明采用95％hausdorff distance(hd95)作为分割性能的指标之一，其表征了对于左心房和左心耳结构表面的分割准确性。具体地，若左心房与左心耳存在不连通现象，则左心耳区域的分割hd95数值较大，从而影响分割性能。为此本实施例提出了一种新型的基于距离约束的连通性损失函数

具体的，在第二阶段神经网络训练过程中，本实施例重点对第一阶段的粗分割结果进行采样，尤其是在左心房和左心耳出现不连通的区域。与此同时，截取区域的图像和粗分割掩码被同时输入到网络中，用以丰富网络的输入信息。最后通过损失函数

进一步的，在计算损失函数

总的损失函数

其中λ的取值采用以下策略，当第二阶段网络的训练轮数超过300时，λ取1；当轮数小于300时，λ取0。同时，因为该阶段的网络重点优化连通性差的案例，因此在训练过程中，增加对于第一阶段的验证集数据中连通性较差案例的采样。

连通性较差案例经由第二阶段神经网络迭代优化后，连通性出现了明显的改善，具体结果如图5所示。

在本发明的一个实施例中，实施S18。在测试阶段，最终解码的特征F

基于相同的发明构思，在本发明的其他实施例中，提供一种关于CT图像左心房和左心耳组织的联合分割系统，包括：

第一数据模块，该模块构建第一阶段数据集；

第一网络模型模块，该模块第一神经搭建用于左心房和左心耳联合分割的第一阶段神经网络模型N1；

第一训练模块，该模块使用第一阶段数据集，训练神经网络模型N1；

第一测试模块，该模块使用第一阶段数据集，测试神经网络模型N1；

第二数据模块，该模块对第一阶段神经网络模型N1的粗分割结果进行采样，构建第二阶段数据集；

第二网络模型模块，该模块搭建用于优化粗分割结果的第二阶段神经网络模型N2；

第二训练模块，该模块使用第二阶段数据训练第二阶段神经网络模型N2；

第二测试模块，该模块使用第二阶段数据测试第二阶段神经网络模型N2。

本发明上述实例中各模块/单元具体可以参照上述实施例中关于CT图像左心房和左心耳组织的联合分割方法对应的步骤的实现技术，在此不再赘述。

基于相同的发明构思，在本发明的其他实施例中，提供一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时可用于执行任一项的关于CT图像左心房和左心耳组织的联合分割方法，或，运行的关于CT图像左心房和左心耳组织的联合分割系统。

基于相同的发明构思，在本发明的其他实施例中，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可用于执行任一项的关于CT图像左心房和左心耳组织的联合分割方法，或运行的关于CT图像左心房和左心耳组织的联合分割系统。

为了便于更加深入、详细地了解上述实施例中的技术方案，本发明提供一个具体的应用实施例，对上述实施例的效果进行验证。

1.实验条件

本实施例中，第一阶段采用45张CT扫描图像作为模型的训练集。待检测图像大小为z×512×512像素，其中z表示2D切片的数量。另外，使用训练集以外的15张CT图像作为验证集，用来调整模型的超参数；使用训练集、验证集以外的20张CT图像作为模型的测试集，以验证模型对于左心房以及左心耳CT图像的联合分割的性能。而第二阶段则是获取到共50例来自第一阶段验证集中的粗分割结果，其中有30例结果出现不连通的现象。之后，将以上50例数据划分为训练集和验证集，分别包含35和15例数据。模型实现采用Pytorch 1.8.0平台进行搭建，计算硬件为2张Nvidia Tesla V100 GPUs。

训练过程中的参数如下：两阶段的优化器均采用AdamW，初始学习率设置为5e-4，采用余弦学习率衰减调制器，权重衰减系数为1e-5。每次训练时的batch大小设置为2，裁剪的patch大小为160×160×192。同时第一阶段的3D UNet模型大小为23.47M，训练过程共2000代，利用专家标注的结果与第一阶段分割结果构建损失函数，训练过程中的损失函数为戴斯损失和交叉熵损失的加权求和。而第二阶段的3D UNet模型参数为1.92M，共训练500代，采用戴斯损失和连通性损失的加权和进行训练。选择验证集上指标最高的模型作为最终模型；

1.实验内容

下面从定性和定量两个角度对本实施例所提出的左心房以及左心耳的联合分割方法进行验证。

2.1定性实验结果

图6利用本实施例对测试集中的图像进行了全图的语义分割，并与其他方法得到的结果进行对比。

图6中，分别对比了在相同实验条件下，采用3D UNet，VNet，nnUNet，UNETR，SwinUNETR，UNeXt和本实施例方法的分割效果。可以看到，本实施例所提出的方法在对于左心房和左心耳的不确定边界区域上的定位性能以及两者之间的连通性上都表现更佳，验证了本实施例在左心房以及左心耳CT图像的联合分割上具有良好的效果。

2.2定量分析

利用本实施例的方法对测试集中的20张CT图像的语义分割结果进行了定量误差分析，所对比的方法为3D UNet,ResUNet,VNet,TransBTS,UNETR,Swin UNETR,UNeXt,nnUNet。评价指标为戴斯系数(dice score coefficient,DSC(％))以及豪斯多夫距离(95％hausdorff distance,hd95(mm))：

其中i表示像素索引，N为总的像素个数，pi表示预测结果中特定点的二值分割结果，gi为专家标注结果中特定点的二值分割结果。DSC的取值范围为0-1，且越接近1，说明算法效果越好。

P表示模型预测结果的体素集合，G表示专家标注结果的体素集合。而d表示欧氏距离。hd95为大于零的数，该值越小，表明算法效果越好。

对测试集中的图像利用不同方法进行测试后，得到实验结果如表1所示：

表1

从表1的结果可以看出，本实施例所提出的方法在左心房和左心耳上都取得了较佳的分割性能，在全部测试集上取得了88.91％的分割DSC以及7.75mm的hd95。相比于其他经典的网络结构，该结果数值说明，本实施例所提出的基于不确定边缘增强以及相邻两组织连通性优化的联合分割方法在测试集上的结果更好，尤其是对于左心耳区域。

同时在测试集中的图像上，对比了语义差分模块与其他用来处理不确定边缘的模块的性能后，得到实验结果如表2所示：

表2

从表1的结果可以看出，本实施例所提出的语义差分模块(SDM)相比于其他的不确定边缘增强模块，在测试集上的泛化性能结果更好，尤其是对于左心耳区域。

对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。上述各优选特征在互不冲突的情况下，可以任意组合使用。