基于掩码建模的3D医学图像分割模型建立方法及其应用

技术领域

本发明属于医学图像分割领域，更具体地，涉及基于掩码建模的3D医学图像分割模型建立方法及其应用。

背景技术

从三维医学图像中准确、鲁棒地分割器官或病变在诊断和治疗等临床应用中起着至关重要的作用。与传统的分割算法相比，基于深度学习的方法，如卷积神经网络，由于其具有学习高级语义图像特征的良好能力而被广泛应用于各种视觉任务中。然而，3D医学图像分割方法大多依赖大量标签数据进行全监督训练，人工标注劳动强度大且成本高，对全监督分割方法的性能产生负面影响。相比之下，半监督学习(SSL)方法直接从已标注和未标注图像中学习，达到比单独利用有标注数据更好的分割精度。

SSL通常使用标记图像来提供传统的监督损失，如交叉熵和Dice损失，而未标记图像提供无监督的损失，如一致性正则化和最小化熵。本质上，无监督损失都服务于一个共同的目标，即通过训练两个学习者并在某些扰动(例如，图像、模型等扰动)下最大化他们在同一任务上的决策一致性，从没标签的图像中吸收额外的知识。实际上，SSL方法通常涉及一个双模型架构，让这两个模型分别扮演教师和学生的角色。学生模型经过正常训练，每次更新时其权重通过同步机制(例如指数移动平均)合并到教师模型中。教师模型的预测是相对稳定和可靠的，因此可以用作学生模型的伪标签，即如果没有真正的标签，可让学生的预测与教师保持一致。

虽然SSL方法已经取得了很大的成功，但对于三维医学图像分割来说，存在两个主要的挑战：一方面，即使是未标记的三维医学数据量也非常稀少，而分割目标遵循清晰的解剖先验知识，这使得以一致性约束为目的任务缺乏多样性，因此教师和学生很快就达成一致，从一致性约束中获得的指导性知识也变少。另一方面，两个模型之间的同步使它们的知识紧密耦合，随着训练的进行，这种耦合必然会变得越来越严格，并且当学生网络学习到知识存在差错时，教师网络无法感知。这使得前面提到的一致性约束存在的问题变得更糟，从而无法为学生模型提供建设性的指导。以上两方面的挑战导致最终基于SSL方法训练得到的三维医学图像分割模型的鲁棒性和泛化性较差，分割准确性也得不到保证。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了基于掩码建模的3D医学图像分割模型建立方法及其应用，其目的在于，通过随机掩码的方式使得半监督网络中学生网络和教师网络输入不同的、缺失部分信息的三维图像，提高任务的多样性，从而使两个网络能够鲁棒地学习相关且互补的特征，使得特征级的一致性约束在整个训练过程中产生有效的无监督指导，最终提高三维医学图像分割模型的鲁棒性、泛化性以及准确性。

为实现上述目的，按照本发明的一个方面，提供了一种基于掩码建模的3D医学图像分割模型建立方法，包括：

(S1)建立包括学生网络和教师网络的半监督学习网络；

学生网络包括：第一编码模块和解码模块；第一编码模块包括编码器，用于提取三维输入图像的不同尺度特征，得到潜在特征；解码模块包括第一分割解码器，第一分割解码器用于对潜在特征进行特征提取和上采样，得到分割结果；

教师网络包括：与第一编码模块结构一致的第二编码模块，以及与第一分割解码器结构一致的第二分割解码器；

(S2)利用包括有标注图像和未标注图像的3D医学图像分割数据集对半监督学习网络进行训练，训练方式如下：冻结教师网络的权重，将每个图像进行两次随机掩码操作后，分别输入至学生网络和教师网络，根据预设的训练损失函数对学生网络的权重进行优化更新，并将更新后的权重迁移至教师网络；训练损失函数包括原型表征损失L

(S3)提取第一编码模块和第一解码器连接构成3D医学图像分割模型。

进一步地，对于学生网络或教师网络，其潜在特征中分割目标对应区域的特征p

其中，V表示潜在特征，P表示分割结果；C表示潜在特征的通道数，V

并且，原型表征损失L

其中，

进一步地，训练损失函数还包括：潜在特征损失L

其中，L

进一步地，学生网络中，解码模块还包括K个辅助分割解码器；辅助分割解码器用于对潜在特征进行特征提取和上采样，得到分割结果；K个辅助分割解码器的上采样方式互不相同，且均不同于第一分割解码器；

并且，训练损失函数还包括：分割一致性损失L

其中，K为正整数，

进一步地，学生网络中，解码模块还包括：重建解码器；重建解码器用于对潜在特征进行特征提取和上采样，以恢复原始图像信息，得到重建图像；

并且，训练损失函数还包括：重建损失L

其中，

进一步地，第一编码模块中，编码器之后还包括：F个依次连接的HybridFormer模块；第二编码模块中，编码器之后还包括：F个依次连接的HybridFormer模块；

HybridFormer模块用于计算像素空间和样本维度的自注意力；

并且，学生网络提取的潜在特征为第一编码模块中的编码器提取的特征图像经F个HybridFormer模块处理后的特征图像，教师网络提取的潜在特征为第二编码模块中的编码器提取的特征图像经F个HybridFormer模块处理后的特征图像；

其中，F为正整数。

进一步地，训练损失函数还包括：分割损失L

其中，N表示3D医学图像分割数据集中有标注图像数量，Y

进一步地，随机掩码操作包括：

将3D医学图像分割成大小相等且互不重叠的立方体块，随机选取一定比例的立方体块，将相应区域像素置零。

按照本发明的又一个方面，提供了一种3D医学图像分割方法，包括：

将待分割的3D医学图像输入至由本发明提供的基于掩码建模的3D医学图像分割模型建立方法建立得到的3D医学图像分割模型，从3D医学图像分割模型的输出获取分割结果。

按照本发明的又一个方面，提供了一种计算机可读存储介质，包括存储的计算机程序，计算机程序被处理器执行时，控制计算机可读存储介质所在设备执行本发明提供的基于掩码建模的3D医学图像分割模型建立方法，和/或，本发明提供的3D医学图像分割方法。

总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：

(1)本发明在对3D医学图像分割模型进行训练时，对输入的原始图像进行随机掩码操作生成两个不同的3D掩码图像，分别输入学生网络和教师网络，使得两个模型的输入图像都不完整，但它们共同包含了互补和全局信息，由于掩码策略的随机性，使得两个网络的图像分割任务也存在巨大的多样性，从而可以鲁棒地学习相关且互补的特征，使得特征级的一致性约束在整个训练过程中产生有效的无监督指导，达到提高鲁棒性、泛化性以及分割精度的效果，同时，训练损失函数中包含了原型表征损失L

(2)在本发明的优选方案中，利用潜在空间的特征(即编码模块提取的潜在特征)和分割解码器输出的预测图来提取其前景的原型表示，能够有效探索特征图和概率图之间的联系，进一步提高模型的训练效果。

(3)在本发明的优选方案中，在训练损失函数中还设计了用于表征学生网络和教师网络提取的潜在特征之间的差异的潜在特征损失，该损失的引入，能够增强学生网络和教师网络所提取潜在特征的相似性，从而在两个网络的输入采用独立掩码的情况下，有效实现信息互补。

(4)在本发明的优选方案中，在学生网络中还引入了辅助分割解码器，并在辅助分割解码器和原有的第一分割解码器两两之间设置了一致性约束，使得这些分割解码器之间相互学习，由于辅助分割解码器所采用的上采样方式互不相同且不同于原有的第一分割解码器，因此，该学生间的相互学习是一种解耦的学生间学习，使得第一分割解码器能够接收到额外的解耦知识从而得到更有建设性的无监督指导，为老师模型提供错误怀疑监控和纠正能力，能够有有效避免预测不确定性对网络鲁棒性、泛化性和准确性的影响。

(5)在本发明的优选方案中，学生网络中还引入了用于恢复原始图像信息的重建解码器，使得学生网络同时完成分割任务和重建任务，由此实现了一种联合学习任务，同时，在训练损失函数中相应引入了重建损失，由于联合学习任务中的两个任务共用相同的编码器结构，重建解码器及重建损失的引入，将使得该编码器结构在图像信息部分缺失的情况下也能准确提取到潜在特征，保证分割解码器的预测准确性。

(6)在本发明的优选方案中，学生网络和教师网络的编码模块中，在编码器之后还引入了一个或多个HybridFormer模块，用于计算像素空间和样本维度的自注意力，由此能够进一步提高潜在空间中的特征表征能力。

附图说明

图1为本发明实施例提供的半监督学习模型的框架示意图；

图2为本发明实施例提供的基于掩码建模的3D医学图像分割模型建立方法示意图；

图3为本发明实施例提供的3D医学图像分割方法与现有方法在相同左心房数据集上的分割结果对比示意图；其中，(a)为分割金标准，(b)为现有的MT方法的分割结果，(c)为现有的UA-MT方法的分割结果，(d)为现有的SSASNet方法的分割结果，(e)为现有的DTC方法的分割结果，(f)为现有的URPC方法的分割结果，(g)为现有的MCNet+方法的分割结果，(h)为本发明实施例提供的3D医学图像分割方法的分割结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

在本发明中，本发明及附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

为了解决现有的基于双模型架构的SSL方法应用于三维医学图像分割时，由于样本量稀少而导致鲁棒性、泛化性差且分割精度不高的技术问题，本发明提供了基于掩码建模的3D医学图像分割模型建立方法及其应用，其整体思路在于：通过对输入的原始图像进行随机掩码操作生成两个不同的掩码图像，分别输入学生网络和教师网络，使得两个模型的输入图像都不完整，但它们共同包含了整体信息，由于掩码策略的随机性，使得两个网络的图像分割任务也存在巨大的多样性，从而可以鲁棒地学习相关且互补的特征，使得特征级的一致性约束在整个训练过程中产生有效的无监督指导，达到提高鲁棒性、泛化性以及分割精度的效果。

在以上掩码策略的基础上，为了进一步提高三维医学图像分割的性能，本发明还提出了两种新的学习方式，即多样的联合任务学习(DJL)和解耦的学生间学习(DIL)，并将其实例化为增强的师生架构，用于鲁棒的三维医学图像分割。在多样的联合任务学习中，学生网络在完成三维图像分割任务的同时，还会完成恢复原始图像信息的任务，这两个任务将共用相同的编码器结构，基于掩码策略生成的不同的掩码图像，教师和学生模型学习联合分割相同目标，但恢复不同图像内容的任务，由于掩码策略的随机性，这种联合任务也具有巨大的多样性。为了便于上述DJL，DIL中的学生模型还附加了一个或多个辅助解码分支，通过使用不同的上采样设计，可以等效地将其视为其他“学生”，通过优化输出级的成对一致性约束，辅助分支与原分支相互学习，但它们的权重与师生同步无关，学生由此接收到额外的解耦知识从而得到更有建设性的无监督指导，避免因原分支学习到的知识出现差错，而影响老师网络学习到正确的知识，为老师模型提供错误怀疑监控和纠正能力。

以下为实施例。

实施例1：

一种基于掩码建模的3D医学图像分割模型建立方法，如图1和图2所示，包括：

(S1)建立包括学生网络和教师网络的半监督学习网络，该半监督学习网络的结构如图1所示；

参阅图1，学生网络包括：第一编码模块和解码模块；第一编码模块包括编码器，用于提取三维输入图像的不同尺度特征，得到潜在特征；解码模块包括第一分割解码器，第一分割解码器用于对潜在特征进行特征提取和上采样，得到分割结果；

可选地，本实施例中，学生网络中的编码器由多层卷积层和下采样层组成；第一分割解码器则相对应由多层卷积层和上采样层组成，且上采样具体通过转置卷积实现；

由于本实施例中，输入学生网络和教师网络为经过随机掩码操作之后的图像，图像中会存在部分信息的缺失，针对这一情况，本实施例中，第一编码模块中，编码器之后还包括：F个依次连接的HybridFormer模块，F为正整数；HybridFormer模块用于计算像素空间和样本维度的自注意力；并且，学生网络提取的潜在特征为第一编码模块中的编码器提取的特征图像经F个HybridFormer模块处理后的特征图像；

可选地，HybridFormer模块中，像素空间自注意力和样本维度自注意力的计算分别由两个部分完成，这两个部分分别包括多层卷积层和下采样层；在实际应用中，HybridFormer模块的数量F可根据实际的需要灵活设置；

第一编码模块输出的潜在特征输入第一分割解码器中，通过跨越连接的方式，将低阶输出特征图与其对应的上一级大尺度卷积核提取的特征图沿通道方向拼接，使用3×3卷积进一步提取大尺度的特征，最后得到分割预测图。

参阅图1，教师网络包括：第二编码模块和第二分割解码器；第二编码模块的结构与学生网络中的第一编码模块结构一致，包括编码器以及编码器之后的F个HybridFormer模块，用于提取输入的掩码图像的潜在特征；第二分割解码器的结构与学生网络中的第一分割解码器的结构一致，用于对潜在特征进行特征提取和上采样，得到分割结果。

学生网络和教师网络中，HybridFormer模块的引入，有效提高了潜在空间中的特征表征能力。

参阅图1，为了实现多样的联合任务学习(DJL)，以更好地学习掩码图像对中的互补信息，学生网络中的解码模块包括两种类型的分支，一种是重建解码器，另一种是分割解码器，重建解码器用于对潜在特征进行特征提取和上采样，以恢复原始图像信息，得到重建图像；分割解码器预测分割结果。同时，为了降低分割结果预测的不确定性，本实施例中，分割解码器具体包括三个，其中一个为第一分割解码器，另两个为辅助分割解码器，这两个辅助分割解码器也用于对潜在特征进行特征提取和上采样，得到分割结果，但是，这两个辅助分割解码器所采用的上采样方式互不相同，且均与第一分割解码器的上采样方式不同，分别为线性插值和临近插值；辅助分割解码器与第一分割解码器相互配合，实现了解耦的学生间学习(DIL)。

应当说明的是，此处关于辅助分割解码器的数量以及所采用的上采样方式，仅为示例性的描述，不应理解为对本发明唯一的限定，在实际应用中，可根据实际需要灵活调整。

对于所建立的半监督学习模型，本实施例相应提出了模型的训练方式，具体为：

(S2)利用包括有标注图像和未标注图像的3D医学图像分割数据集对半监督学习网络进行训练；

训练方式如下：冻结教师网络的权重，将每个图像进行两次随机掩码操作后，分别输入至学生网络和教师网络，根据预设的训练损失函数对学生网络的权重进行优化更新，并将更新后的权重迁移至教师网络；可选地，本实施例中，学生网络迁移至教师网络，具体通过指数滑动平均(EMA)完成。

本实施例中，使用

可选地，本实施例中，对三维图像进行掩码操作的具体方式包括：

将3D医学图像分割成大小相等(例如4×4×4)且互不重叠的立方体块，从均匀分布中随采样，随机遮盖一定比例的立方体块，被遮盖的区域像素置零；通过掩码操作，输入学生网络和教师网络的两个掩码图像缺失了部分信息；由于该随机掩码操作具有随机性，因此，两个掩码图像的掩码区域不同，特征在潜在空间会被随机掩码破坏，这对于医学图像分割任务至关重要，同时，这两个掩码图像共同包含了完整的图像信息。

基于步骤(S1)所建立的半监督学习网络，输入学生网络的掩码图像经其编码模块处理后，得到潜在特征V

现有双模型架构中，仅仅通过强制学生网络的概率图与教师网络的概率图来提取像素空间信息，而忽略了潜在特征空间的约束和未标记数据中信息的挖掘。虽然一致性学习在半监督分割任务中起到十分重要的作用，但是本实施例采用的掩码操作减少了冗余信息，并创建了比噪声或变换更具挑战性的特征表示任务。具有不同随机掩码的同一图像可能导致不同的预测，特别是当要分割的目标区域被掩盖时。直接对齐师生网络的预测结果过于严格，可能会导致预测崩溃。受原型学习的启发，本实施例利用潜在空间的特征和预测图来提取其前景的原型表示，以探索特征图和概率图之间的联系，相应地，本实施例中，训练损失函数包括原型表征损失L

为了提取多通道特征信息，本实施例在计算原型时，沿通道维度对特征进行平均，相应地，对于学生网络或教师网络，其潜在特征中分割目标对应区域的特征的计算方式如下：

其中，V表示潜在特征，P表示分割结果；C表示潜在特征的通道数，V

其中，

本实施例进一步考虑到学生网络和教师网络的掩码是独立的，因此通过对训练损失函数做了进一步改进，从而加强二者所提取的潜在特征(V

其中，L

为了有效避免预测不确定性对网络鲁棒性、泛化性和准确性的影响，本实施例在引入辅助分割解码器的基础上，会使辅助分割解码器连同原有的第一分割解码器两两之间通过一致性约束，并使用锐化函数减轻容易被错误分类像素的影响，对于任意一个分割解码器，以P

其中，T表示用于控制锐化程度的超参数；P

本实施例中，分割解码器两两之间的一致性约束通过分割一致性损失L

其中，

由于本实施例实现了联合任务学习，该联合任务除了包括分割任务，还包括重建任务，并且两个任务共用同一个编码结构；在掩码图像信息确实的情况下，通过重建任务，能够重建原始的、未被破坏的体素信息，从而使编码器能够更有效地提取特征。为了保证重建任务的准确性，本实施例中，训练损失函数还包括：重建损失L

其中，

同时，为了保证分割任务的准确性，本实施例中，训练损失函数还包括：分割损失L

其中，N表示3D医学图像分割数据集中有标注图像的数量，Y

基于以上分析，本实施例中，总体的训练损失函数可表示如下：

L

在随机掩码的基础上，基于以上半监督学习网络结构及相应的训练损失函数，本实施例能够得到分割性能优良的学生网络。

在以上步骤(S1)和(S2)的基础上，本实施例还包括：(S3)提取第一编码模块和第一解码器连接构成3D医学图像分割模型。

总的来说，本实施例通过随机掩码策略保证任务的多样性，在此基础上，通过多样的联合任务学习(DJL)和解耦的学生间学习(DIL)，使得半监督学习网络中的学生网络和教师网络可以鲁棒地学习相关且互补的特征，使得特征级的一致性约束在整个训练过程中产生有效的无监督指导，并使得学生网络接收到解耦知识从而得到更有建设性的无监督指导，为教师网络提供错误怀疑监控和纠正能力。最终本实施例所建立的3D医学图像分割模型，具有更强的鲁棒性和泛化性，以及更高的分割精度。

实施例2：

一种3D医学图像分割方法，包括：

将待分割的3D医学图像输入至由上述实施例1提供的基于掩码建模的3D医学图像分割模型建立方法建立得到的3D医学图像分割模型，从3D医学图像分割模型的输出获取分割结果。

由于本实施例1所建立的3D医学图像分割模型，具有更强的鲁棒性和泛化性，以及更高的分割精度，基于该3D医学图像分割模型，本实施例能够在各种三维医学图像分割场景下，均能获得高精度的分割结果。

实施例3：

一种计算机可读存储介质，包括存储的计算机程序，计算机程序被处理器执行时，控制计算机可读存储介质所在设备执行上述实施例1提供的基于掩码建模的3D医学图像分割模型建立方法，和/或，上述实施例2提供的3D医学图像分割方法。

以下使用来自左心房分割挑战赛中的三维GE-MRI数据集上分割结果对本发明所提供方法的有益效果做进一步的验证。数据集是使用临床全身MRI扫描仪获取的，数据分辨率为0.625×0.625×0.625mm

如表1所示，基于监督训练的V-Net在10％和20％标签下的分割结果作为基线。从表中可以观察到，相对于基线，所有半监督方法都可以在10％标签量下对分割结果提供更有成效的指导，这揭示了包含在未标记数据中的大量多样且对于模型训练有用的信息。特别地，如图3所示，具有100％标记数据的监督V-Net优于所有半监督方法。然而，本发明方法与100％标记数据的监督V-Net之间仅存在微小的差异。此外，所有的量化结果也综合反映了本发明所提供的分割方法比其他半监督方法有更实质的改进。

具体来说，主流的半监督方法在20％和10％的标记数据上都取得了比相应的监督训练下V-Net更大的改进。特别地，本发明方法在四个量化指标上均优于所比较的方法。在比较的方法中，MC-Net+略差于本发明方法。随着标注数据的增加，所有半监督方法分割结果都得到改善。在极其有限的标注数据下，相较于其他最先进的半监督算法，本发明方法仍然能提供明显提升的分割指标结果。为了直观地揭示本专利方法的优越性，在图3中可视化了20％标记数据下所有对比方法生成的分割结果的2D和3D视图。显然，本发明方法保留了更多的细节并锐化了大多数孤立区域。虽然本发型方法在参数数量和计算方面没有达到最佳结果，但与其他比较算法的差异并不显著，因此鉴于现代计算机的强大算力，不会带来太多的计算负担。

表1左心房分割任务中各种评价方法的定量比较

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。