一种边界感知的半监督医学图像分割方法

技术领域

本发明涉及一种医学图像分割方法，特别针对有标注的图像数据不足，无标注数据充足情况下，有利于获得精确分割边界的半监督医学图像分割。

背景技术

医学图像分割是将语义分割技术应用于医学图像中，其目的是将医学图像中具有某些特殊含义的部分分割出来，如标记CT图像或核磁图像中的组织和器官，进而为临床诊疗和病理学研究提供可靠的依据，辅助医生做出更准确的诊断。医学图像中器官和组织区域的自动识别对临床有重要意义。

目前，基于深度学习的方法已经成为医学图像分割的主流方法。然而，深度学习网络模型的训练通常需要充足的由专业医生手动标注的数据，这需要耗费大量的时间成本和人力成本，在实际临床中难以实现，阻碍了深度学习应用于实际临床。

半监督学习可以从有标注数据和无标注数据中学习，从而减轻标注成本。近年来，陆续有研究人员提出了面向各种组织或器官分割的半监督深度学习方法。然而，现有的半监督医学图像分割方法往往在分割目标的边界区域表现不佳，且未能充分挖掘图像中的可判别特征。因此，有必要开发一种新的分割方法，既能够降低标注成本，又能够提高分割的准确率，特别是目标边界区域的准确率。

发明内容

本发明的目的在于减轻标注负担，并提供一种可以获得精确分割边界的半监督医学图像分割方法。

本发明的目标是通过以下技术方案实现的：

一种基于一种边界感知的半监督医学图像分割方法，该方法具体为：

对于待分割医学图像，将

其中，该医学图像分割模型通过如下方法训练获得：

收集医学图像数据，专业人员对其中部分医学图像的目标区域前景进行像素级标注，作为前景标签，并根据前景标签计算得到边界标签。原始图像、前景标签、边界标签共同构成训练数据集；

构建用于训练的半监督医学图像分割模型，所述用于训练的半监督医学图像分割模型包括两个结构相同的子模型，每个子模型分别包含一个编码器、一个前景解码器和一个边界解码器；对于每一个子模型，编码器用于对输入的医学图像提取高层语义特征图，前景解码器和边界解码器分别基于该特征图输出前景分割概率图和边界分割概率图；

将训练数据集作为半监督医学图像分割模型的输入，并构建损失函数，使用随机梯度下降优化器进行训练，直至达到预设的训练轮数；将其中一个子模型中训练好的编码器、前景解码器作为最终的医学图像分割模型；

上述损失函数

其中，

对于训练集中的有标签样本，利用真实前景标签和真实边界标签，构建有监督损失函数，进而优化模型参数；

为前景分割损失，即两个子模型的前景分割结果p

可以为dice损失函数、交叉熵损失函数等常见分割损失函数中的一种或几种的组合,如/>

对于训练集中的无标签样本，利用任务之间、子模型之间的一致性约束，构建无监督损失函数，从而优化模型参数；

其中，

进一步地，训练过程中，训练数据集还包括在原数据基础上进行数据增强得到的数据；

进一步地，

进一步地，对于

进一步地，在推理阶段，先使用滑动窗口法将原始医学图像裁剪为与训练图像尺寸一致的若干图像块，输入至训练好的模型中，获得与之对应的若干分割结果，再通过与滑动窗口相反的过程拼接，获得最终的图像分割结果。

本发明的优势在于：本发明针对医学图像自动分割在实际临床应用中面临的问题，即标注成本高、分割结果的前景边界区域准确度低等问题，设计了一种新颖的半监督深度学习模型，设计了边界分割辅助任务、跨任务一致性约束和跨模型一致性约束等方法，使得模型在只有少量标注样本有标签的情况下，可以实现高准确率的图像分割效果，特别是边界区域的分割准确率。在多个主流公开数据集上，该方法准确率超过了目前的最先进方法。此外，该模型结构简单，通用性强，适用于不同的医学图像数据和任务。

附图说明

图1是实例中的医学图像示例。

图2是示例中的分割模型总体结构图。

图3是本发明提出的医学图像分割模型训练阶段的流程图。

图4是本发明提出的医学图像分割模型推理阶段的流程图。

图5是实例中的图像分割结果可视化展示。

具体实施方式

下面结合附图及具体实实例，对本发明作进一步详细说明。

下面以2018MICCAI左心房分割挑战赛公开数据集为例，说明本发明的具体实施方式。

首先，如图3所示，按照以下步骤训练医学图像分割模型：

步骤1：收集医学图像数据，并对其中一定比例的图像进行分割目标前景区域的标注，得到前景标签，并根据前景标签计算得到边界标签。原始图像、前景标签、边界标签共同构成训练数据集。图1为该数据集中一例数据的可视化，从左到右依次为原图的二维展示、前景标签、边界标签和前景标签的三维展示。

本实施例的数据集包含100张3D MRI图像，随机划分80张图像作为训练集，其余20张图像作为测试集。在训练集中，随机选择一定比例的图像作为有标签图像，即在训练过程中使用其标签，而其余图像的标签不被使用。在本实施例中，我们分别随机选择10％和20％的图像作为有标签图像。图像标签与原图分辨率相同，前景像素值为1，背景像素值为0。本实施例为二分类任务，但本发明方法同样适用于多分类任务。

步骤2：对原始数据集进行数据处理和数据增强。

首先，对于原始数据集的图像，以标注区域矩形框为中心，随机向各方向扩展一定尺寸，对原图和标签进行裁剪；其次，对裁剪后的图像进行标准化，使得每张图像均值为0，方差为1；训练时，在裁剪后的图像中，随机选择两个有标签数据和两个无标签数据，分别裁剪出尺寸为112×112×80的图像块，并使用随机旋转、随机翻转的数据增强；旋转角度为90°、180°或270°，翻转方式为沿x轴或y轴。将经过以上处理的图像作为后续训练模型的输入。

步骤3：构建边界感知的半监督医学图像分割模型。

用于训练的边界感知的半监督医学图像分割模型具体结构如图1所示。整个模型由两个子模型组成，每个子模型分别包含一个编码器、一个前景解码器和一个边界解码器。在每一个子模型中，编码器用于对输入的医学图像提取高层语义特征图，前景解码器和边界解码器分别基于该特征图输出前景分割概率图和边界分割概率图。

本模型中编码器和解码器不依赖于特定的网络结构，主流的3D U-Net、V-Net等网络均可作为本模型的骨干网络。本实施例中，子模型的编码器和解码器以V-Net为骨干网络。其中，一个编码器由四个卷积模块和四个下采样模块组成，每个卷积模块由卷积层、批正则化(BatchNorm)层和ReLU激活函数依次拼接组成，每个下采样模块由卷积层和ReLU激活函数组合得到。解码器由四个卷积模块、四个上采样模块和一个输出模块组成，卷积模块结构与编码器中的卷积模块一致，上采样模块由转置卷积和ReLU激活函数组合得到，输出层为卷积层，将高维特征图映射为二通道分割概率图。前景解码器的输出层输出前景分割概率图，边界解码器的输出层输出边界分割概率图。

步骤4：模型训练。每使用一批四个数据，即两个有标签数据和两个无标签数据对模型进行优化，记作训练一轮。使用随机梯度下降优化器，学习率为0.01，训练15000轮。使用

其中，

有监督损失使用真实标签优化模型参数，只在有标签样本上计算。有监督损失

公式(3)和(4)中，

对于训练集中的无标签样本，利用任务之间、子模型之间的一致性约束，构建无监督损失函数

其中，

公式(6)中，

进一步地，考虑到训练前期模型精度较低，跨任务一致性和跨模型一致性不可靠，我们采用控制λ的方法避免无监督损失项对早期训练的干扰。具体地，λ随论述t变化的计算公式如公式(9)所示。

其中，t

按照上述设置训练模型，直至达到预设的训练轮数。训练完成后，将训练好的一组编码器和前景解码器作为后续推理使用的医学图像分割模型。

推理阶段，如图4所示，先采用滑动窗口法将待测试原始图片裁剪成与训练图像尺寸一致的若干图像快，输入至经上述训练过程得到的医学图像分割模型，获得若干图像分割结果，再经拼接得到最终的分割结果。

本实施例中，先将测试图像标准化，然后用步长18×18×4的滑动窗口，将测试图像裁剪成112×112×80的若干图像块，输入训练好的分割模型，得到对应的若干前景分割概率图，最后将得到的分割概率图拼接，得到最终的分割结果。

表1有标签比例分别为10％、20％的情况下本发明与现有算法的分割效果对比(↑表示该指标数值越大越好，↓表示该指标数值越小越好)

从表1中各种指标的对比可以看出，仅使用少部分标注的情况下，相比于现有技术，本发明提高了医学图像分割的准确率，且分割结果的边界更准确、整体性也更好。本发明通过设计辅助任务，并充分利用跨任务一致性、跨模型一致性，使得模型更加关注边界区域，并在训练过程中学到更多更具可判别行的特征，从而提高了分割准确性。

图5是一例测试数据及其分割结果的可视化展示。可以看到，本发明得到的分割结果和真实标签更接近。特别是如图中圆圈所标记的边界区域，本方法的结果更加准确和完整。

至此，本发明的具体实施过程描述完毕。

上述实施例仅是为清楚说明所作的举例，而非对实施方式的限定。根据实际任务的不同，本发明在上述说明的基础上，还可以做出其他不同形式的变化。