一种基于稀疏标注的图像分割方法

技术领域

本发明属于图像分割算法领域，特别一种基于稀疏标注的图像分割方法。

背景技术

图像分割旨在从图像中分离出各种不同类别的物体，在娱乐、安防、视频处理和医学图像等多个场景具有广泛的应用。例如，从医学影像中进行精确的组织分割可以为临床诊断提供大量有价值的信息，如目标的大小、位置、边界状态和目标间的空间位置关系等，对后续的疾病诊断、治疗工作安排具有重要的指导意义。传统的图像分割技术如基于阈值的方法、基于边缘检测的方法、基于活动轮廓的方法等利用图像中的低层次特征，很难获得高精度的分割结果。

近年来，基于深度学习的图像自动分割方法由于其优越的性能逐渐得到模式识别领域的关注，并已被广泛应用。然而，当前的深度学习方法的成功在很大程度上依赖于大规模高质量的具有像素级标注(密集标注)的训练图像。这种像素级别的标注的时间和人力成本十分高昂，极大地限制了深度学习图像分割算法的开发和应用。

近年来，为了减少对图像中密集标注的依赖，基于弱监督学习训练图像分割的深度学习模型成为一种技术趋势。常见的弱监督标注有涂鸦标注，边界框，点标注以及图像级标签等。涂鸦标签要求标注者对各个目标类别分别画一两条曲线进行标注；边界框标注将目标对象的大概位置框出来，不提供详细的内部信息；点标注只在目标对象上画点，提供初略的位置信息；图像级标签只给图像级标签以判断一幅图像中目标对象存在与否，缺少目标位置、大小信息。比较而言，涂鸦标注在具有较高的标注效率的同时，能更好的提供目标对象的位置和边界信息，因此比其他类型的弱标注可以更好地训练一个分割模型。

从稀疏的涂鸦标注中进行学习存在一定困难，由于监督信号稀少，很难直接训练出一个性能良好的图像分割模型。为了处理这一问题，常见的弱监督学习方法分为伪标签学习、一致性约束等。伪标签学习策略通过一个分割模型预测的伪标签对未标注数据进行利用，然而伪标签的质量通常较差，将极大影响模型性能。一致性约束策略通常对输入图像进行空间变换、数据增强等方式，使变换前后的图像的预测结果尽可能一致，从而对模型进行约束。然而，由于有效监督信息的缺乏，当前的弱监督学习方法与基于密集标注的学习方法之间还存在较大的性能差距。因此需要更有效的针对图像中多类别分割的弱监督学习方法。

发明内容

本发明的目的在于克服现有基于深度学习的图像分割方法对像素级密集标注的依赖性，提出一种基于弱监督的多类别分割方法。针对仅有涂鸦标注的训练图像，本发明提出了一种三分支多尺度神经网络，关注不同尺度感受野的特征并互相学习，增强模型的特征提取能力。在此基础上，基于一致性策略，提出两个一致性损失以利用像素层级信息和类间关系信息，对模型进行正则化约束以增强其分割性能。

本发明的目的可以通过以下技术方案来实现：一种基于稀疏标注的图像分割方法，该方法包括：

步骤1：构建三分支多尺度神经网络；

三分支多尺度神经网络由一个共享编码器θ

每个解码器由多个级联的卷积-上采样单元组成，每个卷积-上采样单元包含两个卷积块和上采样层，其中卷积块的结构和编码器的卷积块一致，并且两个卷积块之间使用一个随机丢弃层(Dropout)；每个解码器中的卷积块使用不同的膨胀卷积率，分别设置为r

步骤2：构建三分支多尺度神经网络的部分监督损失；

对于一组含涂鸦标注的图像数据集，用X和S分别表示一幅训练图像和对应的涂鸦标注，C表示分割的类别数量，Ω＝Ω

为利用涂鸦标注信息，使用部分交叉熵损失函数来监督网络的训练；该损失函数只在有标注的像素集合Ω

其中，i表示像素编号，c表示类别编号，n＝1,2,3表示解码器编号；

步骤3：构建基于不确定性修正的软伪标签一致性损失；

将上述三个编码器的输出取平均，得到软伪标签：

考虑到

其中，

其中，KL(·)表示Kullback-Leibler散度；

步骤4：构建基于类别相似性一致性损失；

为了使不同的解码器输出有更好的相互约束，本发明提出基于类别相似性的一致性损失函数；对于一幅大小为H×W的二维图像，将解码器的输出

其中T表示矩阵转置操作，||·||表示欧几里得范数，三个解码器得到的Q

对于一幅大小为D×H×W的三维图像，解码器n的输出为

三个解码器得到的

其中v∈{z,y,x}是视图索引；

步骤5：训练三分支多尺度网络；

将含稀疏标注的训练图像集{X,S}输入上述三分支多尺度网络，利用如下的损失函数进行迭代训练，直至收敛：

其中

步骤5：在测试图像上基于不确定性加权融合的预测；

在模型训练完成后，对于一幅测试图像，将其输入上述三分支多尺度神经网络，将三个预测分支上的结果进行加权融合，从而得到最终的预测结果；三个解码器的预测结果分别表示为P

在上述权重定义的基础上，第i个像素的融合预测结果

将

与现有技术相比，本发明具有以下优点：

(1)当前基于深度学习的图像分割方法大多依赖于大规模高质量的像素级标注图像，耗时耗力且成本高昂。本发明提出的弱监督方法只需在训练集上提供涂鸦标注，可以极大减少图像的标注成本并取得较高的分割精度。

(2)当前的大多数弱监督方法忽略了多尺度信息和类间信息的利用。对此，一方面，本方法通过三分支多尺度神经网络提取多尺度范围的信息，并且将来自不同尺度的预测结果融合形成高质量的伪标签。另一方面，本方法通过保持类别相似性一致性让网络学习类间关系信息，在标注不足的条件下提供约束。

(3)相较于传统的伪标签学习策略，本方法采用软伪标签对网络进行监督，避免因硬伪标签过于自信带来的分割区域假阳性问题。进一步的，通过基于不确定性的伪标签权重，让网络更加关注伪标签中置信度高的区域，从而提升网络的分割性能。

附图说明

图1本发明流程图；

图2训练图像中不同类别的涂鸦标注示意图；

图3本发明提出的基于三分支多尺度网络及损失函数示意图；

图4本发明提出的多视图投影类别相似性矩阵计算流程图；

图5本发明在腹部CT图像上的分割效果。图(a)是一幅测试图像；图(b)是专家手工分割结果(金标准)；图(c)是本发明提出方法的分割结果；(d)是现有方法EM的分割结果。可以看见，本发明提出的方法在仅有涂鸦标注的数据上训练，在测试图像上的分割结果优于现有的EM方法，得到的结果接近金标准。

具体实施方式

结合本发明的内容，提供以下在腹部CT图像中多类别弱监督分割的实施例，本实施例在CPU为Intel(R)Xeon(R)CPU E5-2678 v3@2.50GHz，GPU为GeForce RTX2080Ti，内存为11.0GB的计算机中实现，编程语言为Python。

步骤1、数据集的建立与预处理

建立训练数据集。收集150例三维腹部CT图像，其中100例作为训练集，20例作为验证集，30例作为测试集。在训练集上针对待分割的目标类别(包含肝脏、脾脏、左肾、右肾、脾脏等结构)，在每个切片上提供涂鸦标注，作为稀疏标注。在验证集和测试集上将各个结构手工勾画出来，作为对应个体的分割金标准。

由于腹部CT图像为对比度不高的灰度图像，因此用值为50的窗位以及400的窗宽进行灰度调整，并使用最大最小归一化将灰度值调整至[0,1]，然后使用裁剪切除掉图像中非人体区域的背景。

步骤2、三分支多尺度神经网络

本实施例中的神经网络在基本的3D UNet结构上构建，通过插入两个辅助解码器构成单编码器-三解码器的结构，如图2所示。该神经网络由一个共享编码器θ

每个解码器由多个级联的卷积-上采样单元组成，每个卷积-上采样单元包含两个卷积块和上采样层，其中卷积块的结构和编码器的卷积块一致，并且两个卷积块之间使用一个随机丢弃层(Dropout)。每个解码器中的卷积块使用不同的膨胀卷积率，分别设置为r

步骤3、三分支多尺度神经网络的部分监督损失的构建

对于一组含涂鸦标注的的图像数据集，用X和S分别表示一幅训练图像和对应的涂鸦标注，C表示分割的类别数量，Ω＝Ω

为利用涂鸦标注信息，使用部分交叉熵损失函数来监督网络的训练。该损失函数只在有标注的像素集合Ω

其中i表示像素编号，c表示类别编号，n＝1,2,3表示解码器编号。

步骤4、基于不确定性修正的软伪标签一致性损失的构建

将上述三个编码器的输出取平均，得到软伪标签：

考虑到

其中，

其中，KL(·)表示Kullback-Leibler散度。

步骤5、基于类别相似性一致性损失的构建

对于一幅大小为D×H×W的三维图像，解码器n的输出为

三个解码器得到的

其中v∈{z,y,x}是视图索引。

步骤6、三分支多尺度网络的训练

将含稀疏标注的训练图像集{X,S}输入上述三分支多尺度网络，利用如下的损失函数进行迭代训练，直至收敛：

其中

利用公式9中的损失函数，采用随机梯度下降优化器，在训练图像中采用随机裁减的方式，每次迭代采用大小为80×96×96的图像块输入神经网络，学习率为0.001进行训练。

步骤7、在测试图像上基于不确定性加权融合的预测

对于一幅测试图像，将其输入上述训练好的三分支多尺度神经网络，将三个预测分支上的结果进行加权融合，从而得到最终的预测结果。三个解码器的预测结果分别表示为P

在上述权重定义的基础上，第i个像素的融合预测结果

将

本实施例的实施流如下：

1、首先使用SimpleITK(一个医学图像计算库)和Numpy(一个矩阵运算库)编写函数对CT图像数据进行预处理。

2、利用Pytorch(一个深度学习库)搭建本发明提出的基于三分支多尺度神经网络和对应的损失函数，将预处理后的图像以及对应的涂鸦标注输入网络中。对于图像中有标注的像素区域，使用部分交叉熵损失函数

3、对一个测试图像，使用训练后三分支多尺度神经网络进行预测，通过基于不确定加权的融合方式，将三个分支上的预测结果进行融合后作为测试图像上的分割结果。