一种基于弱监督学习的超高分辨率医学图像分割方法

技术领域

本发明涉及医学图像语义分割领域，特别是涉及基于弱监督学习的超高分辨率医学图像语义分割方法及其模型的训练方法。本方法在超高分辨率医学图像数据集上得到良好的验证。

背景技术

如今，大量的语义分割方案都围绕着全监督卷积神经网络展开，这需要使用海量的像素级别信息，而通过人工手动地对图像进行像素级别的标注非常耗时耗力。研究表明，MSCOCO数据集的标注者平均花费10.1分钟才能实现对每张图片进行逐个像素的标注。对于全监督语义分割的方式而言，弱监督语义分割具有标注速度快、人工成本低、标注准确度更高的优点。特别是针对超高分辨率的医学图像数据集而言，其中的标注量十分庞大，并且标注人员必须具有专业背景，这无疑增加了标签获取的难度。在这种情况下，弱监督语义分割的优势更加凸显。

发明内容

由于上述现有技术的不足，本发明的目的在于提供一个基于弱监督学习的超高分辨率医学图像分割方法及其模型的训练方法，通过使用弱监督这一深度学习技术，可以在只有图像级别的弱标签信息的情况下，获得一个较为理想的分割效果。除此之外，本发明不仅考虑了标注信息的强弱问题，还关注到针对超高分辨率医学图像训练流程方法的改良问题，主要在医学图像数据集的前处理和模型预测时的后处理阶段提出几项改进，弥补了现有技术中模型训练流程存在的缺陷。

为实现上述目的及其他相关目的，本发明提供一种基于弱监督学习的医学图像分割模型的训练方法，包括以下步骤：自医院采集医学图像数据，获取若干待分割的医学图像，标注后的掩膜作为后续预测图的参照对象；对待分割的医学图像进行预处理，并按照预设比例将预处理后的图像数据划分为训练集、验证集和测试集；然后利用训练集和验证集训练一弱监督图像分割模型；在训练结束后，利用测试集对训练好的弱监督图像分割模型进行测试。

为实现上述目的及其他相关目的，本发明还提供一种基于弱监督学习的超高分辨率医学图像分割方法，分割流程图如图1所示。通过使用弱监督进行图像分割，可以在仅拥有图像级别的弱标签的情况下，获得相对准确的分割结果，并利用上述训练方法训练得到一个基于弱监督学习的超高分辨率医学图像分割模型，所述图像分割方法包括以下步骤：

首先对数据集进行预处理，并且使用数据增强手段扩充。

然后搭建分割网络，在发明中，整体采用了分割领域中常见的编码器-解码器结构，编码器可以视为特征提取网络，通常使用池化层来逐渐缩减输入数据的尺寸大小，解码器通过上采样和反卷积等网络层来逐步恢复目标的细节和相应的空间维度。本发明采用的网络基于ResNet50特征提取网络改进而来，将网络最后两个普通卷积模块替换成两个空洞卷积模块，并且将空洞卷积的采样率分别设置为2和4。输入图像进入的方式是从一侧的收缩路径开始，其中在进行三次3×3卷积操作后，搭配一次最大池化处理；

在此期间，特征图的尺寸将不断变小，直到最大池化运算重复两次后，在模型的底层，特征图首先经过一个改进的空洞卷积模块，然后通过一个1×1卷积得到分割输出。

进一步地，使用全局平均池化操作来优化卷积神经网络在图像语义分割任务中的表现。在分割网络模型的最后，将特征图流入分类器进行全局平均池化操作，从而增强特征图与类别之间的联系。全局平均池化层直接利用特征图进行分类，这有助于保留图像的空间位置信息，并且由于全局平均池化层的参数不随训练而变化，可以有效地避免过拟合现象的发生。不仅提高了模型的性能，而且还减少了模型的参数量。

此外，为了获得更全面的类激活图以用于后续的分割，将每个训练轮次的类激活图的显著区域进行累积，而每个轮次的类激活图是由上一个轮次的类激活图和当前轮次的类激活图求平均得到的。随着训练的不断进行，网络学习到的特征越来越丰富，位于最后的类激活图具有更大的权重，使得模型的分割结果更加准确。

随后，对于输入的特征图，其维度为H×W×1024。首先将该特征图使用一个1×1卷积层进行处理，使其维度变为H×W×256。接着，该特征图被输入到两个并行的分支中。在每个分支中，首先对图像进行不同采样率的分离空洞卷积处理，分别针对经过数据变换的图像和未经过数据变换的图像。然后，再次对处理后的特征图进行一次点卷积操作，使其维度变为H×W×1，即该特征图通过点卷积进行了一次降维。这种方法可以使得网络更加准确地捕捉到图像中的细节信息，提高了分割的精度。

进一步地，通过应用sigmoid函数生成注意力图。注意力图与原始特征图逐元素相乘，并将结果求和。然后通过点卷积层处理该求和结果，随后进行批归一化和激活函数处理。这一系列计算可以将特征图的尺寸恢复为H×W×1024。

模型的评价指标为平均交并比mIoU，IoU为模型预测区域和实际区域交集除以预测区域和实际区域的并集，而mIoU是将所有类的IoU取平均。本发明在DCI医学图像数据集上评估了算法预测性能，结果证明本发明的方法获得了具有竞争力的性能表现。在测试集上验证了本发明的分割效果，缩小了与全监督分割的精度差距。

附图说明

图1为本发明提出的分割方法的整体流程示意图。

图2为本发明提出的网络结构图。

图3为本发明提出的硬件配置以及软件环境图。

图4为本发明提出的膨胀预测方法滑动裁剪示意图。

图5为本发明提出的分割训练过程指标示意图。

图6为本发明提出的小图预测结果图。

图7为本发明提出的超大分辨率图像预测结果图。

具体实施方式

以下结合说明书附图，对本发明的实施实例加以详细说明，以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

本发明是一种基于弱监督学习的超高分辨率医学图像分割方法及其模型的训练方法。如图1所示，具体流程为：首先对清洗后的原始数据进行预处理和数据增强操作，该处理可以提高模型的鲁棒性和准确性。经过预处理和增强后，图像被输入卷积神经网络，经过一系列卷积、上下采样和残差连接等操作后，生成类激活图，以进一步提高模型的准确性和性能。随后，利用类激活图重新训练一个分割模型。最后，对模型的效果进行验证，主要监测模型的平均交并比指标。这个指标可以帮助评估模型的性能，并指导进一步地优化模型。

具体算法参考如下：

(1)数据预处理

对DCI医学图像数据集进行数据预处理。由于该数据集中的图像尺寸存在较大差异，分割目标的比例也不平衡，同时图像中可能存在过暗或过亮的区域，因此需要进行裁剪才能输入到网络进行训练。为了保证训练的一致性和节省显存，需要对图像的长宽进行限制，统一边长为1150，同时保持长宽比不变。另外，为了保留图像边缘的信息，本发明采用了重叠裁剪的策略。在对超高分辨率医学图像进行裁剪时，使相邻图像的边缘区域产生重叠，这种策略无需对原图进行缩放，因此每个位置的像素值与原图保持一致，避免了因缩放而引入的误差。本发明设置的重叠区域长度为边长的四分之一。

(2)数据增强

DCI医学图像数据集包含149张不同分辨率的图像，其中阳性图像有113张，阴性图像有36张。针对该数据集的特点，本发明采用了多种数据增强方法，包括缩放、镜像+上下翻转、xy平移、裁剪、旋转+裁剪以及高斯平滑。这些方法旨在从原始数据中衍生出更多的训练样本，防止模型过拟合，同时提高模型的泛化能力。

(3)网络搭建

本发明使用ResNet50作为基础神经网络。在卷积神经网络的训练过程中，固定的卷积和池化操作可以减小图像的尺寸，同时增加卷积核的感受野，但会导致在类激活图中生成只包含目标最显著区域的结果。针对利用ResNet50生成的类激活图仅能包含目标最显著区域的问题，本发明提出了一种改进方法，即加入空洞卷积模块，以提高类激活图的质量和可靠性。空洞卷积的采样率分别设置为2和4。整体网络结构如图2所示。这种方式能够有效地减轻由于下采样引起的信息丢失问题，并且在定位医学图像中的感兴趣区域时提高了模型的准确性。

本发明利用全局平均池化能够充分运用空间信息的能力，将卷积神经网络与目标分类进行了绑定。当卷积神经网络的最后一层特征图与目标类别数量一致时，每个特征图就与每类特征之间产生了更强的联系，从而可以利用特征图生成各个类别的类别置信图。

进一步地，针对给定的输入图像，本发明将主干网络的最终卷积层中第k张特征图的坐标(m，n)处的输出值定义为f

F

进一步地，在全局平均池化处理之后，引入一个全连接层。对经过全连接层输出的结果使用Softmax激活函数进行归一化操作。其中，将权重

对于给定的类别c，定义CAM

结合公式(2)和公式(3)，可以建立起类别与特征图之间的关联，表示为以下计算公式：

S

上述的网络模型主要包括主干卷积网络、上采样模块和空洞卷积模块。该模型将经过处理的数据输入，通过主干网络提取出医学图像病变区域的高级别特征，将这些特征送入上采样模块进行处理，随后通过空洞卷积模块降低信息丢失，最后利用CAM图监督网络训练。

(4)模型训练

为了使得数据变换对于特征图的影响可以被消除，本发明采用了孪生网络的思路，即采用两个分支的网络，分别处理经过数据变换的图像和未经过数据变换的图像，通过比较两个分支所得到的类激活图的相似性，评估该网络对数据变换的鲁棒性。通过同时学习数据变换和标签变换的对应关系，达到等效于分割网络产生的特征图的效果。

分割网络的总体训练步骤如下：

该网络采用改进的ResNet 50作为特征提取器，上下两个网络共享权值。上半部分处理未经过数据变换的图像，在所有卷积层之后，通过数据变换T产生类激活图。下半部分处理经过数据变换的图像，在所有卷积层之后直接得到类激活图。该网络训练的损失函数包含三个部分：两个分支的分类损失和生成的两种类激活图的正则损失。

分类损失采用二进制交叉熵函数，公式表示如下：

在医学图像数据集中，共有N个样本，其中y

L

具体地，其中T[Net(/)]表示先输入到网络中提取特征再进行数据变换操作，而Net[T(I)]表示先进行数据变换操作后再输入到网络中提取特征。这两种方式在图像处理中常常被用来探究数据变换和网络特征提取之间的关系。

在得到使用网络生成正则化的类激活图之后，通过设置不同的阈值将概率图转化为分割结果。而由于类激活图的质量会直接影响后续语义分割的效果，因此阈值分割得到的分割结果可以直接评价弱监督语义分割的效果。

本实验的硬件配置以及软件环境如图3所示，在构建以及训练模型时使用谷歌开发的Tensorflow深度学习框架，版本为2.3.0，Python版本为3.8.6，CUDA版本为10.1，CUDNN版本为7.6.5，所有实验均运行在一张NVIDIA Quadro RTX 500016GB显卡上.。

在训练模型时，采用了Adam优化器，该优化器在大多数场景下都表现出色。相较于其他优化器，Adam计算速度快，内存需求较低。更为重要的是，Adam可以自动调节学习率，提高了调参的效率，减少了调参的难度。此外，它的超参数一般无需调整，更加方便使用。在本实验中，β1设定为0.9，β2设定为0.999，∈设定为10e-8。受限于GPU显存大小，batch size被设置为24，此时显存占用为95％左右。

(5)模型预测：由于DCI医学图像的高分辨率特性，分辨率最高可达20000*20000，单张图像的内存也超过数百兆。如果直接将完整的大图输入模型进行预测，则显存很有可能会溢出，因此需要先将原图按照一定的patchsize裁剪成小图，本实施例设置patchsize为1024。本发明提出膨胀预测的方法对超高分辨率医学图像进行分割。膨胀预测的核心思想是在每次预测中仅保留图像的中心区域，舍弃四周的边缘区域。通过对超大分辨率图像进行滑动切割，被舍弃的区域会成为下一个待预测图像的中心。这种方法可以避免因边界特征提取问题而产生的拼接痕迹，在预测结果图中减少孔洞的产生。

针对超高分辨率医学图像的膨胀预测流程具体如下：

首先，对于测试集的所有大图，按照给定的patchsize大小进行裁剪，将其分割成若干个大小相同的小图。本实施例设置小图的边长为512。然而，由于大图的尺寸不一定是patchsize的整数倍，因此可能会出现最后一块小图的宽度或者高度小于patchsize的情况。为解决此问题，本发明采用像素填充的方法。具体而言，首先将原图的宽除以patchsize得到一个余数，再用patchsize减去余数，即可得到在横向(宽)方向需要填充的像素个数。同理，将原图的高除以patchsize得到一个余数，再用patchsize减去余数，即可得到在纵向(高)方向需要填充的像素个数。这里填充的像素为RGB值为(0,0,0)的黑色像素。此时，大图右下角会有一片像素填充区。

接下来，进行滑动裁剪。首先在裁剪待预测大图时保证任意相邻的两张裁剪图重叠的区域都是二分之一，示意图如图4。本发明设置的滑动步长为512,因此需要在上下左右四个边上各填充512/2＝256个像素，形成的区域为大图周围的边缘填充区。随着滑动窗口从左到右，从上到下的移动，无论大图的尺寸如何，都能被裁剪成整数个小图，并且没有损失任何边缘信息。

进一步地，将这些由大图裁剪而来的小图送入模型推理后得到的分割结果图进行拼接和复原。拼接过程如下：先将每一张小图按照相邻的顺序取中心512*512的区域，舍弃周围的区域后按照顺序进行拼接。此时得到一张由小图预测结果图拼接起来的大图；如果右下角存在填充过的黑色区域，需要再将该区域按照原先像素填充时的长度等比例裁剪掉，即可得到原图大小的分割结果图。

本发明针对弱监督分割模型的评价指标为平均交并比(mIoU)值。在模型训练过程中进行评价指标监测，如图5所示，可以看到验证集的平均交并比指标在160个训练epoch后稳定在0.80附近，表明训练趋势稳定，模型已经基本拟合。

为了验证本发明提出的分割方法的有效性，在超大分辨率DCI医学图像测试集上评估了算法性能，得到的平均交并比值为0.7732。因此本发明在使用弱标注信息的情况下，实现了较为理想的分割效果。

在对预测集的大图的局部图使用上述模型预测时，得到的分割结果图如图6所示。左边是待预测的原图，中间是人工标注的图像，右边是本发明得到的模型预测的图像，可以看出本发明的方法在局部图上取得了一个比较不错的分割效果，背景区域和病变区域被区分地较好，并且在右下角的区域，本发明的分割精细度明显要优于人工。

在对预测集的大图完整地使用上述训练得到的模型进行预测时，得到的分割结果对比图如图7所示，图7(a)为分辨率高达10656*10656的人工标注图，图7(b)为预测结果图。可以明显的看到，本发明提出的算法在超高分辨率医学图像上取得了较为准确的分割表现，输出的分割掩码具有比较精细的边缘细节，各个区域之间过渡较为平滑，整体分割性能与传统的全监督分割方法之间的差距进一步缩小。