一种基于Mask RCNN的肝脏肿瘤实例分割方法

技术领域

本发明涉及深度学习、计算机视觉和医学图像领域，特别涉及GAM注意力机制、多层特征融合模块和基于Mask RCNN的肝脏肿瘤实例分割分割方法。

背景技术

早期的实例分割方法大多数都使用CNN进行特征提取，然后使用特殊的后处理进行实例分割。这类实例分割方法通常都需要使用复杂的方法提取到目标，再对目标进行进一步的分割。随着目标检测和语义分割的发展，在2015年，Zhang Z等人先使用CNN对目标进行定位和标记，再使用条件随机场对目标进行实例分割。由于使用CNN可以很好地提取相关特征，2015年Liang X等人使用了CNN进行特征提取和预测，CNN分别预测每个像素的实例标签、边界框坐标以及分割标签，最后通过聚类算法得到最后的实列分割结果。在使用CNN提取特征，后处理进行实例分割的方法中，在2016年，J.Uhrig等人使用CNN为每个实例中的像素分配一个标签，这个标签对应于目标中心周围的八个关联区域之一，然后使用模板匹配将实例中心提议和像素与实例目标相匹配。

同样随着卷积神经网络的发展，也有很多基于RNN的实例分割工作，在2016年，M.Ren等人的工作首先也同样使用CNN来提取特征，在提取到特征后，输入RNN网络，RNN网络循环输出每一个目标的检测和分割结果，同时，RNN网络也会对已经实现实例分割的目标进行屏蔽，以此来避免同一个目标重复进行实例分割。

在医疗图像领域，对于器官和病灶，以及一些情况下细胞的自动分割和检测，是临床实践以及生物医学研究中一项基本任务。近些年随着深度学习的发展，一些实例分割方法也逐渐应用到了医学领域。在2020年，QuA等人为显微镜下的细胞核的实例分割任务提出了一种方法，该方法是一种双流的卷积神经网络，其中检测流使用结合了FPN的SSD算法，对细胞核进行检测，分割流使用了U-net进行分割，并且作者也加入了残差结构和注意力机制帮助网络进行信息聚焦和整合。最终在细胞核实例分割任务中取得了非常好的成绩。同样是针对细胞核的实例分割任务，在2021年，由Dogar G M等人提出的工作中，对网络结构进行了修改，使用了注意力机制和修改后的残差网络，对细胞核进行实例分割。

在CT和X射线图像中，也有相关的实例分割的应用。在牙齿诊断中，X射线图像较为常用，在2018年，JaderG等人提出[17]的工作中，作者第一个在全景X射线图像中，使用MaskRCNN分割每颗牙齿。2018年，Rezaei M等人提出了一个端到端的多任务学习框在CT图像中进行肿瘤实例分割吗，作者将网络分为了三个步骤，分别是检测、分割和分类，通过结合霍夫变换和边缘检测提高检测的效果，通过将建议区域进行划分，最终达到了不错的效果。

尽管目前在医疗领域有很多实例分割的工作，但是对于肝脏肿瘤的或者其他肿瘤的实例分割方法依然不多。

本发明的创新点与现有技术的区别

在本文中，本工作基于Mask RCNN和肝脏肿瘤的一些特性，提出了一种肝脏肿瘤实例分割的方法。目前主流的实例分割任务常使用效果稳定的Mask RCNN算法。但肝脏部位肿瘤的形状、大小、位置以及和其他器官的对比度等情况相对复杂。在对每个肿瘤进行实例分割时，需要同时进行肿瘤的检测和语义分割，此时特征图的语义信息和位置信息对于分割网络都同样重要，需要对这两种信息进行交互和融合，让网络学习到二者的依赖关系。此外，在肝脏肿瘤的实例分割任务中，由于会出现多个位置存在同种肿瘤以及少量不同种类肿瘤的情况，前者的实例分割需要更多位置信息，后者的实例分割需要更多的语义信息。本文首先通过引入GAM模块来使得语义信息和位置信息得到交互，让网络学习到二者的依赖关系，其次通过设计多层特征融合模块，让网络在不同的肿瘤分布的情况下，能学习到对语义信息和位置信息分配不同的权重。

发明内容

为了解决当前肝脏肿瘤实例分割任务中，Mask RCNN网络结构无法融合语义信息和位置信息，无法学习到语义信息和位置信息权重的问题。

本发明采用的技术方案为一种基于Mask RCNN的肝脏肿瘤实例分割方法，该方法将处理后的肝脏CT图像作为网络的输入，经过网络的计算，输出与原图像尺寸相同的预测分割图。这是一种端到端的肝脏肿瘤实例分割方法，方法包括处理肝脏CT图像，训练模型，分割图像三个过程，具体如下：

步骤S1，处理肝脏CT图像过程：

步骤S1.1，将肝脏CT图像范围调整至医生推荐水平；

步骤S1.2，将一组肝脏CT，转换为单张的图片；

步骤S2，模型训练过程：

步骤S2.1，将原始图像样本输入把Mask RCNN神经网络，经过网络映射，输出与原图尺寸相同的分类概率图，用以表示肝脏肿瘤图像的分割结果；

步骤S2.2，在S2.1的基础上，根据损失函数计算公式，计算概率图中每个像素的分类损失值，并求和所有损失值，将其作为网络模型的优化目标，优化上述Mask RCNN卷积神经网络；

步骤S2.3重复步骤S1.1至步骤S1.2，直至上述Mask RCNN模型收敛；

步骤S3，肝脏肿瘤实例分割过程：

步骤S3.1，加载Mask RCNN网络训练好的参数；

步骤S3.2，将原始测试样本作为Mask RCNN网络的输入，通过Mask RCNN网络的计算，获取其对应的分类概率图，即分割结果；

本文提出了一种基于Mask RCNN的肝脏肿瘤实例分割方法，用以实例分割肝脏肿瘤。肝脏部位肿瘤的形状、大小、位置以及和其他器官的对比度等情况相对复杂。在对每个肿瘤进行实例分割时，需要同时进行肿瘤的检测和语义分割，此时特征图的语义信息和位置信息对于分割网络都同样重要，需要对这两种信息进行交互和融合，让网络学习到二者的依赖关系。此外，在肝脏肿瘤的实例分割任务中，由于会出现多个位置存在同种肿瘤以及少量不同种类肿瘤的情况，前者的实例分割需要更多位置信息，后者的实例分割需要更多的语义信息。本发明首先通过引入GAM模块来使得语义信息和位置信息得到交互，让网络学习到二者的依赖关系，其次通过设计多层特征融合模块，让网络在不同的肿瘤分布的情况下，能学习到对语义信息和位置信息分配不同的权重。

附图说明

图1为本发明所涉及的GAM模块结构图；

图2为本发明所涉及的多层特征融合模块结构图；

图3为本发明所涉及的Mask RCNN整体结构图；

具体实施方式

为使本发明的目的，技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明做近一步的详细说明。

步骤S1，处理肝脏CT图像过程：

步骤S1.1，通过nibabel包，使用python语言，将肝脏CT图像读入内存，操作CT图像对应的矩阵，将矩阵内的数值范围调整至医生推荐的-75至+175；

步骤S1.2，将读入内存的肝脏CT矩阵，按照第三个维度的长度进行切分，每切一次就使用opencv库中的保存函数，转换切分好的矩阵转换为单张的图片；

步骤S2，模型训练过程：

步骤S2.1，从训练集中抽取N张转换好的图片作为网络的输入，经过网络训练，输出与原图尺寸相同的且深度为一的分类概率图，用以表示肝脏肿瘤图像的分割结果。网络总体结构如图3所示。网络结构具体构成为：首先为ResNet各个阶段的输出，C5阶段的输出经过GAM模块，随后和其他阶段的输出一起经过多层特征融合模块，最终输出一个深度为一的分类概率图，即网络的输出。其中GAM模块和多层特征融合模块如图1和图2所示；

步骤S2.2，前向传播完成后，根据损失函数计算公式，计算概率图中每个像素的分类损失值，并求和所有损失值，将其作为网络模型的优化目标，反向传播优化上述MaskRCNN卷积神经网络；

步骤S2.3重复步骤S1.1至步骤S1.2，直至上述Mask RCNN模型收敛；

步骤S3，肝脏肿瘤实例分割过程：

步骤S3.1，加载Mask RCNN网络训练好的参数；

步骤S3.2，将原始测试样本作为MaskRCNN网络的输入，通过MaskRCNN网络的计算，获取其对应的分类概率图，即分割结果；

所述步骤S2.2中，利用Adam优化算法训练输入真实图像的卷积神经网络，实现图像目标的精确快速检测。

第一个实验采用的数据集是2018年在西班牙格拉纳达的MICCAI(Medical ImageComputing and Computer Aided Interventions)会议上举行的医学图像分割十项全能(Medical Segmentation Decathlon)比赛中公开的数据集。该比赛共有十项挑战，本文这里选用肝脏肿瘤任务上使用的数据集。该数据集由201个门静脉期的对比增强CT组成，这些图像是由多个临床站点提供的，包括德国路德维希·马克西米利安慕尼黑大学，荷兰奈梅亨的拉德布德大学医学中心(荷兰)，以色列谢巴医学中心等。数据集中的患者患有多种原发性癌症，比如包括肝细胞癌，以及大肠源性转移性肝癌，乳腺癌和肺癌的转移性肝病。这些图像有的是治疗前采集的，有的是则是在治疗后采集。一些图像中包含金属伪影，本文在实验中将伪影严重的CT进行了剔除。图像的面内分辨率为0.5到1.0毫米，切片厚度为0.45到6.0毫米。肝脏和肿瘤的位置由放射科医生进行了标注。其中每个图像呈现一个或多个病灶。

模型检测效率最高时训练使用的超参数如下表X所示：

实验结果如下：

在Decathlon数据集上交叉验证的结果：

本发明方法构建了基于GAM和多层特征融合模块的Mask RCNN肝脏肿瘤分割方法，通过引入了GAM，融合肝脏肿瘤实例分割过程中的位置信息和语义信息；通过提出多层特征融合模块，使得网络可以学习到语义信息和位置信息权重的能力，可以更好的分割复杂情况下的肿瘤。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的包含范围应该以权力书的保护范围为准。