适宜李氏人工肝治疗的CT血管造影图像分类方法

技术领域

本发明涉及医学图像识别领域，具体是适宜李氏人工肝治疗的CT血管造影图像分类方法。

背景技术

肝衰竭是指由多种致病因素所导致的肝脏在短期内发生大块或亚大块坏死的肝脏功能衰竭综合症，临床症候群主要有凝血机制障碍、黄疽、腹水等。由于肝脏部位有大块或亚大块的坏死，导致病情发展十分迅速，肝衰竭的病死率高达70％以上。目前肝衰竭的治疗方法主要包括内科综合治疗和李氏人工肝治疗。李氏人工肝主要通过肝细胞的再生能力，通过外部设备，包括机械、理化或生物装置，在清除肝衰竭产生的有害物质的同时补充人体的必需成分，稳定机体内环境，并暂时替代部分肝脏功能，提供肝细胞再生和肝功能恢复的条件，从而有效提高患者存活率。

目前李氏人工肝在术前的诊疗判断包含了较多项医学综合评估，包括肝衰竭分期、SOFA评分、HE分级、体力状态评分、格拉斯哥昏迷评分、改良Child-Turcotte-Pugh评分等评估项目，从肝衰竭患者入院后，需要接受大量的常规项目检查和综合的内科治疗，生成一系列包括入院记录、病程记录、指标检验结果、CT影像等医疗数据，专业的人工肝团队成员根据大量的医疗数据，人为地进行计算、综合分析和评分评估，最终给出患者是否需要(适合)进行李氏人工肝治疗、患者的最佳人工肝治疗模式、人工肝医嘱和人工肝治疗常用药物方案等结论。其中，肝衰竭患者病情往往较为危重且病情进展较快，而医生需要花费大量时间从患者术前各项医疗数据中人为地提取有效信息，限制了当前李氏人工肝治疗的救治效率。因此，需要一种对病人肝脏CT影像进行快速分割的方法，从而提供给医生辅助诊疗并减轻医生的工作负担，提高工作效率。

发明内容

本发明要解决的技术问题是提供适宜李氏人工肝治疗的CT血管造影图像分割方法，用以对病人肝脏CT影像进行分割和分类。

为了解决上述技术问题，本发明提供了适宜李氏人工肝治疗的CT血管造影图像分割方法，具体过程包括：获取肝部CT血管造影图像，在上位机中将肝部CT血管造影图像进行数据增强处理后获得的图像输入至CT血管造影图像分割网络，获得二维分割结果影像和分类结果；

所述CT血管造影图像分割网络包括通过UNet++图像分割网络分割得到所述二维分割结果影像，然后二维分割结果影像经过ResNet-Att图像分类网络获得所述分类结果；所述ResNet-Att图像分类网络包括以ResNet50-base为基础预测网络，将ResNet50-base基础预测网络的Conv5中最后三个残差单元层中的3*3卷积替换为改进后的Attention自注意力模块。

作为本发明的适宜李氏人工肝治疗的CT血管造影图像分割方法的改进：

所述改进后的Attention自注意力模块包括：经过8×8与4×4两种不同尺度的池化操作后生成两个单尺度改进后的Attention自注意力模块的输出，大小均为H×W×d，进行对位求和操作后输出多尺度结果，大小为H×W×d；

所述单尺度改进后的Attention自注意力模块包括：将二维图像信息的垂直与水平方向的信息进行对位求和操作后得到位置编码矩阵r，q、k、v分别代表输入矩阵与W

作为本发明的适宜李氏人工肝治疗的CT血管造影图像分割方法的进一步改进：

所述CT血管造影图像分割网络的训练和测试过程为：建立训练集、验证集和测试集，将训练集和验证集输入至所述CT血管造影图像分割网络进行网络训练，网络的训练过程分为前向传播和反向传播二个阶段，优化器采用Adam，批大小为32，迭代次数Epoch为100，初始学习率定为0.001，按照每5个Epoch如果损失没有下降则对学习率进行衰减，衰减率0.1，终止学习率为0.00000001，获得训练好的CT血管造影图像分割网络，并将参数保存至模型文件；将测试集输入训练好的CT血管造影图像分割网络，分类结果的准确率达到目标，从而验证并获得在线使用的所述CT血管造影图像分割网络。

作为本发明的适宜李氏人工肝治疗的CT血管造影图像分割方法的进一步改进：

所述训练集、验证集和测试集的建立过程为：通过医疗单位获取肝脏CT影像数据，将所有影像数据均转换成为JPG格式的图像并由医学专家进行手工标注类别标签，同时对JPG格式的图像均进行数据增强处理，然后将数据增强处理后的图像及其对应的类别标签按照7：2：1的比例划分为所述训练集、验证集和测试集。

作为本发明的适宜李氏人工肝治疗的CT血管造影图像分割方法的进一步改进：

所述UNet++图像分割网络的训练目标函数为：

其中

作为本发明的适宜李氏人工肝治疗的CT血管造影图像分割方法的进一步改进：

所述ResNet-Att图像分类网络的算法训练目标函数为：

FL(p

其中p表示模型预测样本类别为1的概率，p

作为本发明的适宜李氏人工肝治疗的CT血管造影图像分割方法的进一步改进：

所述数据增强处理包括垂直翻转、水平翻转、随机角度旋转和随机区域裁剪，所述数据增强处理后的图像尺寸为224*224。

本发明的有益效果主要体现在：

1、本发明提出了CT血管造影图像分割网络，图像首先需经过UNet++图像分割网络再通过ResNet-Att图像分类网络进行图像分类，优化了在ResNet-Att图像分类网络上的表现，使分割后的图像更加适应分类任务，有效降低了其他干扰因素的影响，保证了网络的分类效果；

2、本发明提出的改进后的Attention自注意力模块，引入池化层对空间尺寸进行压缩，优化矩阵相乘操作计算，并通过不同池化核来获取多尺度的注意力结果弥补池化操作带来的特征损失；

3、本发明使用改进后的Attention自注意力模块将ResNet50-base基础预测网络的Conv5中最后三个残差单元层中的3*3卷积进行替换，利用自注意力机制来对全局的依赖性进行建模，进一步提升了CT血管造影图像分割网络的预测能力。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细说明。

图1为本发明的CT血管造影图像分割网络的结构示意图；

图2为图1中的UNet++图像分割网络结构示意图；

图3为本发明的UNet++图像分割网络的分割结果的示意图；

图4为ResNet50-base基础预测网络的残差单元层结构图；

图5为本发明的ResNet-Att图像分类网络中残差单元层结构图；

图6为Attention自注意力模块细节展示图。

图7为改进后的Attention自注意力模块细节展示图。

具体实施方式

下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此：

实施例1、适宜李氏人工肝治疗的CT血管造影图像分割方法，如附图1-7所示，包括以下步骤：

S1、数据采集及预处理

针对所研究肝衰竭相关CT血管造影进行数据的采集与构建，数据的采集主要通过浙江省内相关医疗单位合作获取，这些数据来自医院内部经过脱敏处理后的患者的肝脏CT影像数据。将所有患者影像数据均转换成为JPG格式的图像格式，对转换后JPG格式的患者影像数据根据是否适宜李氏人工肝治疗由医学专家进行手工分类标注。具体的数据集信息如下表1所示：

表1、CT血管造影影像的数据集

然后，对转换后JPG格式的影像数据均进行数据增强处理，包括垂直翻转、水平翻转、随机角度旋转和随机区域裁剪；数据增强处理后的图像作为适宜李氏人工肝治疗的CT血管造影图像分割网络(简称为CT血管造影图像分割网络)的输入图像，类别标签为0(被医学专家认为适宜李氏人工肝治疗)的图片与类别标签为1(被医学专家认为不适宜李氏人工肝治疗)的图片各19048张：数据增强处理后的图像格式为JPG格式，图像大小为224*224，按照7：2：1的比例对样本数据中每种类型进行划分，得到训练集、验证集和测试集，将类别标签为0和1的2类图片尽可能均匀分布于训练集、验证集和测试集中。

S2、构建CT血管造影图像分割网络

CT血管造影图像分割网络，如附图1所示，包含依次连接的UNet++图像分割网络及ResNet-Att图像分类网络，其中ResNet-Att图像分类网络以ResNet50-base为基础预测网络，加入改进后的Attention自注意力模块以提升整体网络的输出准确率。

输入的224*224的图像经过UNet++图像分割网络后，将原图像中除肝部目标区域以外的部分删去，确保输入ResNet-Att图像分类网络的图像中不包含其他干扰因素，有效降低了其他干扰因素的影响。经过UNet++图像分割网络处理后输出为224*224的图像，然后输入到ResNet-Att图像分类网络中，通过卷积提取图像中的特征信息，利用改进后的Attention自注意力模块来对全局的依赖性进行建模，最终ResNet-Att图像分类网络根据学习到的图像特征输出分类预测结果。

S2.1、构建UNet++图像分割网络

UNet++图像分割网络为现有分割网络技术，如附图2所示，根据论文所述构建(参见Zhou Z,Siddiquee M,Tajbakhsh N,et al.UNet++:Redesigning Skip Connections toExploit Multiscale Features in Image Segmentation[J].IEEE Transactions onMedical Imaging,2020,39(6):1856-1867.)；

UNet++图像分割网络结合了类DenseNet结构，密集的跳跃连接提高了梯度流动性，可以抓取不同层次的特征。不同深度的感受野对大小不同的目标敏感程度不一样，将传统的U-Net网络的空心结构填满，连接了编码器和解码器特征图之间的语义鸿沟，用感受野小的特征进行补充，让位置信息更准确。使用了深度监督，通过修剪模型来调整模型的复杂性，在速度和性能之间实现平衡。

输入的224*224的图像经过UNet++图像分割网络输出为大小为224*224的分割图像。

S2.2、构建ResNet50-base基础预测网络

ResNet50-base基础预测网络的结构如表2所示：输入图像大小为224*224，RGB图像的通道数为3，因此(3，224，224)的输入经过卷积核大小为7*7，卷积核数量为64，步距为2的Conv1后得到(64，112，112)的输出。经过Conv2中卷积核大小为3*3，步距为2的最大池化层后，得到(64，56，56)的输出并送入到包含3个步距为1的残差网络单元进行残差学习并输出(256，56，56)的特征图。Conv3、Conv4、Conv5分别包含4、6、3个步距为2的残差网络单元，通过1*1卷积进行通道数降维，并以3*3的卷积进行特征学习并最终通过1*1的卷积恢复通道数，Conv3、Conv4、Conv5分别输出为(512，28，28)、(1024，14，14)、(2048，7，7)的特征图，并在最终通过平均池化层输出分类预测结果。

表2、ResNet50-base基础预测网络

对于传统的CNN网络，简单的增加网络的深度，容易导致梯度消失和爆炸。针对梯度消失和爆炸的解决方法一般是正则初始化和中间的正则化层，但是这会导致网络的退化问题，随着网络层数的增加，在训练集上的准确率却饱和甚至下降了。ResNet-base网络通过引入残差学习结构的方式，引入了跳跃连接，这可以使上一个残差块的信息没有阻碍的流入到下一个残差块，提高了信息流通，并且也避免了由与网络过深所引起的消失梯度问题和退化问题，克服了由于网络深度加深而产生的学习效率变低与准确率无法有效提升的问题；

S2.3、构建ResNet-Att图像分类网络

ResNet50-base基础预测网络上加入改进后的Attention自注意力模块从而构建ResNet-Att图像分类网络。

Attention自注意力模块的具体结构如附图6所示，将二维图像信息的垂直与水平方向的信息进行对位求和得到位置编码矩阵r，q、k、v分别代表输入矩阵与W

但是，原Attention模块在进行注意力权重计算的时候需要进行三次矩阵相乘的运算，时间复杂度为两个O(dH

根据上面的分析发现，原Attention模块计算复杂度主要来自于矩阵相乘的操作，因此，如果可以将N减小为M(M＜＜N)，就可以有效降低计算复杂度。在原Attention模块实际使用中的特征图相对较大，因此引入池化层对空间尺寸进行压缩。对特征图r、k、v进行降维，降维后的特征图为

此外，参考文献3的做法，通过引入不同池化核来获取多尺度的注意力结果，以此来弥补池化操作带来的特征损失，并在最终将多尺度的结果进行融合。本专利采用了8×8与4×4两种不同尺度的池化操作，具体如附图7所示。

由此，改进后的Attention自注意力模块包括：经过8×8与4×4两种不同尺度的池化操作后生成两个单尺度改进后的Attention自注意力模块的输出，大小均为H×W×d，进行对位求和操作后输出多尺度结果，大小为H×W×d。其中，单尺度改进后的Attention自注意力模块具体结构包括：将二维图像信息的垂直与水平方向的信息进行对位求和操作后得到位置编码矩阵r，q、k、v分别代表输入矩阵与W

使用改进后的Attention自注意力模块将ResNet50-base基础预测网络的Conv5中最后三个残差单元层中的3*3卷积进行替换，如表3所示(表中使用ATT表示改进后的Attention自注意力模块)，使用卷积提取图像中局部的信息，然后利用自注意力机制来对全局的依赖性进行建模，进一步提升了网络的预测能力。

表3、ResNet-Att图像分类网络与ResNet50-base基础预测网络的对比

3、CT血管造影图像分割网络的训练和测试

3.1、建立训练目标函数和评价指标

UNet++图像分割网络的训练目标函数为：

其中

UNet++图像分割网络的算法评价指标包括参数量大小及交并比(Intersectionover Union，IOU)；其中参数量指模型训练需要优化的参数数量，IOU指预测值(DetectionResult，DR)和真实值(Ground Truth，GT)的交集和并集的比值，如下公式：

ResNet-Att图像分类网络的算法训练目标函数为：

FL(p

其中p表示模型预测样本类别为1的概率，p

ResNet-Att图像分类网络的算法评价指标包括准确率(Accuracy)、精确率(Precision)、F1值、召回率(Recall)指标。

准确率(Accuracy)是指模型判断正确的样本数占样本总数的比例，在正负样本比较平衡时能有效地体现模型的预测能力，其表达式如下：

精确率(Precision)，也成为查准率，表示被分为阳性的样本中实际为阳性的概率，其表达式如下：

召回率(Recall)指被正确预测的正样本在所有的真实的正样本中所占的比例，其表达式如下：

F1值对精确率和召回率进行综合评价，其表达式如下：

3.2训练过程

将步骤1中建立的训练集和验证集输入步骤2建立的CT血管造影图像分割网络进行网络训练，网络的训练过程分为两个阶段：第一个阶段是数据由低层次向高层次传播的阶段，即前向传播阶段，另外一个阶段是，目标函数在训练与测试过程中能够衡量特定输入与期望输出之间的差异，通过大量的数据训练使得特定样本输入得到的输出结果接近期待的样本真实值，将误差从高层次向底层次进行传播训练，也即所描述的反向传播阶段的训练过程。训练过程为：

1)、网络进行权值的初始化；

2)、输入数据经过卷积层、下采样层、全连接层的向前传播得到输出值；

3)、求出网络的输出值与目标值之间的误差；

4)、当误差大于期望值时，将误差传回网络中，依次求得全连接层，下采样层，卷积层的误差；当误差等于或小于期望值时，结束训练并保存经过训练的模型权重、参数的模型文件；

5)、根据求得误差进行权值更新。然后再进入到步骤2)。

优化器采用Adam，批大小(Batch Size)定为32，迭代次数(Epoch)取100，初始学习率定为0.001，按照每5个Epoch如果损失没有下降则对学习率进行衰减，衰减率0.1，终止学习率定为0.00000001。最终获得训练好的CT血管造影图像分割网络，并将参数保存至CT血管造影图像分割网络的模型文件。

3.3、测试过程

将测试集输入步骤3.2训练好的CT血管造影图像分割网络，分类预测结果的准确率达到目标为88.5％，从而验证并获得可在线使用的CT血管造影图像分割网络。

4、在线使用CT血管造影图像分割网络

获取患者的肝部CT血管造影图像，输入到上位机中；在上位机中对肝部CT血管造影图像进行数据增强处理，包括垂直翻转、水平翻转、随机角度旋转和随机区域裁剪，获得大小为224*224的图像并输入至步骤3获得的可在线使用的CT血管造影图像分割网络：先通过UNet++图像分割网络分割得到肝部CT血管造影的二维分割结果影像，然后经过ResNet-Att图像分类网络获得分类结果，并在上位机中显示输出二维分割结果影像和分类结果供医生参考使用。

实验1

实验环境如下表4所示：

表4：实验环境配置清单

实验所用数据集与实施例1的步骤1所建立的训练集、验证集和测试集一致，具体包括以下三个对比实验。

对比实验1：

为了验证UNet++图像分割网络的分割效果，通过增加了U-Net网络的通道数，得到一个和U-Net++参数量近似的网络，称为Wide U-Net。采用U-Net、Wide U-Net和UNet++网络在图像数据上进行实验，评估了三种网络的参数量及IOU指标。

采用TensorFlow框架搭建和训练了U-Net、Wide U-Net和UNet++(即本发明中称为UNet++图像分割网络)三种网络，每一层的损失函数采用了二元交叉熵与Dice系数之和，优化器采用Adam，批大小(Batch Size)定为4，迭代次数(Epoch)取300，初始学习率定为0.01，按照每3个Epoch如果损失没有下降则对学习率进行衰减，衰减率0.1，终止学习率定为0.00000001。向三种网络分别输入实验所用数据集进行训练，影像数据大小为224*224，格式为JPG。输入测试集数据计算对应的IOU指标进行模型的评估比较。实验结果如表5所示：

表5 对比实验1实验结果

结果可以看出，从U-Net到Wide U-Net，提升了参数量，带来的IOU性能提升很小。对比Wide U-Net和UNet++，在参数量较为接近的情况下，在数据集上性能提升较为明显，说明提升主要来自于网络结构的改善，证明了UNet++网络结构在本数据集上的优越性；

对比实验2：

为了验证经过UNet++图像分割网络分割后的数据集在本发明的ResNet-Att图像分类网络上的更优秀的表现，将实验数据集经过UNet++图像分割网络后(即分割后的数据集)输入ResNet-Att图像分类网络进行分类预测，同时将实验数据集不经过UNet++图像分割网络(即分割前的数据集)直接作为ResNet-Att图像分类网络输入进行分类预测，分别对分割后的数据集和分割前的数据集在ResNet-Att图像分类网络的分类效果进行评估，对比了准确率、精确率、F1值、召回率指标。实验结果如表6所示：

表6

结果证明，在CT血管造影图像分割网络中，经过UNet++网络分割后的数据集再经过ResNet-Att图像分类网络的分类结果，在四类指标上均高于分割前的数据集直接经过ResNet-Att图像分类网络的分类结果，说明网络分割后的数据集能够剔除CT图像中存在的其他干扰网络进行有效分类的噪音等因素，使得整体的指标性能有了较明显的提升。该对比实验证明经过UNet++网络分割后的数据集更为适宜作为ResNet-Att图像分类网络的输入。

对比实验3：

为了验证本发明CT血管造影图像分割网络中的ResNet-Att图像分类网络的分类效果，搭建了四个对比网络，分别为：ResNet-Att图像分类网络、ResNet50-base、文献1网络、文献2网络，将实验数据集经过UNet++图像分割网络后输出的分割图像作为四个对比网络输入，进行了四个网络的对比实验，评估了准确率、精确率、F1值、召回率指标。实验结果如表7所示：

表7

结果可以看出，ResNet-Att图像分类网络与基线网络ResNet50-base相比，在四类指标上均能有明显的效果提升，进一步证明，在网络中加入改进后的Attention自注意力模块增强了网络对全局信息的获取，优化了网络中对全局上下文信息与浅层特征的结合，这样在浅层进行检测时就有足够的上下文信息，同时也有目标的细节信息。

相比于另外文献1、文献2的网络，ResNet-Att图像分类网络调整了网络结构，加入改进后的Attention自注意力模块增强了网络对全局信息的获取，有效地实现了对上下文信息和浅层细节特征的结合，这在各类基于CT血管造影的李氏人工肝适宜治疗的图像识别场景中能够很好地应对数据中存在的大小、角度、病灶像等差异较大带来的问题。因此模型在准确率、精准率、召回率和F1值指标上表现更好，有更强的泛化性。

综合对比实验1-实验3可知，本发明对实施例1的步骤1所构建的数据集经过UNet++图像分割网络后输出的分割图像再通过ResNet-Att图像分类网络进行图像分类，优化了原数据集在ResNet-Att图像分类网络上的表现，使分割后的数据集更加适应在本场景下的分类任务，有效降低了其他干扰因素的影响，保证了网络的分类效果。另外本发明还针对网络优化问题提出了改进后的Attention自注意力模块，引入池化层对空间尺寸进行压缩，优化矩阵相乘操作计算，并通过不同池化核来获取多尺度的注意力结果弥补池化操作带来的特征损失。使用改进后的Attention自注意力模块将ResNet50-base基础预测网络的Conv5中最后三个残差单元层中的3*3卷积进行替换，利用自注意力机制来对全局的依赖性进行建模，进一步提升了CT血管造影图像分割网络的预测能力。

文献1参见Karen Simonyan,Andrew Zisserman.Very Deep ConvolutionalNetworks for Large-Scale Image Recognition.[J].CoRR,2014,abs/1409.1556；

文献2参见Christian Szegedy,Wei Liu 0015,Yangqing Jia,Pierre Sermanet,Scott E.Reed,Dragomir Anguelov,Dumitru Erhan,Vincent Vanhoucke,AndrewRabinovich.Going Deeper with Convolutions.[J].CoRR,2014,abs/1409.4842。

文献3参见Lazebnik S,Schmid C,Ponce J.Beyond bags of features:Spatialpyramid matching for recognizing natural scene categories[C]//2006IEEEComputer Society Conference on Computer Vision and Pattern Recognition(CVPR'06).IEEE,2006,2:2169-2178。

最后，还需要注意的是，以上列举的仅是本发明的若干个具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。