一种基于改进型Unet的CT图脑出血自动检测系统

技术领域

本发明涉及CT片识别出血领域，具体涉及一种基于改进型Unet的CT图脑出血自动检测系统。

背景技术

自发性脑出血是一种具有高发病率的神经系统急症，是脑卒中的主要原因，在高收入国家中占脑卒中的9%~13%，国内在脑卒中的占比已达到25%。在脑出血患者中，出血位置、血肿体积在脑出血患者的预后和诊疗决策中扮演着重要的角色，CT影像检查可直接显示和观察病变。

传统的手动标记分割是从CT图像中获取出血区域血肿体积的黄金标准，这种方法不仅费时费力，且由于大多数患者血肿边界的确定并不是十分明确，因此这种方法也面临着存在较大的测量者个体及个体间分割误差。现今深度学习方法在图像处理领域的成绩显著，Long等在2015年提出了全卷积网络(Fully Convolutional Network,FCN)，FCN将传统CNN网络末尾的全连接层替换为卷积层，可以实现任意与输入图像尺寸相同的输出，产生较为准确的分割结果。FCN网络有三种结构，分别是FCN-32s、FCN-16s和FCN-8s，其中FCN-8s网络的分割效果最好。Olaf Ronneberger等在FCN的基础上进行改进和拓展后提出了Unet，Unet的网络结构完全对称，主要包含编码-解码结构和跳跃连接两部分，其融合上下文特征和细节特征在一定程度上提高了分割准确度。Unet适用于各种生物医学图像的分割问题，且在2015年赢得了ISBI细胞追踪挑战赛。患者脑CT图像出血区域和非出血区域在灰度特征上具有较高的相似性，且实验样本相对较少，由于Unet网络的结构简单，出血区域的特征提取能力不足，导致其模型训练易出现过拟合现象，且分割结果相对较差。

发明内容

本发明的目的在于提供一种基于改进型Unet的CT图脑出血自动检测系统，该系统引入神经网络方法来识别与分割脑CT图像出血区域，以辅助临床诊疗决策，改善患者预后，能有效地减少人工分割的主观误差和医生的工作量，省时省力。

为实现上述目的，本发明采用如下技术方案：

一种基于改进型Unet的CT图脑出血自动检测系统，包括：

图像预处理模块，用于获取脑部CT图像，并对脑部CT图像裁剪和缩放处理后提取脑实质；

脑出血区域检测模块，采用改进的Unet网络对提取脑实质的脑部CT图像标记脑出血区域的位置；所述改进的Unet网络包括RCSP卷积模块、CBL4卷积模块、特征金字塔注意力机制模块、多尺度特征跳跃连接模块和输出模块，所述RCSP卷积模块包括4个且依次连接，位于尾端的RCSP卷积模块与特征金字塔注意力机制模块连接；所述CBL4卷积模块包括4个且依次连接，且每个CBL4卷积模块前均连接有多尺度特征跳跃连接模块，位于首端的多尺度特征跳跃连接模块与特征金字塔注意力机制模块、位于首端的RCSP卷积模块、位于第二位的RCSP卷积模块和位于第三位的RCSP卷积模块连接，位于第二位的多尺度特征跳跃连接模块与位于首端的RCSP卷积模块、位于第二位的RCSP卷积模块和位于第三位的RCSP卷积模块连接，位于第三位的多尺度特征跳跃连接模块与位于首端的RCSP卷积模块和位于第二位的RCSP卷积模块连接，位于尾端的多尺度特征跳跃连接模块与位于首端的RCSP卷积模块连接；位于尾端的CBL4卷积模块与输出模块连接；

所述RCSP卷积模块包括第一卷积单元、第二卷积单元、第三卷积单元、第四卷积单元、第五卷积单元、第六卷积单元、第一添加单元和第一连接单元，第一卷积单元与第二卷积单元和第三卷积单元连接，第二卷积单元依次连接有第四卷积单元和第五卷积单元，第五卷积单元和第二卷积单元均与第一添加单元连接，第一添加单元与第六卷积单元连接，第六卷积单元和第三卷积单元均与第一连接单元连接；所述CBL4卷积模块包括依次连接的第七卷积单元、第八卷积单元、第九卷积单元和第十卷积单元；

所述输出模块包括第二十九卷积单元、第三十卷积单元；

数据分析模块，用于估算一组病例的出血总体积和生成患者颅脑出血区域三维成像。

进一步地，所述特征金字塔注意力机制模块包括第一平均池化单元、第二平均池化单元、第三平均池化单元、第一上采样子单元、第二上采样子单元、第三上采样子单元、第四上采样子单元、第十一卷积单元、第十二卷积单元、第十三卷积单元、第十四卷积单元、第十五卷积单元、第十六卷积单元、第十七卷积单元、第十八卷积单元、第十九卷积单元、第二十卷积单元、第二十一卷积单元、第二连接单元、第三连接单元和第一乘积单元，

第一平均池化单元、第十二卷积单元、第一上采样子单元和第三连接单元依次连接，第十一卷积单元、第一乘积单元、和第三连接单元依次连接，第二平均池化单元分别与与第十三卷积单元、第十五卷积单元、第三平均池化单元连接，第十三卷积单元与第十四卷积单元连接，第十五卷积单元与第十六卷积单元连接，第十四卷积单元和第十六卷积单元均与第二连接单元连接，第三平均池化单元分别与第十七卷积单元、第十九卷积单元连接，第十七卷积单元、第十八卷积单元、第二上采样子单元依次连接，第十九卷积单元、第二十卷积单元、第三上采样子单元依次连接，第二上采样子单元和第三上采样子单元均与第二连接单元连接，第二连接单元、第四上采样子单元、第二十一卷积单元、第一乘积单元依次连接。

进一步地，所述第一卷积单元、第四卷积单元和第五卷积单元的卷积核为3×1，第二卷积单元、第三卷积单元和第六卷积单元的卷积核为1×1。

进一步地，第七卷积单元和第九卷积单元的卷积核为1×1，第八卷积单元和第十卷积单元的卷积核为3×1。

进一步地，第二十九卷积单元的卷积核个数为2、大小为3、步长为1，激活函数是Mish函数，边界处理零填充均为Same，第三十卷积单元的卷积核个数为1、大小为1、步长为1、激活函数为Sigmoid函数，边界处理零填充为Valid。

进一步地，所述第十一卷积单元和第十二卷积单元的卷积核为1×1，第十三卷积单元和第十四卷积单元的卷积核为5×1，第十五卷积单元和第十六卷积单元的卷积核为3×1，扩张系数为3，第十七卷积单元和第十八卷积单元的卷积核为3×1，第十九卷积单元和第二十卷积单元的卷积核为3×1，扩张系数为5，第二十一卷积单元的卷积核为2×1。

进一步地，所述特征金字塔注意力机制模块与RCSP卷积模块之间还连接有神经元失效模块，用于防止网络过度拟合。

进一步地，两两RCSP卷积模块之间连接有下采样模块。

进一步地，两两CBL4卷积模块之间连接有上采样模块。

进一步地，改进的Unet网络中所有的卷积单元的激活函数均采用Mish激活函数。

与现有技术相比，本发明具有如下有益效果：

（1）实现了脑出血自动检测和出血区域总体积估算与三维成像，有效地减少了人工分割的主观误差和医生的工作量，为临床决策提供了有效的数据支撑，并且实现了Unet来检测脑出血，利用了CT图像中的更多的上下文的语义信息，检测准确率更高；

（2）在脑CT图像预处理过程中保证了脑实质完整，并在脑实质完整前提下裁剪并缩放CT图尺寸，在检测脑出血时图像中干扰较少。

附图说明

图1为本发明的结构示意图。

图2为本发明的改进Unet网络结构示意图。

图3为本发明的RCSP卷积模块结构示意图。

图4为本发明的特征金字塔注意力机制模块结构示意图。

图5为本发明的CBL4卷积模块结构示意图。

图6为本发明的Loss曲线和Accuracy曲线变化图。

图7为本发明的实验网络性能对比图。

具体实施方式

本实施例涉及的英文的中文注释如下：

Unet：应用在生物医学图像分割的卷积网络；CT：计算机断层扫描成像；RCSP：残差机制与跨阶段层次结构；CBL4：四个卷积块结构；Mish：自正则非单调神经激活函数；Same：零填充；Sigmoid：二分类激活函数；Valid：不填充；FCN：全卷积网络；CNN：卷积神经网络；FCN-32s：全卷积网络-32s；FCN-16s：全卷积网络-16s；FCN-8s：全卷积网络-8s；Loss：损失率；Accuracy：准确率；sofmax：多分类激活函数；Base：原始Unet网络；Dice：相似性系数；PPV：正向预测系数；SC：灵敏度系数；batch_size：次训练所选取的样本数；steps_per_epoch：一轮训练所设置的训练次数；epochs：总训练轮数；exponential_decay：学习率指数衰减函数；decay_steps：衰减速度；decay_rate：学习率衰减系数；FPA：特征金字塔注意力机制；Multi：多尺度特征跳跃连接。

本实施例提供的一种基于改进型Unet的CT图脑出血自动检测系统，引入神经网络方法来识别与分割脑CT图像出血区域，以辅助临床诊疗决策，改善患者预后，能有效地减少人工分割的主观误差和医生的工作量，省时省力。

如图1所示，基于改进型Unet的CT图脑出血自动检测系统包括图像预处理模块、脑出血区域检测模块和数据分析模块，所述图像预处理模块用于对原始脑CT图片进行预处理，在保证脑实质完整的前提下减少其他图像对检测脑出血的干扰；所述图像预处理模块利用传统图像处理方法提取图像中的脑实质区域，并对提取的脑实质的CT图像进行裁剪和缩放，使图像的大小为416×416。

所述脑出血区域检测模块用于对提取脑实质的CT图像标记脑出血区域的位置；所述脑出血区域检测模块具体采用改进的Unet网络实现对提取脑实质的CT图像标记脑出血区域的位置，如图2所示，改进的Unet网络包括RCSP卷积模块、CBL4卷积模块、特征金字塔注意力机制模块、多尺度特征跳跃连接模块和输出模块。

所述RCSP卷积模块包括4个，本实施例在RCSP卷积模块之前加入第一、第二、第三、第四对其进行区别，不具有特殊含义，但是RCSP卷积模块的结构是完全相同的。第一RCSP卷积模块、第二RCSP卷积模块、第三RCSP卷积模块、第四RCSP卷积模块依次连接，且所述第一RCSP卷积模块、第二RCSP卷积模块、第三RCSP卷积模块的输出端均设置有下采样单元，所述下采样单元采用一个卷积单元实现，所述第四RCSP卷积模块的输出端连接有神经元失效单元，用于防止神经网络过拟合，具体采用一个正则化子单元实现，正则化子单元的块大小为7，伯努利概率为0.9；采用4个RCSP卷积模块、3个下采样单元和一个神经元失效单元构成了Unet网络的编码区，可解决传统Unet网络中会出现训练过拟合导致网络性能退化的问题，从而不能得到最优训练结果。

所述RCSP卷积模块是将残差机制和跨阶段层次结构相结合的结构，其结构如图3所示，所述RCSP卷积模块包括第一卷积单元、第二卷积单元、第三卷积单元、第四卷积单元、第五卷积单元、第六卷积单元、第一添加单元和第一连接单元，第一卷积单元与第二卷积单元和第三卷积单元连接，第二卷积单元依次连接有第四卷积单元和第五卷积单元，第五卷积单元和第二卷积单元均与第一添加单元连接，第一添加单元与第六卷积单元连接，第六卷积单元和第三卷积单元均与第一连接单元连接；其中，第四卷积单元和第五卷积单元构成了一个残差块，通过引入残差块解决网络深度变深以后模型性能退化的问题，也开创性地将深度神经网络的层数提高；但不会增加额外的参数和计算量，且能增加网络的学习速度，提高训练效果。由第三卷积单元以及“第二卷积单元、残差块、第一添加单元和第六卷积单元”构成的跨阶段层次结构，通过分割梯度流，让梯度流在不同的网络路径中传播后再合并，增强了网络的学习能力，使得模型在轻量化的同时保持准确性，降低了模型训练的计算瓶颈和内存成本；减少下采样过程中信息的损失。所述RCSP卷积模块中的第一卷积单元输入经过预处理后CT图像，第一连接单元将经过RCSP卷积模块处理后的CT图像输出至下一处理模块，其中，第一RCSP结构的第一卷积单元的卷积核个数为64、其余卷积单元的卷积核个数为32，第二RCSP结构的第一卷积单元的卷积核个数为128、其余卷积单元的卷积核个数为64，第三RCSP结构的第一卷积单元的卷积核个数为256、其余卷积单元的卷积核个数为128，第四RCSP结构的第一卷积单元的卷积核个数为512、其余卷积单元的卷积核个数为256，并且所有RCSP卷积模块中第一卷积单元、第四卷积单元、第五卷积单元的卷积核大小均为3、步长均为1，第二卷积单元、第三卷积单元、第六卷积单元的卷积核大小均为1、步长均为1，所有卷积单元的激活函数均是Mish函数，边界处理零填充均为Same。

在编码区的输出端还设有一个特征金字塔注意力机制模块，用于融合多尺度信息，将更多的信关注点放在高维度特征上，挖掘样本的困难信息，所述特征金字塔注意力机制模块结构如图4所示，它包括第一平均池化单元、第二平均池化单元、第三平均池化单元、第一上采样子单元、第二上采样子单元、第三上采样子单元、第四上采样子单元、第十一卷积单元、第十二卷积单元、第十三卷积单元、第十四卷积单元、第十五卷积单元、第十六卷积单元、第十七卷积单元、第十八卷积单元、第十九卷积单元、第二十卷积单元、第二十一卷积单元、第二连接单元、第三连接单元和第一乘积单元，第一平均池化单元、第十二卷积单元、第一上采样子单元和第三连接单元依次连接，第十一卷积单元、第一乘积单元、和第三连接单元依次连接，第二平均池化单元分别与与第十三卷积单元、第十五卷积单元、第三平均池化单元连接，第十三卷积单元与第十四卷积单元连接，第十五卷积单元与第十六卷积单元连接，第十四卷积单元和第十六卷积单元均与第二连接单元连接，第三平均池化单元分别与第十七卷积单元、第十九卷积单元连接，第十七卷积单元、第十八卷积单元、第二上采样子单元依次连接，第十九卷积单元、第二十卷积单元、第三上采样子单元依次连接，第二上采样子单元和第三上采样子单元均与第二连接单元连接，第二连接单元、第四上采样子单元、第二十一卷积单元、第一乘积单元依次连接；其中，第一平均池化单元、第二平均池化单元和第十一卷积单元的输入端输入上一级处理模块输出的特征图，第三连接单元的输出端与下一级处理模块连接；第十一卷积单元、第十二卷积单元的卷积核大小均为1、步长均为1，第十三卷积单元、第十四卷积单元的卷积核大小均为5、步长均为1，第十五卷积单元、第十六卷积单元的卷积核大小均为3、步长均为1，扩张系数为3，第十七卷积单元、第十八卷积单元的卷积核大小均为3、步长均为1，第十九卷积单元、第二十卷积单元的卷积核大小均为3、步长均为1，扩张系数为5，第二十一卷积单元的卷积核大小为2、步长为1，第一平均池化单元、第一上采样子单元的卷积核个数均为52、步长均为2，第二平均池化单元、第三平均池化单元、第二上采样子单元、第三上采样子单元、第四上采样子单元的卷积核个数均为2、步长均为2，并且所有卷积单元的卷积核个数均为512、激活函数均是Mish函数、边界处理零填充均为Same。

所述CBL4卷积模块包括4个，本实施例在CBL4卷积模块之前加入第一、第二、第三、第四对其进行区别，不具有特殊含义，但是CBL4卷积模块的结构是完全相同的。第一CBL4卷积模块、第二CBL4卷积模块、第三CBL4卷积模块、第四CBL4卷积模块依次连接，第一CBL4卷积模块、第二CBL4卷积模块、第三CBL4卷积模块、第四CBL4卷积模块的输入端均设有多尺度特征跳跃连接模块，第一CBL4卷积模块、第二CBL4卷积模块、第三CBL4卷积模块的输出端均设有上采样单元，通过4个CBL4卷积模块、4个多尺度特征跳跃连接模块和3个上采样单元构成Unet网络的解码区。

如图5所示，所述CBL4卷积模块包括依次连接的第七卷积单元、第八卷积单元、第九卷积单元和第十卷积单元；其中，第一CBL4卷积模块的第七卷积单元和第九卷积单元的卷积核个数为256、第八卷积单元和第十卷积单元的卷积核个数为512，第二CBL4卷积模块的第七卷积单元和第九卷积单元的卷积核个数为128、第八卷积单元和第十卷积单元的卷积核个数为256，第三CBL4卷积模块的第七卷积单元和第九卷积单元的卷积核个数为64、第八卷积单元和第十卷积单元的卷积核个数为128，第四CBL4卷积模块的第七卷积单元和第九卷积单元的卷积核个数为32、第八卷积单元和第十卷积单元的卷积核个数为64，并且所有CBL4卷积模块的第七卷积单元和第九卷积单元的卷积核大小均为1、步长均为1，第八卷积单元和第十卷积单元的卷积核大小均为3、步长均为1，所有卷积单元的激活函数均是Mish函数，边界处理零填充均为Same。

所述输出模块包括第二十九卷积单元、第三十卷积单元，第二十九卷积单元的输入端与第四CBL4卷积模块连接，第三十卷积单元输出标记的脑出血位置为真的概率；其中，第二十九卷积单元的卷积核个数为2、大小为3、步长为1，激活函数是Mish函数，边界处理零填充均为Same，第三十卷积单元的卷积核个数为1、大小为1、步长为1、激活函数为Sigmoid函数，边界处理零填充为Valid。

将Unet网络的编码区的低层次特征与Unet网络的解码区的高层次特征进行拼接，但两者在语义上有较大差异，直接拼接不利于还原下采样所带来的信息损失；因此设置所述多尺度特征跳跃连接模块，实施例在多尺度特征跳跃连接模块之前加入第一、第二、第三、第四对其进行区别，不具有特殊含义，但是多尺度特征跳跃连接模块的结构是完全相同的。如图2所示，第一多尺度特征跳跃连接模块的输入端与第一RCSP卷积模块、第二RCSP卷积模块、第三RCSP卷积模块和特征金字塔注意力机制模块连接，输出端与第一CBL4卷积模块连接；第二多尺度特征跳跃连接模块的输入端与第一RCSP卷积模块、第二RCSP卷积模块和第三RCSP卷积模块连接，输出端与第二CBL4卷积模块连接；第三多尺度特征跳跃连接模块的输入端与第一RCSP卷积模块和二RCSP卷积模块连接，输出端与第三CBL4卷积模块连接；第四多尺度特征跳跃连接模块的输入端与第一RCSP卷积模块连接，输出端与第四CBL4卷积模块连接；实现将不同尺寸特征图的低级语义与高级语义进行融合，可有效地减少编码区和解码区的语义差距。

所述多尺度特征跳跃连接模块包括依次连接的最大池化层、卷积层和sofmax层，最大池化层的输入端与RCSP卷积模块连接，sofmax层的出输出端与CBL4卷积模块连接，因为每个多尺度特征跳跃连接模块连接的RCSP卷积模块数量不同，因此多尺度特征跳跃连接模块设置的最大池化层、卷积层个数也不相同，与其连接的RCSP卷积模块数量一致，多个卷积层均与sofmax层连接。

所述数据分析模块用于估算脑出血区域检测模块检测的脑出血的出血总体积和生成患者颅脑出血区域三维成像；数据分析模块包括出血总体积计算单元和三维成像单元；其中，出血总体积计算单元是通过累加计算一组病例的每张CT图标记结果的出血区域的实际面积乘设定CT层厚值，三维成像单元是将一组病例的二维标记结果结合设定CT层厚值生成三维数据并叠加显示。

本实施例提供的基于改进型Unet的CT图脑出血自动检测系统进行试验验证，并同时与FCN-8s网络、Base网络、Unet++网络进行对比。

所有实验网络的性能评价指标如下：

Dice（相关性系数）是医学图像分割任务中最常见的衡量指标，用来评估两个轮廓之间相似程度，一般认为Dice>0.7表示模型分割和医生手动分割区域两者的重复度高，分割效果好。

PPV（正向预测系数）表示在实验结果中正确被分类的正样本在所有被分类为正样本中所占的比例。

SC（灵敏度系数）表示在实验结果中正确被分类的正样本在所有被分类的正样本中所占的比例。

本实施例的Unet网络的的batch_size设为3，steps_per_epoch设为573，epochs设为240，网络总迭代次数为137520，学习率初始化为0.00004，使用exponential_decay函函数实现指数突变衰减学习率，其中decay_steps设为8595，decay_rate设为0.8，网络每迭代8595次即15轮学习率下降20%。改进的Unet网络训练的损失率曲线和准确率曲线变化如图6所示。

为证明Unet网络中提出的改进方法对出血区域的分割效果是有效的。实验网络结构包括FCN-8s网络、Unet++网络、以使用Mish激活函数与Dice损失函数的Unet网络为基准(Base)，在此基础上加入RCSP结构与CBL4结构(Base+RCSP+CBL4)，并分别加入FPA结构(Base+RCSP+CBL4+FPA)与多尺度特征跳跃连接(Base+RCSP+CBL4+Multi)，以及本文提出的改进Unet网络(Base+RCSP+CBL4+FPA+Multi)。最终的实验结果如表1所示。

表1实验网络数据对比

在表1中，所有网络的训练参数一致，该表展示了各项实验在本文所用CT图像数据集上的脑出血区域分割性能。可以看出，实施例提出的改进Unet网络的性能表现明显优于Base网络，Dice、PPV和SC这三项指标分别提升了6.7%、7.03%和5.6%，该网络性能也在与FCN-8s网络和Unet++网络的分割结果的对比中得到证实。图7更直观地体现了对比实验结果，可以看出改进Unet网络在Dice、PPV和SC三个指标均高于Base网络、FCN-8s网络和Unet++网络。

以上所述仅是本发明优选的实施方式，但本发明的保护范围并不局限于此，任何基于本发明所提供的技术方案和发明构思进行的改造和替换都应涵盖在本发明的保护范围内。