一种基于深度学习的3D冠脉CTA斑块识别方法

技术领域

本发明涉及图像识别技术领域，具体涉及一种基于深度学习的3D冠脉CTA斑块识别方法。

背景技术

冠脉CT血管造影，简称冠脉CTA。它能清晰显示动脉斑块的位置、大小及形态，因为其无创、费用低以及操作简便而被广泛使用。但每做一次冠脉CTA检查，其产生的图像往往成百上千张，因此对血管斑块的准确识别就具有重要意义。通过冠脉CTA图像识别斑块可分为机器和深度学习方法。传统的机器学习方法识别斑块往往依赖于手工特征，如斑块大小、形状等。这种方法无法适应斑块大小不一、结构多样的特性，标注过程费时费力,并不能对斑块进行准确的描述。深度学习方法将冠脉CTA图像输入到神经网络中，通过学习相关斑块区域的特征，能够对斑块做出自动化判断。基于2D的斑块识别方法仅学习切片内的特征，通过堆叠每张切片识别的斑块区域做为最终识别结果。这种方法没有考虑斑块在切片间的上下文关系，会造成斑块区域缺失。基于2.5D的斑块识别方法利用三个解剖平面视图使用相同结构的2D网络分别识别斑块，通过融合三个网络的预测做为最终结果。这种方法虽然联系了三种视图，但是整张切片直接输入网络中忽略了诸多干扰因素的解剖结构，它们的CT值与斑块十分接近，识别错误率很高，因此，如何设计一种基于深度学习的方法有效地识别冠脉斑块仍是一个挑战性的问题。

发明内容

本发明为了克服以上技术的不足，提供了一种可以有效地定位斑块的区域位置，去除类似钙化的人体组织，同时也能够适应结构多样的斑块，完成识别任务的基于深度学习的3D冠脉CTA斑块识别方法。

本发明克服其技术问题所采用的技术方案是：

一种基于深度学习的3D冠脉CTA斑块识别方法，包括如下步骤：

a)利用残差连接构建冠脉分割网络，分割血管粗略定位冠脉斑块所在的区域，得到只含有血管的冠脉CTA图像Coronary_C；

b)训练冠脉分割网络；

c)构建斑块识别网络，将只含有血管的冠脉CTA图像Coronary_C输入到斑块识别网络，得到斑块识别网络预测图Plaque_P；

d)训练斑块识别网络。

进一步的，步骤a)包括如下步骤：

a-1)预处理冠脉CTA图像，从水平面视图去除不包含冠脉的冗余切片，得到预处理后的图像P

a-2)建立冠脉分割网络，该网络依次由收缩路径、扩展路径构成；

a-3)收缩路径由第一残差模块、第二残差模块、第三残差模块、第四残差模块构成，第一残差模块由第一基础卷积块、第二基础卷积块、第三基础卷积块构成，第一基础卷积块、第二基础卷积块、第三基础卷积块均依次由三维卷积Conv3d层、批量归一化BN层、激活函数Relu层构成，第二残差模块、第三残差模块、第四残差模块均由第一基础卷积块、第二基础卷积块构成，第一基础卷积块、第二基础卷积块均依次由三维卷积Conv3d层、批量归一化BN层、激活函数Relu层构成；

a-4)将预处理后的图像P

a-5)将特征图Coronary_EF

a-6)将特征图Coronary_EF

a-7)将特征图Coronary_EF

a-8)扩展路径由第一残差模块、第二残差模块、第三残差模块构成，第一残差模块、第二残差模块、第三残差模块均由第一基础卷积块、第二基础卷积块构成，第一基础卷积块、第二基础卷积块均依次由三维卷积Conv3d层、批量归一化BN层、激活函数Relu层构成，将特征图Coronary_EF

a-9)将特征图Coronary_DF

a-10)将特征图Coronary_DF

a-11)将特征图Coronary_DF

进一步的，步骤a-1)包括如下步骤：

a-1.1)以水平面为基准，将大小为[512,512,Z]的冠脉CTA图像统一去除前20张和后20张冗余切片，切片后得到图像大小为[512,512,Z-40]的图像P

a-1.2)使用双线性插值方法bilinear将图像P

进一步的，步骤a-1.2)中通过公式

优选的，步骤a-3)中三维卷积Conv3d层的大小为3×3×3，步长为2；步骤a-8)中三维卷积Conv3d层的大小为3×3×3，步长为2。

进一步的，步骤b)包括如下步骤：

b-1)将预处理后的冠脉CTA图像按6:2:2的比例划分为训练集、验证集和测试集；

b-2)冠脉分割网络使用交叉熵损失函数迭代500轮进行训练，每隔2轮使用验证集对冠脉分割网络进行验证；

b-3)迭代训练完成后，利用测试集对训练后的冠脉分割网络进行测试，以最优测试结果为基准保存网络模型权重。

进一步的，步骤c)包括如下步骤：

c-1)建立斑块识别网络，该网络由编码器、解码器构成；

c-2)编码器由第一残差模块、第二残差模块、第三残差模块构成，第一残差模块、第二残差模块、第三残差模块均依次由三维卷积Conv3d层、批量归一化BN层、激活函数Relu层构成；

c-3)将只含有血管的冠脉CTA图像Coronary_C输入到斑块识别网络的编码器的第一残差模块中，得到特征图PE_res

c-4)将增强特征图Plaque_EF

c-6)将增强特征图Plaque_EF

c-7)解码器由第一残差模块、第二残差模块、第三残差模块、第四残差模块构成，第一残差模块、第二残差模块、第三残差模块、第四残差模块均依次由三维卷积Conv3d层、批量归一化BN层、激活函数Relu层构成；

c-8)将增强特征图Plaque_EF

c-9)将特征图Plaque_DF

c-10)将特征图Plaque_DF

c-11)将特征图Plaque_DF

c-12)将特征图Plaque_DF

优选的，步骤c-2)中三维卷积Conv3d层的大小为3×3×3，步长为1；步骤c-6)中三维卷积Conv3d层的大小为1×1×1；步骤c-8)中三维卷积Conv3d层的大小为3×3×3，步长为1；步骤c-12)中三维卷积Conv3d层的大小为1×1×1。进一步的，步骤d)包括如下步骤：

d-1)使用dice损失函数计算斑块识别网络的模型损失，使用Adam优化器优化斑块识别网络参数。

优选的，步骤d-1)中学习率设置为le-4，使用L2正则化优化网络参数，比例因子设置为le-4，网络使用5折交叉验证。

本发明的有益效果是：通过残差连接与3D网络相结合构建冠脉分割网络、斑块识别网络，可以确保网络分割冠脉血管和斑块区域的完整。先分割血管区域实现冠脉斑块粗略定位，可以有效排除类似钙化区域的干扰，降低假阳率。基于冠脉分割网络构建斑块识别网络，利用空间注意力、通道注意力显著增强斑块区域的浅层特征和高层特征，可以适应结构多样的斑块，能够丰富边缘信息和语义信息，进一步定位斑块所在区域，完成斑块的准确识别。

附图说明

图1为本发明的网络运行流程图；

图2为本发明构建冠脉分割网络结构图；

图3为本发明构建斑块识别网络结构图。

具体实施方式

下面结合附图1、附图2、附图3对本发明做进一步说明。

一种基于深度学习的3D冠脉CTA斑块识别方法，包括如下步骤：

a)利用残差连接构建冠脉分割网络，分割血管粗略定位冠脉斑块所在的区域，得到只含有血管的冠脉CTA图像Coronary_C。

b)训练冠脉分割网络，粗略定位冠脉斑块存在区域。通过网络预测冠脉血管，冠脉血管所在的区域都作为潜在的钙化区域。

c)构建斑块识别网络，将只含有血管的冠脉CTA图像Coronary_C输入到斑块识别网络，得到斑块识别网络预测图Plaque_P。通过注意力模块增强斑块特征，进一步定位斑块区域，完成斑块识别任务。

d)训练斑块识别网络。

通过残差连接与3D网络相结合构建冠脉分割网络、斑块识别网络，可以确保网络分割冠脉血管和斑块区域的完整。先分割血管区域实现冠脉斑块粗略定位，可以有效排除类似钙化区域的干扰，降低假阳率。基于冠脉分割网络构建斑块识别网络，利用空间注意力、通道注意力显著增强斑块区域的浅层特征和高层特征，可以适应结构多样的斑块，能够丰富边缘信息和语义信息，进一步定位斑块所在区域，完成斑块的准确识别。

实施例1：

进一步的，步骤a)包括如下步骤：

a-1)预处理冠脉CTA图像，从水平面视图去除不包含冠脉的冗余切片，得到预处理后的图像P

a-2)建立冠脉分割网络，利用残差连接构建冠脉分割网络，受益于残差网络的启发，在3DUnet网络的基础上引入残差连接设计，缓解神经网络过深难以优化带来的梯度消失问题，弥补网络下采样的信息丢失。冠脉分割网络呈U型对称结构，该网络依次由收缩路径、扩展路径构成，收缩路径包含四层，扩展路径包含三层，除收缩路径第一层包含三个基础卷积块外，其余各层均包含两个基础卷积块，基础卷积块由三维卷积Conv3d、批量归一化BN和激活函数Relu组成。两个卷积块之间引入残差连接并与每一层的最后一个基础卷积块提取的特征图进行累加，构建残差模块。收缩路径中，累加的特征图经过最大池化下采样输入到下一层，通过跳跃连接送入到扩展路径同一层。扩展路径每层通过转置卷积插值方法恢复特征图与累加特征图相同的尺度，融合多尺度冠脉特征，之后送入残差模块，继续提炼特征。经过三层扩展路径，融合的多尺度冠脉特征最终通过argmax函数并转换为one-hot向量输出预测冠脉分割图。具体处理流程如下：a-3)收缩路径由第一残差模块、第二残差模块、第三残差模块、第四残差模块构成，第一残差模块由第一基础卷积块、第二基础卷积块、第三基础卷积块构成，第一基础卷积块、第二基础卷积块、第三基础卷积块均依次由三维卷积Conv3d层、批量归一化BN层、激活函数Relu层构成，第二残差模块、第三残差模块、第四残差模块均由第一基础卷积块、第二基础卷积块构成，第一基础卷积块、第二基础卷积块均依次由三维卷积Conv3d层、批量归一化BN层、激活函数Relu层构成。

a-4)将预处理后的图像P

a-5)将特征图Coronary_EF

a-6)将特征图Coronary_EF

a-7)将特征图Coronary_EF

a-8)扩展路径由第一残差模块、第二残差模块、第三残差模块构成，第一残差模块、第二残差模块、第三残差模块均由第一基础卷积块、第二基础卷积块构成，第一基础卷积块、第二基础卷积块均依次由三维卷积Conv3d层、批量归一化BN层、激活函数Relu层构成，将特征图Coronary_EF

a-9)将特征图Coronary_DF

a-10)将特征图Coronary_DF

a-11)将特征图Coronary_DF

实施例2：

步骤a-1)包括如下步骤：

a-1.1)以水平面为基准，将大小为[512,512,Z]的冠脉CTA图像统一去除前20张和后20张冗余切片，切片后得到图像大小为[512,512,Z-40]的图像P

a-1.2)使用双线性插值方法bilinear将图像P

实施例3：

步骤a-1.2)中通过公式

实施例4：

步骤a-3)中三维卷积Conv3d层的大小为3×3×3，步长为2；步骤a-8)中三维卷积Conv3d层的大小为3×3×3，步长为2。

实施例5：

步骤b)包括如下步骤：

b-1)将预处理后的冠脉CTA图像按6:2:2的比例划分为训练集、验证集和测试集。为了增加网络学习的健壮性，数图像数据一半是健康人员、一半是包含冠脉斑块。采用滑动窗口策略训练冠脉分割网络，补丁大小设置为[96,96,96],这足以包含完整的冠脉血管前景和背景。训练和验证时，以前景为中心，随机裁剪4个固定大小的补丁，前景与背景的比例设置为1：1。测试时，采用滑动窗口推理策略，感兴趣区域补丁大小设置为[160,160,160]，batch设置为4。在本发明中，冠脉分割网络使用MONAI医学图像框架实现。MONAI是NVIDIA与伦敦国王学院合作推出的开源AI框架，它能完美适应和处理医学图像。冠脉分割网络是基于3DUnet网络改进的三维网络，它能较好地捕捉图像中冠脉的上下文信息，同时能对冠脉的位置进行准确定位。

b-2)冠脉分割网络使用交叉熵损失函数迭代500轮进行训练，每隔2轮使用验证集对冠脉分割网络进行验证；

b-3)迭代训练完成后，利用测试集对训练后的冠脉分割网络进行测试，以最优测试结果为基准保存网络模型权重。

实施例6：

步骤c)包括如下步骤：

c-1)建立斑块识别网络。网络基于冠脉分割进行改进，保留了多尺度特征融合的设计，同时结合了空间和通道注意力。注意力机制可以有效地消除血管区域地干扰，能够进一步定位斑块区域，完成斑块的识别任务。在本发明中，斑块识别网络使用MONAI医学图像开源AI框架构建。斑块识别网络由编码器、解码器构成，其中，编码器使用空间注意力块，解码器使用通道注意力块。空间注意力块使用CBAM网络中的SA模块，它能够增强斑块区域浅层特征，同时细化纹理和丰富边缘信息。通道注意力块使用Squeeze and Excitation网络中的SE模块，它能够有效地建模通道之间的相互依赖关系，增强斑块区域高层特征，丰富语义信息。编码器中，每层间使用最大池化进行下采样，压缩特征维度。解码器中，使用双线性插值方法进行上采样，恢复与编码器对应层的特征维度。同时，使用跳跃连接进行多尺度特征融合，能够弥补下采样带来地细节信息丢失，捕获斑块区域的上下文信息，具体处理流程如下：

c-2)编码器由第一残差模块、第二残差模块、第三残差模块构成，第一残差模块、第二残差模块、第三残差模块均依次由三维卷积Conv3d层、批量归一化BN层、激活函数Relu层构成。

c-3)将只含有血管的冠脉CTA图像Coronary_C输入到斑块识别网络的编码器的第一残差模块中，得到特征图PE_res

c-4)将增强特征图Plaque_EF

c-5)将增强特征图Plaque_EF

c-6)将增强特征图Plaque_EF

c-7)解码器由第一残差模块、第二残差模块、第三残差模块、第四残差模块构成，第一残差模块、第二残差模块、第三残差模块、第四残差模块均依次由三维卷积Conv3d层、批量归一化BN层、激活函数Relu层构成。

c-8)将增强特征图Plaque_EF

c-9)将特征图Plaque_DF

c-10)将特征图Plaque_DF

c-11)将特征图Plaque_DF

c-12)将特征图Plaque_DF

实施例7：

步骤c-2)中三维卷积Conv3d层的大小为3×3×3，步长为1；步骤c-6)中三维卷积Conv3d层的大小为1×1×1；步骤c-8)中三维卷积Conv3d层的大小为3×3×3，步长为1；步骤c-12)中三维卷积Conv3d层的大小为1×1×1。

实施例8：

步骤d)包括如下步骤：

d-1)使用dice损失函数计算斑块识别网络的模型损失，使用Adam优化器优化斑块识别网络参数。

实施例9：

步骤d-1)中学习率设置为le-4，为了防止网络过拟合，则使用L2正则化优化网络参数，比例因子设置为le-4，网络使用5折交叉验证。将数据集平均分成5份，轮流将4份数据做为训练集，一份做为测试集。取5次测试结果的平均值评估斑块识别网络，直接在测试集上保存最优模型权重。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。