一种基于多视图多切片的肺部CT影像分类方法

技术领域

本发明属于肺部CT影像分类技术领域，具体而言是一种基于多视图多切片的肺部CT影像分类方法。

背景技术

肺部CT影像分类任务的目标是通过计算机辅助诊断对肺部CT影像中的异常进行准确的分类，即给出CT影像所属异常类别。从而对帮助医生制定针对的治疗方案，延长患者的生存时间等方面具有重要意义。例如肿瘤异常，在临床上通常采用支气管镜、胸腔穿刺等手段，对非小细胞肺癌患者进行组织学分型诊断，但这些侵入性的诊断方式会对患者身体造成创伤，因此，大量医学影像领域的研究人员采用CT影像进行非小细胞肺癌亚型分类研究。

然而，现有的基于CT影像的肺部异常区域分类方法仍存在一定的问题。一方面，仅使用CT影像的轴向视图进行异常位置的特征提取方法忽视了其他视图中所蕴含的异常位置特征；另一方面，仅使用CT影像异常位置的中心切片进行模型训练，没有考虑其他切片中包含的异常位置的形态结构信息，严重束缚住了模型的分类能力。

发明内容

本发明为解决上述现有技术存在的不足之处，提出一种基于多视图多切片的肺部CT影像分类方法，以期能充分挖掘CT影像不同切片中包含的异常区域形态结构信息，充分捕捉并利用连续切片中蕴含的空间相关性信息，从而能提升对肺部CT影像分类的准确性。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种基于多视图多切片的肺部CT影像分类方法的特点在于，包括如下步骤：

步骤1、获取肺部CT影像数据并进行预处理；

获取带有类别标签的N个病例的肺部CT影像数据，并使用三线性插值算法对肺部CT影像数据进行重采样以调整体素尺寸，从而得到每个病例的肺部CT切片集合及其对应类别标签，记为

以X

步骤2、构建CT影像分类网络，并包括：特征编码网络、基于注意力机制的特征分解网络、图像重建网络、循环神经网络以及图像分类网络；

步骤2.1、所述特征编码网络对

步骤2.2、所述基于注意力机制的特征分解网络对

步骤2.3、所述图像重建网络对

步骤2.4、所述循环神经网络GRU对

步骤2.5、所述图像分类网络是由F个全连接层构成；设置前F-1个全连接层的激活函数为Relu函数；第F个全连接层的激活函数为Softmax函数；

利用式(5)得到第t个病例的多视图多切片融合特征

式(5)中，Cat表示拼接操作，

将多视图多切片融合特征

步骤3、CT影像分类网络的训练；

步骤3.1、利用式(6)构建第t个病例的多视图多切片的分类损失函数L

步骤3.2、利用式(7)得到第t个病例在任意视图方向i上的多视图异常共有特征

步骤3.3、利用式(8)得到

式(8)中，

利用(9)计算第t个病例在任意视图方向i和j上的异常共有特征之间的特征分布差异

步骤3.4、利用式(10)构建第t个病例的多视图多切片特征的相似性损失函数L

式(10)中，

步骤3.5、利用式(11)构建第t个病例在任意视图方向i上的第l个视图切片的图像交叉重建损失函数

式(11)中，N是

步骤3.6、利用式(12)构建第t个病例在任意视图方向i上的损失函数平均值

利用式(13)构建第t个病例的多视图多切片的交叉重建损失函数L

式(13)中，

步骤3.7、利用式(14)构建第t个病例的多视图多切片的总体损失函数L

L

式(14)中，α代表L

步骤3.8、基于有标签的肺部图像集合

本发明所述的基于多视图多切片的肺部CT影像分类方法的特点也在于，所述步骤2.1中的特征编码网络依次由C

将

所述步骤2.2所述特征分解网络由C

将

和/>

依次经过C

使用Sigmoid函数对特征向量

所述背景分离层利用式(1)和式(2)分别得到第t个病例在任意视图方向i上的第l个异常共有特征

所述步骤2.3中的图像重建网络由C

任意视图方向i上的背景特有特征

将第t个病例在轴向视图方向av上的第l个背景特有特征

将第t个病例在冠状视图方向sv上的第l个背景特有特征

将第t个病例在矢状视图方向cv上的第l个背景特有特征

所述步骤2.4中的循环神经网络GRU由门控循环单元以及加权融合层构成；

步骤2.4.1、对

输入门控循环单元中进行处理，得到第t个病例在任意视图方向i上的空间相关性信息/>

步骤2.4.2、加权融合层利用式(4)获得第t个病例在任意视图方向i上的融合特征

式(4)中，

本发明一种电子设备，包括存储器以及处理器的特点在于，所述存储器用于存储支持处理器执行所述肺部CT影像分类方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。

本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序的特点在于，所述计算机程序被处理器运行时执行所述肺部CT影像分类方法的步骤。

与现有技术相比，本发明的有益效果在于：

1.本发明方法先是使用CT影像轴向、冠状和矢状视图的异常位置的中心切片以及多张相邻切片作为多视图多切片输入，以充分挖掘CT影像不同视图、不同切片中包含的异常位置的形态结构信息，并促使分类模型学习到更有辨别力的特征表示。

2.本发明在上述基础上，为了分离不同切片中的背景信息，设计了一种特征分解模块通过注意力机制来分离多视图的共有和特有特征，并提出多视图多切片交叉重建损失函数以保证特征分解的有效性，以及多视图多切片特征相似性损失函数以进一步增强多个视图共有特征之间的相似性。

3.本发明在全局计算的同时，进一步采用循环神经网络充分捕捉和利用连续切片中蕴含的空间相关性信息，显著提高了肺部CT影像分类的性能。

附图说明

图1为本发明的流程示意图；

图2为本发明的分类模型示意图；

图3为本发明的分类结果ROC曲线图。

具体实施方式

本实施例中，一种基于多视图多切片的肺部CT影像分类方法，如图1所示，是按如下步骤进行：

步骤1、获取肺部CT影像数据并进行预处理；

获取带有类别标签的N个病例的肺部CT影像数据，并使用三线性插值算法对肺部CT影像数据进行重采样以调整体素尺寸，从而得到每个病例的肺部CT切片集合及其对应类别标签，记为

以X

步骤2、如图2所示，构建CT影像分类网络，并包括：特征编码网络、基于注意力机制的特征分解网络、图像重建网络、循环神经网络以及图像分类网络；

步骤2.1、特征编码网络的处理；

特征编码网络依次由C

将

步骤2.2、基于注意力机制的特征分解网络的处理；

特征分解网络由C

将

和/>

依次经过C

使用Sigmoid函数对特征向量

背景分离层利用式(1)和式(2)分别得到第t个病例在任意视图方向i上的第l个异常共有特征

本实施例中，将尺寸为8×8×1024的特征图

步骤2.3、图像重建网络的处理；

图像重建网络由C

任意视图方向i上的背景特有特征

将第t个病例在轴向视图方向av上的第l个背景特有特征

将第t个病例在冠状视图方向sv上的第l个背景特有特征

将第t个病例在矢状视图方向cv上的第l个背景特有特征

步骤2.4、循环神经网络GRU的处理；

循环神经网络GRU由R个门控循环单元和E个加权融合层构成；本实施例中，R取3，E取1；

步骤2.4.1、对

本实施例中，对于多视图共有特征

输入门控循环单元中进行处理，得到第t个病例在任意视图方向i上的空间相关性信息/>

步骤2.4.2、加权融合层利用式(4)获得第t个病例在任意视图方向i上的融合特征

式(4)中，

步骤2.5、图像分类网络的处理；

图像分类网络由F个全连接层构成；设置前F-1个全连接层的激活函数为Relu函数；第F个全连接层的激活函数为Softmax函数；本实施例中，F取2；

利用式(5)得到第t个病例的多视图多切片融合特征

式(5)中，Cat表示拼接操作，

将多视图多切片融合特征

本实施例中，分类结果ROC曲线如图3所示，图中‘×型’曲线对应本发明的分类结果，该曲线越接近左上角分类性能越好。此外，为了定量地评估所提出方法的性能，本实施例展示了将所提出的方法与Chaunzwa等人、Marentakis等人和Guo等人的肺癌亚型分类方法在收集的499例非小细胞肺癌数据集上的性能比较结果，如表1所示。

表1与其他方法的对比

本发明在实验过程中，首先联合利用多个视图的中心切片以及多张相邻切片对模型训练，充分挖掘了CT影像中丰富的肿瘤形态结构特征，并通过特征分解模块来分离不同切片中的背景信息。此外，还通过多视图多切片交叉重建损失函数和多视图多切片特征相似性损失函数来保证特征分解的有效性。在此基础上，进一步利用循环神经网络捕捉切片变化，并学习连续切片中蕴含的空间相关性信息，提升了网络的分类性能。

步骤3、CT影像分类网络的训练；

步骤3.1、利用式(6)构建第t个病例的多视图多切片的分类损失函数L

步骤3.2、利用式(7)得到第t个病例在任意视图方向i上的多视图异常共有特征

步骤3.3、利用式(8)得到

式(8)中，

利用(9)计算第t个病例在任意视图方向i和j上的异常共有特征之间的特征分布差异

步骤3.4、利用式(10)构建第t个病例的多视图多切片特征的相似性损失函数L

式(10)中，

步骤3.5、利用式(11)构建第t个病例在任意视图方向i上的第l个视图切片的图像交叉重建损失函数

式(11)中，N是

步骤3.6、利用式(12)构建第t个病例在任意视图方向i上的损失函数平均值

利用式(13)构建第t个病例的多视图多切片的交叉重建损失函数L

式(13)中，

步骤3.7、利用式(14)构建第t个病例的多视图多切片的总体损失函数L

L

式(14)中，α代表L

步骤3.8、基于有标签的肺部图像集合

本实施例中，一种电子设备，包括存储器以及处理器，该存储器用于存储支持处理器执行上述方法的程序，该处理器被配置为用于执行该存储器中存储的程序。

本实施例中，一种计算机可读存储介质，是在计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法的步骤。