一种基于PET和CT模态融合的肺部病灶识别方法

技术领域

本发明属于图像识别技术领域，特别是涉及一种基于PET和CT模态融合的肺部病灶识别方法。

背景技术

CT检测是判断肺部疾病的常规检测方法。基于大数据处理方案，可以利用各个医院中产生了的肺部CT图像样本数据经过数据筛选，可以实现对肺部异常的检测识别。利用医院数据库中的肺部CT图像数据，可以通过基于深度学习的图像处理，筛查出结果为具有异常的CT图像。

现有的肺部CT图像识别算法通常是利用基于阈值寻找图像中所有高CT值区域，无法精准识别肺部图像中的病变位置。另外还有基于深度学习的卷积神经网络的方法，但是大部分是以2D卷积为主，会丢失深度信息，使检测结果误差较大；且单从CT图像进行识别，病灶识别精准度较差。常规的检测模型中会采用多次下采样，由于肺病灶一般体积较小(≤3mm

发明内容

为了解决上述问题，本发明提出了一种基于PET和CT模态融合的肺部病灶识别方法，能够有效提高肺部图像的病灶识别精准度。

为达到上述目的，本发明采用的技术方案是：一种基于PET和CT模态融合的肺部病灶识别方法，包括步骤：

S10,对PET和CT采集图像进行肺部目标区域剪裁；

S20,对PET图像进行SUV转换处理，对CT图像进行归一化处理，将CT和PET图像在通道维度上堆叠，作为肺病灶分割模型的输入；

S30,由肺病灶分割模型，进行病灶点位分割；

S40,对分割后对图像进行剪裁，获得病灶图像；

S50,将病灶图像输入到肺病灶分类模型，得到病灶类别结果。

进一步的是，肺部剪裁：对CT图像中的肺组织进行分割，根据分割结果生成一个能包含整个肺部的矩形方框，将CT图像及PET图像的肺部裁切出来，保留肺内的气囊、肿瘤和积液。

进一步的是，CT图像PET图像配准：以PET图像为参照，将CT图像重采样至与PET图像的尺寸、间隔、原点和方向完全一致。

进一步的是，对PET图像进行SUV转换处理：根据PET图像计算SUVbw值，从而将PET图像转化为SUV参数图。

进一步的是，所述肺病灶分割模型采用3D UNet模型，将SUV和CT图像在通道上堆叠，作为模型输入，共进行3次下采样，共得到四个尺度的特征图，分别为e0、e1、e2、e3，其通道数分别为32、64、128、256；随后进行3次上采样，并将下采样与上采样端的同样尺度特征图进行拼接，以建立跳转连接，得到d3、d2、d1、d0，其通道数同下采样过程；分割模型的目的是分离前景与背景，故类别数num_classes为2。

进一步的是，所示肺病灶分类模型采用改进的3D ResNet18，ResNet的conv层的stride设置为1，即在conv层不进行下采样；

随后使用自适应平均池化将特征图分辨率下采样，将特征图展平，经两个全连接层后得到各类别的概率，得到分类结果。

进一步的是，建立两个不同医院的数据集包括数据集一和数据集二；

基于数据集一进行病灶分割模型预训练，在数据集一上进行训练，使病灶分割模型学习肺部PET和CT图像的基本特征，使其能够捕捉PET和CT数据中的基本特征和结构；基于数据集二进行病灶分割模型的微调，在数据集二上进行微调，使网络模型根据目标任务以及数据集一与数据集二的细微差别调整学习到的特征。

进一步的是，基于数据集二以及第二次训练的分割模型的结果进行肺病灶分类模型的训练：使用改进后的三维ResNet-18模型，在经分割模型剪裁后的数据集二上进行训练；超参数设置同第一次训练；损失函数选择交叉熵损失。

采用本技术方案的有益效果：

本发明通过PET和CT的融合处理识别，利用3D分割模型和分类模型进行病灶识别和分类，能够精准的提取出肺部图片中病灶的点位和类别。本发明减少了分割模型的下采样次数，可降低前景在下采样过程中消失的风险。

附图说明

图1为本发明的一种基于PET和CT模态融合的肺部病灶识别方法流程示意图；

图2为本发明实施例中肺病灶分割模型的构架示意图；

图3为本发明实施例中肺病灶分类模型的构架示意图；

图4为本发明实施例中BasicBlock的构架示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步阐述。

在本实施例中，参见图1所示，本发明提出了一种基于PET和CT模态融合的肺部病灶识别方法，包括步骤：

S10,对PET和CT采集图像进行肺部目标区域剪裁；

S20,对PET图像进行SUV转换处理，对CT图像进行归一化处理，将CT和PET图像在通道维度上堆叠，作为肺病灶分割模型的输入；

S30,由肺病灶分割模型，进行病灶点位分割；

S40,对分割后对图像在进行剪裁，获得病灶图像；

S50,将病灶图像输入到肺病灶分类模型，得到病灶类别结果。

作为上述实施例的优化方案，对PET和CT采集图像进行肺部目标区域剪裁：肺部剪裁：对CT图像中的肺组织进行分割，根据分割结果生成一个能包含整个肺部的矩形方框，将CT图像及PET图像的肺部裁切出来，保留肺内的气囊、肿瘤和积液。

作为上述实施例的优化方案，CT图像PET图像配准：以PET图像为参照，将CT图像重采样至与PET图像的尺寸、间隔、原点和方向完全一致。

对PET图像进行SUV转换处理：标准化摄取值SUV是描述示踪剂在VOI分布的半定量参数，通常对体重和注射剂量进行标准化，如SUVbody weight＝病灶的比活度/(注射活度/体重)，反映了VOI处摄取强度与全身平均摄取强度的比较结果。根据PET图像计算SUVbw值，从而将PET图像转化为SUV参数图。

作为上述实施例的优化方案，所述肺病灶分割模型采用3D UNet模型，其具体架构如图2所示。将SUV和CT图像在通道上堆叠，作为模型输入，共进行3次下采样，共得到四个尺度的特征图，分别为e0、e1、e2、e3，其通道数分别为32、64、128、256；随后进行3次上采样，并将下采样与上采样端的同样尺度特征图进行拼接，以建立跳转连接，得到d3、d2、d1、d0，其通道数同下采样过程；分割模型的目的是分离前景与背景，故类别数num_classes为2。

作为上述实施例的优化方案，所示肺病灶分类模型采用改进的3D ResNet18，其具体架构如图3所示。与原始ResNet18不同，由于分类模型的输入是经分割模型分割与根据分割结果剪裁后的图像，其分辨率较低(48×48×48)，本发明中ResNet的conv层的stride设置为1，即在conv层不进行下采样。构成模型的主要模块为ResNet的BasicBlock，其结构如图4所示。在本发明中一共使用了6个BasicBlock。

随后使用自适应平均池化将特征图分辨率下采样，将特征图展平，经两个全连接层后得到各类别的概率，得到分类结果。

作为上述实施例的优化方案，建立两个不同医院的数据集包括数据集一和数据集二；

基于数据集一进行病灶分割模型预训练，在数据集一上进行训练，使病灶分割模型学习肺部PET和CT图像的基本特征，使其能够捕捉PET和CT数据中的基本特征和结构；基于数据集二进行病灶分割模型的微调，在数据集二上进行微调，使网络模型根据目标任务以及数据集一与数据集二的细微差别调整学习到的特征。

基于数据集二以及第二次训练的分割模型的结果进行肺病灶分类模型的训练：使用改进后的3DResNet-18模型，在经分割模型剪裁后的数据集二上进行训练；超参数设置同第一次训练；损失函数选择交叉熵损失。

本发明的分割模型使用的损失函数是FocalLoss，其原因在于FocalLoss更适用于正负样本不均衡的数据，在肺病灶分割任务中，前景像素点总数远远小于背景像素点总数，故选择FocalLoss更能提高网络的分割性能。本发明的分类模型所使用的损失函数为CELoss。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。