一种基于多模型融合的肺结节良恶性分类方法

技术领域

本发明涉及肺结节图像良恶性分类技术领域，具体涉及一种基于多模型融合的肺结节良恶性分类方法。

背景技术

肺癌是一种严重威胁着人类的健康的致命的恶性疾病且发病率高。由于空气污染和吸烟人口的增加，肺癌的发病率与日俱增，由肺癌引起的死亡人数正在增加。2020年全球癌症统计肺癌约占全球癌症相关死亡的18％，晚期癌症的5年相对生存率低于5％，而早期癌症的5年相对生存率超过60％，因此，及时诊断可以提高患者的预后效果并提供最佳治疗机会。肺癌的早期表现为肺结节，因此，基于计算机断层扫描区分良性和恶性肺结节对于确定患者肺部的健康至关重要。

传统的肺癌筛查方法通常由医生按切片来分析肺结节图像，这种方法不仅费时费力，而且比较依赖于医生经验，此外，肺结节非常复杂并且通常被背景组织包围导致分类准确率低。

发明内容

本发明的目的在于提供一种基于多模型融合的肺结节良恶性分类方法，旨在解决现有的辅助分类系统中肺结节图像因为被背景组织包围导致分类准确率低的技术问题。

为实现上述目的，本发明提供了一种基于多模型融合的肺结节良恶性分类方法，包括下列步骤：

构造多模型融合的分类模型；

对LIDC-IDRI数据集进行数据预处理；

对处理好的图像数据进行肺结节提取并添加标签；

将提取的肺结节数据输入所述多模型融合的分类模型进行分类。

可选的，所述多模型融合的分类模型采用端到端的框架，具体由ResNet34、VGG19和DenseNet121三个并行分支组成。

可选的，所述多模型融合的分类模型中使用两个新的全连接层代替所有分支中的原始全连接层，并在新的全连接层之间插入量归一化和ReLU激活函数，全连接层的计算公式如下：

z0＝W

z1＝W

其中，x1，x2，…，xn为全连接层的输入，z0和z1为全连接层的输出，b1，b2是偏置。

可选的，在对LIDC-IDRI数据集进行数据预处理的过程中，首先将数据重新采样到统一的分辨率，并使用阈值方法对水和空气区域进行滤除，接着将图像截取到-1000～600HU，最后把处理好的图像被归一化到0～255的范围。

可选的，对处理好的图像数据进行肺结节提取并添加标签的过程，包括下列步骤：

从LIDC-IDRI数据集的标签文件中读取出结节的世界中心坐标x，y，z，计算肺结节的图像中心坐标，计算公式如下：

图像坐标＝(世界中心坐标-原点坐标)/像素间隔；

将原始肺结节的坐标顺序从x，y，z转换为z，y，x；

根据图像坐标从结节中心分别在x、y和z方向上延伸12个像素区域，提取大小为48×48×48的图像大小。

本发明提供了一种基于多模型融合的肺结节良恶性分类方法，通过使用ResNet，VGG和DenseNet网络构建多模型融合的分类模型，再基于LIDC-IDRI数据集进行预处理，将数据中的肺结节提取并添加标签，输入至构建好的多模型融合的分类模型进行特征处理分类，最后获得最终的预测结果。本发明使用并行分支的多模型融合方法对肺结节良恶性进行分类，可以充分发挥模型的抽象能力，同时通过重新设计全连接层提高模型的效率和表达能力，采用特征融合挖掘模型之间的互补性，充分利用每个模型的不同级别的抽象特征，有效解决现有的辅助分类系统中肺结节图像因为被背景组织包围导致分类准确率低的技术问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的一种基于多模型融合的肺结节良恶性分类方法的步骤流程示意图。

图2是本发明的多模型融合的分类模型的模型框架示意图。

图3是本发明的基于多模型融合的肺结节良恶性分类方法的预处理流程示意图。

图4是本发明的多模型融合的分类模型的全连接层和softmax原理示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

请参阅图1，本发明提供了一种基于多模型融合的肺结节良恶性分类方法，包括下列步骤：

S1：构造多模型融合的分类模型；

S2：对LIDC-IDRI数据集进行数据预处理；

S3：对处理好的图像数据进行肺结节提取并添加标签；

S4：将提取的肺结节数据输入所述多模型融合的分类模型进行分类。

所述多模型融合的分类模型采用端到端的框架，具体由ResNet34、VGG19和DenseNet121三个并行分支组成，模型框图示意如图2所示：

其中，ResNet：一种基于神经网络的残差网络算法，旨在解决深层网络效果反而下降的问题；

VGG：VGG是一种经典的卷积神经网络结构，其基本思想是使用多个连续的3x3卷积核和池化层来构建卷积块，通过堆叠多个这样的卷积块来构建整个网络；

DenseNet:通过引入密集连接，改进了神经网络的结构。在DenseNet中，每个层都与之前的所有层直接相连，并且将前面层的输出级联起来，形成“密集块”。这样每个层的输入不仅包括上一层的输出，还包括之前所有层的输出。

进一步的，所述多模型融合的分类模型中使用两个新的全连接层代替所有分支中的原始全连接层，并在新的全连接层之间插入量归一化和ReLU激活函数，全连接层的计算公式如下：

z0＝W

z1＝W

其中，x1，x2，…，xn为全连接层的输入，z0和z1为全连接层的输出，b1，b2是偏置。

量归一化对数据进行标准化处理，有助于加速网络的收敛，并提高模型的鲁棒性。ReLU激活函数则引入了非线性变换，帮助模型学习更复杂的特征表示。

步骤S2中，对LIDC-IDRI数据集进行数据预处理，首先，将数据重新采样到统一的分辨率，并使用阈值方法对水和空气区域进行滤除。接着，将图像截取到-1000-600HU，最后，处理好的图像被归一化到0-255的范围。具体过程如图3所示。

在步骤S3中，对处理好的图像数据进行肺结节提取并添加标签的过程，包括下列步骤：

从LIDC-IDRI数据集的标签文件中读取出结节的世界中心坐标x，y，z，计算肺结节的图像中心坐标，计算公式如下：

图像坐标＝(世界中心坐标-原点坐标)/像素间隔；

将原始肺结节的坐标顺序从x，y，z转换为z，y，x；

根据图像坐标从结节中心分别在x、y和z方向上延伸12个像素区域，提取大小为48×48×48的图像大小。

步骤S4中，肺结节提取后输入所述多模型融合的分类模型处理，通过第一个全连接层，三个子网络提取的特征被连接在一起。这样做的目的是将不同分支提取的特征进行融合，以充分利用它们各自的优势，并提高整体模型的表达能力。最后，通过第二个全连接层，将连接后的特征传递给softmax层，该层将输出最终的预测结果。Softmax函数将为每个可能的类别产生一个概率分布，以表示输入数据属于各个类别的概率。具体的，softmax是一种归一化指数函数，其将一个任意实数向量映射为一个概率分布。这个函数将输入向量中的每个元素作为指数函数的底数，然后将所有结果相加并求出其总和。接着，softmax函数将每个元素除以这个总和，以确保最终的输出概率之和为1。Softmax中的幂指数是为了实现两极化，即正样本结果趋近1，负样本结果趋近0。

Softmax计算各个类别的概率的计算公式如下：

三个模型并行计算之后，三个模型同时输入一个全连接层，特征融合之后再输入全连接层整理融合后特征，之后通过softmax计算类别概率，全连接层到softmax的原理图如图4所示。

前向传播结束，通过损失函数反向传播，反向传播通过计算损失函数对模型参数的梯度，将梯度信息从输出层向输入层进行传播。在这个过程中，使用交叉熵损失函数来衡量预测结果与真实标签之间的差距，并通过最小化交叉熵损失来优化模型，使其更准确地进行分类预测。损失计算见公式：

L＝-∑y

本发明所述多模型融合的分类模型处理的目标是通过结合并行分支提取的特征，有效地对输入数据进行分类或预测。它的端到端框架使得整个模型可以直接从原始数据中学习并提取有用的特征，并通过全连接层和softmax层输出最终的预测结果。

本发明还提出了一个具体实施例进行比较说明：

1、获取公开数据集LIDC-IDRI，对公开数据集的原始图像进行预处理，包括重采样，滤除图像空气和水，截取图像范围到-1000-600HU，归一化到0-255之间。

2、根据标签文件读取结节的恶性度信息。LIDC-IDRI数据集的恶性度指标级别按1-5划分，其中最高分为5，最低分为1。由于LIDC-IDRI数据集有多个医生标注，将每个医生的结节恶性度信息都读取出来，通过计算结节恶性度的平均值确定结节的良恶性，平均值约等于3的认为不确定良恶性，大于3的认为是恶性，小于3的认为是良性。

3、提取结节范围。获得结节良恶性的标签之后，根据公式计算结节的图像坐标中心，根据图像坐标中心截取范围为48×48×48的结节图像。

4、输入模型。

4.1设置模型训练参数。模型训练迭代数设置为100，学习率为0.0001，使用了Adam优化器，批大小为8，数据按照8：2划分为训练集和测试集。

4.2输入模型进行训练。48×48×48的肺结节图像数据输入模型，模型并行训练3个不同的子模型，分别为ResNet，VGG和DenseNet。

同时结合本发明与ResNet，VGG和DenseNet分别进行比较：

评估指标使用准确度(accuracy)，灵敏度(sensitivity)和F1分数(F1-score)。本发明取得的结果如表1所示：

表1实验结果对比

从表格结果可以看出，本发明优于经典的分类模型。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。