一种基于3DCNN和双分支结构技术的肺部结节检测方法

技术领域

本发明涉及医学影像处理技术领域，具体而言，特别涉及一种基于3DCNN和双分支结构技术的肺部结节检测方法。

背景技术

已有的研究表明，除了发烧或呼吸道症状外，COVID-19在临床上还可以通过胸部计算机断层扫描(CT)来显示毛玻璃肺结节。因此，借助肺部医学影像技术（例如CT和MR），可以极大地提高COVID-19的诊断和筛查效率，帮助患者和疑似患者及时预防和治疗。

目前，医院日常工作中生成的大量医学影像通常情况下需要放射科医生进行人工处理和分析，这给医务人员带来巨大的工作量。因此，计算机辅助诊断（CAD）系统应运而生，目的是减轻医生的工作量，同时提高医学图像分析的工作效率和可靠性。随着人工智能的出现，各种基于深度神经网络的模型被应用于理解和分析医学图像。相当多的研究人员已经使用2D卷积神经网络在每个2DCT切片中生成候选结节，然后将候选结节进行整合从而构建成3D的候选肺结节，来取得了更优越的效果。但这些方法不能在最短时间将CT数据的三维空间信息的优势发挥到最大。与2DCNN相关的模型相比，3DCNN通过3D卷积直接处理三维数据以学习时空特征，有利于提升肺结节检测和分类的性能，能够将CT数据的3维空间信息优势更好的发挥出来。Dou 等人开发了一种3DCNN策略来编码多级上下文信息以处理肺结节检测问题。同时也存在研究提出了一种3DCNN框架，采用编码器和解码器结构同时包含激励和压缩模块，以达到缓解肺结节检测的样本不平衡问题的目的。研究分析证明3DCNN 模型的性能比2DCNN更适合对CT序列数据进行分析。但是现有的3DCNN肺结节检测模型大多处于单任务单分支或多任务单分支的架构下。典型的单任务方法在肺结节检测方面仍容易产生低灵敏度和高假阳性的问题。因此，这里提出了采用单任务多分支的架构，利用不同分支之间处理和提取的特征信息的不同，作为先验知识和补充知识促进对肺部结节检测的提升。

综上所述，对于肺结节检测任务而言，已有的研究已经证明了相比于2DCNN的模型，3DCNN模型在CT等3D序列数据上展现了巨大的优势，同时领域内对于单任务多分支思路上的研究相对较少。针对检测方向来说，先验知识的补充对于检测模型的结果提升有很大的影响。因此，将其他分支提取的特征信息作为补充信息和先验信息，参与到检测模型的检测过程中，对于检测模型进行模拟和学习人工检测的行为有很大的帮助，最终有助于提升肺部结节检测结果的精度和提高COVID-19的诊断和筛查效率。

发明内容

本发明面向真实场景下肺部病灶检测效率较低的现象，为解决目前应用人工智能技术对肺部结节检测时先验信息和补充知识不足导致性能下降的问题，采用基于双分支和3DCNN的肺结节检测技术利用其他分支为检测分支提供补充信息来实现肺部结节检测性能的提升。为了弥补现有技术的不足，本发明提供了一种基于3DCNN和双分支结构技术的肺部结节检测方法。

本发明是通过如下技术方案实现的：一种基于3DCNN和双分支结构技术的肺部结节检测方法，具体包括以下步骤：

S1：数据集的预处理和构建；对luna16数据集中包含的10个肺部CT图像数据进行整合处理，对CT图像进行数据预处理，并另外保存；对预处理后的图像数据进行划分，分成训练集、验证集和测试集；

S2：对训练数据进行特征提取；先采用一个以Resnet50为基本架构的特征金字塔网络，对先前预处理之后划分的训练集进行图像的特征提取，获得肺结节图像的特征图；并将最后一层的特征图（

S3：设计双分支结构的网络模型；模型包含分割（

S4：将分割分支的特征信息补充到检测分支；分割分支训练得到的最终图像结果

生成新的开始特征图

S5：将检测得到的最终结果

作为优选方案，步骤S1中对预处理后的图像数据进行划分，其中70%的数据作为训练数据集，20%的数据作为验证集，10%的数据作为测试集。

作为优选方案，步骤S2中先采用一个以Resnet50为基本架构的特征金字塔网络。

作为优选方案，步骤S3具体包括以下步骤：

S3-1：设计双分支结构的网络模型；模型包含分割（

S3-2：分割分支采用Unet结构，卷积块借鉴于Resnet网络块结构，采用2层普通卷积层中间加一层空洞卷积为一个卷积块的方式，增加shortcut连接；采用InstanceNorm3d进行归一化，利用普通卷积层增大步数进行下采样，利用最邻近插件值法的反卷积层进行上采样；

S3-3:检测分支同样采用Unet结构，采用卷积层+批量归一化层+ReLU激活层的方式组成卷积块，采用3D最大池化层对图像数据进行下采样，使用ConvTranspose对图像进行上采样；增加shortcut连接；图像在上采样后，将图像与前面尺寸相同大小的特征图在通道维度上通过cat的方式相加，再通过几层卷积层恢复到原来的通道数大小；再向后传递；

S3-4:将经过特征金字塔提取的特征图

作为优选方案，步骤S4具体包括以下步骤：

S4-1：首先是分割分支采用Unet结构，卷积块借鉴于Resnet网络块结构，采用2层普通卷积层中间加一层空洞卷积为一个卷积块的方式，增加了shortcut连接；采用InstanceNorm3d进行归一化；利用普通卷积层增大步数进行下采样，利用最邻近插件值法的反卷积层进行上采样；

S4-2：进行分割作为先验信息对检测的信息传递；将

其中f是1*1*1的3D卷积；M的输出本质上就是将f(a)的结果图，转化为一个分割提取特征信息的注意力图；再把a关注的信息，通过与b相乘再相加的方式，在检测的特征图中表示出来。这样就得到了检测网络的输入特征图

S4-3:分割中间层信息对检测训练的特征信息补充；当分割分支得到

其中

将

作为优选方案，步骤S5具体包括以下步骤：

S5-1：基于预测的结节中心截取大小为48*48*48的补丁（

S5-2：将

S5-3：最终输出的结果由(x、y、z)坐标、直径以及置信度组成。

本发明由于采用了以上技术方案，与现有技术相比使其具有以下有益效果：本发明不同于以往的单分支多任务或单任务和多分支多任务的结构，采用多分支单任务的结构模型，利用不同分支的中间层特征信息给予检测分支信息进行补充，通过分割分支的多尺度特征信息对检测分支进行补充，弥补了检测的特征信息不足的问题。同时让分割最终的结果，作为先验信息补充到检测分支的起始特征图像中，模拟了医生观察CT图像时对重点区域优先观察的行为方式，更加贴近实际的应用场景，在提升了肺结节检测的性能的同时也实现了满足实际应用和模拟诊断的目的，最终实现完整的模型架构，有针对性的改善肺结节检测中遇到的问题，可以快速辅助医生对肺结节进行定位和判断。

本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明的方法流程图；

图2为本发明的网络架构图；

图3为本发明的融合模块结构图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

下面结合图1至图3对本发明的实施例的基于3DCNN和双分支结构技术的肺部结节检测方法进行具体说明。

如图1所示，本发明提出了一种基于3DCNN和双分支结构技术的肺部结节检测方法，其特征在于,具体包括以下步骤：

S1：数据集的预处理和构建；对luna16数据集中包含的10个肺部CT图像数据进行整合处理，对CT图像进行数据预处理，并另外保存；对预处理后的图像数据进行划分，分成训练集、验证集和测试集；其中70%的数据作为训练数据集，20%的数据作为验证集，10%的数据作为测试集。

S2：对训练数据进行特征提取；先采用一个以Resnet50为基本架构的特征金字塔网络，先自底向上，再自顶向下，同时包含横向连接，如图2所示。对先前预处理之后划分的训练集进行图像的特征提取，获得肺结节图像的特征图；并将最后一层的特征图（

S3：设计双分支结构的网络模型；模型包含分割（

S3-1：设计双分支结构的网络模型；模型包含分割（

S3-2：分割分支采用Unet结构，卷积块借鉴于Resnet网络块结构，采用2层普通卷积层中间加一层空洞卷积为一个卷积块的方式，为防止过拟合，增加shortcut连接；采用InstanceNorm3d进行归一化，利用普通卷积层增大步数进行下采样，利用最邻近插件值法的反卷积层进行上采样；

S3-3:检测分支同样采用Unet结构，采用卷积层+批量归一化层+ReLU激活层的方式组成卷积块，采用3D最大池化层对图像数据进行下采样，使用ConvTranspose对图像进行上采样；为防止过拟合，增加shortcut连接；图像在上采样后，为防止信息丢失过多，将图像与前面尺寸相同大小的特征图在通道维度上通过cat的方式相加，再通过几层卷积层恢复到原来的通道数大小；再向后传递；

S3-4:将经过特征金字塔提取的特征图

S4：将分割分支的特征信息补充到检测分支；分割分支训练得到的最终图像结果

生成新的开始特征图

S4-1：首先是分割分支采用Unet结构，卷积块借鉴于Resnet网络块结构，采用2层普通卷积层中间加一层空洞卷积为一个卷积块的方式，为防止过拟合，增加了shortcut连接；采用InstanceNorm3d进行归一化；利用普通卷积层增大步数进行下采样，利用最邻近插件值法的反卷积层进行上采样；

S4-2：进行分割作为先验信息对检测的信息传递；将

其中f是1*1*1的3D卷积；M的输出本质上就是将f(a)的结果图，转化为一个分割提取特征信息的注意力图；再把a关注的信息，通过与b相乘再相加的方式，在检测的特征图中表示出来。这样就得到了检测网络的输入特征图

S4-3:分割中间层信息对检测训练的特征信息补充；当分割分支得到

其中

将

S5：将检测得到的最终结果

S5-1：基于预测的结节中心截取大小为48*48*48的补丁（

S5-2：将

S5-3：最终输出的结果由(x、y、z)坐标、直径以及置信度组成。

在本发明的描述中，术语“多个”则指两个或两个以上，除非另有明确的限定，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制；术语“连接”、“安装”、“固定”等均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。

在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。