一种基于三维注意力机制的肺结节分割方法及装置

技术领域

本发明涉及医学图像处理技术领域，尤其是涉及一种基于三维注意力机制的肺结节分割方法及装置。

背景技术

在低剂量CT诊断识别中，肺部病变的区域测量一直是一个困扰影像科医生很久的问题，目前常用的计算机学方法有区域增长方法，即人工选定一个区域后向周围像素进行搜索得到分割结果，这种方法受限于人工交互的过程，如果没有人工选择相应的区域，则无法进行相应的分割结果提取，而目前医学图像处理领域汇总较为通用的一种分割方式为使用深度神经网络U-net以及其变体结构，如nnUnet等网络进行处理，使得神经网络能够自动学习到医生对病灶的分割需求，从而达到辅助诊断的效果。

目前所使用的2D分割网络2D-Unet能够在单张图像上较好地拟合出病灶区域，但是由于血管和病灶的相似性，2D-Unet分割网络较为容易将血管分割成病灶区域，同时，由于3D分割网络3D-Unet易于将小结节分割遗漏，导致分割错误。因此本发明提出一种，3D注意力机制，使得网络权重能够对每一个维度上的细节信息进行像素上的偏重，从而实现分割效果的提升，目前主流的注意力机制方式有SE-Net，SK-Net等机制，但是在3D图像中，由于图像的显存占用较大，3D较2D增加一个维度，计算量同时也成倍上升，因此，目前流行的注意力机制并不适合当前的任务，从而本发明提出了3D注意力机制，能够在有限的显存空间中，赋予模型对小目标的注意力，提升模型性能。

发明内容

本发明的目的在于提供一种基于三维注意力机制的肺结节分割方法及装置，旨在解决上述问题。

本发明提供一种基于三维注意力机制的肺结节分割方法，包括：

数据处理：对输入的图像数据集进行图像归一化和图像增强处理；

模型构建：将3D注意力机制算法3D Attention加入到密集连接的分类神经网络DenseNet首次下采样层以及最后一次下采样层进行融合，构建3D Attention Wnet模型；

模型训练：将处理后的图像数据集输入所述3D Attention Wnet模型，基于预先设置的训练参数进行密集连接的卷积操作，并输出不同特征图下的分割结果；

分割结果后处理：将输出的分割结果求平均值后再进行二值化，得到最终结节分割结果。

本发明提供一种基于三维注意力机制的肺结节分割装置，包括：

数据处理模块：用于对输入的图像数据集进行图像归一化和图像增强处理；

模型构建模块：用于将3D注意力机制算法3D Attention加入到密集连接的分类神经网络DenseNet首次下采样层以及最后一次下采样层进行融合，构建3D Attention Wnet模型；

模型训练模块：用于将处理后的图像数据集输入所述3D Attention Wnet模型，基于预先设置的训练参数进行密集连接的卷积操作，并输出不同特征图下的分割结果；

分割结果后处理模块：用于将输出的分割结果求平均值后再进行二值化，得到最终结节分割结果。

本发明实施例还提供一种基于三维注意力机制的肺结节分割设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述基于三维注意力机制的肺结节分割方法的步骤。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现上述基于三维注意力机制的肺结节分割方法的步骤。

本发明实施例提出了一种基于三维注意力机制的肺结节分割方法用于肺结节数据的分割，对比目前的分割方法，采用本发明实施例能够更加注意到小结节的部分，使得分割更加精准。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的基于三维注意力机制的肺结节分割方法示意图；

图2是本发明实施例的三维注意力机制算法流程图；

图3是本发明实施例的3D Attention Wnet模型流程示意图；

图4是本发明实施例的基于三维注意力机制的肺结节分割装置示意图；

图5是本发明实施例的基于三维注意力机制的肺结节分割设备示意图。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。此外，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

方法实施例

本发明实施例所使用的图像数据均来自LIDC-IDRI数据集，LIDC-IDRI是由美国国家癌症研究所(National Cancer Institute)发起收集的，目的是为了研究高危人群早期癌症检测。训练数据集包含1086个结节，从该数据集中可以取得1086个大小为16x64x64的3D图块，原图像格式为dicom格式，通过窗宽窗位调整后得到输入数据。

根据本发明实施例，提供了一种基于三维注意力机制的肺结节分割方法，图1是本发明实施例的基于三维注意力机制的肺结节分割方法示意图，如图1所示，根据本发明实施例的基于三维注意力机制的肺结节分割方法具体包括：

S101，对输入的图像数据集进行图像归一化和图像增强处理。

具体的，所述对输入的图像数据集进行图像归一化和图像增强处理的具体方法为：设置窗宽窗位值，通过所述窗宽窗位值调整DICOM图像值，对图像进行归一化，如公式1所示，得到归一化的图像：

其中，x

S102，将3D注意力机制算法3D Attention加入到密集连接的分类神经网络DenseNet首次下采样层以及最后一次下采样层进行融合，构建3D Attention Wnet模型。

具体的，3D注意力机制算法流程图如图2所示，具体过程为：输入的图像块在三个维度x，y，z上分别进行求和后通过归一化指数函数softmax函数，即在三个维度上对每一维度的像素进行权重计算，然后分别对两个维度的权重结果做点积运算，结果用于和第三个维度每一个截面进行点乘，得到3个维度上每个像素的权重，将3个维度的结果与原特征图进行求和，得到带有注意力的输出结果，用于所述3D Attention Wnet模型的卷积操作。

DenseNet是一种密集连接的分类神经网络，其思想为通过第一层与后续每一层之间都进行concat的方式，使得特征图可以进行复用，以及使得不同感受野下的特征图融合，从而能够在分类任务中注意到更局部的或更全局的特征，得到融合分类结果。

S103，将处理后的图像数据集输入所述3D Attention Wnet模型，基于预先设置的训练参数进行密集连接的卷积操作，并输出不同特征图下的分割结果。

具体的，预先设置的训练参数具体包括初始学习率及训练代数：

进行模型训练之前预先设置一个初始学习率和训练代数epoch，并在进行模型训练时根据公式1对学习率进行更新：

其中，lr为学习率，e为当前的epoch数，n为需要进行学习率更新的epoch总数；

使用的优化器为Adam优化器，使用的损失函数为二元交叉熵损失函数。

本发明实施例利用Dense连接的机制，对MultiScale(多尺度)的分类网络进行改进得到密集连接的类U-net结构的分割神经网络，并在首次下采样层以及最后一次下采样层加入3D Attention机制，实现3D Attention在分割上模型上的集成。

本发明实施例将此模型取名为3D Attention Wnet，其过程如图3所示，算法运行具体流程如下：首先，输入的图像块通过下采样得到原图像块，2x采样率的下采样图像块，4x采样率的图像块，以及8x采样率的图像块，这些图像块，将通过3D attention模块，后进行密集连接的卷积操作，在本发明实施例中，3D卷积的层数(横向卷积次数)以及不同尺度数(图2中纵向下采样次数)可以根据数据数量以及数据图像块的大小进行调整，在本发明中，取得的图像维度大小为16*64*64，本发明中模型下采样次数为4次，横向层数为7层。

S104，将输出的分割结果求平均值后再进行二值化，得到最终结节分割结果。

具体的，将输出的分割结果求平均值后再进行二值化的具体方法为：预设一个进行二值化的阈值，结果像素小于阈值的置为0，大于阈值的置为1。

采用本发明实施例，对比目前的分割方法，能够更加注意到小结节的部分，使得分割更加精准。

装置实施例一

根据本发明实施例，提供了一种基于三维注意力机制的肺结节分割方法，图4是本发明实施例的基于三维注意力机制的肺结节分割装置示意图，如图4所示，根据本发明实施例的基于三维注意力机制的肺结节分割装置具体包括：

数据处理模块40：用于对输入的图像数据集进行图像归一化和图像增强处理。

数据处理模块40具体用于：

通过预先设置的窗宽窗位值调整DICOM图像值，对图像进行归一化，如公式1所示，得到归一化的图像：

其中，x

模型构建模块42：用于将3D注意力机制算法3D Attention加入到密集连接的分类神经网络DenseNet首次下采样层以及最后一次下采样层进行融合，构建3D AttentionWnet模型。

模型训练模块44：用于将处理后的图像数据集输入所述3D Attention Wnet模型，基于预先设置的训练参数进行密集连接的卷积操作，并输出不同特征图下的分割结果。

模型训练模块44具体用于：

基于预先设置的训练参数通过3D Attention Wnet模型对处理后的图像数据集进行结节分割，所述预先设置的训练参数包括初始学习率和一个训练代数epoch，训练过程中随着训练代数epoch的增加学习率会进行更新，如公式1所示：

其中，lr为学习率，e为当前的epoch数，n为需要进行学习率更新的epoch总数；

进行模型训练时使用的优化器为Adam优化器，使用的损失函数为二元交叉熵损失函数

分割结果后处理模块46：用于将输出的分割结果求平均值后再进行二值化，得到最终结节分割结果。

本发明实施例是与上述方法实施例对应的系统实施例，各个模块的具体操作可以参照方法实施例的描述进行理解，在此不再赘述。

装置实施例二

本发明实施例提供一种基于三维注意力机制的肺结节分割设备，如图5所示，包括：存储器50、处理器52及存储在所述存储器50上并可在所述处理器52上运行的计算机程序，所述计算机程序被所述处理器52执行时实现如下方法步骤：

S101，对输入的图像数据集进行图像归一化和图像增强处理。

具体的，所述对输入的图像数据集进行图像归一化和图像增强处理的具体方法为：设置窗宽窗位值，通过所述窗宽窗位值调整DICOM图像值，对图像进行归一化，如公式1所示，得到归一化的图像：

其中，x

S102，将3D注意力机制算法3D Attention加入到密集连接的分类神经网络DenseNet首次下采样层以及最后一次下采样层进行融合，构建3D Attention Wnet模型。

具体的，3D注意力机制算法流程图如图2所示，具体过程为：输入的图像块在三个维度x，y，z上分别进行求和后通过归一化指数函数softmax函数，即在三个维度上对每一维度的像素进行权重计算，然后分别对两个维度的权重结果做点积运算，结果用于和第三个维度每一个截面进行点乘，得到3个维度上每个像素的权重，将3个维度的结果与原特征图进行求和，得到带有注意力的输出结果，用于所述3D Attention Wnet模型的卷积操作。

DenseNet是一种密集连接的分类神经网络，其思想为通过第一层与后续每一层之间都进行concat的方式，使得特征图可以进行复用，以及使得不同感受野下的特征图融合，从而能够在分类任务中注意到更局部的或更全局的特征，得到融合分类结果。

S103，将处理后的图像数据集输入所述3D Attention Wnet模型，基于预先设置的训练参数进行密集连接的卷积操作，并输出不同特征图下的分割结果。

具体的，预先设置的训练参数具体包括初始学习率及训练代数：

进行模型训练之前预先设置一个初始学习率和训练代数epoch，并在进行模型训练时根据公式1对学习率进行更新：

其中，lr为学习率，e为当前的epoch数，n为需要进行学习率更新的epoch总数；

使用的优化器为Adam优化器，使用的损失函数为二元交叉熵损失函数。

本发明实施例利用Dense连接的机制，对MultiScale(多尺度)的分类网络进行改进得到密集连接的类U-net结构的分割神经网络，并在首次下采样层以及最后一次下采样层加入3D Attention机制，实现3D Attention在分割上模型上的集成。

本发明将此模型取名为3D Attention Wnet，其过程如图3所示，算法运行具体流程如下：首先，输入的图像块通过下采样得到原图像块，2x采样率的下采样图像块，4x采样率的图像块，以及8x采样率的图像块，这些图像块，将通过3D attention模块，后进行密集连接的卷积操作，在本发明实施例中，3D卷积的层数(横向卷积次数)以及不同尺度数(图2中纵向下采样次数)可以根据数据数量以及数据图像块的大小进行调整，在本发明中，取得的图像维度大小为16*64*64，本发明中模型下采样次数为4次，横向层数为7层。

S104，将输出的分割结果求平均值后再进行二值化，得到最终结节分割结果。

具体的，将输出的分割结果求平均值后再进行二值化的具体方法为：预设一个进行二值化的阈值，结果像素小于阈值的置为0，大于阈值的置为1。

装置实施例三

本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传输的实现程序，所述程序被处理器52执行时实现如下方法步骤：

S101，对输入的图像数据集进行图像归一化和图像增强处理。

具体的，所述对输入的图像数据集进行图像归一化和图像增强处理的具体方法为：设置窗宽窗位值，通过所述窗宽窗位值调整DICOM图像值，对图像进行归一化，如公式1所示，得到归一化的图像：

其中，x

S102，将3D注意力机制算法3D Attention加入到密集连接的分类神经网络DenseNet首次下采样层以及最后一次下采样层进行融合，构建3D Attention Wnet模型。

具体的，3D注意力机制算法流程图如图2所示，具体过程为：输入的图像块在三个维度x，y，z上分别进行求和后通过归一化指数函数softmax函数，即在三个维度上对每一维度的像素进行权重计算，然后分别对两个维度的权重结果做点积运算，结果用于和第三个维度每一个截面进行点乘，得到3个维度上每个像素的权重，将3个维度的结果与原特征图进行求和，得到带有注意力的输出结果，用于所述3D Attention Wnet模型的卷积操作。

DenseNet是一种密集连接的分类神经网络，其思想为通过第一层与后续每一层之间都进行concat的方式，使得特征图可以进行复用，以及使得不同感受野下的特征图融合，从而能够在分类任务中注意到更局部的或更全局的特征，得到融合分类结果。

S103，将处理后的图像数据集输入所述3D Attention Wnet模型，基于预先设置的训练参数进行密集连接的卷积操作，并输出不同特征图下的分割结果。

具体的，预先设置的训练参数具体包括初始学习率及训练代数：

进行模型训练之前预先设置一个初始学习率和训练代数epoch，并在进行模型训练时根据公式1对学习率进行更新：

其中，lr为学习率，e为当前的epoch数，n为需要进行学习率更新的epoch总数；

使用的优化器为Adam优化器，使用的损失函数为二元交叉熵损失函数。

本发明实施例利用Dense连接的机制，对MultiScale(多尺度)的分类网络进行改进得到密集连接的类U-net结构的分割神经网络，并在首次下采样层以及最后一次下采样层加入3D Attention机制，实现3D Attention在分割上模型上的集成。

本发明将此模型取名为3D Attention Wnet，其过程如图3所示，算法运行具体流程如下：首先，输入的图像块通过下采样得到原图像块，2x采样率的下采样图像块，4x采样率的图像块，以及8x采样率的图像块，这些图像块，将通过3D attention模块，后进行密集连接的卷积操作，在本发明实施例中，3D卷积的层数(横向卷积次数)以及不同尺度数(图2中纵向下采样次数)可以根据数据数量以及数据图像块的大小进行调整，在本发明中，取得的图像维度大小为16*64*64，本发明中模型下采样次数为4次，横向层数为7层。

S104，将输出的分割结果求平均值后再进行二值化，得到最终结节分割结果。

具体的，将输出的分割结果求平均值后再进行二值化的具体方法为：预设一个进行二值化的阈值，结果像素小于阈值的置为0，大于阈值的置为1。

本实施例所述计算机可读存储介质包括但不限于为：ROM、RAM、磁盘或光盘等。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。