基于深度学习网络的纵隔淋巴引流区的自动勾画方法

技术领域

本发明是关于医疗图像领域，特别是关于一种基于深度学习网络的纵隔淋巴引流区的自动勾画方法。

背景技术

在放疗领域，精准的肿瘤放射放疗技术能有效提高患者的疗效，降低毒副作用，而精准的放疗依赖的是精准的靶区轮廓。在靶区勾画过程中，必须仔细的参考引流区引流范围勾画靶区。另外，纵隔淋巴引流区对于肺癌等患者的临床分期和治疗原则的制定，也有非常重要的作用。因此，引流区自动勾画具有非常重要的临床意义。本方法有助于临床医生快速、精准、高一致性地勾画纵隔引流区。

而目前临床上纵隔引流区完全是通过临床医生手动勾画。这种方法存在以下缺点：

第一，勾画速度慢，消耗医生大量宝贵时间；第二，勾画准确度依赖医生临床经验，而且需要大量的先验临床知识；第三，同一个医生在不同状态下勾画出来的结果存在较大差异。第四，不可避免存在人为误差。因此，在放疗数字化基础上，如何快速精确高一致性地帮助医生勾画出淋巴引流区是极其重要的。

公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。

发明内容

本发明的目的在于提供一种基于深度学习网络的纵隔淋巴引流区的自动勾画方法，其通过引入多尺度非局部注意力模块，网络可以更好的定位和分割小引流区，同时网络能更好的捕捉远距离的解剖结构信息改进欠分割或过分割的问题。

为实现上述目的，本发明提供了一种基于深度学习网络的纵隔淋巴引流区的自动勾画方法，其适用于CT影像，自动勾画方法包括以下步骤：步骤S1：采集CT图像数据和医生手工标注的纵隔淋巴引流区图像，并预处理CT图像数据和医生手工标注的纵隔淋巴引流区图像；步骤S2：对预处理后的CT图像数据进行分组，得到训练集、验证集和测试集；步骤S3：对训练集、验证集及测试集进行数据增强；步骤S4：构建深度学习分割模型；以及步骤S5：将训练集中的CT图像数据和医生手工标注的纵隔淋巴引流区图像输入已经构建完的深度学习分割模型，训练迭代收敛后，保存纵隔淋巴引流区的分割模型，再进行纵隔淋巴引流区识别和预测，得到纵隔淋巴引流区的每个分区的概率图。

在一优选的实施方式中，步骤S1中的预处理CT图像数据和医生手工标注的纵隔淋巴引流区图像包括以下步骤：步骤S11：采集大量的多模态和多分布CT三维图像和相应的临床医生手工勾画的轮廓图；步骤S12：对CT三维图像和的医生手工标注的纵隔淋巴引流区图像进行重采样，以生成具有相同物理尺度大小的图像；步骤S13：获取三维肺部区域和纵隔位置，依照肺部区域和纵隔位置将三维CT图像裁剪为固定的大小；以及步骤S14：对二维CT图像像素值规范化，根据肺窗和纵隔窗生成多分布CT图像输入分割网络。

在一优选的实施方式中，步骤S3中的数据增强包括：随机翻转、随机旋转、随机扭曲、随机噪声、随机仿射变换、随机修剪。

在一优选的实施方式中，步骤S4包括以下步骤：步骤S41：构建分割模型的网络结构子模块，包括：第一，卷积操作2次和下采样1次，用来提取该模块的特征图，第二，构建上采样1次和卷积操作2次，用来恢复其原来的分辨率，并使用跳跃结构来融合不同尺度的特征图；步骤S42：构建分割模型的网络结构注意力模块，包括：分别对注意力模块中的键值、特征值进行金字塔下采样，以减少大量计算，得到多尺度键值、特征值，再构建卷积操作，用来模拟键值和查询值之间的注意力关系，最后在注意力关系下查询被关注的特征图，注意力模块能够捕捉远距离像素依赖关系和提取多尺度金字塔的特征；以及步骤S43：构建网络分割模型网络结构，重复利用提取步骤S41的特征子模块4次，以便能有较大感受野和充足的网络容量；在每次提取特征子模块中插入步骤S42的注意力模块，以便网络提取远距离依赖关系，扩大网络感受野，同时注意力模块捕捉的多尺度信息能在每层都被有效提取特征；然后再重复利用恢复空间分辨率子模型4次；在每个模块之间使用短连接，以便网络可以更好的反向传播和特征融合。

在一优选的实施方式中，步骤S5包括以下步骤：步骤S51：大量病人经过步骤处理后，得到的数据增强图像输入到深度学习网络，在输入过程中，通过步骤S1至S3处理得到的肺部区域控制输入患者CT层数，减少输入非肺部区域；步骤S52：把数据增强图像随机按组随机输入网络，直到验证集上评价标准不再有大的波动，保存在验证集上表现好的模型；步骤S53：把测试集内病例按照步骤S1至S3处理后输入至已经训练完成的深度学习分割网络以获得N个分区，使用softmax函数将得到的N个分区的特征图转化成分割语义概率图，再使用固定阈值使概率图生成二值图像；以及步骤S54：对N个分区进行相互关系评价，得到互相关系表，对每个分区进行矫正，如果某个分区不符合医生定义的勾画标准，则通过矫正程序处理该分区；如果某个分区和其他分区没有互相关系表中的关系，则也通过矫正程序处理该分区；直到N个分区都满足临床医生勾画标准，即得到最终的纵隔淋巴引流区分割结果。

与现有技术相比，本发明的基于深度学习网络的纵隔淋巴引流区的自动勾画方法具有以下有益效果：通过引入多尺度非局部注意力机制，网络可以更好的定位和分割小引流区，同时网络能更好的捕捉远距离的解刨结构信息改进欠分割或过分割的问题；通过纵隔淋巴引流区分割模型能够帮助医生更准确的勾画靶区和淋巴结，同时也对医生确认临床分期和制定治疗方案提供一定依据，进而能够大大的减轻医生的负担，同时也能够提高患者生存率。

附图说明

图1是根据本发明一实施方式的自动勾画方法的流程示意图；

图2是根据本发明一实施方式的自动勾画方法的深度学习网络结构示意图。

具体实施方式

下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。

除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。

如图1所示，根据本发明优选实施方式的一种基于深度学习网络的纵隔淋巴引流区的自动勾画方法，其适用于CT影像，自动勾画方法包括以下步骤：步骤S1：采集CT图像数据和医生手工标注的纵隔淋巴引流区图像，并预处理CT图像数据和医生手工标注的纵隔淋巴引流区图像。步骤S2：对预处理后的CT图像数据进行分组，得到训练集、验证集和测试集。步骤S3：对训练集、验证集及测试集进行数据增强。步骤S4：构建深度学习分割模型。以及步骤S5：将训练集中的CT图像数据和的医生手工标注纵隔淋巴引流区图像输入已经构建完的深度学习分割模型，训练迭代收敛后，保存纵隔淋巴引流区的分割模型，再进行纵隔淋巴引流区识别和预测，得到纵隔淋巴引流区的每个分区的概率图。

在一些实施方式中，步骤S1中的预处理CT图像数据和医生手工标注的纵隔淋巴引流区图像包括以下步骤：步骤S11：采集大量的多模态和多分布CT三维图像和相应的临床医生手工勾画的轮廓图。步骤S12：对CT三维图像和的医生手工标注纵隔淋巴引流区图像进行重采样，以生成具有相同物理尺度大小的图像。步骤S13：获取三维肺部区域和纵隔位置，依照肺部区域和纵隔位置将三维CT图像裁剪为固定的大小。以及步骤S14：对二维CT图像像素值规范化，根据肺窗和纵隔窗生成多分布CT图像输入分割网络。

规范化计算方法：

lower＝c-w/2；

higher＝c+w/2；

x[x

x[x>higher]＝higher；

x＝(x-lower)/(higher-lower)；

其中x是CT像素矩阵，c是窗位，w是窗宽。

在一些实施方式中，步骤S3中的数据增强包括：随机翻转、随机旋转、随机扭曲、随机噪声、随机仿射变换、随机修剪。

在一些实施方式中，步骤S4包括以下步骤：步骤S41：构建分割模型的网络结构子模块，包括：第一，卷积操作2次和下采样1次，用来提取该模块的特征图，第二，构建上采样1次和卷积操作2次，用来恢复其原来的分辨率，并使用跳跃结构来融合不同尺度的特征图。步骤S42：构建分割模型的网络结构注意力模块，包括：分别对注意力模块中的键值、特征值进行金字塔下采样，以减少大量计算，得到多尺度键值、特征值，再构建卷积操作，用来模拟键值和查询值之间的注意力关系，最后在注意力关系下查询被关注的特征图，注意力模块能够捕捉远距离像素依赖关系和提取多尺度金字塔的特征。以及步骤S43：构建网络分割模型网络结构，重复利用提取步骤S41的特征子模块4次，以便能有较大感受野和充足的网络容量；在每次提取特征子模块中插入步骤S42的注意力模块，以便网络提取远距离依赖关系，扩大网络感受野，同时注意力模块捕捉的多尺度信息能在每层都被有效提取特征。然后再重复利用恢复空间分辨率子模型4次。在每个模块之间使用短连接，以便网络可以更好的反向传播和特征融合。

在一些实施方式中，步骤S5包括以下步骤：步骤S51：大量病人经过步骤处理后，得到的数据增强图像输入到深度学习网络，在输入过程中，通过步骤S1至S3处理得到的肺部区域控制输入患者CT层数，减少输入非肺部区域。

训练误差的计算方法：

L

其中N是指数据总量，p

其中N是指数据总量，p

步骤S52：把数据增强图像随机按组随机输入网络，直到验证集上评价标准不再有大的波动，保存在验证集上表现好的模型。

评价标准计算方法：

其中N是指数据总量，p

步骤S53：把测试集内病例按照步骤S1至S3处理后输入至已经训练完成的深度学习分割网络以获得N个分区，使用softmax函数将得到的N个分区的特征图转化成分割语义概率图，再使用固定阈值使概率图生成二值图像。以及步骤S54：对N个分区进行相互关系评价，得到互相关系表，对每个分区进行矫正，如果某个分区不符合医生定义的勾画标准，则通过矫正程序处理该分区；如果某个分区和其他分区没有互相关系表中的关系，则也通过矫正程序处理该分区；直到N个分区都满足临床医生勾画标准，即得到最终的纵隔淋巴引流区分割结果。

综上所述，本发明的基于深度学习网络的纵隔淋巴引流区的自动勾画方法具有以下优点：通过引入多尺度非局部注意力机制，网络可以更好的定位和分割小引流区，同时网络能更好的捕捉远距离的解剖结构信息改进欠分割或过分割的问题；通过纵隔淋巴引流区分割模型能够帮助医生更准确的勾画靶区和淋巴结，同时也对医生确认临床分期和制定治疗方案提供一定依据，进而能够大大的减轻医生的负担，同时也能够提高患者生存率。

前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。