一种基于双注意力机制的宫颈癌靶区自动分割方法

技术领域

本发明涉及癌靶区分割技术领域，特别涉及一种基于双注意力机制的宫颈癌靶区自动分割方法。

背景技术

宫颈癌是女性最常见的恶性肿瘤之一，放射治疗在治疗宫颈癌中起着关键作用。对于早期宫颈癌，放疗通常作为术后辅助治疗进行。对于局部晚期或转移性宫颈癌，外照射放射治疗(external beam radiation therapy，EBRT)和近距离放射治疗(brachytherapy，BT)也都是关键的治疗方式。调强放射治疗(intensity-modulated radiation therapy，IMRT)是局部晚期宫颈癌治疗的首选放疗方法，因为它为肿瘤提供高精度的治疗剂量，并减少对有风险的器官的剂量。准确勾画临床靶区体积(clinical target volume，CTV)和有风险的器官(organs at risk，OAR)是放射治疗规划过程的核心。宫颈癌盆腔放化疗相关的晚期毒性率约为6％-23％，准确分割CTV有助于减少与盆腔放化疗相关的晚期毒性尤其重要，因为尿失禁、瘘管和吸收不良等晚期毒性可能会持续多年，对年轻患者尤其造成巨大伤害。

在通常情况下，这种勾画由放射治疗肿瘤学家根据妇科检查、手术报告以及计算机断层扫描(computed tomography，CT)、磁共振成像(magnetic resonance imaging，MRI)和其他影像学评估进行费力的手动勾画。这种勾画非常耗时，并且目标靶区的定义取决于医生对临床指南、共识和经验的理解。尽管已有标准指南，但在分割的质量、效率和可重复性方面，观察者之间和观察者内部仍然存在差异，这仍然是放疗计划的主要挑战之一。因此，能够在合理的时间内自动准确地分割解剖结构的计算工具可以大大减少放射治疗肿瘤学家的手动工作。计算机辅助图像自动分割可以减轻医生的工作压力，同时提高目标区域描绘的准确性、一致性和可重复性。

由于软组织变形、患者间形状和外观变化以及治疗过程中的解剖学变化，因此为此目的在CT和MRI中进行宫颈癌CTV分割是一项具有挑战性的任务。传统的自动分割方法有基于图谱的自动分割(atlas-based auto-segmentation，ABAS)算法。ABAS算法主要使用可变形图像配准来生成轮廓，这涉及两个图像之间的转换，其中移动图像集的体素变形以匹配目标图像集的体素，并在期间创建变形矢量场。在ABAS中，来自图谱库的分割结构使用可变形图像配准算法传播到目标体图像上。由于多ABAS使用投票方案来确定体素是在结构内部还是外部，因此与单ABAS相比，它更容易受到拓扑伪影的影响。然而，多ABAS可以克服单ABAS遇到的问题，例如图谱库和目标数据之间的体积和位置差异很大。虽然在分割时间上不占优势，图谱分割加手动矫正的方法分割效果优于单纯基于图谱的分割方法，而且两者的效率较完全手动分割均有很大的提升。

近年来，基于ABAS的软件已频繁用于放疗中CTV和OAR的自动分割。然而，ABAS有其局限性。首先，由于患者年龄和器官形状和大小的差异，构建“通用图谱”困难。其次，由于其可变性，图像配准是一个极其耗时的过程。ABAS无法处理不同图像之间的巨大差异，例如，器官运动或变形产生的差异。再次，对于缺乏明确边界或表现出复杂形状的器官和肿瘤，尤其是CTV这种边缘界面不明确，形状不规则的目标区域，ABAS方法分割的结果通常不令人满意。此外，基于图谱的自动分割的图像处理所需时间较长。ABAS方法将最终分割结果限制在解剖学上合理但模型描述的不太灵活的形状或位置，难以满足宫颈癌放疗中目标区域划定的要求。

放疗临床靶区的准确勾画对提高医生工作效率与减少对患者的伤害来说具有许多现实意义。但到目前为止，基于卷积神经网络(Convolutional Neural Network,CNN)的宫颈癌CTV自动分割方法主要集中在U-Net及其变体上。CTV的勾画流程一般是，在临床信息、癌症病理和诊断图像的指导下，将可见的癌症体积勾画为肿瘤靶区(Gross TumorVolume,GTV)；然后，临床医生考虑到癌症可能扩散，通过增加边缘来扩大体积，从而划定CTV。这导致CTV的勾画与寻常的明确的OAR勾画不同，难点在于CTV边界不明确，对周围器官的依赖较大。现有的技术未考虑CTV勾画的特殊性及其与周围器官的依赖关系，直接将深度学习分割算法应用于CTV任务，这是极其不合理的，造成了分割模型较低的准确性。

发明内容

为了解决上述问题，本发明提供了一种基于双注意力机制的宫颈癌靶区自动分割方法，将OAR与CTV之间的相对位置关系融合进神经网络中，给神经网络提供了先验知识，提高了宫颈癌CTV分割的准确性。

为此，本发明的技术方案是：一种基于双注意力机制的宫颈癌靶区自动分割方法，此为两阶段训练方法，包含基于空间约束的网络，和基于此微调的宽度驱动注意力网络；

具体包括以下步骤：

1)构建空间约束网络，空间约束网络包括两个架构相同的卷积神经网络，分别为CTV分割网络和OAR分割网络；

2)CTV分割网络和OAR分割网络分别通过学习从宫颈癌CT中勾画CTV和OAR，分别提取得到与CTV分割和OAR分割相关的特征；

3)使用CTV特征作为键K，使用OAR特征作为查询Q，使用交叉注意力机制学习宫颈癌CTV分割中的注意力权重，然后以CTV特征作为值V进行加权聚合，以学习OAR与CTV之间的空间约束；

4)将步骤3)得到的特征恢复形状后与CTV分割网络的输出特征图拼接，再经过卷积层得到CTV分割结果；

5)构建宽度驱动注意力网络，并将其插入CTV分割网络的解码器阶段，对CTV分割网络进行微调。

在上述方案的基础上并作为上述方案的优选方案：所述CTV分割网络和OAR分割网络均为包含编码器、解码器结构的卷积神经网络，CTV分割网络和OAR分割网络共享一个编码器，且解码器各自独立工作。

在上述方案的基础上并作为上述方案的优选方案：所述空间约束网络为3D-Unet网络，包括CTV分割网络和OAR分割网络；

M＝F

X

X

其中，I代表输入图像，F

在上述方案的基础上并作为上述方案的优选方案：所述步骤3)中，分别将CTV分割网络和OAR分割网络的输出特征图展开为序列向量，并加入位置编码；得到与CTV特征对应的键K和值V，以及与OAR特征对应的查询Q；使用交叉注意力机制学习特征中CTV与OAR之间的位置关系。

在上述方案的基础上并作为上述方案的优选方案：交叉注意力机制中，键K和值V矩阵相乘后，经过softmax函数处理后，再与查询Q矩阵相乘，计算结果与CTV分割网络的输出特征图拼接，再经过卷积层得到CTV分割结果；输出结果以权重加权和的形式计算，其中分配给每个值的权重是根据查询与相应键的兼容性函数计算得出的：

其中：dk代表K的维度。

在上述方案的基础上并作为上述方案的优选方案：所述宽度驱动注意力网络用于提取宽度方面的上下文信息，为每个列生成每个通道的缩放因子；计算宽度驱动注意力权重，以利用上下文来表示每一列特征的重要性。

在上述方案的基础上并作为上述方案的优选方案：所述宽度驱动注意力网络合并到特定层上形成语义分割网络，包括：高度方向池化操作、插值为粗注意力图和计算宽度驱动的注意力图三部分；

语义分割网络中的低级特征映射

给定一个低级特征映射X

在计算注意力图后，将给定的高层特征图X

I)高度方向池化操作：

使用高度方向的池化操作G

Z＝G

形式上，深度为d的第w列矢量计算为：

II)插值为粗注意力图：

通过下采样将C

III)计算宽度驱动的注意力图：

宽度驱动的通道方向注意力图A是通过卷积层获得的，卷积层的输入是宽度方向的池化和插值后特征图

注意力图A显示了每一列的关键通道，由N个卷积层组成的操作可写成：

其中，σ是sigmoid函数，δ是ReLU激活，

IV)注意力图通过向上采样进行转换，使其宽度维度等于给定的高级特征图X

本发明引入了双注意力机制对CTV的分割进行了空间约束，第一个注意力机制是空间约束网络SC-Net(spatial constraint net)，创建CTV分割网络和OAR分割网络，CTV分割网络使用编码器-解码器的架构学习CTV的分割，OAR分割网络使用同样的架构学习OAR分割，两个分割网络的编码器参数共享。两个分割网络的解码器不共享，可以获得不同的特征图，经过补丁嵌入后，以CTV解码器提取的特征作为键K和值V，OAR解码器提取特征作为查询Q，使用交叉注意力机制学习OAR与CTV的空间约束，利用OAR特征指导CTV分割。

第二个注意力机制是宽度驱动注意力网络，并将其插入CTV分割网络的解码器阶段，对CTV分割结果进行微调。宽度驱动注意力网络对一小部分腰肌数据进行标注，它根据CTV和腰肌的相对强的解剖先验，CTV上半部分的左右边界在腰肌的内侧缘，使用基于宽度驱动注意力网络在第一个架构训练好的参数上进行调整，根据像素类别分布的水平位置选择性地强调信息类别，对第一步获取的CTV分割进行微调。

与现有技术相比，本发明的有益效果是：

1、本发明提出了基于双注意力机制进行空间约束的宫颈癌靶区自动分割技术，通过网络结构的设计将OAR与CTV之间的相对位置关系融合进神经网络中，给神经网络提供了先验知识，提高了宫颈癌CTV分割的准确性。

2、放疗临床靶区的准确勾画，对实现宫颈癌自适应放疗等后续治疗步骤至关重要，对提高医生工作效率、减少对患者的伤害来说具有许多现实意义。

附图说明

以下结合附图和本发明的实施方式来作进一步详细说明

图1为本发明空间约束网络SC-Net的网络结构图；

图2为本发明OAR特征指导CTV分割流程图；

图3为本发明宽度驱动注意力网络组成图；

图4为本发明宽度驱动注意力网络插入CTV分割网络的微调训练流程图。

具体实施方式

参见附图。本实施例所述宫颈癌靶区自动分割方法，引入了双注意力机制对CTV的分割进行了空间约束，提出了两个网络SC-Net和WA-Net。第一个网络为空间约束网络SC-Net(spatial constraint net)，包括CTV分割网络和OAR分割网络，CTV分割网络使用编码器-解码器的架构学习CTV的分割，OAR分割网络使用同样的架构学习OAR分割，两个分割网络的编码器参数共享。两个分割网络的解码器不共享，可以获得不同的特征图，经过补丁嵌入(Patch embedding)后，以CTV解码器提取的特征作为键K和值V，OAR解码器提取特征作为查询Q，使用交叉注意力机制学习OAR与CTV的相对位置关系，利用OAR特征指导CTV分割。

第二个网络WA-Net(width-driven attention宽度驱动注意力网络)，并将其插入CTV分割网络的解码器阶段，对CTV分割结果进行微调。宽度驱动注意力网络对一小部分腰肌数据进行标注，它根据CTV和腰肌的相对强的解剖先验，CTV上半部分的左右边界在腰肌的内侧缘，使用基于宽度驱动注意力网络在第一个架构训练好的参数上进行调整，根据像素类别分布的水平位置选择性地强调信息类别，对第一步获取的CTV分割网络进行微调。

具体步骤如下：

1、第一个网络SC-Net包括CTV分割网络和OAR分割网络，两者都是一种常见的编码器、解码器结构的CNN。

如图1所示，SC-Net网络基础骨架以3D-Unet为例，网络包括CTV分割网络和OAR分割网络两个部分。

M＝F

X

X

其中，I代表输入图像，F

CTV分割网络和OAR分割网络共享一个编码器，而解码器不共享。查询取自OAR解码器的特征图，键和值取自CTV解码器的特征图。

OAR特征模块通过学习从宫颈癌CT中勾画的OAR，包括膀胱、盆骨、盆腔骨髓、直肠、小肠五部分的OAR分割。

然后通过交叉注意力机制计算CTV分割和OAR分割之间的相关性。具体操作是将CNN提取的CTV以及OAR的特征图展开为序列向量，加入位置编码，使用交叉注意力机制学习特征中各部分之间的位置关系。注意函数可以描述为将一个查询Q和一组键-值(K-V)对映射到一个输出，其中查询Q、键K、值V和输出都是向量，如公式(4)所描述的，其中d

2、医学图像通常涉及取决于空间位置的常见结构先验。根据腰肌与CTV的相对位置，CTV图像的每一列都有不同的类别分布统计。从这个意义上讲，仅从宽度(代表每一列的全局上下文)来捕捉上下文信息，可用于估算医疗分割的像素级分类过程中应如何对通道进行加权。因此，本发明提出了WA(宽度驱动注意力)网络，其目的是：i)提取宽度方面的上下文信息；ii)计算宽度驱动注意力权重，以利用上下文来表示每一列特征(在中间层)的重要性。在本节中，首先将WA-Net描述为一个通用插件模块，然后将WA-Net合并到特定层上形成语义分割网络，专门用于医学图像分割。本实施例只对一小部分腰肌数据进行标注，并在第一步获得的CTV分割网络上进行微调。

如图3所示，对网络进行微调的WA-Net根据有关列宽的上下文信息，为每个列生成每个通道的缩放因子。

和/>

在计算注意力图后，可以将给定的高层特征图X

具体来说，首先进行高度方向的池化操作(图3(a))。为了获得通道方向的注意力图，我们首先使用高度方向的池化操作G

Z＝G

高度方向的池化操作设置为平均池化。形式上，深度为d的第w列矢量计算为

第二步是计算粗注意力插值(图3(b，d))。在池化操作之后，模型生成矩阵

接下来计算宽度驱动的注意力图(图3(c))。宽度驱动的通道方向注意力图A是通过卷积层获得的，卷积层的输入是宽度方向的池化和插值后特征图

注意力图A显示了每一列的关键通道。例如，在最后一层，每一列可以与一个或两个标签(CTV或CTV+腰肌)相关联。这些由N个卷积层组成的操作可写成

其中，σ是sigmoid函数，δ是ReLU激活，

3、如图4所示，将WA-Net插入CTV分割网络的解码器阶段，对分割结果进行微调。为节省人力开销，此阶段仅标注了部分数据进行训练。

本发明基于人类专家学习勾画宫颈癌CTV时的思路，对人体的解剖结构具有一定认知才能进行CTV的勾画，提出了基于双注意力机制进行空间约束的宫颈癌靶区自动勾画技术，通过网络结构的设计将OAR与CTV之间的相对位置关系融合进神经网络中，给神经网络提供了先验知识，提高了宫颈癌CTV分割的准确性。放疗临床靶区的准确勾画对实现宫颈癌自适应放疗等后续治疗步骤至关重要，对提高医生工作效率与减少对患者的伤害来说具有许多现实意义。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。