基于多尺度融合网络的三维超声甲状腺分割方法及装置

技术领域

本发明涉及医学图像处理的技术领域，尤其涉及一种基于多尺度融合网络的三维超声甲状腺分割方法，以及基于多尺度融合网络的三维超声甲状腺分割装置。

背景技术

超声成像依赖于穿透组织的回波能量，能量因组织的特性而部分被衰减、吸收、反射。回传的信号通过超声探头收集并渲染成像。超声的成像特性造成了图像中具有随机的斑点噪声，对比度低，器官的边缘模糊。超声图像中组织的各向异性、相邻组织之间的回波性质会导致同一组织中呈现多种不同的模式表现。此外，超声成像常用于临床的实时检测，三维超声体数据的采集常通过手持二维超声探头滑动采集并重建生成体数据，这就引入了帧间的位移与模糊。以上原因使得三维超声的器官分割是个具有挑战性的问题。

当前已经有很多二维超声分割方法。有的采用需要初始化掩膜的基于区域的活动轮廓模型。有的使用模糊C聚类，直方图聚类，区域增长和随机游走等方法。有的使用无边界活动轮廓、基于区域的活动轮廓、距离正则水平集。有的使用阈值、区域分裂合并、分水岭、图割等经典算法。有的采用基于斑点相关像素和图像伪影作为信息的多器官分割方法。以上方法依赖于人工设计特征，且多为半自动的方法。

对于三维甲状腺图像的分割也产生了很多方法。有的采用3D弹簧形变模型来分割甲状腺软骨，但是用于CT图像。有的使用了测地线活动轮廓模型获取三维图像中甲状腺的轮廓，但仍为半自动分割方法。有的采用径向基函数进行超声数据块的直接分割。有的对比了水平集、图割法与像素分类器的方法，表明了学习类方法的有效性，或者进行逐帧的体数据分割，或者尝试使用3DUnet直接进行甲状腺的分割。有的采用基于SegNet的SUMNET进行逐帧的三维甲状腺分割。

近来，全卷积神经网络更多的应用于超声图像分割中，如使用前馈神经网络进行甲状腺分割。有的提出IVUS-Net采用多通路多尺度卷积核的分割网络用于二维血管内超声的分割。有的采用边界距离图深监督的基于Deeplab的网络用于二维超声肾脏的分割。有的采用多通道融合的深监督方法提高超声前列腺的分割边界的准确性。这些方法主要用于二维分割，而一些三维的分割网络常应用在由三维超声探头直接采集的图像上。

对于二维采集重建的三维超声体数据，先前工作已有逐帧分割或者直接进行三维分割的诸多尝试。有人提到三维分割网络训练困难，二维网络能够更好的关注器官的边缘，有试验也表明采用二维网络分割并重建的方式相较于三维分割网络有更好的效果。但先前的方法仅用于健康的甲状腺数据，而临床甲状腺图像中结节往往与腺体对比度强，难以作为整体分割，当结节位于器官边缘时，将对边缘分割产生影响。

当前有很多方法提高分割边缘的精度。有的在编码解码结构中采用网状的通路以更好的结合利用多层特征，但是实践发现训练易出现不稳定。有的采用双通道的注意力模块，同时关注位置和通道两个层面的有效信息，但是在较高分辨率特征图时计算量庞大。有的使用相邻层级中的高级特征指导特征的融合，但是没有更好的利用更多尺度信息。有的采用了多尺度的基于通道的注意力模块而未有效利用位置的特征信息，但是仅相当于进行了特征图各个位置的通道方面的权重学习，未学习位置上的信息。

发明内容

为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种基于多尺度融合网络的三维超声甲状腺分割方法，其能够准确分割异质器官结构的边缘，避免最终分割结果依赖于距离图预测的中间结果，兼顾利用多层级语义信息并保持较小的计算量，能够准确地分割三维甲状腺，达到非常好的效果。

本发明的技术方案是：这种基于多尺度融合网络的三维超声甲状腺分割方法，其包括以下步骤：

(1)让网络学习去预测边界距离图，以便分割异质器官结构的边缘；

(2)采用深监督的方式对网络增加约束指导训练，以避免最终分割结果依赖于距离图预测的中间结果；

(3)在多尺度使用CBAM注意力模块来关注边缘距离信息；

(4)采用空洞卷积的密集融合模块对各层概率图进行融合，逐步细化输出概率图，产生各层的最终结果。

本发明让网络学习去预测边界距离图，能够准确分割异质器官结构的边缘。不同于使用串联的方式，本发明采用深监督的方式对网络增加约束指导训练以避免最终分割结果依赖于距离图预测的中间结果。此外，为了兼顾利用多层级语义信息并保持较小的计算量，在多尺度使用CBAM注意力模块来更好的关注边缘距离信息。最终，采用空洞卷积的密集融合模块对各层概率图进行融合，逐步细化输出概率图，产生各层的最终结果。因此，能够准确分割异质器官结构的边缘，避免最终分割结果依赖于距离图预测的中间结果，兼顾利用多层级语义信息并保持较小的计算量，能够准确地分割三维甲状腺，达到非常好的效果。

还提供了基于多尺度融合网络的三维超声甲状腺分割装置，其包括：

分割模块，其配置来让网络学习去预测边界距离图，以便分割异质器官结构的边缘；

边界距离图模块，其配置来采用深监督的方式对网络增加约束指导训练，以避免最终分割结果依赖于距离图预测的中间结果；

注意力模块，其配置来在多尺度使用CBAM注意力模块来关注边缘距离信息；

空洞密集融合模块，其配置来采用空洞卷积的密集融合模块对各层概率图进行融合，逐步细化输出概率图，产生各层的最终结果。

附图说明

图1是甲状腺分割掩膜生成潜在距离图示例，其中，(a)原图，(b)甲状腺掩膜，(c)归一化距离图。

图2是根据本发明的基于多尺度融合网络的三维超声甲状腺分割方法的流程图。

具体实施方式

如图2所示，这种基于多尺度融合网络的三维超声甲状腺分割方法，其包括以下步骤：

(1)让网络学习去预测边界距离图，以便分割异质器官结构的边缘；

(2)采用深监督的方式对网络增加约束指导训练，以避免最终分割结果依赖于距离图预测的中间结果；

(3)在多尺度使用CBAM注意力模块来关注边缘距离信息；

(4)采用空洞卷积的密集融合模块对各层概率图进行融合，逐步细化输出概率图，产生各层的最终结果。

本发明让网络学习去预测边界距离图，能够准确分割异质器官结构的边缘。不同于使用串联的方式，本发明采用深监督的方式对网络增加约束指导训练以避免最终分割结果依赖于距离图预测的中间结果。此外，为了兼顾利用多层级语义信息并保持较小的计算量，在多尺度使用CBAM注意力模块来更好的关注边缘距离信息。最终，采用空洞卷积的密集融合模块对各层概率图进行融合，逐步细化输出概率图，产生各层的最终结果。因此，能够准确分割异质器官结构的边缘，避免最终分割结果依赖于距离图预测的中间结果，兼顾利用多层级语义信息并保持较小的计算量，能够准确地分割三维甲状腺，达到非常好的效果。

优选地，所述步骤(1)中，编码器部分各阶段采用相同数量的卷积块，并采用步长为2的跨步卷积替代最大池化层；采用GN-PReLU-Conv的顺序组建单个卷积层，归一化层前置的形式；所有卷积层采用分组数为4的分组卷积；在编码器的第三第四阶段使用空洞率为2的空洞卷积以增加感受野并获得更有指导性的语义信息。

优选地，所述步骤(2)中，将后续各个层级的特征图通过双线性插值统一到第一阶段的特征图大小，并以掩膜计算得到的边缘距离图作为约束进行深监督。

优选地，所述步骤(2)中，给定一个甲状腺掩膜，获得其边缘掩膜后，计算各像素P

d(P

其中D

归一化距离图深监督的损失函数形式为：

其中

优选地，所述步骤(2)中，λ设定为0.01。

优选地，所述步骤(3)中，将编码器各层特征图slf以第2层分辨率为基准通过双线性插值统一分辨率，拼接之后通过卷积操作得到多层卷积特征mlf，将slf和mlf拼接送入注意力模块，由多尺度特征指导学习信息融合的权重，将权重作用于mlf以获得层级slf细化所需的有效信息，并与slf结合得到输出特征图。

优选地，所述步骤(3)中，注意力模块的通道注意力权重为

M

其中，σ表示sigmoid函数，AvgPool,MaxPool分别为平均池化与最大池化操作，W

空间注意力权重为

M

其中，σ表示sigmoid函数，AvgPool,MaxPool分别为平均池化与最大池化操作，f

通道和空间注意力模块通过串联方式连接并组建残差块，块中的卷积采用分组卷积，归一化层采用GN层，激活函数采用PReLU。

优选地，所述步骤(4)中，将多个层级的特征图逐次输入，以密集连接的方式进行融合；以具备高级语义信息的第四层特征图首先输入，将卷积结果逐次拼接其他层级特征图，并迭代卷积运算；随着感受野的不断扩大，以及新的层级信息的融入，预测结果得到逐渐优化，感受野计算的额方式为

R

其中R

优选地，该方法的损失函数为

L

其中，L

本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种基于多尺度融合网络的三维超声甲状腺分割装置，该装置通常以与方法各步骤相对应的功能模块的形式表示。该装置包括：

分割模块，其配置来让网络学习去预测边界距离图，以便分割异质器官结构的边缘；

边界距离图模块，其配置来采用深监督的方式对网络增加约束指导训练，以避免最终分割结果依赖于距离图预测的中间结果；

注意力模块，其配置来在多尺度使用CBAM注意力模块来关注边缘距离信息；

空洞密集融合模块，其配置来采用空洞卷积的密集融合模块对各层概率图进行融合，逐步细化输出概率图，产生各层的最终结果。

以下更详细地说明本发明。

延续Vnet的做法，本发明的编码器部分各阶段采用相同数量的卷积块，并采用步长为2的跨步卷积替代最大池化层，使得降采样过程具有可学习参数并更加适合语义分割任务。采用GN-PReLU-Conv的顺序组建单个卷积层，归一化层前置的形式可以更加快速有效的训练网络达到更好的效果。GN具备优于BN的性能并在更大范围的批大小上表现稳定。所有卷积层采用分组数为4的分组卷积，减小通道之间的长距离耦合，减少网络参数的同时提高参数利用率。在编码器的第三第四阶段使用空洞率为2的空洞卷积以增加感受野并获得更有指导性的语义信息。

为了让网络更早的关注器官的边缘信息，将后续各个层级的特征图通过双线性插值统一到第一阶段的特征图大小，并以掩膜计算得到的边缘距离图作为约束进行深监督。不同于将预测结果直接作为中间结果，导致最终结果受到中间结果的影响，本发明采用深监督的方式，兼顾边缘特征的学习以及特征的向后传递。

给定一个甲状腺掩膜，获得其边缘掩膜后，计算各像素P

d(P

得到d为归一化距离图，其中D

归一化距离图深监督的损失函数形式为：

其中

网络各层的特征图具有不同的分辨率，在经过边缘距离图的深监督之后，特征中包含器官边缘的不同等级的语义信息。受到启发，为了更有效的结合各层语义信息，将编码器各层特征图slf(single layer feature-map)以第2层分辨率为基准通过双线性插值统一分辨率，拼接之后通过卷积操作得到多层卷积特征mlf(multiple layer feature-map)。此后，将slf和mlf拼接送入注意力模块，由多尺度特征指导学习信息融合的权重，将权重作用于mlf以获得层级slf细化所需的有效信息，并与slf结合得到输出特征图。

有效结合多层特征图要求注意力机制能够学习通道间、不同位置间信息的结合方式。为有效运用深监督作用下产生的关于器官边缘的特征，注意力机制应能够学习重要的空间位置信息。考虑到当前分辨率的计算量以及双通道注意力串行的更优效果，采用CBAM模块，在低计算量的同时兼顾通道与空间方面的权重学习。

注意力模块的通道注意力权重，M

空间注意力权重，M

通道和空间注意力模块通过串联方式连接并组建残差块，块中的卷积采用分组卷积，归一化层采用GN层，激活函数采用PReLU。

有人采用各层输出结果平均后作为最终结果的方式具备集成学习的思想，有助于产生更加准确的分割结果，然而没有对各层结果做进一步的细化结合。解码器的思想就是在可学习的过程中进行结果的多尺度优化。受到DenseASPP的启发，本发明将各层级的特征图经过空洞密集融合模块，并将各级结果概率图的平均结果作为最终的输出。

Deeplabv3在语义分割上的出色表现得益于ASPP中并行的各空洞率卷积，获得丰富长距离语义信息。DenseASPP则运用DenseNet密集连接的思想，通过多递增空洞率密集连接的方式，获得了更大范围，更加密集的多尺度感受野。本发明将这种思想用于结果的细化，并非处理单一的特征图，而是将多个层级的特征图逐次输入，以密集连接的方式进行融合。以具备高级语义信息的第四层特征图首先输入，将卷积结果逐次拼接其他层级特征图，并迭代卷积运算。随着感受野的不断扩大，以及新的层级信息的融入，预测结果得到逐渐优化。相较于ASPP的并行方式，更加密集的方式能够将感受野持续扩大并逐步结合不同感受野的特征。

感受野计算的额方式为R

BCE loss即交叉熵损失函数是常用的两类分割损失函数，适用于大物体分割，对于小目标的不平衡场景效果较差。Dice loss常用于小物体分割，其函数计算方式不受不同类别像素比例影响。为了在训练过程中兼顾位于器官中部，前景像素数量较多的切片，以及位于器官两端，前景较少的切片的分割效果，本发明结合BCE loss和Dice loss。此外，以物体边缘距离图的损失作为深监督，让网络更早关注物体边缘信息。本发明的混合损失函数如下定义：

L

其中，pred为像素预测概率图，target为ground truth，ε为平滑项，在实验中设为1e-8。λ

在临床超声数据和OpenCAS公开数据集上验证了本方法。实验表明提出的模型能够准确的分割了三维甲状腺，达到当前最好的效果。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。