一种基于U-NET网络双编码器结构的纤维束分割方法

技术领域

本发明涉及白质纤维束分割技术领域，具体涉及一种基于U-NET网络双编码器结构的纤维束分割方法。

背景技术

大脑是人类身体中最为重要的器官之一，掌控着本发明的行为、情感、思维、记忆、语言、感官等多种机能。目前，全球的科研机构已经投入了大量人力和物力到脑科学领域研究中，旨在揭示人类大脑深层次的机理，以帮助人们更好地认识自己、了解人类行为和社会现象，治愈和预防大脑疾病，从而推动科技和医学进步。白质纤维束是连接大脑中不同区域的神经纤维束，这些神经纤维承担着神经信号的传递和信息交流功能，从而协调和调节大脑不同区域之间的信息传输和神经功能。对白质纤维束研究有助于深入理解大脑神经网络的组织结构和功能，以及不同神经系统疾病的发病机制。

目前，在医学图像分割领域，涌现出了许多新的网络结构。其中，基于编码器-解码器结构的U-Net和V-Net被广泛应用。U-Net包含收缩路径和扩展路径两个部分，用于捕获上下文信息和进行分割区域定位，大幅提高了医学图像分割任务的性能。在U-Net结构的基础上，许多研究人员提出了不同的变体结构。例如，肖等人将2D U-Net网络应用于白质纤维束分割，在HCP数据集上取得了不错的结果。Ilya等人基于V-Net提出了一种双编码器模型显著提升了白质纤维束的分割精度。这些研究利用深度卷积网络对白质纤维束进行分割，跳过了复杂的纤维束成像环节，对白质纤维束分割的发展具有重要的推动作用。

Unet虽然在图像分割任务中表现出色，但也存在一些缺点，例如在下采样过程中，U-Net通过池化操作可以有效地减少模型参数数量，但也会使得输入图像的分辨率下降，导致一些细节信息丢失，这可能会导致模型难以分辨一些细小的白质纤维或白质纤维的纤维边界，白质纤维束具有复杂的形状和不同的大小，并且还包含许多复杂的小区域结构，传统的U-Net结构很难有效地识别这些区域。

发明内容

针对现有技术中U-Net很难有效地识别复杂形状和不同大小的区域，使得输入图像的分辨率下降，导致一些细节信息丢失，对一些细小的白质纤维或白质纤维的纤维边界难以分辨的不足，本发明提供了一种基于双注意力机制及多模态双编码器的白质纤维束分割网络模型，可以直接自动分割白质纤维束，跳过了传统的白质纤维束成像步骤，实现更快速、更精准的白质纤维束分割，从而解决现有技术中存在很难有效地识别复杂形状和不同大小的区域，使得输入图像的分辨率下降，导致一些细节信息丢失，对一些细小的白质纤维或白质纤维的纤维边界难以分辨的问题。

一种基于U-NET网络双编码器结构的纤维束分割方法，包括以下步骤：

获取患者的DWI图像和T1w图像，并将DWI图像处理成配准到T1w图像的FA颜色编码图；

基于U-Net网络，采用卷积神经网络结构的编码器，以及在每一层均添加了残差结构和一个CBAM注意力模块的解码器，构建出纤维束分割网络模型；

将FA颜色编码图像作为纤维束分割网络模型的输入，输出分割图像；

根据分割图像获得脑肿瘤患者MR图像中的白质纤维分割效果图；

其中，采用纤维束分割网络模型进行图像分割，包括：

将FA颜色编码图输入至编码器中进行特征提取；

将提取的特征图输入至注意力模块中，注意力模块根据输入特征图和全局上下文特征图计算得到注意力图；

将T1w图像、提取的特征图和注意力图进行拼接，得到解码器第一层的特征图；

对解码器的每一层进行卷积，将解码器每层第一个特征图输入CBAM注意力模块中，分别对该特征图进行通道维度和空间维度的特征提取；

将提取后的特征图残差连接到该层的第三个特征图中，输出分割图像。

进一步地，所述将FA颜色编码图输入编码器中进行特征提取，其包括以下步骤：

将FA颜色编码图输入编码器中经过两次卷积层对其进行运算；

通过池化层对运算后得到的特征图进行下采样、压缩特征；

经过最后一层卷积层后提取出特征图。

进一步地，所述编码器每一层第二个卷积层的卷积核为扩张率为2的空洞卷积。

进一步地，还包括所述注意力模块根据输入特征图和全局上下文特征图计算得到注意力图后将注意力图与输入特征图相乘，用于放大输入特征图与目标物体相关的区域，并且压制与目标无关的区域。

进一步地，所述残差结构的每个层的输入与前面某一层的输出进行加和操作，得到的结果再通过激活函数进行处理，得到输出值；其所述残差结构表示为：

y＝F(x)+x

其中，x表示输入，F(x)表示经过非线性变换后的输出，y表示残差结构的最终输出。

进一步地，所述激活函数Sigmoid表示为：

其中x表示输入信号，Sigmoid的输出值范围为(0，1)，当输入信号越大，输出趋近于1；当输入越小，越接近负无穷时，输出趋近于0。

进一步地，所述CBAM注意力模块包括通道注意力模块和空间注意力模块；

所述通道注意力模块通过对特征图在通道维度上进行最大池化和平均池化得到两个不同的通道特征表示，然后通过全连接层和激活函数，生成一个通道权重向量；

所述空间注意力模块通过对通道注意力生成的特征图进行最大池化和平均池化，得到两个不同的空间特征表示，然后通过全连接层和激活函数，生成一个空间权重向量。

进一步地，所述CBAM注意力模块表示为：

F

其中，X表示输入特征图，M

进一步地，所述通道注意力模块表示为：

M

其中，MLP

进一步地，所述空间注意力模块表示为：

M

其中，MLP

本发明提供了一种基于U-NET网络双编码器结构的纤维束分割方法，具备以下有益效果：

本发明基于U-Net的双编码器模型为T1w图像和FA彩色编码图像提供特定的编码器，在解码器阶段加入了CBAM注意力模块和注意力模块，引入注意力机制可以提高网络对于重要特征的感知能力，增强局部特征表达，有效提高小区域白质纤维束分割的精度；提出了一种基于双注意力机制及多模态双编码器的白质纤维束分割网络MAYnet，将注意力充分运用于空间信息、通道信息和尺度信息；注意力的使用不仅提取了更丰富的语义信息，而且更加关注小区域白质纤维束区域的信息，突出了有效特征，从而减少像素级的分类错误，提高图像分割的准确性。

附图说明

图1为本发明实施例中不同切面的FA颜色编码示意图；

图2为本发明实施例中U-Net网络结果示意图；

图3为本发明实施例中V-Net网络结构示意图；

图4为本发明实施例中MAYnet网络结构示意图；

图5为本发明实施例中残差结构示意图；

图6为本发明实施例中扩张率为2的3×3空洞卷积示意图；

图7为本发明实施例中CBAM、通道注意力和空间注意力的结构示意图；

图8为本发明实施例中Attention Gated结构示意图；

图9为本发明实施例中处理DTI图像的示意图；

图10为本发明实施例中训练损失曲线图；

图11为本发明实施例中测试集分割结果展示图；

图12为本发明实施例中各模型Dice相似系数得分柱形图；

图13为本发明实施例中各模型Jaccard相似系数得分柱形图；

图14为本发明实施例中各模型分割结果图；

图15为本发明实施例中消融实验中各模型Dice相似系数得分柱状图；

图16为本发明实施例中消融实验中各模型Jaccard相似系数得分柱状图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

本发明基于深度卷积神经网络和弥散张量成像技术，提出了一种使用多模态作为输入的新分割模型，可以直接自动分割白质纤维束，跳过了传统的白质纤维束成像步骤，从而实现更快速、更精准的白质纤维束分割。本发明的主要内容为：将T1w图像，FA图像，MD图像，FA彩色编码图四种模态进行多种组合作为医学图像分割经典网络之一的Vnet的输入，以寻找最有效的序列作为模型的输入，并将损失函数改进为一种结合交叉熵损失函数和Dice损失函数的综合损失函数，通过实验得到将T1w图像和FA彩色编码图融合作为模型的输入取得的分割效果最佳。

本发明对Unet进行改进，提出了一种基于双注意力机制的双编码器白质纤维束分割网络MAYnet，将注意力充分运用于空间信息、通道信息和尺度信息。注意力的使用不仅提取了更丰富的语义信息，而且更加关注小区域白质纤维束区域的信息，从而提高白质纤维束的分割效果。

基于3D Unet的双编码器结构为T1w图像和FA彩色编码图像提供特定的编码器，通过选择模态融合的特定阶段来更好的融合不同模态的低级特征。在解码器的每一层都添加了残差结构和一个轻量级的卷积注意力模块(CBAM)，融合了来自编码器的特征图、双注意力模块的输出，以及当前解码器的特征图，通过融合多尺度上下文信息，减少了与目标无关的信息干扰，可以帮助网络更好地捕捉目标物体的局部和全局信息，突出了有效特征，以充分利用多尺度图像特征以实现白质纤维束的精确分割。

在BrainPTM2021数据集上进行训练，验证，测试，通过消融实验验证了各个模块的有效性，并将本发明提出的网络与其他先进的分割模型进行了对比实验。实验结果表明，本发明提出的网络具有更出色的分割效果。

磁共振成像MRI是一种医学成像技术，可以用于产生人体内部高清晰度的三维图像，常用于检查人体器官的结构和功能。MRI技术利用人体组织中的水分子在磁场中的行为，通过对水分子的信号进行分析来获得图像。

MRI拥有多种不同的成像序列，每一种序列都有其独特的成像原理和应用。以下是一些常见的MRI特殊序列：

T1加权成像(T1WI)：在T1WI序列中，强调的是组织中的脂肪成分。因此，脂肪呈现为高信号强度(亮)，而水和其他组织呈现为低信号强度(暗)。T1WI序列对于解剖学结构的显示很有用，例如对于脑、骨髓和脂肪组织的成像。

T2加权成像(T2WI)：在T2WI序列中，水分子成为成像的关键因素，因为水分子在磁场中的旋转速度与T2WI序列成像有关。T2WI序列能够显示出高水含量的组织，如肿瘤、水肿、炎症和血管异常等。

弥散加权成像(Diffusion Weighted Imaging，DWI)：DWI序列是一种特殊的T2WI序列，使用强梯度脉冲和灵敏的图像采集技术来检测组织中的微小分子运动，从而揭示出病变的灵敏性。DWI序列对于诊断卒中、脑肿瘤等疾病非常有用。

部分各向异性(Fractional Anisotropy，FA)是DTI图像中使用最广泛的参数之一，对应着弥散各向异性的程度，而且与纤维的方向有关，FA的取值范围在0到1之间，如在脑白质中，而FA值越大，意味着弥散的方向性越强，大脑白质纤维中FA的值接近1。它可以有效地区分灰质和白质在大脑中的区域，在DTI图像中，一般使用灰度图来表示FA值的大小，不过FA彩色编码图能更好地表示张量信息中的方向性信息，因为在这种图像中，不同的颜色代表不同的方向，例如红色代表白质纤维呈左右方向，蓝色代表白质纤维呈前后方向，绿色代表白质纤维呈上下方向，可以直观地显示出组织中水分子扩散的方向和程度。FA彩色编码图能够直观的观察到组织的扩散特性，但是无法观察纤维的微结构。FA彩色编码图如图1所示。

在医学图像分割领域，U-Net是最有代表性的编码器-解码器结构编码器-解码器结构之一。U-Net是由德国图像研究中心的Ronnenberger等人于2015年提出的一种用于生物医学图像分割的神经网络结构，其结构类似于自编码器，如图2所示。

U-Net的编码器部分采用了类似于卷积神经网络的结构，由多个卷积层和池化层组成。编码器部分不断缩小特征图的大小和增加通道数，从而提取图像的高级特征。

解码器部分则在通过上采样的方式将编码器的特征图逐渐恢复到原始图像的大小，同时对每一层特征图和编码器的对应层特征图进行拼接，从而实现了精细的像素级别的预测。这种跳跃式连接的结构可以将编码器中的低级特征与解码器中的高级特征相结合，从而提高了分割的准确性。

U-Net的特点是引入了跳跃式连接的结构，将编码器中的低级特征与解码器中的高级特征相结合，从而提高了分割的准确性。此外，U-Net还采用了一些技巧来防止过拟合，如数据增强、丢弃和早期停止等。这种方法在3D U-Net和V-Net中已经扩展到3D，其主要区别在于V-Net中使用残差跳跃来快速收敛，以及提出了Dice损失函数，可以有效处理图像分割任务中前景和背景体素不平衡的问题，V-Net网络结构如图3所示。

本发明提出了一种基于双注意力机制及多模态双编码器的白质纤维束分割网络MAYnet，将注意力充分运用于空间信息、通道信息和尺度信息。注意力的使用不仅提取了更丰富的语义信息，而且更加关注小区域白质纤维束区域的信息，从而提高白质纤维束的分割效果。基于3D U-Net的双编码器结构为T1w图像和FA彩色编码图像提供特定的编码器，通过选择模态融合的特定阶段来更好的融合不同模态的低级特征。在解码器的每一层都添加了残差结构和一个轻量级的卷积注意力模块(CBAM)，融合了来自编码器的特征图、双注意力模块的输出，以及当前解码器的特征图，通过融合多尺度上下文信息，以充分利用多尺度图像特征以实现白质纤维束的精确分割。在BrainPTM2021数据集中进行了大量的实验。通过消融实验验证了各个模块的有效性，并比其他先进的网络模型进行比较，实验结果表明MAYnet取得了更好的分割效果。

模型结构如图4所示，首先通过后处理将DWI图像处理成配准到T1w图像的FA颜色编码图，然后对数据进行预处理，接着将T1w和FA颜色编码图分别作为编码器的输入图像，T1w图像的尺寸为128×144×128×1，T1w图像只有一个通道，FA颜色编码图尺寸为128×144×128×3，使用3D图像作为模型的输入会消耗更多的显存，增加训练时间，但是3D图像有更多的空间信息，因此选择3D图像作为模型的输入。

对于编码器，如图4(a)所示，每一层都要通过一系列的卷积层，包括卷积，BN，Relu激活函数来进行特征提取。并将提取的特征输入到注意力们模块，注意力门使用输入特征图和全局上下文特征图计算注意力图，然后将其与输入特征图相乘。这有助于放大输入特征图中与目标物体相关的区域，并压制与目标无关的区域。通过这种方式，AG可以提高图像分割的准确性，并减少误分割的情况。在传统的U-NET网络中通常使用两层卷积层，并且两层都是使用大小为3×3×3，扩张率为1的普通卷积核来进行运算。本发明为了让网络能在使用同样数量参数的情况下能获得更大的感受野，因此把编码器每一层第二个卷积层的卷积核换成了扩张率为2的空洞卷积。

在经过两次卷积层后通过池化层对特征图进行下采样，压缩特征，避免模型因为参数量过多而发生过拟合现象。当特征图经过最后一层卷积层提取特征后进入解码器部分。

考虑到分割图在解码路径中逐渐成形图4(b)，本发明选择在解码开始时开始数据通道融合，从而在提取出每个输入通道唯一的低级特征之后。其中解码器的第一层的特征图由T1w图像和FA彩色编码图得到的特征加上两个编码器第四层中通过门注意力提取的注意力图，三者拼接而成。随后对解码器的每一层进行卷积，将解码器每层第一个特征图输入到CBAM模块，分别对特征图进行通道维度的和空间维度的特征提取，减少模型过拟合的风险，然后将这个特征图残差连接到该层的第三个特征图，以提高模型的泛化能力，避免梯度爆炸。

最后，输出一个5通道且尺寸为128×144×128的分割图像。

残差结构是一种用于深度神经网络的重要结构。残差结构的主要思想是通过引入跨层连接来解决深度神经网络中的梯度消失和梯度爆炸问题，同时还能有效提高网络的收敛速度和泛化能力。

在传统的神经网络中，每个层的输入都是前一层的输出，输出值经过激活函数后作为下一层的输入。而在残差结构中，每个层的输入都会和前面某一层的输出进行加和操作，然后再通过激活函数处理得到输出。这样一来，网络的学习变成了对于残差(即输入与输出之差)进行学习，从而避免了梯度消失和梯度爆炸问题的发生。

具体来说，残差结构如图5所示，可以表示为：

y＝F(x)+x (1)

其中，x表示输入，F(x)表示经过非线性变换后的输出，y表示残差结构的最终输出。这里的非线性变换可以是多种形式，如卷积层、全连接层、池化层等。通过这种跨层连接方式，残差结构可以在深度神经网络中实现信息的快速传递和组合，有效地提高网络的性能和泛化能力。

空洞卷积，也称为扩张卷积，是一种卷积神经网络中常用的卷积操作，可以通过增加卷积核的感受野大小而不增加参数数量来扩展网络的有效视野。

在传统的卷积操作中，卷积核的大小和步幅都是固定的，这限制了网络对于大尺寸物体或者场景的感知能力。而空洞卷积通过在卷积核中引入扩张率，扩张率越大，卷积核的感受野变得更大，当扩张率等于1时，为普通卷积核。因此空洞卷积可以在不增加卷积核大小和参数数量的情况下，增强网络对于大尺寸物体或场景的感知能力。如图6所示，一个扩张率为2的3×3空洞卷积只需要9个参数即可拥有一个5×5的普通卷积核相同的感受野。

空洞卷积在深度神经网络中被广泛应用，如DeepLab、PSPNet等。在图像分割和语义分割等任务中，空洞卷积可以有效地扩大网络的有效视野，提高网络对于场景的感知能力，从而获得更好的分割结果。同时，空洞卷积的计算量相对于传统卷积来说较小，可以在一定程度上缓解深度神经网络中的计算瓶颈问题。

CBAM模块全称是“Convolutional BlockAttention Module”，是一个轻量级的卷积块注意力模块。它是一种用于增强卷积神经网络特征表达能力的模块，通过自适应地学习特征通道之间的依赖关系，从而提高网络的表示能力和泛化能力。

CBAM模块由两部分组成：通道注意力模块(Channel Attention Module，CAM)和空间注意力模块(Spatial Attention Module，SAM)。通道注意力通过对特征图在通道维度上进行最大池化和平均池化，得到两个不同的通道特征表示，然后通过全连接层和激活函数，生成一个通道权重向量，用于动态地调整不同通道的特征贡献。空间注意力则是通过对通道注意力生成的特征图进行最大池化和平均池化，得到两个不同的空间特征表示，然后同样通过全连接层和激活函数，生成一个空间权重向量，用于动态地调整不同空间位置的特征贡献。

具体来说，CBAM模块如图7(a)所示，可以表示为：

F

其中，X表示输入特征图，F

M

其中，MLP

M

其中，MLP

CBAM模块在许多视觉任务中都取得了显著的性能提升，如在ImageNet上的分类任务和COCO数据集上的目标检测任务中。通过动态地调整特征图的通道和空间信息，CBAM模块可以提高神经网络的表达能力和性能，同时具有计算效率高、可嵌入性强等优点。

Attention Gate(AG)是一种用于神经网络的注意力机制，如图8所示，旨在增强网络的特征表达能力。AG通常用于图像分割任务，以帮助网络更好地捕捉目标物体的局部和全局信息。

AG包含两个关键部分：编码器和解码器。编码器用于提取输入图像的特征，通常是通过卷积神经网络实现的。解码器用于将提取的特征映射到输出图像，同时使用注意力机制来调整不同部分的重要性。

在AG中，注意力门使用输入特征图和全局上下文特征图计算注意力图，然后将其与输入特征图相乘。这有助于放大输入特征图中与目标物体相关的区域，并压制与目标无关的区域。通过这种方式，AG可以提高图像分割的准确性，并减少误分割的情况。

AG的优点在于提高了网络对目标物体的关注程度，减少了与目标无关的信息干扰。

可以帮助网络更好地捕捉目标物体的局部和全局信息，提高了图像分割的准确性。并且AG不会增加网络的参数量，因此可以轻松嵌入到现有的神经网络结构中。因此AG可以应用于各种类型的图像分割任务，包括语义分割、实例分割和边界分割等。

尽管AG在图像分割任务中表现出色，但其计算成本较高，需要额外的计算资源。因此，在实际应用中需要仔细权衡性能和计算成本。

本发明提出了一种新的融合方法，该方法为每个输入通道分配不同的编码路径，以优化通道特定特征的提取。在合成路径中，通过注意门模块融合来自每个输入的跳过连接，然后按通道连接到相应的解码路径层。由此产生的网络架构，在本发明中称为AGCYnet。

实施例：脑外科手术前白质纤维束成像分割挑战赛(Brain Pre-surgical whitemattertractography Mapping challenge 2021，BrainPTM2021)提供了带注释的皮质脊髓束(CST)和视辐射(OR)数据集，鼓励参赛者开发最先进的纤维束分割方法。本发明研究的纤维束分割方法依赖于BrainPTM2021公开挑战赛中的数据集，其中训练集60例，测试集15例。训练集由60个脑肿瘤病例构成，由4个病例因为纤维束成像困难没有皮质脊髓束的标注结果，其余所有数据都有神经解剖学专家的半自动标注结果。每个病例患者都有两个3D模态图像，分别为的T1w图像和扩散加权图像(DW)，如图9所示。DW协议在B0＝1000处具有64个梯度方向，并且在B0＝0处具有一个扫描，T1w图像的扫描仪器为通用电气医疗保健公司密尔沃基的3T Signa。这些图像已经做了部分预处理操作，例如使用Matlab的MrDiffusion工具箱处理DW图像，将其配准到高分辨率T1w，以保证对应点间的关系，以及用BET进行颅骨剥离，并将所有图像都重采样到1.25×1.25×1.25mm3的分辨率。每个T1w和DW扫描都存储在一个单独的nifti文件中，尺寸都是128×144×128，数据详细参数汇总在表1中。由于数据有标签的数据只有60例，本发明将50例数据划分为训练集合，10例数据作为验证集，测试集由竞赛中指定的没有标签的15例数据组成。

表1BrainPTM挑战赛数据集的详细信息

(1)生成DTI图像：DTI图像能更好的体现白质纤维束在大脑中的位置信息，所以先利用Python的dipy模块处理原始DWI数据，可以得到DTI的各种参数图像，在本方法中，生成的是FA彩色编码图像，又叫ColorFA，每个体素由3个RGB通道组成，ColorFA已经和T1w图像仿射配准，处理结果如图9所示。

(2)标签融合：将四个标注结果按照1，2，3，4合并到一个标注图像Mask中，0是背景，标签与目标对应关系如下表2：

表2纤维束和标签对应表

接着使用颅骨标签BrainMask找到T1w图像和ColorFA的ROI，去除图像中的非脑体素，将掩模映射到ColorFa和T1w体素上。

(3)数据归一化：数据归一化的目的是将原始图像数据进行线性转换，以使像素的值处于0到1的范围内。本发明使用的的是最大最小值归一化，其定义如公式(5)所示：

数据增强：深度学习模型通常需要大量的数据才能训练出良好的效果，但像医学图像数据很难获得或者有限。此时，数据增强可以通过对已有数据进行变换，使得模型更好地适应不同的场景和数据分布，增强模型的泛化能力，有效的减少模型的过拟合。由于本实验的数据都是配准过的，所以只增加随机旋转的操作，将数据扩充20倍。

为了评估ACUET模型对白质纤维束图像分割的性能，本实验所使用的硬件平台为：GPU NVIDIATESLAT4，使用主流的PyTorch深度学习框架进行实验和测试。由于三维图像对显存的消耗极大，本发明批数量(batch size)设置为1，采用Adam优化模型，学习率为0.001，droupout是0.5，训练的迭代次数为500，损失值变化如图10所示。本发明实验所使用的设施如表3所示。

表3实验使用涉及到的设施

深度学习框架：当本发明做一个深度学习项目时，选择一种适合自己需求的深度学习框架可以大大提高开发的效率，深度学习框架是一种工具，它可以帮助开发人员实现深度学习算法，从而训练和部署机器学习模型。以下是一些广泛使用的深度学习框架：TensorFlow：TensorFlow是由Google开发的一款开源机器学习框架，广泛用于计算机视觉、自然语言处理、语音识别、推荐系统等领域。TensorFlow具有强大的计算能力，可以在不同的平台上运行，包括CPU、GPU、移动设备和云平台等，支持分布式计算，并提供了高效的图形计算功能。它还具有灵活的编程模型，可以将复杂的计算图形转化为简单的操作序列，从而实现高效的计算。TensorFlow有大量的社区支持和丰富的生态系统，可以访问大量的模型、工具和库。虽然TensorFlow是一个广受欢迎和使用的深度学习框架，但它仍然存在一些缺点和不足，相比其他深度学习框架，TensorFlow的学习曲线可能更加陡峭，部分API可能不够稳定，会在新版本中发生变化，这可能会对旧版本的代码造成影响，并且TensorFlow的代码相对比较冗长，可读性相对较低，这对新手不够友好。

PaddlePaddle：飞桨(PaddlePaddle)是百度开发的一款深度学习框架，是全面开源的AI开发平台。它提供了丰富的API和工具，可用于构建和训练深度学习模型、进行推理和部署，支持多种编程语言和硬件平台，在学术界和工业界得到了广泛的应用和认可。但是相较于其他流行的深度学习框架，飞桨的安装和配置相对于其他深度学习框架来说较为复杂，并且飞桨的文档和社区支持相对较少，用户可能需要花费更多的时间和精力去寻找解决方案，这对新手来说不够友好。

PyTorch：PyTorch是由Facebook开发的深度学习框架，它是目前最受欢迎的深度学习框架之一，它提供的的PythonAPI设计简单，易于理解和上手，使用者可以快速构建、训练和部署深度学习模型，对新手非常友好。PyTorch的计算图是动态的，这使得它具有很高的灵活性，可以在运行时修改计算图，从而更好地适应复杂的应用场景。PyTorch还提供了丰富的工具和库，包括用于数据加载、图像处理、模型可视化、超参数优化等的工具。此外，PyTorch采用了高效的动态图和自动微分技术，可以在GPU上获得卓越的性能，这使得它在处理大型数据集和复杂模型时表现出色。PyTorch也有着庞大的社区和丰富的生态系统，提供了大量的预训练模型、示例代码、教程和博客。总的来说，PyTorch是一个快速、灵活、易用且功能强大的深度学习框架，适合新手入门学习和应用实践，因此本发明选择了PyTorch作为部署深度学习模型的框架。

评价指标：本次评估分割率使用的是BrainPTM2021上指定的两个评估指标，分别是Dice相似系数和Jaccard相似系数。假设给定真实标签图像设为G，通过算法分割出的预测图像为P，两个评估指标的定义如下：

Dice相似系数表示真实标签图像和算法分割出来的预测图像的体素的重叠率。Dice相似系数的取值范围为[0，1]，值越大表示预测结果与真实掩膜的相似度越高，分割精度越高。当Dice相似系数等于1时，意味着算法分割结果中的所有体素都与真实标签对应位置重叠，此时分割结果最佳。Dice相似系数的定义如公式(6)所示：

Jaccard相似系数与Dice相似系数类似，也是一种集合相似度度量指标，取值范围在0到1之间。值越大表示预测图像和真是标签差异越小，分割效果越好，其定义如公式(7)所示。

损失函数作用是在训练深度神经网络时，用于衡量预测值与真实值之间的误差或差异。损失函数通常是一个标量函数，其输入为神经网络的预测输出和真实输出，输出一个标量值，代表了网络预测的误差大小。深度学习网络通过反向传播算法来计算和更新每个神经元的权重和偏置，以最小化损失函数的值。因此，损失函数是深度学习网络训练的关键，其选择和设计将直接影响模型的性能和泛化能力。在实际应用中，不同的问题和场景需要选择不同的损失函数。相比于自然图像数据集，医学影像数据集由于采集、标注难度大，数据质量要求高等问题，往往数据数量较少，而且重要的信息特征区域通常只占据图像的一小部分，导致正负样本分布不平衡。针对白质纤维束数据集的训练，这种类别不平衡性是一个巨大的挑战。

正负样本不均衡的问题在训练过程中会对模型产生很大的影响。由于模型会倾向于预测数量更多的类别，这会导致假阴性现象的出现。针对这种情况，本发明更希望将皮质脊髓束和视辐射区域的体素预测出来，因为即使模型全部预测为正常体素，仍然会有很高的准确率，但对于患者而言这是没有意义的。考虑到这些因素，本发明在本次实验中采用了一种新的损失函数，定义如公式(8)所示：

L＝L

式中，L

交叉熵损失函数的定义如公式(9)所示：

式中，os代表输出图像的尺寸，y表示经过激活函数后的输出概率值，变量i代表不同的标签，每个标签都是相互独立的。因此，该函数可以应用于多标签分类问题。在该函数中，i的取值范围为1到os，每个i都是互不干扰的。在多分类任务中，不同类别的样本数量可能存在很大差异，导致模型在训练时过度关注数量较多的类别，忽略数量较少的类别。而交叉熵损失函数可以通过加权方式解决这个问题，使得每个类别的损失函数对总体损失函数的贡献相对均衡，从而提高多分类任务的性能。

Dice损失函数是用于评估预测结果与标签的相似度的函数，其输出的范围在0到1之间，越接近1表示两个图像越相似。函数定义如公式(10)所示：

式中，x代表预测图像体素个数，y代表标签体素个数。

本发明通过模型推理得到的15例测试样本的分割结果图，将各个纤维束根据自己对应的标签分成独立的.nii文件，本发明将结果上传到BrainPTM2021官方网站上进行在线评估，等待几分钟后会得到每个样本数据的四个白质纤维束在两个评价指标上的得分，以及所有样本数据在每种白质纤维束上的平均得分，为了更好展示每个样本的结果，将显示。测试集15例数据结果如表4所示：

表4测试集结果

表4展示了15个样例的4种纤维束的具体Dice相似系数和Jaccard相似系数，在最后一行展示它们平均数，其中CST_left为左脑皮质脊髓束，CST_right为右脑皮质脊髓束，OR_left为左脑视辐射，OR_right为右脑视辐射。从表中数据不难看出，无论是Dice相似系数还是Jaccard相似系数，本发明提出的MAYnet网络模型得到的分割结果比较理想，其中CST_left平均Dice相似系数为73.84％，最大值为81.58％，平均Jaccard相似系数为59.12％，最大值为68.89％；CST_right平均Dice相似系数为74.68％，最大值为80.67％，平均Jaccard相似系数为59.86％，最大值为67.60％，OR_left平均Dice相似系数为72.41％，最大值为80.48％，平均Jaccard相似系数为57.00％，最大值为71.49％，OR_right均Dice相似系数为69.04％，最大值为78.11％，平均Jaccard相似系数为53.09％，最大值为64.9％。为了更好的展示本发明提出的MAYnet的分割效果，本发明从测试结果中随机选取了5例数据进行了可视化展示，具体如图11所示。

图11展示了在五例患者脑肿瘤患者的MR图像中的白质纤维束分割效果图，由于T1w图像较为清楚，因此分割效果展示在该模态上，实际分割中使用了T1w和ColorFa两个模态，图11中红标签表示左脑皮质脊髓束，绿色标签表示右脑皮质脊髓束，蓝色标签表示左脑视辐射，黄色标签表示右脑视辐射。

同时本发明将所提出的模型与其他6种先进的模型进行比较，各模型Dice相似系数得分和各模型Jaccard相似系数得分分别如表5，表6所示：

表5各模型Dice相似系数得分

表6各模型Jaccard相似系数得分

本实验的Baseline采用的是BrainPTM2021指定的网络模型AGYnet，通过表格可以明显看出本发明所提出方法在Dice相似系数和Jaccard相似系数两个评价指标上都比Baseline分割效果更好。在Dice相似系数中，左脑皮质脊髓束提升了4.12％，右脑皮质脊髓束提升了4.16％，左脑视辐射提升了1.52％，右脑视辐射提升了3.62％，平均Dice提升了3.35％；在Jaccard相似系数中，左脑皮质脊髓束提升了4.82％，右脑皮质脊髓束提升了4.73％，左脑视辐射提升了1.73％，右脑视辐射提升了3.73％，平均Jaccard提升了3.76％。另外，MAYnet与Unet，Unet++，ResUnet，AGUnet，Vnet等模型相比分割效果也是最优的，说明本发明提出的模型有着不错的表现，能够有效地保留图像中的关键信息，为临床医师进行白质纤维束分割提供了可靠的参考。本实验还通过柱状图更直观地展示了各模型在两个评价指标上的得分差异，如图12和图13所示。

为了直观地展示本发明提出的模型与其他模型的分割效果的差异，本发明从验证集中随机挑选了1例样本进行展示，并与金标准进行对比，如图14所示。图14第1-4行分别对应着左脑皮质脊髓束，右脑皮质脊髓束，左脑视辐射和右脑视辐射，每张图上面的红色物体为对应的纤维束的3D分割图，因为放射图中的左右与现实中的左右相反，所以左脑的纤维束显示在图片右侧，右脑的纤维束显示在图片的左侧。从图中可以明显看出本发明所提出的分割模型，比Vnet，Unet，ResUnet，AttentionUnet等分割模型，对白质纤维整体和边缘部分有着更好的分割效果，更加接近金标准。

由于DTI有多个参数图像，为了找到最有效的模态作为模型的输入，以此避免信息重叠，本发明还在Vnet上对FA，T1w，ColorFA，MD等多个模态进行消融实验，采用的损失函数为前文所述的由交叉熵损失函数和Dice损失函数组合而成的复合函数。多模态图像融合消融实验结果如表7所示，柱状图如图15和图16所示。

表7多模态图像融合有效性消融实验

由表格7，图15和图16所示，本发明可以看到单一模态包含的有效信息比较少，分割精度较低，DTI图像比结构项图像T1w更有利于分割纤维束，多模态融合图像作为模型输入的分割效果会比单模态图像作为模型输入图像的分割效果好，这可能是由于不同模态包含了不同的语义信息，但是随着模态的增加到3个，分割效果不会继续提升，应该是FA和ColorFA和MD包含了太多了重复信息，使得模型学习到了更多的无关信息。其中T1w图像和ColorFA图像融合是分割效果最好的组合，因为本发明采用多模态图像是T1w图像和ColorFA图像。

为了验证模块的有效性，本发明通过删除某个模块来进行消融实验。表8和表9是分别去掉CBMA模块和AG模块后的Dice相似系数得分和Jaccard相似系数得分。

表8消融实验Dice相似系数得分

表9消融实验Jaccard相似系数得分

/>

从表中可以看出，双编码器的Ynet比Unet平均Dice相似度提升了0.32％，平均Jaccard相似度提升了0.43％，在此基础上，只加上CBMA模块的话，平均Dice相似度提升了1.45％，平均Jaccard相似度提升了1.51％，只加Attention Gate模块的话，平均Dice相似度提升了1.2％，平均Jaccard相似度提升了1.14％，同时加上CBMA模块和AG模块的话，平均Dice相似度提升了1.81％，平均Jaccard相似度提升了1.72％。由此可以说明加入的CBMA模块和Attention Gate模块有效地提高了神经网络的表达能力以及网络对目标物体的关注程度，减少了与目标无关的信息干扰，可以帮助网络更好地捕捉目标物体的局部和全局信息，提高了图像分割的准确性。

本发明提出了一种基于卷积神经网络在MRI上直接分割白质纤维束方法，不必执行纤维束成像，实现了对白质纤维束的快速分割，主要工作和研究成果如下：

为了找到最有效的序列作为卷积神经网络的输入，本发明在医学图像分割领域的经典网络模型Vnet的基础上对多个MRI序列图像进行多模态图像融合有效性消融实验，并使用了一种结合交叉熵损失函数和Dice损失函数的综合损失函数。最终得到由T1w和FA彩色编码图作为输入数据得到的分割结果更好。

本模型在BrainPTM2021数据集上进行训练，验证，测试，并将本发明提出的网络与其他几种先进的分割模型进行了比较，实验结果表明，本发明提出的网络具有更出色的分割效果。在Dice相似系数中，左脑皮质脊髓束提升了4.12％，右脑皮质脊髓束提升了4.16％，左脑视辐射提升了1.52％，右脑视辐射提升了3.62％，平均Dice提升了3.35％；在Jaccard相似系数中，左脑皮质脊髓束提升了4.82％，右脑皮质脊髓束提升了4.73％，左脑视辐射提升了1.73％，右脑视辐射提升了3.73％，平均Jaccard提升了3.76％。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。