基于多尺度多注意力实例学习的sMRI图像分类方法

技术领域

本发明涉及计算机视觉，深度学习中医学图像区域分割，医学影像预测等领域，具体涉及基于多尺度多注意力实例学习的sMRI图像分类方法。

背景技术

阿尔茨海默病(AD)是最普遍的神经系统疾病之一，其发病率显著增长。AD的进展逐渐导致记忆衰退和认知功能损害，最终导致不可逆的神经元损伤。虽然目前还没有有效的治疗方法来预防AD的进展，但AD的早期诊断对后续治疗延迟认知症状的发生仍然很重要。特别是考虑到萎缩过程甚至早于遗忘症状的出现，许多基于机器学习方法的研究被开发出来，以识别阿尔茨海默病(AD)患者与正常对照组(NC)的解剖学差异，并利用结构磁共振成像(sMRI)预测轻度认知障碍(MCI)的进展，而结构磁共振成像对脑萎缩引起的形态学变化较为敏感。

传统的基于sMRI的AD诊断方法通常将整个MR图像划分为多个不同尺度的区域，以便更好地提取脑局部异常结构改变的特征。基于不同尺度的划分，现有的基于sMRI的研究大致可以分为3类:1)体素级,2)区域级和3)贴块级。在体素水平方法中，从sMRI扫描中提取的组织特征(如灰质密度)构成了AD诊断的高维体素结构特征。然而，与特征的维数相比，AD分类的训练图像数量太少，这往往会导致维数魔咒。

近年来，深度学习方法在医学图像分析等图像分类任务中取得了巨大的成功。例如，深度卷积神经网络(deepconvolutionalneural networks,CNNs)通过经验验证，具有从sMRI数据中学习高级特征的出色能力，在许多研究者的努力下，极大地提高了脑疾病诊断的性能。然而，现有的AD诊断深度学习方法大多仍依赖于人工预定义的具有专家经验的感兴趣区域来建立基于CNNs的诊断模型，这导致使用相同模板空间没有充分考虑个体差异，可能没有包括分布在全脑的整个疾病相关萎缩特征。此外，由于神经网络的黑盒特性，很少有深度学习方法对病理位置有特定的输出，这忽略了医学实践中的可解释性问题。由于脑萎缩通常发生在局部，sMRI扫描中只有少数区域出现明显的结构变化，与病理特征高度相关，而其他区域的区分信息很少。

因此，基于深度学习的sMRI分类方法的关键挑战是增强特征的识别，包括(1)局部区域内信息丰富的微观结构和(2)全局图像中相对重要的区域。而现在所存有的分割技术能很好的将脑部区域分为我们所想要的白质，灰质，小脑，脑干等区域，让我们能更加轻松的找到包含更多微观结构信息和相对全局更加重要的区域，这需要用到注意力机制，找出对我们所需要更重要的区域送入网络模型。

发明内容

针对现有技术中存在的不足，本发明提供了一种基于多尺度多注意力实例学习的sMRI图像分类方法。本发明引入了注意力机制，在局部和全局的特征分析中都有加强特征的效果，得到更好的分类和预测效果。

在本发明中，我们提出了一种多尺度多注意力实例深度学习模型来进行AD和正常对照组的分类。具体来说，多尺度多注意力实例学习模型由三个主要部分组成，即多尺度学习部分、注意多实例学习(MIL)池化部分和注意感知的全局分类器。通过具有空间注意块的多尺度学习模块,该模型可以从分布于大脑的多个局部sMRI斑块中学习到有鉴别性的结构特征。然后通过注意MIL池化，将所有斑块级特征赋予不同权重，组合成一个全脑结构信息的全局特征表示，最后在此基础上构造一个用于AD诊断的全局分类器。我们在公共数据集ADNI上评估了提出的方法，并在多个与AD相关的分类任务(如AD分类和MCI转换预测)上进行实验。

基于多尺度多注意力实例学习的sMRI图像分类方法，包括如下步骤：

步骤(1)、数据集获取；

下载ADNI数据库的sMRI数据，使用现有的分割模型将图像分割成脑区区域图像形成数据集。

步骤(2)、构建多尺度多注意力实例学习模型。

所述的多尺度多注意力实例学习模型包括空间金字塔池化模块、patch-net处理模块、注意力多实例学习模块和分类器。

步骤(3)、通过空间金字塔池化模块将不同大小脑区转化为相同尺度；

步骤(4)、通过patch-net处理模块获取相应的局部特征增强。

步骤(5)、通过注意力多实例学习模块来增强全局特征。

步骤(6)、通过分类器得到分类结果；

步骤(7)、训练多尺度多注意力实例学习模型。

进一步的，步骤(3)具体方法如下:

所述的空间金字塔池化模块包括五个卷积核相同的卷积层和一个3D的空间金字塔池化层。输入的数据首先依次通过五个卷积核相同的卷积层进行特征提取，将提取特征后的图像输入3D的空间金字塔池化层进行特征尺寸的整合，统一为相同尺寸的patch块作为该模块的输出，输出为patch-level级的特征map。

进一步的，步骤(4)具体方法如下：

所述的patch-net处理模块包括一个全局最大池化模块和一个空间注意力模块。

将空间金字塔池化模块输出的相同尺寸的patch块作为patch-net处理模块的输入，patch块通过全局最大池化模块相应的最大池化层与卷积层加强特征信息，输出自注意力所需的初始的特征map。引入注意力机制，通过全局平均池化以及全连接层将每个特征平展开，并通过sigmoid层得到相应的影响分数(Affectscorce)。在空间注意力模块中，使用最大池化和平均池化获取不同影响程度的加强特征，并与之前通过卷积层输出的特征map进行叉乘结合，输出带有加强特征的patch块。

进一步的，步骤(5)具体方法如下：

所述的注意力多实例学习模块包括最大池化层、平均池化层和注意力模块。多实例学习是指将所有网络输出进行打包总和为一个特征map。该模块的输入为多个patch-net网络的输出连接到一起的全局特征map(globalfeature)。该模块设定每轮训练的batch-szie数量的patch块，将其平展连接在一起，通过全局池化层以及相应的两层卷积层加强特征以及patch-net网络获取的局部影响分数累乘，通过sigmoid层输出全局的影响分数，并与输入的全局特征相乘输出带有注意力分数的特征patch。

进一步的，步骤(6)具体方法如下；

所述的分类器包括两个卷积层、一个全局平均池化层、两个全连接层以及一个softmax层。通过两个卷积层以及全局平均池化层加强特征map，再通过两个全连接层输出所有特征信息，最后通过softmax层获取分类的分数。

进一步的，步骤(7)具体方法如下；

使用的来自ADNI数据库的数据训练多尺度多注意力实例学习模型，ADNI数据包括200AD患者，以及250NC对照组。

首先对ADNI数据进行区域分割，按当前的148脑区模型分割，将每个脑区当做独立的patch块进行分析。设定batch-size为4，使用交叉损失函数，每次训练100轮。

进一步的，所述的多尺度多注意力实例学习模型使用4个空间池化模块和patch-net模块的并行的输出作为注意力多实例学习的输入。

本发明有益效果如下：

(1)本发明是采取了区域块的分析方法，能获取对大脑病变影响更大的位置。

(2)本发明引入了双注意机制，能增强到局部和全局的特征。

(3)本发明采用了将分割数据和脑区数据结合的多模态数据，加强分类效果。

附图说明

图1为本发明实施例网络整体架构示意图；

图2为本发明实施例空间金字塔池化模块结构示意图；

图3为本发明实施例patch-net处理模块结构示意图；

图4为本发明实施例注意力多实例学习模块结构示意图；

图5为本发明实施例分类器结构示意图。

具体实施方式

以下结合附图与实施例对本发明技术方案进行进一步描述。

基于多尺度多注意力实例学习的sMRI图像分类方法，包括如下步骤：

步骤(1)、下载ADNI数据库的sMRI数据，使用现有的分割模型将图像分割成脑区区域图像形成数据集。

步骤(2)、构建多尺度多注意力实例学习模型。

如图1所示，所述的多尺度多注意力实例学习模型包括空间金字塔池化模块、patch-net处理模块、注意力多实例学习模块和分类器。网络的架构中是使用4个空间池化模块和patch-net模块的并行的输出作为注意力多实例学习的输入。

步骤(3)、通过空间金字塔池化模块将不同大小脑区转化为相同尺度；

如图2所示，所述的空间金字塔池化模块包括五个卷积核相同的卷积层和一个3D的空间金字塔池化层。输入的数据首先依次通过五个卷积核相同的卷积层进行特征提取，将提取特征后的图像输入3D的空间金字塔池化层进行特征尺寸的整合，统一为相同尺寸的patch块作为该模块的输出，输出为patch-level级的特征map。

因为每个脑区的区域大小不一致，我们的目的是为了找出脑区对于发病的影响程度，卷积神经网络一般只处理相同的尺寸大小的图像，因为脑区大小不同，所以引用了空间金字塔池化层(SPP)，SPP网络可以将不同尺寸大小的图像转化为相同大小的patch。上述网络就能解决了脑区域大小不同的问题。

步骤(4)、通过patch-net处理模块获取相应的局部特征增强。

如图3所示，所述的patch-net处理模块包括一个全局最大池化模块和一个空间注意力模块。

将空间金字塔池化模块输出的相同尺寸的patch块作为patch-net处理模块的输入，patch块通过全局最大池化模块相应的最大池化层与卷积层加强特征信息，输出自注意力所需的初始的特征map。引入注意力机制，通过全局平均池化以及全连接层将每个特征平展开，并通过sigmoid层得到相应的影响分数(Affectscorce)。在空间注意力模块中，使用最大池化和平均池化获取不同影响程度的加强特征，并与之前通过卷积层输出的特征map进行叉乘结合，输出带有加强特征的patch块。

为了加强局部的识别特征，我们引入了注意力机制，通过注意力机制能得到影响分数，影响分数点乘我们的patch块便能加强识别特征。Patch-Net有两个任务，包括1)学习空间注意感知的补丁级特征表示，2)输出一个影响分数，表示触发包标签的能力。空间注意块用于固定大小斑块中区分部分的特征增强。具体来说，我们的方法中的所有补丁网都具有相同的体系结构。

步骤(5)、通过注意力多实例学习模块来增强全局特征。

如图4所示，所述的注意力多实例学习模块包括两个不同的全局池化层(最大池化和平均池化)、注意力模块。多实例学习是指将所有网络输出进行打包总和为一个特征map。该模块的输入为多个patch-net网络的输出连接到一起的全局特征map(globalfeature)。该模块设定每轮训练的batch-szie数量的patch块，将其平展连接在一起，通过全局池化层以及相应的两层卷积层加强特征以及patch-net网络获取的局部影响分数累乘，通过sigmoid层输出全局的影响分数，并与输入的全局特征相乘输出带有注意力分数的特征patch。

patch-net处理模块可以得到每个patch块中的局部特征加强，但每个脑区的结构变化应该存在于整幅图像之中，所以忽略每个patch块对于大脑整体结构的影响是会影响到结果的预测和分析。为了得到全局的特征分数，如同上述的的带有注意力的patch-net，引入了带有注意力机制的多实例学习网络。该网络可以得到patch块对于全局的特征影响分数，加强全局特征，在patch-net网络得到了局部特征分数，加强局部特征，在此网络中便能得到全局的特征的影响分数。得到了局部的特征加强并在此模块得到了全局的加强特征分数，所以集合了局部和全局的特征加强网络便能提高网络的分类和预测精度。

步骤(6)、通过分类器得到分类结果；

如图5所示，所述的分类器包括两个卷积层、一个全局平均池化层、两个全连接层以及一个softmax层。通过两个卷积层以及全局平均池化层加强特征map，再通过两个全连接层输出所有特征信息，最后通过softmax层获取分类的分数。

通过patch-net网络，我们得到每个patch块的局部特征加强，通过引入了注意力机制的多实例学习网络，我们将patch-net网络所得的特征影响分数拼接后对整个图像的多个patch块进行点乘，加强局部特征。再通过注意力机制多实例学习网络得到全局的特征加强，这有助于我们分析每个patch或者说是脑区对于病情的影响程度。得到的局部和全局特征加强后通过简单的分类器便能实现分类或者预测的效果。

步骤(7)、训练多尺度多注意力实例学习模型；

使用的是来自ADNI数据库的数据训练多尺度多注意力实例学习模型，ADNI数据包括200AD患者，以及250NC对照组。

首先对ADNI数据进行区域分割，按当前的148脑区模型分割，将每个脑区当做独立的patch块进行分析。设定batch-size为4，使用交叉损失函数，每次训练100轮。

网络实现了脑区大小的多尺度特征分析，每个脑区patch的局部特征加强，脑区patch对于整个大脑区域影响程度的全局特征加强，充分的利用了病变开始之前脑区结构会发生变化的特征来实现计算机辅助诊断。

在使用ADNI数据库的数据进行AD和NC的分类时，分类效果达到较好的78％，说明该方法是能有效使用于sMRI图像的分类与预测研究的。

以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。

本发明未详细说明部分属于本领域技术人员公知技术。