基于多模态超图卷积神经网络的阿尔茨海默病分类方法

技术领域

本发明属于智能医疗计算机辅助诊断应用技术领域，涉及基于多模态超图 卷积神经网络的阿尔茨海默病分类方法。

技术背景

阿尔茨海默病(Alzheimer’s Disease，AD)是老年痴呆的主要原因，调查显 示，全球共有约4000万人罹患阿尔茨海默病，而这个数字预计将每20年增长 一倍，并且预计到2050年，老年痴呆症患者将达到1.15亿，即平均大约每85 个老年人中就有一个患有阿尔茨海默病。发展中国家老龄人口比例低于欧美发 达国家，但是患阿尔茨海默病的比例却比西欧和美国高。

阿尔茨海默病是一种不易被发现的进行性脑功能缓慢退化的疾病，与大脑 的一些神经病变与神经化学变化相关，患者正常生活的能力，在发病期间会出 现不同程度的减退，严重时甚至丧失生活自理能力、大脑思考能力，生病后性 格和行为模式习惯也会发生改变。阿尔茨海默病患者大脑的衰老速度明显快于 正常大脑的衰老速度，皮质严重萎缩，脑室扩大，海马区严重萎缩，神经纤维 缠结，淀粉样蛋白斑块，神经细胞及突出大量减少。所以神经影像学是诊断疾 病的有力工具，也是评价神经退行性疾病治疗效果的有力工具。神经影像学研 究为痴呆症病程的早期个体特征识别提供了巨大的潜力。

阿尔茨海默病临床上表现为记忆障碍、失语、失用、失认、视空间能力损 害、抽象思维和计算力损害、人格和行为改变等。虽然老年痴呆是一种生理老 化，多是由于大脑的脑细胞萎缩导致的，是不可逆的，但可以采用一些医疗手 段减缓老化速度。对阿尔茨海默病患者药物及认知疗法的干预效果最好的时间 是早期，疾病一旦发展到重度，治疗效果就不明显了，会给老人和他们的家人 的生活质量带来巨大的负面影响。因此阿尔茨海默病早期诊断对于临床、患者 以及患者家人都具有重要意义。

随着机器学习不断迅速的发展，越来越多的算法被提出用来检测阿尔茨海 默病，得益于近年来卷积神经网络(Convolutional Neural Networks,CNN)在计 算机视觉领域取得的巨大成功，多数算法使用CNN在磁共振成像图像上进行分 类，也有一些算法开始综合使用多种模态进行阿尔茨海默病诊断。这些方法都 要首先对原始脑图像进行特征提取，再使用提取后的特征训练分类器，最终实 现阿尔茨海默病分类的功能。虽然已经有很多方法用于实现阿尔茨海默病分类， 但仅使用一个模态进行分类的方法，忽略了多个模态之间的互补信息，而使用 了多种模态进行分类的方法，仅简单的将受试者之间的关系视为成对关系。在 现实世界中，受试者之间的关系要比成对关系复杂的多，并且CNN研究的对象 是有规则的空间结构，像脑图像这种医学影像，其结构更加复杂。如何更加有 效的利用多种模态之间的互补信息，并建立有效的、含有丰富鉴别信息的高阶 结构，以达到更好的诊断阿尔茨海默病的效果，依然是一个重要的挑战。

发明内容

为了解决上述问题，本发明提供了基于多模态超图卷积神经网络的阿尔茨 海默病分类方法。

该方法使用磁共振图像(Magnetic Resonance Imaging,MRI)、正电子发射型 计算机断层成像(Positron Emission Tomography，PET)和脑脊液(Cerebrospinal Fluid,CSF)三个模态的数据，包括训练阶段和使用阶段两部分，训练阶段包括 初始多模态特征构建模型，深度多模态特征提取模型和最终的阿尔茨海默病分 类。

训练阶段：初始多模态特征构建模型使用K-近邻策略和超图理论，分别对 每个模态构建超图，获得初始多模态构建模型。深度多模态特征提取模型构建 出三个图卷积神经网络，对于初始的三个模态特征进行训练，来获得具有更好 分类能力的深度多模态特征，得到深度多模态特征提取模型。阿尔茨海默病分 类使用多模态Takagi-Sugeuo-Kang(TSK)模糊分类器(Multi-Model-TSK-FLS)对 提取的深度多模态特征进行学习，获得具有阿尔茨海默病分类能力的模型。

使用阶段：获取临床上采集的患者的CSF的3个特征数据，和采集的PET 与MRI脑图像，并提取其93个感兴趣区域(Region of Interest,ROI)，并M将 其构建出超图作为初始多模态特征；再利用训练好的图卷积神经网络提取出初 始多模态的深度特征；最后使用训练好的多模态TSK模糊分类器对深度多模态 特征进行分类，得到最终的分类结果。

所述的基于多模态超图卷积神经网络的阿尔茨海默病分类方法使用超图理 论和深度学习基技术，并融合了多模态特征和深度学习的深层次结构优化表示。 多模态有效地利用了每个模态的独立性和模态之间的相关性，而超图则构建了 受试者之间隐藏的复杂多元信息。将深度学习技术和多模态特征学习技术有效 结合可以充分提取不同模态之间的有效信息，提高分类器的泛化能力。

脑成像在对受神经疾病影响的脑区进行定位、发明新方法治疗脑部疾病等 方面为神经科学家提供了有力的帮助。核磁共振成像提供了脑的解剖视图，正 电子发射断层扫描术提供了脑的功能视图。这两种脑成像被认定是可用于研究 阿尔茨海默病和轻度认知障碍(Mild Cognitive Impairment,MCI)的神经生理特 征。但阿尔茨海默病的临床标准没有统一化标准，范围从临床表现到MRI和PET 脑成像，再到生物标志物特征脑脊液中的临床化学分析都有涉及。在本发明中， 对临床上采集的PET和MRI脑图像进行一定的处理后，提取93个ROI的值， 同时加上3个CSF生物标志物特征CSF Aβ42、CSF t-tau和CSF p-tau，作为用 于学习分类器时的三个模态特征。

实际临床诊断中，仅靠MRI或PET一种脑成像来诊断疾病容易因信息不足 而难度较大且误诊率也较高。基于多模态的诊断方法往往优于基于单模态的方 法，而多数基于多模态的方法往往忽略了数据的高阶结构信息，简单的将其压 缩成两两成对关系。在实际应用中，受试者之间的关系要比成对关系复杂的多， 不能用传统的普通图来表示，超图则提供了一种灵活且自然的工具来建模这种 复杂关系。本发明使用超图来分别构建多个模态间的高阶关系，并采用K-近邻 策略来构建超图，该策略构建出的超图称为K均匀超图，本发明中的K取7， 即构建7-均匀超图。令G(V,E,w)代表超图，其中V是顶点集，每个顶点代表一个受试者,E是超边集，w＝w(e)是超边的权重集。对于超图G，令其关联矩阵为 H,表示超边与顶点之间的关系，即H的第(i,j)项表示第j个超边中是否包含第i个 顶点。因此矩阵H定义为:

根据关联矩阵H，每个顶点v和每个超边e的度分别定义为：

近年来出现了许多用于计算超图拉普拉斯矩阵的方法，这些方法可以粗略 的分为两种，一种是直接在超图上构建简单的图。另一种是类比简单图的拉普 拉斯矩阵来定义超图的拉普拉斯矩阵。两种方法实际上是相似的，本发明使用 第二种方法。令D

该部分具体步骤如下：

第一步：使用原始多模态特征作为初始多模态特征，

第二步：计算每个模态中受试者之间的欧氏距离，使用K-近邻策略计算关 联矩阵H，得到多模态关联矩阵特征，

第三步：利用超图拉普拉斯矩阵生成超图，得到初步多模态超图数据集 D＝{X

本发明的深度多模态特征提取部分使用基于超图扩展的图卷积神经网络 (称之为超图卷积神经网络)对多模态特征进行自动提取。对于原始多模态数 据，经过上述处理后得到PET超图特征，MRI超图特征，CSF超图特征，针对 三个不同的模态，分别构建超图卷积神经网络(Hyper-Graph Convolutional Network,Hyper-GCN)来对不同模态特征进行深度自动提取。

在图卷积神经网络(Graph Convolutional Network,GCN)模型中，图的每条 边的度只能是2，也就是每条边只能连接两个顶点，而超图可以编码高阶数据结 构关系，其超边可以连接任意多个顶点。类比于图卷积，并基于上一部分中超 图拉普拉斯矩阵的计算，超图卷积可表示为：

其中Θ是应用于超图节点上进行特征提取的滤波器，在训练中学习得到，

亦即传播公式，其中

该部分的具体步骤如下：

第一步：利用X

第二步：利用X

第三步：利用X

本发明的阿尔茨海默病分类部分使用多模态TSK模糊系统作为分类器。 Multi-Modal-TSK-FLS是基于TSK模糊系统构建而成的多模态分类器，很好的 继承了TSK模糊系统的可解释性，并且该方法可以根据每个模态的权重来评估 各个模态的重要性，基于权重进行最后的决策。

首先描述TSK模糊系统，定义TSK模糊系统的模糊推理规则如下：

IF

THEN

k＝1,2,…,K

其中K是规则系统中模糊规则的总数，

其中μ

其中

相应的数据和参数通过以下公式计算得到：

x

p

x

Multi-Modal-TSK-FLS首先对每个视角训练出一个TSK模型，得到每个视 角的前件参数，通过前件参数计算得到原始

通过交叉迭代方法求解出最优的后件参数

该部分具体步骤如下：

第一步：对每个模态使用TSK模糊系统，得到各个模态的前件参数和后件 参数，通过前件参数得到新的多模态数据集

第二步：根据第一步得到的新的多模态数据集

在本方法的使用阶段，具体步骤如下：

第一步：对处理过的临床采集的多模态脑图像和生物标志数据使用初始多 模态特征构建模型构建初步多模态检测数据集

第二步：使用深度多模态特征提取模型得到深度多模态检测数据集

第三步：使用训练好的多模态模糊分类模型对深度多模态检测集

本发明的优点包括以下几点：

1)初始多模态特征的构建：有多种处理多模态特征的方法，用不同的方法 处理的多模态特征都具有一定的效果，也各有优缺点。使用超图来构建多模态 特征可以很好的充分利用受试者之间的之间复杂关系而非简单的成对关系，可 以从不同的方面进行信息互补。

2)深度多模态特征的构建：为了提高多模态特征的有效性，基于初始的多 模态数据，利用Hyper-GCN进行深度学习来构造出深度多模态特征。相对于原 始多模态特征，经过深度特征提取的多模态特征具有更小的数据维度和更高的 分类效果。并且得益于图卷积神经网络的强大，一般图卷积仅适用两层就可达 到最好的效果，这也大大缩短了特征提取所需的时间。

3)多模态学习分类器的构建：利用多模态分类器学习技术，基于Hyper-GCN 学习到的深度多模态特征进行学习，来获得更具有泛化能力的多模态分类器用 于阿尔茨海默病检测。

4)整个模型中每个模态在构建初始特征、提取深度特征时是分别进行的， 多模态分类器的构建也不是简单的多个模态的拼接，因此突破了每个模态的特 征数相同的限制，可以处理不同模态不同特征数的数据。

附图说明

图1是本发明的算法总体框架图。

图2是本发明的不同模态数据获取算法框架图。

图3是本发明的多模态特征学习算法框架图，

图4是本发明的多模态分类器学习算法框架图。

图5是本发明的阿尔茨海默病分类算法框架图。

图6是本发明的超图与普通图的区别图。

具体实施方式

下面结合附图和实施例对本发明进行详细的描述：

如图1～图5所示，本发明实现了基于多模态超图卷积神经网络的阿尔茨海 默病分类方法。该方法包括初始多模态特征构建、深度多模态特征提取和阿尔 茨海默病分类三部分。初始多模态特征构建部分对原始多模态脑图像特征和生 物标记数据构建超图得到初始的多模态特征；深度多模态特征提取部分对初始 多模态特征进行深度特征学习，获得多模态深度特征；阿尔茨海默病分类部分 利用多模态TSK模糊系统对多模态深度特征进行分类，得出最终的分类结果。

训练阶段的具体步骤。本方法的初始多模态特征构建部分从原始多模态数 据中构造出多模态的超图特征。图6绘制了普通图与超图的对比，以显示超图 能提取更丰富的信息。

实施例1

按照训练阶段的实施方式，针对标准数据集ADNI数据库中的数据完成实 施例。选择同时具有MRI、PET和CSF三个模态的被试者数据进行试验，并只 选择这些被试者的基准点采集的数据。ADNI数据库中，同时具有以上三个模态 的被试者为202个,其中患有阿尔茨海默病(AD)的有51个，正常对照组(Normal Control,NC)有52个，轻度认知障碍(MCI)有99个。MCI中又分为18个月 后没有转化为阿尔茨海默病的(即MCI non-converters，MCI-nc)，为56个，18 个月后转化为阿尔茨海默病的(即MCI converters，MCI-c)，为43个。这些被 试者的人口统计资料信息如表1：

表1：ADNI同时具有MRI、PET和CSF三个模态的202个被试者人口统计资料信息

本发明在进行阿尔茨海默病分类时，不仅对AD与NC进行分类，同时也对 MCI进行分类。这是因为对MCI进行分类与对NC分类同样重要，MCI为轻度 认知障碍，越早发现，越早干预，病症加重的就越慢，患者也会少受些痛苦。 因此分出轻度阿尔茨海默病更有必要，也更加重要。其次对轻度认知障碍患者 在18个月后是否转换为AD进行分类，也可以帮助医疗工作者更精确的分辨患 者脑部状态进而进行有针对性的治疗。因此本发明的分类应用在三个方面，一 是AD与NC的分类，二是MCI与NC的分类，三是MCI-c与MCI-nc的分类。 表2分别显示了不同疾病程度使用10折交叉验证的平均分类结果，由表2可以 看出，AD vs.NC的分类精度最高，达到95.18％，因为阿尔茨海默病患者的脑 功能退化程度与正常人的大脑已经区别相对明显，识别相对来说较为容易，MCI vs.NC的分类精度为86.83％，这也说明相比于AD与NC组，MCI更难以识别， 早期阿尔茨海默病患者的大脑与正常衰老的大脑区别明显程度不高，因此更难 发现，MCI-c vs.MCI-nc的分类精度为83.89％。可以看出算法在准确度上取得 了较好的结果。

表2：实施例1中的本算法的性能指标：

表3总结了近几年关于多模态阿尔茨海默病分类的研究结果，以下研究的 数据集均采用202个被试者的数据进行实验，实验的方法各不相同，表中详细 描述了各个试验的具体方法和使用的模态，除了Wei Saho et al.的方法不能处理 不同特征数的多个模态，因此而去掉了一个模态外，其他方法均采用三个模态。 表3可以看出，在AD vs.NC,MCIvs.NC和MCI-c vs.MCI-nc分类中，我们的 算法均获得了较好的准确度。后两者的分类精度均大于其他算法，尤其是在 MCI-c vs.MCI-nc分类中，我们的算法准确率达到83.89％，而其他算法的准确 率都没有超过80％。

表3：不同方法的实验效果(Acc-Sen-Spe)：

实施例2

为验证多模态特征的分类效果优于单模态特征，本发明还分别采用不同单 个模态进行分类，与综合多模态分类进行对比，最后分别计算出各种模态的分 类效果绘制成表4，表5，表6。在采用单模态分类时的特征提取方法与过程与 多模态相同，最后的分类器使用单模态TSK模糊分类器。从表中可以看出，无 论哪一种分类任务，多模态的方法各项指标均达到了比单个模态好的效果。在 MCI vs.NC的分类任务中，综合多个模态的分类结果比单个模态分类中最高的 结果还高出了10％，达到了86.83％，其他几个分类任务多模态的分类效果也都 高于单模态的分类效果。

表4：不同模态的AD vs.NC分类效果比较

表5：不同模态的MCI vs.NC分类效果比较

表6：不同模态的MCI-c vs.MCI-nc分类效果比较

表7分别比较三个模态的深度特征分别使用单模态分类器和本方法使用 TSK-FLS多模态分类器的效果，发现本文提出的算法在acc，spe和sen都取得 了最好的效果，此结果说明了多模态分类器在本文提出的算法中达到了提高效 果的作用。

表7：深度特征在不同分类器上的AD vs.NC实验效果