一种基于图卷积网络结合自注意力机制的AD分类方法

技术领域

本发明涉及脑图像分类技术领域，具体为一种基于图卷积网络结合自注意力机制的AD分类方法。

背景技术

目前基于体素的研究是将目光放在全脑体素的DTI测度上，进行全脑分析。使用最多的DTI(弥散张量成像)测度是FA(部分各项异性)和MD(平均弥散率)，并搭配使用特征选择用于分类。而基于脑区的研究是将重点放到了AD(阿尔兹海默病)最敏感的区域。基于网络的研究则是可以大致分为三类，一类是直接构建白质纤维束，筛选出与AD相关的主要纤维束来计算它们的DTI测度用于分类；第二类是基于多种DTI测度构建结构脑网络，然后运用图论的方式，将网络拓扑结构用于分类；第三类是将结构脑网络直接输入到各种GCN(图卷积网络)中进行训练。但是目前的基于DTI影像的AD分类研究还存在一些问题，首先目前的研究大多数都是使用DTI影像的参数如FA和MD等来配合不同的特征选择方法提取特征来使用不同的分类器进行分类，而在分类器的选择上基本都是传统的机器学习算法比如说SVM(支持向量机)等。但是这种分类方法的效率是比较低的，因为不仅是要进行预处理和特征选择还有分类器的一些限制，而且目前这方面的研究已经取得了不错的分类结果，在未来的研究中应该更加注重DTI独特的白质特征和由DTI构成的结构脑网络，而在分类算法上面DTI影像与深度学习算法结合多见于网络连接图和GCN或GTN(图转换网络)模型，但是直接利用DTI影像学参数的相关应用还有待深度挖掘。

发明内容

本发明的目的在于克服现有的缺陷而提供的一种基于图卷积网络结合自注意力机制的AD分类方法，提高了分类的准确率。

实现上述目的的技术方案是：

一种基于图卷积网络结合自注意力机制的AD分类方法，包括：

步骤S1，将数据集中被试图像进行预处理，生成90*90的DT I脑网络；

步骤S2，根据预处理的数据提取出四个输入文件和90*90的DT I脑网络作为基于自注意力机制的图卷积网络的输入；

步骤S3，构建图卷积网络模型，并在图卷积网络模型的图池化层中加入自注意力机制；

步骤S4，通过将提取出四个文件和90*90的DT I脑网络输入到基于自注意力机制的图卷积网络中，通过基于自注意力机制的图卷积网络进行AD分类。

优选的，所述步骤S1包括：

步骤S11，将后缀名为dcm的被试图像转化为后缀为n ii.gz格式；

步骤S12，通过脑提取BET(脑部提取)来获得一个去除颅骨后脑的掩膜；

步骤S13，涡流矫正eddy来纠正涡流引起的扭曲和主体的运动；

步骤S14，张量计算来计算FA各向异性分数和MD平均弥散率；

步骤S15，确定性追踪来构建脑部纤维网络；

步骤S16，使用自动解剖标记模板AAL将大脑分成90个区域来定义网络节点生成90*90的DT I脑网络。

优选的，所述步骤S2中，根据预处理的数据提取出四个输入文件，分别是根据每个脑区中经过的纤维个数构成的节点特征；根据每个脑区之间的连接构成的脑网络邻接矩阵文件；每个节点所属被试的节点所属文件；每个网络图所代表的标签文件。

优选的，所述步骤S3中，图卷积网络模型由三个模块和一个全连接层组成，每个模块由一个图卷积层、一个图池化层和一个读出层组成。

优选的，所述步骤S3中，图卷积网络的公式如下：

式中，A代表脑网络邻接矩阵，D代表图中节点构成的度矩阵，H代表节点的特征矩阵。

优选的，所述步骤S4包括：

步骤S41，通过将提取出四个文件和90*90的DT I脑网络输入到图卷积网络的第一个模块中的卷积层进行卷积，将图结构转化为节点特征；

步骤S42，将得到的节点特征输入到第一个模块中的池化层中，通过自注意力机制的筛选出新的网络矩阵和特征矩阵和新的图结构；

步骤S43，将筛选出的新的网络矩阵和特征矩阵输出到第一个模块中的读出层进行聚合操作，将筛选出的新的图结构输出到第二个模块中的卷积层进行卷积；

步骤S44，第二个模块中的卷积层进行卷积后，得到新的节点特征；

步骤S45，将得到的节点特征输入到第二个模块中的池化层中，通过自注意力机制的筛选出新的网络矩阵和特征矩阵和新的图结构；

步骤S46，将筛选出的新的网络矩阵和特征矩阵输出到第二个模块中的读出层进行聚合操作，将筛选出的新的图结构输出到第三个模块中的卷积层进行卷积；

步骤S47，第三个模块中的卷积层进行卷积后，得到新的节点特征；

步骤S48，将得到的节点特征输入到第三个模块中的池化层中，通过自注意力机制的筛选出新的网络矩阵和特征矩阵；

步骤S49，将筛选出的新的网络矩阵和特征矩阵输出到第三个模块中的读出层进行聚合操作；

步骤S410，通过将三个模块得到的网络矩阵和特征矩阵聚合在一起，通过全连接层中的Softmax函数进行AD分类。

优选的，所述步骤S42、步骤S45和步骤S48中，通过在池化层加入自注意力机制来进行节点的筛选，自注意力机制的运行过程是将通过卷积层提取到节点特征之后，将每个节点的特征进行排序来选择要保留的节点，每个节点的自注意力分数Z计算公式为：

X代表节点的特征矩阵，θ

得到自注意力分数Z之后，根据Z的值来选择出前个节点，其中，top-rank函数用来得到排序后的前个值的索引，k是属于0到1的一个超参数，代表了池化比率，通过定义k来决定要保留的节点数，在得到保留节点的索引之后能够得到一个新的特征矩阵和邻接矩阵，具体公式为：

本发明的有益效果是：本发明充分利用了DTI影像的白质特征，将DTI影像直接抽象成脑网络的形式进行分类，简化了预处理的流程节省了预处理和分类时间，并将图卷积网络与自注意力机制结合在一起，加入自注意力机制来对脑区节点的特征进行排序，之后通过池化比率保留一部分排名较高的节点在读出层进行整合用于最后的分类，提高了分类的性能。

附图说明

图1是本发明一种基于图卷积网络结合自注意力机制的AD分类方法的流程图；

图2是本发明中对被试图像进行预处理的流程图；

图3是本发明中基于自注意力机制的图卷积网络进行AD分类的流程图；

图4是本发明中将DT I影像，即被试图像预处理成脑网络的示意图；

图5是本发明中自注意力机制运行图；

图6是本发明中基于自注意力机制的图卷积网络图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述。在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相正对地重要性。

下面将结合附图对本发明作进一步说明。

如图1-3所示，一种基于图卷积网络结合自注意力机制的AD分类方法，包括：

步骤S1，将数据集中被试图像进行预处理，生成90*90的DT I脑网络。

具体地，在ADN I数据库进行数据下载，从中选择出70个AD患者与70个正常被试图像，如图2、4所示，具体预处理流程如下。

步骤S11，使用FSL(软件)将后缀名为dcm的被试图像转化为后缀为n ii.gz格式。

步骤S12，通过脑提取BET来获得一个去除颅骨后脑的掩膜。

步骤S13，涡流矫正eddy来纠正涡流引起的扭曲和主体的运动。

步骤S14，张量计算来计算FA各向异性分数和MD平均弥散率等DT I参数。

步骤S15，通过PANDA(软件)工具使用确定性纤维追踪来构建脑部纤维网络。

步骤S16，使用自动解剖标记模板AAL将大脑分成90个区域来定义网络节点生成90*90的DTI脑网络。

步骤S2，根据预处理的数据提取出四个输入文件和90*90的DTI脑网络作为基于自注意力机制的图卷积网络的输入，其中，根据预处理的数据提取出四个输入文件，分别是根据每个脑区中经过的纤维个数构成的节点特征；根据每个脑区之间的连接构成的脑网络邻接矩阵文件；每个节点所属被试的节点所属文件；每个网络图所代表的标签文件。将每个大脑区域看作一个网络的节点，包含多个节点的特征，比如说每个脑区中包含的体素数，在经过预处理后选择由脑图谱中每个脑区之间的平均FA值构建FA脑网络来作为网络输入的邻接矩阵，表示每个脑区中有纤维经过的体素数量ROISurfaceSize作为节点特征。

步骤S3，构建图卷积网络模型，并在图卷积网络模型的图池化层中加入自注意力机制。

具体地，图卷积网络模型由三个模块和一个全连接层组成，每个模块由一个图卷积层、一个图池化层和一个读出层组成，图卷积层的作用是通过聚合节点及其邻居的信息，将图结构转化为节点的特征表示，这样可以在保留节点的局部邻域信息的同时，将图的信息转化为向量形式，便于后续的处理；池化层在图卷积网络中用于减小图的规模，从而降低计算复杂度，图卷积网络中的池化层并不是简单地缩小图的尺寸，而是通过聚合节点的信息来获取图的全局特征，池化层的作用是在保留图的重要特征的同时，减少计算量和参数数量，从而提高模型的效率。

图卷积网络的公式如下：

式中，A代表脑网络邻接矩阵，D代表图中节点构成的度矩阵，H代表节点的特征矩阵。

步骤S4，通过将提取出四个文件和90*90的DT I脑网络输入到基于自注意力机制的图卷积网络中，通过基于自注意力机制的图卷积网络进行AD分类，如图3、6所示，具体步骤如下。

步骤S41，通过将提取出四个文件和90*90的DT I脑网络输入到图卷积网络的第一个模块中的卷积层进行卷积，将图结构转化为节点特征。

步骤S42，将得到的节点特征输入到第一个模块中的池化层中，通过自注意力机制的筛选出新的网络矩阵和特征矩阵和新的图结构。

步骤S43，将筛选出的新的网络矩阵和特征矩阵输出到第一个模块中的读出层进行聚合操作，将筛选出的新的图结构输出到第二个模块中的卷积层进行卷积。

步骤S44，第二个模块中的卷积层进行卷积后，得到新的节点特征。

步骤S45，将得到的节点特征输入到第二个模块中的池化层中，通过自注意力机制的筛选出新的网络矩阵和特征矩阵和新的图结构。

步骤S46，将筛选出的新的网络矩阵和特征矩阵输出到第二个模块中的读出层进行聚合操作，将筛选出的新的图结构输出到第三个模块中的卷积层进行卷积。

步骤S47，第三个模块中的卷积层进行卷积后，得到新的节点特征。

步骤S48，将得到的节点特征输入到第三个模块中的池化层中，通过自注意力机制的筛选出新的网络矩阵和特征矩阵。

步骤S49，将筛选出的新的网络矩阵和特征矩阵输出到第三个模块中的读出层进行聚合操作。

步骤S410，通过将三个模块得到的网络矩阵和特征矩阵聚合在一起，通过全连接层中的Softmax函数进行AD分类。

具体地，通过在池化层加入自注意力机制来进行节点的筛选，如图5所示，自注意力机制的运行过程是将通过卷积层提取到节点特征之后，将每个节点的特征进行排序来选择要保留的节点，每个节点的自注意力分数Z计算公式为：

X代表节点的特征矩阵，θ

得到自注意力分数Z之后，根据Z的值来选择出前个节点，其中，top-rank函数用来得到排序后的前个值的索引，k是属于0到1的一个超参数，代表了池化比率，通过定义k来决定要保留的节点数，在得到保留节点的索引之后能够得到一个新的特征矩阵和邻接矩阵，具体公式为：

以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。