多模态脑网络计算方法、装置、设备及存储介质

技术领域

本申请涉及机器学习技术领域，特别是涉及一种多模态脑网络计算方法、装置、设备及存储介质。

背景技术

目前，脑部疾病已经成为当今世界普遍存在的健康问题，它严重危及到了患者的生命安全。因此，对于脑部疾病的检测诊断受到越来越多的研究关注，脑连接研究方向正是其中一个方面，通过分析脑连接有助于神经退行性疾病的诊断和病理溯源，以阿尔茨海默症(Alzheimer'sdisease,AD)为例，阿尔茨海默症患者在疾病发展过程中会出现脑连接变化。这些变化特征可以通过fMRI、DTI等脑影像得到，传统的常规方法是由专业医师通过软件模板设置特定的参数、手动配准、图像校正得到有效连接。这种传统的病理特征分析方法高度依赖于专业医师的经验，有着很高的时间成本和人力成本，且输出效果受软件模板的参数设置影响很大，不利于个性化精准诊疗。

随着人工智能技术的发展，已出现众多无需依赖专业医师的脑连接智能计算系统。预测异常脑连接有助于提升神经退行性疾病的诊断效果，这里以阿尔兹海默症(Alzheimer's disease，AD)为例介绍脑神经退行性疾病诊断的相关技术背景。早期AD患者会表现出脑部结构或功能连接的变化特征，这些变化特征通过结构磁共振技术(DiffusionTensor Imaging,DTI)或者功能磁共振技术(functional magnetic resonance imaging,fMRI)反映出来。当前主流的方法是通过软件工具箱设置特定的参数，从结构影像或者功能影像中计算脑区之间的连接关系，基于这些脑连接关系构建脑连接诊断模型，挖掘疾病相关的异常特征，进而辅助神经退行性疾病的早期诊断。目前，基于脑连接方法进行AD诊断的研究提出了一种基于多模态的方法，其利用DTI和fMRI双模态影像数据构建脑区之间的连接边和脑区节点特征，并基于图卷积(GCN，Graph convolutional network)的方法融合两种模态的拓扑特征，并用于AD的诊断。但是，该多模态融合方法是将各个模态的通用特征和独有特征混合在一起加权融合，这种方法会带来通用特征冗余或者独有特征受损的问题，导致融合效果不佳。

发明内容

有鉴于此，本申请提供一种多模态脑网络计算方法、装置、设备及存储介质，以解决现有脑部疾病预测方法预测效果不佳的问题。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种多模态脑网络计算方法，其用于训练脑部疾病预测模型，脑部疾病预测模型包括特征提取网络、图表征扩散学习网络、脑网络重建网络、脑网络边界感知模块；方法包括：将预先获取的磁共振弥散张量成像数据输入至特征提取网络，得到脑区结构特征，同时预处理预先获取的脑部功能磁共振数据，得到脑区功能特征；利用图表征扩散学习网络在拓扑空间上对脑区结构特征和脑区功能特征进行分解，得到结构独有特征、结构通用特征、功能独有特征和功能通用特征；利用脑网络重建网络将结构独有特征、结构通用特征、功能独有特征和功能通用特征进行对齐和自适应融合，得到结构-功能脑连接矩阵；将结构-功能脑连接矩阵输入至脑网络边界感知模块进行预测，得到患有被测试疾病的预测概率；基于预测概率和预先构建的损失函数反向更新特征提取网络、图表征扩散学习网络、脑网络重建网络、脑网络边界感知模块的参数。

作为本申请的进一步改进，将预先获取的磁共振弥散张量成像数据输入至特征提取网络，得到脑区结构特征，包括：根据解剖学脑区知识，对脑区中心点坐标和脑区相对体积进行归一化编码得到知识嵌入向量；将磁共振弥散张量成像数据输入特征提取网络的卷积层进行处理，得到通道向量；将知识嵌入向量和通道向量输入特征提取网络的Transformer网络中进行处理，得到脑区结构特征。

作为本申请的进一步改进，图表征扩散学习网络包括离散结构图表征扩散学习模块、时序功能图表征扩散学习模块和空间结构-动态时序表征解析模块，离散结构图表征扩散学习模块用于在拓扑空间上对脑区结构特征进行分解，得到结构独有特征和结构通用特征，时序功能图表征扩散学习模块用于在拓扑空间对脑区功能特征进行分解，得到功能独有特征和功能通用特征，空间结构-动态时序表征解析模块用于将结构通用特征和结构独有特征重构为新的结构连接矩阵、且将功能通用特征和功能独有特征重构为新的脑区功能特征。

作为本申请的进一步改进，离散结构图表征扩散学习模块在拓扑空间上对脑区结构特征进行分解，得到结构独有特征和结构通用特征，具体包括：对脑区结构特征进行向量内积运算，得到结构连接矩阵；将脑区结构特征和结构连接矩阵输入离散结构图表征扩散学习模块的第一图自注意力网络；将第一图自注意力网络的输出分别输入离散结构图表征扩散学习模块的第一图卷积网络，得到结构通用变量和结构独有变量；基于重参数技巧，根据结构通用变量采样得到结构通用特征，根据结构独有变量采样得到结构独有特征；

时序功能图表征扩散学习模块在拓扑空间对脑区功能特征进行分解，得到功能独有特征和功能通用特征，具体包括：对脑区功能特征进行向量内积运算，得到功能特征矩阵；将脑区功能特征和功能特征矩阵输入时序功能图表征扩散学习模块的第二图自注意力网络；将第二图自注意力网络的输出分别输入时序功能图表征扩散学习模块的第二图卷积网络，得到功能通用变量和功能独有变量；基于重参数技巧，根据功能通用变量采样得到功能通用特征，根据功能独有变量采样得到功能独有特征。

作为本申请的进一步改进，脑网络重建网络包括脑网络重建模块和多模态表征分布识别模块，脑网络重建模块用于根据结构独有特征、结构通用特征、功能独有特征和功能通用特征重建结构-功能脑连接矩阵，多模态表征分布识别模块用于以预设的基准脑连接矩阵为目标分布，对脑网络重建模块重建的结构-功能脑连接矩阵进行约束。

作为本申请的进一步改进，脑网络重建模块根据结构独有特征、结构通用特征、功能独有特征和功能通用特征重建结构-功能脑连接矩阵，具体包括：将结构通用特征和功能通用特征进行等权值相加，得到对齐通用特征，并将对齐通用特征与结构独有特征、功能独有特征进行拼接；利用脑网络重建模块的通用-独有特征模糊匹配网络层、空间-时频精确关联网络层、联合空间投影归一化网络层对拼接后的对齐通用特征进行自适应加权聚合，得到融合特征；对融合特征进行向量内机运算，再经激活函数计算得到结构-功能脑连接矩阵。

作为本申请的进一步改进，损失函数包括KL散度和重构损失函数、通用-独有对比损失函数、对抗损失函数和边界感知损失函数；

KL散度和重构损失函数用于指导离散结构图表征扩散学习模块、时序功能图表征扩散学习模块、空间结构-动态时序表征解析模块参数更新，其表示为：

其中，L

通用-独有对比损失函数用于指导离散结构图表征扩散学习模块、时序功能图表征扩散学习模块参数更新，其表示为：

其中，L

对抗损失函数用于指导脑网络重建模块、多模态表征分布识别模块参数更新，其表示为：

其中，L

边界感知损失函数用于指导脑网络重建模块、脑网络边界感知模块参数更新，其表示为：

其中，L

为解决上述技术问题，本申请采用的又一个技术方案是：提供一种多模态脑网络计算装置，其包括：特征提取模块，用于将预先获取的磁共振弥散张量成像数据输入至脑部疾病预测模型的特征提取网络，得到脑区结构特征，同时预处理预先获取的脑部功能磁共振数据，得到脑区功能特征；分解模块，用于利用脑部疾病预测模型的图表征扩散学习网络在拓扑空间上对脑区结构特征和脑区功能特征进行分解，得到结构独有特征、结构通用特征、功能独有特征和功能通用特征；重建模块，用于利用脑部疾病预测模型的脑网络重建网络将结构独有特征、结构通用特征、功能独有特征和功能通用特征进行对齐和自适应融合，得到结构-功能脑连接矩阵；预测模块，用于将结构-功能脑连接矩阵输入至脑部疾病预测模型的脑网络边界感知模块进行预测，得到患有被测试疾病的预测概率；更新模块，用于基于预测概率和预先构建的损失函数反向更新特征提取网络、图表征扩散学习网络、脑网络重建网络、脑网络边界感知模块的参数。

为解决上述技术问题，本申请采用的再一个技术方案是：提供一种计算机设备，所述计算机设备包括处理器、与所述处理器耦接的存储器，所述存储器中存储有程序指令，所述程序指令被所述处理器执行时，使得所述处理器执行如上述任一项的多模态脑网络计算方法的步骤。

为解决上述技术问题，本申请采用的再一个技术方案是：提供一种存储介质，存储有能够实现上述任一项的多模态脑网络计算方法的程序指令。

本申请的有益效果是：本申请的多模态脑网络计算方法通过从磁共振弥散张量成像数据和脑部功能磁共振数据分别提取到脑区结构特征和脑区功能特征后，利用图表征扩散学习网络对脑区结构特征和脑区功能特征中的通用特征和独有特征进行分离，再基于对齐算法和自适应加权技术实现多模态通用、独有特征的有效融合，充分挖掘多模态数据之间的互补信息，从而使得模型在训练过程中能够学习到疾病相关的有效特征，使得最终训练得到的脑部疾病预测模型的精度更高，模型预测效果更好。此外，该脑部疾病预测模型端对端地将影像数据映射为脑连接特征，省去了繁琐的影像数据预处理步骤，自动化程度高，提高了临床诊断的效率。

附图说明

图1是本发明实施例的脑部疾病预测模型的结构示意图；

图2是本发明实施例的多模态脑网络计算方法的一流程示意图；

图3是本发明实施例的特征提取网络的结构示意图；

图4是本发明实施例的离散结构图表征扩散学习模块的结构示意图；

图5是本发明实施例的空间结构-动态时序表征解析模块的结构示意图；

图6是本发明实施例的脑网络重建模块的结构示意图；

图7是本发明实施例的多模态表征分布识别模块的结构示意图；

图8是本发明实施例的多模态脑网络计算装置的功能模块示意图；

图9是本发明实施例的计算机设备的结构示意图；

图10是本发明实施例的存储介质的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

图1是本发明实施例的脑部疾病预测模型的结构示意图。如图1所示，该脑部疾病预测模型包括特征提取网络、图表征扩散学习网络、脑网络重建网络、脑网络边界感知模块。其中，特征提取网络为一基于先验知识嵌入的结构Transformer网络，用于磁共振弥散张量成像数据中学习脑区结构特征，它可以利用解剖学脑区的中心坐标和相对体积等先验知识来引导网络学习脑区之间的结构连接关系。图表征扩散学习网络用于在拓扑空间对脑区结构特征和脑区功能特征进行分解，提取脑区白质纤维束的结构通用特征和结构独有特征以及脑区血氧时序信号的功能通用特征和功能独有特征。脑网络重建网络用于对齐结构-功能的通用特征和独有特征并进行自适应融合，提升结构-功能信息的融合效果，增强脑连接特征的识别能力。脑网络边界感知模块使得重建的结构-功能脑连接矩阵具有疾病类别的信息。

图2是本发明实施例的多模态脑网络计算方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图2所示的流程顺序为限。如图2所示，该多模态脑网络计算方法包括步骤：

步骤S101：将预先获取的磁共振弥散张量成像数据输入至特征提取网络，得到脑区结构特征，同时预处理预先获取的脑部功能磁共振数据，得到脑区功能特征。

具体地，本实施例中的特征提取网络为一基于先验知识嵌入的结构Transformer网络，请参阅图3，该Transformer网络通过平行注意力机制网络，将知识嵌入向量和通道向量进行隐式对齐，并利用多线性归一化技术将异质特征映射到具有相似语义的子空间，缩小语义子空间中的差距，实现先验知识向量在通道向量中连续稠密嵌入，提升通道向量关联脑区特征的效果，构建精准的结构连接矩阵。

因此，将预先获取的磁共振弥散张量成像数据输入至特征提取网络，得到脑区结构特征，具体包括：

1、根据解剖学脑区知识，对脑区中心点坐标和脑区相对体积进行归一化编码得到知识嵌入向量。

2、将磁共振弥散张量成像数据输入特征提取网络的卷积层进行处理，得到通道向量。

具体地，将磁共振弥散张量成像数据经过L层CNN卷积层获得N个通道的向量，并经过一个全连接层映射到维度为q的向量。

3、将知识嵌入向量和通道向量输入特征提取网络的Transformer网络中进行处理，得到脑区结构特征。

步骤S102：利用图表征扩散学习网络在拓扑空间上对脑区结构特征和脑区功能特征进行分解，得到结构独有特征、结构通用特征、功能独有特征和功能通用特征。

其中，请一并参阅图1，图表征扩散学习网络包括离散结构图表征扩散学习模块、时序功能图表征扩散学习模块和空间结构-动态时序表征解析模块。

其中，离散结构图表征扩散学习模块用于在拓扑空间上对脑区结构特征进行分解，得到结构独有特征和结构通用特征。时序功能图表征扩散学习模块用于在拓扑空间对脑区功能特征进行分解，得到功能独有特征和功能通用特征。

具体地，该图表征扩散学习网络的中心思想是基于图自注意力机制，在拓扑空间将脑区结构特征或者功能特征分解为通用部分和独有部分，并利用高斯后验概率分布，约束通用和独有特征的数据分布，学习到具有平滑的隐层特征，提高特征的稳定性和模型的泛化性能。

需要说明的是，离散结构图表征扩散学习模块和时序功能图表征扩散学习两个模块具有相同的网络结构。

具体地，请参阅图4，离散结构图表征扩散学习模块在拓扑空间上对脑区结构特征进行分解，得到结构独有特征和结构通用特征，具体包括：

1、对脑区结构特征进行向量内积运算，得到结构连接矩阵。

2、将脑区结构特征和结构连接矩阵输入离散结构图表征扩散学习模块的第一图自注意力网络。

具体地，第一图自注意力网络的计算过程如下：在l-1层，以节点V为中心，根据结构连接矩阵找出与V之间相连接的节点(V

3、将第一图自注意力网络的输出分别输入离散结构图表征扩散学习模块的第一图卷积网络，得到结构通用变量和结构独有变量。

4、基于重参数技巧，根据结构通用变量采样得到结构通用特征，根据结构独有变量采样得到结构独有特征。

需要说明的是，第一图卷积网络包括四个GCN网络，将第一图自注意力网络的输出分别输入四个GCN网络，分别得到结构通用变量(μ

S

S

其中，μ

其中，时序功能图表征扩散学习模块在拓扑空间对脑区功能特征进行分解，得到功能独有特征和功能通用特征，具体包括：

1、对脑区功能特征进行向量内积运算，得到功能特征矩阵。

2、将脑区功能特征和功能特征矩阵输入时序功能图表征扩散学习模块的第二图自注意力网络。

3、将第二图自注意力网络的输出分别输入时序功能图表征扩散学习模块的第二图卷积网络，得到功能通用变量和功能独有变量。

4、基于重参数技巧，根据功能通用变量采样得到功能通用特征，根据功能独有变量采样得到功能独有特征。

需要理解的是，时序功能图表征扩散学习模块与离散结构图表征扩散学习模块，功能独有特征和功能通用特征的获取步骤与结构独有变量采样得到结构独有特征的获取步骤完全相同，因此，功能独有特征和功能通用特征的详细获取过程具体请参阅结构独有变量采样得到结构独有特征的详细获取过程，此处再在赘述。

步骤S103：利用脑网络重建网络将结构独有特征、结构通用特征、功能独有特征和功能通用特征进行对齐和自适应融合，得到结构-功能脑连接矩阵。

本实施例中，空间结构-动态时序表征解析模块用于将结构通用特征和结构独有特征重构为新的结构连接矩阵、且将功能通用特征和功能独有特征重构为新的脑区功能特征。

具体地，空间结构-动态时序表征解析模块的目的是保持各个模态的完整信息，增强图表征扩散学习的稳定性。请参阅图5，空间结构-动态时序表征解析模块分为空间结构解析网络和时序功能解析网络，两个子网络结构相同，但不共享参数。其中，空间结构解析网络分别由方向投影层、非线性叠加层和粗细粒度融合层组成，最终重构回脑区结构连接特征；时序功能解析网络分别由相移变换层、相似波包度量层和高低频率聚合层组成，最终重构脑区功能特征。需要说明的是，空间结构解析网络和时序功能解析网络的每层网络的隐层神经元个数分别为q′、2′、q。

进一步的，脑网络重建网络包括脑网络重建模块和多模态表征分布识别模块，脑网络重建模块用于根据结构独有特征、结构通用特征、功能独有特征和功能通用特征重建结构-功能脑连接矩阵，多模态表征分布识别模块用于以预设的基准脑连接矩阵为目标分布，对脑网络重建模块重建的结构-功能脑连接矩阵进行约束。

需要说明的是，利用结构和功能模态融合来挖掘互补信息是是具有挑战性的，为了解决这一问题，本发明引入了脑网络特征对抗学习策略，利用对齐技术，将结构和功能的通用特征投影到同一子空间，并基于多线性自适应加权算法将多模态独有特征与对齐后的通用特征进行聚合，提升模态间互补信息的融合效果。具体地，本实施例通过设计脑网络重建模块和多模态表征分布识别模块，以基准脑连接矩阵为目标分布，提高脑网络重建模块的生成质量，充分融合模态间相关和互补信息，提升结构-功能模态的融合效果。

其中，请参阅图6，脑网络重建模块根据结构独有特征、结构通用特征、功能独有特征和功能通用特征重建结构-功能脑连接矩阵，具体包括：

1、将结构通用特征和功能通用特征进行等权值相加，得到对齐通用特征，并将对齐通用特征与结构独有特征、功能独有特征进行拼接，其表达是为：

Z

其中，||表示特征拼接，Z

2、利用脑网络重建模块的通用-独有特征模糊匹配网络层、空间-时频精确关联网络层、联合空间投影归一化网络层对拼接后的对齐通用特征进行自适应加权聚合，得到融合特征。

需要说明的是，通用-独有特征模糊匹配网络层、空间-时频精确关联网络层、联合空间投影归一化网络层的隐层神经元个数依次为3q′、2′、q′。

3、对融合特征进行向量内机运算，再经激活函数计算得到结构-功能脑连接矩阵。

具体地，结构-功能脑连接矩阵表示为：

A

其中，A

具体地，请参阅图7，多模态表征分布识别模块包括倾角投影层、远场衰减层、近场聚合层、相干激活层。其作用是判别基准脑连接矩阵或结构-功能脑连接矩阵的真假，输出判别的概率大小，目的是提高脑网络重建模块的生成质量，充分融合模态间相关和互补信息，提升结构-功能模态的融合效果。

步骤S104：将结构-功能脑连接矩阵输入至脑网络边界感知模块进行预测，得到患有被测试疾病的预测概率。

具体地，脑网络边界感知模块通过约束脑网络重建模块，使重建的结构-功能脑连接矩阵特征具有疾病类别信息，输出被测试疾病的预测概率。该脑网络边界感知模块包括脑连接异质传播层、空间平滑层、时频延拓层和时空回归层。

步骤S105：基于预测概率和预先构建的损失函数反向更新特征提取网络、图表征扩散学习网络、脑网络重建网络、脑网络边界感知模块的参数。

具体地，损失函数包括KL散度和重构损失函数、通用-独有对比损失函数、对抗损失函数和边界感知损失函数。

为了使图表征扩散学习模块学习到稳定的隐层特征，利用高斯后验概率分布约束脑区通用特征和独有特征，并利用空间结构-动态时序表征解析模块保持各个模态的完整信息，本实施例构建了KL散度和重构损失函数，用于指导离散结构图表征扩散学习模块、时序功能图表征扩散学习模块、空间结构-动态时序表征解析模块参数更新，给定脑区功能特征F～P

其中，L

为了确保学习到具有完全分离的通用特征和独有特征，增强模态间信息的互补性，本实施例设计了通用-独有对比损失函数，使得模态内通用和独有特征之间的距离足够远，模态间通用特征之间的距离足够近。该通用-独有对比损失函数用于指导离散结构图表征扩散学习模块、时序功能图表征扩散学习模块参数更新，其表示为：

其中，L

为了约束脑网络重建模块和多模态表征分布识别模块，学习到以图卷积构建的脑连接为基准分布的结构-功能脑连接矩阵特征，本实施例设计了对抗损失函数，用于指导脑网络重建模块、多模态表征分布识别模块参数更新，其表示为：

其中，L

为了约束脑网络重建模块，使融合后的结构-功能脑连接矩阵具有疾病类别相关的信息，本实施例设计了边界感知损失函数，用于指导脑网络重建模块、脑网络边界感知模块参数更新，其表示为：

其中，L

本发明实施例的多模态脑网络计算方法通过从磁共振弥散张量成像数据和脑部功能磁共振数据分别提取到脑区结构特征和脑区功能特征后，利用图表征扩散学习网络对脑区结构特征和脑区功能特征中的通用特征和独有特征进行分离，再基于对齐算法和自适应加权技术实现多模态通用、独有特征的有效融合，充分挖掘多模态数据之间的互补信息，从而使得模型在训练过程中能够学习到疾病相关的有效特征，使得最终训练得到的脑部疾病预测模型的精度更高，模型预测效果更好。此外，该脑部疾病预测模型端对端地将影像数据映射为脑连接特征，省去了繁琐的影像数据预处理步骤，自动化程度高，提高了临床诊断的效率。

进一步的，脑部疾病预测模型训练好之后，即可使用该脑部疾病预测进行脑部疾病预测，使用该脑部疾病预测模型预测脑部疾病的方法包括：

1、获取患者的脑部功能磁共振数据和磁共振弥散张量成像数据。

2、将磁共振弥散张量成像数据输入至特征提取网络，得到脑区结构特征，同时预处理脑部功能磁共振数据，得到脑区功能特征；

3、利用图表征扩散学习网络在拓扑空间上对脑区结构特征和脑区功能特征进行分解，得到结构独有特征、结构通用特征、功能独有特征和功能通用特征；

4、利用脑网络重建网络将结构独有特征、结构通用特征、功能独有特征和功能通用特征进行对齐和自适应融合，得到结构-功能脑连接矩阵；

5、将结构-功能脑连接矩阵输入至脑网络边界感知模块进行预测，得到患者患有相应疾病的预测概率。

图8是本发明实施例的多模态脑网络计算装置的功能模块示意图。如图8所示，该多模态脑网络计算装置20包括特征提取模块21、分解模块22、重建模块23、预测模块24和更新模块25。

特征提取模块21，用于将预先获取的磁共振弥散张量成像数据输入至脑部疾病预测模型的特征提取网络，得到脑区结构特征，同时预处理预先获取的脑部功能磁共振数据，得到脑区功能特征；

分解模块22，用于利用脑部疾病预测模型的图表征扩散学习网络在拓扑空间上对脑区结构特征和脑区功能特征进行分解，得到结构独有特征、结构通用特征、功能独有特征和功能通用特征；

重建模块23，用于利用脑部疾病预测模型的脑网络重建网络将结构独有特征、结构通用特征、功能独有特征和功能通用特征进行对齐和自适应融合，得到结构-功能脑连接矩阵；

预测模块24，用于将结构-功能脑连接矩阵输入至脑部疾病预测模型的脑网络边界感知模块进行预测，得到患有被测试疾病的预测概率；

更新模块25，用于基于预测概率和预先构建的损失函数反向更新特征提取网络、图表征扩散学习网络、脑网络重建网络、脑网络边界感知模块的参数。

可选地，特征提取模块21执行将预先获取的磁共振弥散张量成像数据输入至特征提取网络，得到脑区结构特征的操作，具体包括：根据解剖学脑区知识，对脑区中心点坐标和脑区相对体积进行归一化编码得到知识嵌入向量；将磁共振弥散张量成像数据输入特征提取网络的卷积层进行处理，得到通道向量；将知识嵌入向量和通道向量输入特征提取网络的Transformer网络中进行处理，得到脑区结构特征。

可选地，图表征扩散学习网络包括离散结构图表征扩散学习模块、时序功能图表征扩散学习模块和空间结构-动态时序表征解析模块，离散结构图表征扩散学习模块用于在拓扑空间上对脑区结构特征进行分解，得到结构独有特征和结构通用特征，时序功能图表征扩散学习模块用于在拓扑空间对脑区功能特征进行分解，得到功能独有特征和功能通用特征，空间结构-动态时序表征解析模块用于将结构通用特征和结构独有特征重构为新的结构连接矩阵、且将功能通用特征和功能独有特征重构为新的脑区功能特征。

可选地，离散结构图表征扩散学习模块在拓扑空间上对脑区结构特征进行分解，得到结构独有特征和结构通用特征的操作，具体包括：对脑区结构特征进行向量内积运算，得到结构连接矩阵；将脑区结构特征和结构连接矩阵输入离散结构图表征扩散学习模块的第一图自注意力网络；将第一图自注意力网络的输出分别输入离散结构图表征扩散学习模块的第一图卷积网络，得到结构通用变量和结构独有变量；基于重参数技巧，根据结构通用变量采样得到结构通用特征，根据结构独有变量采样得到结构独有特征；

时序功能图表征扩散学习模块在拓扑空间对脑区功能特征进行分解，得到功能独有特征和功能通用特征的操作，具体包括：对脑区功能特征进行向量内积运算，得到功能特征矩阵；将脑区功能特征和功能特征矩阵输入时序功能图表征扩散学习模块的第二图自注意力网络；将第二图自注意力网络的输出分别输入时序功能图表征扩散学习模块的第二图卷积网络，得到功能通用变量和功能独有变量；基于重参数技巧，根据功能通用变量采样得到功能通用特征，根据功能独有变量采样得到功能独有特征。

可选地，脑网络重建网络包括脑网络重建模块和多模态表征分布识别模块，脑网络重建模块用于根据结构独有特征、结构通用特征、功能独有特征和功能通用特征重建结构-功能脑连接矩阵，多模态表征分布识别模块用于以预设的基准脑连接矩阵为目标分布，对脑网络重建模块重建的结构-功能脑连接矩阵进行约束。

可选地，脑网络重建模块根据结构独有特征、结构通用特征、功能独有特征和功能通用特征重建结构-功能脑连接矩阵的操作，具体包括：将结构通用特征和功能通用特征进行等权值相加，得到对齐通用特征，并将对齐通用特征与结构独有特征、功能独有特征进行拼接；利用脑网络重建模块的通用-独有特征模糊匹配网络层、空间-时频精确关联网络层、联合空间投影归一化网络层对拼接后的对齐通用特征进行自适应加权聚合，得到融合特征；对融合特征进行向量内机运算，再经激活函数计算得到结构-功能脑连接矩阵。

可选地，损失函数包括KL散度和重构损失函数、通用-独有对比损失函数、对抗损失函数和边界感知损失函数；

KL散度和重构损失函数用于指导离散结构图表征扩散学习模块、时序功能图表征扩散学习模块、空间结构-动态时序表征解析模块参数更新，其表示为：

其中，L

通用-独有对比损失函数用于指导离散结构图表征扩散学习模块、时序功能图表征扩散学习模块参数更新，其表示为：

其中，L

对抗损失函数用于指导脑网络重建模块、多模态表征分布识别模块参数更新，其表示为：

其中，

边界感知损失函数用于指导脑网络重建模块、脑网络边界感知模块参数更新，其表示为：

其中，L

关于上述实施例多模态脑网络计算装置中各模块实现技术方案的其他细节，可参见上述实施例中的多模态脑网络计算方法中的描述，此处不再赘述。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

请参阅图9，图9为本发明实施例的计算机设备的结构示意图。如图9所示，该计算机设备30包括处理器31及和处理器31耦接的存储器32，存储器32中存储有程序指令，程序指令被处理器31执行时，使得处理器31执行上述任一实施例所述的多模态脑网络计算方法步骤。

其中，处理器31还可以称为CPU(Central Processing Unit，中央处理单元)。处理器31可能是一种集成电路芯片，具有信号的处理能力。处理器31还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

参阅图10，图10为本发明实施例的存储介质的结构示意图。本发明实施例的存储介质存储有能够实现上述多模态脑网络计算方法的程序指令41，其中，该程序指令41可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等计算机设备设备。

在本申请所提供的几个实施例中，应该理解到，所揭露的计算机设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。