一种基于多注意力神经网络的大脑状态解码方法

技术领域

本方法属于生物医学图像脑解码技术领域，具体涉及功能磁共振成像数据的特征提取以及大脑状态识别的模型构建。

背景技术

脑解码旨在通过大脑活动模式推测被试所处的任务状态，是实现脑-机接口的重要基础，同时也为理解大脑认知机制提供了关键见解。近年来，功能磁共振成像(functional magnetic resonance imaging,fMRI)作为一种具有较高空间分辨率的非侵入性脑成像技术被广泛应用于脑解码领域中。目前的脑解码研究多基于多体素模式分析方法，即将感兴趣区不同体素的响应作为独立变量进行解码任务的建模。这一方法充分利用了fMRI高空间分辨率的优势，已被成功应用到视觉感知解码、视觉想象解码、梦境解码以及运动想象解码等具体任务中。

然而，任务态fMRI数据中往往包含大量与任务无关的成分(如大脑自发活动及生理噪声等)。这些成分主要包含三个维度：1.时间维度。fMRI信号对刺激的响应存在延时特性，在响应过程中很多时间点的信号与任务相关程度并不强；2.空间维度。大脑的区域具有功能特异性，多数情况下并不是所有的脑区都参与了任务加工；3.网络维度。大脑的信息加工存在网络特性，复杂脑功能的实现依赖于不同脑区间的信息交互(即网络的边)，而完成单一任务仅涉及部分的边。针对这一问题，现有的解码研究通常基于先验假设或使用人工筛选的方式来提取fMRI数据中的任务成分，这些方法无法全面考虑这三个维度的成分，且在应用中存在较大的局限性。因此，发展一种从多维度自动提取任务特征的解码模型可以进一步提高解码性能并加深我们对脑功能的认识。

发明内容

本发明针对背景技术的不足之处，设计出一种从任务诱发的fMRI数据识别大脑状态的解码方法。

本发明技术方案为一种基于多注意力神经网络的大脑状态解码方法，该方法包括：

步骤1：使用HCP(https://www.humanconnectome.org)数据库中提供的预处理好的情绪任务fMRI数据，对得到的数据进行如下处理：

步骤1.1：对于给定的fMRI信号s

步骤1.2：采用如下公式对提取的平均信号进行z-score标准化：

其中，i表示脑区序号；

步骤1.3：任务中的每个测试提取前25个时间节点功能核磁共振信号，最终每一个测试得到一个平均信号

步骤2：将z

步骤2.1：通过如下公式对输入信号F进行计算：

其中，

步骤2.2：将得到的时间注意力矩阵

其中，

步骤3：将重定义的特征F

步骤3.1：对F

其中，σ表示sigmoid激活函数；f表示卷积操作；

步骤3.2：将空间注意力矩阵

步骤4：将步骤3.2得到特征F

其中，

步骤5：将F′进行自注意力建模，如下：

其中，x是输出信号，y是输出信号，i和j表示索引位置，f(x

步骤6：利用全连接层进行分类，分成face和shape两类；

步骤7：定义对数似然损失函数NLLLoss，如下：

其中N是每一批次的大小，y是真实地标签，z是模型预测地输出，j地范围是1<＝j<＝N；

步骤8：计算损失，使用Adam优化算法进行对应的权重更新。

进一步的，所述步骤5的具体步骤为：

步骤5.1：用三个一维卷积层对F′分别进行卷积，得到特征矩阵θ(x)，Φ(x)，g(x)；三个特征矩计算公式如下：

θ(x)＝W

其中，W表示模型学习到的参数矩阵；

步骤5.2：将步骤5.1得到的特征矩阵Φ(x),θ(x)元素进行点乘，得到f(x

步骤5.3：将步骤5.2得到的f(x

步骤5.4：将步骤5.3得到的attention矩阵与g(x)进行点乘，如下：

步骤5.5：将步骤5.4得到的矩阵y通过一个一维卷积层进行卷积，y由y

其中，W是参数矩阵。

本发明利用时间注意力神经网络、空间注意力神经网络和自注意力神经网络进行建模，从时间、空间、网络维度三个角度对任务数据的特征进行自动提取，能够很好解码出在任务条件下大脑状态，帮助我们更好的认识大脑功能，同时情绪和非情绪任务识别准确率为99.51％，AUC为0.99。

附图说明

图1为本发明流程图

图2为模型的ROC曲线图。

图3时间注意力神经网络模块权重分布图。

图4空间注意力神经网络模块显著激活的脑区。

图5两种任务条件的自注意力神经网络模块T值分布图(face>shape)。

图6自注意力神经网络模块任务条件下交互最强的前15条边。

具体实施方式

一种基于多注意力神经网络的大脑状态解码模型，主要包括以下几个步骤：

A.数据处理

步骤A1:在HCP数据库下载预处理好的1200个被试的情绪任务的fMRI数据。

步骤A2：每一个人进行两次实验,每个实验包含6次测试，每个测试按照脑网络组图谱，计算每个脑区的平均信号，会得到246个平均信号。

步骤A4：对246个平均信号进行z-score标准化

步骤A5：face或shape任务中中每次测试提取25个时间节点，每个测试会得到25*246个平均信号

步骤A6：将数据分成10折，每次用其中9份作为训练数据来进行模型评估，其中一份作为测试数据，用来测试模型。

B.时间注意力神经网络的计算

步骤B1：将25*246个平均信号，输入到时间注意力神经网络，批量大小为：32，迭代次数：100，进行时间注意力建模。

步骤B2：将步骤B1中的数据分别进行最大池化和平均池化来进行特征筛选，最大池化和平均池化的大小:246，步长:1，此步骤之后得到两个大小为25*1的数据。

步骤B3：通过一个多层感知机将B2得到的数据进行处理。它分为全连接层、ReLU、全连接层。其中两个全连接层大小为(25，16)，(16，25)。此步骤之后得到两个大小为25*1的数据。

步骤B4：将B3得到的数据进行特征融合，然后利用sigmoid激活函数进行非线性映射。此步骤得到的数据大小为25*1。对此步骤得到的数据进行可视化，我们可以得到在任务状态下大脑的时间响应过程。从图3中我们可以看到在第8个时间点(0.76*8s)时响应值达到最大，这是符合血流动力学响应函数的。

步骤B5：输入到B1的特征与B4得到的特征进行点乘，进行特征融合。此步骤得到的数据大小：25*246。

步骤C：空间注意力神经网络的计算

步骤C1:首先对大小为25*246特征矩阵应用平均池化和最大池化操作，然后进行特征融合。此步骤得到的数据大小为2*246。

步骤C2：通过一个一维卷积对特征进行卷积操作，之后利用ReLU激活函数进行非线性映射。卷积的大小：3，步长：1，填充大小:1。此步骤之后得到的数据大小为1*246。

步骤C3：利用sigmoid激活函数进行非线性映射，此步骤得到的数据大小为1*246。

步骤C4：将B5得到的特征矩阵与C3得到的矩阵进行点成，实现特征融合，此步骤得到的数据大小为25*246。对此步骤得到的数据进行可视化，我们可以得到在任务状态下大脑的空间激活模式。从图4中我们可以看到梭状回呈显著激活状态，这与HCP官网提供的激活图是相类似。

步骤D：将C4得到的特征与B1输入特征，进行相加，实现特征融合。此步骤得到的数据大小为：25*246。

模型

步骤E：自注意力神经网络的计算

步骤E1:通过Φ、θ、g三个一维卷积层分别进行卷积，实现特征提取。卷积核的个数：16，卷积核大小：1。此步骤得到的数据大小为：16*246

步骤E2：对卷积Φ、g得到的数据进行维度换位。此步骤得到的数据大小为：16*246。

步骤E3：将卷积θ得到的数据与步骤E2得到的Φ数据进行点乘，计算区域之间的相似性分数，然后对得到的数据进行标准化。此步骤得到的数据大小为：246*246。将此步骤得到的数据进行可视化，在图5我们可以看到在梭状回区域大脑交互关系较多。将得到的特征映射回大脑区域我们选择交互关系最强的前15条边构造连接图，如图6所示。

步骤E4：将区域之间的相似性分数与卷积g得到的矩阵进行点乘。此步骤得到的数据大下为：16*246。

步骤E5：通过用一个一维卷积层对特征进行卷积操作，进一步的进行特征筛选。卷积核的个数为：25，卷积核的大小为：1。此步骤之后得到的数据大小为：25*246。

步骤E6：将步骤E5得到的数据与步骤D得到的数据相加，进行特征融合。此步骤的得到的数据大小为：25*246。

步骤F：通过全连接对特征图提取高级地特征，得到高级特征。全连接的大小设置为：(246*25，2)。其中246*25表示特征数，2表示分成2类。

步骤G：通过ReLU激活函数进行非线性映射，然后通过批量归一化进行归一化操作，防止过拟合。

步骤H：计算损失，更新权重参数。

步骤M：测试阶段：

步骤M1:测试数据，测试数据地大小为25*246，其中25表示取shape或face任务刺激下25个时间节点地信号，246表示利用246模板提取地246个脑区的平均信号。每次用来测试的数据不会出现在训练数据集中。

步骤M2：将测试数据依次输入时间注意力神经网络、空间注意力神经网络、自注意力神经网络，分别得到的时间特征矩阵、空间特征矩阵、自注意力特征矩阵。

步骤M3：根据时间注意力神经网络、空间注意力神经网络、自注意力神经网络三个神经网络提取的特征进行分类。

步骤M4：将时间特征矩阵进行可视化得到时间注意力权重分布图，来验证时间注意力神经网络的有效性。

步骤M5：将两种任务条件的空间注意力特征矩阵进行双T检验(face>shape)，然后通过FDR(p<0.05)进行矫正，最后将结果进行可视化，得到空间注意力神经网络显著激活的脑区，来验证空间注意力神经网络的有效性。

步骤M6：将两种任务条件的自注意力特征矩阵进行双T检验(face>shape)，然后通过FDR(p<0.05)进行矫正，得到自注意力神经网络T值分布图，再将T值分布图中交互最强的前15条边映射回脑区，得到自注意力神经网络在任务条件下交互最强的前15条边的脑区交互图

步骤M7：对分类结果进行统计，利用分类的结果制作ROC曲线图。