一种任务态功能磁共振影像层次化建模方法及装置

技术领域

本申请涉及信息处理技术领域，尤其涉及一种任务态功能磁共振影像层次化建模的方法及装置。

背景技术

随着神经影像技术的不断发展，任务型功能磁共振成像(task-based functionalmagnetic resonance imaging，tfMRI)已成为研究人类大脑功能网络和认知行为的重要手段。然而，tfMRI数据的复杂性和高维性使得其分析和建模变得非常具有挑战性。目前，已经有许多方法被提出来处理tfMRI数据，包括基于模型的方法(如通用线性模型)和基于数据的方法(如独立成分分析和稀疏字典学习)。然而，这些方法都存在一些问题和局限性。

首先，基于模型的方法需要先假设一个模型，然后根据数据来拟合模型参数。这种方法的缺点是需要先对数据进行假设，而且模型的假设可能与实际情况不符，导致建模结果不准确。其次，基于数据的方法虽然不需要对数据进行假设，但是它们通常只能建立浅层模型，无法很好地模拟大脑功能网络的层次结构。此外，这些方法通常需要手动选择特征或字典，这可能会导致建模结果的偏差。

为了解决这些问题，深度学习技术被引入到tfMRI数据分析中。深度学习是一种基于多层神经网络的机器学习方法，它可以自动学习数据的高级特征，从而更好地建模复杂的数据结构。其中，卷积神经网络(convolutional neural network，CNN)是一种特殊的深度学习结构，它可以自动提取图像数据中的特征。因此，CNN被广泛应用于图像识别和计算机视觉领域。

然而，将CNN应用于tfMRI数据分析也存在一些问题。首先，tfMRI数据是时间序列数据，与图像数据有很大的不同。其次，tfMRI数据的维度非常高，需要更复杂的网络结构来处理。此外，tfMRI数据中存在许多噪声和冗余信息，这可能会影响建模结果的准确性。

发明内容

本申请提供一种任务态功能磁共振影像层次化建模的方法及装置，以解决相关技术中存在的问题。

第一方面，本发明提供一种任务态功能磁共振影像层次化建模的方法，包括获取大脑tfMRI信号，并对所述tfMRI信号进行预处理；将预处理后的信号输入至训练完成的模型中，输出重建后的数据；其中，训练完成的模型包括：将预处理后的信号映射为目标特征的编码器、以及基于所述目标特征进行重建的解码器；其中，所述编码器和解码器之间通过全连接层连接。

可选地，所述编码器包括预设层数的卷积层，在第一层卷积层后的每一层之间可执行最大池化操作；所述解码器包括预设层数的卷积层，在各卷积层之间可执行反池化操作。

可选地，当预处理后的信号输入至编码器后，编码器中的第i个特征以卷积方式计算：z

可选地，所述编码器中的隐藏层H的计算方式为H＝Z×W+C，其中，Z表示从下层卷积层获得的整个特征映射，W和C分别是所述全连接层的权重和偏置。

可选地，在所述解码器中，所述全连接层将隐藏层H重塑为特征映射Z的重构版本Z'：Z'＝H×W'+C'，其中，W'和C'分别表示解码器中全连接层的权重和偏置；所述解码器还对重构后的特征进行线性组合，得到重构后的信号。

可选地，在对所述模型训练时，在编码器顶层的特征映射和解码器底层的特征映射之间增加正则项，

可选地，当模型训练完成后，基于预设的脑反应理论模型对模型进行验证，其中，所述脑反应理论模型中通过延迟、导数、积分、逆运算将回归器r(t)扩展为回归器组，在所述回归器组中包含多种人脑功能反应。

可选地，当模型训练完成后，使用原始的所述大脑tfMRI信号与重建的信号之间的皮尔逊相关系数，评估模型的性能。

第二方面，本发明提供一种任务态功能磁共振影像层次化建模的装置，包括预处理单元，被配置成获取大脑tfMRI信号，并对所述tfMRI信号进行预处理；重建单元，被配置成将预处理后的信号输入至训练完成的模型中，输出重建后的数据；其中，训练完成的模型包括：将预处理后的信号映射为目标特征的编码器、以及基于所述目标特征进行重建的解码器；其中，所述编码器和解码器之间通过全连接层连接。

第三方面，本发明提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一项所述的方法。

第四方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面提供的方法。

本发明公开了一种任务态功能磁共振影像层次化建模方法及装置，其中方法包括获取大脑tfMRI信号，并对所述tfMRI信号进行预处理；将预处理后的信号输入至训练完成的模型中，输出重建后的数据；其中，训练完成的模型包括：将预处理后的信号映射为目标特征的编码器、以及基于所述目标特征进行重建的解码器；其中，所述编码器和解码器之间通过全连接层连接。基于深度卷积的自动化算法即深度卷积自编码器(deepconvolutional auto-encoder，DCAE)，可以自动学习tfMRI数据的高级特征，模拟大脑功能网络的层次结构，克服了相关技术中存在的技术问题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请一种任务态功能磁共振影像层次化建模的方法；

图2为本申请深度卷积自编码器的结构示意图；

图3a为相关技术中脑反应理论模型的示意图；

图3b为本申请扩展脑反应理论模型的示意图；

图4为本申请回归器组包含各种可能的人脑功能反应示意图；

图5a为基于任务态功能磁共振影像层次化建模的方法重建tfMRI信号的示意图；

图5b为基于传统稀疏字典学习方法重建tfMRI信号的示意图；

图6为本申请提供的一种对应于图1的电子设备的示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图1对任务态功能磁共振影像层次化建模的方法进行示例性说明。方法包括以下步骤：

步骤101：获取大脑tfMRI信号，并对所述tfMRI信号进行预处理。

在本实施例中，tfMRI数据是时间序列数据，与图像数据有很大的不同。具有较高的数据维度。可以提取整个大脑的tfMRI信号后进行预处理，包括运动校正、空间域平滑、时间序列预白化、切片时间校正、去除数据漂移，最终确保所有体素信号归一化，其均值和标准差均为零。

步骤102：将预处理后的信号输入至训练完成的模型中，输出重建后的数据；其中，训练完成的模型包括：将预处理后的信号映射为目标特征的编码器、以及基于所述目标特征进行重建的解码器；其中，所述编码器和解码器之间通过全连接层连接。

在本实施例中，基于深度卷积的自动化算法(DACE算法)，自动学习数据的高级特征，无需手动选择特征或字典，从而避免了人工操作所带来的的偏差。该方式可以对tfMRI数据进行层次化建模，可以更好地模拟大脑功能网络的层次结构，从而更好地理解大脑功能和疾病。

参考图2示意出组成架构，DCAE算法由两个主要部分组成，即编码器和解码器。编码器负责将输入的fMRI时间序列映射成更高层次的特征，解码器则进行相反的重建工作。

进一步地，编码器的最后一层是全连接层。全连接层用于保持编码器的最终隐藏层与输入具有相同的特征大小，同时确保隐藏层的学习具有输入的完整感受野。

作为本实施例一种可选的实现方式，所述编码器包括预设层数的卷积层，在第一层卷积层后的每一层之间可执行最大池化操作；所述解码器包括预设层数的卷积层，在各卷积层之间可执行反池化操作。

在本可选的实现方式中，继续参考图2，编码器可以由4个卷积层组成，解码器可以由4个卷积层组成，最大池化应用于编码器的第一层卷积层之后的每一层。最大池化是对特征映射进行向下采样操作，从而减少数据的维度。使用最大池化有两个优点：其一是可以降低计算成本；其二是在输入数据发生轻微的平移，最大池化仍然能够提取出相似的特征，即平移不变性。

在解码器中，使用反池化将经过池化操作后的特征还原，如图2所示。在先前的池化操作中，为了减少数据的维度，通常会将输入特征中的一些信号进行丢弃或者压缩，而反池化可以将这些被丢弃或压缩的信号还原，从而提取出更多的特征信息，有助于后续的数据分析任务。反池化的实现方式有多种，其中一种常用的方法是开关法，通过记录池化操作中被丢弃或压缩的信号的位置，在反池化操作中，将这些信号放回到它们原来的位置上。

作为本实施例一种可选的实现方式，当预处理后的信号输入至编码器后，编码器中的第i个特征以卷积方式计算：z

作为本实施例一种可选的实现方式，所述编码器中的隐藏层H的计算方式为H＝Z×W+C，其中，Z表示从下层卷积层获得的整个特征映射，W和C分别是所述全连接层的权重和偏置。

在本可选地实现方式中，对于输入的一维tfMRI信号x，编码器中的第i个特征是以卷积方式计算的：z

编码器的最后一层是全连接层。全连接层用于保持编码器的最终隐藏层与输入具有相同的特征大小，同时确保隐藏层的学习具有输入的完整感受野。隐藏层H的计算方法如下，其中Z表示从下层卷积层获得的整个特征映射，W和C分别是全连接层的权重和偏置：H＝Z×W+C。

作为本实施例一种可选的实现方式，在所述解码器中，所述全连接层将隐藏层H重塑为特征映射Z的重构版本Z'：Z'＝H×W'+C'，其中，W'和C'分别表示解码器中全连接层的权重和偏置。

在本可选的实现方式中，解码器也由4个卷积层组成，并通过最后的全连接层将隐藏层H重塑为特征映射Z的重构版本Z'。W'和C'分别表示解码器中全连接层的权重和偏置：Z'＝H×W'+C'；最后，对这些特征进行线性组合，其中

作为本实施例一种可选的实现方式，对所述模型训练时，在编码器顶层的特征映射和解码器底层的特征映射之间增加正则项，

在本实施例中，为了对参数进行了优化，以最小化fMRI原始信号与其重构信号之间的均方误差。在编码器顶层的特征映射和解码器底层的特征映射之间增加了一个L2正则项λ，它可以确保全连接层在解码器中重建特征映射时不会随机地改变时序：

整个优化问题的目标是通过调整变量Z和

作为本实施例一种可选的实现方式，当模型训练完成后，基于预设的脑反应理论模型对模型进行验证，其中，所述脑反应理论模型中通过延迟、导数、积分、逆运算将回归器r(t)扩展为回归器组，在所述回归器组中包含多种人脑功能反应。

在本可选的实现方式中，使用脑反应理论模型来验证DCAE学习到的层次化特征，以评估DCAE模型学习到的特征是否与真实的大脑功能活动相关联。如图3a所示，传统的脑反应理论模型是通过直接将任务刺激与血液动力学响应函数(hemodynamic responsefunction，HRF)卷积生成的：

r(t)＝h(t)*s(t)

其中，s(t)是任务刺激，h(t)是大脑的HRF函数，r(t)是脑反应理论模型(回归器)，代表任务刺激s(t)的大脑反应模式。这种传统的脑反应理论模型在解释神经活动方面存在局限性，因为其假定任务刺激只会在广泛的脑区产生一种形式的大脑反应。然而，人脑处理信息的方式是分层的、动态的，即使在相同的刺激条件下，人脑的反应也是非常丰富和多变的。扩展脑理论模型是一种基于传统脑反应理论模型的转化(图3b)。这种方法通过延迟、导数、积分、逆运算将回归器r(t)扩展为回归器组。经过扩展后，回归器组包含各种可能的人脑功能反应参见图4示意图。

作为本实施例一种可选的实现方式，当模型训练完成后，使用原始的所述大脑tfMRI信号与重建的信号之间的皮尔逊相关系数，评估模型的性能。

在本可选的实现方式中，使用原始tfMRI信号与重建信号之间的皮尔逊相关系数(Pearson correlation coefficients，PCC)评估DCAE算法的性能。图5a和图5b分别是DCAE算法和传统稀疏字典学习算法的评价结果，可以看出DCAE的信号重建效果明显更好，大部分PCC大于0.8。

本实施例中的DCAE算法能够提高数据处理的效率和质量。通过自动学习tfMRI数据的高级特征，DCAE避免了手动选择特征或字典可能带来的偏差，从而提高了数据处理的质量。此外，DCAE的训练过程是无监督的，能够节省人力和时间成本，提高了数据处理的效率。DCAE算法能够提高数据分析的精度。DCAE结构包括编码器和解码器两个部分，可以对tfMRI数据进行层次化建模。与传统的基于数据的方法相比，DCAE可以更好地模拟大脑功能网络的层次结构，可以提高数据分析的精度，从而更好地理解大脑功能和疾病。DCAE算法是一种自动化算法，其算法结构简单且易于操作，使得数据分析过程更加简便，易于临床医生学习并使用，有望为神经科学研究和临床诊断提供更准确的数据分析结果，从而为相关领域的发展和应用提供更多可能性。

以上为本申请的一个或多个实施例提供的方法，基于同样的思路，本申请还提供了相应的一种任务态功能磁共振影像层次化建模的装置，包括预处理单元，被配置成获取大脑tfMRI信号，并对所述tfMRI信号进行预处理；重建单元，被配置成将预处理后的信号输入至训练完成的模型中，输出重建后的数据；其中，训练完成的模型包括：将预处理后的信号映射为目标特征的编码器、以及基于所述目标特征进行重建的解码器；其中，所述编码器和解码器之间通过全连接层连接。

作为本实施例一种可选的实现方式，所述编码器包括预设层数的卷积层，在第一层卷积层后的每一层之间可执行最大池化操作；所述解码器包括预设层数的卷积层，在各卷积层之间可执行反池化操作。

作为本实施例一种可选的实现方式，当预处理后的信号输入至编码器后，编码器中的第i个特征以卷积方式计算：z

作为本实施例一种可选的实现方式，所述编码器中的隐藏层H的计算方式为H＝Z×W+C，其中，Z表示从下层卷积层获得的整个特征映射，W和C分别是所述全连接层的权重和偏置。

作为本实施一种可选的实现方式，在所述解码器中，所述全连接层将隐藏层H重塑为特征映射Z的重构版本Z'：Z'＝H×W'+C'，其中，W'和C'分别表示解码器中全连接层的权重和偏置；所述解码器还对重构后的特征进行线性组合，得到重构后的信号。

作为本实施例一种可选地实现方式，在对所述模型训练时，在编码器顶层的特征映射和解码器底层的特征映射之间增加正则项，

作为本实施例一种可选地实现方式，当模型训练完成后，基于预设的脑反应理论模型对模型进行验证，其中，所述脑反应理论模型中通过延迟、导数、积分、逆运算将回归器r(t)扩展为回归器组，在所述回归器组中包含多种人脑功能反应。

作为本实施例一种可选地实现方式，当模型训练完成后，使用原始的所述大脑tfMRI信号与重建的信号之间的皮尔逊相关系数，评估模型的性能。

图6本发明实施例提供的电子设备实体结构示意图，如图3所示，电子设备50包括：处理器501(processor)、存储器502(memory)和总线503；其中，处理器501、存储器502通过总线503完成相互间的通信；处理器501用于调用存储器502中的程序指令，以执行上述各方法实施例所提供的方法。

本实施例提供一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行上述各方法实施例所提供的方法。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的存储介质。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各实施例或者实施例的某些部分的方法。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。