一种基于脑功能磁共振影像的检索模型构建方法

技术领域

本申请涉及人工智能和医学影像处理交叉领域，具体涉及一种基于脑功能磁共振影像的检索模型构建方法。

背景技术

随着人工智能的大力发展，为实现对医学影像的准确检索，以获知该医学影像的属性信息，医院会基于人工智能技术利用不同数据源的感兴趣区域的影像作为数据影像数据集，构建对应的检索模型。然后，在对需要检索的医学影像检索时，将该需要检索的影像输入到检索模型中进行检索。由于不同的数据源的影像信息会存在差异例如采集设备和采集参数等导致的差异，因此，不同数据源获取到的数据影像数据集中会存在异质性，从而会导致检索结果不准确。

发明内容

针对上述技术问题，本发明提供一种脑功能磁共振影像检索系统，用于至少解决上述技术问题之一。

本发明实施例采用的技术方案为：

本发明实施例提供一种基于脑功能磁共振影像的检索模型构建方法，包括以下步骤：

S100，从m个影像提供方处获取样本集；所述样本集包括第一样本集和第二样本集，其中，第一样本集包括从除设定影像提供方之外的m-1个影像提供方获取的N1个样本，第二样本集包括从所述设定影像提供方提供的N2个样本，每个样本集中包括类别标签分别为第一类别标签和第二类别标签的样本；

S200，基于第一样本集获取N1个第一输入数据和N1个第二输入数据，以及基于N2个样本获取第三输入数据；

S300，构建检索模型，所述检索模型包括结构相同的上分支网络和下分支网络，每个分支网络均包括特征提取器和哈希编码层，特征编码器的输出作为哈希编码层的输入，所述哈希编码层使用tanh激活函数；

S400，基于第一至第三输入数据获取当前输入数据组T＝(T1，T2，T3)，T1，T2，T3分别为T中的第一输入数据组、第二输入数据组和第三输入数据组，每个输入数据组中均包括N个对应的样本的输入数据；

S500，分别将T1和T2输入到当前检索模型的上分支网络和下分支网络中，分别得到第一输出结果和第二输出结果，以及，将T3输入到上分支网络中，得到第三输出结果；其中，所述第一输出结果包括通过特征提取器提取得到的关于第一图的第一特征和通过哈希编码层提取得到的第二特征，所述第二输出结果包括通过哈希编码层提取得到关于第二图的第二特征，所述第三输出结果包括通过特征提取器提取得到的关于第三图的第一特征；

S600，基于第一至第三输出结果，获取当前输入数据组T对应的损失L＝f(L1，L2)，其中，L1为基于第一输出结果和第二输出结果得到的第一损失，L2为基于第一输出结果和第三输出结果得到的第二损失；

S700，如果L收敛，将当前检索模型中的上分支网络作为目标检索模型；否则，执行S800；其中，目标检索模型中的哈希编码层使用的激活函数为sign函数；

S800，基于L更新当前检索模型的网络参数，执行S200。

本发明实施例提供的基于脑功能磁共振影像的检索模型构建方法，利用脑功能磁共振影像结合深度哈希检索算法，设计有监督的对比学习算法来学习样本间的相似性，建立脑功能磁共振影像检索模型，能够在保证准确的前提下，能够快速的在海量数据库中检索到相关样本。此外，在模型训练阶段，还基于最优传输理论解决训练阶段数据异质性问题，从而能够提高模型的泛化性能。

附图说明

图1为本发明实施例提供的基于脑功能磁共振影像的检索模型构建方法的流程示意图。

具体实施方式

下面将对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本发明实施例提供一种基于脑功能磁共振影像的检索模型构建方法，如图1所示，可包括以下步骤：

S100，从m个影像提供方处获取样本集；所述样本集包括第一样本集和第二样本集，其中，第一样本集包括从除设定影像提供方之外的m-1个影像提供方获取的N1个样本，第二样本集包括从所述设定影像提供方提供的N2个样本，每个样本中包括多个属于同一对象的脑功能磁共振影像，并且样本集中包括类别标签分别为第一类别标签和第二类别标签的样本。

其中，每个样本中包括多个属于同一对象的脑功能磁共振影像，并且样本集中包括类别标签分别为第一类别标签和第二类别标签的样本。

在本发明实施例中，对象可为生物体，例如人。每个样本中可包括按照设定时间间隔连续拍摄的多个脑功能磁共振影像。具体地，可使用核磁共振扫描仪对受试者的脑部进行扫描成像，具体过程为在一段时间内对受试者大脑进行有规律的持续扫描，通过磁共振造影测量各个时刻的大脑各处的血氧含量水平，从而反映神经元活动引发的血液动力变化。通过fMRI技术得到受试者在实验过程中多个时刻的一系列三维脑成像数据，组成数据形式为四维的fMRI数据。将其定义为G∈R

在本发明实施例中，会获取每个样本的属性信息并存储至数据库中。属性信息可包括样本的标签信息和对应的生物体的生物特征信息。在本发明实施例中，标签信息可包括第一类别标签和第二类别标签。其中，第一类别标签用于表示对应的生物体为患有某种心理疾病例如孤独症的生物体，可用0或者1表示，第二类别标签用于表示对应的生物体为与第一类别标签对应的生物体区别的生物体例如为健康的生物体，可用1或者0。生物特征信息可包括人口特征、诊断信息、治疗方案和预后效果等。

在本发明实施例中，影像提供方可为影像提供机构，例如医院或者影像采集中心。可根据实际需要从m个影像提供方选择一个影像提供方作为设定影像提供方。样本的数量可基于实际需要进行设置。在一个示意性实施例中，本发明实施例中使用的样本集来源于国际公开脑成像数据交换库(Autism brain imaging data exchange，ABIDE)中NYU和UM两个影像提供方。这两个站点的人口特征如下表1。

表1：人口特征表

其中，ASD表示患者；NC表示正常人；M表示男，F表示女。

S200，基于第一样本集获取N1个第一输入数据和N1个第二输入数据，以及基于N2个样本获取第三输入数据。

进一步地，S200可具体包括：

S210，获取样本集中的任一样本的感兴趣区域的BOLD时间序列。

由于fMRI采集的过程中会存在头动干扰等噪声，为了去除这些干扰，提高后续模型性能以及分析，需要先对原始数据进行预处理。具体可包括以下步骤：

步骤2-1：利用用于连接组学分析的可配置管道(CPAC，Configurable Pipelinefor the Analysis of Connectomes)去除任一样本中的噪声和干扰。CPAC的预处理流程包括：

(1)时间片校正：三维脑图像中每层脑图获取的时间会有差异，为了减轻这种差异对后续分析的影响，需要对脑图像进行时间片校正。

(2)头动校正：数据采集过程中微小的头动也会导致BOLD(Blood OxygenationLevel Dependent：血样水平依赖)信号变化，因此需要进行头动校正，剔除头动过大的数据，校正头动较小的数据。

(3)空间标准化：由于每个被试者的脑的大小、形状存在差异，需要将脑图像配准到一个标准的空间中，使得分析结果能够进行有效对比。

(4)进行空间平滑：采用6mm FWHM高斯核在空间上进行平滑处理，提高信噪比。

(5)采用0.01-0.1Hz的带通滤波，减小生理过程如心跳和呼吸等造成的噪声影响。

(6)对数据进行去线性漂移，减轻由于长时间的扫描操作导致数据信号漂移对扫描图像的影响；

步骤2-2：获取样本感兴趣区域的BOLD时间序列，主要包括以下步骤：

第一步：划分大脑区域。

本发明实施例中，使用常用的标准脑分区AAL模板将人脑划分为116个感兴趣区域(region-of-interests，ROIs)，根据脑图谱定义的映射规则，可以将每个体素点映射到相应区域，得到对应的体素值，然后通过对所有体素值进行如加权平均等计算得到该脑区的值。

第二步：BOLD时间序列提取。

由于fMRI是一个四维数据，包括一维时间信息以及三维脑图像信息，需要将四维数据转换为W×T的二维矩阵M，其中，W表示脑区数量，T表示时间维度，M

S220，对第一样本集中的任一样本对应的BOLD时间序列进行两次数据增广，分别得到第一样本集中的任一样本对应的第一BOLD增广时间序列和第二BOLD增广时间序列；其中，两次数据增广使用的数据增广方法不同。

在本发明实施例中，数据增广方法可包括滑动切片方法和滑片扭曲方法，即第一次使用滑动切片方法将BOLD时间序列随机从前面截取90％的BOLD信号，第二次使用滑动包方法将BOLD时间序列中原始长度的10％进行拉伸。这样，第一样本集中的一个样本对应的BOLD信号可以增广得到两个新的BOLD信号表示。S230，对第二样本集中的任一样本对应的BOLD时间序列进行一次数据增广，得到第二样本集中的任一样本对应的BOLD增广时间序列。

可使用滑动切片方法对第二样本集中的样本对应的BOLD时间序列进行增广。

S240，分别对第一样本集中的任一样本对应的第一BOLD增广时间序列和第二BOLD增广时间序列进行构图，得到N1个第一图和N1个第二图，分别作为第一输入数据和第二输入数据；以及对第二样本集中的任一样本对应的BOLD增广时间序列进行构图，得到N2个第三图，作为第三输入数据。

在本发明实施例中，每个BOLD增广时间数据的图可通过如下方式获取：

将某个ROI的BOLD增广时间序列与其他ROIs的BOLD增广时间序列的皮尔森相关系数作为该ROI的特征，因此，可以得到一个样本的特征矩阵为X∈R

S300，构建检索模型，所述检索模型包括结构相同的上分支网络和下分支网络，每个分支网络均包括特征提取器和哈希编码层，特征编码器的输出作为哈希编码层的输入，所述哈希编码层使用tanh激活函数。

在本发明实施例中，所述特征提取器为图卷积神经网络(Graph ConvolutionalNetwork，GCN)，可由三个卷积层和一个读出层构成，卷积层使用ReLU激活函数。哈希编码层为一个全连接层。

对于一个有L层的GCN来说，一个图卷积层的输出计算可以表示为：

其中l∈{2，…，L-1}；

其中f

在本发明实施例中，哈希编码层的输入为读出层的输出，其结构为fc-tanh，对于一个有L层的神经网络来说，一个全连接层的输出计算可以表示为：

h

其中w

a

其中，l∈{2，…，L-1}表示隐藏层，f(·)表示tanh激活函数。输出层也即哈希编码学习层，可以学习不同长度的哈希码。

S400，基于第一至第三输入数据获取当前输入数据组T＝(T1，T2，T3)，T1，T2，T3分别为T中的第一输入数据组、第二输入数据组和第三输入数据组，每个输入数据组中均包括N个对应的样本的输入数据。

在实际应用中，可按照设定batch N从每个输入数据中获取对应的数据量(即图数量)输入到检索模型中。

S500，分别将T1和T2输入到当前检索模型的上分支网络和下分支网络中，分别得到第一输出结果和第二输出结果，以及，将T3输入到上分支网络中，得到第三输出结果；其中，所述第一输出结果包括通过特征提取器提取得到的关于第一图的第一特征和通过哈希编码层提取得到的第二特征，所述第二输出结果包括通过哈希编码层提取得到关于第二图的第二特征，所述第三输出结果包括通过特征提取器提取得到的关于第三图的第一特征。

本发明实施例中，第二特征为经过tanh函数得到的哈希表示，不是真正的哈希编码。

在本发明实施例中，为消除计算资源不足带来的影响，要维护一个较大的负例队列，故将第二输出结果中的第二特征存储在设定的负例队列中。当需要进行正负例对比计算时，就从负例队列中取K个。更新负例队列内的负例编码内容时一般会将最新batch里的图对应的特征表示编码放入队列，而最老的那个batch对应的图像编码出队。

S600，基于第一至第三输出结果，获取当前输入数据组T对应的损失L＝f(L1，L2)，其中，L1为基于第一输出结果和第二输出结果得到的第一损失，L2为基于第一输出结果和第三输出结果得到的第二损失。

在本发明实施例中，L1＝L

在本发明实施例中，由于使用tanh函数松弛方案来代替真实的哈希码，但这样会产生量化误差，因此，引入了一个量化损失L

具体地，

本发明实施例中，L2基于最优传输理论得到，用于缩小第一样本集和第二样本集的差异。L2只在上分支网络中进行，具体地，

在本发明实施例中，对于L2，可采用交替优化的方式进行优化。当固定特征提取器时求解L2就变成了一个单纯的最优传输(Optimal Transport，OT)问题，使用网络中特征提取器的参数，然后通过network simplex flow algorithm算法(网络单纯形流算法)去求解γ。再使用上一步得到的γ来更新特征提取器。

在本发明一示意性实施例中，L＝L1+β*L2，β为超参数。

S700，如果L收敛，将当前检索模型中的上分支网络作为目标检索模型；否则，执行S800；其中，目标检索模型中的哈希编码层使用的激活函数为sign函数，这样，目标检索模型的哈希编码层返回的结果通过sign函数得到最终的哈希编码。

S800，基于L更新当前检索模型的网络参数，执行S400。

进一步地，S800可具体包括：

S810，基于损失最小化函数

S820，基于θ

S820的技术效果在于，能够减少上下分支网络的特征提取器之间的差异。

进一步地，本发明实施例提供的方法，还包括：

S10，将N1个第一输入数据输入到所述目标检索模型中，得到对应的N1个哈希编码。

S12，将N1个哈希编码存储至检索库中。

进一步地，本发明实施例提供的方法，还包括：

S20，响应于接收到需要检索的目标样本，利用所述目标检索模型进行检索，得到对应的检索结果并进行显示。

S20可具体包括：

S201，获取目标样本的图。

可基于S200构建样本的图的方式获取目标样本的图。

S202，将目标样本的图输入到所述目标检索模型中，得到对应的哈希编码作为查询哈希编码。

S203，遍历检索库，获取检索库中的任一哈希编码和查询哈希编码之间的相似度，形成相似度集。

在本发明实施例中，可通过汉明距离获取哈希编码之间的相似度。汉明距离越小相似度越大。但并不局限于此，还可以采用其它计算相似度的方法，例如，欧式距离、马氏距离等。

S204，将相似度集中的相似度按照降序排列，并选取降序排列后中的相似度中的前H个哈希编码作为目标样本的检索结果。

S205，基于所述检索结果获取对应的属性信息并进行显示。

本发明实施例中，基于增广后的BOLD时间序列构建图作为模型的输入数据，用于后续的数据特征提取和检索等任务，相比于不使用增广后的BOLD时间序列的模型相比，在不同哈希编码长度下，检索结果的mAP(准确率)更高，检索结果对比如下表2所示。在表2中，CSQ为不使用数据增广和域适应算法的检索方法，ADASQ为本发明提出的使用数据增广和域适应算法的检索方法。表格中的每个站点(NYU或UM)会依次作为验证集，其余一个站点作为训练集和检索数据库。

表2检索结果对比

虽然已经通过示例对本申请的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本申请的范围。本领域的技术人员还应理解，可以对实施例进行多种修改而不脱离本申请的范围和精神。本申请公开的范围由所附权利要求来限定。