基于空间及时间信息的W型网络结构的DCE-MRI图像生成方法

技术领域

本发明公开涉及医学图像处理技术领域，尤其涉及基于空间及时间信息的W型网络结构的DCE-MRI图像生成方法。

背景技术

影像学检查不仅能通过图像发现病灶的存在，定位病灶的位置，还能观察病灶的大小、形态及密度等物理特征。其中，平扫核磁共振(MRI)可以根据病变位置、形态及与周围组织的关系来检测肿瘤及其对周围组织的侵及情况。但由于肿瘤组织内部的代谢变化可能远远早于其形态变化，所以平扫MRI对肿瘤的诊断可能与实际情况存在差异。而注射造影剂后的动态对比度增强磁共振(Dynamic contrast-enhanced magnetic resonanceimaging,DCE-MRI)通过连续快速地序列成像，获得注入造影剂前、中、后各时期组织的连续动态增强图像，从而反映病灶组织的生理代谢变化。

注射造影剂被认为是一种常规及安全的检查方法，但对造影剂(如碘)过敏或者心肝肺肾功能差的患者不能做DCE-MRI检查。如果能够根据平扫MRI图像，利用计算机后处理技术代替注射造影剂后的多次MRI扫描操作来生成DCE-MRI的图像，不仅能够提供患者(特别是由于身体条件原因无法注射造影剂的患者)病灶组织的生理代谢变化，还无需注射造影剂进行二次MRI动态扫描，由于其具有上述优点，对生成DCE-MRI图像的计算机后处理技术的研究正将成为各国学者研究的热点。

目前还没有研究者将深度学习方法应用于不同时相的DCE-MRI图像的生成，但其已经被广泛用于生成无遮挡、更高质量的医学图像。Yang等人根据正常的胸部X光图像，在梯度域中利用级联CNNs生成无骨骼遮挡的软组织图像。北卡罗莱纳大学沈定刚教授团队根据常规平扫MRI脑图像，利用CNNs生成脑部7T MRI、CT及PET图像。随着基于CNNs的超分辨率图像重构算法的提出，Oktaty等人根据三维MRI低分辨率图像重构生成高分辨率心脏MRI图像。并且，深度学习方法不仅可以重构生成具有空间灰度信息的图像，还可以推断生成高分辨率图像涉及到的成像参数。虽然，深度学习方法在多种图像生成领域均取得令人瞩目的成果，但这些算法均是利用CNNs生成二维或三维图像。

发明内容

鉴于此，本发明公开提供了基于空间及时间信息的W型网络结构的DCE-MRI图像生成方法，该方法可以提取相邻时相图像的低维与高维特征，并利用这些特征及其相关信息生成四维DCE-MRI图像。

本发明提供的技术方案，具体为，基于空间及时间信息的W型网络结构的DCE-MRI图像生成方法，其特征在于，所述W型神经网络结构模型的训练过程包括：

获取训练数据集；

根据所述训练数据集训练W型神经网络结构模型；所述W型神经网络结构模型由一条收缩路径及两条上升扩张路径构成组成；

根据两条上升路径的输出与相邻两时相金标准乳腺DCE-MRI图像之间的差来计算损失函数；

根据损失函数的值利用反向传播方法更新W型网络参数的值；

通过多次迭代更新，使得损失函数值逐渐收敛，最终完成W型网络模型的训练。

所述W型神经网络结构模型的测试过程包括：采集造影剂注射前T

所述收缩路径同时提取相邻两时相图像的低维特征，紧跟的两条扩张路径分别提取相邻两时相图像的高维特征，通过跳跃连接将收缩路径上卷积层的输出分别与两条扩张路径上卷积层的输入相连接，且两条扩张路径上卷积层的输入相连。

根据不同的特征体分辨率，W型神经网络结构的路径分为不同状态，每个状态由2个块组成，每个块含有一个3×3×3的卷积层及紧跟的一个BN层和一个ReLu层，在收缩下降路径上，第二个块后连接一个核大小为2×2×2的最大下采样层；两条扩张上升路径的最后一层均为1×1×1的卷积层，分别输出一组三维MRI图像。

根据所述训练数据集包括注射照影剂后的5个不同时相的训练数据，训练3个不同W型神经网络来生成注射照影剂后的5个不同时相的图像。

在所述训练数据集训练W型神经网络结构模型中，使用平均绝对误差MAE作为回归损失函数，其定义如下：

其中，M为同时生成相邻时相图像的数目，W、H与D分别表示三维MRI增强图像的长、宽与高，V

本发明提供的基于空间及时间信息的W型网络结构的DCE-MRI图像生成方法。该方法考虑到不同时相以及同一时相不同层面的MRI图像之间均有着紧密联系，针对相邻时相DCE-MRI图像间的相互关系，提出基于空间及时间信息的W型图像生成网络。该网络同时提取相邻时相图像的低维与高维特征，并利用这些特征及其相关信息生成四维DCE-MRI时间-空间序列图像。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明的公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明公开实施例提供的W型网络结构示意图；

图2为应用本发明公开实施例提供的W型网络结构生成图像的结果表示。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的系统的例子。

现有技术中，常用的循环神经网络如长短期记忆网络等将时间序列信息加入到网络中，但其仅使用各种简单的线性“门”来考虑过去时相的输入对当前状态的影响。在生成内容复杂且灰度不均匀的DCE-MRI图像时，结果可能并不理想。并且，没有考虑当前时相输入在整个时间序列图像中位置不同的影响。由于在不同阶段的相同时间内造影剂衰减量并不相同，因此各相邻时相之间图像的变化也不同，采用相同的特征无法描述这种变化的差异。据此，本实施方案针对相邻时相DCE-MRI图像间的相互关系，提出的三维W型网络结构能够充分利用图像的空间及时间信息生成四维DCE-MRI图像。

基于空间及时间信息的W型网络结构的DCE-MRI图像生成方法，所述W型神经网络结构模型的训练过程包括：

获取训练数据集；

如图1所示，根据所述训练数据集训练W型神经网络结构模型；

该模型由一条收缩路径及两条上升路径构成组成。根据两条上升路径的输出与相连两时相金标准乳腺DCE-MRI图像之间的差来计算损失函数，再根据损失函数的值利用反向传播方法更新W型网络参数的值。通过多次迭代更新，使得损失函数值逐渐收敛。此时，完成W型网络模型的训练。

采集造影剂注射前T

W型神经网络结构模型包括收缩路径及其后连续紧跟的两条扩张路径，这种对称结构形成W型全连接网络。收缩路径同时提取相邻两时相图像的低维特征，紧跟的两条扩张路径分别提取它们的高维特征。通过跳跃连接将收缩路径上卷积层的输出分别与两条扩张路径上卷积层的输入相连接，并将两条扩张路径上卷积层的输入相连，使得该网络能够同时利用相邻时相图像的低维及高维特征来生成图像。

根据不同的特征体分辨率，W型神经网络结构的路径分为不同状态，每个状态由2个块组成，每个块含有一个3×3×3的卷积层及紧跟的一个BN层和一个ReLu层，在收缩(扩张)路径上，第二个块后连接一个核大小为2×2×2的最大下采样(上卷积)层，使特征体在三个方向上的大小都减半(加倍)。两条扩张路径的最后一层均为1×1×1的卷积层，其将特征图数目从16变为1，分别输出一组三维MRI图像。

本实施方案中根据所述训练数据集训练3个W型神经网络结构模型，以保证生成5组不同时相的增强MRI图像。同时，尝试增加右侧扩张路径的数目，减少训练网络的数目，更加充分地利用多时相图像间的相互信息来同时生成更多时相的增强MRI图像。

根据所述训练数据集包括注射照影剂后的5个不同时相的训练数据，训练3个不同的W型神经网络就能够实现全部DCE-MRI图像的生成。一组DCE-MRI图像包括6个不同时态图像，其中注射照影剂前1个，之后每隔90秒扫描成像一次，一共5次。一个W型网络能够生成注射造影剂后2次成像的图像。因此，3个网络就能够生成5个图像，实现全部图像的生成。

在所述训练数据集训练W型神经网络结构模型中，使用平均绝对误差MAE作为回归损失函数，平均绝对误差(Mean-absolute-error,MAE)是一种常用的回归损失函数，定义为目标值与预测值的绝对差值的平均。它表示预测值的平均误差幅度，且不需要考虑误差的方向。在计算W型网络的MAE时，需同时考虑多组生成的三维MRI图像，而它们又紧密相关。期望当每组图像均生成准确时，MAE值最小，生成结果最佳。据此，定义基于MAE的损失函数为

其中，M为同时生成相邻时相图像的数目，W、H与D分别表示三维MRI增强图像的长、宽与高，V

应用上述提供的W型网络结构生成动态增强核磁共振图像，做了如下实验：实验数据为60位患者的乳腺DCE-MRI T

图2为一组乳腺DCE-MRI图像不同时相的原始图像及预测生成结果。不同时相的生成图像均能反映真实乳腺组织结构，生成结果令人满意。对于数据库中的30组图像进行实验，使用生成图像与真实图像间的平均峰值信噪比来评价图像生成质量，对于生成的5个时相的图像的峰值信号比分别可以达到11.15，10.98，11.04，10.92及10.89。可见应用本实施方案提供的方法，考虑到不同时相以及同一时相不同层面的MRI图像之间均有着紧密联系，依据三维MRI平扫图像，生成四维DCE-MRI时间-空间序列图像，应用该方法实现了应用计算机后处理技术代替注射造影剂后的多次MRI扫描操作来生成DCE-MRI的图像，不仅能够提供患者(特别是由于身体条件原因无法注射造影剂的患者)病灶组织的生理代谢变化，还无需注射造影剂进行二次MRI动态扫描。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由权利要求指出。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由权利要求指出。