基于多约束GAN的DCE-MRI图像生成方法

技术领域

本发明公开涉及医学图像处理技术领域，尤其涉及一种基于多约束GAN的DCE-MRI图像生成方法。

背景技术

近年来，通过学习已知样本的概率密度分布来生成新样本的生成模型受到人们的广泛关注。生成模型的目标函数是数据分布与模型分布之间的距离，可以用极大似然法进行求解，而通常直接用极大似然法求解较为困难，但生成对抗网络(GenerativeAdversarial Networks，GAN)利用神经网络的学习能力来拟合两个分布之间的距离，却能够巧妙地避开了求解似然函数的难题，是目前最成功、使用最广泛的生成模型。

由于动态对比度增强磁共振(Dynamic contrast-enhanced magnetic resonanceimaging,DCE-MRI)图像能够获得注入造影剂前、中、后各时期组织的连续动态增强图像，从而反映病灶组织的生理代谢变化。但对注射造影剂过敏或者心肝肺肾功能差的患者不能做DCE-MRI检查，无法更有效的显示病灶。如果能够根据平扫MRI图像，利用GAN代替注射造影剂后的多次MRI扫描操作来生成DCE-MRI的图像，则能够实现不仅能够提供患者病灶组织的生理代谢变化，还无需注射造影剂进行二次MRI动态扫描。

虽然，目前还没有研究者提出针对DCE-MRI图像生成的GAN结构，但GAN或者卷积神经网络(CNN)已经被广泛用于跨模态MRI图像的生成。Chartsias等人利用U-Net分别提取不同模态的MRI图像的有效特征，再将这些特征融合来生成新模态的图像。该方法被用来根据BRATS 2015数据库中的MRI T1图像生成T2及FLAIR图像，并根据ISLES MRI T1，T2及DWI图像生成FLAIR图像。Yu等人提出Edge-Aware GANs，该网络由生成器、判别器和边缘检测模块组成。生成器及判别器分别用来生成新模态的图像及判断生成新图像的真伪，边缘检测模块将图像的边缘信息通过损失函数形式加入GAN中，使得3个模块可以相互作用。该网络根据BRATS 2015数据库中的MRI T1图像生成相应的T2及FLAIR图像，根据IXI图像中的MRI PD图像生成T2图像，生成结果均令人满意。Dar等人[3]提出一种条件GAN以实现MRI T1与T2图像间的转换，并且使用感知损失函数关注生成图像的细节。Yang等人提出了一种半监督的GAN来实现双模态间MRI图像的转换，其监督网络保证生成图像与原图像间空间的准确性，而无监督网络为生成图像提供真实且较原图像变化显著的视觉效果。

目前，已有方法均处理常规对比度增强磁共振图像(contrast-enhancedmagnetic resonance imaging,CE-MRI)，而非DCE-MRI。CE-MRI为注射照影剂后的一次成像，生成三维图像。而DCE-MRI为注射照影剂后的多次成像，为四维时间序列图像。因此，与CE-MRI相比，不同时相的DCE-MRI间有更多的有用相关信息。因此，多约束GAN利用充分利用不同时相的增强图像间的相关信息来生成DCE-MRI图像。

发明内容

鉴于此，本发明公开提供了一种基于多约束GAN的DCE-MRI图像生成方法，以实现充分利用不同时相图像间的约束关系生成四维DCE-MRI图像。

本发明提供的技术方案，具体为，基于多约束GAN的DCE-MRI图像生成方法，包括如下步骤：

S1：获取数据，得到不同时相的图像数据，包括注射造影剂前扫描1次获得图像I

S2：训练多约束生成对抗网络，在生成增强图像I

S3：将图像I

S4：直到判别器无法区别其输入图像为生成图像或真实图像时，完成对多约束生成对抗网络的训练。

多约束生成对抗网络中生成器为U-Net结构。在生成增强图像I

当生成注射造影剂后第1时相图像时，所述生成器的输入为真实图像I

根据特征图分辨率的不同，所述多约束GAN中的生成器网络中的路径分为不同状态，其中每个状态由2个块组成，每个块含有一个3×3的卷积层及紧跟的一个BN层和一个ReLu层，在收缩或扩张路径上，第二个块后连接一个核大小为2×2的最大下采样或上卷积层，使特征图在两个方向上的大小都减半或加倍。

根据特征图分辨率的不同，所述多约束生成对抗网络中的判别器网络中的路径分为不同状态，包括4个状态，每个状态由2个块组成，每个块含有一个3×3的卷积层及紧跟的一个BN层和一个ReLu层，在第二个块后连接一个核大小为2×2的下采样层，最后一层为1×1的卷积层，并使用softmax激活函数对输入进行分类。

本发明提供的基于多约束GAN的DCE-MRI图像生成方法，利用不同时相间约束信息来生成DCE-MRI图像。该方法能够实现根据平扫MRI图像，利用提出的多约束GAN代替注射造影剂后的多次MRI扫描操，生成DCE-MRI的图像。其能够提供患者病灶组织的生理代谢变化，无需注射造影剂进行二次MRI动态扫描。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明的公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明公开实施例提供的多约束GAN结构图；

图2为本发明公开实施例提供的生成器结构图；

图3为本发明公开实施例提供的判别器结构图；

图4为应用本发明公开实施例提供的基于多约束GAN的乳腺DCE-MRI生成图像表示。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的系统的例子。

GAN主要由一个生成器和一个判别器组成。生成器的目标是生成逼真的伪样本让判别器无法判别出真伪，判别器的目标是正确区分数据是真实样本还是来自生成器的伪样本。当判别器的识别能力达到一定程度却无法正确判断数据来源，就完成对GAN的训练。目前，GAN网络已在医学图像处理领域得到广泛的应用，但还没有研究者提出同时利用多时相图像间的相互约束来生成DCE-MRI图像的GAN结构。

为此，本实施方案提供了一种基于多约束GAN的DCE-MRI生成方法，包括：S1：获取数据，得到不同时相的图像数据，包括注射造影剂前扫描1次获得图像I

S2：训练多约束生成对抗网络，在生成增强图像I

S3：将图像I

S4：直到判别器无法区别其输入图像为生成图像或真实图像时，完成对多约束生成对抗网络的训练。

本实施方案针对相邻时相DCE-MRI图像间的相互关系，提出基于相邻时相约束的GAN结构。

其中多约束GAN结构如图1所示，以乳腺DCE-MRIT

当预测生成第1时相增强图像I

多约束生成对抗网络中生成器为U-Net结构。在生成增强图像I

具体地，多约束GAN中的生成器结构如图2所示。多约束生成对抗网络中生成器为U-Net结构，在生成增强图像I

多约束生成对抗网络包括收缩下降路径和对称扩张路径，收缩下降路径提取图像的低维特征，扩张路径提取图像的高维特征，通过跳跃连接将收缩下降路径上卷积层的输出与扩张路径上卷积层的输入相连接。

生成网络由左侧的收缩下降路径和右侧对称扩张路径组成，这两条路径分别提取图像的低维及高维特征。通过跳跃连接将收缩路径上卷积层的输出与扩张路径上卷积层的输入相连接，使得该网络能够同时利用低维及高维特征来生成图像。根据特征图分辨率的不同，网络中的路径可分为不同状态。每个状态由2个块组成，每个块含有一个3×3的卷积层及紧跟的一个BN层和一个ReLu层(BN层及ReLu层在图中简化未显示)。在收缩(扩张)路径上，第二个块后连接一个核大小为2×2的最大下采样(上卷积)层，使特征图在两个方向上的大小都减半(加倍)。

判别器结构如图3所示，其采用典型的CNN结构。根据特征图分辨率的不同，网络结构可分为4个状态。每个状态由2个块组成，每个块含有一个3×3的卷积层及紧跟的一个BN层和一个ReLu层(图3中未显示)。在第二个块后连接一个核大小为2×2的下采样层，使特征图大小减半，可以提取不同尺度的特征。最后一层为1×1的卷积层，其将特征图数目变为1，并使用softmax激活函数对输入进行分类。

在训练生成器时，使用平均绝对误差MAE作为生成器的损失函数。MAE用来衡量次网络生成图像与金标准图像间的平均误差。在训练判别器时，使用交叉熵函数作为损失函数，交叉熵描述实际输出与期望输出的距离，交叉熵的值越小，两个概率分布就越接近，分类结果约准确。

应用上述方法，以60位患者的乳腺DCE-MRI T

图4为一组乳腺DCE-MRI图像不同时相的原始图像及预测生成结果。不同时相的生成图像均能反映真实乳腺组织结构，生成结果令人满意。

对于数据库中的30组图像进行实验，使用生成图像与真实图像间的平均峰值信噪比来评价图像生成质量，对于生成的5个时相的图像的峰值信号比分别可以达到12.34，13.16，11.96，14.54及13.21。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由权利要求指出。