一种处理图像的多判别GAN网络构建方法、装置、系统和存储介质

技术领域

本发明涉及图像应用领域，尤其涉及一种处理图像的多判别GAN网络构建方法、装置、系统和存储介质。

背景技术

随着磁共振成像技术的不断发展，多参数磁共振成像技术已广泛应用于临床的各个方面，获取多参数的磁共振图像将极大地增加磁共振检查中的诊断信息，有助于医生更好地制定诊疗决策。但是，扫描时间、扫描费用以及患者自身等原因，可能会妨碍某些序列图像的获取，而已获取的序列图像也可能含有严重的噪声和伪影。在这种情况下，合成多种序列的高质量磁共振图像可以提供更多的诊断信息。对于多对比度合成，当前方法主要是通过非线性回归或确定性神经网络学习源图像和参照图像之间的非线性强度转换，但这些方法可能导致合成图像中结构细节的损失。

近年来，生成对抗网络(Generative Adversarial Networks,GAN)通过特征提取和目标生成的方式实现了推演图像的生成，使医学图像的生成和图像质量的提升不再单纯依赖硬件采集的原始数据，为医学图像的获取和图像质量的改进及图像的转化提供了新的思路和可能。Huang等利用基于上下文感知的GAN网络通过脑部的T1图像推演生成了T1ce序列，T2及Flair图像，该研究提升了脑胶质瘤评级的准确性，证明了推演图像在临床诊断中的潜在价值，但是其对于肿瘤区域的增强并不明显。

发明内容

发明目的：本发明的目的是提供一种能提高生成目标图像整体和局部的图像质量的处理图像的多判别GAN网络构建方法、装置、系统、存储介质及在脑部MRI的应用。

技术方案：本发明的多判别GAN网络构建方法，包括如下步骤：

(1)获取多类别图像数据集，所述数据集包括序列图像和特定区域遮罩；

(2)对数据集中的序列图像进行灰度值归一化，统一图像尺寸，制作图像的分类标签；根据步骤(1)中的特定区域遮罩提取特定区域图像；

(3)将数据集中的数据划分为训练集和测试集；

(4)构建多判别GAN网络模型；所述多判别GAN网络模型包括生成模型G和判别模型；

(5)根据生成模型G与判别模型之间的生成对抗关系，构建损失函数，引导多判别GAN网络模型训练；

(6)通过步骤(1)至(3)所获取制作的数据集和步骤(5)的损失函数，训练步骤(4)所构建的多判别GAN网络模型，生成逼真目标图像。

进一步，所述步骤(2)中，所述图像的分类标签为独热编码标签；提取特定区域图像的方案有两种：

方案一，由特定区域遮罩制作包围特定区域的边界框，边界框为区域的左上角横纵坐标以及边界框的长宽，根据边界框将特定区域裁剪出来；

方案二，由特定区域遮罩与图像进行点乘得到特定区域；如一张图片存在多个区域遮罩，则将多个点乘后的结果拼接为多个通道的图像。

进一步，所述步骤(4)中，所述判别模型包括整体判别模型D和局部判别模型D

所述生成模型G根据输入的目标标签c将输入的真实图像x转换为目标域生成目标图像G(x,c)，其中目标标签c通过全连接层映射为生成模型G中间特征图的方差变化；

整体判别模型D的输入为真实图像x和生成目标图像G(x,c)，输出为真假二分类结果D

局部判别模型D

进一步，生成模型G是N个子阶段g

所述每一个子阶段g

所述方差控制向量t

进一步，所述的步骤(5)中，所述损失函数包括生成模型损失L

生成模型损失函数L

其中，L

判别模型损失函数

其中，L

进一步，所述的步骤(6)中，训练步骤(4)所构建的多判别GAN网络模型时，使用两个优化器分别根据生成模型损失函数L

一种处理图像的多判别GAN网络构建装置，所述装置包括：

数据获取模块，获取多类别图像数据和特定区域遮罩；

图像预处理模块，图像灰度值归一化，统一图像尺寸，制作图像的分类标签，通过特定区域遮罩提取特定区域图像；

数据划分模块，划分训练集和测试集；

GAN网络构建模块，搭建生成模型和判别模型；

损失函数构建模块，搭建损失函数引导网络模型训练；

训练模块，通过数据获取模块、图像预处理模块、数据划分模块所获取制作的数据集和损失函数构建模块搭建的损失函数，训练GAN网络构建模块所构建的网络模型。

一种处理图像的多判别GAN网络构建系统，包括：处理器和存储器；

所述存储器用于存储一个或多个程序指令；

所述一个或多个程序指令被所述处理器运行，用以执行任一项多判别GAN网络构建的方法。

一种计算机存储介质，包含一个或多个程序指令，所述一个或多个程序指令用于一种多判别GAN网络构建系统执行任一项多判别GAN网络构建的方法。

本发明与现有技术相比，其显著效果如下：

1、本发明的局部判别模型对真实图像和生成目标图像的特定区域进行真假判别，并划分图像类别，与以生成逼近真实图像为目的的生成模型之间形成生成对抗的关系，激励生成模型发现识别图像特定区域并优化特定区域的生成；可应用于任一需优化特定区域的图像翻译生成任务中，仅需添加一个针对特定区域的局部判别模型。

2、本发明的局部判别模型与整体判别模型的配合使用弥补了传统GAN网络局部区域失真的缺陷，如在脑胶质瘤患者MRI图像生成时肿瘤区域生成失真；在GAN网络的生成对抗中，生成模型依靠判别模型反向链式传播所产生的梯度进行训练，本发明局部判别模型产生的区域梯度与整体判别模型产生的整体梯度产生了叠加效应，这种叠加效应驱使生成模型定位并优化特定区域，提高了生成目标图像的整体以及特定区域的图像质量。

3、本发明采用的独热编码条件标签映射调制特征图方差的方法，使构建的多判别GAN网络能实现多类别非成对图像的转换生成；生成模型在下采样过程中将输入图像映射为反映不同层级内容的特征图，条件编码对各个特征图的方差进行调控，再配合卷积的作用逐步形成条件目标标签所对应的特征图，最终合成图像输出；该控制方法能够有效实现脑胶质瘤患者不同磁共振序列，如T1、T2、T1ce和Flair序列之间的转换生成。

4、本发明提出了基于整体和局部的图像到图像的非成对图像翻译生成网络—多判别GAN网络的构建方法、系统和存储介质。

附图说明

图1为本发明的多判别GAN网络构建方法流程示意图；

图2为本发明的多判别GAN网络图像生成模型示意图；

图3为本发明的多判别GAN网络图像判别模型示意图；

图4为本发明的多判别GAN网络整体训练示意图；

图5为本发明的多判别GAN网络构建系统结构示意图；

图6为本发明的多判别GAN网络构建装置模块示意图。

具体实施方式

下面结合说明书附图和具体实施方式对本发明做进一步详细描述。

本发明针对图像生成容易产生的局部失真问题，采用具有局部判别功能的多判别GAN网络结构，加强对感兴趣区域的训练，增强生成模型识别定位感兴趣区域的能力，以提高生成目标图像整体和局部的图像质量。本发明以脑胶质瘤患者的脑部多参数MRI图像数据为例，具体实现步骤如下：

步骤1，获取脑胶质瘤患者的脑部多参数MRI图像数据集，数据集内包括M位患者的T1序列、T2序列、T1ce序列、Flair序列以及特定区域遮罩，如已提供的肿瘤区域分割区域遮罩。

肿瘤区域遮罩可能出现一张图片对应多个区域遮罩，如在脑胶质瘤患者中肿瘤区域遮罩可以分为浮肿、坏疽和肿瘤增强区域遮罩。

步骤2，对数据集的序列图像进行灰度值归一化，将灰度值归一化到0～1之间，使用双线性插值将图像尺寸统一为128*128，为数据集中每一种序列的MRI图像制作标签，根据步骤1中的肿瘤分割区域遮罩提取肿瘤区域图像。

MRI图像标签为one-hot形式，T1图像标签为0001，T2图像标签为0010，T1ce图像标签为0100，Flair图像标签为1000。

提取肿瘤区域图像有两种方案，一是通过分割遮罩制作肿瘤区域边界框，边界框包括左上角横纵坐标以及区域长宽，可将肿瘤区域裁剪出来；二是使用分割遮罩与图像进行点乘得到肿瘤区域，若一张图片存在多个区域遮罩，则将多个点乘后的结果拼接为多个通道的图像。

步骤3，划分训练集和测试集，将所有数据的80％作为训练集，20％的数据作为测试集，训练集用于训练模型，测试集用于测试模型性能。

步骤4，构建多判别GAN网络，包括生成模型G、整体判别模型D和局部判别模型D

通过特征图方差调控方法搭建条件生成模型，生成模型的步骤主要包括下采样、转换生成、上采样和条件控制四部分。

生成模型G根据输入的独热编码目标标签c将输入图像x转换为目标域生成目标图像G(x,c)，其中目标标签c通过全连接层映射为生成模型中间特征图的方差变化。

生成模型G(x,c)是N个子阶段g

所述每一个阶段g

g

整体判别模型D的输入为真实图像x和生成目标图像G(x,c)，输出为真假二分类结果D

局部判别模型D

步骤5，根据生成模型与判别模型之间的生成对抗关系构建多判别GAN网络的损失函数引导网络模型训练。

型损失函数包括生成模型与判别模型的生成对抗损失L

因此，生成模型G的目标损失函数L

整体判别模型D和局部判别模型D

步骤6，训练多判别GAN网络使网络生成逼真目标图像。

训练过程中，使用Adam参数更新方法，整体判别模型D和局部判别模型D

实施例1

本发明提供了一种多判别GAN网络模型构建方法，构建出的多判别GAN网络不仅能实现MRI(Magnetic Resonance Imaging磁共振成像)多序列图像的转换，还能提高生成目标图像特定区域的图像质量。本发明的方法不限于在脑部MRI图像中的应用，也可以在其他医学图像或者非医学图像中应用。本发明以脑胶质瘤患者的脑部多参数MRI图像数据为例，多判别GAN网络构建方法的总流程如图1所示，实现过程包括以下步骤：

步骤1，获取脑胶质瘤患者脑部多参数MRI数据及其对应的肿瘤区域遮罩；

获取M位患者的T1序列、T2序列、T1ce序列、Flair序列以及对应的肿瘤区域遮罩，单个样本为其中的一幅图像及其对应的肿瘤区域遮罩。

步骤2，图像数据归一化，统一尺寸，制作不同序列MRI的one-hot独热标签，提取肿瘤区域图像；

使用minmax归一化方法将图像的灰度值归一化到0到1之间，使用双线性插值将图像尺寸统一为128*128；

对不同序列的图像进行标记，将T1序列图像标记为1000，T2序列图像标记为0100，T1ce序列图像标记为0010，Flair序列图像标记为0001；

根据步骤1中的肿瘤分割区域遮罩提取肿瘤区域图像。

提取肿瘤区域有两种方案，方案一：由肿瘤区域遮罩制作包围肿瘤区域的边界框，边界框为区域的左上角横纵坐标以及边界框的长宽，根据边界框将肿瘤区域裁剪出来；方案二：使用区域分割遮罩与图像进行点乘得到肿瘤区域，若一张图片存在多个区域遮罩，则将多个点乘后的结果拼接为多个通道的图像，如在脑胶质瘤患者中肿瘤区域存在浮肿、坏疽和肿瘤增强区域遮罩。由于图像生成过程中生成目标图像应与真实图像保持像素对应关系，所以使用与生成目标图像对应的真实图像的区域遮罩提取生成目标图像肿瘤区域。

步骤3，划分训练集和测试集，将数据集划分为两部分，一部分为训练集(80％的数据)，一部分为测试集(20％的数据)，训练集用于训练模型，测试集用于测试模型性能，每部分的数据的单个样本包含图像以及对应的图像标记和肿瘤区域图像。

步骤4，构建多判别GAN网络，包括生成模型G、整体判别模型D和局部判别模型D

步骤4.1，如图2所示，引入特征图方差调控方法，搭建条件生成模型，主要包括下采样、转换生成、上采样和条件控制四部分。

步骤4.1.1，下采样

128*128*1的图像输入，首先经过1个步长为1的7*7卷积得到128*128*64大小的特征图，接着经过2个步长为2的4*4卷积得到32*32*256大小的特征图，每次卷积之后使用特征图通道标准化方法进行标准化，然后使用Relu函数进行激活。

特征图通道标准化过程如公式(1)所示：

式(1)中，x

Relu激活函数的计算F

F

式(4)中，x

步骤4.1.2，转换生成

将步骤4.1.1的输出特征图作为输入，经过6个残差模块和条件映射，得到与输入尺寸一致的特征图输出，单个残差模块的计算过程F

F

式(5)中，x

F

式(6)中，x

步骤4.1.3，上采样

将步骤4.1.2的输出结果作为输入，经过2个步长为2的4*4转置卷积得到128*128*64大小的特征图，接着经过1个步长为1的3*3卷积和sigmoid激活得到128*128*1的输出，每次转置卷积之后使用特征图通道标准化方法将数据标准化，然后使用条件输入的映射调制特征图方差，然后使用Relu函数激活。

步骤4.1.4，条件控制

将独热编码标签作为生成模型的条件输入，首先经过两个全连接层映射为长度256的向量，之后经过各自独立的全连接层映射为残差模块和转置卷积过程中的特征图方差变化，达到条件控制生成模型输出的目的。

步骤4.2，如图3所示，搭建整体判别模型D和局部判别模型D

步骤4.2.1，整体判别模型D

将真实图像和生成目标图像分别作为整体判别模型的输入，大小为128*128*1，经过6个步长为2的3*3卷积和LRelu激活得到2*2*2048大小的特征图，之后经过1个2*2卷积输出真假判别结果，此外还将2*2*2048大小的特征图输入一个2*2卷积得到T1、T2、T1ce、Flair序列的4分类结果。LRelu函数激活过程F

F

式(7)中，x

利用双线性插值将肿瘤区域图像尺寸统一为128*128*1，作为局部判别模型D

步骤5，根据生成模型与判别模型之间的生成对抗关系构建多判别GAN网络模型的损失函数，用于在训练过程中引导多判别GAN网络的参数调节，损失函数包括生成模型损失函数和判别模型损失函数。

步骤5.1，生成模型G的损失函数包含生成对抗损失L

步骤5.1.1，生成模型G的生成对抗损失L

L

式(8)中，E表示期望，x表示真实图像输入，c表示转换生成的目标条件标签，G(x,c)表示生成模型根据输入图像x和条件标签c生成的图像，x

公式(8)中，第一、二项代表生成模型G与整体判别模型D的生成对抗，第三、四项代表生成模型G与局部判别模型D

步骤5.1.2，生成模型G的目标分类损失

式(8)中，D

对于生成模型G而言，生成模型G要使生成目标图像的分类尽可能的接近目标条件c，目标分类损失

步骤5.1.3，生成模型G的循环重建损失

式(10)中，c′表示真实图像x所属类别的分类标签，‖·‖

循环重建损失

因此，生成模型G的目标损失函数L

步骤5.2，整体判别模型D、局部判别模型D

步骤5.2.1，生成对抗损失L

步骤5.2.2，整体判别模型D和局部判别模型D

式(12)中，D

因此，整体判别模型D和局部判别模型D

步骤6，使用步骤5中的损失函数式(11)(13)对生成模型G与整体判别模型D、局部判别模型D

步骤6.1，初始化模型参数，使用训练集训练网络。

采用节点相关的高斯分布方法初始化生成模型G和整体判别模型D、局部判别模型D

式(14)中，W表示待初始化的参数；

步骤6.2，取一个批次的源图像和随机产生的独热编码目标标签作为生成模型G的输入，生成目标图像。

步骤6.3，将源图像和生成目标图像输入整体判别模型D。

步骤6.4，将源图像和生成目标图像的肿瘤区域输入局部判别模型D

步骤6.5，使用两个优化器，根据生成模型G和整体判别模型D、局部判别模型D

步骤6.6，重复步骤6.2至6.5，直到设定好的迭代次数时结束，或者损失函数趋于稳定时结束。

本发明实施例提供的一种多判别GAN网络构建方法设计了一种多类别的图像生成方法，使用独热编码标签作为生成模型的条件输入，通过全连接层将其映射为特征图的方差变化，在卷积过程的多个尺度上对特征图进行调控，达到条件控制生成的作用，控制能力更强。采用双判别模型的GAN网络框架，增加了感兴趣区域的局部判别模型，针对感兴趣区域进行训练，增强生成模型识别定位感兴趣区域的能力，提高了生成目标图像整体和局部的图像质量。

实施例2

与实施例1对应的，本发明还提供一种多判别GAN网络构建装置，如图6所示，该装置主要包括：数据获取模块、图像预处理模块、数据划分模块、GAN网络构建模块、损失函数构建模块和训练模块。

数据获取模块，用于获取脑胶质瘤患者脑部多参数MRI数据及其对应的肿瘤区域遮罩，即获取M位患者的T1序列、T2序列、T1ce序列、Flair序列以及对应的肿瘤区域遮罩，单个样本为其中的一幅图像及其对应的肿瘤区域遮罩。

图像预处理模块，用于图像数据归一化，统一尺寸，制作不同序列MRI的独热标签，提取肿瘤区域图像；

使用minmax归一化方法将图像的灰度值归一化到0到1之间，使用双线性插值将图像尺寸统一为128*128；

对不同序列的图像进行标记，将T1序列图像标记为1000，T2序列图像标记为0100，T1ce序列图像标记为0010，Flair序列图像标记为0001；

根据数据获取模块获取的肿瘤分割区域遮罩提取肿瘤区域图像。

数据划分模块用于划分训练集和测试集，将数据集划分为两部分，一部分为训练集(80％的数据)，一部分为测试集(20％的数据)，训练集用于训练模型，测试集用于测试模型性能，每部分的数据的单个样本包含图像以及对应的图像标记和肿瘤区域图像。

GAN网络构建模块用于构建多判别GAN网络，包括生成模型G、整体判别模型D和局部判别模型D

GAN网络构建模块包括生成模型搭建模块、整体判别模型D和局部判别模型D

生成模型搭建模块引入特征图方差调控方法，搭建条件生成模型，生成模型搭建模块主要包括下采样模块、转换生成模块、上采样模块和条件控制模块四部分。

下采样模块用于下采样，具步骤如下：

128*128*1的图像输入，首先经过1个步长为1的7*7卷积得到128*128*64大小的特征图，接着经过2个步长为2的4*4卷积得到32*32*256大小的特征图，每次卷积之后使用特征图通道标准化方法进行标准化，然后使用Relu函数进行激活。特征图通道标准化过程按公式(1)进行，Relu激活函数的计算按公式(4)进行。

转换生成模块用于转换生成：

将下采样模块的输出结果作为输入，经过6个残差模块和条件映射得到与输入尺寸一致的特征图输出。残差模块的计算过程按公式(5)进行。

上采样模块用于上采样：

将转换生成模块的输出结果作为输入，经过2个步长为2的4*4转置卷积得到128*128*64大小的特征图，接着经过1个步长为1的3*3卷积和sigmoid激活得到128*128*1的输出，每次转置卷积之后使用特征图通道标准化方法将数据标准化，然后使用条件输入的映射调制特征图方差，然后使用Relu函数激活。

条件控制模块用于条件控制：

独热编码标签作为生成模型的条件输入，首先经过两个全连接层映射为长度256的向量，之后经过各自独立的全连接层映射为残差模块和转置卷积过程中的特征图方差变化，达到条件控制生成模型输出的目的。

整体判别模型D和局部判别模型D

整体判别模型D搭建模块用于搭建整体判别模型D。

真实图像和生成目标图像分别作为整体判别模型的输入，大小为128*128*1，经过6个步长为2的3*3卷积和LRelu激活得到2*2*2048大小的特征图，之后经过1个2*2卷积输出真假判别结果，此外还将2*2*2048大小的特征图输入一个2*2卷积得到T1、T2、T1ce、Flair序列的4分类结果。LRelu函数激活过程按公式(7)进行。

局部判别模型D

首先，从真实图像和生成目标图像中提取肿瘤区域。提取肿瘤区域有两种方案，方案一：由肿瘤区域遮罩制作包围肿瘤区域的边界框，边界框为区域的左上角横纵坐标以及边界框的长宽，根据边界框将肿瘤区域裁剪出来；方案二：使用区域分割遮罩与图像进行点乘得到肿瘤区域，若一张图片存在多个区域遮罩，则将多个点乘后的结果拼接为多个通道的图像，如在脑胶质瘤患者中肿瘤区域存在浮肿、坏疽和肿瘤增强区域遮罩。由于图像生成过程中生成目标图像应与真实图像保持像素对应关系，所以使用与生成目标图像对应的真实图像的区域遮罩提取生成目标图像肿瘤区域。

将提取出的真实以及生成目标的肿瘤区域图像作为局部判别模型D

损失函数构建模块用于生成模型与判别模型之间的生成对抗关系构建多判别GAN网络模型的损失函数，用于在训练过程中引导多判别GAN网络的参数调节，损失函数包括生成模型损失函数和判别模型损失函数。

生成模型损失函数构建模块用于生成模型G的损失函数包含生成对抗损失L

判别模型损失函数构建模块用于整体判别模型D和局部判别模型D

训练模块使用损失函数构建模块中的损失函数对生成模型与判别模型进行联合训练以达到生成模型G生成逼真目标图像的目的。如图4所示，通过训练生成对抗网络，判别模型引导生成模型生成目标类别的逼真图像，该训练过程主要包括参数初始化、图像输入得到结果以及参数更新。

初始化模块用于初始化模型参数，使用训练集训练网络。

使用节点相关的高斯分布方法初始化生成模型和判别模型的参数，节点相关的高斯分布初始化过程按式(14)进行。

目标图像生成模块取一个批次的源图像和随机产生的独热编码目标标签作为生成模型的输入，生成目标图像。

整体判别模型输入模块将源图像和生成目标图像输入整体判别模型。

局部判别模型输入模块将源图像和生成目标图像的肿瘤区域输入局部判别模型。

优化模块使用两个优化器，根据生成模型和判别模型的损失函数分别更新生成模型和判别模型，优化器使用Adam参数更新策略，初始学习率为0.0001，判别模型每更新5次，生成模型更新1次。

重复模块控制目标图像生成模块、整体判别模型输入模块、局部判别模型输入模块和优化模块依次重复工作，直到生成目标图像的质量达到优秀。

本发明实施例提供的一种多判别GAN网络构建装置设计了一种多类别的图像生成方法，使用独热编码标签作为生成模型的条件输入，通过全连接层将其映射为特征图的方差变化，在卷积过程的多个尺度上对特征图进行调控，达到条件控制生成的作用，控制能力更强。采用双判别模型的GAN网络框架，增加了感兴趣区域的局部判别模型，针对感兴趣区域进行训练，增强生成模型识别定位感兴趣区域的能力，提高了生成目标图像整体和局部的图像质量。

实施例3

与实施例2对应的，本发明还提供了一种多判别GAN网络构建系统，具体如图5所示，该系统包括：处理器501和存储器502。

存储器502用于存储一个或多个程序指令；

一个或多个程序指令被处理器501运行，用以执行如上所介绍的一种多判别GAN网络构建方法。

本发明的多判别GAN网络构建系统，是多类别的图像生成系统，使用独热编码标签作为生成模型的条件输入，通过全连接层将其映射为特征图的方差变化，在卷积过程的多个尺度上对特征图进行调控，达到条件控制生成的作用，控制能力更强。采用双判别模型的GAN网络框架，增加了感兴趣区域的局部判别模型，针对感兴趣区域进行训练，增强生成模型识别定位感兴趣区域的能力，提高了生成目标图像整体和局部的图像质量。

实施例4

与实施例3对应的，本发明还提供了一种计算机存储介质，该计算机存储介质中包含一个或多个程序指令，一个或多个程序指令用于被一种多判别GAN网络构建系统执行如上所介绍的一种多判别GAN网络构建方法。

尽管本发明就优选实施方式进行了示意和描述，但本领域的技术人员应当理解，只要不超出本发明的权利要求所限定的范围，可以对本发明进行各种变化和修改。