一种基于深度无监督学习的去伪影方法和系统

技术领域

本发明属于医用磁共振成像和深度学习技术领域，具体涉及一种基于深度无监督学习的去伪影方法和系统。

背景技术

钆塞酸二钠是一种常见的肝脏特异性磁共振造影剂，被广泛用于肝脏移植任务、肝癌和其他疾病的诊断。但是，尽管其在MR成像中具有优势，但仍有患者在注射后会在动脉期出现急性瞬时呼吸困难或瞬时剧烈运动的现象，这会导致图像出现运动伪影，质量下降，影响诊断准确性。因此需要合适的运动伪影校正算法来去除伪影，得到清晰的图像。

目前有多种传统方法被用来去除运动伪影。一类是对采集到的K空间数据进行修改，从而重建出无伪影的图像。如通过交换相位编码的方向采集得到正交的K空间数据，根据两者的相位差来校正运动伪影。该算法可以明显减少运动伪影；另一类是直接对重建之后的带有运动伪影的图像进行处理。如通过配准的方法将高分辨率、低信噪比的心脏磁共振图像生成高分辨率、高信噪比的图像，有效地去除了部分运动伪影。传统算法基于先验知识，虽然可以去除部分运动伪影，但存在成像速度慢，去运动伪影效果有限等缺点。

近年来，深度学习也被应用于去运动伪影的方法中。与传统方法相比，深度学习方法基于数据驱动，可以隐式地学习先验知识，提高成像速度。一类是有监督学习方法，这类方法在模拟数据上可以得到很好的去运动伪影效果，但由于真实MRI数据缺少其训练所需的配对数据集，因此在真实数据上去运动伪影效果有待提升。另一类是无监督方法，这类方法解决了有监督方法需要配对数据集的问题，可以在真实数据上训练，但去运动伪影效果仍有待提升。

发明内容

为了提升去运动伪影的效果，本发明提出一种基于深度无监督学习的去伪影方法和系统。

实现本发明目的之一的一种基于深度无监督学习的去伪影方法，包括如下步骤：

步骤(1)构建基于深度无监督学习的去伪影网络模型；

所述去伪影网络模型包括MNet网络和无伪影图像生成器；

所述MNet网络用于对全采样MRI图像进行下采样、上采样和卷积操作，得到第一参数化掩码M

所述无伪影图像生成器用于对欠采样MRI有伪影图像或欠采样MRI无伪影图像进行去伪影操作，得到去除了伪影的全采样MRI无伪影图像；

步骤(2)利用多份全采样MRI图像中的全采样MRI有伪影图像或全采样MRI无伪影图像对所述去伪影网络模型进行训练，得到训练完成的去伪影网络模型；所述去伪影网络模型用于去除全采样MRI图像中的伪影，得到去除了伪影的全采样MRI无伪影图像。

实现本发明目的之二的一种基于深度无监督学习的去伪影系统，包括：去伪影网络模型构建模块、去伪影网络模型训练模块；

所述去伪影网络模型构建模块用于构建基于深度无监督学习的去伪影网络模型；

所述去伪影网络模型训练模块用于将多份全采样MRI图像中的全采样MRI有伪影图像或全采样MRI无伪影图像对所述去伪影网络模型进行训练，得到训练完成的去伪影网络模型；所述去伪影网络模型用于去除全采样MRI图像的伪影，得到去除了伪影的全采样MRI无伪影图像。

有益效果：

1、本发明使用双域无监督网络，利用非配对数据集训练，有效训练出可以还原丰富细节的生成器，有效解决MRI图像难以获得配对数据集的问题和有监督方法需要配对数据集的问题；

2、本发明利用自适应的二值化参数化掩码

3、本发明利用mask_backward模块训练MNet神经网络生成自适应的二值化参数化掩码

4、本发明将k空间知识和深度学习结合起来，充分发挥二者的优势，可以在伪影去除干净的同时保留纹理细节。

附图说明

图1是本发明的整体训练流程图；

图2是本发明的mask_backward网络框架图；

图3-a是本发明的mask_backward网络中的伪影图像生成器示意图；

图3-b是本发明的mask_backward网络中的无伪影图像生成器示意图；

图3-c是本发明的mask_backward网络中的交叉图像生成示意图；

图4是本发明的MNet网络结构图；

图5是本发明的内容编码器网络结构图；

图6是本发明的伪影编码器网络结构图；

图7是本发明的图像生成器网络结构图；

图8是本发明的鉴别器网络结构图；

图9是本发明的残差模块；

图10是本发明与Cycle-MedGAN的效果对比图。

具体实施方式

下列具体实施方式用于对本发明权利要求技术方案的解释，以便本领域的技术人员理解本权利要求书。本发明的保护范围不限于下列具体的实施结构。本领域的技术人员做出的包含有本发明权利要求书技术方案而不同于下列具体实施方式的也是本发明的保护范围。

本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

本申请实施例包括一种基于深度无监督学习的去伪影方法，具体方法包括：

步骤(1)构建基于深度无监督学习的去伪影网络模型

本实施例中所述去伪影网络模型用于去除肝部全采样MRI图像的伪影，该去伪影网络模型包括MNet网络、无伪影图像生成器、伪影图像生成器、无伪影图像鉴别器D

MNet网络用于对全采样MRI图像进行下采样、上采样和卷积操作，得到第一参数化掩码M

无伪影图像生成器用于对欠采样MRI图像(包括欠采样MRI有伪影图像和欠采样MRI无伪影图像)进行去伪影操作，得到全采样MRI无伪影图像。

无伪影图像生成器如图3-b所示，包括第一内容编码器E

第一内容编码器E

无伪影图像解码器G

欠采样MRI图像经过第一内容编码器E

伪影图像生成器用于对欠采样MRI图像(包括欠采样MRI有伪影图像和欠采样MRI无伪影图像)进行分离与合并伪影部分和内容部分的处理，得到全采样MRI有伪影图像；所述分离与合并伪影部分和内容部分的处理即利用伪影图像生成器中的编码器将伪影部分和内容部分分别进行编码得到内容编码和伪影编码，从而实现内容部分和伪影部分的分离；再利用伪影图像生成器中的解码器将内容编码和伪影编码重新合成一张伪影图像；此处内容编码和伪影编码不一定来自同一张伪影图像，其内容编码有可能来自于无伪影图像生成器输出的内容编码；伪影图像生成器的作用是为了更好地训练无伪影图像生成器。

伪影图像生成器如图3-a所示，包括第二内容编码器E

欠采样MRI图像经过第二内容编码器E

无伪影图像鉴别器D

伪影图像鉴别器D

无伪影图像鉴别器D

步骤(2)构建肝部MRI全采样图像数据集

肝部全采样MRI(Magnetic Resonance Imaging)图像数据集包括肝部全采样MRI图像训练数据集，肝部全采样MRI图像测试数据集；具体过程如下：

步骤(2.1)划分训练集和测试集

本实施例中的数据集包含300个mat数据(一种用于在matlab中进行处理的数据类型)，其中250个为有伪影的mat数据，50个为无伪影的mat数据；从250个有伪影的mat数据中随机取出200个mat数据，从50个无伪影的mat数据中随机取出30个mat数据，作为初始肝部全采样MRI图像训练数据集；其余的mat数据作为肝部MRI全采样图像测试数据集。每个mat数据包含60～80张尺寸为320×256的肝部全采样MRI切片图像。

步骤(2.2)训练集数据预处理

对初始肝部全采样MRI图像训练数据集的每张切片进行裁剪，将尺寸为320×256的肝部全采样MRI切片图像裁剪为128×128尺寸，得到肝部全采样MRI图像训练数据集。

此步骤的技术效果是：去除多余的边界无用信息，以加快后续步骤中欠采样双域无监督去伪影网络模型的训练速度。

肝部MRI全采样图像测试数据集不做任何进一步处理。

步骤(3)对欠采样双域无监督去伪影网络进行训练

训练流程如图1所示，其中，X代表全采样MRI有伪影图像，Y代表全采样MRI无伪影图像，M

步骤(3.1)计算第一参数化掩码M

计算第一参数化掩码M

将步骤(2)中所述的肝部全采样MRI图像训练数据集中的全采样MRI有伪影图像和全采样MRI无伪影图像分别随机排列，从中取出一张全采样MRI有伪影图像X

计算二值化掩码

对第一参数化掩码M

当像素值大于0.5时像素值设为1，小于等于0.5时设置为0，其尺寸与输入图像相同，本实施例中尺寸为1×128×128。

上述采样率指：二值化后掩码中只有0和1两种，其中1所占的比例为采样率。

步骤(3.2)生成欠采样有伪影图像

步骤(3.2.1)将二值化掩码

步骤(3.2.2)将全采样MRI有伪影图像X

所述欠采样图像和全采样图像的不同主要表现在K空间数据上，全采样在K空间数据中每个点的数据值都不为0，而欠采样图像有些点的数据值为0。

将全采样MRI无伪影图像Y

上述欠采样操作的目的是为了去除与运动伪影有关的数据。

将上述参数化掩码M

步骤(3.3)更新伪影图像鉴别器D

如图3-c所示的示意图，将本实施例中的欠采样有伪影图像

将欠采样无伪影图像

将欠采样有伪影图像

将内容编码

步骤(3.3.2)获取鉴别结果

将全采样有伪影图像

将初始全采样MRI有伪影图像X

将全采样无伪影图像

将全采样MRI无伪影图像Y

步骤(3.3.3)根据下式计算鉴别器损失L

其中E[·]表示求期望值。

步骤(3.3.4)利用损失L

步骤(3.3.5)重复上述步骤(3.3.1)到3.3.4)多次，在本实施例中为两次。

步骤(3.4)更新伪影图像生成器和无伪影图像生成器的网络参数

步骤(3.4.1)将步骤(3.2.2)中所述的欠采样有伪影图像

步骤(3.4.2)将全采样无伪影图像

步骤(3.4.3)计算总损失L

(1)根据下式计算重建损失L

L

式中：

E[·]表示求期望值；

||·||

x

y

x

y

(2)根据下式计算内容损失L

式中：

表示从i＝1到i＝n(其中n表示用矩阵表示的对应图像的矩阵列数)求和；所述图像即/>

·||

sum

X

Y

表示全采样无伪影图像/>

表示全采样有伪影图像/>

(3)根据下式计算循环损失L

L

式中：

E[·]表示求期望值；

||·||

X

Y

x

y

(4)计算对抗损失L

根据下式下式计算对抗损失L

其中E[·]表示求期望值，D

(5)根据下式计算总损失L

L

式中：所述对应权重根据损失大小确定，目的是为了让所有损失保持在同一数量级；本实施例中λ

步骤(3.4.5)根据总损失L

步骤(3.5)更新第二参数化掩码M'

步骤(3.5.1)计算质量函数Q

(1)、将步骤(3.3.1)所述的全采样无伪影图像

(4)、根据下式计算二值化掩码

式中：

D

D

步骤(3.5.2)根据下式计算采样率损失L

其中，sum(·)是逐元素求和函数，M，N分别是

步骤(3.5.3)根据下式计算第二对抗损失L'

式中：

全采样有伪影图像/>

D

全采样无伪影图像/>

D

步骤(3.5.4)根据下式计算更新参数化掩码M

L

式中：w

步骤(3.5.5)利用步骤(3.5.4)中得到的损失L

步骤(3.5.5)重复步骤(3.5.1)到(3.5.4)多次(如9次)。

步骤(3.6)确定用于训练Mnet网络的参考掩码

步骤(3.6.1)计算Q

(1)对M

(2)利用

(3)将欠采样有伪影图像

将欠采样无伪影图像

将欠采样有伪影图像X'

将内容编码

(4)根据下式计算质量函数Q

步骤(3.6.2)计算Q

(1)利用随机掩码

(2)将欠采样有伪影图像

将欠采样无伪影图像

将欠采样有伪影图像

将内容编码

(3)根据下式计算质量函数Q

步骤(3.6.3)确定参考掩码

比较Q

步骤(3.7)根据参考掩码

步骤(3.7.1)将初始全采样MRI有伪影图像X

其中，

步骤(3.7.2)利用损失函数L

步骤(3.8)从步骤(3.1)中排列好的全采样MRI有伪影图像序列中取出下一张全采样MRI有伪影图像，从步骤(3.1)中排列好的全采样MRI无伪影图像序列中取出下一张全采样MRI无伪影图像，利用步骤(3.7.2)中更新各参数后的的MNet生成参数化掩码M

步骤(3.9)重复(3.2)到3.8)操作多次(如50000次)，得到训练好的欠采样双域无监督去伪影网络。

步骤(4)利用步骤(3)中训练好的欠采样双域无监督去伪影网络对步骤1)中的全采样MRI图像测试数据集进行测试，得到最终的去伪影测试结果，具体步骤包括：

将全采样MRI图像测试数据集中的数据依次输入步骤(3)中训练好的伪影图像生成器中的内容编码器E

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

通过实验论证，本发明所述方法在有效去除MRI运动伪影的同时能够保留更多的纹理细节。

在对比实验中，选取现有的Armanious等人提出的以Cycle GAN为基础的Cycle-MedGAN作为对比方法。为保证对比实验的公平性，两种方法均在相同的软硬件环境下进行实验。

对比实验的软硬件环境：Pytorch框架；Windows 10系统；Intel i7-8700K CPU；32GB内存；NVIDIA GTX 1080Ti显卡；

对比的基于卷积神经网络的算法为：

Armanious等人提出的Cycle-MedGAN方法，参考文献：Armanious,K.,Tanwar,A.,Abdulatif S.,Kustner,T.,Gatidis,S.,Yang,B.(2020)Unsupervised adversarialcorrection of rigid MR motion artifacts.In:IEEE 17th International Symposiumon Biomedical Imaging(ISBI).Iowa.pp.1494-1498.

评价指标：本发明从伪影去除程度和细节保留程度两方面评价图像。

图10展示了本发明与Cycle-MedGAN网络的去伪影结果，其中选取的图像为具有代表性的图像。相比于Cycle-MedGAN网络，本发明去伪影效果更好，可以展现更清晰的肝部图像。并且，在细节还原方面，如图10中第二行图片所示，可以看到原伪影图像中有严重重叠的运动伪影，Cycle-MedGAN方法校正后的图像中也仍有轻微的运动伪影，运动伪影覆盖了大部分的病灶，降低了图像分辨率，影响病情的诊断。但是经过本发明的欠采样双域无监督网络校正后的图像中，运动伪影基本被完全消除，病灶能够清晰地显示出来。综上所述，本发明是一种有效的基于深度无监督学习的欠采样去伪影方法。

本申请实施例还包括一种基于深度无监督学习的去伪影系统，其特征在于，包括去伪影网络模型构建模块、去伪影网络模型训练模块；

去伪影网络模型构建模块用于构建基于深度无监督学习的去伪影网络模型；

去伪影网络模型训练模块用于采集多份包括有伪影和无伪影的数据对所述模型进行训练，得到训练完成的去伪影网络模型；所述模型用于去除MRI全采样图像的伪影。

上述系统中，所述去伪影网络模型包括MNet网络和无伪影图像生成器；

MNet网络用于对全采样MRI图像进行下采样、上采样和卷积操作，得到第一参数化掩码M

无伪影图像生成器用于对欠采样MRI有伪影图像或欠采样MRI无伪影图像进行去伪影操作，得到全采样MRI无伪影图像。

本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。