基于图像转换和域泛化的无监督多模态医学图像配准方法

技术领域

本发明涉及一种基于无监督多模态医学图像配准方法。

背景技术

医学图像配准(medical image registration，MIR)是对多幅医学图像的空间坐标系进行对齐的操作。根据参与配准操作的若干幅图像的模态是否相同，可将MIR分为单模态MIR和多模态MIR。对于单模态MIR，由于moving images和fixed image具有相同的模态风格，因此，两图之间的差异仅由解剖点位置偏差所引起。该差异可被反馈于单模态MIR模型的训练。换言之，fixed image可被视作moved images的ground-truth。

存在的技术缺陷为：对于多模态MIR，由于存在模态差异，fixed image往往不能作为moved images的ground-truth。事实上，可将fixed image的跨模态aligned图作为movedimage的ground-truth。然而，aligned图像的获得是困难的，这导致多模态MIR的训练比单模态MIR的训练更具挑战。

发明内容

为了克服现有技术的不足，本发明针对图像转换不准确所带来的问题，提出了一种基于图像转换和域泛化的无监督多模态医学图像配准方法，首先，两个单模态配准网络在各自模态域的真实图像上进行预训练，直到配准网络可胜任单模态配准任务；接着，转换网络和配准网络进行联合训练，一方面，转换网络所得合成图与目标模态真实图之间的形变场被预训练好的配准网络所计算，此时，转换网络的训练被本文所提的形变场对抗损失和形变循环一致性损失所约束；另一方面，当合成图的定量评价指标优于所设定阈值时，配准网络后端网络层的参数可根据对应配准过程的损失项进行微调，使配准网络的有效应用范围逐步泛化至合成图所在的模态域。

本发明解决其技术问题所采用的技术方案是：

一种基于图像转换和域泛化的无监督多模态医学图像配准方法，所述方法的训练由MIR模块的预训练阶段和转换模块/MIR模块的联合训练阶段所构成，所述方法包括如下步骤：

1)联合训练阶段，过程如下：

首先，随机采样的真实图batch被转换模块转换为合成图batch。接着，转换模块和配准模块被联合优化，该优化需要这批真实图和合成图的共同参与；对于配准模块，在合成图batch被判定为“质量令人满意”的情况下，这批真实图/合成图才被用于计算配准过程中的损失项，且该损失被用于配准模块的泛化；在转换模块和配准模块都完成优化更新后，后续训练是否被执行的情况才被判断；当联合训练的进程达到人为设定的终点时，训练结束；

2)转换模块的优化目标，过程如下：

对于已预训练好的配准网络，合成图的准确性越高，多模态配准的效果越好；CycleGAN因其适用于在unpaired数据上进行双向图像转换训练而被采用为转换模型，该模型包含了两个转换器G

当转换模型训练理想时，syn_moving_image对应模态域与real_fixed_image的完全重合，即合成图足够逼真；此时，由于R

利用φx*和φx，φy和φy*之间的差异，设计了形变场辨别器网络

通过迭代交替的对抗训练，syn_moving_image与real_fixed_image的模态域偏差将逐渐减小，R

利用所得到的φx*和φy*，设计了循环配准操作，对转换器的训练集成额外的约束，用real image和两次形变之后的moved image之间的损失对转换模型的训练进行约束，见公式(4)：

形变场对抗损失项(见公式(2)，公式(3))，形变循环一致性损失(公式(4))与CycleGAN自带的训练损失项(公式(1))被集成至转换模块的训练，优化目标见公式(5)：

将对抗学习损失项(L

3)配准模块的优化目标，过程如下：

在联合训练阶段，R

对于输入所提框架的真实图batch，转换模块先进行训练，接着，配准模块根据真实图和转换所得的合成图进行有策略的微调泛化训练；对于配准网络R

类似的，对于配准网络R

在联合训练阶段，各网络模块的参数更新顺序被设置为

本发明的技术构思为：采用了两阶段训练的策略，首先，两个配准网络分别在对应模态域的真实图像上进行单模态配准训练，避免了“fixed image并不能作为MIR训练的ground-truth”的问题。当配准网络能胜任单模态配准任务时，预训练阶段完成，前端网络层的参数被固定。接着，配准网络和转换网络进行联合训练。一方面，本发明利用预训练的配准网络设计了形变场对抗损失和形变循环一致性损失，对转换网络的训练进行约束，以提高合成图的准确性。另一方面，由于转换网络的性能存在上限，因此，对配准网络的应用范围进行泛化，使其适应真实图与合成图之间的差异是有必要的。对此，当图像转换的性能较理想时，配准网络后端网络层的参数根据fixed image和syn_moving_image的配准结果进行有策略地微调。

本发明的有益效果主要表现在：1、受域泛化思想的启发，提出“先预训练，再联合训练”的两阶段训练策略。2、在联合训练阶段，本发明设计了转换网络的辅助性损失和配准网络的微调损失，以上述两种方式提升MIR效果。3、在配准网络微调阶段所设计的权重自适应策略，使得配准网络的泛化更有效。

附图说明

图1是所提方法在转换器/配准器联合训练阶段的流程图。其中

图2是转换器/配准器联合训练阶段的图释。其中，图(a)展示了形变场对抗学习过程；图(b)展示了配准循环一致性过程；图(c)展示了配准器被微调的过程，其中，

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1和图2，一种基于图像转换和域泛化的无监督多模态医学图像配准方法，所述方法的训练由MIR模块的预训练阶段和转换模块/MIR模块的联合训练阶段所构成，所述方法包括如下过程：

1)联合训练阶段，过程如下：

联合训练阶段的整体流程如图1所示，在训练进程未到达人为设定的终点时，联合训练被触发；首先，随机采样的真实图batch被转换模块转换为合成图batch，接着，转换模块和配准模块被联合优化，该优化需要这批真实图和合成图的共同参与(即，在图1中，“真实样本batch”和“合成样本batch”的输出箭头汇入

所用样本及网络的介绍：为方便对转换器/配准器联合训练的具体操作进行阐述，首先对该训练环节所涉及的样本及神经网络的进行说明(所有样本及神经网络在图2中都已被展示)；

本实施例的多模态MIR配准框架所应用的模态域被设定为域X和域Y，有对图2(a)的说明如下。第一，图中的“real_x

对于在图2(a)中未出现，但在图2(b)和图2(c)中出现的“T”，是moving image与φ的形变操作。即，通过“T”操作，moving image被形变为moved image。而图2(c)中的fixedimages/moving images与图2(a)中的一致且moved images不再参与形变，“+”为加权求和，β和γ为自适应权重。此时，微调泛化损失函数L

2)转换模块的优化目标：

对于已预训练好的配准网络，合成图的准确性越高，多模态配准的效果越好，CycleGAN因其适用于在unpaired数据上进行双向图像转换训练而被采用为转换模型，该模型包含了两个转换器G

当转换模型训练理想时，syn_moving_image对应模态域与real_fixed_image的完全重合，即合成图足够逼真，此时，由于R

利用φx*和φx，φy和φy*之间的差异，设计了形变场辨别器网络

通过迭代交替的对抗训练，syn_moving_image与real_fixed_image的模态域偏差将逐渐减小，R

利用所得到的φx*和φy*，设计了如图2(b)所示的循环配准操作，可对转换器的训练集成额外的约束。用real image和两次形变之后的moved image之间的损失对转换模型的训练进行约束，见公式(4)：

如图1的“转换模块被优化”步骤所示，形变场对抗损失项(见公式(2)，公式(3))，形变循环一致性损失(公式(4))与CycleGAN自带的训练损失项(公式(1))被集成至转换模块的训练，优化目标见公式(5)：

将对抗学习损失项(L

3)配准模块的优化目标，过程如下：

在联合训练阶段，R

对于输入所提框架的真实图batch，转换模块先进行训练，接着，配准模块根据真实图和转换所得的合成图进行有策略的微调泛化训练。配准模块的训练如图2(c)所示，对于配准网络R

类似的，对于配准网络R

在联合训练阶段，各网络模块的参数更新顺序被设置为

本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列举，仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例所陈述的具体形式，本发明的保护范围也及于本领域的普通技术人员根据本发明构思所能想到的等同技术手段。