基于小波谱迁移的双向跨模态无监督图像分割域适应方法

技术领域

本发明属于图像处理及应用领域，特别是涉及一种基于小波谱迁移的双向跨模态无监督图像分割域适应方法。

背景技术

目前，基于深度学习的多模态医学图像分割已经取得了巨大成功，这对于临床评估、诊断以及治疗具有重要意义。我们往往有一个基本的假设：在模型训练的过程中，训练集(源域)和测试集(目标域)来自同一个域，其数据分布不存在偏差。然而，在实际应用中该假设是过强的，不同模态的下的心脏区域图像由于物理成像特性有着完全不同的视觉特点。因此，当把训练好的模型应用到实际的医疗场景中时，模型的性能往往会由于医学图像数据是采集自不同的扫描机器、配置以及模态，即存在跨域偏移,产生灾难性的下降。为了解决域偏移的问题，域适应技术近几年引起了学者的广泛关注，它试图在源域数据分布下训练一个在目标域也能表现良好的模型。当标签可用时，最直接的方式就是将在源域中预训练好的模型在目标域中进行微调，但是与自然图像不同，医学图像中没有类似ImageNet大规模的有标注数据集，首先很难得到一个可靠且有效的预训练模型，另外由于医学图像标注是极其昂贵的，不仅需要专家知识还需要费时费力的标注，因此对一个新的域进行额外标注是不切实际的。相反,无监督域适应由于不需要目标域标注数据,作为有力的解决方式在临床实践中应用广泛。

目前在医学图像分析中先进的无监督域适应方法主要包括特征级对齐,图像级对齐和特征及图像结合对齐,还有一些工作基于解耦表征以及集成学习。基于特征级对齐的方法通过对抗学习的方式迫使网络最小化两个域之间的特征分布来学习域不变特征，但是这类方法通常对于像素级的域偏移不敏感，因此不利于密集的医学图像分割任务。另外一类是基于图像级对齐的方法，这类方法主要是将源域的图像在像素级通过图像迁移变换成和目标域相似的图像,然后通过对抗的方式来减小域偏移，但是无法完全保证语义的一致性。结合以上两类方法，有少数将两类方法进行结合的工作，来进一步解决跨模态医学图像中的域适应。目前提出的方法都取得了不错的结果，但都存在一个问题：训练较为复杂。对抗网络由于训练本身就容易陷入崩溃,模型优化的过程过于复杂。因此，亟需寻求一个简单有效的方式来显式学习域之间的偏移，从而直接提高模型在目标域上的性能。

发明内容

本发明的目的是提供一种基于小波谱迁移的双向跨模态无监督图像分割域适应方法，以解决上述现有技术存在的问题。

为实现上述目的，本发明提供了一种基于小波谱迁移的双向跨模态无监督图像分割域适应方法，包括：

构建源域数据与目标域数据，基于所述源域数据与所述目标域数据获取迁移数据；

基于所述迁移数据构建域分割模型；

基于自训练策略对所述域分割模型进行优化，获取最优分割模型；

基于所述最优分割模型进行图像域分割。

可选地，所述源域数据包括源域图像，所述目标域数据包括目标域图像。

可选地，所述迁移数据为具有所述目标域数据纹理细节信息的数据；基于所述源域数据与所述目标域数据获取迁移数据的过程包括：

对所述源域数据进行谱迁移训练，获取所述迁移数据。

可选地，对所述源域数据进行谱迁移训练的过程包括：

对所述源域数据与所述目标域数据进行平稳小波变换，获取源域高频小波分量与目标域高频小波分量，使所述目标域高频小波分量替换所述源域高频小波分量。

可选地，基于所述迁移数据构建域分割模型的过程包括：

将所述迁移数据经过编码器并进行训练，获取所述域分割模型。

可选地，将所述迁移数据经过编码器并进行训练的过程中，对所述迁移数据采用基于熵的正则化约束。

可选地，所述基于熵的正则化约束包括：

其中ρ(x)＝(x

总体损失函数为

可选地，基于自训练策略对所述域分割模型进行优化的过程包括：

分别基于所述目标域数据的小波域的水平、垂直以及对角高频分量获取三个分割模型，基于三个所述分割模型获取三个预测结果，基于三个所述预测结果的平均值作为所述目标域数据的伪标签对所述域分割模型进行优化。

本发明的技术效果为：

1.本发明提出的双向跨模态无监督域适应框架摒弃了传统的对抗网络训练方式，显式地缩小了源域和目标域的数据差异，从而有效提升了在目标域的分割性能。

2.本发明提出了基于平稳小波变换的谱迁移方法，可以通过该方法得到具有目标域细节特征的源域数据，从而训练适合目标域的模型。对于医学跨模态图像来说，由于扫描设备的固有属性区别，不同的模态图像之间的纹理细节信息存在较大差异，因此在模型训练的过程中，这种纹理细节差异是模型需要学习的，但往往对于模型来说这种低维的信息是比较难学习到的，因此如果我们一开始就将这种信息从目标域迁移到源域，会使模型优化的过程变得更加简单，从而将学习的焦点放在其他的特征上。

3.本发明为了进一步提升模型的域适应能力，从而在目标域达到更高的性能，本发明采用了基于熵的损失函数来约束目标域的决策边界，从而优化模型来实现在目标域上更高的分割性能。

4.本发明引入了自训练技术，通过使用在有标签的源域数据中学习到的模型来生成无标签数据的无标签。我们利用平均教师训练策略来优化模型，具体来说，我们分别迁移目标域数据小波域的水平、垂直以及对角高频分量训练三个不同的模型，然后利用这三个模型预测结果的平均值作为目标域数据的伪标签来优化模型。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明实施例中的基于小波谱迁移的双向跨模态无监督图像分割域适应模型训练框架图，其中图1(a)为平稳小波变换分解示意图与高频谱分量迁移示意图，图1(b)为基于小波谱迁移的无监督域适应框架图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

实施例一

如图1所示，本实施例中提供一种基于小波谱迁移的双向跨模态无监督图像分割域适应方法。

对于无监督跨模态医学图像分割域适应，我们给定源域数据

为了减小域偏差，针对医学成像图像的特点，不同模态的图像在纹理细节信息的呈现上存在明显差异，因此为了减小这种差异，我们引入了平稳小波变换并提出了概念简单但有效的谱迁移域适应方法。平稳小波变换具有平移不变性，相比小波变换由于不存在下采样过程，对图像的频域信息有更好的表征能力。平稳小波变换的过程如图1(a)所示，其中

具体来说，随机给定源域的一张图像

在经过M-th层分解，我们得到(3M+1)个和输入源图像

具体来说，对于跨模态医学图像域适应，我们随机给定源域的一张图像

得到迁移之后的图像后，我们训练一个分割网络φ

通过WST迁移模块，我们可以对齐源域和目标域的细节信息，但是由于目标域中没有标签,为了更好的约束网络的决策边界从而更适合目标域，我们引入基于熵的正则化约束,来同时优化E

其中ρ(x)＝(x

进一步地，我们引入了自训练作为一种性能的提升方式。其通过使用在有标签的数据中学习到的模型来生成无标签数据的伪标签。我们利用平均教师训练策略来优化模型，具体来说，我们分别迁移目标域数据小波域的水平、垂直以及对角高频分量训练三个不同的模型，然后利用这三个模型预测结果的平均值作为目标域数据的伪标签来优化模型。

研究表明，低维的难以处理的变化，例如轮廓以及边缘细节,如果源域没有相应的变化，模型很难学习到相关的特征进行域适应.但如果一开始我们就将这种变化迁移到源域，域适应的过程会变得更加容易。为了实现这种迁移，我们引入平稳小波变换，小波域中的高频谱分量代表了不同的方向的细节纹理信息，低频谱分量则代表了高级语义形状近似信息，我们直接将目标域数据的高频谱分量迁移到源域中，通过简单的处理将源域和目标域的低维细节和纹理特征对齐本文方法的原理如图1所示，我们分别将源域和目标域的图像进行平稳小波变换，分别得到低频谱和高频谱(其中包括水平谱分量、垂直谱分量以及对角谱分量，分别代表了水平、垂直以及对角方向的细节和轮廓信息)。我们直接用目标域的高频谱来替换源域中的高频谱，而保持其低频谱不变，然后通过平稳小波逆变换来重建迁移后的图像。因此，迁移后的图像具有目标域的细节信息，而保持源域的高级语义信息不变。我们利用迁移后的有标签源域数据来训练一个能够在无标签的目标域数据表现良好的模型。由于目标域中没有标签,为了更好的约束模型的决策边界从而更适合目标域，我们引入基于熵的正则化约束。同时为了进一步提高模型的学习能力，我们还引入了自训练策略通过使用在有标签的数据中学习到的模型来生成无标注数据的伪标签,利用平均教师训练策略来进一步优化模型。实验验证，通过简单的高频谱迁移的适应方法优于相对复杂的对抗学习方法。

本发明方法基于平稳小波变换提出了一种概念简单且有效的谱迁移策略，同时结合基于熵的正则化约束以及自训练策略，提出了一个有效的跨模态无监督域适应技术。跨模态的无监督医学图像分割域适应随着基于对抗学习的域适应方法的发展已经取得了巨大进步，但是由于对抗学习的训练本身就容易陷入崩溃，同时模型优化的过程过于复杂。因此，我们希望提出一种容易训练且简单有效的域适应方法。在公开的全心脏分割数据集中的大量实验表明，我们的技术优于目前的众多的先进方法。本申请能够有效缓解实际跨模态医学图像分割应用中训练集和测试集差异带来的性能下降，并且易于实现，具有较高的应用价值。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。