一种基于渐进式生成网络的医学图像增广方法

技术领域

本发明涉及一种基于渐进式生成网络的医学图像增广方法。

背景技术

近年来，深度神经网络在医学图像病灶检测领域引起了研究人员的注意，这类模型可通过在大量带检测标签的数据上的训练，显著提高病灶检测能力。生成对抗网络(GAN)因其在图像生成领域表现出的显著性能，一经提出就已被研究人员应用于医学图像增广工作，在近年的多个增广工作上，GAN已被证明可取得比仿射变换更理想的数据增广效果。与检测相关的图像增广任务其增广方法可被主要分为三类，一是背景图和病灶区域图的blending；二是背景图的生成；三是局部区域的病灶生成。

存在的技术缺陷为：对病灶进行标记的成本通常较高，这极大限制了基于深度神经网络的检测模型的性能。虽然诸如旋转、翻转等仿射变换操作能增加带标签样本的数据量，但检测器的性能通常因新增样本多样性不足而无法得到有效提升。上述第一类方法(即背景图和病灶区域图的blending)所得合成图的病灶表征准确但连接处的纹理连续性不足，而第三类方法正相反(即局部区域的病灶生成)。

发明内容

为了克服现有技术的不足，本发明针对上述第一、三类方法的问题进行互补，提出了一种基于渐进式生成网络的医学图像增广方法，保证ROI合成图的临床表征和纹理连续性满足检测训练的要求。

本发明解决其技术问题所采用的技术方案是：

一种基于渐进式生成网络的医学图像增广方法，包括如下步骤：

1)训练样本的处理：

为使所提模型在训练过程中更好地利用size区间内的病灶的图像信息，以输出带有较小病灶的合成图，对无病灶整图X和带病灶整图Y进行数据处理；

2)网络层数的渐进式增加过程：

在渐进式生成训练之前，En和G在x

L

渐进式生成的训练过程的网络层层数是逐渐增加的，当En

3)所提的优化目标：

为保证生成的syn-y

4)总体优化目标：

对于每一个分辨率级别上的训练，新增入G中的网络模块都是经过预训练的，而新增入Dc和Dt的网络模块的参数都是随机初始化的，先对Dc和Dt进行训练，使其辨别性能略胜于合成器的生成性能，其优化目标见公式(9)：

L

接着合成器根据反向传播的损失函数进行优化，合成器的优化目标见公式(10)：

L

L

进一步，所述步骤3)中，重构损失用于提高syn-y

L

所述步骤3)中，条件辨别损失中，syn-y

syn-y

针对无ground-truth的syn-y

L

在合成器优化环节，Dc-

所述步骤3)中，将纹理辨别损失反馈于合成器的训练，提高带病灶ROI合成图与背景连接区域的纹理连续性；

首先，合成器输出的syn-y

L

与此同时，所提的特征图纹理连续性辨别器D

f

f

f

(6)

将前&背景环形图的特征图与对应的前景特征图/背景特征图进行相减，可保留只与边缘连续性特征相关的残差特征图，见公式(7)：

f

此时，D

L

本发明的技术构思为：经数据处理的ROI图像被渐进式合成器生成为带病灶的ROI合成图，且随着合成器级联层数的增加，合成图的分辨率逐渐升高。对于各级分辨率ROI图像的生成，其训练过程都被三个损失项所约束。当模型性能理想时，将最高分辨率的ROI合成图reshape成无病灶ROI图像的原始size，并嵌入到原无病灶全局图的对应位置，可得到目标增广图。此时，嵌入位置即为增广样本的检测标签位置。

本发明方法的内容主要包括：1)提出了对带病灶ROI图像/无病灶ROI图像进行融合的生成机制。该机制可使ROI合成图像同时具有带病灶ROI图像的病理信息和无病灶ROI图像的纹理信息；2)提出了“先降后升”的图像生成策略：先由高分辨率的带病灶/无病灶的ROI图像生成低分辨率的带病灶ROI合成图，以减小图像生成的任务难度；再采用渐进式生成方法，对ROI合成图的分辨率进行恢复；

3)在渐进式生成过程中，为保证ROI合成图像的纹理连续性，本研究提出了多通道的边缘纹理辨别方法；为保证合成图临床表征准确性，本研究将ROI图像的重构损失集成至合成器的训练。

本发明的有益效果主要表现在：1、该机制可使ROI合成图像同时具有带病灶ROI图像的病理信息和无病灶ROI图像的纹理信息。2、先由高分辨率的带病灶/无病灶的ROI图像生成低分辨率的带病灶ROI合成图，以减小图像生成的任务难度；再采用渐进式生成方法，对ROI合成图的分辨率进行恢复。3、在渐进式生成过程中，为保证ROI合成图像的纹理连续性，提出了多通道的边缘纹理辨别方法；为保证合成图临床表征准确性，将ROI图像的重构损失集成至合成器的训练。

附图说明

图1是训练样本预处理过程的图释(以带病灶的整图Y为例)。

图2是所提网络的模型图释。

图3是合成器和条件辨别器的对抗学习。其中，(a)为条件辨别器优化阶段的训练图释；(b)为合成器优化阶段的训练图释。

图4是纹理连续性辨别损失的计算。其中(a)为合成ROI与背景区域连接环的获得过程图释；(b)为医学图像层面的纹理连续性辨别损失计算图释；(c)为特征图像层面的纹理连续性辨别损失计算图释。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图4，一种基于渐进式生成网络的医学图像增广方法，使用纹理连续性辨别和图像重构约束的渐进式生成网络并构建了新颖的增广方法，包括如下步骤：

1)训练样本的处理：

为使所提模型在训练过程中可更好地利用该size区间内的病灶的图像信息，以输出带有较小病灶的合成图，本发明对无病灶整图X和带病灶整图Y的数据处理如图1所示。

2)网络层数的渐进式增加过程：

采用一种渐进式生成网络，如图2(b)。在渐进式生成训练之前，En和G在x

L

渐进式生成的训练过程如图2(b)所示，其网络层层数是逐渐增加的，当网络层数最少时，最低分辨率的带病灶ROI图像(syn-y

当En

3)所提的优化目标：

为保证生成的syn-y

a.重构损失

重构损失用于提高syn-y

L

b.条件辨别损失

虽然重构损失能有效提升G-

syn-y

针对无ground-truth的syn-y

L

在Dc-

c.纹理辨别损失

将纹理辨别损失反馈于合成器的训练，可提高带病灶ROI合成图与背景连接区域的纹理连续性，其计算过程如图4所示。

首先，合成器输出的syn-y

L

(5)

与此同时，所提的特征图纹理连续性辨别器D

f

f

f

(6)

将前&背景环形图的特征图与对应的前景特征图/背景特征图进行相减，可保留只与边缘连续性特征相关的残差特征图，见公式(7)：

f

此时，D

L

4)总体优化目标：

对于每一个分辨率级别上的训练，新增入G中的网络模块都是经过预训练的，而新增入Dc和Dt的网络模块的参数都是随机初始化的；先对Dc和Dt进行训练，使其辨别性能略胜于合成器的生成性能，其优化目标见公式(9)：

L

接着合成器根据反向传播的损失函数进行优化，合成器的优化目标见公式(10)：

L

L

本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列举，仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例所陈述的具体形式，本发明的保护范围也及于本领域的普通技术人员根据本发明构思所能想到的等同技术手段。