一种生成对象的增强断层图像的方法

技术领域

本发明属于数字射线照相领域，并且更特别地涉及一种增强图像质量和减少伪影的方法，更特别地涉及计算机断层成像（CT）、锥形束计算机断层成像（CBCT）或断层合成成像系统。

背景技术

在计算机断层成像（CT）中，X射线源和线性检测器围绕患者或对象旋转，以获取正弦图，正弦图是包含投影的2D数据阵列，如图1中所示。然后在重建步骤中使用该正弦图（例如，应用本领域已知的滤波反投影方法）来获得表示通过患者或通过对象的虚拟切片的图像。

锥形束计算机断层成像（CBCT）是另一种成像技术，其中锥形束的穿透辐射（x射线）被引导向对象或患者。

二维辐射检测器（诸如平板检测器）用于检测由对象或患者调制的x射线。

x射线源和检测器相对于要成像的患者或对象旋转。

锥形束通过患者或对象上的感兴趣区域被引导到位于x射线源相对侧上的检测器上的区域上。

在旋转期间，在完整的或者有时是部分的弧中获取视场的多个相继平面图像。

获取的图像被称为投影图像（在图2中图示）。这些获取的图像相似于常规的低剂量x射线图像。

通过应用重建算法（例如，Feldkamp-Davis-Kress重建），借助于在不同角度记录的投影图像重建3D图像。

使用平板检测器的另一个应用是断层合成。在该方法中，x射线源也围绕对象或患者旋转，但是旋转角度是有限的（例如，旋转30度）。

过去十年，许多研究集中在考虑先验知识的先进迭代重建方案上。迭代重建算法已经示出，对于一些高对比度成像任务，剂量减少高达70%。

一种经典的迭代重建方法解决以下方程：

其中x是要重建的体积，y是投影图像或正弦图，A是前向投影，W定义所使用的L

通常，在该方法中，第一项或数据项是观察到的投影数据的拟合模型，而第二项或正则化项经常合并先验知识，诸如噪声特性、稀疏性假设等。如果重建体积x与投影图像y一致，则第一项被最小化。第二项在重建的体积上实施一定条件：例如，总变差（TV）最小化作为R(x)将给出边缘保持非平滑性惩罚，从而实施逐段常数条件。

选择一定条件可对解决方案具有深远的影响，并且调谐参数

如今，在上述成像技术中使用的平板检测器能够获取具有为150

这常规地通过合并（binning）像素执行（例如，在2×2合并模式中，可以以加倍的像素大小为代价来实现4倍高的帧速率）。

同样在CBCT中，不得不在采集速度与分辨率之间进行权衡。

更高的采集速度导致更短的总扫描时间，这降低了被成像的对象或患者的运动风险，但是仅仅损害了获取的2D图像的分辨率。

为了补偿分辨率的损失，可以对获取的图像进行上采样。

执行该上采样的一种方式是应用线性方法，即，插值到图像。然而，诸如最近邻法、双线性法或双三次法之类的插值方法经常导致诸如阶梯形、模糊和振铃之类的伪影。

在一些情况下，可能的是使用非线性方法来恢复超出成像系统频带限制的真实分辨率内容。这称为超分辨率。然而，正向或直接问题（下采样）是适定的，而反向问题（上采样，克服基本分辨率限制）一般而言是不适定的。

为了克服该不稳定性，需要正则化方法来取得好的解。这些正则化方法使用先验信息或信号冗余来补偿信息的损失。

对于医学成像，我们可以利用关于解剖或成像设置的先验知识来改进超分辨率图像的图像质量。然而，与摄影成像不同，医学成像的目标是促进诊断，而不是产生视觉上令人愉快的图像。因此，图像处理伪影在医学图像中比在摄影应用中更不可容忍得多，这限制了它们今天的突破。

对于超分辨率，我们需要估计超出奈奎斯特频率的缺失高频内容（边缘）。

存在不同的算法来获得超分辨率。

在边缘引导的算法（例如，NEDI，DDCI）中，目标是通过使用统计信息来保持边缘。

另一种方式是通过使用来自多个帧的信息来恢复图像。结果，冗余信息被捕获，并且通过亚像素图像对准和融合，可以实现更高的空间或时间分辨率恢复。可以应用诸如ML、MAP和POCS之类的工具。这样的技术用于视频处理，并且可以容易地适用于利用x射线对患者的动态成像。

另一类算法是基于示例的方法。他们利用同种类图像的图像内部相似性，或者基于现有的示例对学习从低到高分辨率的映射函数。

使用深度网络、诸如卷积神经网络（CNN）用于超分辨率（SR）的出现是由Dong、Chao等人“Learning a deep convolutional network for image super-resolution”（-European Conference on Computer Vision。Springer, Cham, 2014）的工作开始的，其最终成为具有深度学习的其他SR的基准。

就视觉质量或信噪比测量而言，深度学习网络的使用已经示出与通过插值进行上采样或其他基于非深度学习的方法相比的优越性能。CNN是一种通过一系列过滤层将输出映射到输入的方法。层可以是卷积层、池化层或全连层，其与诸如RELU（整流线性单元）的非线性激活函数组合。更深的网络、以及因此深度学习是通过增加更多的层来实现的。

CNN还示出了在视频序列中执行超分辨率的潜力。在视频中，大多数场景信息由相邻的视频帧共享。帧之间的相似性提供了可以用于获得超分辨率的数据冗余。

相比之下，在计算机断层成像中，相邻的投影不共享场景。然而，数据冗余可以通过根据从一系列已知方向观察的形状取得信息来获得。与3D重建组合，该方法可以将解决方案导向更高的分辨率。

本发明的目的是提供一种用于通过应用重建和训练的神经网络的组合来生成对象或患者、患者或动物的一部分的高质量断层图像的方法。

发明内容

本发明提供了根据权利要求1的方法。

在从属权利要求中阐述了本发明优选实施例的具体特征。

根据本发明，从低质量投影图像数据开始、并结合神经网络使用迭代重建来增强该质量方面，获得对象或患者的断层图像。用第一集合高质量断层图像数据和第二集合低质量断层图像数据训练神经网络。

在本发明的上下文中，图像质量包括噪声含量、分辨率、伪影的存在等。图像质量可受到图像辐射时使用低剂量、使用单色/多色辐射、散射、图像中存在不想要的（干扰）对象等影响。

将进一步详细描述示例。

高质量是指用户期望在处理后获得的图像中某一方面的质量。

低质量是指用户在获取图像时可以获得的某一方面的质量。

例如，当该方面是分辨率时，高质量图像将具有比所使用的图像采集系统可以获得的分辨率更高的分辨率。

良好训练的CNN可以学习先验信息或检索图像上的冗余信息，从而允许我们获得奈奎斯特频率以外的高频信息。

从以下描述和附图中，本发明的另外优点和实施例将变得明显。

附图说明

图1图示了CBCT图像采集，

图2示出了训练中使用的网络的概要，

图3示出了由3个CNN组成的具体实施例，

图4示意性地示出了针对断层图像训练的具体实施例。

图5示意性地示出了所提出的迭代重建方法的具体实施例。

具体实施方式

图1图示了用于生成2D图像集合的锥形束图像采集系统，该2D图像集合用在重建算法中以生成对象的3D图像表示。

x射线源将锥形辐射引导向对象（例如，患者）。一系列二维图像是通过以不同角度发射锥形辐射而生成的。例如，在360度的范围内生成400个图像。

透射通过对象的辐射借助于与锥形束一起移动的二维直接射线照相检测器来检测（本发明是关于锥形束断层成像来解释的，但是同样适用于CT和断层合成）。

在计算机上运行的迭代重建算法、诸如联合迭代重建技术（SIRT）被用于生成对象的3D图像表示。这样的重建算法在本领域是公知的。迭代重建步骤与正则化步骤交替进行。正则化步骤是训练的神经网络，以改进断层图像的图像质量。

然后，重建的图像可以存储在存储器中，或者可以连接到显示设备用于显示和检查，或者可以发送到打印机以生成硬拷贝图像，或者发送到数字信号处理器以经受进一步处理等。

方法论

神经网络的有监督学习

图2图示了根据本发明的神经网络（CNN）的训练。

典型的CNN具有训练和推理阶段。

在训练期间，网络从由高质量和对应的低质量图像或图像补片组成的一组示例中学习增强低质量图像。CNN通过调整卷积核的权重来学习，其目的是优化性能指标。

在推理（和测试）期间，使用训练的网络变换低质量图像。存在若干种技术来获得更快和更好的学习：残差学习，各种性能指标（MSE，SSIM，感知）的使用，批量归一化，数据增强，……。

通过使用多线程可以改进计算时间。在这种情况下，通过使用Python和Theano传统库进行深度学习并在GTX Titan X卡上运行训练。

图3示出了网络组件中的每一个的详细配置。

使用了以下缩写：Conv：卷积层，PReLU：参数化整流器线性单元，Maxpool：最大池化，BN：批量归一化，concat：串联，s：跨距，……。

使用各种网络配置执行实验：

-自动编码器（编码器-解码器）是用于无监督学习的神经网络。它学习数据集的（稀疏）表示（编码），并具有降噪方面的应用。相似的架构是U-Net。

-生成对抗网络：

在如图4中图示的本发明的具体实施例中，使用三个各自具有指定角色的CNN，即：生成器（Gen）、鉴别器（Disc）和感知）。

Gen网络发挥生成模拟低质量图像输入的高质量图像版本的输出（出）的角色，而Disc和感知网络承担评估生成图像的质量并将其提供作为Gen网络的反馈，以便改进生成图像的质量的角色。

Gen和Disc网络的使用基于生成对抗网络（GAN）[Goodfellow, Ian, JeanPouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, AaronCourville和Yoshua Bengio的“Generative adversarial nets”In Advances in neuralinformation processing systems, pp. 2672-2680, 2014]，其利用了两个网络进行竞争以超越彼此的概念，即，Gen生成令人信服的高分辨率（HR）现实图像，并且Disc在实际HR图像与Gen生成的图像之间进行区分。

感知网络基于[Johnson, Justin, Alexandre Alahi和Li Fei-Fei的“Perceptual losses for real-time style transfer and super-resolution”arXiv预印本arXiv：1603.08155（2016）]的工作，其旨在提供一种评估生成图像质量的评估指标，该指标比仅仅考虑像素亮度方面的差异（例如，MSE）更符合人类的视觉感知。当前的网络布局设计基于[https://github.com/alexjc/neural-enhance上的Alexjc]对于照片图像的超分辨率的工作。

-训练：

再训练：网络权重被初始化为来自训练网络的权重（例如，对摄影图像的超分辨率）。

无再训练：网络权重被随机初始化

-输入–输出

一个低质量图像输入–一个高质量图像输出

多个低质量图像输入，其包含感兴趣的当前图像和序列中对应的先前的和接下来的图像，例如，来自相邻采集角度或相邻图像切片的投影图像，以及一个高质量输出。该方法利用了不同图像中的冗余信息。

-具有从输入到输出的旁路连接的剩余法要求网络仅重建在低质量和高质量图像之间的差异，而不必学习重建LQ图像本身。

缩放：

单缩放输入和输出

具有对于低通输入至输出的旁路连接的双缩放输入。低质量和高质量的图像的低通分量（例如，通过高斯滤波）应该是相同的，因此该方法要求网络学习仅生成HR的高频分量。

-不同的性能指标：感知、MSE、MAD。

可以使用前述配置的任何组合来设置网络（例如，接收三个低质量图像输入并使用剩余和双缩放连接的网络）。

由于网络的训练使用图像补片（即，整个图像的小的子区域，其仅包含成像对象或身体部分的小部分），期望的是学习的网络可以一般地应用于各种身体部分的X射线图像。该假设背后的原因是，即使当所获取的对象不同，来自一个X射线图像的图像补片的内容也将具有与其他X射线图像相似或相同的性质。它与转移学习的思想相一致，转移学习经常应用于照片图像，其使用诸如AlexNet或GoogleNet的良好训练的大型网络仅通过重新训练最后一层来进行不同的任务。因为在这种情况下，任务是相同的（例如，超分辨率）并且仅有图像中的对象不同，相同的网络在具有很少的重新训练的情况下应该是可直接适用的。为了进一步改进训练网络的通用性，训练数据可以随着不同退化的图像对而多样化。这样，期望训练的网络能够增加不同退化等级的图像质量。

迭代重建校正（图4和图5）

总的想法是以迭代的方式校正由于使用退化的投影图像而产生的偏差。

该方法基于在计算机上运行的迭代重建算法，诸如用于生成对象的3D图像表示的联合迭代重建技术（SIRT）。

迭代重建算法从所谓的初始猜测开始，在一个实施例中，初始猜测是黑色图像（所有像素值为零）。可以设想替代方案。

在给定的迭代重建步骤之后，使用训练的神经网络来增强断层图像的图像质量。

接下来，在下一次迭代中使用增强的断层图像。

图5中图示的迭代重建从当前迭代步骤n的初始猜测开始。该迭代步骤的结果将如下面解释的进行调整。

生成初始猜测

该投影将作如下调整。

首先，将投影图像LR与先前迭代步骤投影（

该比较的结果然后通过将其馈送到训练的神经网络GEN来增强。

接下来，比较的增强结果（通过应用训练的神经网络增强）被反向投影，并用于适应更高提及的初始猜测。

这些步骤在迭代重建过程的程序中重复进行。

神经网络的训练在图4中被图示。

神经网络用所谓的低质量比较的结果作为输入、并且用所谓的高质量比较的结果作为输出来训练。

如下生成这些低质量和高质量的比较。

通过将n个重建步骤应用于高质量（在这种情况下是高分辨率）投影图像，生成第n个迭代步骤处的初始猜测

从该初始猜测

可以通过使现有HQ图像退化（例如，降低分辨率）来模拟低质量（LQ）图像。

另一种方法是通过使用修改的采集协议（例如，移除防散射网格）来获取LQ投影图像。

第三种方法将是模拟HQ和LQ采集。在这种情况下，将这样的模型方法用于适定的前向问题、前向投影中的优点是将更真实的物理量（例如，散射）添加到模型是很简单的。神经网络将被训练来在投影图像中进行（不适定的）逆问题（例如，减少散射）并减少最终重建的断层图像中的伪影。

在实际实现中，执行1次迭代来重建（例如，SIRT）LQ投影图像。接下来，应用训练的网络来减少退化的影响。随后，恢复的结果被用作下一迭代步骤（利用LQ投影图像）中的初始猜测。

下面描述一些训练数据和实现的增强的示例。

1、LQ投影图像可以通过使用可用的HQ投影图像来获取，并通过使用合并、低通滤波或其他将它们下采样（DS）到LQ投影图像。

另一种方式是通过使用不同的检测器像素大小从相同对象获取HQ和LQ图像二者。这可以在真实对象上或用计算机模型来完成。

对于不同数目的迭代步骤（n），通过对HQ投影数据进行迭代重建来获得HQ断层图像。对于下一迭代步骤，使用LQ投影数据来获得LQ断层图像数据，并且使用HQ投影数据来获得HQ断层图像数据。

在对HQ和LQ断层图像数据进行训练神经网络之后，与直接重建LQ投影数据相比，对LQ投影数据的迭代重建步骤和训练神经网络的相继组合将导致断层图像的增加分辨率。

2、从HQ投影数据获得的HQ断层图像可以用作训练数据集，其具有比LQ数据集更多的查看方向。这可以通过移除HQ数据中的一些查看方向，或者通过获取相同对象的两个数据集来完成。结果，LQ断层图像将具有有限的视图伪影。相似地，在有限角度采集中，可以补偿有限角度伪影。

3、通过使用正常剂量数据作为HQ和低剂量数据作为LQ来训练网络。

获取低剂量数据的一种方式是通过向高质量投影图像添加噪声。

另一种方式是通过相应地使用不同的剂量设置，从相同对象获取HQ和LQ投影图像二者。这可以在真实对象上或用计算机模型来完成。

训练的网络用于将断层低剂量图像转换成“虚拟的”正常剂量断层图像。

4、HQ和LQ投影图像是从相同对象获取的。HQ已经减少/没有散射。这可以通过使用防散射网格来实现。

另一种方式是使用计算机模型方法并通过模拟散射（例如，蒙特卡洛模拟、散射核）来生成LQ图像并通过不包括散射（例如，射线追踪）来生成HQ图像。

在对从HQ和LQ投影数据获得的HQ和LQ断层数据进行训练神经网络之后，迭代重建和训练的神经网络的组合将导致断层图像中散射伪影的减少。

5、HQ和LQ投影图像是从相同对象获取的。HQ是用单色X射线获取的，并且LQ是用不同的X射线光谱、诸如多色X射线获取的。这可以通过使用计算机模型来实现，其中包括和排除通过材料的多色透射。在对从HQ和LQ投影数据获得的HQ和LQ断层数据进行训练神经网络之后，迭代重建和（一个或多个）训练的神经网络的组合将导致断层图像中的束硬化伪影的减少。

6、HQ投影图像是从某个（计算机建模的）对象获取的，LQ投影图像是从相同对象获取的，但是具有一些伪影诱发材料（例如，金属）。在对从HQ和LQ投影数据获得的HQ和LQ断层数据进行训练神经网络之后，迭代重建和训练的神经网络的组合将导致减少由伪影诱发材料引入的伪影。

7、人们可以依次推断以上提及的训练的网络。人们也可以在以上提及的退化的组合上训练网络。

8、相似的方法可以适用于正弦图。相反，正弦图中的x轴表示不同的查看方向。为了获得更多的信息，可以考虑相邻的正弦图。

在另一个实施例中，可以通过对投影图像集合使用不同的迭代重建算法（高级和标准）来获取HQ和LQ断层图像。

作为标准迭代重建，人们可以采用基本代数重建（例如，SART）。

作为高级方法，人们可以使用更高级的方法，诸如基于模型的带正则化项的迭代方法。本领域中已知的一些示例是：总变差最小化、散射校正、束硬化校正、运动补偿、未对准校正、截断等。

另一种先进的重建方法是基于似然的迭代期望最大化算法。这样，重建步骤被快速实行，并且训练的神经网络将模拟高级正则化项。

此外，一些补偿需要繁琐的数据相关调谐。该调谐也可以由网络来训练。

另一种方法是，与高级重建相比，对于标准重建采用较少的迭代或较大的体素大小，并让神经网络对此进行补偿。