基于双支路联合学习的低剂量CT图像超分辨率重建方法

技术领域

本发明涉及医学图像处理技术领域，尤其涉及一种基于双支路联合学习的低剂量CT图像超分辨率重建方法。

背景技术

计算机断层扫描(CT)是一种疾病检测技术，能够利用不同角度下采集的待测物体的X光投影数据重建出反映物体结构信息的二维或三维图像，目前被广泛应用于各种临床诊断。为了降低X光辐射带来的相关癌症风险，低剂量CT重建在CT成像方面已经引起了极大的研究兴趣。另外大量采集的数据需要更多的计算能力，同时伴随着更长的扫描范围和更慢的运行速度。对医学图像进行超分辨率恢复，可以降低对成像设备和环境的要求，并使医生对疾病做出准确地诊断。

当前，低剂量CT重建技术主要可分为三种类型：投影域预处理，迭代重建技术和图像域后处理方法。基于投影域前处理的方法主要将滤波器应用到投影数据处理上，实现噪声的去除。然而，这些处理方法经常无法避免在重建过程中引入新的噪声和伪影。迭代重建算法将正弦图域中数据的统计特性、图像域中的先验信息、甚至成像系统的参数组合成一个统一的目标函数。然而，算法需要进行多次迭代，导致重建时间较长，涉及只能根据经验调整的超参数，并且不能提供一致的图像质量改善，难以满足实际临床应用中的快速成像需求，极大限制了其应用空间。图像域后处理不依赖于原始数据，可以直接应用于低剂量CT图像。随着深度学习的快速发展，卷积神经网网络最近在CT图像重建方面取得了很好的效果，成为CT重建研究的新趋势。

目前的图像后处理方法主要侧重于去噪，忽略了图像分辨率的局限性。Sun等人在其发表的论文“Low-dose CT Image Super Resolution Using a Model-based Frameworkwith Cnn Prior”中对CNN先验进行预训练，并将其集成到HQS算法中，以实现低剂量CT的超分辨重建。You等人在其发表的论文“CT Super-resolution Gan Constrained By theIdentical,Residual,and Cycle Learning Ensemble(gan-circle)”中提出了一种半监督的深度学习方法以生成对抗网络为构建块，建立从噪声LR输入图像到去噪和去模糊HR输出的非线性端到端映射。对于这些级联模型或单超分辨率模型来实现低剂量CT图像的超分辨率重建算法来说，他们都没有关注到双任务之间的交互问题，因此重建的结果还有很大的提升空间。

发明内容

本发明的目的是在于克服现有技术的不足，提供一种基于双支路联合学习的低剂量CT图像超分辨率重建方法，采用双通道联合学习的框架来建立两个任务之间的桥梁并探索其之间的深层联系，利用过滤门模块来过滤来自去噪分支的特征，控制去噪和超分辨重建特征的交互作用，采用压缩和激励模块将去噪解码器的输出特征和超分辨解码器的输出特征在通道信息上进行过滤和融合，使用不同小波分量之间的信息交互和融合来有效地捕获图像的高频细节特征，实现CT图像的超分辨率重建。通过双支路的并行学习和交互，可以有效重建CT图像的细节特征，实现双任务之间的信息交流，方法简便，重建效果好，较好的解决了CT图像重建问题，具有广泛的应用场景。

实现本发明目的的具体技术方案是：

一种基于双支路联合学习的低剂量CT图像超分辨率重建方法，其特点是可以并行处理CT图像的去噪重建和超分辨率重建，通过共享编码器和过滤门模块实现了去噪和超分辨特征之间的信息交互和融合，有效地提高CT重建图像的质量。具体包含以下步骤：

步骤S1：构建数据集

选用现有的低剂量CT重建数据集，其中包含若干成对的低-全剂量的CT图像，使用双三次插值算法对数据集中的低-全剂量CT图像进行下采样处理，进而构成一组训练/测试样本即训练/测试数据集，表示为{X，Y

步骤S2：训练数据集预处理

对训练数据集进行数据增强，具体包括：随机翻转、随机旋转、随机裁剪、随机缩放和随机平移；

步骤S3：构建双支路网络模型

网络由超分辨重建支路、去噪重建支路以及过滤门模块构成；双分支路均采用编码器-解码器架构，编码器包含一系列卷积和下采样，用于深层和浅层特征的提取，解码器用于实现特征的融合和重建；

步骤S4：双支路信息的交互

使用过滤门模块来控制去噪和超分辨重建特征的信息交流，具体操作为：在超分辨支路中过滤来自去噪分支的特征，采用压缩和激励模块将去噪解码器的输出特征和超分辨解码器的输出特征在通道信息上进行过滤和融合；

步骤S5：模型的训练和测试

使用步骤S2构建的训练数据集来训练步骤S3构建的网络模型，即用Y

步骤S3所述的双支路均采用编码器-解码器架构，在编码器部分，双支路共享参数；解码器部分，超分辨支路通过额外的上采样模块来输出超分辨率图像；此外，去噪支路重建的特征信息通过过滤门模块传递到超分辨支路的解码器。

步骤S4所述的过滤门模块，由双支路信息融合模块和超分辨特征细化模块组成；所述的双支路信息融合模块将获取的当前层次的去噪特征X

总体而言，本发明与现有技术相比，能够取得以下优异效果：

1)本发明设计的双支路联合学习框架，可以有效建立两个任务之间的桥梁并探索其之间的深层联系。并行的执行去噪和超分辨率两项任务，通过去噪任务和超分辨任务的交互来学习多任务之间的潜在联系，可以获得更好的重建结果。

2)双支路通过在编码器部分共享参数可以有效地建立去噪和超分辨特征的潜在联系，使用过滤门模块则可以进一步约束双支路之间的学习。

3)过滤门模块通过压缩和激励模块，可以有效地过滤掉来自去噪支路的冗余信息，从而更好地控制去噪和超分辨重建特征的交互作用。对超分辨特征进行不同小波分量之间的信息交互与融合，有效地重建图像的纹理和高频细节，并突出超分辨的主导作用。

附图说明

图1为本发明构建的网络模型示意图；

图2过滤门模块示意图；

图3为超分辨特征细化模块示意图；

图4为CT重建效果对比示意图。

具体实施方式

参阅图1，本发明按下述步骤进行CT图像的重建：

步骤S1：构建数据集

选用公开的的低剂量CT重建数据集，这些数据集中包含若干成对的低-全剂量的CT图像，对低-全剂量CT图像使用双三次插值算法进行下采样处理后获得一组训练/测试样本，表示为{X，Y

步骤S2：训练数据集预处理

对步骤S1构建的训练数据集进行图像增强，具体包括：随机翻转、随机旋转、随机裁剪、随机缩放和随机平移；

步骤S3：构建双支路网络模型

网络整体设计为超分辨重建支路、去噪重建支路以及过滤门模块。双分支的网络架构均采用编码器-解码器。其中，编码器部分包含一系列卷积和下采样，用于深层和浅层特征的提取，解码器通过一系列卷积、上采样、与编码器中的高分辨率特征Concat来获得特征和空间信息；

步骤S4：双支路信息的交互

使用过滤门模块来控制去噪和超分辨重建特征的信息交流。主要包括由双支路信息融合和超分辨特征细化模块，使用双支路信息融合对去噪特征和超分辨特征进行融合和过滤。超分辨特征细化模块进一步重建图像的细节特征；

步骤S5：模型的训练和测试

使用步骤S2构建的训练数据集来对训练步骤S3构建的网络模型进行训练，进行模型参数的优化，并在训练过程中保存效果最好的模型参数。训练结束后，在测试数据集上使用保存的网络模型来获得CT图像的重建结果；

所述的去噪支路和超分辨支路均为编码器-解码器架构，并共享同一个编码器。将输入图像输入到解码器中进行特征的提取后，将特征图分别输入到去噪支路和超分辨支路的解码器中。

所述的过滤门模块包含双支路信息融合模块和超分辨特征细化模块。将当前层次的去噪特征X

所述的双支路网络模型中，超分辨支路为主导支路，去噪支路用于辅助超分辨特征的重建。为此，在训练阶段，将低分辨的低剂量CT图像输入到解码器中，使用Y

以下通过具体实施例对本发明作进一步的说明：

实施例1

步骤S1：构建数据集

本实施例选用由Mayoclinic授权的“2016NIH-AAPM-Mayo低剂量CT大赛”数据集来构建训练样本集、验证样本集以及测试样本集。数据集包含10名匿名患者的全剂量腹部CT图像和相应模拟四分之一剂量的CT图像。其中，通过在全剂量的投影数据中添加泊松噪声来模拟四分之一剂量数据。随机选用其中9个患者的数据集用来训练和验证，剩余1名患者的数据用于测试；

通过对该数据集中的低-全剂量CT图像使用双三次插值算法进行下采样处理后获得一组训练/测试样本，表示为{X，Y

步骤S2：训练数据集预处理

在训练阶段，对训练集中的原始图像和标签图像进行数据预处理，对相对应的{X，Y

步骤S3：构建双支路网络模型

参阅图1，网络结构整体设计由超分辨重建支路、去噪重建支路以及过滤门模块组成。双分支的网络架构均采用编码器-解码器。编码器分在不同层级使用卷积、空间注意力模块和下采样，用来提取深层和浅层特征。解码器通过一系列卷积操作、上采样、Concat来逐步恢复特征图的分辨率，实现特征的重建。在去噪支路，解码器中每一层的输入来自当前层次的编码器以及解码器中上一层次重建的特征。在超分辨支路，解码器中每一层的输入来自于经过过滤门筛选后的融合特征；

步骤S4：双支路信息的交互

使用过滤门模块来控制去噪和超分辨重建特征的信息交流。参阅图2，过滤门输入来自超分辨支路解码器中上一层次重建的特征以及当前层次的去噪支路重建的特征。所述的过滤门包含双支路信息融合模块和超分辨特征细化模块。在双支路信息融合模块，将输入的当前层次的去噪特征X

步骤S5：模型的训练和测试

使用步骤S2构建的训练数据集来对训练步骤S3构建的网络模型进行训练，并在训练过程中保存效果最好的模型参数。训练结束后，将测试数据输入到保存的网络模型，获得重建后的高分辨率CT图像。

本实施例在单张GeForce RTX 3090显卡进行训练，训练的周期为200次，初始学习率为0.001，训练过程中学习率采用阶梯型衰减策略。使用的优化器为Adam优化器，优参数设置为：β

本实施例的损失函数包括去噪支路损失和超分辨支路损失。其中，所述的去噪支路损失函数L

其中，X

其中，w

本实施例使用峰值信噪比(PSNR)和结构相似性(SSIM)这两种常用的评估指标对所构建的双支路模型性能进行量化分析。

所述峰值信噪比(PSNR)由下述(e)式进行计算：

/>

其中，其中MAX为图像可能的最大像素值。MSE是原图像与处理图像之间均方误差。

所述结构相似性(SSIM)由下述(f)式进行计算：

S(x,y)＝l(x,y)

其中

本实施例根据上述进行训练，并在训练过程中保存效果最好的模型参数。训练结束后，将待测试数据输入到保存的最佳网络模型中，获得重建后的高分辨率CT图像。

将本发明所构建的神经网络与其他算法Bicubic、RDN、RED-CNN+LspSRN进行定性和定量的对比。参阅图4，可以发现本发明重建CT图像的视觉效果最佳。下述表1为定量的CT重建对比结果，由表可得，本发明所构建的神经网络在SSIM和PSNR这两种评价指标上均优于其他对比模型。

表1 CT图像重建结果对比

以上的实施例对本发明所提出的一种基于双支路联合学习的低剂量CT图像超分辨率重建方法进行了详细介绍。上述所描述的具体实施例仅是对本发明做举例说明，本领域的技术人员可以对所描述的在实施策略和应用数据做各样的修改补充。综上所述，本说明书并不用以限制本发明，凡在本发明的精神和原则之内，所作的修改与改进均应包含在本发明的保护范围之内。