一种放疗CBCT稀疏采样影像增强的方法、系统及装置

技术领域

本发明涉及医学成像技术领域，更具体的说是涉及一种放疗CBCT稀疏采样影像增强的方法、系统及装置。

背景技术

放射治疗是治疗恶性肿瘤的重要手段之一，放疗精准度的提高一直是放射治疗领域的研究热点，准确的患者定位和计划是确保放射治疗效果的关键因素。近年来，锥形束CT（CBCT）成像技术在放射治疗中得到了广泛应用，CBCT可以提供高质量的三维解剖结构图像，帮助医生更准确地完成摆位验证、肿瘤和器官定位，从而实现放射治疗的个体化和精准化。CBCT成像技术的发展和应用为放射治疗的进一步提高提供了新的思路和技术手段。

然而，传统的放疗CBCT成像通常基于全剂量和全采样模式，即使用较高的球管电流和全角度的二维投影数据进行三维图像重建。但是，这种模式存在很多不足，首先，这种扫描模式使用大量的放射线来确保获得高质量的图像，这对患者的健康会产生不利影响；其次，全采样模式需要较长的成像时间，这对于患者来说可能会造成不便，并增加操作的复杂性；此外，全采样模式可能在成像过程中引入运动伪影和噪声，降低了成像的质量和准确性。因此，如何在保证成像质量的前提下，显著降低成像的辐射剂量，减少成像时间，提高放疗的精度和安全性，成为放疗CBCT成像领域需要解决的技术问题。

为了克服以上问题，近年来出现了一些基于稀疏采样的放疗CBCT成像方法。这些方法通过选择性地采样患者的二维投影数据，减少了成像所需的数据量，从而降低了成像时间。此外，稀疏采样还可以减少患者暴露在辐射剂量下的时间，提高患者的安全性。然而，由于数据的稀疏性，稀疏采样的放疗CBCT成像往往会导致成像质量的严重下降，影响了放疗的精度。

因此，如何改善稀疏采样状态下CBCT重建图像的清晰度成为了一个关键问题。很多研究小组对此展开了研究，压缩感知技术是在CBCT稀疏采样中经常用到的一种技术，但是效果有限。近些年，很多更先进的方法和技术被引入到医学成像领域，其中就包括基于深度学习的影像增强技术，人工智能深度学习是一类模式分析方法的统称，深度学习技术因近几年的快速发展而越来越多地运用在各领域中，卷积神经网络（CNN）模型是深度学习技术中最重要的方法之一。CNN由多层的神经元组成，从而具有很强的特征学习能力，其基本原理是使用神经网络自动学习有益的图像特征，而后通过逐层的特征变换，将样本在原空间的特征表示变换到另一个新的特征空间，经过不断地特征提取和变换再进行影像增强任务。跟传统的机器学习方法相比，深度学习的模型参数更多，表达能力更强。现有的基于CNN的影像增强技术有了很大的进展，如专利号CN113706409A，公开的基于人工智能的CBCT图像增强方法、装置和存储介质，但受限于现有算法技术能力限制以及用于训练的高质量大样本配对影像数据难以获取，现有技术仍无法达到临床诊断的精度要求。

因此，如何如何提供一种放疗CBCT稀疏采样影像增强的方法、系统及装置是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种放疗CBCT稀疏采样影像增强的方法、系统及装置，用于解决上述现有技术中存在的技术问题。

为了实现上述目的，本发明提供如下技术方案：

一方面，本发明提供了一种放疗CBCT稀疏采样影像增强的方法，包括以下步骤：

步骤1：构建RDN-GAN深度学习网络模型；

步骤2：收集患者螺旋CT影像数据，利用正投影生成多角度二维投影数据，将二维投影数据拆分为稀疏采样（30-180张投影）和全采样（300-900张投影）数据。投影参数与现有放疗摆位CBCT成像参数保持一致，SDD（射线源到探测器距离）为1500 mm，SOD（射线源到物体中心距离）为1000 mm。

步骤3：利用CBCT三维重建算法将拆分的二维投影数据分别重建为三维断层影像数据，形成配对的稀疏采样CBCT重建数据和全采样CBCT重建数据，该配对数据作为深度学习算法模型的预训练数据集。

步骤4：利用配对数据集完成残差密集生成对抗（RDN-GAN）深度学习网络模型的预训练，得到预训练模型。

步骤5：收集患者放疗摆位CBCT二维投影数据，投影数据拆分为稀疏采样数据（30-180张投影）和全采样投影数据（300-900张投影），利用CBCT三维重建算法将稀疏采样二维投影数据和全采样二维投影数据分别重建为三维断层影像数据，形成配对的稀疏采样CBCT重建数据和全采样CBCT重建数据，作为本发明深度学习算法模型的追加训练数据集，完成模型的优化训练，得到优化后的RDN-GAN深度学习网络模型即基于深度学习的稀疏采样影像增强算法模型。

可选地，如果原始二维投影数据难以获取，也可以利用放疗CBCT全采样重建数据进行正投影获取二维投影数据。

步骤6：将稀疏采样的CBCT三维重建影像图片作为输入，通过已完成预训练和优化训练好的RDN-GAN深度学习网络模型对输入图像进行影像增强处理，输出得到高质量的放疗CBCT图像，以提高图像质量和细节，将其用于放疗后续流程，从而提高放疗摆位和肿瘤定位的准确性。

步骤7：将影像增强后的CBCT图像与全采样的高质量CBCT图像（Ground truth）进行对比，评估图像质量和增强效果。

其中，步骤3和5中采用的是FDK（Feldkamp-Davis-Kress）重建算法或迭代重建算法进行CBCT三维重建，一般情况下，迭代重建算法具有比传统的FDK重建算法更好的重建清晰度，尤其是在稀疏采样的情况下，在某些情况下，如不能获取CBCT原始二维投影数据的情况时，影像增强时输入的放疗CBCT稀疏采样重建图像为FDK重建所得时，也可以选用FDK重建算法。

步骤4中的，深度学习网络模型采用残差密集块RDB（Residual Dense Block）来提高网络的性能和精度。同时，本发明采用对抗网络（GAN）来实现图像增强，从而提高图像质量和细节。

进一步的，RDN-GAN深度学习网络模型包括残差密集网络和对抗网络，所述残差密集网络包括卷积层、残差密集块、级联网络、上采样以及反卷积层，所述对抗网络包括卷积层、激活函数、归一化层和密度网络。其中，残差密集网络作为生成器，残差密集块由卷积层、激活函数和级联层构成，用于提高网络的性能和精度，上采样层用于将低分辨率的CBCT图像进行上采样，对抗网络作为鉴别器，用于判断增强后的图像是否为真实的CBCT图像。通过将输入的CBCT图像经过多个残差密集块的处理，可以逐渐提高图像的质量和细节。同时，鉴别器则用于判断生成器生成的高质量CBCT图像是否逼近真实CBCT图像。通过反复训练生成器和鉴别器，不断优化模型，最终实现CBCT稀疏采样成像的高质量影像增强。

进一步的，所述残差密集生成对抗（RDN-GAN）网络，包括：

残差密集网络和对抗网络，所述残差密集网络作为网络架构的生成网络，包括卷积层、残差密集块、级联网络、上采样以及反卷积层，所述残差密集块由卷积层、激活函数和级联层构成。所述对抗网络包括卷积层、激活函数、归一化层和密度网络；

其中，每个密度网络的输入和输出关系为：

其中，

在RELU激活函数之前构建特征并引入感知损失函数

其中，

其中，

采用MSE和PSNR计算

；

；

其中，

以此也可以定义出残差密集生成对抗网络（RDN-GAN）的损失函数为：

其中，

其中，训练集指的是配对的CBCT稀疏采样-全采样优化训练数据集或配对的CBCT稀疏采样-全采样预训练数据集的任一种。

因此RDN-GAN深度学习网络模型旨在训练得到

进一步的，所述将所述配对数据集输入预构建的RDN-GAN网络进行训练，得到放疗CBCT稀疏采样影像增强网络模型，包括：

对所述稀疏采样-全采样配对数据集进行数据扩充，然后将归一化后的图像集划分为训练集、验证集及测试集；

将所述训练集输入残差密集网络和对抗网络，根据残差密集网络的损失函数与对抗网络的损失函数，得到训练模型。

利用所述验证集、测试集对所述验证模型进行验证和测试，若验证和测试结果不满足预测概率阈值，则重新对生成网络和对抗网络进行训练，若验证和测试结果满足预测概率阈值则完成RDN-GAN网络模型的训练。

一种放疗CBCT稀疏采样影像增强的系统，包括：

投影获取模块201，用于获取患者的多角度二维投影数据；

三维重建模块202，用于将所述患者的二维投影数据重建为CBCT三维断层影像数据；

影像增强模块203，用于将放疗CBCT稀疏采样重建的低质量图像输入预先训练和构建的RDN-GAN网络模型，得到影像增强后的放疗CBCT图像；

图像显示和输出模块204，用于将影像增强后的放疗CBCT图像显示并以Dicom格式输出，用于放疗后续流程。

一种放疗CBCT稀疏采样影像增强的装置，包括：放疗CBCT成像组件、三维重建组件、影像增强组件、图像显示和输出组件；

其中，放疗CBCT成像组件包括X射线源、平板探测器、支架、运动平台，用于进行CBCT成像；三维重建组件用于将放疗CBCT成像系统所得到的二维投影数据重建为三维CBCT图像；影像增强组件存储有预训练和构建的基于深度学习的放疗CBCT稀疏采样影像增强系统程序，将三维重建组件传输过来的低质量CBCT影像增强为高质量放疗CBCT影像；图像显示和输出组件用于将影像增强后的图像显示并以Dicom格式输出。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种放疗CBCT稀疏采样影像增强的方法、系统及装置，能够在保证成像质量的前提下，显著降低成像的辐射剂量，加快成像速度，提高放疗的精度和安全性，在肿瘤放射治疗领域具有广阔的临床应用前景。具体有益效果如下：

（1）本发明先采用较大数量（500-1000例或更多）螺旋CT数据通过正投影生成CBCT稀疏采样和全采样配对数据，进行稀疏采样CBCT成像影像增强算法模型预训练，再使用小样本（200-500例）放疗CBCT二维投影数据配对数据进行模型优化训练，采用大样本预训练加小样本追加训练的算法模型训练方式，解决了大量高质量放疗CBCT样本获取难度大的难题，增加算法模型的鲁棒性，解决了放疗CBCT数据获取难和图像质量较差的问题；

（2）采用了迭代重建算法进行CBCT二维投影数据的三维重建，迭代重建算法具有比传统的FDK重建算法更好的重建清晰度，尤其是在稀疏采样的情况下，具有较高的稀疏采样容忍度，可以实现在更低的采样数量下实现高清成像；

（3）本发明采用了最新的改进型基于残差密集生成对抗（RDN-GAN）网络架构的深度学习算法模型，该算法在传统计算机视觉领域表现出了超过现有所有深度学习算法的效果，本发明将该算法进行改进和完善后应用于放疗CBCT稀疏采样影像增强领域，可以在稀疏采样的情况下更有效地提高图像质量，增强图像细节；相比于之前的CNN深度学习影像增强算法，RDN-GAN能够更好地保持成像的空间分辨率，能够在极端稀疏采样CBCT成像的情况下，获得高质量的CBCT图像；

（4）本发明的放疗CBCT稀疏采样影像增强方法由于大幅降低采样数量，机架可以以更快的旋转速速度扫描，可以加快成像速度、减少成像时间，降低患者的辐射剂量，同时保持高成像清晰度，提高了患者放疗时的安全性，较少患者运动相关的伪影，提高放疗的精准度和治疗效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明的方法流程示意图；

图2为发明构建RDN-GAN深度学习网络模型流程示意图；

图3为实施例1提供的放疗CBCT稀疏采样扫描成像示意图；

图4为实施例1提供的放疗CBCT稀疏采样成像重建的结果示意图；

图5为实施例1提供的基于深度学习的放疗CBCT稀疏采样影像增强方法的逻辑框图；

图6为本发明的RDN-GAN深度学习网络模型的结构示意图；

图7为实施例提供的头部成像影像增强的结果；

图8为本发明的实施例提供的胸部成像影像增强的结果；

图9为实施例2提供的一种应用基于深度学习的放疗CBCT稀疏采样影像增强方法的系统示意图；

图10为实施例3提供的应用基于深度学习的放疗CBCT稀疏采样影像增强方法装置涉及的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的在于克服现有技术的不足，提出了一种放疗CBCT稀疏采样影像增强的方法、系统及装置，先采用螺旋CT正投影、重建得到配对的CBCT稀疏采样数据和全采样数据集，进行算法模型预训练。再利用收集的放疗CBCT原始投影数据生成配对的稀疏采样和全采样数据集进行算法模型的优化训练，得到优化后的稀疏采样影像增强算法模型。通过优化好的RDN-GAN深度学习网络模型进行稀疏采样放疗CBCT影像增强。本发明能够大幅改善稀放疗CBCT疏采样状态下重建图像的清晰度，在保证成像质量同时，大幅降低放疗CBCT成像的辐射剂量，减少CBCT的成像时间，提高了患者放疗时的安全性和精准性。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参见图1，本发明实施例公开了一种放疗CBCT稀疏采样影像增强的方法，包括以下步骤：

构建基于深度学习的放疗CBCT稀疏采样影像增强算法模型，命名为：（残差密集生成对抗）RDN-GAN深度学习网络模型；

收集螺旋CT影像数据，并对所述螺旋CT数据进行处理，得到配对的放疗CBCT稀疏采样-全采样成像预训练数据集；基于所述稀疏采样-全采样配对数据集完成RDN-GAN深度学习网络模型的预训练；

收集同一成像部位放疗CBCT二维投影数据，并对所述放疗CBCT二维投影数据进行处理，得到CBCT配对的稀疏采样-全采样成像优化训练数据集；基于所述配对的CBCT稀疏采样-全采样成像数据集完成RDN-GAN深度学习网络模型的优化训练；

将稀疏采样重建的低质量放疗CBCT影像数据输入到优化训练好的RDN-GAN深度学习网络模型，输出得到具有高成像质量的放疗CBCT图像。

参见图2所示，为本发明提供的构建RDN-GAN深度学习网络模型流程示意图，其中示出了构建RDN-GAN深度学习网络模型原理，包括预训练和优化训练两个阶段，具体如下：

在一个具体实施例中，RDN-GAN深度学习网络模型的预训练阶段，包括：收集患者螺旋CT影像数据，在本实施例中收集的是颅脑CT和胸部CT，利用DRR正投影生成CBCT多角度二维投影数据，分为稀疏采样（30-180张投影）和全采样（300-900张投影）。投影参数与现有放疗摆位CBCT成像参数保持一致，SDD（射线源到探测器距离）为1500 mm，SOD（射线源到物体中心距离）为1000 mm，平板探测器成像尺寸设定为43cm×43cm。利用CBCT迭代重建算法将二维投影数据重建为三维断层数据，重建图像为512像素×512像素，像素大小为0.5mm×0.5mm，形成配对的稀疏采样CBCT重建数据和全采样CBCT重建数据，作为深度学习算法模型的预训练数据集，完成基于深度学习的CBCT稀疏采样影像增强算法模型的预训练。

具体的，采用残差密集生成对抗网络模型（RDN-GAN）作为影像质量增强的主干网络，包括残差密集网络和对抗网络，所述残差密集网络包括卷积层、残差密集块、级联网络、上采样以及反卷积层，所述对抗网络包括卷积层、激活函数、归一化层、密度网络。其中，残差密集网络作为生成器，残差密集块由卷积层、激活函数和级联层构成，用于提高网络的性能和精度，上采样层用于将低分辨率的CBCT图像进行上采样，对抗网络作为鉴别器，用于判断增强后的图像是否为真实的CBCT图像。通过将输入的CBCT图像经过多个残差密集块的处理，可以逐渐提高图像的质量和细节。同时，鉴别器则用于判断生成器生成的高质量CBCT图像是否逼近真实CBCT图像。通过反复训练生成器和鉴别器，不断优化模型，最终实现超低剂量CBCT成像的高质量重建。

具体的，配对的放疗CBCT稀疏采样-全采样数据集作为训练集数据，分为训练集、验证集和测试集三部分，其中训练集用于训练RDN-GAN深度学习网络模型，验证集用于验证网络模型的效果，测试集用于对网络模型的效果进行进一步的测试。在RDN-GAN网络模型的训练过程中，采用峰值信噪比（PSNR，Peak Signal to Noise Ratio）作为损失函数，优化算法采用Adam算法。训练过程中，将训练集数据随机分成小批量进行训练，训练轮数为5000次。在验证集和测试集上，计算图像增强后的PSNR和SSIM（结构相似度指数，StructuralSimilarity Index），以评估网络模型的效果。

具体的，在确定载入的CBCT图片是包含数据库中预先存储的成像区域之后，通过线性插值和仿射变化将图片归一化成512像素×512像素的图像，然后将整个图片输入到编码器和解码器中进行图像质量自动增强。本申请的图像质量增强算法目前可以支持脑部，胸部，但由于本申请的放疗CBCT稀疏采样影像增强方法是通用的，只要收集到更多的高质量的其它成像区域的影像数据进行模型训练，本影像增强模型也可以根据需求支持更多放疗CBCT成像区域的影像增强。

由于大部分计算机视觉算法都需要训练，不同的训练数据都可能会影响最后的效果，为了达到比较好的效果，本发明放疗CBCT稀疏采样影像增强模型预训练模块使用的训练数据细节具体如下：包含500-1000个患者的螺旋CT影像数据，每个患者包含40-400张影像图片，用于DRR正投影，投影旋转角度为360度或210度，并生成配对的稀疏采样（30-180张）重建和全采样重建（300-900张）预训练数据集。

在一个具体实施例中，RDN-GAN深度学习网络模型的优化阶段，包括：

为了进一步提高影像增强算法模型的鲁棒性，本发明收集了患者放疗CBCT二维投影数据，利用CBCT迭代重建算法将稀疏采样二维投影数据（30-180张投影）和全采样二维投影数据（300-900张投影）重建为三维断层数据，形成配对的稀疏采样CBCT重建数据和全采样CBCT重建数据，作为RDN-GAN算法模型的优化训练集。得到优化后的基于深度学习的稀疏采样影像增强算法模型。可选的，如果原始二维投影数据难以获取，也可以利用全采样放疗CBCT三维断层影像数据进行DRR正投影获取二维投影数据。

本发明放疗CBCT稀疏采样影像增强模型优化训练模块使用的训练数据细节具体如下：包含200-500个患者的放疗CBCT影像数据，并生成配对的稀疏采样（30-180张）重建和全采样重建（300-900张）优化训练数据集。

优化训练集设定和训练参数与预训练保持一致，在训练完成后，所有模块都可以只保留测试程序和训练所得的模型。而且在实现时候，采用了定点实现，以避免浮点运算，这样整个系统的运行速度大大加快。

具体的，本申请中预训练好的放疗CBCT稀疏采样影像增强模型，是可以直接应用于各种设备来源的放疗CBCT稀疏采样影像增强流程中，在某些情况下，如增强后的图像质量不足或存在较多失真，可以通过继续追加放疗CBCT数据进行优化训练，尤其是当前的放疗CBCT设备来源的数据，提高算法模型的鲁棒性和精准性。

如图3所示，是根据本实施例示出的放疗CBCT稀疏采样成像示意图，X射线光源球管和平板探测器围绕人体成像部位做360度或210度旋转扫描，拍摄多角度二维投影数据，圆周每一个点代表对应角度投影，全采样为采集300-900张投影，稀疏采样通过减小旋转圆周上采集投影数据的张数，本实施例中为30-180张投影，稀疏采样可以降低扫描时间和扫描剂量，是一种快速低剂量扫描成像方式。

具体的，CBCT扫描分为全扇形扫描（full fan）模式和半扇形扫描（half fan）模式两种，前者指获取CBCT图像时平板探测器居中，在每个投影图上能够重建全部物体，一般在成像区域较小时应用，扫描角度达到180度以上即可；后者指获取CBCT图像时平板探测器横向平移，在每幅投影图上仅仅能重建部分物体，通过平板探测器的平移实现视野（Field ofview，FOV）的增大，扫描角度需要达到360度。本实施例中给出的为360度扫描模式，为了进一步减少放疗CBCT投影时间，当需要拍摄部位较小，在平板探测器上可以全部覆盖时，扫描角度可以降低到约210度，可以进一步减少成像时间。

但是，如图4所示，第一列为放疗CBCT头部30张投影（360度）重建前后图像，第二列为放疗CBCT胸部66张投影（360度）重建前后图像，由于采样信息严重不足，三维重建得到的CBCT图像中容易出现大量条状伪影，稀疏采样程度越大伪影越重，导致图像质量严重下降，影响CBCT图像在后续放疗流程中的使用。

可选的，如图5所示，本申请具体实施例中，上述放疗CBCT稀疏采样影像增强方法的运行逻辑框图如下：

（1）获取放疗CBCT稀疏采样成像得到的CBCT影像数据。

（2）调用医疗图像检测模块，检测当前硬件获取的医疗图片是否为数据库中预先存储的成像区域，如不包含，则提示医生输入图片不对，直到软件可以检测到包含特定器官的医疗影像图片为止。

（3）若检测到医疗图片中包含数据库中预先存储的成像区域，软件界面展示图像质量增强算法开始工作的提示。

（4）读取输入的医疗影像数据的信息，并且调用预先构建的放疗CBCT稀疏采样影像增强模型，对输入的低质量CBCT进行影响增强并作为输出提供给用户。

（5）如果收到用户关闭软件的消息，则关闭软件，释放内存，退出。

具体的，本实施例处理的医疗影像数据是放疗CBCT稀疏采样成像数据，在检测载入的医疗图片时，将整个医疗图片与数据库中预先存储的包含特定器官或成像区域的图片数据作对比，若检测到医疗图片中包含预先存储的器官或成像区域，则开始调用预先构建的针对特定器官或成像部位的影像增强模型，对CBCT图片进行影像增强，输出得到高质量放疗CBCT图像。需要说明的是，理论上，这里的影像增强模型是可以包括多个不同的成像部位，但在实施例中，由于训练数据收集的原因，目前主要考虑脑部，胸部放疗CBCT成像影像增强，后续随着更多的训练数据集的增加，可以实现更多器官及成像区域的CBCT稀疏采样影像增强，如腹部、盆腔、四肢等。

此外，在检测载入的医疗图片时，若检测到医疗图片不是数据库中预先存储的器官或成像区域，则放弃后续处理，并提示医生该影像图片不是包含特定器官或成像区域的医疗图片，直到医生载入包含特定器官或成像区域的放疗CBCT图像。

在一个具体实施例中，构建的RDN-GAN深度学习网络模型，包括：

残差密集网络和对抗网络，所述残差密集网络包括卷积层、残差密集块、级联网络、上采样以及反卷积层，所述残差密集块由卷积层、激活函数和级联层构成，所述对抗网络包括卷积层、激活函数、归一化层和密度网络。

作为一个具体的实施例，将稀疏采样重建和全采样重建数据集输入预构建的残差密集生成对抗网络进行训练，得到放疗CBCT稀疏采样影像增强模型，包括：

对所述配对数据集进行数据扩充，并将扩充后的配准数据集归一化成512像素×512像素的数据集；

然后将归一化后的图像集划分为训练集、验证集及测试集；

将所述训练集输入残差密集网络和对抗网络，根据生成网络的损失函数与对抗网络的损失函数，得到训练模型。

利用所述验证集、测试集对所述验证模型进行验证和测试，若验证和测试结果不满足预测概率阈值，则重新对生成网络和对抗网络进行训练，若结果满足预测概率阈值则得到放疗CBCT稀疏采样影像增强算法模型。

可以理解的是，基于RDN-GAN网络结构得到放疗CBCT稀疏采样影像增强模型的步骤为：

（1）训练集构建阶段：本发明的训练集包括预训练集和优化训练集，预训练集为患者螺旋CT数据正投影后再进行CBCT重建得到的配对的稀疏采样和全采样重建数据集，数据量为500-1000例患者；优化训练集为放疗CBCT二维投影数据重建得到的配对的稀疏采样和全采样数据集，数量为200-500例患者。

（2）训练阶段：采用深度学习网络构建放疗CBCT稀疏采样影像增强模型，本发明中采用的深度学习网络是改进型的残差密集网络，为残差密集生成对抗（RDN-GAN）网络结构，通过RDN-GAN网络中的残差密集网络完成放疗CBCT稀疏采样影像增强，通过RDN-GAN网络的对抗网络则判断影像增强的CBCT图像是否逼近全采样CBCT图像。

如图6所示，本申请具体实施例中，训练RDN-GAN网络结构包括残差密集网络和对抗网络；其中，残差密集网络由卷积层、残差密集块、级联网络、上采样以及反卷积层组成，每一层的卷积kernel大小为k×k，每一层共有c个通道，残差密集块由卷积层、激活函数和级联层构成。对抗网络或者叫做鉴别器，对输入的图片通过不同参数的卷积层，归一化层和激活函数最终得到是否是真或者假。

对抗网络包含卷积层、激活函数、归一化层以及密度网络，每个密度网络的输入和输出关系为：

其中，

RELU激活函数为：

；

其中，RELU激活函数为线性函数，与一般的基于Sigmoid或者Tanh激活函数相比，在训练时候，RELU激活函数不存在导数消失或者导数爆炸问题，可以使得整个训练过程更加稳定，而且RELU激活函数的计算更加简单，不需要进行浮点运算，计算时会大大缩减处理时间。

级联网络则链接所有密度网络的特征，并通过1ⅹ1的卷积网络自适应控制输出信息。最后通过残差学习网络得出整个局部对抗密度网络的输出。

整体残差密集生成对抗网络的损失函数则为：

其中，

同时为了增强网络能力，在RELU激活函数之前构建特征并引入感知损失函数

其中，

其中，

采用MSE和PSNR计算

；

；/>

其中，

可以理解的是，本申请中载入CBCT图像并通过线性插值和仿射变化将图片归一化成512像素×512像素的图像，然后将整个图片输入到残差密集生成对抗网络（RDN-GAN），从而得到影像增强后的放疗CBCT图像。本申请的放疗CBCT稀疏采样影像增强模型可以支持多个部位成像的影像增强，但是在本实施例中主要出示了脑部和胸部放疗CBCT稀疏采样影像增强。可以理解的是，本申请中的放疗CBCT稀疏采样影像增强模型也可以根据需求支持更多器官放疗CBCT图像的影像增强。由于大部分计算机视觉算法模型都需要训练，不同的训练数据集和不同质量的数据集都可能会影响最后的模型效果，为了达到比较好的效果训练数据细节具体如下：分别通过约800多个患者脑部和胸部的螺旋CT影像数据进行算法模型的预训练，通过200多个患者放疗CBCT影像数据进行算法模型优化训练。

在训练完成后，所有模块都可以只保留测试程序和训练所得的模型。而且在实现时候，采用了定点实现，以避免浮点运算，这样整个系统的运行速度大大加快。

（3）检测阶段：利用训练阶段学习到的基于深度学习的放疗CBCT稀疏采样影像增强模型，对所有载入的放疗CBCT稀疏采样成像图片进行影像增强，从而对残差密集网络及对抗网络的损失函数进行优化，从而得到验证模型。

（4）测试阶段：利用所述测试集对所述验证模型进行测试，若测试结果不满足预测概率阈值，则重新对残差密集网络和对抗网络进行训练，若测试结果满足预测概率阈值则得到放疗CBCT稀疏采样影像增强模型。

在一些可选实施例中，所述放疗CBCT稀疏采样影像增强模型，包括：

利用计算机视觉模型对输入的CBCT图像进行检测，判断所述输入CBCT图像是否为所述放疗CBCT稀疏采样影像增强模型所支持的器官或成像区域图片；

如果是，则将输入的低质量稀疏采样重建CBCT图像影像增强为高质量的放疗CBCT图像。

参见图7，为本申请实施例给出的放疗CBCT稀疏采样头部成像影像增强的结果，第一列是输入的放疗CBCT稀疏采样头部成像的低质量CBCT重建图像，采样数量为30张二维投影，第二列为本申请输出的影像增强结果，第三列是放疗CBCT头部全采样重建成像结果（Ground truth），可以作为影像增强结果的清晰度和保真性的评估的标准。

参见图8，为本申请实施例给出的放疗CBCT稀疏采样胸部成像影像增强的结果，第一列是输入的放疗CBCT稀疏采样胸部成像的低质量CBCT重建图像，采样数量为66张投影，第二列为本申请输出的影像增强结果，第三列是放疗CBCT胸全采样成像结果（Groundtruth），可以作为影像增强结果的保真性的评估的标准。

从图中结果可以看出，放疗CBCT稀疏采样导致重建图像产生大量伪影，导致图像的清晰度严重下降，采用本发明的方法进行放疗CBCT稀疏采样头部成像影像增强，增强后的图像PSNR值从30.7 dB提高到了32.2dB，SSIM值从0.72提高到了0.88，可以非常高效的消除稀疏采样导致的伪影，图像质量和细节得到了明显的提高，具有非常高的清晰度和非常低的失真度，已经非常接近全采样（Groundtruth）的图像清晰度，同时具有与全采样CBCT图像接近的灰度值分布，以上结果说明本发明的方法可以有效地提高稀疏采样CBCT图像的质量和细节，为放疗摆位CBCT快速低剂量高清成像提供了一种新的解决方案，在放疗摆位、剂量计算、影像配准等放疗流程中具有非常好的应用前景。

需要指出的是，在放疗CBCT稀疏采样成像时，稀疏程度越高，即投影数量越少时，将会在重建图像中产生更多、更严重的伪影，图像清晰度会大幅下降，算法模型实现高精度和高保真的影像增强的难度就越大，本申请在经过大量尝试和探索研究、模型优化后，实现了放疗CBCT头部30张投影重建影像和胸部66张投影重建影像的高清晰影像增强，本发明团队在大量实验的基础上，发现30张采样已经基本接近放疗CBCT头部成像稀疏采样的极限了，这一采样数量已经处于世界领先水平，将实验结果与全采样重建图像的（Groundtruth）对比分析，影像增强后的图像具有非常高的保真性，如果再降低采样数量会导致增强后图像出现严重的失真。当然，不排除后续更先进的算法和更高质量的数据集，可以实现更低采样数量的CBCT高清重建。

本申请预先构建的放疗CBCT稀疏采样影像增强方法所依赖的硬件平台是Nvidia的GPU。在Nvidia的4090 GPU硬件上，本申请的深度学习算法每秒能处理至少10帧图像。综上，本申请利用计算机视觉技术和最新的人工智能深度学习技术相结合来实现稀疏采样重建后图像的影像质量增强，可以保证患者成像清晰度的同时大幅降低患者照射剂量，在肿瘤放射治疗等流程中具有非常好的应用前景。整体而言，本申请具有算法更加准确，鲁棒性更强，可以处理的极端情况更多，能有效消除外界的各种成像干扰造成的噪声等优点。

与最接近的现有技术相比，本申请提供的放疗CBCT稀疏采样影像增强方法具有以下有益效果：

（1）采用大样本预训练加小样本追加训练的算法模型训练方式，解决了大量高质量放疗CBCT样本获取难度大的难题。本发明先采用较大数量（500-1000例）螺旋CT数据通过正投影稀疏采样生成配对数据，进行稀疏采样CBCT算法模型预训练，再使用小样本（200-500例）放疗CBCT原始二维投影配对数据进行模型优化训练，增加算法模型的鲁棒性，解决了放疗CBCT数据获取难和图像质量较差的问题；

（2）采用了CBCT迭代重建算法进行CBCT二维投影数据的三维重建，迭代重建算法具有比传统的FDK重建算法更好的重建清晰度，尤其是在稀疏采样的情况下，具有较高的稀疏采样容忍度，可以实现在更低的采样数量下实现高清成像。

（3）采用最新的改进型残差密集生成对抗（RDN-GAN）深度学习网络模型实现图像增强，该算法在传统计算机视觉领域表现出了显著超越现有所有深度学习算法的效果，本申请将该算法进行修改完善后应用于放疗CBCT稀疏采样影像增强领域，实施例中的结果显示该算法模型可以有效地提高图像质量，增强图像细节；相比于之前的CNN深度学习影像增强算法，RDN-GAN能够更好地保持成像的空间分辨率，能够在稀疏采样CBCT成像的情况下，获得高质量的CBCT图像。

（4）本发明的放疗CBCT稀疏采样影像增强方法可以大幅降低患者的辐射剂量，加快成像速度，同时保持高成像清晰度，提高了患者放疗时的安全性，较少患者运动相关的伪影；还可实现放疗过程中的实时引导和矫正，提高精准放疗的效果。

综上所述，针对现有放疗CBCT成像剂量高、速度慢的不足，本发明提供了一种基于深度学习的放疗CBCT稀疏采样影像增强的方法，通过采用大样本预训练加小样本追加训练的模型训练方式，解决了大量高质量放疗CBCT影像数据获取难度大的难题，增加算法模型的鲁棒性；通过使用自研CBCT迭代重建算法进行CBCT二维投影数据的三维重建，迭代重建算法具有比传统的FDK重建算法更好的重建清晰度，具有较高的稀疏采样容忍度，可以实现在更低的采样数量下实现高清成像。通过使用最新的、更先进的残差密集生成对抗（RDN-GAN）深度学习网络架构实现图像增强，该算法在传统计算机视觉领域表现出了显著超越现有所有深度学习算法的效果，在本发明的实施例中显示该算法模型可以有效地提高图像质量，增强图像细节。因此，通过本发明可以大幅降低患者的辐射剂量，同时保持高成像清晰度，加快成像速度，提高了患者放疗时的安全性，减少患者运动相关的伪影；还可实现放疗过程中的实时引导和矫正，提高放疗的精准度和治疗效果。

如图9所示，本实施例提供了一种应用基于深度学习的放疗CBCT稀疏采样影像增强方法的系统，包括：

投影获取模块201，用于获取患者的多角度二维投影数据；

三维重建模块202，用于将所述患者的二维投影数据重建为CBCT三维断层数据；

影像增强模块203，用于将放疗CBCT稀疏采样重建的低质量图像输入预先训练和构建的残差密集块-生成对抗网络模型，得到影像增强后的放疗CBCT图像；

图像显示和输出模块204，用于将影像增强后的放疗CBCT图像显示并以Dicom格式输出，用于放疗后续流程。

本申请提供一种应用放疗CBCT稀疏采样影像增强模型的系统的工作原理为：投影获取模块201获取患者的多角度二维投影数据，投影数量在30-180张；三维重建模块202将所述患者的二维投影数据重建为稀疏采样CBCT三维数据；影像增强模块203将放疗CBCT稀疏采样重建的低质量图像输入预先训练和构建的残差密集生成对抗（RDN-GAN）网络模型，得到影像增强后的放疗CBCT图像；图像显示和输出模块204将影像增强后的放疗CBCT图像显示并以Dicom格式输出，用于放疗后续流程。

如图10所示，本实施例实施例提供一种基于深度学习的放疗CBCT成像装置，包括：放疗CBCT成像组件、三维重建组件、影像增强组件等。其中，放疗CBCT成像组件包括X射线源、平板探测器、支架、运动平台等部分，用于对患者进行CBCT成像；三维重建组件用于将放疗CBCT成像系统所得到的二维投影数据重建为三维CBCT图像；影像增强组件存储有预训练和构建的基于深度学习的放疗CBCT稀疏采样影像增强系统程序，可以将重建和显示系统传输过来的低质量CBCT影像增强为高质量放疗CBCT影像。图像显示和输出组件，用于将影像增强后的放疗CBCT图像显示并以Dicom格式输出，用于放疗后续流程。

提供一种计算机设备，见图10的影像增强组件，包括：存储器1和处理器2，还可以包括网络接口3，所述存储器存储有计算机程序，存储器可以包括计算机可读介质中的非永久性存储器，随机存取存储器（RAM）和/或非易失性内存等形式，如只读存储器（ROM）或闪存（flash RAM）。该计算机设备存储有操作系统4，存储器是计算机可读介质的示例。所述计算机程序被所述处理器执行时，使得所述处理器执行基于深度学习的放疗CBCT稀疏采样影像增强的方法，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，本申请提供的基于深度学习的放疗CBCT成像影像增强方法可以实现为一种计算机程序的形式，计算机程序可在如图10所示的计算机设备上运行。

一些实施例中，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：获取患者的多角度二维投影数据，投影数量在30-180张；将所述患者的二维投影数据重建为稀疏采样CBCT三维数据；将放疗CBCT稀疏采样重建的低质量图像输入预先训练和构建的残差密集块-生成对抗网络模型，得到影像增强后的放疗CBCT图像；将影像增强后的放疗CBCT图像显示并以Dicom格式输出，用于放疗后续流程。

本申请还提供一种计算机存储介质，计算机的存储介质的例子包括，但不限于相变内存（PRAM）、静态随机存取存储器（SRAM）、动态随机存取存储器（DRAM）、其他类型的随机存取存储器（RAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、快闪记忆体或其他内存技术、只读光盘只读存储器（CD-ROM）、数字多功能光光盘（DVD）或其他光学存储、磁盒式磁带存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

一些实施例中，本发明还提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，获取患者的多角度二维投影数据，投影数量在30-180张；将所述患者的二维投影数据重建为稀疏采样CBCT三维数据；将放疗CBCT稀疏采样重建的低质量图像输入预先训练和构建的残差密集块-生成对抗网络模型，得到影像增强后的放疗CBCT图像；将影像增强后的放疗CBCT图像显示并以Dicom格式输出，用于放疗后续流程。

综上所述，本发明提供了一种放疗CBCT稀疏采样影像增强的方法、系统及装置，方法包括构建残差密集生成对抗（RDN-GAN）深度学习网络模型；收集患者螺旋CT数据，通过正投影得到多角度对应的二维投影数据，并拆分成稀疏采样和全采样数据；利用CBCT重建算法，将稀疏采样CBCT二维投影数据和全采样投影数据分别重建为三维断层影像数据，得到稀疏采样-全采样配对数据集；完成RDN-GAN网络模型的预训练；收集放疗CBCT二维投影数据，并拆分成稀疏采样和全采样数据，利用CBCT重建算法，将稀疏采样二维投影数据和全采样投影数据重建为三维断层影像数据，得到CBCT稀疏采样-全采样配对数据集，完成RDN-GAN深度学习网络模型的优化训练；应用优化训练好的RDN-GAN深度学习网络模型进行放疗CBCT稀疏采样影像增强，得到高质量的放疗CBCT图像，应用于放疗后续流程。该成像方法能够在保证成像质量的前提下，显著降低成像的辐射剂量，提高放疗的精度和安全性。本发明可以为放疗CBCT成像提供一种新的解决方案，具有较高的实用性，具有广阔的临床应用前景，可在肿瘤放射治疗领域得到广泛应用。

对于实施例公开的系统、装置以及设备而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器和光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令方法的制造品，该指令方法实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本发明的具体实施方式，虽然上述实施例已经阐述了本发明的优点和具体实现方法，但是本发明并不仅限于上述实施例。对于本领域的技术人员来说，在本发明的原则性思想的指导下，可以对本发明进行各种形式的修改和变化，以适应不同应用场景和具体实现细节。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。