掌桥专利:专业的专利平台
掌桥专利
首页

一种消除CT伪影的方法、装置及电子设备

文献发布时间:2024-05-31 01:29:11


一种消除CT伪影的方法、装置及电子设备

技术领域

本申请涉及医疗图像处理技术领域,尤其涉及一种消除CT伪影的方法、装置及电子设备。

背景技术

CT(Computed Tomography,电子计算机断层扫描)是一种利用精确准直的X线束、γ射线、超声波等,与灵敏度极高的探测器一同围绕扫描对象的某一部位作一个接一个的断面扫描,以获取扫描对象的该部位的不同断面的扫描图像的技术。在医学图像中,CT图像作为较为安全的成像方式,因其成本低、辐射低、操作方便等优点,应用率远高于其他成像方式。

但是,由于其本身成像机制是借助射线进行成像,这使得CT图像相较于其他医学成像而言,更容易存在噪声和伪影,给图像的解读和诊断带来了诸多不便。其中,CT伪影是一种原本被扫描对象本身并不存在,但是却在图像中出现的影像。

因此,如何减少CT伪影甚至去除CT伪影成为提高图像质量亟需解决的技术问题。

发明内容

有鉴于此,本申请实施例提供了一种消除CT伪影的方法、装置及电子设备,以消除CT图像中存在的伪影,进而提高输出CT图像的图像质量。

第一方面,本申请提供了一种消除CT伪影的方法,所述方法包括:

获取目标源CT图像,并将所述目标源CT图像输入至预设CT图像生成模型中;

利用所述预设CT图像生成模型对所述目标源CT图像进行去伪影处理,将所述预设CT图像生成模型的输出结果确定为目标去伪影CT图像;

其中,所述预设CT图像生成模型预先通过如下方式获得:

将CT图像训练样本数据对输入至预设深度卷积神经网络模型中,其中,所述CT图像训练样本数据对包括:第一样本数据与第二样本数据,其中,所述第一样本数据为待处理数据,所述第二样本数据为所述第一样本数据对应的参考输出数据;

获取所述预设深度卷积神经网络模型针对所述第一样本数据处理得到的第一输出结果,并计算所述第一输出结果与所述参考输出数据之间的输出结果差异;

基于所述输出结果差异,对所述预设深度卷积神经网络模型进行参数调整,直至所述输出结果差异收敛;

将所述输出结果差异收敛对应的深度卷积神经网络模型确定为所述预设CT图像生成模型。

结合第一方面,在第二种可能的实施例中,所述第一样本数据为整张图像中包含伪影的CT图像,所述第二样本数据为基于所述第一样本数据去除伪影得到的参考CT图像,或者所述第二样本数据为整张图像中不包含伪影的CT图像,所述第一样本数据为基于所述第二样本数据添加预设伪影特征得到的CT图像。

结合第一方面,在第三种可能的实施例中,所述预设CT图像生成模型的网络结构中至少包括:生成器网络模型,所述生成器网络模型中包括若干个编码器与若干个解码器;

其中,若干个所述编码器串联得到第一处理子网络,若干个所述解码器串联得到第二处理子网络,所述第一处理子网络的输出与所述第二处理子网络的输入连接。

结合第一方面的第三种可能的实施例,在第四种可能的实施例中,所述利用所述预设CT图像生成模型对所述目标源CT图像进行去伪影处理,包括:

将所述目标源CT图像输入至所述第一处理子网络中进行卷积下采样,提取所述目标源CT图像中包含的影像特征;

基于所述第二处理子网络对所述影像特征进行卷积上采样,消除所述影像特征中的伪影特征,得到剩余的影像特征;

根据所述剩余的影像特征,基于不同的影像参数,生成所述目标去伪影CT图像。

结合第一方面的第三种可能的实施例,在第五种可能的实施例中,

所述预设深度卷积神经网络模型中包括:初始生成器网络模型,所述获取所述预设深度卷积神经网络模型针对所述第一样本数据处理得到的第一输出结果,并计算所述第一输出结果与所述参考输出数据之间的输出结果差异,包括:

将所述第一样本数据输入至所述初始生成器网络模型中,由所述初始生成器网络模型对所述第一样本数据进行卷积处理,得到所述第一样本数据对应的初始去伪影图像;并计算所述初始去伪影图像与所述第二样本数据之间的第一输出差异,其中,所述第一输出差异表征所述初始去伪影图像与所述第二样本数据在第一对比维度上的相似度;

所述基于所述输出结果差异,对所述预设深度卷积神经网络模型进行参数调整,直至所述输出结果差异收敛,包括:

基于所述第一输出差异,对所述初始生成器网络模型的参数进行调整,直至所述第一输出差异收敛。

结合第一方面的第五种可能的实施例,在第六种可能的实施例中,所述利用所述预设CT图像生成模型对所述目标源CT图像进行去伪影处理,包括:

所述预设深度卷积神经网络模型还包括:初始判别器网络模型,所述方法还包括:

将所述初始去伪影图像、所述第二样本数据输入至所述初始判别器网络模型中,由所述初始判别器网络模型计算所述初始伪影图像与所述第二样本数据之间的第二输出差异,其中,所述第二输出差异表征所述初始去伪影图像与所述第二样本数据在第二对比维度上的相似度;

所述基于所述输出结果差异,对所述预设深度卷积神经网络模型进行参数调整,直至所述输出结果差异收敛,包括:

基于所述第二输出差异,对所述初始生成器网络模型的参数、所述初始判别器网络模型的参数进行调整,直至所述第二输出差异收敛。

第二方面,本申请提供了一种消除CT伪影的装置,所述装置包括:

获取模块,用于获取目标源CT图像,并将所述目标源CT图像输入至预设CT图像生成模型中;

生成模块,用于利用所述预设CT图像生成模型对所述目标源CT图像进行去伪影处理,将所述预设CT图像生成模型的输出结果确定为目标去伪影CT图像;

其中,所述预设CT图像生成模型预先通过如下方式获得:

将CT图像训练样本数据对输入至预设深度卷积神经网络模型中,其中,所述CT图像训练样本数据对包括:第一样本数据与第二样本数据,其中,所述第一样本数据为待处理数据,所述第二样本数据为所述第一样本数据对应的参考输出数据;

获取所述预设深度卷积神经网络模型针对所述第一样本数据处理得到的第一输出结果,并计算所述第一输出结果与所述参考输出数据之间的输出结果差异;

基于所述输出结果差异,对所述预设深度卷积神经网络模型进行参数调整,直至所述输出结果差异收敛;

将所述输出结果差异收敛对应的深度卷积神经网络模型确定为所述预设CT图像生成模型。

结合第二方面,在第二种可能的实施例中,所述第一样本数据为整张图像中包含伪影的CT图像,所述第二样本数据为基于所述第一样本数据去除伪影得到的参考CT图像,或者所述第二样本数据为整张图像中不包含伪影的CT图像,所述第一样本数据为基于所述第二样本数据添加预设伪影特征得到的CT图像。

结合第二方面,在第三种可能的实施例中,所述预设CT图像生成模型的网络结构中至少包括:生成器网络模型,所述生成器网络模型中包括若干个编码器与若干个解码器;

其中,若干个所述编码器串联得到第一处理子网络,若干个所述解码器串联得到第二处理子网络,所述第一处理子网络的输出与所述第二处理子网络的输入连接。

结合第二方面的第三种可能的实施例,在第四种可能的实施例中,所述利用所述预设CT图像生成模型对所述目标源CT图像进行去伪影处理,包括:

将所述目标源CT图像输入至所述第一处理子网络中进行卷积下采样,提取所述目标源CT图像中包含的影像特征;

基于所述第二处理子网络对所述影像特征进行卷积上采样,消除所述影像特征中的伪影特征,得到剩余的影像特征;

根据剩余的影像特征,基于不同的影像参数,生成所述目标去伪影CT图像。

结合第二方面的第三种可能的实施例,在第五种可能的实施例中,

所述预设深度卷积神经网络模型中包括:初始生成器网络模型,所述获取所述预设深度卷积神经网络模型针对所述第一样本数据处理得到的第一输出结果,并计算所述第一输出结果与所述参考输出数据之间的输出结果差异,包括:

将所述第一样本数据输入至所述初始生成器网络模型中,由所述初始生成器网络模型对所述第一样本数据进行卷积处理,得到所述第一样本数据对应的初始去伪影图像;并计算所述初始去伪影图像与所述第二样本数据之间的第一输出差异,其中,所述第一输出差异表征所述初始去伪影图像与所述第二样本数据在第一对比维度上的相似度;

所述基于所述输出结果差异,对所述预设深度卷积神经网络模型进行参数调整,直至所述输出结果差异收敛,包括:

基于所述第一输出差异,对所述初始生成器网络模型的参数进行调整,直至所述第一输出差异收敛;

结合第二方面的第五种可能的实施例,在第六种可能的实施例中,所述预设深度卷积神经网络模型还包括:初始判别器网络模型,所述方法还包括:

将所述初始去伪影图像、所述第二样本数据输入至所述初始判别器网络模型中,由所述初始判别器网络模型计算所述初始伪影图像与所述第二样本数据之间的第二输出差异,其中,所述第二输出差异表征所述初始去伪影图像与所述第二样本数据在第二对比维度上的相似度;

所述基于所述输出结果差异,对所述预设深度卷积神经网络模型进行参数调整,直至所述输出结果差异收敛,包括:

基于所述第二输出差异,对所述初始生成器网络模型的参数、所述初始判别器网络模型的参数进行调整,直至所述第二输出差异收敛。

第三方面,本申请提供了一种电子设备,所述电子设备包括:

处理器;以及存储程序的存储器,

其中,所述程序包括指令,所述指令在由所述处理器执行时使所述处理器执行根据第一方面所述的消除CT伪影的方法。

第四方面,本申请提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使计算机执行根据第一方面所述的消除CT伪影的方法。

本申请的有益效果:

本申请实施例提供了一种消除CT伪影的方法、装置及电子设备,其中,该消除CT伪影的方法通过获取目标源CT图像,并将该目标源CT图像输入至预设CT图像生成模型中,由该预设CT图像生成模型对该目标源CT图像进行去伪影处理,将预设CT图像生成模型的输出结果确定为目标去伪影CT图像。区别于现有的CT图像生成模型,本申请实施例中所采用的预设CT图像生成模型是预先通过将CT图像训练样本数据对,即整张包含伪影的第一样本数据,以及第一样本数据对应的参考输出数据的第二样本数据。具体的,由该预设深度卷积神经网络模型对第一样本数据进行去伪影处理,并得到第一输出结果,然后根据第一输出结果与第二样本数据作为参考输出数据之间的输出结果差异,对预设深度卷积神经网络模型的参数进行调整,直至该输出结果差异收敛,将该输出结果差异收敛对应的深度卷积神经网络模型确定为预设CT图像生成模型。

选用本申请实施例,由于本申请实施例中预设CT图像生成模型是输出结果差异收敛对应的模型参数的神经网络模型,因此,在接收到目标源CT图像输出后,对目标源CT图像进行去伪影处理时,所得到的输出结果即是与无伪影CT图像差异收敛的CT图像数据,如此,该预设CT图像生成模型输出的结果即为无伪影,或者伪影消除效果已经收敛的目标去伪影CT图像。

附图说明

在下面结合附图对于示例性实施例的描述中,本申请的更多细节、特征和优点被公开,在附图中:

图1a示出了本申请实施例提供的消除CT伪影的方法的一种流程示意图;

图1b示出了本申请实施例提供的消除CT伪影的方法另一种流程示意图;

图2示出了本申请实施例提供的预设CT图像生成模型的一种训练流程示意图;

图3示出了本申请实施例提供的预设CT图像生成模型的另一种结构示意图;

图4示出了本申请实施例提供的生成器网络模型的一种网络拓扑结构示意图;

图5示出了本申请实施例提供的编码器/解码器的一种逻辑结构示意图;

图6示出了本申请实施例提供的判别器网络模型的一种逻辑结构示意图;

图7示出了本申请实施例提供的消除CT伪影的装置的一种逻辑结构示意图;

图8示出了本申请实施例提供的电子设备的一种逻辑结构示意图。

具体实施方式

下面将参照附图更详细地描述本申请的实施例。虽然附图中显示了本申请的某些实施例,然而应当理解的是,本申请可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本申请。应当理解的是,本申请的附图及实施例仅用于示例性作用,并非用于限制本申请的保护范围。

应当理解,本申请的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本申请的范围在此方面不受限制。

本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意,本申请中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意,本申请中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。

为了减少CT伪影甚至去除CT伪影,本申请提供了一种消除CT伪影的方法、装置及电子设备,其中,该消除CT伪影的方法可以应用于任意具备消除CT伪影能力的电子设备中,包括但不限于:CT扫描设备、与CT扫描设备连接的其他计算设备,该其他计算设备包括但不限于个人移动终端、计算机、服务器等等。其中,其他计算设备与CT扫描设备的连接方式可为有线连接,也可以是无线连接,具体的连接方式,本申请不作严格限定。

第一方面,本申请提供了一种消除CT伪影的方法,该方法如图1a所示,包括如下步骤:

S11、获取目标源CT图像,并将该目标源CT图像输入至预设CT图像生成模型中。

S12、利用该预设CT图像生成模型对目标源CT图像进行去伪影处理,将预设CT图像生成模型的输出结果确定为目标去伪影CT图像。

其中,上述步骤S11中的目标源CT图像包括CT设备实时采集到的CT图像,也包括CT设备历史采集,并存储的CT图像,在一种实施例中,目标源CT图像为完整的原始医学影像。其中,目标源CT图像的图像质量是参差不齐的,可以包括有伪影的CT图像,也可包括无伪影的CT图像。

其中,在本申请实施例中,有伪影是指CT图像中包含一些不属于扫描对象本身的信息,伪影的种类可有多种类型的,比如运动伪影,异物伪影,校正伪影,斑点伪影、表面描记剂伪影、棋盘伪影等,各类型伪影的具体生成原理以及表现形式可参考相关技术文档,本申请此处不再赘述。

作为一种实施方式,执行步骤S11时,可直接通过执行主体与CT扫描设备之间的通信链路,实时获取CT扫描设备实时扫描得到的目标源CT图像。也即本申请实施例提供的消除CT伪影的方法可直接使用于CT扫描设备扫描得到的实时CT图像的伪影消除中,由此,可减少CT扫描图像去伪影的等待时长,有助于提高高质量CT图像的输出效率。

其中,本申请实施例提供的消除CT伪影的方法的总体流程构思可如图1b所示,核心是将原始的CT图像输入至预设CT图像生成模型中,由该预设CT图像生成模型对原始CT图像进行去噪处理,得到去除伪影这类噪声信号后,生成目标去伪影CT图像。在本申请实施例中,预设CT图像生成模型为本申请实现技术效果的关键核心,下文将对如何得到该预设CT图像生成模型进行详细说明:

在一些实施例中,可如图2所示,上述步骤S11中的预设CT图像生成模型预先通过如下步骤训练得到:

S21、将CT图像训练样本数据对输入至预设深度卷积神经网络模型中。

其中,该CT图像训练样本数据对包括第一样本数据、第二样本数据,该第一样本数据为整张CT图像中包含伪影的CT图像,第二样本数据为第一样本数据对应的参考输出数据,第二样本数据为整张图像中不包含伪影的CT图像。具体的可分为三种情形:

情形1:第二样本数据为基于第一样本数据去除伪影得到的无伪影的CT图像。其中,作为一种实施方式,第二样本数据为预先基于传统去除伪影的方法在该第一样本数据进行伪影消除后得到的高质量的CT图像。其中,传统的去除伪影的方法包括:基于传统神经网络的CT伪影消除方法,以及一些传统的图像噪声去除方法。作为一种示例,可由具有医学背景的专业人士从收集到的大量扫描对象的CT图像(比如胸部CT图像)中,筛选出高质量的CT图像建立样本图像库,由此类专业人士使用传统方法减少CT图像中的噪声,作为源CT图像数据相配对的无伪影CT图像。

情形2:第一样本数据为基于第二样本数据增加伪影特征后得到的包含伪影的CT图像,第二样本数据为CT扫描设备采集到的不包含伪影的高质量的CT图像。其中,作为一种实施方式,可通过对第二样本数据进行变形,增加不同种类的伪影特征,生成对应的包含伪影的CT图像,即为第一样本数据。

情形3:获取不存在伪影的CT图像作为第二样本数据,此时在保持扫描对象不变,更改CT扫描设备的扫描参数,比如光影亮度等,得到存在伪影的CT图像作为第一样本数据。

综合,第一样本数据与第二样本数据对应的扫描对象为同一扫描对象。不管是存在伪影的CT图像,还是不存在伪影的CT图像,都是针对扫描对象输出的原始尺寸的CT图像。也即是,在本申请实施例中,CT图像输入至预设CT图像生成模型之前不再做任何图像变换,也即是说,输入至本申请提供的预设CT图像生成模型的图像为扫描设备扫描得到的原始图像数据。

在本申请实施例中,各CT图像被统一存储在同一个图像数据库中。具体的,作为一种实施方式,可将用于训练预设CT图像的生成模型的样本CT图像统一存储在同一个样本图像库中。作为另一种实施方式,可将用于训练预设CT图像的生成模型的样本CT图像进行分类存储,分别存储至不同的样本图像库中。具体的,将无伪影的CT样本图像存储在同一个无伪影样本图像库中,将存在伪影的CT图像存储在同一个有伪影样本图像库中。

S22、将该第一样本数据确定为待处理数据,将该第二样本数据确定为参考输出数据。

S23、获取预设深度卷积神经网络模型针对第一样本数据处理得到的第一输出结果,并计算第一输出结果与参考输出数据之间的输出结果差异。

S24、基于该输出结果差异,对预设深度卷积神经网络模型进行参数调整,直至输出结果差异收敛,将输出结果差异收敛对应的深度卷积神经网络模型确定为预设CT图像生成模型。

在一些实施例中,上述预设深度卷积神经网络模型中可包括生成器网络模型如图3所示,包括:初始生成器网络模型31、初始判别器网络模型32,除此之外,该预设深度卷积神经网络的网络结构中还包括初始空间变换网络模型33,对应的训练得到的预设CT图像生成模型中包括生成器网络模型与判别器网络模型以及空间变换网络模型。

在另一些实施例中,为了节约预设CT图像生成模型对存储资源的占用,预设深度卷积神经网络模型训练得到的预设CT图像生成模型中可只包括训练完成的生成器网络模型,下文将对此中仅包含生成器网络模型的预设CT图像生成模型进行细说,此处不展开描述。

基于此,在执行上述步骤S11、步骤S12时,是将目标源CT图像输入至生成器网络模型后,由生成器网络模型对其进行特征提取以及特征处理,以得到该目标源CT图像在不同维度(比如不同尺寸、不同层数)的影像特征,然后基于提取到的影像特征进行伪影特征消除,以得到无伪影的CT图像,即目标无伪影CT图像。

为了便于区分,本文将预设深度卷积神经网络模型训练初期、训练过程中内部包含的生成器网络模型称为初始生成器网络模型,将初期内部包含的判别器网络模型称为初始判别器网络模型,将训练得到的预设CT图像生成模型中的生成器网络模型简称为生成器网络模型。

初始判别器网络模型是接收无伪影的CT图像,对该无伪影的CT图像进行特征提取,以得到无伪影CT图像在不同维度的特征向量,该无伪影CT图像的不同维度的特征向量即为初始判别器网络模型对初始生成器网络模型生成的初始无伪影图像的参考标准特征向量。简单理解,即该无伪影CT图像的各维度的特征向量用于告知初始判别器网络模型执行图像判别时,判别标准是什么样的。

初始空间变化换网络模型是用于基于原始CT图像数据进行形变处理,得到一个根据预设形变场进行变形后的浮动图像,该浮动图像中可能包含因预设形变场变化生成的伪影信息,即实现上述描述的基于无伪影的第二样本数据,生成对应的第一样本数据。由此可达到基于无伪影的CT图像得到对应存在伪影的第一样本数据的效果,增加用于预设CT图像生成模型的训练数据。

此外,可将初始空间变化网络模型的输出结果传输至初始判别器网络模型中,以告知判别器网络模型执行图像判别时,存在伪影的图像是什么样的。具体的,可通过在初始空间变化网络模型的输出结果后添加标签信息,以该标签信息表示初始空间变化网络模型输出的数据是存在有伪影的图像数据。在一些实施方式中,可通过添加针对生成的伪影的类型,添加对应的不同类型的伪影标签类型,以提高训练得到的预设CT图像生成模型的适用范围。

在一些实施例中,生成器网络也是深度卷积神经网络模型,包括多个卷积层、多个反卷积层以及全连接层。具体的,该深度神经网络模型可采用关键点检测网络结构实现。关键点检测网络包括但不限于:简单基线网络(simple baseline)、沙漏网络(hourglass)、高分辨率网络(HRnet)等网络结构。

作为一种实施方式,生成器网络模型31如图4所示,包括若干个编码器与若干个解码器。其中,各编码器首尾相接串联成左侧的第一处理子网络,各解码器首尾相接串联成右侧的第二处理子网络。第一处理子网络的输出与第二处理子网络的输入连接。

作为一种具体的实施方式,第一处理子网络与第二处理子网络采用对称的网络拓扑结构,即如图4所示,第一处理子网络的每一个编码器的输出不仅输入至下一级的编码器中,还会直接输出至对应层级的解码器中。

其中,第一处理子网络的各编码器的层级由输入的数据处理的流向确定得到的,比如编码器1在编码器2之前对数据进行处理,则编码器1为第一级编码器,编码器2为第二级编码器。第二处理子网络的各解码器的层级是由输入数据处理的流向的反向确定得到的,也即从流出往回回溯确定各解码器的层级。比如,如图4所示,目标去伪影CT图像最终输出的解码器为第一级解码器,第一级解码器的上一层级的解码器为第二级解码器。其中,最后一级编码器(即图中编码器n)的输出与第二处理子网络的第n-1级解码器相连接。

解码器与编码器的数量是不限的,具体数量可根据实际需求灵活设置,本申请此处不作严格限定。其中,各编码器之间由最大池化max_pooling连接的,每个解码器之间由转置卷积convtranspose连接的。

可以理解的是,编码器与解码器之间是存在映射关系的,该映射关系取决于编码器对图像的处理参数,作为一种优选的实施方式,每一层级的编码器输入参数与解码器输出参数是相同的,示例性的,第一级编码器是将假设尺寸为512长*512宽*256层(单位为像素)的图像进行卷积下采样,得到一个256*256*128的影像,则第一解码器对应的输出是将256*256*128的影像卷积上采样得到一个512*512*128的影像并输出。

作为一种示例,整个生成器网络模型对目标源CT图像具体执行如下的操作,以得到目标源CT图像对应的影像特征集合:

将目标源CT图像输入至第一处理子网络中,由第一处理子网络中的第一级编码器对该目标源CT图像进行卷积下采样处理,从目标源CT图像中的提取对应的影像特征,实际上是对目标源CT图像进行降维处理,以缩小目标源CT图像的数据量,进而防止过度拟合。作为一种示例,第一级编码器(即编码器1)将该目标源CT图像进行降维处理后,得到小尺寸的CT图像,比如得到一个256*256*128的影像。然后对该256*256*128的影像进行最大池化处理后,输入至第二级编码器,由第二级编码器对该256*256*128的影像再次进行卷积下采样,输出一个128*128*64的影像,并进行最大池化处理后输出值第三级编码器,以此类推。

这个过程中,编码器若直接输出值对应的解码器,由对应的解码器按照设置的参数进行解码,并输出,具体的由解码器对编码器输入的图像进行卷积上采样,然后基于对应的编码器的输入参数,生成不同的影像特征,进而得到一个目标影像特征集合。

由于伪影特征属于一种无序的噪声信息,在卷积下采样与卷积上采样过程中被抵消消除掉,如此,借助编码器对该目标源CT图像在不同维度下进行特征向量提取,然后不同编码器与解码器相结合,即可生成目标源CT图像在不同维度下的特征向量,以及不同维度下的影像特征中的伪影特征即被消除。基于此,可基于剩余的各维度的特征向量,生成对应的目标去伪影图像,此时对应的解码器输出的结果为各编码器卷积操作得到的图像特征构成的CT图像。值得注意的是,每一个解码器卷积后输出的影像的尺寸、图的层数与该解码器对应的编码器的输入影像的尺寸、图层数相同。

其中,各编码器与解码器的内部结构可如图5所示,具体包括若干个Conv卷积层、GN(Group Normalization,归一化)层、LeakyReLu激活函数,此外,该编码器与解码器的内部结构还包括池化层和上采样层,每一个编码器与解码器内部各层的参数并不一定是全然相同的,具体将根据执行步骤S23与步骤S24的输出结果差异进行调整。

在一些实施例中,上述预设深度卷积神经网络模型中可仅包括初始生成器网络模型,在执行上述步骤S23时,可通过如下步骤实现:

S231、将第一样本数据输入至初始生成器网络模型中,由初始生成器网络模型对第一样本数据进行卷积处理,得到第一样本数据对应的初始去伪影图像,并计算该初始去伪影图像与第二样本数据之间的第一输出差异。其中,该第一输出差异表征初始去伪影图像与第二样本数据在第一对比维度上的相似度。

在执行上述步骤S24时,可通过如下步骤实现:

S241、基于第一输出差异,对初始生成器网络模型的参数进行调整,直至第一输出差异收敛。

其中,初始生成器网络模型的网络结构以及处理逻辑参考图4的有关生成器网络模型的相关描述。其中,计算初始去伪影图像与第二样本数据之间的第一输出差异,作为一种实施方式,可通过计算初始去伪影图像与第二样本数据在第一图像维度上的特征向量的相似度作为第一输出差异,该第一图像维度为:颜色或者亮度。

基于此,在执行步骤S24时,可基于第一损失函数对初始生成网络模型的参数进行调整,该第一损失函数为相似损失函数,可参考如下公式:

L

其中,x为第一样本数据,Y为参考输出数据,即第一样本数据对应的无伪影的金标准图像,Y-G(x)即为该第一输出差异。

在一些实施例中,上述预设深度卷积神经网络模型除了初始生成器网络模型外,还包括初始判别器网络模型,基于此,在执行步骤S231之后,还可执行如下步骤S232:

S232:将该初始去伪影图像、第二样本数据输入至初始判别器网络模型中,由初始判别器网络模型计算初始去伪影图像与第二样本数据之间的第二输出差异,其中,第二输出差异表征初始去伪影图像与第二样本数据在第二对比维度上的相似度。

在执行上述步骤S232之后,上述步骤S24可通过如下步骤S242实现:

基于第二输出差异,对初始生成器网络模型的参数、初始判别器网络模型的参数进行调整,直至该第二输出差异收敛。

其中,在一些实施例中,判别器网络模型包括若干个执行块,该若干个执行块由若干个卷积层以及卷积层后接一个规范化层和ReLu激活参数构成,各个执行块串联得到第三处理子网络,该第三处理子网络后接全连接层。

具体的,作为一种实施方式,判别器网络模型也可以是由深度卷积神经网络构造得到,包括了多个卷积层、多个下采样层以及全连接层。具体可采用分类网络结构,该分类网络结构包括但不限于简单基线网络(simplebaseline)、密集卷积网络(Densenet)、残差网络(RESnet)、高效网络(EfficientNet)等网络结构。具体的,该判别器网络模型的结构可如图6所示,由若干个执行块串联而成,每个执行块中包括若干个卷积层,每一个卷积层后接着一个批量规范化层和ReLu激活函数。其中,卷积层之间的跳跃连接可通过简单的拼接来实现,即将前面的所有层的输出直接拼接到当前层的输入上。执行块之间可如图6所示,通过卷积conv层和池化pooling层连接。

作为一种具体的实施方式,初始判别器网络模型在接收到初始去伪影图像或者第二样本数据后,具体执行如下处理:

假设输入判别器网络模型的影像尺寸为:512*512*256的待处理的CT图像,对输入的的初始去伪影图像进行卷积下采样处理,经过第一个执行块进行卷积处理后,输出一个256*256*128的影像至第二个执行块。由第二个执行块进行卷积处理,输出一个128*128*64的影像至第三个执行块。由第三个执行块进行卷积处理,输出一个64*64*32的影像至第四个执行块。然后由第四个执行块在此对输入的影像进行卷积处理,并输出影像至第五个执行块,由第五个执行块基于接收到的影像输出目标生成图像。

第五个执行块后连接的两个全连接层对该目标生成图像进行分类,判别该目标生成图像的类别,具体的,由两个全连接层计算目标生成图像与参考输出数据之间的第二输出差异,具体的,可通过计算目标生成图像的各图像特征向量与第二样本数据的各图像特征向量的余弦相似度,确定该第二输出差异。

其中,该第二输出差异与第一输出差异在对比维度上不同。具体的,比如第一输出差异对比的图像维度为图像中的目标对象的颜色相似度,第二输出差异对比的是图像中的目标对象的边缘模糊程度的相似度,不过无论对比维度是什么,第二输出差异的图像对比维度层级高于第一输出差异的图像对比维度,即该第二输出差异越收敛,则意味着生成器网络模型输出的去伪影图像与真实的无伪影图像之间的差异越小,即生成器网络模型输出的去伪影图像的真实度越高。

在执行步骤S242对初始生成器网络模型的参数进行调整时,可参考上述L

其中,L

其中,该相似损失函数主要分为两种情况:

判别器网络模型对有伪影的图像x和生成器网络模型生成的有伪影的图像H进行真假分辨对应的损失。

判别器网络模型对无伪影的图像Y和生成器网络模型生成的无伪影的图像G进行真假分辨对应的损失。

选用本申请实施例,通过在生成器网络模型的基础上,加入一个判别器网络模型,由该判别器网络模型对生成器网络模型输出的去伪影图像进行二次相似度判断,进一步确保生成器网络模型所生成的去伪影图像的真实程度与对应的第二样本数据之间的差异缩小到预设的差异范围,即使得生成器网络模型生成的去伪影图像的真实程度逼近真实的去伪影的图像。如此,使得训练得到的生成器网络模型不仅能够去除CT图像中的伪影,还能使得生成的去伪影的CT图像与真实CT图像无违和感,保证了生成的伪影CT图像的质量。

在本申请实施例中,最终训练完成后得到的最终的预设CT图像生成模型中可以包括训练好的生成器网络模型与训练好的判别器网络模型。

在一些实施例中,若最终参数调整后的生成器网络模型所输出的初始去伪影图像与第二样本数据之间的第一输出差异以及第二输出差异均收敛的情况下,则表明生成器网络模型针对第一样本数据输出的去伪影图像,与对应第二样本数据在多种比较维度上相似度均满足对应的相似度阈值,则在最终深度卷积神经网络模型训练完成后,得到最终的预设CT图像生成模型的网络结构中,可去除判别器网络模型,在产品实际部署时,该预设CT图像生成模型的网络结构中仅包含训练好的生成器网络模型,以节约预设CT图像生成模型对所部署的CT扫描设备的资源占用。

在本申请实施例中,还可在第一样本数据中添加不同伪影类型的标签信息,通过添加的伪影类型的标签信息,对该预设深度卷积神经网络模型进行训练,以使训练得到的预设的CT图像生成模型可对不同类型的伪影类型进行差异化去伪影处理。具体的,作为一种实施方式,可针对不同伪影类型的标签信息,确定对应的损失函数,以及对应的模型参数。在接收到对应类型的伪影待处理CT图像时,直接基于该对应的模型参数对输入的CT图像进行伪影消除,从而提高消除伪影的效率,并使得一个生成器网络模型可支持多种类的伪影的消除,应用范围更为广泛。

第二方面,本申请实施例提供了一种消除CT伪影的装置,如图7所示,该装置70包括:

获取模块701,用于获取目标源CT图像,并将所述目标源CT图像输入至预设CT图像生成模型中;

生成模块702,用于利用所述预设CT图像生成模型对所述目标源CT图像进行去伪影处理,将所述预设CT图像生成模型的输出结果确定为目标去伪影CT图像;

其中,所述预设CT图像生成模型预先通过如下方式获得:

将CT图像训练样本数据对输入至预设深度卷积神经网络模型中,其中,所述CT图像训练样本数据对包括:第一样本数据与第二样本数据,其中,所述第一样本数据为待处理数据,所述第二样本数据为所述第一样本数据对应的参考输出数据;

获取所述预设深度卷积神经网络模型针对所述第一样本数据处理得到的第一输出结果,并计算所述第一输出结果与所述参考输出数据之间的输出结果差异;

基于所述输出结果差异,对所述预设深度卷积神经网络模型进行参数调整,直至所述输出结果差异收敛;

将所述输出结果差异收敛对应的深度卷积神经网络模型确定为所述预设CT图像生成模型。

结合第二方面,在第二种可能的实施例中,所述第一样本数据为整张图像中包含伪影的CT图像,所述第二样本数据为基于所述第一样本数据去除伪影得到的参考CT图像,或者,所述第二样本数据为整张图像中不包含伪影的CT图像,所述第一样本数据为基于所述第二样本数据添加预设伪影特征得到的CT图像。

结合第二方面,在第三种可能的实施例中,所述预设CT图像生成模型的网络结构中至少包括:生成器网络模型,所述生成器网络模型中包括若干个编码器与若干个解码器;

其中,若干个所述编码器串联得到第一处理子网络,若干个所述解码器串联得到第二处理子网络,所述第一处理子网络的输出与所述第二处理子网络的输入连接。

结合第二方面的第三种可能的实施例,在第四种可能的实施例中,所述利用所述预设CT图像生成模型对所述目标源CT图像进行去伪影处理,包括:

将所述目标源CT图像输入至所述第一处理子网络中进行卷积下采样,提取所述目标源CT图像中包含的影像特征;

基于所述第二处理子网络对所述影像特征进行卷积上采样,消除所述影像特征中的伪影特征,得到剩余的影像特征;

根据剩余的影像特征,基于不同的影像参数,生成所述目标去伪影CT图像。

结合第二方面的第三种可能的实施例,在第五种可能的实施例中,

所述预设深度卷积神经网络模型中包括:初始生成器网络模型,所述获取所述预设深度卷积神经网络模型针对所述第一样本数据处理得到的第一输出结果,并计算所述第一输出结果与所述参考输出数据之间的输出结果差异,包括:

将所述第一样本数据输入至所述初始生成器网络模型中,由所述初始生成器网络模型对所述第一样本数据进行卷积处理,得到所述第一样本数据对应的初始去伪影图像;并计算所述初始去伪影图像与所述第二样本数据之间的第一输出差异,其中,所述第一输出差异表征所述初始去伪影图像与所述第二样本数据在第一对比维度上的相似度;

所述基于所述输出结果差异,对所述预设深度卷积神经网络模型进行参数调整,直至所述输出结果差异收敛,包括:

基于所述第一输出差异,对所述初始生成器网络模型的参数进行调整,直至所述第一输出差异收敛;

结合第二方面的第五种可能的实施例,在第六种可能的实施例中,所述预设深度卷积神经网络模型还包括:初始判别器网络模型,所述方法还包括:

将所述初始去伪影图像、所述第二样本数据输入至所述初始判别器网络模型中,由所述初始判别器网络模型计算所述初始伪影图像与所述第二样本数据之间的第二输出差异,其中,所述第二输出差异表征所述初始去伪影图像与所述第二样本数据在第二对比维度上的相似度;

所述基于所述输出结果差异,对所述预设深度卷积神经网络模型进行参数调整,直至所述输出结果差异收敛,包括:

基于所述第二输出差异,对所述初始生成器网络模型的参数、所述初始判别器网络模型的参数进行调整,直至所述第二输出差异收敛。

其中,在本申请中所涉及的用户个人CT图像信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。

本申请实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。

第三方面,本申请实施例还提供一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器。所述存储器存储有能够被所述至少一个处理器执行的计算机程序,所述计算机程序在被所述至少一个处理器执行时用于使所述电子设备执行根据本申请实施例的方法。

第四方面,本申请实施例还提供一种存储有计算机程序的非瞬时计算机可读存储介质,其中,所述计算机程序在被计算机的处理器执行时用于使所述计算机执行根据本申请实施例的方法。

第五方面,本申请实施例还提供一种计算机程序产品,包括计算机程序,其中,所述计算机程序在被计算机的处理器执行时用于使所述计算机执行根据本申请实施例的方法。

参考图8,现将描述可以作为本申请的服务器或客户端的电子设备800的结构框图,其是可以应用于本申请的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图8所示,电子设备800包括计算单元801,其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序,来执行各种适当的动作和处理。在RAM 803中,还可存储电子设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

电子设备800中的多个部件连接至I/O接口805,包括:输入单元806、输出单元807、存储单元808以及通信单元809。输入单元806可以是能向电子设备800输入信息的任何类型的设备,输入单元806可以接收输入的数字或字符信息,以及产生与电子设备的用户设置和/或功能控制有关的键信号输入。输出单元807可以是能呈现信息的任何类型的设备,并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元808可以包括但不限于磁盘、光盘。通信单元809允许电子设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据,并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组,例如蓝牙TM设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。

计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理。例如,在一些实施例中,前述消除CT伪影的方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元808。在一些实施例中,计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到电子设备800上。在一些实施例中,计算单元801可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行前述消除CT伪影的方法。

用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本申请的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

如本申请使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

相关技术
  • 面向医用能谱CT图像的噪声及伪影消除方法
  • 基于图像修复的CT图像金属伪影消除方法
  • 一种生成用于消除CT伪影的校正系数的方法,以及一种基于校正系数消除CT伪影的方法
  • 一种生成用于消除CT伪影的校正系数的方法,以及一种基于校正系数消除CT伪影的方法
技术分类

06120116627109