主动脉血管分割方法、装置、存储介质及电子设备
文献发布时间:2023-06-19 19:14:59
技术领域
本公开涉及图像处理技术领域,具体地,涉及一种主动脉血管分割方法、装置、存储介质及电子设备。
背景技术
相关技术中,随着深度学习技术的发展,基于深度学习技术的医疗图像分割方案得到了广泛应用。目前可利用深度学习技术实现主动脉血管图像分割。然而,基于深度学习技术的主动脉血管图像分割方法,虽然可以有效提取主动脉主干血管,但对主动脉分支血管的提取很有限,尤其是难以提取或分割出人体腹部的主动脉分支细血管。因此目前亟需一种提取完整的主动脉主干血管及分支血管的方法。
发明内容
为了解决相关技术中存在的问题,本公开提供一种主动脉血管分割方法、装置、存储介质及电子设备。
为了实现上述目的,本公开实施例的第一方面提供一种主动脉血管分割方法,所述方法包括:
获取主动脉CTA图像;
将所述CTA图像输入训练完成的主动脉主干血管提取模型,得到主动脉主干血管图像,所述主动脉主干血管图像为二值图像;
对所述CTA图像进行图像增强处理,得到主动脉分支血管增强图像,所述主动脉分支血管增强图像为二值图像;
根据所述主动脉主干血管图像和所述主动脉分支血管增强图像,从所述CTA图像中分割出主动脉血管图像。
可选地,所述对所述CTA图像进行图像增强处理,得到主动脉分支血管增强图像,包括:
基于hessian递归高斯函数确定所述CTA图像对应的hessian图像;
根据hessian3D血管度量函数对所述hessian图像进行处理,得到管状物增强图像;
根据预设的第一管状对象度量值区间对所述管状物增强图像进行二进制阈值分割处理,得到所述主动脉分支血管增强图像。
可选地,所述基于hessian递归高斯函数确定所述CTA图像对应的hessian图像,包括:
根据sigma值为第一预设值的hessian递归高斯函数对所述CTA图像进行处理,得到第一hessian图像;
根据sigma值为第二预设值的hessian递归高斯函数对所述CTA图像进行处理,得到第二hessian图像;
所述hessian图像包括所述第一hessian图像和所述第二hessian图像。
可选地,所述hessian图像包括第一hessian图像和第二hessian图像,相应地,所述管状物增强图像包括第一管状物增强图像和第二管状物增强图像,所述根据预设的第一管状对象度量值区间对所述管状物增强图像进行二进制阈值分割处理,得到所述主动脉分支血管增强图像,包括:
根据所述第一管状对象度量值区间对所述第一管状物增强图像进行二进制阈值分割处理,得到第一分支血管增强图像;
根据所述第一管状对象度量值区间对所述第二管状物增强图像进行二进制阈值分割处理,得到第二分支血管增强图像;
其中,所述主动脉分支血管增强图像包括所述第一分支血管增强图像和所述第二分支血管增强图像,所述第一分支血管增强图像中的血管粗细与确定第一hessian图像时使用的sigma值的大小正相关,相应地,所述第二分支血管增强图像中的血管粗细与确定第二hessian图像时使用的sigma值的大小正相关。
可选地,所述主动脉分支血管增强图像包括第一分支血管增强图像和第二分支血管增强图像,所述根据所述主动脉主干血管图像和所述主动脉分支血管增强图像,从所述CTA图像中分割出主动脉血管图像,包括:
对所述主动脉主干血管图像、所述第一分支血管增强图像、以及所述第二分支血管增强图像进行图像配准处理;
将配准后的所述主动脉主干血管图像、所述第一分支血管增强图像、以及所述第二分支血管增强图像的并集确定为第一主动脉血管图像;
对所述第一主动脉血管图像进行去噪声处理,得到第二主动脉血管图像;
对所述第二主动脉血管图像进行血管补全处理,得到所述主动脉血管图像。
可选地,所述对所述第一主动脉血管图像进行去噪声处理,得到第二主动脉血管图像,包括:
对所述第一主动脉血管图像进行腐蚀处理,得到腐蚀后第一主动脉血管图像;
对所述腐蚀后第一主动脉血管图像进行连通组件分析,以确定包括体素数量最多的第一目标连通组件;
对所述第一目标连通组件对应的二值图像进行膨胀处理,得到所述第二主动脉血管图像。
可选地,所述管状物增强图像包括第一管状物增强图像和第二管状物增强图像,所述对所述第二主动脉血管图像进行血管补全处理,得到所述主动脉血管图像,包括:
根据预设的第二管状对象度量值区间对目标管状物增强图像进行二进制阈值分割处理,得到第三分支血管增强图像,所述目标管状物增强图像是所述第一管状物增强图像和所述第二管状物增强图像中的一者,所述第二管状对象度量值区间的下限值大于所述第一管状对象度量值区间的下限值;
对所述主动脉主干血管图像和所述第三分支血管增强图像进行图像配准处理,将配准后的所述主动脉主干血管图像和所述第三分支血管增强图像的并集确定为第三主动脉血管图像;
对所述第三主动脉血管图像进行连通组件分析,以确定包括体素数量最多的第二目标连通组件;
将所述第二目标连通组件对应的二值图像与所述第二主动脉血管图像的并集确定为所述主动脉血管图像。
本公开实施例的第二方面提供一种主动脉血管分割装置,所述装置包括:
获取模块,用于获取主动脉CTA图像;
输入模块,用于将所述CTA图像输入训练完成的主动脉主干血管提取模型,得到主动脉主干血管图像,所述主动脉主干血管图像为二值图像;
执行模块,用于对所述CTA图像进行图像增强处理,得到主动脉分支血管增强图像,所述主动脉分支血管增强图像为二值图像;
分割模块,用于根据所述主动脉主干血管图像和所述主动脉分支血管增强图像,从所述CTA图像中分割出主动脉血管图像。
可选地,所述执行模块包括:
第一确定子模块,用于基于hessian递归高斯函数确定所述CTA图像对应的hessian图像;
第二确定子模块,用于根据hessian3D血管度量函数对所述hessian图像进行处理,得到管状物增强图像;
第一分割子模块,用于根据预设的第一管状对象度量值区间对所述管状物增强图像进行二进制阈值分割处理,得到所述主动脉分支血管增强图像。
可选地,所述第一确定子模块,包括:
第一处理子模块,用于根据sigma值为第一预设值的hessian递归高斯函数对所述CTA图像进行处理,得到第一hessian图像;
第二处理子模块,用于根据sigma值为第二预设值的hessian递归高斯函数对所述CTA图像进行处理,得到第二hessian图像;所述hessian图像包括所述第一hessian图像和所述第二hessian图像。
可选地,所述hessian图像包括第一hessian图像和第二hessian图像,相应地,所述管状物增强图像包括第一管状物增强图像和第二管状物增强图像,所述第一分割子模块,包括:
第二分割子模块,用于根据所述第一管状对象度量值区间对所述第一管状物增强图像进行二进制阈值分割处理,得到第一分支血管增强图像;
第三分割子模块,用于根据所述第一管状对象度量值区间对所述第二管状物增强图像进行二进制阈值分割处理,得到第二分支血管增强图像;其中,所述主动脉分支血管增强图像包括所述第一分支血管增强图像和所述第二分支血管增强图像,所述第一分支血管增强图像中的血管粗细与确定第一hessian图像时使用的sigma值的大小正相关,相应地,所述第二分支血管增强图像中的血管粗细与确定第二hessian图像时使用的sigma值的大小正相关。
可选地,所述主动脉分支血管增强图像包括第一分支血管增强图像和第二分支血管增强图像,所述分割模块,包括:
第一配准子模块,用于对所述主动脉主干血管图像、所述第一分支血管增强图像、以及所述第二分支血管增强图像进行图像配准处理;
第一并集操作子模块,用于将配准后的所述主动脉主干血管图像、所述第一分支血管增强图像、以及所述第二分支血管增强图像的并集确定为第一主动脉血管图像;
去噪声子模块,用于对所述第一主动脉血管图像进行去噪声处理,得到第二主动脉血管图像;
补全子模块,用于对所述第二主动脉血管图像进行血管补全处理,得到所述主动脉血管图像。
可选地,所述去噪声子模块用于:
对所述第一主动脉血管图像进行腐蚀处理,得到腐蚀后第一主动脉血管图像;对所述腐蚀后第一主动脉血管图像进行连通组件分析,以确定包括体素数量最多的第一目标连通组件;对所述第一目标连通组件对应的二值图像进行膨胀处理,得到所述第二主动脉血管图像。
可选地,所述管状物增强图像包括第一管状物增强图像和第二管状物增强图像,所述补全子模块用于:
根据预设的第二管状对象度量值区间对目标管状物增强图像进行二进制阈值分割处理,得到第三分支血管增强图像,所述目标管状物增强图像是所述第一管状物增强图像和所述第二管状物增强图像中的一者,所述第二管状对象度量值区间的下限值大于所述第一管状对象度量值区间的下限值;
对所述主动脉主干血管图像和所述第三分支血管增强图像进行图像配准处理,将配准后的所述主动脉主干血管图像和所述第三分支血管增强图像的并集确定为第三主动脉血管图像;
对所述第三主动脉血管图像进行连通组件分析,以确定包括体素数量最多的第二目标连通组件;
将所述第二目标连通组件对应的二值图像与所述第二主动脉血管图像的并集确定为所述主动脉血管图像。
本公开实施例的第三方面提供一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现第一方面所述的主动脉血管分割方法的步骤。
本公开实施例的第四方面提供一种电子设备,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现第一方面所述的主动脉血管分割方法的步骤。
采用上述技术方案,至少可以达到如下的有益技术效果:
获取主动脉CTA图像。并将CTA图像输入训练完成的主动脉主干血管提取模型,得到主动脉主干血管图像。对CTA图像进行图像增强处理,得到主动脉分支血管增强图像。根据主动脉主干血管图像和主动脉分支血管增强图像这两个二值图像,可从CTA图像中分割出主动脉血管图像。本公开这种方式因使用基于深度学习技术的主动脉主干血管提取模型而可以很好的提取出主动脉主干血管,而对CTA图像进行图像增强处理可以凸显主动脉分支血管,进而更容易的分割出主动脉分支血管。因此,采用本公开这种方式,可有效的提取出完整的主动脉主干血管及分支血管。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:
图1是根据一示例性实施例示出的一种主动脉血管分割方法的流程图。
图2是根据一示例性实施例示出的一种主动脉CTA图像的灰度图。
图3是根据一示例性实施例示出的一种主动脉主干血管的灰度图。
图4是根据一示例性实施例示出的一种主动脉主干血管及分支血管的灰度图。
图5是根据一示例性实施例示出的一种主动脉血管分割装置的框图。
图6是根据一示例性实施例示出的一种用于实现主动脉血管分割的电子设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本公开,并不用于限制本公开。
需要说明的是,本公开中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下,并获得由相应装置所有者给予授权的情况下进行的。
对于健康人,由于健康人的主动脉完整并且血液密度均匀,所以可以很容易的从健康人的主动脉血管造影图像中识别并提取出主动脉血管。然而,在主动脉出现病变后,如发生主动脉夹层疾病之后,因主动脉夹层假腔域密度较低、且主动脉血管与周围组织混淆,而难以从主动脉血管造影图像中识别、提取出主动脉血管。
相关技术中,随着深度学习技术的发展,基于深度学习技术的医疗图像分割方案得到了广泛应用。目前可利用深度学习技术实现主动脉血管图像分割。然而,基于深度学习技术的主动脉血管图像分割方法,虽然可以有效提取主动脉主干血管,但对主动脉分支血管的提取很有限,尤其是难以提取或分割出人体腹部的主动脉分支细血管。原因在于,主动脉主干血管与主动脉分支血管的体积差异较大,模型难以同时学习主动脉主干血管特征和主动脉分支血管特征。而且,因主动脉分支血管太细小而难以标注,缺少用于训练模型的有效标注数据,所以也很难得到精准度高的用于分割出主动脉分支血管的模型。
有鉴于此,本公开实施例提出一种主动脉血管分割方法、装置、存储介质及电子设备,以有效的分割出完整的主动脉主干血管及分支血管。
图1是根据一示例性实施例示出的一种主动脉血管分割方法的流程图。如图1所示,该主动脉血管分割方法包括以下步骤:
S11、获取主动脉CTA图像。
其中,主动脉CTA(Computed Tomography Angiography)图像是指患者进行主动脉CTA检查后所得到的图像,亦可以称为主动脉CT血管造影图像。主动脉CTA图像为3D图像。其中,CT(Computed Tomography)是指电子计算机断层扫描,它是一种利用精确准直的X线束、γ射线、超声波等,与灵敏度极高的探测器一同围绕人体的某一部位作一个接一个的断面扫描,从而得到三维的CT图像的技术。
由于主动脉是人体内最粗大的动脉管,其从心脏的左心室发出,向上向右再向下略呈弓状,再沿脊柱向下行,在胸腔和腹腔内分出很多较小的动脉。所以,对患者进行主动脉CTA检查,主要是针对患者的胸腔和腹腔部位进行CTA检查。主动脉CTA图像中包括主动脉3D血管图像,主动脉3D血管图像包括主动脉主干血管和主动脉分支血管。
主动脉CTA图像通常包括500层以上的2D图层,每一2D图层的图像分辨率较高,可达512*512。各图层之间的轴向间距一般在0.5至2mm之间。其中轴向是指CT断层扫描的Z轴方向,一般情况下该轴向为人体脊柱方向。
S12、将所述CTA图像输入训练完成的主动脉主干血管提取模型,得到主动脉主干血管图像,所述主动脉主干血管图像为二值图像。
本公开的主动脉主干血管提取模型可以是采用相关技术中的nnUNet深度学习框架的模型。将CTA图像输入训练完成的主动脉主干血管提取模型,可得到主动脉主干血管提取模型输出的主动脉主干血管图像,该主动脉主干血管图像为二值图像。二值图像中值为1的体素表征主动脉主干血管,值为0的体素表征非主动脉主干血管。此处应说明的是,由于主动脉主干血管提取模型的训练方式与相关技术中的2D UNet模型的训练方式相类似,因此,此处不再对模型训练方式进行赘述。其中,体素是指,在CT图像处理时将选定层面分成若干个体积相同的立方体,每一立方体均称为体素。即是说,体素是三维空间分割上的最小单位。体素用于三维成像、科学数据与医学影像等领域。体素概念上类似二维空间的最小单位像素,只是说像素是用在二维计算机图像的影像数据上。
在一些实施方式中,在主动脉主干血管提取模型的架构为相关技术中的nnUNet深度学习框架的情况下,主动脉主干血管提取模型包括多个下采样网络层。每一下采样网络层的损失函数可以包括cross-entropy(交叉熵)损失函数部分和Dice损失函数部分。所有下采样网络层对应的损失值的加权之和为主动脉主干血管提取模型的总损失。示例地,假设下采样网络层的数量为5,那么总损失为L=w1·L1+w2·L2+w3·L3+w4·L4+w5·L5,其中,w表征权重,L表征下采样网络层的损失。其中,权重w随着下采样网络层的分辨降低而减半,即w2=1/2·w1;w3=1/4·w1;w4=1/8·w1;w5=1/16·w1,且,w1+w2+w3+w4+w5=1。
S13、对所述CTA图像进行图像增强处理,得到主动脉分支血管增强图像,所述主动脉分支血管增强图像为二值图像。
图像增强处理是指增强图像中的有用信息,它可以是一个失真的过程,其目的是要改善图像的视觉效果。如有目的地强调图像的整体或局部特性,将原来不清晰的图像变得清晰或强调某些感兴趣的特征,扩大图像中不同物体特征之间的差别,抑制不感兴趣的特征,使之改善图像质量、丰富信息量,加强图像判读和识别效果,以满足图像分析需求。
在本公开实施例中,可通过对CTA图像进行图像增强处理,以凸显CTA图像中的主动脉分支血管部分,从而得到主动脉分支血管增强图像。
S14、根据所述主动脉主干血管图像和所述主动脉分支血管增强图像,从所述CTA图像中分割出主动脉血管图像。
由于主动脉主干血管图像和主动脉分支血管增强图像均为二值图像,因此根据主动脉主干血管图像和主动脉分支血管增强图像,可从CTA图像中分割出包括主动脉主干血管和主动脉分支血管的主动脉血管图像。例如,确定二值图像中值为1的体素的目标坐标。然后提取CTA图像中的目标坐标对应的体素,这些提取到的体素组成主动脉血管图像。
采用上述方法,通过获取主动脉CTA图像。将CTA图像输入训练完成的主动脉主干血管提取模型,得到主动脉主干血管图像。对CTA图像进行图像增强处理,得到主动脉分支血管增强图像。根据主动脉主干血管图像和主动脉分支血管增强图像,从CTA图像中分割出主动脉血管图像。本公开这种方式因使用基于深度学习技术的主动脉主干血管提取模型而可以很好的提取出主动脉主干血管,而对CTA图像进行图像增强处理可以凸显主动脉分支血管,进而更容易的分割出主动脉分支血管。因此,采用本公开这种方式,可有效的提取出完整的主动脉主干及分支血管。
可选地,所述对所述CTA图像进行图像增强处理,得到主动脉分支血管增强图像,包括:
基于hessian递归高斯函数确定所述CTA图像对应的hessian图像;根据hessian3D血管度量函数对所述hessian图像进行处理,得到管状物增强图像;根据预设的第一管状对象度量值区间对所述管状物增强图像进行二进制阈值分割处理,得到所述主动脉分支血管增强图像。
其中,hessian递归高斯函数是指相关技术中的ITK图像处理工具中的hessian_recursive_gaussian函数。该hessian_recursive_gaussian函数用于求解输入图像的hessian图像。该hessian_recursive_gaussian函数的原理及处理过程可参见相关技术中的介绍或hessian_recursive_gaussian函数的源代码,本公开对此不作解说。
hessian3D血管度量函数是指相关技术中的ITK图像处理工具中的Hessian3DtoVesselnessMeasure函数。该Hessian3DtoVesselnessMeasure函数用于获得图像中的管状对象度量,以生成图像的管状物增强图像。该Hessian3DtoVesselnessMeasure函数的原理及处理过程可参见相关技术中的介绍或Hessian3DtoVesselnessMeasure函数的源代码,本公开对此不作解说。
在具体实施时,可借助ITK图像处理工具,使用ITK图像处理工具中的hessian递归高斯函数求解CTA图像对应的hessian图像。使用hessian3D血管度量函数对hessian图像进行处理,获得管状对象度量,生成管状物增强图像。由于使用hessian3D血管度量函数对hessian图像进行处理,生成的管状物增强图像中,非管状对象度量值一般小于2,而管状对象度量值一般不超过500,所以可将第一管状对象度量值区间设置为[2,500]。如此,可根据第一管状对象度量值区间[2,500]对管状物增强图像进行二进制阈值分割处理,得到主动脉分支血管增强图像。
其中,实现二进制阈值分割处理的算法可以是相关技术中的ITK图像处理工具中的BinaryThreshold函数。根据第一管状对象度量值区间[2,500]对管状物增强图像进行二进制阈值分割处理的过程大致是,将管状物增强图像中体素值处于区间[2,500]的体素的值重新置为1,其余体素的值重新置为0,最后得到的二值图像即为主动脉分支血管增强图像。
可选地,所述基于hessian递归高斯函数确定所述CTA图像对应的hessian图像,包括:
根据sigma值为第一预设值的hessian递归高斯函数对所述CTA图像进行处理,得到第一hessian图像;根据sigma值为第二预设值的hessian递归高斯函数对所述CTA图像进行处理,得到第二hessian图像;所述hessian图像包括所述第一hessian图像和所述第二hessian图像。
ITK图像处理工具中的hessian_recursive_gaussian函数的一个重要参数是sigma,该参数是hessian图像估计期间使用的平滑量。可以简单的理解为高斯函数部分的方差。
考虑到主动脉分支血管仍然存在粗细不均的情况,为了更好的提取出主动脉分支细血管和主动脉分支粗血管,本公开实施例提出为sigma参数设置多个不同的值。例如,将sigma参数的值设置为第一预设值2.5,以用于更好的提取主动脉分支粗血管。又例如,将sigma参数的值设置为第二预设值1.0,以用于更好的提取主动脉分支细血管。这样,根据sigma值为第一预设值2.5的hessian递归高斯函数对CTA图像进行处理,可得到主动脉分支粗血管对应的第一hessian图像。根据sigma值为第二预设值1.0的hessian递归高斯函数对CTA图像进行处理,可得到主动脉分支细血管对应的第二hessian图像。
在hessian图像包括第一hessian图像和第二hessian图像的情况下,管状物增强图像相应地包括第一管状物增强图像和第二管状物增强图像。示例地,根据hessian3D血管度量函数对第一hessian图像进行处理,得到第一管状物增强图像。根据hessian3D血管度量函数对第二hessian图像进行处理,得到第二管状物增强图像。
可选地,所述根据预设的第一管状对象度量值区间对所述管状物增强图像进行二进制阈值分割处理,得到所述主动脉分支血管增强图像,包括:
根据所述第一管状对象度量值区间对所述第一管状物增强图像进行二进制阈值分割处理,得到第一分支血管增强图像;根据所述第一管状对象度量值区间对所述第二管状物增强图像进行二进制阈值分割处理,得到第二分支血管增强图像;其中,所述主动脉分支血管增强图像包括所述第一分支血管增强图像和所述第二分支血管增强图像,所述第一分支血管增强图像中的血管粗细与确定第一hessian图像时使用的sigma值的大小正相关,相应地,所述第二分支血管增强图像中的血管粗细与确定第二hessian图像时使用的sigma值的大小正相关。
示例地,假设第一管状对象度量值区间为[2,500],那么根据第一管状对象度量值区间[2,500]对第一管状物增强图像进行二进制阈值分割处理,可得到第一分支血管增强图像。根据第一管状对象度量值区间[2,500]对第二管状物增强图像进行二进制阈值分割处理,可得到第二分支血管增强图像。其中,第一分支血管增强图像中的血管粗细与确定第一hessian图像时使用的sigma值的大小正相关,相应地,第二分支血管增强图像中的血管粗细与确定第二hessian图像时使用的sigma值的大小正相关。例如,如果第一hessian图像对应的sigma值为2.5,第二hessian图像对应的sigma值为1.0,那么第一分支血管增强图像中的血管比第二分支血管增强图像中的血管更粗。
可选地,所述主动脉分支血管增强图像包括第一分支血管增强图像和第二分支血管增强图像,所述根据所述主动脉主干血管图像和所述主动脉分支血管增强图像,从所述CTA图像中分割出主动脉血管图像,包括:
对所述主动脉主干血管图像、所述第一分支血管增强图像、以及所述第二分支血管增强图像进行图像配准处理;将配准后的所述主动脉主干血管图像、所述第一分支血管增强图像、以及所述第二分支血管增强图像的并集确定为第一主动脉血管图像;对所述第一主动脉血管图像进行去噪声处理,得到第二主动脉血管图像;对所述第二主动脉血管图像进行血管补全处理,得到所述主动脉血管图像。
配准(registration)是指同一区域内以不同成像手段所获得的不同图像图形的地理坐标的匹配。包括几何纠正、投影变换与统一比例尺三方面的处理。在本公开中,图像配准是指将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程。配准处理流程大致是,对多幅图像进行特征提取得到特征点;通过进行相似性度量找到一幅图像中的点与另一幅图像中的点相互匹配的特征点对;然后通过匹配的特征点对得到图像空间坐标变换参数;最后由坐标变换参数进行图像配准。
示例地,在得到分别表征动脉分支细血管和主动脉分支粗血管的第一分支血管增强图像和第二分支血管增强图像之后,可对主动脉主干血管图像、第一分支血管增强图像、以及第二分支血管增强图像进行图像配准处理。将配准后的主动脉主干血管图像、第一分支血管增强图像、以及第二分支血管增强图像的并集确定为第一主动脉血管图像。即第一主动脉血管图像中的值为1的体素是配准后的主动脉主干血管图像、第一分支血管增强图像、以及第二分支血管增强图像中的值为1的体素的并集。该第一主动脉血管图像包括主动脉主干血管、动脉分支细血管和主动脉分支粗血管。
不可避免的,第一分支血管增强图像和第二分支血管增强图像中可能存在对其他管状物进行增强处理而产生的干扰信息,如骨骼、边缘域等。因此,在根据第一分支血管增强图像和第二分支血管增强图像得到第一主动脉血管图像之后,还需要对第一主动脉血管图像进行去噪声处理(即去干扰信息处理),得到第二主动脉血管图像。而在对第一主动脉血管图像进行去噪声处理的过程中,往往会将尾端的细小血管当做干扰信息消除掉,所以进一步地,还需要对第二主动脉血管图像进行血管补全处理,以得到完整的主动脉血管图像。
可选地,所述对所述第一主动脉血管图像进行去噪声处理,得到第二主动脉血管图像,包括:
对所述第一主动脉血管图像进行腐蚀处理,得到腐蚀后第一主动脉血管图像;对所述腐蚀后第一主动脉血管图像进行连通组件分析,以确定包括体素数量最多的第一目标连通组件;对所述第一目标连通组件对应的二值图像进行膨胀处理,得到所述第二主动脉血管图像。
示例地,使用相关技术中的ITK图像处理工具中的BinaryErodeImageFilter(二进制腐蚀图像过滤)函数对第一主动脉血管图像进行腐蚀处理,以让虚连的管状物彼此分离,从而得到腐蚀后的第一主动脉血管图像。基于主动脉血管的生物特征,主动脉血管在图像中的占比最大,因此可对腐蚀后第一主动脉血管图像进行连通组件分析,以确定包括体素数量最多的第一目标连通组件。第一目标连通组件表征的是主动脉血管。使用ITK图像处理工具中的BinaryDilateImageFilter(二进制膨胀图像过滤)函数对第一目标连通组件对应的二值图像进行膨胀处理,以从腐蚀状态恢复到腐蚀前的状态,从而得到第二主动脉血管图像。其中,应解释的是,连通组件表征3D图像中具有相同体素值(或满足特定相似性准则)且位置相邻的前景体素点组成的3D图像区域。连通组件分析即是识别出所有的连通组件。
可选地,所述管状物增强图像包括第一管状物增强图像和第二管状物增强图像,所述对所述第二主动脉血管图像进行血管补全处理,得到所述主动脉血管图像,包括:
根据预设的第二管状对象度量值区间对目标管状物增强图像进行二进制阈值分割处理,得到第三分支血管增强图像,所述目标管状物增强图像是所述第一管状物增强图像和所述第二管状物增强图像中的一者,所述第二管状对象度量值区间的下限值大于所述第一管状对象度量值区间的下限值;对所述主动脉主干血管图像和所述第三分支血管增强图像进行图像配准处理,将配准后的所述主动脉主干血管图像和所述第三分支血管增强图像的并集确定为第三主动脉血管图像;对所述第三主动脉血管图像进行连通组件分析,以确定包括体素数量最多的第二目标连通组件;将所述第二目标连通组件对应的二值图像与所述第二主动脉血管图像的并集确定为所述主动脉血管图像。
由于使用hessian3D血管度量函数对hessian图像进行处理,生成的管状物增强图像中,非管状对象度量值一般小于2,而管状对象度量值一般不超过500,所以,可根据第一管状对象度量值区间[2,500]对管状物增强图像进行二进制阈值分割处理,得到主动脉分支血管增强图像。
而本公开发明人发现,增大第一管状对象度量值区间的下限值同样可以实现管状物分离,但是第一管状对象度量值区间的下限值增大会造成主动脉分支血管连接处的部分区域缺失,导致连接不饱满(即存在类似齿痕的缺口)或不连贯,不过分支血管本身不受影响(如分支血管的尾端不受影响),分支血管依然完整。因此本公开实施例提出利用这个特点来找回由于腐蚀而缺失的分支血管的尾端部分。具体示例如下:
假设第一管状对象度量值区间为[2,500],那么第二管状对象度量值区间可以设置为[5,500]。根据第二管状对象度量值区间[5,500]对目标管状物增强图像进行二进制阈值分割处理,得到第三分支血管增强图像。对主动脉主干血管图像和第三分支血管增强图像进行图像配准处理,将配准后的主动脉主干血管图像和第三分支血管增强图像的并集确定为第三主动脉血管图像。对第三主动脉血管图像进行连通组件分析,以确定包括体素数量最多的第二目标连通组件。根据第二目标连通组件对应的二值图像对第二主动脉血管图像进行补全,如将第二目标连通组件对应的二值图像与第二主动脉血管图像的并集确定为主动脉血管图像。
采用本公开上述方式,通过获取主动脉CTA图像,该主动脉CTA图像的灰度图如图2所示。将该CTA图像输入训练完成的主动脉主干血管提取模型,可得到主动脉主干血管图像,该主动脉主干血管图像对应的灰度图如图3所示。对该CTA图像进行图像增强处理,可得到主动脉分支血管增强图像。根据主动脉主干血管图像和主动脉分支血管增强图像,从CTA图像中分割出主动脉血管图像,该主动脉血管图像的灰度图如图4所示。也就是说,本公开提出的主动脉血管分割方法,融合了深度学习技术与传统图像处理技术,图像血管增强处理可以凸显管状物,实现血管的有效提取,对主动脉分支血管提取很有效。但由于主动脉主干过粗,再加上夹层区域干扰,利用图像血管增强处理的方式提取主动脉主干血管的效果不佳。而利用深度学习技术,通过模型训练,可以实现较好的主动脉主干血管提取。本发明融合了两者优势,实现了完整的主动脉主干血管及分支血管的有效提取。
在一些实施方式中,由于CTA图像中各个体素之间的空间间隔(spacing)不一定相同,而CTA图像中各个体素之间的空间间隔不相同时,会对主动脉主干血管提取模型的输出结果的准确性造成影响,所以,在本公开实施例中,在将CTA图像输入训练完成的主动脉主干血管提取模型之前,可对CTA图像进行体素间隔预处理。例如,在将CTA图像输入训练完成的主动脉主干血管提取模型之前,对CTA图像进行重采样(resampling)处理,以使CTA图像中各体素之间的空间间隔一致。重采样的实施方式可以是,确定CTA图像中X轴轴向上的各个体素的空间间隔均值ΔX,采用相关技术中的三次样条插值算法或其他插值算法进行图像变换处理,使得变换后的图像中X轴轴向上的各个体素之间的空间间隔均为ΔX。
同理地,可确定CTA图像中Y轴轴向上的各个体素的空间间隔均值ΔY,以及确定CTA图像中Z轴轴向上的各个体素的空间间隔均值ΔZ。采用三次样条插值算法或其他插值算法进行图像变换处理,使得变换后的图像中Y轴轴向上的各个体素之间的空间间隔均为ΔY,Z轴轴向上的各个体素之间的空间间隔均为ΔZ。
另一方面,由于CTA图像中的图层数量较多,且各个图层的分辨率较高,所以CTA图像的文件体积较大。CTA图像的文件体积越大,越会加大主动脉主干血管提取模型的负载和降低主动脉主干血管提取模型的运算效率。为了降低主动脉主干血管提取模型的负载和提升主动脉主干血管提取模型的运算效率,本公开实施例提出,可在将CTA图像输入训练完成的主动脉主干血管提取模型之前,对CTA图像进行预分割处理。例如,从CTA图像中识别并分割出主动脉血管所在的感兴趣区域图像。然后,将感兴趣区域图像输入训练完成的主动脉主干血管提取模型,得到主动脉主干血管图像。
一种从CTA图像中识别并分割出主动脉血管所在的感兴趣区域图像的实施方式可以是,从CTA图像中提取骨架图像,并确定骨架图像的中心轴。从CTA图像中切割出以该中心轴为轴心、预设X轴轴向长度、以及预设Y轴轴向长度的立方体图像。将该立方体图像确定为包括主动脉3D血管的感兴趣区域图像。
详细地,鉴于主动脉被包含在胸骨骨架内的生理特征、以及骨骼影像密度较高,很容易提取的特征,本公开实施例提出可以先从CTA图像中确定骨架所在的图像区域,然后从骨架所在的图像区域内进一步提取出完整的主动脉3D血管图像。
示例地,从CTA图像中提取骨架图像,并确定骨架图像的中心轴。从CTA图像中切割出以该中心轴为轴心、预设X轴轴向长度、以及预设Y轴轴向长度的立方体图像。从立方体图像中提取主动脉3D血管图像。其中,中心轴为Z轴。预设X轴轴向长度、以及预设Y轴轴向长度为经验值。详细地,可以使用相关技术中的图像处理工具,对骨架图像进行形状特性分析,并确定骨架的外接立方体的初始顶点坐标(X
可选地,从CTA图像中提取骨架图像的方式可以是:
根据骨骼灰度阈值对CTA图像进行图像阈值分割,得到对应的骨骼区域图像,骨骼区域图像中每一体素的灰度值大于该骨骼灰度阈值;对骨骼区域图像的二值图像进行连通组件分析,得到骨骼区域图像的至少一个连通组件;将骨骼区域图像的至少一个连通组件中的体素数量最多的连通组件作为骨骼组件,并将骨骼组件对应的图像作为骨架图像。
其中,骨骼灰度阈值可以设置为200HU。根据骨骼灰度阈值200对CTA图像进行图像阈值分割,可以得到对应的骨骼区域图像。该骨骼区域图像中每一体素的灰度值均大于(或等于)骨骼灰度阈值200。骨骼灰度阈值200可以不是精确的骨骼提取值,原因在于,本公开实施例只是为了确定骨骼所在的骨骼区域图像,不要求骨骼区域图像中的每一体素均表征骨骼,该骨骼区域图像中可以包括表征非骨骼的其他体素。
在得到骨骼所在的骨骼区域图像之后,可以对该骨骼区域图像的二值图像进行连通组件分析,以得到该骨骼区域图像的至少一个连通组件。将骨骼区域图像的至少一个连通组件中的体素数量最多的连通组件作为骨骼组件,并将骨骼组件对应的图像作为骨架图像。
另外一种可能的情况,即便从CTA图像中识别并分割出主动脉血管所在的感兴趣区域图像,而感兴趣区域图像的体积也可能较大,而感兴趣区域图像的体积越大,承载主动脉主干血管提取模型的电子设备的GPU显存以及算力越难以满足需求。然而此种情况下,已经无法进一步从感兴趣区域图像中分割出更小的图像。因此,在一些实施方式中,可对输入主动脉主干血管提取模型的感兴趣区域图像(或者是未进行预处理的CTA图像)进行分块(patch)处理,得到多个patch(可通俗的理解为是图像块),然后以patch为单位将感兴趣区域图像(或者是未进行预处理的CTA图像)输入主动脉主干血管提取模型。
其中,patch处理的原理可参见相关技术,本公开在此处仅说明本公开使用的patch大小。本公开实施例中patch的大小可以为2的N次幂的倍数,这里N为主动脉主干血管提取模型的下采样网络层(Downsampling)的数量,2为池化核的大小。图像块经过N次下采样网络层处理后,得到的特征图feature map的大小需要达到4到10左右。例如本公开可使用的图像块大小为(288,97,80),其下采样网络层的数量为[5,4,4](每个轴向上的下采样网络层的数量可以不同),对应的下采样核为[2,2,2]、[2,2,2]、[2,2,2]、[2,2,2]、[2,1,1]。
在一些实施方式中,在将CTA图像输入训练完成的主动脉主干血管提取模型之前,还可对CTA图像进行图像增强处理。
示例地,按patch大小随机切割CTA图像,并针对每一patch进行图像增强处理。图像增强处理包括以下至少一项增强处理:
弹性变换处理:弹性变换处理参数alpha的取值范围可设置为[0,900],参数sigma的取值范围可设置为[9,13],应用概率可设置为0.2;其中,应用概率是指随机生成一个属于0-1之间的数值,若生成的该数值小于或等于0.2,则使用弹性变换处理对patch进行图像增强处理。若生成的该数值大于0.2,则跳过使用弹性变换处理对patch进行图像增强处理的步骤。
伸缩变换处理:伸缩比率可设置为[0.65,1.6],应用概率可设置为0.3;
随机旋转处理:旋转幅度可设置为[-15,15](单位为角度),应用概率可设置为0.2;
Gamma变换处理:变换范围可设置为[0.7,0.5],应用概率可设置为0.2;
对比度增强处理:饱和度因子可设置为[0.1,1.9],应用概率可设置为0.2;
Cutout增强处理:可设置为填充矩形,其宽高与图像宽高比例系数范围可设置为[0,0.4],填充像素值可设置为图像平均值,应用概率可设置为0.2。
上述各项图像增强处理方法中各个参数的含义可参见相关技术,本公开对此不作详细解说。
图5是根据本公开一示例性实施例示出的一种主动脉血管分割装置的框图,如图5所示,该主动脉血管分割装置500包括:
获取模块510,用于获取主动脉CTA图像;
输入模块520,用于将所述CTA图像输入训练完成的主动脉主干血管提取模型,得到主动脉主干血管图像,所述主动脉主干血管图像为二值图像;
执行模块530,用于对所述CTA图像进行图像增强处理,得到主动脉分支血管增强图像,所述主动脉分支血管增强图像为二值图像;
分割模块540,用于根据所述主动脉主干血管图像和所述主动脉分支血管增强图像,从所述CTA图像中分割出主动脉血管图像。
采用上述装置500,通过获取主动脉CTA图像。并将CTA图像输入训练完成的主动脉主干血管提取模型,得到主动脉主干血管图像。对CTA图像进行图像增强处理,得到主动脉分支血管增强图像。根据主动脉主干血管图像和主动脉分支血管增强图像这两个二值图像,可从CTA图像中分割出主动脉血管图像。本公开这种方式因使用基于深度学习技术的主动脉主干血管提取模型而可以很好的提取出主动脉主干血管,而对CTA图像进行图像增强处理可以凸显主动脉分支血管,进而更容易的分割出主动脉分支血管。因此,采用本公开这种方式,可有效的提取出完整的主动脉主干血管及分支血管。
可选地,所述执行模块530包括:
第一确定子模块,用于基于hessian递归高斯函数确定所述CTA图像对应的hessian图像;
第二确定子模块,用于根据hessian3D血管度量函数对所述hessian图像进行处理,得到管状物增强图像;
第一分割子模块,用于根据预设的第一管状对象度量值区间对所述管状物增强图像进行二进制阈值分割处理,得到所述主动脉分支血管增强图像。
可选地,所述第一确定子模块,包括:
第一处理子模块,用于根据sigma值为第一预设值的hessian递归高斯函数对所述CTA图像进行处理,得到第一hessian图像;
第二处理子模块,用于根据sigma值为第二预设值的hessian递归高斯函数对所述CTA图像进行处理,得到第二hessian图像;所述hessian图像包括所述第一hessian图像和所述第二hessian图像。
可选地,所述hessian图像包括第一hessian图像和第二hessian图像,相应地,所述管状物增强图像包括第一管状物增强图像和第二管状物增强图像,所述第一分割子模块,包括:
第二分割子模块,用于根据所述第一管状对象度量值区间对所述第一管状物增强图像进行二进制阈值分割处理,得到第一分支血管增强图像;
第三分割子模块,用于根据所述第一管状对象度量值区间对所述第二管状物增强图像进行二进制阈值分割处理,得到第二分支血管增强图像;其中,所述主动脉分支血管增强图像包括所述第一分支血管增强图像和所述第二分支血管增强图像,所述第一分支血管增强图像中的血管粗细与确定第一hessian图像时使用的sigma值的大小正相关,相应地,所述第二分支血管增强图像中的血管粗细与确定第二hessian图像时使用的sigma值的大小正相关。
可选地,所述主动脉分支血管增强图像包括第一分支血管增强图像和第二分支血管增强图像,所述分割模块540,包括:
第一配准子模块,用于对所述主动脉主干血管图像、所述第一分支血管增强图像、以及所述第二分支血管增强图像进行图像配准处理;
第一并集操作子模块,用于将配准后的所述主动脉主干血管图像、所述第一分支血管增强图像、以及所述第二分支血管增强图像的并集确定为第一主动脉血管图像;
去噪声子模块,用于对所述第一主动脉血管图像进行去噪声处理,得到第二主动脉血管图像;
补全子模块,用于对所述第二主动脉血管图像进行血管补全处理,得到所述主动脉血管图像。
可选地,所述去噪声子模块用于:
对所述第一主动脉血管图像进行腐蚀处理,得到腐蚀后第一主动脉血管图像;对所述腐蚀后第一主动脉血管图像进行连通组件分析,以确定包括体素数量最多的第一目标连通组件;对所述第一目标连通组件对应的二值图像进行膨胀处理,得到所述第二主动脉血管图像。
可选地,所述管状物增强图像包括第一管状物增强图像和第二管状物增强图像,所述补全子模块用于:
根据预设的第二管状对象度量值区间对目标管状物增强图像进行二进制阈值分割处理,得到第三分支血管增强图像,所述目标管状物增强图像是所述第一管状物增强图像和所述第二管状物增强图像中的一者,所述第二管状对象度量值区间的下限值大于所述第一管状对象度量值区间的下限值;
对所述主动脉主干血管图像和所述第三分支血管增强图像进行图像配准处理,将配准后的所述主动脉主干血管图像和所述第三分支血管增强图像的并集确定为第三主动脉血管图像;
对所述第三主动脉血管图像进行连通组件分析,以确定包括体素数量最多的第二目标连通组件;
将所述第二目标连通组件对应的二值图像与所述第二主动脉血管图像的并集确定为所述主动脉血管图像。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图6是根据一示例性实施例示出的一种电子设备700的框图。如图6所示,该电子设备700可以包括:处理器701,存储器702。该电子设备700还可以包括多媒体组件703,输入/输出(I/O)接口704,以及通信组件705中的一者或多者。
其中,处理器701用于控制该电子设备700的整体操作,以完成上述的主动脉血管分割方法中的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该电子设备700的操作,这些数据例如可以包括用于在该电子设备700上操作的任何应用程序或方法的指令,以及应用程序相关的数据,例如联系人数据、收发的消息、图片、音频、视频等等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(Static Random Access Memory,简称SRAM),电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,简称EPROM),可编程只读存储器(Programmable Read-Only Memory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器702或通过通信组件705发送。音频组件还包括至少一个扬声器,用于输出音频信号。I/O接口704为处理器701和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该电子设备700与其他设备之间进行有线或无线通信。无线通信,例如Wi-Fi,蓝牙,近场通信(Near FieldCommunication,简称NFC),2G、3G、4G、NB-IOT、eMTC、或其他5G等等,或它们中的一种或几种的组合,在此不做限定。因此相应的该通信组件705可以包括:Wi-Fi模块,蓝牙模块,NFC模块等等。
在一示例性实施例中,电子设备700可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit,简称ASIC)、数字信号处理器(DigitalSignal Processor,简称DSP)、数字信号处理设备(Digital Signal Processing Device,简称DSPD)、可编程逻辑器件(Programmable Logic Device,简称PLD)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述的主动脉血管分割方法。
在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的主动脉血管分割方法的步骤。例如,该计算机可读存储介质可以为上述包括程序指令的存储器702,上述程序指令可由电子设备700的处理器701执行以完成上述的主动脉血管分割方法。
在另一示例性实施例中,还提供一种计算机程序产品,该计算机程序产品包含能够由可编程的装置执行的计算机程序,该计算机程序具有当由该可编程的装置执行时用于执行上述的主动脉血管分割方法的代码部分。
以上结合附图详细描述了本公开的优选实施方式,但是,本公开并不限于上述实施方式中的具体细节,在本公开的技术构思范围内,可以对本公开的技术方案进行多种简单变型,这些简单变型均属于本公开的保护范围。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合。为了避免不必要的重复,本公开对各种可能的组合方式不再另行说明。
此外,本公开的各种不同的实施方式之间也可以进行任意组合,只要其不违背本公开的思想,其同样应当视为本公开所公开的内容。
- 一种医学图像分割方法及装置、电子设备和存储介质
- 血管壁斑块分割方法、装置及计算机可读存储介质
- 电子设备的显示控制方法、装置、电子设备和存储介质
- 电子设备控制方法及装置、电子设备及存储介质
- 数据分布存储方法、装置、存储介质及电子设备
- 肺主动脉血管提取方法、装置、可读存储介质和电子设备
- 肺主动脉血管图像提取方法、装置、存储介质及电子设备