掌桥专利:专业的专利平台
掌桥专利
首页

骨分割方法及装置、骨折检出方法及装置

文献发布时间:2023-06-19 10:11:51


骨分割方法及装置、骨折检出方法及装置

技术领域

本申请涉及医学图像分割技术领域,具体涉及一种骨分割方法、骨折检出方法、骨分割装置、骨折检出的装置、电子设备及计算机可读存储介质。

背景技术

随着医学影像技术与计算机技术的日益发展,通过深度学习的神经网络对CT(Computed Tomography,电子计算机断层扫描)图像进行骨分割以及骨折检出,以快速确诊骨折部位,被广泛应用在医学领域。但由于CT图像密度变化大,导致存在弱边缘效应等问题,尤其是肋骨部位的图像,容易出现肋骨间粘连或肋骨根部与脊椎骨粘连的问题,导致深度学习的神经网络输出的骨分割结果不准确,深度学习的神经网络做出的骨折检出结果也无不准确。因此,丞需一种缓解肋骨间粘连和肋骨根部粘连的骨分割方法,提升骨分割的鲁棒性,提高骨折检出的准确性。

发明内容

有鉴于此,本申请实施例提供了一种骨分割方法、骨折检出方法、骨分割装置、骨折检出的装置、电子设备及计算机可读存储介质,以解决现有的骨分割结果中肋骨间粘连和肋骨根部与脊椎骨粘连的问题。

根据本申请的一个方面,本申请一实施例提供的一种骨分割方法,包括:将医学影像数据输入到经过训练的骨分割模型进行分割,获得原始骨分割数据,所述原始骨分割数据包括原始肋骨分割数据和原始非肋骨分割数据对所述医学影像数据进行图形操作,获得粗糙骨分割数据,所述粗糙骨分割数据是二分值数据,所述二分值数据用于区分骨骼和非骨骼;以及基于所述医学影像数据、所述原始骨分割数据和所述粗糙骨分割数据,获得优化肋骨分割数据。

根据本申请另一个方面,本申请一实施例提供的一种骨折检出方法,包括:上述所述的骨分割方法,获得优化骨分割数据;将医学影像数据输入到经过训练的骨折检出模型进行骨折检出,获得原始骨折检出数据;以及基于所述优化骨分割数据和所述原始骨折检出数据,获得优化后骨折检出数据。

根据本申请另一个方面,本申请一实施例提供的一种骨分割方法装置,包括:获取模块,配置为获取医学影像数据;原始骨分割模块,配置为将所述医学影像数据输入到经过训练的骨分割模型进行分割,获得原始骨分割数据,所述原始骨分割数据包括原始肋骨分割数据和原始非肋骨分割数据;图形操作模块,配置为对所述医学影像数据进行图形操作,获得粗糙骨分割数据,所述粗糙骨分割数据是二分值数据,所述二分值数据用于区分骨骼和非骨骼;以及肋骨分割优化模块,配置为基于所述医学影像数据、所述原始骨分割数据和所述粗糙骨分割数据,获得优化肋骨分割数据。

根据本申请另一个方面,本申请一实施例提供的一种骨折检出装置,包括优化骨分割模块,配置为进行上述的骨分割方法,获得优化骨分割数据;原始骨折检出模块,配置为将医学影像数据输入到经过训练的骨折检出模型进行骨折检出,获得原始骨折检出数据;以及骨折检出优化模块,配置为基于所述优化骨分割数据和所述原始骨折检出数据,获得优化后骨折检出数据。

根据本申请的又一个方面,本申请一实施例提供的本申请一实施例提供了一种电子设备,包括:处理器;存储器;以及存储在存储器中的计算机程序指令,计算机程序指令在被处理器运行时使得处理器执行如上述任一项所述的方法。

根据本申请的又一方面,本申请一实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行如上述任一项的方法。

本申请实施例提供的一种骨分割方法,通过将医学影像数据输入到经过训练的骨分割模型进行分割获得原始骨分割数据;通过将医学影像数据进行图像操作,获得粗糙骨分割数据;基于医学影像数据、原始骨分割数据和粗糙骨分割数据,去除掉肋骨之间的黏连,分离肋骨根部与脊椎骨的黏连,提高肋骨分割的准确性,获得优化的肋骨分割数据,提升骨分割的鲁棒性,为后续骨折类别检出提供更准确的参考数据。

附图说明

通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。

图1所示为本申请一实施例提供的一种骨分割方法的流程示意图。

图2所示为本申请一实施例提供的一种骨分割方法中获得粗糙骨分割数据的流程示意图。

图3所示为本申请一实施例提供的一种骨分割方法中获得粗糙骨分割数据的流程示意图。

图4所示为本申请一实施例提供的一种骨分割方法中获得初级优化骨分割数据的流程示意图。

图5所示为本申请一实施例提供的一种骨分割方法中获得中级优化肋骨分割数据的流程示意图。

图6所示为本申请一实施例提供的一种骨分割方法中计算出优化肋骨位置数据获得优化肋骨分割数据的流程示意图。

图7所示为本申请一实施例提供的一种骨分割方法的流程示意图。

图8所示为本申请一实施例提供的一种骨折检出方法的流程示意图。

图9所示为本申请一实施例提供的一种骨折检出方法中基于优化骨分割数和原始骨折检出数据获得优化后骨折检出数据的流程示意图。

图10所示为本申请一实施例提供的一种骨折检出方法中获得层骨折类别数据和对层骨折类别数据进行叠加的流程示意图。

图11所示为本申请一实施例提供的一种骨分割装置的结构示意图。

图12所示为本申请一实施例提供的一种骨分割装置的结构示意图。

图13所示为本申请一实施例提供的一种骨折检出装置的结构示意图。

图14所示为本申请一实施例提供的一种骨折检出装置的结构示意图。

图15所示为本申请一实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

深度学习通过建立具有阶层结构的人工神经网络,在计算系统中实现人工智能。由于阶层结构的人工神经网络能够对输入信息进行逐层提取和筛选,因此深度学习具有表征学习能力,可以实现端到端的监督学习和非监督学习。深度学习所使用的阶层结构的人工神经网络具有多种形态,其阶层的复杂度被通称为“深度”,按构筑类型,深度学习的形式包括多层感知器、卷积神经网络、循环神经网络、深度置信网络和其它混合构筑。深度学习使用数据对其构筑中的参数进行更新以达成训练目标,该过程被通称为“学习”,深度学习提出了一种让计算机自动学习出模式特征的方法,并将特征学习融入到了建立模型的过程中,从而减少了人为设计特征造成的不完备性。

神经网络是一种运算模型,由大量的节点(或称神经元)之间相互连接构成,每个节点对应一个策略函数,每两个节点间的连接代表一个对于通过该连接信号的加权值,称之为权重。神经网络一般包括多个神经网络层,上下网络层之间相互级联,第i个神经网络层的输出与第i+1个神经网络层的输入相连,第i+1个神经网络层的输出与第i+2个神经网络层的输入相连,以此类推。训练样本输入级联的神经网络层后,通过每个神经网络层输出一个输出结果,该输出结果作为下一个神经网络层的输入,由此,通过多个神经网络层计算获得输出,比较输出层的输出的预测结果与真正的目标值,再根据预测结果与目标值之间的差异情况来调整每一层的权重矩阵和策略函数,神经网络利用训练样本不断地经过上述调整过程,使得神经网络的权重等参数得到调整,直到神经网络输出的预测结果与真正的目标结果相符,该过程就被称为神经网络的训练过程。神经网络经过训练后,可得到神经网络模型。

CT(Computed Tomography,电子计算机断层扫描)是一种利用数位几何处理后重建的三维放射线医学影像。该技术主要利用精确准直的X线束、γ射线、超声波等,与灵敏度极高的探测器一同围绕人体的某一部位作一个接一个的断面扫描,由于不同的组织的称阻射率不同,用电脑的三维技术重建出断层面影像,经由处理可以得到相应组织的断层影像,将断层影像层层堆叠,即可形成立体影像。具有扫描时间快,图像清晰等特点,可用于多种疾病的检查。

骨分割是通过对医学影像数据进行一定的操作,以分割出骨骼轮廓。骨折检出是基于医学影像数据给出预测结果。骨折检出结果包括3D骨折检出框坐标,检出类别和检出概率。检出类别包含:肋骨骨折、胸骨骨折、椎骨骨折、肩胛骨骨折、锁骨骨折和其他骨折,检出概率取值在0到1之间。

现有技术中将含有骨分割标注和骨折类别检出标注的图片输入神经网络进行深度学习,使得深度学习的神经网络具有输出骨分割结果和骨折类别结果的能力。但由于CT图像密度变化大,导致存在弱边缘效应等问题,尤其是肋骨部位的图像,容易出现肋骨间粘连或肋骨根部与脊椎骨粘连的问题,导致深度学习的神经网络输出的骨分割结果不准确,深度学习的神经网络做出的骨折检出结果也无不准确。因此,丞需一种缓解肋骨间粘连和肋骨根部粘连的骨分割方法,提升骨分割的鲁棒性,提高骨折检出的准确性。

针对上述的技术问题,本申请的基本构思提供:通过将医学影像数据输入到经过训练的骨分割模型进行分割获得原始骨分割数据;通过将医学影像数据进行图像操作,获得粗糙骨分割数据;基于医学影像数据、原始骨分割数据和粗糙骨分割数据,去除掉肋骨之间的黏连,分离肋骨根部与脊椎骨的黏连,提高肋骨分割的准确性,获得优化的肋骨分割数据,提升骨分割的鲁棒性,为后续骨折类别检出提供更准确的参考数据。

在介绍了本申请的基本原理之后,下面将参考附图来具体介绍本申请的各种非限制性实施例。

图1所示为本申请一实施例提供的一种骨分割方法的流程示意图。如图1所示,该骨分割方法包括如下步骤。

步骤101:将医学影像数据输入到经过训练的骨分割模型进行分割,获得原始骨分割数据,原始骨分割数据包括原始肋骨分割数据和原始非肋骨分割数据。

具体地,将医学影像数据(可以是通过CT扫描仪对胸部进行扫描后得到的胸部图像)输入到经过训练的骨分割模型进行分割,由于胸部图像包括肋骨、脊椎骨以及颈骨等,经过训练的骨分割模型输出的原始骨分割数据不仅包括原始肋骨分割数据,还包括例如脊椎骨分割数据以及颈骨分割数据等的原始非肋骨分割数据。原始骨分割数据对每一根肋骨、脊椎骨已经胫骨等通过不同的标注(例如不同的颜色)进行区分,但由于肋骨间黏连以及肋骨根部与脊椎骨的黏连,导致多根肋骨被分割为同一根(标记上显示为串色)的情况。

应当理解,医学影像数据可以是胸部CT图像,该医学影像数据也可以是通过其他医学设备获取的医学影像数据,本申请实施例对医学影像数据的获取手段不做具体限定。

应当理解,经过训练的骨分割模型是提前训练好的神经网络模型,在获取到医学影像数据后,直接使用该经过训练的骨分割模型对其进行骨分割,获得原始骨分割数据,本申请实施例对神经网络模型的具体训练过程不做限定。神经网络模型可以是以由卷积神经网络、循环神经网络、深度神经网络等网络结构中的至少一个构成,且这些网络可以以resnet、resnext或densenent等为主干网络,本申请实施例神经网络模型的具体结构不作限定。

步骤102:对医学影像数据进行图形操作,获得粗糙骨分割数据,粗糙骨分割数据是二分值数据,二分值数据用于区分骨骼和非骨骼。

具体地,对获取的医学影像数据进行CT值筛选以及连通域等图形操作,使得医学影像数据中属于骨骼的部分被标注为第一值,不属于骨骼的部分被标注为第二值(例如:属于骨骼的部分被标注为1,不属于骨骼的部分被标注为0),从而提取出粗糙骨分割数据。粗糙骨分割数据通过二分值分割出来的骨骼框架,是一个只能区分骨骼与非骨骼的二分值数据。

步骤103:基于医学影像数据、原始骨分割数据和粗糙骨分割数据,获得优化肋骨分割数据。

具体地,基于医学影像数据本身、区分骨骼与非骨骼的二分值的粗糙骨分割数据、以及经过训练的骨分割模型输出的对不同骨骼种类进行标注的原始骨分割数据,去除了肋骨之间的黏连,分离了肋骨根部与脊椎骨,获得优化肋骨分割数据。优化肋骨分割数据是指去除了肋骨之间的黏连且分离了肋骨根部与脊椎骨的肋骨分割数据。

本申请实施例中,通过将医学影像数据输入到经过训练的骨分割模型进行分割获得原始骨分割数据;通过将医学影像数据进行图像操作,获得粗糙骨分割数据;基于医学影像数据、原始骨分割数据和粗糙骨分割数据,去除掉肋骨之间的黏连,分离肋骨根部与脊椎骨的黏连,提高肋骨分割的准确性,获得优化的肋骨分割数据,提升骨分割的鲁棒性,为后续骨折类别检出提供更准确的参考数据。

图2所示为本申请一实施例提供的一种骨分割方法中获得粗糙骨分割数据的流程示意图。如图2所示,对医学影像数据进行图形操作,获得粗糙骨分割数据包括下列步骤。

步骤2021:获取医学影像数据中每个像素的CT值。

具体地,在医学影像数据中骨骼与非骨骼的其他组织以及非骨骼的像素的CT值不同,获取医学影像数据中每个像素的CT值,为后续提取粗糙骨分割数据提供基础。CT值是测定人体某一局部组织或器官密度大小的一种计量单位,通常称Hu(Hounsfield Unit,亨氏单位)。

步骤2022:在医学影像数据中筛选出CT值小于等于第一预设值的图像数据,第一预设值为区分体表与背景的区分值。

具体地,由于第一预设值为区分体表与背景的区分值,从医学影像数据中筛选出CT值小于等于第一预设值的图像数据,实现区分体表与背景。应当理解,第一预设值为经验值CT值,用于区分体表和背景。

步骤2023:对CT值小于等于第一预设值的图像数据进行最大连通域操作,获取体表分割数据。

具体地,在筛选后的CT值小于等于第一预设值的图像数据进行最大连通域操作,获得体表分割数据。体表分割数据是将体表特征标注出来的数据。

步骤2024:在医学影像数据中筛选出CT值小于等于第二预设值的图像数据,第二预设值为区分骨骼与非骨骼的区分值。

具体地,由于第二预设值为区分体表与背景的区分值,从医学影像数据中筛选出CT值小于等于第二预设值的图像数据,实现将骨骼提取出来。应当理解,第二预设值为经验值CT值,第二预设值可以为300Hu,用于区分体骨骼和非骨骼。

步骤2025:对体表分割数据和CT值小于等于第二预设值的图像数据取交集,获得第一交集数据。

通过对同一医学影像数据进行上述两种操作,获得的体表分割数据和CT值小于等于第二预设值的图像数据,对二者取交集,使得第一交集数据既属于体表又属于骨骼,避免了从单一方向上的误判。

步骤2026:对第一交集数据进行填补空洞以及平滑操作,获得粗糙骨分割数据。

具体地,对第一交集数据进行填补空洞以及平滑操作,填补上空洞,去除毛糙,获得一个通过二分值分割出来的骨骼框架。

本申请实施例中,对同一医学影像数据分别进行体表背景过滤和最大连通域操作以及进行骨骼与非骨骼过滤操作,对从两种操作上获得的体表分割数据和CT值小于等于第二预设值的图像数据进行交集,使得第一交集数据既属于体表又属于骨骼,避免了从单一方向上的误判,获得一个通过二分值分割出来的骨骼框架,从而提取出粗糙骨分割数据。

图3所示为本申请一实施例提供的一种骨分割方法中获得粗糙骨分割数据的流程示意图。如图3所示,基于医学影像数据、原始骨分割数据和粗糙骨分割数据,获取优化肋骨分割数据包括下列步骤。

步骤3031:基于医学影像数据和粗糙骨分割数据,获得初级优化骨分割数据,初级优化骨分割数据为去掉肋骨之间粘连的二分值的骨分割数据。

具体地,医学影像数据上的肋骨更为全面,粗糙骨分割数据上是一个二分值的相对更为准确的数据,尤其是粗糙骨分割数据中的骨骼骨架更为准确,基于对医学影像数据和粗糙骨分割数据的处理,将肋骨之间的黏连去除,获得初级优化骨分割数据。初级优化骨分割数据与原始肋骨分割数据相比,去除掉肋骨之间黏连,同时也是一个二分值数据。

步骤3032:基于原始骨分割数据和初级优化骨分割数据,获得中级优化肋骨分割数据,中级优化肋骨分割数据为肋骨与脊椎骨分离的二分值的肋骨分割数据。

在去除掉肋骨之间黏连的初级优化骨分割数据基础上,在通过对原始骨分割数据和初级优化骨分割数据进行处理,将肋骨根部与脊椎骨进行分离,获得中级优化肋骨分割数据。中级优化肋骨分割数据与初级优化骨分割数据相比,去除掉肋骨根部与脊椎骨之间黏连,同时也是一个二分值数据。

步骤3033:基于原始肋骨分割数据与中级优化肋骨分割数据,计算出优化肋骨位置数据,获得优化肋骨分割数据。

具体地,中级优化肋骨分割数据虽然去除了肋骨之间的黏连以及肋骨根部与脊椎骨的黏连,但中级优化肋骨分割数据是一个二分值数据,只能知道哪里是肋骨,哪里不是肋骨,肋骨的两侧具体根数无法确定。基于原始肋骨分割数据与中级优化肋骨分割数据,重新计算出优化肋骨位置数据,获得优化肋骨分割数据。

图4所示为本申请一实施例提供的一种骨分割方法中获得初级优化骨分割数据的流程示意图。如图4所示,基于医学影像数据和粗糙骨分割数据,获得初级优化骨分割数据包括下列步骤。

步骤40311:在医学影像数据中筛选出CT值小于等于第三预设值的图像数据,第三预设值为进一步区分骨骼与非骨骼的区分值。

具体地,由于第三预设值为进一步区分骨骼与非骨骼的区分值,从医学影像数据中筛选出CT值小于等于第三预设值的图像数据,将骨骼数据从原始医学影像数据中提出取来。应当理解,第三预设值为经验值CT值,第三预设值可以为是120Hu,相比于第二预设值,用于进一步区分骨骼与非骨骼。

步骤40312:对CT值小于等于第三预设值的图像数据和粗糙骨分割数据取交集,获得初级优化骨分割数据。

具体地,对医学影像数据进行筛选从中获得骨骼的数据,由于第三预设值的设定,避免了肋骨之间的黏连部分的数据被提取,再将筛选出的骨骼的数据与粗糙骨分割数据取交集,进一步保证肋骨之间的黏连被去除。虽然从原始数据中提取的CT值小于等于第三预设值的图像数据不是二分值数据,但由于粗糙骨分割数据为二分值数据,因此,交集之后获得的初级优化骨分割数据也是一个二分值数据。

本发明实施例中,通过第三预设值从医学影像数据中提取出CT值小于等于第三预设值的数据,在将其与粗糙骨分割数据取交集,去除掉肋骨之间的黏连,得到一个去掉肋骨之间粘连的二分值的初级优化骨分割数据。

图5所示为本申请一实施例提供的一种骨分割方法中获得中级优化肋骨分割数据的流程示意图。如图5所示,基于原始骨分割数据和初级优化骨分割数据,获得中级优化肋骨分割数据包括下列步骤。

步骤50321:对原始骨分割数据和初级优化骨分割数据求交集,获得第二交集数据。

具体地,初级优化骨分割数据是一个去掉肋骨之间粘连的二分值的数据,与原始骨分割数据中相比,初级优化骨分割数据已经解决了肋骨黏连问题。对原始骨分割数据和初级优化骨分割数据求交集,获得第二交集数据,第二交集数据是一个代表原始骨分割数据和去掉肋骨之间粘连的二分值的数据的交集的中间数据。

步骤50322:对第二交集数据中肋骨交集坐标与非肋骨交集坐标进行二分值操作,获得第一中间肋骨分割数据,第一中间肋骨分割数据为删除掉初级优化骨分割数据中不属于肋骨部分的肋骨分割数据。

具体地,对上述获得的中间数据再一次重新进行二分值操作,将在原始骨分割数据和初级优化骨分割数据中都属于肋骨的肋骨交集坐标标注为1,将在原始骨分割数据和初级优化骨分割数据中有至少一个不都属于肋骨的非肋骨交集坐标标注为0,获得第一中间肋骨分割数据。第一中间肋骨分割数据与初级优化骨分割数据中的肋骨部分相比,进一步去除了初级优化骨分割数据中不属于肋骨部分的部分肋骨分割数据。

步骤50323:对原始骨分割数据中的原始脊椎骨分割数据进行膨胀操作,获得膨胀后脊椎骨分割数据。

具体地,通过将原始脊椎骨分割数据中进行膨胀操作,将脊椎骨扩大,扩大后的脊椎骨更容易与肋骨分离。膨胀操作为沿着图片的X-Y方向上的膨胀操作,X-Y方向图像上坐标的X-Y方向。

步骤50324:获取膨胀后脊椎骨分割数据中膨胀后脊椎骨的坐标,将第一中间肋骨分割数据中与膨胀后脊椎骨的坐标对应的坐标上的数据值设置为背景数据值,获得第二中间肋骨分割数据。

具体地,获取膨胀后脊椎骨分割数据中膨胀后脊椎骨的坐标,将第一中间肋骨分割数据中与膨胀后脊椎骨的坐标对应的坐标上的数据值设置为背景数据值,在图片处理层面上,背景数据值代表该处的图片不属于目标而属于图片处理中的背景,利用膨胀后的脊椎骨,将第一中间肋骨分割数据中与脊椎骨黏连部分掩盖掉,将脊椎骨与肋骨根部进行分离,获得第二中间肋骨分割数据。第二中间肋骨分割数据与第一中间肋骨分割数据相比,膨胀后脊椎骨被去除。

步骤50325:对第二中间肋骨分割数据进行填补空洞以及平滑操作,获得中级优化肋骨分割数据。

具体地,对二中间肋骨分割数据进行填补空洞以及平滑操作,填补上空洞,去除毛糙,获得一个已经去除肋骨间黏连和肋骨根部黏连的二分值的中级优化肋骨分割数据。

本申请实施例中,通过对原始骨分割数据和初级优化骨分割数据求交集,获得第二交集数据,对上述操作获得的第二交集数据再一次重新进行二分值操作,利用膨胀后的脊椎骨,将第一中间肋骨分割数据中与脊椎骨黏连部分掩盖掉,通过填补空洞以及平滑操作,获得一个已经去除肋骨间黏连和肋骨根部黏连的二分值的中级优化肋骨分割数据。

图6所示为本申请一实施例提供的一种骨分割方法中计算出优化肋骨位置数据获得优化肋骨分割数据的流程示意图。如图6所示,基于原始肋骨分割数据与中级优化肋骨分割数据,计算出优化肋骨位置数据,获得优化肋骨分割数据包括下列步骤。

步骤60331:获取中级优化肋骨分割数据中的多个连通区域。

具体地,考虑到中级优化肋骨分割数据虽然解决了肋骨间黏连和肋骨根部黏连的问题,但是二值化数据,肋骨的部分标注是1,非肋骨的部分标注是0,无法区分中级优化肋骨分割数据中的肋骨究竟是左右两侧肋骨的哪一侧的哪一根肋骨,因此,获取中级优化肋骨分割数据中的多个连通区域,以进行后续肋骨标号。

步骤60332:在多个连通区域中筛选出连通区域体积排名在前预设个数的待标识连通区域。

具体地,多个连通区域中连通区域体积排名在前预设个数的连通区域被选为待标识连通区域,也就是待标号的肋骨。应当理解,一般情况下,人左右两侧共有24根肋骨,因此前预设个数可以为24,根据具体临床应用情况,也可以设定为26或28等。

步骤60333:基于原始肋骨分割数据,确定出待标识连通区域属于第一侧或者第二侧两侧中的哪一侧。

具体地,考虑到原始肋骨分割数据中虽然存在肋骨间黏连以及肋骨根部黏连的问题,但是其第一侧与第二侧(也就是左右两侧)是准确的,因此,基于原始肋骨分割数据,确定出待标识连通区域属于第一侧或者第二侧两侧中的哪一侧,为后续标号做准备。为了方便阐述,在后续实施例中,将左侧肋骨定义为第一侧,右侧肋骨定义为第二侧,本申请实施例对第一侧与第二侧具体如何选取不做限定

步骤60334:分别获取属于第一侧的待标识连通区域的第一中心点坐标,并按照第一预设顺序在第一中心点进行标号,获得第一侧优化肋骨位置数据。

具体地,获取左侧的待标识连通区域的第一中心点坐标,有几个待标识连通区域,获得几个第一中心点坐标,将多个第一中心点坐标按照第一预设顺序进行标号,获得第一侧优化肋骨位置数据。将左侧肋骨定义为第一侧,那么第一预设顺序可以选取从下到上1-12的顺序。

步骤60335:分别获取属于第二侧的待标识连通区域第二中心点坐标,并按照第二预设顺序在第二中心点进行标号,获得第二侧优化肋骨位置数据。

获得第二侧优化肋骨位置数据与获取第二侧优化肋骨位置数据相似,在此不再赘述。将右侧肋骨定义为第二侧,那么第二预设顺序可以选取从下到上13-24的顺序。

步骤60336:基于第一侧优化肋骨位置数据、第二侧优化肋骨位置数据和中级优化肋骨分割数据,获得优化肋骨分割数据。

具体地,将两侧肋骨位置标注在中级优化肋骨分割数据,获得了去除肋骨间黏连以及分离肋骨根部与脊椎骨的优化肋骨分割数据。

本申请实施例中,通过基于原始肋骨分割数据,确定出待标识连通区域属于第一侧或者第二侧两侧中的哪一侧,在两侧分别进行肋骨标号,获得优化肋骨分割数据。

在一个实施例中,还包括:基于优化肋骨分割数据和原始非肋骨分割数据,获得优化骨分割数据。由于原始骨分割数据中肋骨、脊椎骨以及颈骨是准确的,将优化肋骨分割数据和原始非肋骨分割数据融合,获得优化骨分割数据。

图7所示为本申请一实施例提供的一种骨分割方法的流程示意图。如图7所示,该骨分割方法的整体工作流程可具体如下。

将医学影像数据输入到经过训练的骨分割模型进行分割,获得原始骨分割数据,原始骨分割数据包括原始肋骨分割数据和原始非肋骨分割数据(如图7中步骤701所示);获取医学影像数据中每个像素的CT值(如图7中步骤7021所示);通过第一预设值筛选和对筛选后的图像数据进行最大连通域操作,获得体表分割数据(如图7中步骤7022和步骤7023所示);通过对医学影像数据筛选出CT值小于等于第二预设值的图像数据,实现将骨骼提取(如图7中步骤7024所示);对体表分割数据和CT值小于等于第二预设值的图像数据取交集,获得第一交集数据,对第一交集数据进行填补空洞以及平滑操作,获得粗糙骨分割数据,避免了从单一方向上的误判,获得一个通过二分值分割出来的骨骼框架,从而提取出粗糙骨分割数据(如图7中步骤7025和步骤7026所示)。

从医学影像数据中筛选出CT值小于等于第三预设值的图像数据,将进一步准确的骨骼从原始医学影像数据中提出取来(如图7中步骤70311所示);通过第三预设值从医学影像数据中提取出CT值小于等于第三预设值的数据,在将其与粗糙骨分割数据取交集,去除掉肋骨之间的黏连,得到一个去掉肋骨之间粘连的二分值的初级优化骨分割数据(如图7中步骤70312所示)。

对原始骨分割数据和初级优化骨分割数据求交集,并对肋骨交集坐标与非肋骨交集坐标进行二分值操作,获得一个去除了初级优化肋骨分割数中不属于肋骨部分的肋骨分割数据的第一中间肋骨分割数据(如图7中步骤70321和步骤70322所示);将原始脊椎骨分割数据中进行膨胀操作,利用膨胀后的脊椎骨,将第一中间肋骨分割数据中与脊椎骨黏连部分掩盖掉,将脊椎骨与肋骨根部进行分离,获得第二中间肋骨分割数据(如图7中步骤70323和步骤70324所示);对第二中间肋骨分割数据进行填补空洞以及平滑操作,获得一个已经去除肋骨间黏连和肋骨根部黏连的二分值的中级优化肋骨分割数据(如图7中步骤70325所示)。

获取中级优化肋骨分割数据中的多个连通区域,在多个连通区域中筛选出连通区域体积排名在前24个待标识连通区域(如图7中步骤70331和步骤70332所示);基于原始肋骨分割数据,确定出肋骨左侧和右侧(如图7中步骤70333所示);获取左侧的待标识连通区域的第一中心点坐标,将多个第一中心点坐标按照从下到上1-12的顺序进行标号,获得左侧优化肋骨位置数据(如图7中步骤70334所示);取右侧的待标识连通区域的第二中心点坐标,将多个第二中心点坐标按照从下到上13-24的顺序进行标号,获得右侧优化肋骨位置数据(如图7中步骤70335所示);将两侧肋骨位置标注在中级优化肋骨分割数据,获得了去除肋骨间黏连以及分离肋骨根部与脊椎骨的优化肋骨分割数据(如图7中步骤70336所示);将优化肋骨分割数据和原始非肋骨分割数据融合,获得优化骨分割数据。

图8所示为本申请一实施例提供的一种骨折检出方法的流程示意图。如图8所示,该骨折检出方法包括以下步骤。

步骤801:采用上述骨分割的方法,获得优化骨分割数据。

由于上述骨分割方法得到的优化骨分割数据中包括去除肋骨间黏连以及分离肋骨根部与脊椎骨的优化肋骨分割数据。优化骨分割数据具有较好的区分肋骨,胸骨,肩胛骨,锁骨等位置,且骨头的定位信息也较为准确。为后续进行骨折检出提供更准确地基础。

步骤802:将医学影像数据输入到经过训练的骨折检出模型进行骨折检出,获得原始骨折检出数据。

将医学影像数据输入到经过训练的骨折检出模型进行骨折检出,由于肋骨间黏连以及肋骨根部与脊椎骨的黏连,导致多根肋骨被分割为同一根,使得原始骨折检出数据也存在肋骨骨折数据不准确的问题。

步骤803:基于优化骨分割数据和原始骨折检出数据,获得优化后骨折检出数据。

由于优化骨分割数据中具有较好的区分肋骨,胸骨,肩胛骨,锁骨等位置,且骨头的定位信息也较为准确,基于原始骨折检出数据中骨折检出框的位置在优化骨分割数据上获得更为准确的骨折位置和骨折种类,使得优化后骨折检出数据中各个类别骨折数据以及每根肋骨骨折数据更为准确。

在一个实施例中,待检测图像为医学图像,目标对象为医学图像上的病灶影像,例如肿瘤影像。医学影像可以是通过计算机断层扫描摄影(Computed Tomography,CT)、计算机X线摄影(Computed Radiography,CR)、数字化X线摄影(Digital Radiography,DR)、核磁共振或超声等技术直接获得的影像。但是在拍摄医学影像的过程中,可能会引入噪声,影响图像的清楚准确的显示,所以可以对医学影像进行预处理,例如,可以利用高斯滤波器或中值滤波器去除医学影像中的噪声。图像增强处理可以包括大小调整、裁剪、旋转、归一化以及标准化等,以提高待医学图像的信噪比。在预处理过程中,可以采用其中一种或多种对医学影像进行增强处理,以便于后续的目标检测的过程。图像增强处理可以在去噪处理之前或之后进行。医学影像在经历一些处理或攻击后,例如图像增强和/或去噪处理,可以得到多种副本图像,这些副本图像在经过相同参数的图像归一化处理后能够得到相同形式的标准图像,即医学图像。

图9所示为本申请一实施例提供的一种骨折检出方法中基于优化骨分割数和原始骨折检出数据获得优化后骨折检出数据的流程示意图。如图9所示,基于优化骨分割数据和原始骨折检出数据,获得优化后骨折检出数据包括下列步骤。

步骤9031:获取原始骨折检出数据中标记框的坐标。

具体地,经过训练的骨折检出模型输出的原始骨折检出数据中,虽然肋骨的位置不准确,但其会在骨折出现的位置产生标记框,标记框的坐标可以作为后续操作的参考坐标。

步骤9032:基于坐标,在优化骨分割数据中选取与标记框对应的待处理区域数据;待处理区域数据包括多个待处理区域层数据,待处理区域层数据包括多个目标骨骼。

具体地,由于标记框的位置处有骨折,只是由于肋骨间黏连以及肋骨与脊椎骨根部黏连等问题使得原始骨折检出数据无法准确确定骨折究竟位于哪个骨骼上,以标记框的坐标为参考,在优化骨分割数据中选取与标记框对应的待处理区域数据,以获得更为准确的骨折类别数据。由于CT图像自身的特性,与标记框对应的待处理区域数据包括多个待处理区域层数据,即待处理区域数据对应的是3D图像,而待处理区域层数据对应的是2D图像。每个的待处理区域层数据包括多个目标骨骼,例如:在一个待处理区域层数据中,有第12根肋骨,脊椎骨以及肩胛骨等多个目标骨骼等等。

步骤9033:利用高斯核函数对待处理区域层数据进行运算,获得层骨折类别数据。

具体地,利用高斯核函数对待处理区域层数据进行运算,确定骨折具体位于当前待处理区域层数据中的多个目标骨骼中的哪个目标骨骼,该目标骨骼的类别被定义为层骨折类别数据。例如:在一个待处理区域层数据中,有第12根肋骨,脊椎骨以及肩胛骨等多个目标骨骼等等,利用高斯函数对该待处理区域层数据进行运算,结果表明该骨折位于第12根肋骨,则获得层骨折类别数据。

步骤9034:对层骨折类别数据进行叠加,获得待处理区域数据的骨折类别。

具体地,由于待处理区域数据包括多个待处理区域层数据,每个待处理区域层数据的层骨折类别数据可能会不同,对层骨折类别数据进行叠加,确定待处理区域数据的骨折类别。待处理区域数据的骨折类别用于表征当前的待处理区域数据所对应的图像中骨折究竟属于哪个骨骼。

步骤9035:基于待处理区域数据的骨折类别,获得优化后骨折检出数据。

具体地,考虑到原始骨折检出数据中可能有多个检出框,多个检出框对应多个待处理区域数据,获得多个待处理区域数据的骨折类别,最终获得优化后骨折检出数据。

本申请实施例中,通过原始骨折检出数据中标记框的坐标,在优化骨分割数据中获得待处理区域数据;利用高斯核函数运算获得层骨折类别数据;对层骨折类别数据进行叠加获得待处理区域数据的骨折类别。利用原始骨折检出数据中标记框,在分割的更为清楚准确的优化骨分割数据中获得准确的骨折检出数据,获得化后骨折检出数据。

图10所示为本申请一实施例提供的一种骨折检出方法中获得层骨折类别数据和对层骨折类别数据进行叠加的流程示意图。利用高斯核函数对待处理区域层数据进行运算,获得层骨折类别数据包括下列步骤。

步骤100331:利用高斯核函数与待处理区域层数据进行卷积运算,分别获取待处理区域层数据中多个目标骨骼中每个目标骨骼的加权和。

具体地,高斯核函数对应的图像的大小与待处理区域层数据对应的图像的大小相同,以待处理区域层数据对应的图像的中心为中心,选取σ=图像长度/3,使高斯核函数的局部影响范围较大,能够覆盖整个待处理区域层数据对应的图像,避免漏掉图像边缘的类别,同时保证目标骨骼距离待处理区域层数据对应的图像的中心越近加权和越大,距离待处理区域层数据对应的图像的中心越远加权和越小。利用高斯核函数的特性,将高斯核函数与待处理区域层数据进行卷积运算,分别获取待处理区域层数据中多个目标骨骼中每个目标骨骼的加权和。

步骤100332:选择最大加权和的目标骨骼的骨骼类别为层骨折类别数据。

具体地,待处理区域层数据中的多个目标骨骼的加权和不同,加权和大表明骨折位于该目标骨骼的机会大,加权和小表明骨折位于该目标骨骼的机会小,将最大加权和的目标骨骼的骨骼类别为层骨折类别数据。

如图10所示,对层骨折类别数据进行叠加,获得待处理区域数据的骨折类别包括下列步骤。

步骤100341:获取多个层骨折类别数据中属于同一骨折类别的个数。

由于待处理区域数据包括多个待处理区域层数据,而每层的待处理区域层数据的层骨折类别数据是不同的,获取多个层骨折类别数据中属于同一骨折类别的个数。

步骤100342:选择属于同一骨折类别的个数最多的层骨折类别数据对应的骨折类别为待处理区域数据的骨折类别。

具体地,选择属于同一骨折类别的个数最多的层骨折类别数据对应的骨折类别为待处理区域数据的骨折类别。例如:待处理区域数据包括50个待处理区域层数据,通过高斯核函数运算获得50个层骨折类别数据,其中,25个层骨折类别数据表明骨折位于第12根肋骨骨折,15个层骨折类别数据表明骨折位于肩胛骨,10个层骨折类别数据表明骨折位于第14根肋骨,最终选择第12根肋骨做为待处理区域数据的骨折类别。

本申请实施例中,通过高斯核函数确定待处理区域层数据中多个目标骨骼中每个目标骨骼的加权和,将最大加权和的目标骨骼的骨骼类别为层骨折类别数据;在选择属于同一骨折类别的个数最多的层骨折类别数据对应的骨折类别为待处理区域数据的骨折类别,获得更为精准的待处理区域数据的骨折类别,获得优化后骨折检出数据。

图11所示为本申请一实施例提供的一种骨分割装置的结构示意图。如图11所示,该骨分割装置1100包括:原始骨分割模块1101,配置为将医学影像数据输入到经过训练的骨分割模型进行分割,获得原始骨分割数据,所述原始骨分割数据包括原始肋骨分割数据和原始非肋骨分割数据;图形操作模块1102,配置为对医学影像数据进行图形操作,获得粗糙骨分割数据,粗糙骨分割数据是二分值数据,二分值数据用于区分骨骼和非骨骼;以及肋骨分割优化模块1103,配置为基于医学影像数据、原始骨分割数据和粗糙骨分割数据,获得优化肋骨分割数据。

本申请实施例中,通过将医学影像数据输入原始骨分割模块1101获得原始骨分割数据;通过图形操作模块1102将医学影像数据进行图像操作,获得粗糙骨分割数据;通过肋骨分割优化模块1103基于医学影像数据、原始骨分割数据和粗糙骨分割数据,去除掉肋骨之间的黏连,分离肋骨根部与脊椎骨的黏连,提高肋骨分割的准确性,获得优化的肋骨分割数据,提升骨分割的鲁棒性,为后续骨折类别检出提供更准确的参考数据。

图12所示为本申请一实施例提供的一种骨分割装置的结构示意图。如图12所示,图形操作模块1102进一步包括:获取子模块11021,配置为获取医学影像数据中每个像素的CT值;第一筛选子模块11022,配置为在医学影像数据中筛选出CT值小于等于第一预设值的图像数据,第一预设值为区分体表与背景的区分值;体表分割子模块11023,配置为对CT值小于等于第一预设值的图像数据进行最大连通域操作,获取体表分割数据;第二筛选子模块11024,配置为在医学影像数据中筛选出CT值小于等于第二预设值的图像数据,第二预设值为区分骨骼与非骨骼的区分值;第一交集子模块11025,配置为对体表分割数据和CT值小于等于第二预设值的图像数据取交集,获得第一交集数据;以及第一整合子模块11026,配置为对第一交集数据进行填补空洞以及平滑操作,获得粗糙骨分割数据。

在一个实施例中,如图12所示,肋骨分割优化模块1103包括:初级优化子模块11031,配置为基于医学影像数据和粗糙骨分割数据,获得初级优化骨分割数据,初级优化骨分割数据为去掉肋骨之间粘连的二分值的骨分割数据;中级优化子模块11032,配置为基于原始骨分割数据和初级优化骨分割数据,获得中级优化肋骨分割数据,中级优化肋骨分割数据为肋骨与脊椎骨分离的二分值的肋骨分割数据;优化肋骨获取子模块11033,配置为基于原始肋骨分割数据与中级优化肋骨分割数据,计算出优化肋骨位置数据,获得优化肋骨分割数据

在一个实施例中,如图12所示,初级优化子模块11031包括:第三筛选单元110311,配置为医学影像数据中筛选出CT值小于等于第三预设值的图像数据,第三预设值为进一步区分骨骼与非骨骼的区分值;以及初级优化骨分割单元110312,配置为对CT值小于等于第三预设值的图像数据和粗糙骨分割数据取交集,获得初级优化骨分割数据。

在一个实施例中,如图12所示,中级优化子模块11032包括:第二交集单元110321,配置为对原始骨分割数据和初级优化骨分割数据求交集,获得第二交集数据;第一中间肋骨分割获取单元110322,配置为对第二交集数据中肋骨交集坐标与非肋骨交集坐标进行二分值操作,获得第一中间肋骨分割数据,第一中间肋骨分割数据为删除掉初级优化骨分割数据中不属于肋骨部分的肋骨分割数据;肋骨膨胀单元110323,配置为对原始骨分割数据中的原始脊椎骨分割数据进行膨胀操作,获得膨胀后脊椎骨分割数据第二中间肋骨分割获取单元110324,配置为获取膨胀后脊椎骨分割数据中膨胀后脊椎骨的坐标,将第一中间肋骨分割数据中与膨胀后脊椎骨的坐标对应的坐标上的数据值设置为背景数据值,获得第二中间肋骨分割数据;以及第二整合单元110325,配置为对第二中间肋骨分割数据进行填补空洞以及平滑操作,获得中级优化肋骨分割数据。

在一个实施例中,如图12所示,优化肋骨获取子模块11033包括:连通域获取单元110331,配置为获取中级优化肋骨分割数据中的多个连通区域;第四筛选单元110332,配置为在多个连通区域中筛选出连通区域体积排名在前预设个数的待标识连通区域;两侧肋骨识别单元110333,配置为基于原始肋骨分割数据,确定出待标识连通区域属于第一侧或者第二侧两侧中的哪一侧;第一位置标注单元110334,配置为分别获取属于第一侧的待标识连通区域的第一中心点坐标,并按照第一预设顺序在第一中心点进行标号,获得第一侧优化肋骨位置数据;第二位置标注单元110335,配置为分别获取属于第二侧的待标识连通区域第二中心点坐标,并按照第二预设顺序在第二中心点进行标号,获得第二侧优化肋骨位置数据;以及优化肋骨获取单元110336,配置为基于第一侧优化肋骨位置数据、第二侧优化肋骨位置数据和中级优化肋骨分割数据,获得优化肋骨分割数据

在一个实施例中,如图12所示,还包括:优化骨分割获取模块1104,配置为基于优化肋骨分割数据和原始非肋骨分割数据,获得优化骨分割数据。

图13所示为本申请一实施例提供的一种骨折检出装置的结构示意图。如图13所示,该骨折检出装置1300包括:优化骨分割模块1301,配置为进行上述骨分割方法,获得优化骨分割数据;原始骨折检出模块1302,配置为将医学影像数据输入到经过训练的骨折检出模型进行骨折检出,获得原始骨折检出数据;以及骨折检出优化模块1303,配置为基于优化骨分割数据和原始骨折检出数据,获得优化后骨折检出数据。

图14所示为本申请一实施例提供的一种骨折检出装置的结构示意图。如图14所示,骨折检出优化模块1303进一步包括:坐标获取子模块13031,配置为获取原始骨折检出数据中标记框的坐标;区域获取子模块13032,配置为基于坐标,在优化骨分割数据中选取与标记框对应的待处理区域数据;待处理区域数据包括多个待处理区域层数据,待处理区域层数据包括多个目标骨骼;层骨折类别检出子模块13033,配置为利用高斯核函数对待处理区域层数据进行运算,获得层骨折类别数据;叠加子模块13034,配置为对层骨折类别数据进行叠加,获得待处理区域数据的骨折类别;以及汇总子模块13035,配置为基于待处理区域数据的骨折类别,获得优化后骨折检出数据。

在一个实施例中,层骨折类别检出子模块13033进一步配置为利用高斯核函数对待处理区域层数据进行卷积运算,分别获取待处理区域层数据中多个目标骨骼中每个所述目标骨骼的加权和;以及选择最大加权和的目标骨骼的骨骼类别为层骨折类别数据;叠加子模块13034进一步配置为获取多个层骨折类别数据中属于同一骨折类别的个数;以及选择属于同一骨折类别的个数最多的层骨折类别数据对应的骨折类别为待处理区域数据的骨折类别。

图15所示为本申请一实施例提供的电子设备的结构示意图。如图15所示,电子设备1500包括一个或多个处理器1510和存储器1520。

处理器1510可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备1500中的其他组件以执行期望的功能。

存储器1520可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器1510可以运行所述程序指令,以实现上文所述的本申请的各个实施例的骨分割方法和骨折检出方法以及/或者其他期望的功能。在一个示例中,电子设备1500还可以包括:输入装置1530和输出装置1540,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

例如,该输入装置1530可以是上述的麦克风或麦克风阵列,用于捕捉声源的输入信号。在该电子设备是单机设备时,该输入装置1530可以是通信网络连接器。

此外,该输入设备1530还可以包括例如键盘、鼠标等等。

该输出装置1540可以向外部输出各种信息,包括确定出的目标对象信息等。该输出设备1540可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然,为了简化,图15中仅示出了该电子设备1500中与本申请有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备1500还可以包括任何其他适当的组件。

除了上述方法和设备以外,本申请的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性骨分割方法”和“示例性骨折检出方法”部分中描述的根据本申请各种实施例的骨分割方法和骨折检出方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外,本申请的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性骨分割方法”和“示例性骨折检出方法”部分中描述的根据本申请各种实施例的骨分割方法和骨折检出方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理,但是,需要指出的是,在本申请中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。

为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

相关技术
  • 骨分割方法及装置、骨折检出方法及装置
  • 一种骨折检出的方法及装置
技术分类

06120112455244