掌桥专利:专业的专利平台
掌桥专利
首页

脑组织出血定位分类和出血量化方法、设备、介质和程序

文献发布时间:2023-06-28 06:30:04


脑组织出血定位分类和出血量化方法、设备、介质和程序

技术领域

本发明涉及人工智能技术领域,尤其涉及一种脑组织出血定位分类和出血量化方法、设备、介质和程序。

背景技术

颅内动脉瘤破裂引起的自发性蛛网膜下腔出血(subarachnoid hemorrhage,SAH)是一种严重危及生命的脑血管疾患,其渗出到蛛网膜下腔的血液量的多少会导致一系列临床症状,如:头痛、昏迷、意识障碍、癫痫、甚至死亡。

在蛛网膜下腔出血患者的诊疗过程中,对其精准诊断和量化出血体积被认为是SAH患者病死率和长期神经功能预后的强有力的预测指标。非增强计算机断层扫描(non-contrast computed tomography,NCCT)在蛛网膜下腔出血诊断方面具有十分重要的价值,它可以用于快速、准确、可靠地诊断病人是否出现蛛网膜下腔出血,同时可以提供是否合并其他出血类型、出血部位、形状、大小等详细信息,以便更好地指导治疗。随着颅脑CT扫描人数的逐年上升,阅读和分析大量数据不仅耗费了医师的时间和精力,也增加了微小蛛网膜下腔出血的漏诊和误诊的可能性,这会对蛛网膜下腔出血患者的预后可能造成不可挽回的危害。

近十年来,深度学习(deep learning,DL)提高了医学图像病灶分割的质量和效率。临床医师或放射科医师能够依靠人工智能更快、更精确地检出是否患有蛛网膜下腔出血,提高出血定位识别和体积量化的能力。

相较于其他颅内出血类型,蛛网膜下腔出血在NCCT图像上的病灶特点大多呈弥散性分布、病灶位置数量多、出血形态各异,这在一定程度上造成了对蛛网膜下腔出血的定位识别和出血量化非常具有挑战性。现有技术应用深度学习算法对蛛网膜下腔出血的NCCT图像进行病灶识别,使用开源的标准的二维五层卷积神经网络(convolutional neuralnetwork, U-Net)架构在多个医疗机构的NCCT数据集上识别和定位蛛网膜下腔出血,其中每一层由两个卷积层组成,在向下缩放路径上进行最大池化,在向上缩放边进行上采样,该模型最终在外部验证集上实现了对蛛网膜下腔出血检出的高敏感性和特异性。

本申请发明人在实现本申请实施例技术方案的过程中,至少发现现有技术中存在如下技术问题:

蛛网膜下腔出血可能伴随发生脑实质出血、脑室内出血。临床实际中更多需要将血肿按类型分割并按类型统计相应出血体积。基于二维数据和二维网络虽可以拥有更多的训练数据,保证网络的泛化性,但缺乏三维空间的血肿上下文信息。

此外,由于蛛网膜下腔出血出血形状各异,目前的多田公式(ABC/2)无法定量评估蛛网膜下腔出血体积。

综上,现有的蛛网膜下腔出血识别方法存在无法进行出血定位分类和出血量化的技术问题。

发明内容

本申请实施例提供一种脑组织出血定位分类和出血量化方法、设备、介质和程序,解决了现有的蛛网膜下腔出血识别方法存在的无法进行出血定位分类和出血量化的技术问题。

本申请实施例一方面提供了一种脑组织出血定位分类和出血量化方法,应用于一脑组织出血定位分类和出血量化系统,所述脑组织出血定位分类和出血量化系统具有脑组织出血定位分类和出血量化模型,所述脑组织出血定位分类和出血量化模型为Hybrid 2D/3D U-Net深度学习网络模型,所述方法包括:基于区域生长的脑组织提取算法,提取头部CT影像数据中的三维脑组织区域,所述基于区域生长的脑组织提取算法增加脑干识别作为区域生长的约束边界;所述对所述三维脑组织区域进行血肿检测、分类、分割,统计出血体积,输出预测结果。

可选的,所述基于区域生长的脑组织提取算法,提取头部CT影像数据中的三维脑组织区域,所述基于区域生长的脑组织提取算法增加脑干识别作为区域生长的约束边界,具体包括:提取所述头部CT影像数据的颅骨边界,使用形态学膨胀处理,封闭缝隙;选用所述头部CT影像数据中所有切片的前三分之一的切片进行圆形检测来确定脑干位置;在所述头部CT影像数据所有切片的后二分之一的切片中,确定生长中心;从所述生长中心相邻的像素进行脑组织区域生长;对生长出的初始掩膜进行边界外扩;将边界外扩后的掩膜下的区域作为三维脑组织区域。

可选的,在所述基于区域生长的脑组织提取算法,提取头部CT影像数据中的三维脑组织区域,所述基于区域生长的脑组织提取算法增加脑干识别作为区域生长的约束边界之后,还包括:对所述三维脑组织区域进行旋转矫正;对旋转矫正后的脑组织区域进行裁剪;对裁剪后的脑组织区域进行标准化处理;对标准化处理后的脑组织区域进行数据增强;选择多窗宽窗位构建多通道输入数据,融合血肿密度较高的先验知识。

可选的,在所述基于区域生长的脑组织提取算法,提取头部CT影像数据中的三维脑组织区域,所述基于区域生长的脑组织提取算法增加脑干识别作为区域生长的约束边界之后,还包括:获得手动调整操作;基于所述手动调整操作,对所述三维脑组织区域进行修改。

可选的,在所述基于区域生长的脑组织提取算法,提取头部CT影像数据中的三维脑组织区域,所述基于区域生长的脑组织提取算法增加脑干识别作为区域生长的约束边界之后,还包括:将提取三维脑组织区域后的影像数据分为训练集和测试集;将所述训练集放入脑组织出血定位分类和出血量化模型进行预测,对预测结果与真实结果进行损失函数计算;使用RMSprop进行脑组织出血定位分类和出血量化模型参数优化;使用ReduceLROnPlateau对学习率进行动态调整;将所述测试集输入所述脑组织出血定位分类和出血量化模型进行检测,评估所述脑组织出血定位分类和出血量化模型的性能。

可选的,所述将所述训练集放入脑组织出血定位分类和出血量化模型进行预测,具体包括:使用二维卷积模块和三维卷积模块同时对头部CT影像数据提取出特征信息,并对所述特征信息进行交换与融合;使用三个独立的解码器进行解码,中间解码器用于预测多类别的颅内血肿,输出一个三维SAH、IPH、IVH多类型颅内出血预测结果,两侧的两个解码器使用不区分出血类型的颅内出血标签进行监督,分别输出一个二维ICH单类型预测结果和一个三维ICH单类型预测结果。

可选的,在所述输出预测结果之后,还包括:当预测结果表明将同一个血肿区域预测为多种出血类型时,如果其中的一个出血类型的面积小于整体面积的四分之一时,寻找出血类型面积最大的其他类型的血肿进行合并;如果所述其中的一个出血类型为面积最大的血肿类型时,则维持不变。

另一方面,本申请实施例还提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现脑组织出血定位分类和出血量化方法的步骤。

本申请实施例还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现脑组织出血定位分类和出血量化方法的步骤。

本申请实施例还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现脑组织出血定位分类和出血量化方法的步骤。

本申请实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:

一种脑组织出血定位分类和出血量化方法,应用于一脑组织出血定位分类和出血量化系统,所述脑组织出血定位分类和出血量化系统具有脑组织出血定位分类和出血量化模型,所述脑组织出血定位分类和出血量化模型为Hybrid 2D/3D U-Net深度学习网络模型,所述方法包括:基于区域生长的脑组织提取算法,提取头部CT影像数据中的三维脑组织区域,所述基于区域生长的脑组织提取算法增加脑干识别作为区域生长的约束边界;所述脑组织出血定位分类和出血量化模型对所述三维脑组织区域进行血肿检测、分类、分割,统计出血体积,输出预测结果。脑组织出血定位分类和出血量化模型对颅内出血做分割,颅内出血不是单一的出血,为了解决多类型血肿分割,本发明使用Hybrid 2D/3D U-Net混合的架构,2D用来保证血肿的特征提取能力,同时2D拥有更多的训练数据,保证网络的泛化性能,3D用来提取切片间的上下文信息,增加多类型血肿的分割能力,本发明能够更加精准地分类脑组织出血部位,量化脑组织出血体积,尤其是更加精准地识别蛛网膜下腔出血部位,量化蛛网膜下腔出血体积,这将极大地提高评估动脉瘤性蛛网膜下腔出血患者入院风险的能力和效率,且对于基层医院或者缺乏相关专业人才的医院有广泛的实用性,将会极大地缩短影像科医师阅片出报告的时间,减轻繁重的工作负担,对临床医生判断疾病的转归、早期预测出血后并发症(如:出血后脑积水、颅内动脉瘤再破裂出血、脑血管痉挛、迟发性脑缺血等)、预后预测、辅助临床决策等方面将发挥重要的临床价值。

进一步,所述基于区域生长的脑组织提取算法,提取头部CT影像数据中的三维脑组织区域,所述基于区域生长的脑组织提取算法增加脑干识别作为区域生长的约束边界,具体包括:提取所述头部CT影像数据的颅骨边界,使用形态学膨胀处理,封闭缝隙;选用所述头部CT影像数据中所有切片的前三分之一的切片进行圆形检测来确定脑干位置;在所述头部CT影像数据所有切片的后二分之一的切片中,确定生长中心;从所述生长中心相邻的像素进行脑组织区域生长;对生长出的初始掩膜进行边界外扩;将边界外扩后的掩膜下的区域作为三维脑组织区域。能够避免非脑部组织对血肿识别造成的不良影响。

再进一步,在所述基于区域生长的脑组织提取算法,提取头部CT影像数据中的三维脑组织区域,所述基于区域生长的脑组织提取算法增加脑干识别作为区域生长的约束边界之后,还包括:对所述三维脑组织区域进行旋转矫正;对旋转矫正后的脑组织区域进行裁剪;对裁剪后的脑组织区域进行标准化处理;对标准化处理后的脑组织区域进行数据增强;选择多窗宽窗位构建多通道输入数据,融合血肿密度较高的先验知识。能够矫正三维脑组织区域的数据,保证对血肿预测的准确性。

更进一步,在所述基于区域生长的脑组织提取算法,提取头部CT影像数据中的三维脑组织区域,所述基于区域生长的脑组织提取算法增加脑干识别作为区域生长的约束边界之后,还包括:获得手动调整操作;基于所述手动调整操作,对所述三维脑组织区域进行修改。能够允许对三维脑组织区域提取和矫正结果进行手动调整,有利于血肿预测的准确性。

再进一步,在所述基于区域生长的脑组织提取算法,提取头部CT影像数据中的三维脑组织区域,所述基于区域生长的脑组织提取算法增加脑干识别作为区域生长的约束边界之后,还包括:将提取三维脑组织区域后的影像数据分为训练集和测试集;将所述训练集放入脑组织出血定位分类和出血量化模型进行预测,对预测结果与真实结果进行损失函数计算;使用RMSprop进行脑组织出血定位分类和出血量化模型参数优化;使用ReduceLROnPlateau对学习率进行动态调整;将所述测试集输入所述脑组织出血定位分类和出血量化模型进行检测,评估所述脑组织出血定位分类和出血量化模型的性能。能够训练出进行脑组织出血定位分类和出血量化的模型。

更进一步,所述将所述训练集放入脑组织出血定位分类和出血量化模型进行预测,具体包括:使用二维卷积模块和三维卷积模块同时对头部CT影像数据提取出特征信息,并对所述特征信息进行交换与融合;使用三个独立的解码器进行解码,中间解码器用于预测多类别的颅内血肿,输出一个三维SAH、IPH、IVH多类型颅内出血预测结果,两侧的两个解码器使用不区分出血类型的颅内出血标签进行监督,分别输出一个二维ICH单类型预测结果和一个三维ICH单类型预测结果。脑组织出血定位分类和出血量化模型包含两条特征融合分支和三条相互独立的解码分支。

还进一步,在所述输出预测结果之后,还包括:当预测结果表明将同一个血肿区域预测为多种出血类型时,如果其中的一个出血类型的面积小于整体面积的四分之一时,寻找出血类型面积最大的其他类型的血肿进行合并;如果所述其中的一个出血类型为面积最大的血肿类型时,则维持不变。能够消除脑组织出血定位分类和出血量化模型预测结果存在的误差。

附图说明

图1为本申请一实施例中脑组织出血定位分类和出血量化方法的流程图;

图2为本申请一实施例中脑组织出血定位分类和出血量化系统的主界面示意图;

图3为本申请一实施例中基于区域生长的脑组织提取算法的流程图;

图4为本申请一实施例中IOU检测结果为0.91的脑干识别结果的示意图;

图5为本申请一实施例中脑组织提取结果示意图;

图6为本申请一实施例中脑组织出血定位分类和出血量化模型的训练过程示意图;

图7为本申请一实施例中脑组织出血定位分类和出血量化模型的结构示意图;

图8为本申请一实施例中空间注意力机制的结构示意图;

图9为本申请一实施例中内部测试集结果示例图;

图10为本申请一实施例中外部测试集结果示例图;

图11为本申请一实施例中采用内部测试集的脑组织出血定位分类和出血量化系统的预测结果和医生手动调整的体积相关性的示意图;

图12为本申请一实施例中采用外部测试集的脑组织出血定位分类和出血量化系统的预测结果和医生手动调整的体积相关性的示意图;

图13为本申请一实施例中脑组织出血定位分类和出血量化方法的总体流程图;

图14为本申请一实施例中脑组织出血定位分类和出血量化模型的应用过程示意图。

具体实施方式

本申请实施例提供一种脑组织出血定位分类和出血量化方法、设备、介质和程序,解决了现有的蛛网膜下腔出血识别方法存在的无法进行出血定位分类和出血量化的技术问题。

本发明一实施例的技术方案为解决上述的问题,总体思路如下:

一种脑组织出血定位分类和出血量化方法,应用于一脑组织出血定位分类和出血量化系统,脑组织出血定位分类和出血量化系统具有脑组织出血定位分类和出血量化模型,脑组织出血定位分类和出血量化模型为Hybrid 2D/3D U-Net深度学习网络模型,方法包括:基于区域生长的脑组织提取算法,提取头部CT影像数据中的三维脑组织区域,基于区域生长的脑组织提取算法增加脑干识别作为区域生长的约束边界;脑组织出血定位分类和出血量化模型对三维脑组织区域进行血肿检测、分类、分割,统计出血体积,输出预测结果。脑组织出血定位分类和出血量化模型对颅内出血做分割,颅内出血不是单一的出血,为了解决多类型血肿分割,本发明使用Hybrid 2D/3D U-Net混合的架构,2D用来保证血肿的特征提取能力,同时2D拥有更多的训练数据,保证网络的泛化性能,3D用来提取切片间的上下文信息,增加多类型血肿的分割能力,本发明能够更加精准地分类脑组织出血部位,量化脑组织出血体积,尤其是更加精准地识别蛛网膜下腔出血部位,量化蛛网膜下腔出血体积,这将极大地提高评估动脉瘤性蛛网膜下腔出血患者入院风险的能力和效率,且对于基层医院或者缺乏相关专业人才的医院有广泛的实用性,将会极大地缩短影像科医师阅片出报告的时间,减轻繁重的工作负担,对临床医生判断疾病的转归、早期预测出血后并发症(如:出血后脑积水、颅内动脉瘤再破裂出血、脑血管痉挛、迟发性脑缺血等)、预后预测、辅助临床决策等方面将发挥重要的临床价值。

为了更好的理解上述技术方案,下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。显然,本发明所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本实施例提供一种脑组织出血定位分类和出血量化方法,应用于一脑组织出血定位分类和出血量化系统,脑组织出血定位分类和出血量化系统具有脑组织出血定位分类和出血量化模型,脑组织出血定位分类和出血量化模型为Hybrid 2D/3D U-Net深度学习网络模型。如图2所示,脑组织出血定位分类和出血量化系统的主界面包括文件、影像视图、处理阶段、模型选择、旋转矫正和结果显示等模块,用户可以根据实际需求以及本地资源选择不同的深度学习网络模型完成血肿的检测与分割,用户将NCCT图像数据导入到BrainHemoAI系统,进行全流程操作即可得到出血区域的定位视图和出血体积。本发明的脑组织出血定位分类和出血量化系统,可在术前NCCT图像上对蛛网膜下腔出血、脑内出血、脑室出血进行准确定位分类和精准计算不同出血类型的体积,有助于临床医生和放射科医生对出血患者进行精确诊断和病情评估,并根据结果辅助临床决策。其中,深度学习网络模型根据设备的性能进行选择,例如Hybrid 2D/3D U-Net深度学习网络模型较大,在低端设备上无法运行,而标准的二维UNet深度学习网络模型(医学分割领域常用的网络)可在低端设备上运行。当然,在实际应用中,可以根据需求选择其他类型的深度学习网络模型,本申请不作限制。

本发明的思路来源于实际临床工作中,动脉瘤性蛛网膜下腔出血部位各异,对于出血量较少的区域甚至会漏诊。另外其出血形状各异,目前尚无法应用传统的多田公式(ABC/2)进行血肿体积量化。

本发明为深度学习在医学图像处理领域的应用,基于Hybrid 2D/3D U-Net算法应用于蛛网膜下腔出血定位识别和出血量化,并可迁移到脑内出血和脑室出血这两种类型的非增强CT图像中的病灶检测和分割。

本发明的目的是基于深度学习对NCCT图像中蛛网膜下腔出血的识别现状,提出一种出血定位识别更加精准且能够量化蛛网膜下腔出血体积的方法,将会极大地缩短影像科医师阅片出报告的时间,减轻繁重的工作负担。此外,该方法将更加精准的识别蛛网膜下腔出血部位,量化蛛网膜下腔出血体积,对临床医生判断疾病的转归、早期预测出血后并发症(如:出血后脑积水、颅内动脉瘤再破裂出血、脑血管痉挛、迟发性脑缺血等)、预后预测、辅助临床决策等方面将发挥重要的临床价值。

本发明的基本原理为基于区域生长的脑组织提取算法和基于混合2D/3D和深度学习的脑组织出血定位分类和出血量化模型完成血肿的检测、分类、分割,统计出血体积,二者相结合可以完成临床上未处理的头部CT影像的血肿分割以及出血体积的量化过程。

请参考图1,对本发明实施例中脑组织出血定位分类和出血量化方法进行详细的描述。

步骤101:基于区域生长的脑组织提取算法,提取头部CT影像数据中的三维脑组织区域,基于区域生长的脑组织提取算法增加脑干识别作为区域生长的约束边界;

步骤102:脑组织出血定位分类和出血量化模型对三维脑组织区域进行血肿检测、分类、分割,统计出血体积,输出预测结果。

当启动脑组织出血定位分类和出血量化系统,输入头部CT影像数据时,脑组织出血定位分类和出血量化系统首先进行数据加载,系统支持Dicom、Nrrd、Mha等格式的数据导入,在数据加载的过程中会对数据的有效性进行校验,如果数据异常则会拒绝加载,数据有效则将数据显示到终端上。然后执行步骤101:基于区域生长的脑组织提取算法,提取头部CT影像数据中的三维脑组织区域,基于区域生长的脑组织提取算法增加脑干识别作为区域生长的约束边界。

步骤101在具体实施过程中,例如:区域生长算法是一种基于种子点的图像分割方法,它从给定的种子点开始,逐步生长出一个区域,将像素分为不同的类型,主要步骤包括:种子点的选取,相邻像素的判断以及终止条件。基于区域生长的脑组织提取算法,主要是在相邻像素的判断上增加脑干区域的约束条件,防止三维脑组织区域在生长的过程中通过脑干末端非闭合的颅骨区域蔓延至颅外组织,能够提取头部CT影像数据中的三维脑组织区域。

在提取头部CT影像数据中的三维脑组织区域之后,开始执行步骤102:脑组织出血定位分类和出血量化模型对三维脑组织区域进行血肿检测、分类、分割,统计出血体积,输出预测结果。

步骤102在具体实施过程中,例如:脑组织出血定位分类和出血量化模型对头部CT影响数据中提取的三维脑组织区域进行血肿检测、分类、分割,在完成血肿分割后统计出相应的出血体积,输出预测结果。

为了避免非脑部组织对血肿识别造成的不良影响,步骤101的基于区域生长的脑组织提取算法,提取头部CT影像数据中的三维脑组织区域,基于区域生长的脑组织提取算法增加脑干识别作为区域生长的约束边界,具体包括:提取头部CT影像数据的颅骨边界,使用形态学膨胀处理,封闭缝隙;选用头部CT影像数据中所有切片的前三分之一的切片进行圆形检测来确定脑干位置;在头部CT影像数据所有切片的后二分之一的切片中,确定生长中心;从生长中心相邻的像素进行脑组织区域生长;对生长出的初始掩膜进行边界外扩;将边界外扩后的掩膜下的区域作为三维脑组织区域。

在具体实施过程中,例如:假设病人有24张切片,所有切片的前三分之一的切片指前8张切片,所有切片的后二分之一的切片指后12张切片。

如图3所示,基于区域生长的脑组织提取算法,提取头部CT影像数据中的三维脑组织区域的具体步骤如下。

(1)提取颅骨边界:将CT值高于120HU的区域确定为颅骨区域,同时使用形态学膨胀处理,封闭存在的微小缝隙。

(2)确定脑干位置:由于在步骤(1)中提取的颅骨边界在脑干以下的区域是一个非闭合的区域,因此在三维影像数据中辨别脑干的位置,防止区域过度生长是提取完整三维脑组织区域的一个重要组成步骤。本发明通过选用三维影像数据中所有切片的前三分之一的切片进行圆形检测来确定脑干的位置。首先将CT值位于-20HU~120HU的区域进行提取,然后对提取的区域执行形态学开操作并填充面积小于2000的孔洞,最后在剩余的区域中执行霍夫圆检测。由于圆的外接矩形是一个正方形,圆形在外接矩形中的面积占比为

在对一个区域执行霍夫圆形检测后,计算圆形区域与原始区域的IOU,如果一张切片中有多个区域执行了圆形检测,则以最大的IOU作为该切片的检测结果,如果一张切片无合适的区域进行圆形检测,则该张切片的IOU检测结果为0。当对三维数据所有切片的前三分之一中所有切片均执行完检测后,选取IOU最大的切片进行脑干的判定;如果IOU大于0.8,则认为该切片存在脑干区域,可以作为区域生长的约束边界;如果所有切片的IOU检测结果均低于0.8,则认为该三维影像不存在脑干区域,所有切片均位于脑干之上,生长边界假定为第-1张切片。输入的头部CT影像数据,经过步骤(2)IOU检测结果为0.91,脑干识别结果如图4所示。

(3)确定生长中心:在所有切片的后二分之一的三维影像数据中提取CT值位于-20HU~120HU的区域,定位脑组织面积最大的切片,并以该切片所提取的像素点的平均坐标中心作为生长中心。

(4)脑组织区域生长:从步骤(3)中选取的生长中心相邻的像素进行区域生长,相邻像素的判断条件为:a. CT值位于-20HU~120HU,b.该像素不属于步骤(1)中选取的颅骨边界区域,c.该像素所在的切片位于步骤(2)中选取的脑干切片之上。

(5)边界外扩:由于在提取颅骨边界中对颅骨区域进行了形态学膨胀操作,该操作会侵蚀部分的脑组织区域,因此对步骤(4)中生长出的初始掩膜进行边界外扩,边界扩张的条件为CT值位于-20HU-120HU,最大扩张半径为步骤(1)中使用的膨胀半径。

(6)获取三维脑组织区域:提取步骤(5)中获取的掩膜下的区域作为三维脑组织区域。三维脑组织提取结果如图5所示。

为了矫正三维脑组织区域的数据,保证对血肿预测的准确性,在步骤101的基于区域生长的脑组织提取算法,提取头部CT影像数据中的三维脑组织区域,基于区域生长的脑组织提取算法增加脑干识别作为区域生长的约束边界之后,还包括:对三维脑组织区域进行旋转矫正;对旋转矫正后的脑组织区域进行裁剪;对裁剪后的脑组织区域进行标准化处理;对标准化处理后的脑组织区域进行数据增强;选择多窗宽窗位构建多通道输入数据,融合血肿密度较高的先验知识。能够矫正脑组织区域的数据,保证对血肿预测的准确性。

在具体实施过程中,对三维脑组织区域的矫正预处理,具体如下。

(a)旋转矫正:由于血肿类型主要由其位置决定,先将提取的三维脑组织进行旋转矫正,保证三维脑组织区域不存在明显的倾角。

(b)裁剪:在旋转矫正的数据上先进行感兴趣区的提取,去除大部分的背景,再统一将切片内部分辨率调整为352×288。然后移除同一例数据中脑组织面积小于20%的切片,最后将单例数据的切片张数统一为18张。

(c)标准化:对裁剪后的数据进行标准化处理,使其具有相同的像素范围。

(d)数据增强:考虑到脑组织的左右对称性和血肿的类型主要由其位置决定,因此只使用左右翻转的方式对数据进行扩充,提升模型的泛化能力。

(e)多窗宽窗位:为了充分利用不同窗宽窗位内包含的血肿密度较高的先验知识,选择多窗宽窗位构建多通道输入数据。本发明中使用的窗(CT值)为:0Hu-100Hu,10Hu-90Hu,20Hu-80Hu,30Hu-80Hu,40Hu-80Hu。

为了允许对脑三维组织区域提取和矫正结果进行手动调整,有利于血肿预测的准确性,在步骤101的基于区域生长的脑组织提取算法,提取头部CT影像数据中的三维脑组织区域,基于区域生长的脑组织提取算法增加脑干识别作为区域生长的约束边界之后,还包括:获得手动调整操作;基于手动调整操作,对三维脑组织区域进行修改。

在具体实施过程中,例如:医生根据提取的三维脑组织区域确定是否手动调整,当需要手动调整时,通过输入装置进行手动调整,脑组织出血定位分类和出血量化系统获得手动调整操作,基于医生的手动调整操作,对三维脑组织区域进行修改。

为了能够训练出进行脑组织出血定位分类和出血量化的模型,在步骤101的基于区域生长的脑组织提取算法,提取头部CT影像数据中的三维脑组织区域,基于区域生长的脑组织提取算法增加脑干识别作为区域生长的约束边界之后,还包括:将提取三维脑组织区域后的影像数据分为训练集和测试集;将训练集放入脑组织出血定位分类和出血量化模型进行预测,对预测结果与真实结果进行损失函数计算;使用RMSprop进行脑组织出血定位分类和出血量化模型参数优化;使用ReduceLROnPlateau对学习率进行动态调整;将测试集输入脑组织出血定位分类和出血量化模型进行检测,评估脑组织出血定位分类和出血量化模型的性能。

将训练集放入脑组织出血定位分类和出血量化模型进行预测,具体包括:使用二维卷积模块和三维卷积模块同时对头部CT影像数据提取出特征信息,并对特征信息进行交换与融合;使用三个独立的解码器进行解码,中间解码器用于预测多类别的颅内血肿,输出一个三维SAH(Subarachnoid hemorrhage,蛛网膜下腔出血)、IPH( Intracerebralparenchymal hemorrhage,脑实质出血)、IVH(Intraventricular hemorrhage,脑室内出血)多类型颅内出血预测结果,两侧的两个解码器使用不区分出血类型的颅内出血标签进行监督,分别输出一个二维ICH(Intracerebral hemorrhage,颅内出血)单类型预测结果和一个三维ICH单类型预测结果。

ICH分为IPH、IVH、SAH、EDH(Epidural hemorrhage,硬膜外出血)以及SDH(Subdural hemorrhage,硬膜下出血)。

在具体实施过程中,例如:如图7所示,出血定位分类和出血量化的模型为Hybrid2D/3D UNet模型,包含两条特征融合分支和三条相互独立的解码分支。

在编码端,构建双路径的强融合编码模块,使用二维卷积模块和三维卷积模块同时对同一例三维CT影像数据进行特征提取,提取的特征包括切片件的上下文信息和血肿的密度影特征等,并将提取出的特征信息进行交换与融合,特征信息的交换与融合详见后续模型构成描述中的交换融合机制,为了说明书的简便,不再赘述。

在解码端,构建三个独立的解码器,每个解码器均通过跳层连接与编码器连结,构成UNet网络结构。中间的解码器为主要的解码器,用于预测多类别的颅内血肿,该解码器同时连结编码端的二维模块和三维模块,可以得到更多的特征信息,同时使用三维的卷积模块进行解码,充分参考三维的空间信息。两侧的解码器使用不区分出血类型(只判断有无出血)的颅内出血标签进行监督,主要用于增强对颅内有无出血的学习。

请同时参考图7和图8,模型构成描述如下:

(1)卷积模块是CNN的基本组成,本发明中的卷积模块包括卷积、归一化和激活函数,在2D UNet中,归一化函数选择为BatchNorm;在3D UNet中,由于BatchSize为1,所以归一化函数选择为InstanceNorm。本发明中,卷积的核大小为3,步长为1,边界填充大小为1。

(2)下采样模块由卷积模块和最大池化构成。在二维下采样中池化层核大小为(2,2),步长为(2, 2);在三维下采样中池化层核大小为(2,2,1),步长为(2,2,1),即不对轴向空间进行下采样。

(3)交换融合机制:在二维下采样中要求输入为(B, C, H, W),在三维中则要求输入为(B, C, H, W, D),其中B、C、H、W、D分别为批大小、通道数、切片的高、切片的宽、切片数量。本发明中,对于二维的操作,将同一例三维数据的切片拆分到批大小上,对于三维操作,批大小为1;即在同一网络深度,二维特征大小为(D, C, H, W),三维特征大小为(1, C, H,W, D),特征单元数量均为C*H*W*D,故可以通过特征重排使二者大小匹配,然后进行通道拼接和特征融合。具体来说,将二维特征的批空间移至切片数量空间后与三维特征融合,将三维的切片数量空间拆分到批空间后与二维特征拼接融合。

(4)上采样模块由反卷积和卷积模块构成,在二维的反卷积中核大小为(2,2),步长为(2,2);在三维反卷积中核大小为(2,2, 1),步长为(2,2, 1)。上采样中先使用反卷积模块对特征空间进行上采样,然后与跳层连接中的特征进行拼接,然后使用三维的卷积模块进行特征融合。值得注意的是,对于多类别预测分支,跳层连接同时存在二维特征和三维特征,而该分支使用三维的上采样模块,因此需要先对二维特征进行特征重排,再与三维特征进行融合。

模型构成的步骤为:数据通过下采样模块进行编码,在上采样中先将前层的输出特征与跳层特征进行拼接,然后使用反卷积进行上采样,再经过一个卷积模块进行特征的进一步融合。

如图6所示,脑组织出血定位分类和出血量化模型的训练过程需要大量的标注好的医学影像数据。首先,将数据集划分为训练集和验证集。然后,通过数据增强技术对训练数据进行扩充,以提高模型的泛化能力。接下来,定义损失函数和优化器,使用训练集对模型进行迭代训练,同时在验证集上进行性能评估。训练过程中,使用早停法保存最佳的训练结果。脑组织出血定位分类和出血量化模型的训练过程如下。

(A)数据集的划分:将南昌大学第二附属医院神经外科动脉瘤性蛛网膜下腔出血的NCCT图像数据644例数据按8:2分为训练集和测试集,此时的测试集为内部测试集,共129例。另外,由武汉大学人民医院神经外科动脉瘤性蛛网膜下腔出血的NCCT图像数据46例数据作为测试集,此时的测试集为外部测试集。本申请测试共使用两个测试集,一个为内部测试,另一个为外部测试集。

(B)损失函数:如前,本发明的脑组织出血定位分类和出血量化模型中存在三个预测输出(对应三个解码器的解码结果),包含一个三维SAH、IPH、IVH多类型颅内出血预测结果、一个二维ICH单类型预测结果、一个三维ICH单类型预测结果。本发明中使用加权交叉熵损失函数和TverskyLoss作为网络训练的损失函数。在ICH单类型预测的监督中,加权交叉熵对非出血区域以及出血区域的权重分别为1和25,在多类型血肿的预测中非出血区域(背景)、SAH、IPH、IVH的权重分别为1,5,10,10。

(C)优化器:模型训练中使用RMSprop作为模型参数的优化器。

(D)学习率:训练初始学习率为0.0005,使用ReduceLROnPlateau进行动态调整。

(E)性能评估:将内部测试集和外部测试集输入脑组织出血定位分类和出血量化模型进行检测,评估脑组织出血定位分类和出血量化模型的性能。

采用步骤A的内部测试集结果,如图9所示。

采用步骤A的外部测试集结果,如图10所示。

采用步骤(A)的内部测试集,脑组织出血定位分类和出血量化系统的预测结果和医生手动调整的体积相关性,如图11所示。

采用步骤(A)的外部测试集,脑组织出血定位分类和出血量化系统的预测结果和医生手动调整的体积相关性,如图12所示。

如图14所示,为了减少计算量,在步骤102应用脑组织出血定位分类和出血量化模型与训练脑组织出血定位分类和出血量化模型不同,在训练模型中,使用了两个独立的解码分支进行有ICH单类型出血的监督,加强编码器的特征提取能力;但这两个分支对实际的多类型血肿预测和分割是无效的,因此在应用模型的时候可以移除这两个分支,只保留中间的分支。

为了消除脑组织出血定位分类和出血量化模型预测结果存在的误差,在步骤102的输出预测结果之后,还包括:当预测结果表明将同一个血肿区域预测为多种出血类型时,如果其中的一个出血类型的面积小于整体面积的四分之一时,寻找出血类型面积最大的其他类型的血肿进行合并;如果其中的一个出血类型为面积最大的血肿类型时,则维持不变。

在具体实施过程中,例如:脑组织出血定位分类和出血量化模型对于血肿的预测中,可能将同一个血肿区域预测为多种出血类型。为了矫正这部分的错误,在后处理中,如果某一出血类型的面积小于整体面积的四分之一,则在四周寻找面积最大的其他类型血肿并进行合并,如果自身为该区域面积最大的血肿类型,则保持自身不变。

为了将基于区域生长的脑组织提取算法和基于混合2D/3D和深度学习网络模型完成血肿的分割结合完成临床上未处理的头部CT影像的血肿分割以及出血体积的量化过程进行图形显示,为临床诊治发挥作用,脑组织出血定位分类和出血量化系统设计简便的图像界面,为实际应用提供需要。

如图13所示,脑组织出血定位分类和出血量化系统主要用户群体是临床医生,根据功能需求将主体分为五大模块:数据加载与数据校验、脑组织提取和矫正、血肿检测与分割、后处理和终端显示。从医生客户端加载数据开始,进行数据校验,符合条件的数据将进行脑组织提取和矫正,并根据显示结果将确定是否手动调整,然后进行血肿检测和分割,根据结果将决定是否更换模型重新执行或者进行后处理,通过终端显示脑组织出血定位分类和出血量化系统的图形界面。

本发明另一实施例提供一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现脑组织出血定位分类和出血量化方法的步骤。

本发明另一实施例提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现脑组织出血定位分类和出血量化方法的步骤。

本发明另一实施例提供一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现脑组织出血定位分类和出血量化方法的步骤。

本申请实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:

一种脑组织出血定位分类和出血量化方法,应用于一脑组织出血定位分类和出血量化系统,脑组织出血定位分类和出血量化系统具有脑组织出血定位分类和出血量化模型,脑组织出血定位分类和出血量化模型为Hybrid 2D/3D U-Net深度学习网络模型,方法包括:基于区域生长的脑组织提取算法,提取头部CT影像数据中的三维脑组织区域,基于区域生长的脑组织提取算法增加脑干识别作为区域生长的约束边界;脑组织出血定位分类和出血量化模型对三维脑组织区域进行血肿检测、分类、分割,统计出血体积,输出预测结果。脑组织出血定位分类和出血量化模型对颅内出血做分割,颅内出血不是单一的出血,为了解决多类型血肿分割,本发明使用Hybrid 2D/3D U-Net混合的架构,2D用来保证血肿的特征提取能力,同时2D拥有更多的训练数据,保证网络的泛化性能,3D用来提取切片间的上下文信息,增加多类型血肿的分割能力,本发明能够更加精准地分类脑组织出血部位,量化脑组织出血体积,尤其是更加精准地识别蛛网膜下腔出血部位,量化蛛网膜下腔出血体积,这将极大地提高评估动脉瘤性蛛网膜下腔出血患者入院风险的能力和效率,且对于基层医院或者缺乏相关专业人才的医院有广泛的实用性,将会极大地缩短影像科医师阅片出报告的时间,减轻繁重的工作负担,对临床医生判断疾病的转归、早期预测出血后并发症(如:出血后脑积水、颅内动脉瘤再破裂出血、脑血管痉挛、迟发性脑缺血等)、预后预测、辅助临床决策等方面将发挥重要的临床价值。

进一步,基于区域生长的脑组织提取算法,提取头部CT影像数据中的三维脑组织区域,基于区域生长的脑组织提取算法增加脑干识别作为区域生长的约束边界,具体包括:提取头部CT影像数据的颅骨边界,使用形态学膨胀处理,封闭缝隙;选用头部CT影像数据中所有切片的前三分之一的切片进行圆形检测来确定脑干位置;在头部CT影像数据所有切片的后二分之一的切片中,确定生长中心;从生长中心相邻的像素进行脑组织区域生长;对生长出的初始掩膜进行边界外扩;将边界外扩后的掩膜下的区域作为三维脑组织区域。能够避免非脑部组织对血肿识别造成的不良影响。

再进一步,在基于区域生长的脑组织提取算法,提取头部CT影像数据中的三维脑组织区域,基于区域生长的脑组织提取算法增加脑干识别作为区域生长的约束边界之后,还包括:对三维脑组织区域进行旋转矫正;对旋转矫正后的脑组织区域进行裁剪;对裁剪后的脑组织区域进行标准化处理;对标准化处理后的脑组织区域进行数据增强;选择多窗宽窗位构建多通道输入数据,融合血肿密度较高的先验知识。能够矫正脑组织区域的数据,保证对血肿预测的准确性。

更进一步,在基于区域生长的脑组织提取算法,提取头部CT影像数据中的三维脑组织区域,基于区域生长的脑组织提取算法增加脑干识别作为区域生长的约束边界之后,还包括:获得手动调整操作;基于手动调整操作,对三维脑组织区域进行修改。能够允许对三维脑组织区域提取和矫正结果进行手动调整,有利于血肿预测的准确性。

再进一步,在基于区域生长的脑组织提取算法,提取头部CT影像数据中的三维脑组织区域,基于区域生长的脑组织提取算法增加脑干识别作为区域生长的约束边界之后,还包括:将提取三维脑组织区域后的影像数据分为训练集和测试集;将训练集放入脑组织出血定位分类和出血量化模型进行预测,对预测结果与真实结果进行损失函数计算;使用RMSprop进行脑组织出血定位分类和出血量化模型参数优化;使用ReduceLROnPlateau对学习率进行动态调整;将测试集输入脑组织出血定位分类和出血量化模型进行检测,评估脑组织出血定位分类和出血量化模型的性能。能够训练出进行出血定位分类和出血量化的模型。

更进一步,将训练集放入脑组织出血定位分类和出血量化模型进行预测,具体包括:使用二维卷积模块和三维卷积模块同时对头部CT影像数据提取出特征信息,并对特征信息进行交换与融合;使用三个独立的解码器进行解码,中间解码器用于预测多类别的颅内血肿,输出一个三维SAH、IPH、IVH多类型颅内出血预测结果,两侧的两个解码器使用不区分出血类型的颅内出血标签进行监督,分别输出一个二维ICH单类型预测结果和一个三维ICH单类型预测结果。脑组织出血定位分类和出血量化模型包含两条特征融合分支和三条相互独立的解码分支。

还进一步,在输出预测结果之后,还包括:当预测结果表明将同一个血肿区域预测为多种出血类型时,如果其中的一个出血类型的面积小于整体面积的四分之一时,寻找出血类型面积最大的其他类型的血肿进行合并;如果其中的一个出血类型为面积最大的血肿类型时,则维持不变。能够消除脑组织出血定位分类和出血量化模型预测结果存在的误差。

本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

相关技术
  • 图像分类方法及装置、电子设备、计算机程序及存储介质
  • 脑出血图像处理方法、装置、计算机设备及存储介质
  • 脑微出血的量化方法和计算机可读存储介质
  • 脑微出血的图像检测方法、装置、计算机设备及存储介质
技术分类

06120116016984