一种基于由粗到细密集编解码网络的颞骨内耳骨腔结构自动分割方法
文献发布时间:2023-06-19 10:32:14
技术领域
本发明属于医学影像处理领域,特别涉及一种由粗到细密集编解码网络的颞骨内耳骨腔结构自动分割方法。
背景技术
颞骨CT是医生检查耳部疾病的重要参考依据。在颞骨区域中,分为外耳、中耳和内耳三个区域,共包含30多个微小的解剖结构。其中,内耳区域是颞骨重要的区域之一,帮助人体听到声音并保持平衡。该区域主要包括耳蜗、前庭、外半规管、后半规管和前半规管等结构,这些结构主要以连通的骨腔结构构成,他们分别对保证人体听力和平衡起到不同的作用。耳蜗与外耳和中耳共同作用,外界声波促使耳蜗墙内液体流动,使耳蜗内细毛弯曲和移动,将声波的运动信号转化成电信号,通过听觉神经发送到大脑;前庭和三个半规管对维持人体平衡起到重要的作用,其中前庭是耳蜗和半规管的连接部分,内含更多的液体和细毛,通过液体流动感受人体运动;三个半规管彼此成直角,人体移动时,半规管内液体流动,促进内部细毛运动,帮助人提感受运动方向。因此,内耳区域是听力损失、头晕等症状重要的参考依据。近些年来,伴随着医学影像技术的发展,颞骨CT影像数据快速增长,但是,由于缺乏自动分析工具,大量的颞骨CT影像数据难以有效地应用于相关的分析研究中去。
医学影像分割是医学影像自动处理和分析中、医学研究与临床诊断中复杂而关键的基础步骤,其目的是将医学影像中具有某些特殊意义的部分分割出来,为临床诊断、手术规划、临床教学等任务提供可靠的参考依据。分割是医学影像分析的重要步骤,精准的分割不仅可以减轻医生的工作负担,并且可以帮助医生进一步了解解剖结构的特性,进行生理分析,例如耳蜗蜗轴的数量、前庭尺寸、半规管曲率夹角等物理量的测量。
解剖结构中小目标分割一直是医学影像分割中一项具有挑战性的任务。在颞骨的解剖结构中,需要分割的解剖结构仅占一例完整CT数据体素数的不足1%,并且,由于颞骨解剖结构的特殊性,解剖结构和解剖结构周围通常没有明显的界限划分,为颞骨解剖结构的分割带来了挑战。
经典的医学影像分割算法有阈值法、区域生长等方法,但是,由于颞骨CT解剖结构间的界限不明显且结构精密、体积微小,上述方法难以获得准确的分割结果。因此,迫切的需要更高效准确的分割算法。
近些年来,随着深度学习技术的发展,涌现了许多基于卷积神经网络的医学影像分割算法。为了充分捕获的层内信息和层间信息,这类算法通常采用三维的U型编、解码结构的神经网络。受到计算资源的限制,这类算法通常在一例完整的CT数据中,采用滑动窗口的形式按顺序将CT分块进行体素类别的预测。由于颞骨待分割的目标微小,容易受到复杂背景的干扰,因此分割速度和精度均表现欠佳。
本发明设计了一种由粗到细框架密集连接编解码网络的颞骨CT影像分割算法,用于颞骨区域内耳骨腔结构的自动分割。采用一种由粗到细的框架,先对颞骨区域中待分割的解剖结构,采用一种高效轻量的分割算法,对该解剖结构的进行粗分割,获得大致区域,根据粗分割结果预测的前景点集,计算中心点坐标。接着,在该中心点周围,像外部扩张至能够完整包含内耳骨腔结构的区域,并能够保留一部分背景信息,作为进一步精准分割的子区域。在细分割阶段,在编码过程中分别引入了密集连接模块,提取更加充分的特征,并在密集连接模块中加入空洞卷积,使分割算法对待分割目标获得了更大感受野,以提取到更充分的周围特征和空间信息。在解码阶段,对编码阶段提取特征通过转置卷积进行上采样,在每次转置卷积后,引入密集连接模块,加强解码信息的重复利用。其他部分,将专利(公开号:110544264A,公开日:2019年12月6日)采用的3D深监督机制、3D多池化特征融合策略继续沿用在精细分割网络中,指导分割算法的训练。
发明内容
本发明的目的在于克服现有医学影像小目标分割方法的不足。小解剖结构的分割一直是医学影像分割中一项具有挑战性的任务。这个问题同样存在于颞骨的解剖结构中。在一例颞骨CT序列中,目标解剖结构的体素数量仅占完整数据体素数量的不足1%,因此,复杂的较大背景会对待分割目标的分割结果产生负面影响。同时,由于颞骨CT的特殊性,各个解剖结构之间边界划分不清晰,为解剖结构的分割带来了挑战。针对以上问题,设计了一种由粗到细的颞骨关键解剖结构自动分割框架,在精细分割算法中,在此前已提交专利(公开号:110544264A,公开日:2019年12月6日)提出的基于3D深监督机制的颞骨关键解剖结构小目标分割方法基础上提出新的创新,通过引入密集连接块和空洞卷积,获得更大的目标感受野和更充分特征,对颞骨解剖结构进行更加准确地自动分割。
本发明是采用以下技术手段实现的:
一种由粗到细的密集网络进行颞骨内耳骨腔结构的自动分割方法。该方法整体分为3个阶段:基于粗分割的颞骨内耳骨腔结构粗定位、颞骨内耳骨腔结构候选区域提取和颞骨内耳骨腔结构精细分割阶段,具体流程如说明书附图1所示。
该方法具体包括以下步骤:
1)基于粗分割的颞骨内耳骨腔结构粗定位阶段:
第一步:采用网络结构轻量化、分割速度较快的常规医学影像分割方法,对颞骨内耳骨腔结构进行粗略分割。在粗分割模型训练阶段,在一例完整的颞骨CT影像数据和标注文件内的相同位置随机抽取48×48×48(CT影像前后、左右方向实际物理尺寸为像素数与像素间距乘积、上下方向为切片跨度与层间距乘积,因此只要实际物理距离大于24mm即可完整抽取包含内耳骨腔结构的立方体,在本方法中,采用的数据像素间距和层间距均为0.5mm,因此,抽取24mm×24mm×24mm立方体对应体素块大小为48×48×48)的立方体,如果该立方体内包含目标结构的标注,则对抽取后的颞骨CT影像立方体HU值截断处理,将HU值小于T
第二步:将完整的颞骨CT影像数据按照重叠滑动窗口的方式,按照顺序切分为多组切块,依次送入训练好的粗分割网络进行分割,并按输入顺序将分割结果叠加恢复至与完整的颞骨CT尺寸一致。在粗分割测试时,为了在粗定位时间和分割精度中找到平衡,选取重叠率为2,对输入的完整颞骨CT影像数据分为多组重叠切块输入分割网络预测。
第三步:根据各结构体素级标注,采用绝对中位差法去除粗分割中产生的离群点。设绝对中位差计算如公式(1)所示:
MAD=median(|Xi-median(X)|) (1)
其中,X是所有被预测为前景点的点集,X
(1)计算所有预测前景点坐标的中位数median(X);
(2)计算每个预测前景点与中位数的绝对偏差值abs(X
(3)计算(2)中的绝对偏差值的中位数(Median Absolute Deviation,MAD);
(4)将(2)中的值除以(3)的值,得到一组基于MAD的所有预测前景点距离中心的距离Dis。计算公式如式(2):
(5)将x、y、z三个维度上最大Dis值大于阈值Th的点作为异常点去除。Th是绝对偏差值与绝对偏差值中位数之间比值Dis的筛选阈值。可以根据真实前景点与离群点之间的比例关系进行选取。当前景点与离群点的比例较小时,Th选取较大,表示对前景点的位置差异更加鲁棒,会保留更多的前景点,但有可能无法完全去除离群点;当前景点与离群点的比例较大时,Th选取较小,表示前景点筛选的条件更严格,在去除离群点、保留大部分前景点的同时,有可能会删除掉正确的前景点。常规的MAD算法阈值取值在1到10之间,在对去除5个内耳骨腔结构粗定位时,离群点会对目标区域中心坐标产生干扰,在去除离群点时,前景点数量较多,因此对于Th值的选取较小,本方法采用3.5作为筛选阈值,即可去除远离目标区域的离群点。
2)颞骨关键解剖结构候选区域提取阶段:
第一步,统计颞骨内耳骨腔结构候选区域提取尺寸。基于统计体素级标注数据,统计颞骨内耳骨腔结构所有标注体素点在x、y、z三个维度上的最大值和最小值,以x、y、z最大值与x、y、z最小值之间的差值初步计算解剖结构的体素坐标跨度,由于CT间像素间距和层间距参数可能不一致,提取同样大小的体素区域无法保证提取同样大小的颞骨区域,因此,根据每例CT的像素间距和层间距,计算每例CT内耳骨腔结构对应的实际物理包围框尺寸,将每个结构实际物理尺寸最大值向外扩延至24mm×24mm×24mm,以层间距、像素间距为0.5mm的颞骨CT为例,取48×48×48的立方体,即可在保证完整包围目标分割结构的同时满足分割算法的输入,作为候选区域的提取尺寸。
第二步,结合待分割解剖结构粗定位中心点和解剖结构先验包围框尺寸信息,提取感兴趣区域。感兴趣区域通过区域中心点和三维尺寸描述,其中,以第一阶段预测的颞骨待分割关键解剖结构的中心点为中心,向外扩延提取立方体数据,立方体三维尺寸按照第一步统计计算的颞骨各个待分割解剖结构对应的包围框尺寸,以提取后的子区域作为进一步精确分割的候选区域,并对提取子区域位置进行记录。
3)颞骨内耳骨腔结构精细分割阶段:
该精细分割阶段具体包括编码和解码两个过程,整体网络架构如说明书附图2所示。
a)编码阶段
第一步:数据截断和归一化。将第2)阶段提取的颞骨内耳骨腔结构候选区域48×48×48体素长度子区域送入精准分割算法。为了降低复杂无关背景对分割目标的影响,将CT影像数据的子区域CT值按照颞骨CT的HU值分布范围进行数据截断,对于颞骨CT而言,可将小于T
第二步:采用带有空洞卷积的密集连接网络提取特征。将第一步数据截断和归一化后的48×48×48完整包含待分割颞骨内耳骨腔结构的子区域送入网络。编码阶段共设计了3组密集连接模块,该模块能够增强网络中信息的传递,减轻了梯度消失或梯度爆炸,同时,可以重复利用提取到的特征,获得丰富的语义信息。该模块由批归一化-修正线性单元-卷积层、拼接和瓶颈层三部分组成,如说明附图3所示,其中,密集连接模块所有卷积尺寸为3×3×3。密集连接块中的批归一化-修正线性单元-卷积层是由批归一化、修正线性单元和卷积层三个操作组成;拼接是将特征图在通道层面进行级联;瓶颈层的作用是减少密集连接块输出的特征图数量。在第三组密集连接模块中,采用了空洞卷积模块,该模块示意图见说明附图4,可以让卷积输出增大感受野,即包含解剖结构周围较大范围的空间信息。这有助于在三维数据中提取微小的颞骨关键解剖结构及其周围的空间信息。
第三步:多池化特征融合。沿用了专利(公开号:110544264A,公开日:2019年12月6日)的多池化特征融合策略,在每一层级的密集连接模块输出之后采用批归一化-修正激活单元-卷积层,为了防止过拟合,在此后通常采用Dropout层,Dropout率设置为0.5,在其之后同时采用3D最大池化和3D平均池化,将池化之后的结果做一个拼接。3D最大池化可以保留容积数据的边缘特征,3D平均池化可以保留容积数据的背景信息。两者拼接能为后续的分割提供丰富的特征信息。
b)解码阶段
第一步:采用转置卷积和密集连接模块进行特征的上采样。在解码过程中,采用带有密集连接模块的转置卷积,进行语义信息的解码。对编码阶段最后一层尺寸为12×12×12的张量特征数据,采用两次转置卷积进行上采样,将张量特征数据恢复至原始输入的48×48×48尺寸。与常规方法采用普通卷积提取转置卷积后特征的方式不同,在本发明解码阶段的两次转置卷积后面,将密集连接块代替普通卷积层,可以对转置卷积后的特征进行更加高效的利用,从而更好地进行体素类别的预测。
第二步:3D深监督机制。沿用了专利(公开号:110544264A,公开日:2019年12月6日)的3D深监督机制,在编码阶段,第一个密集连接网络块输出的特征采用64个卷积核提取特征,之后先经过一个1×1×1的卷积,紧接其后的是一个softmax层,输出辅助分割结果。解码阶段的第二层对拼接后的特征进行卷积操作进一步提取特征,将得到的特征先经过转置卷积提升分辨率,然后经过采用1×1×1卷积核的softmax层,得到第二个辅助分割结果。解码阶段最后一层对拼接后的特征经过包含不同卷积核的卷积操作之后输出主干网络的预测结果,主干网络的预测结果与分支网络的预测结果共同指导网络的训练。在网络训练的过程中主干网络的损失函数与分支网络的损失时函数共同构成联合目标函数,包含
其中X和Y分别表示预测体素与真实目标体素,n表示待分割目标的类别数(包含背景),x
其中N
基于上面定义的损失函数构建联合目标函数如公式(6)所示:
其中m为受监督的隐藏层的个数,λ
第三步:采用精准分割算法预测分辨率为48×48×48的分割结果,按照第2)阶段记录的候选区域提取位置,还原至在完整CT中的对应位置,作为最终分割结果。
本发明与现有技术相比,具有以下明显的优势和有益效果:
本发明提出了一种由粗到细密集编解码网络的颞骨内耳骨腔结构自动分割算法。结合颞骨解剖结构体积微小的特点,先采用了一种轻量高效的通用型医学影像解剖分割算法对待分割解剖结构进行粗分割,获取该解剖结构的空间位置分布范围,以该分布范围中心向外扩延提取小的子区域,缩小该结构精确分割的候选区域。在缩小待分割区域的基础上,采用带有密集连接和空洞卷积的精确分割的算法,对颞骨内耳骨腔结构进行更加精准的自动分割。所述方法采用了一种由粗到细的分割框架,通过先对待分割解剖结构进行粗分割划定候选区域,再在候选区域内进行精准分割,进一步解决颞骨区域解剖结构目标较小,受复杂背景影响较大的问题,提升颞骨内耳骨腔结构的分割精度和分割速度。该发明可以代替人工勾画,实现计算机自动分割颞骨内耳骨腔结构。
1.所述算法针对颞骨CT中内耳骨腔结构复杂而精细的特点,提出了一种由粗到细的分割框架,该框架采用轻量级的粗分割方法,确定解剖结构精确分割的候选区域,在区域内采用更加复杂的精细分割算法进行进一步精准分割;
2.所述算法在精细分割算法的编码阶段中,引入带有空洞卷积的密集连接模块,捕捉待分割解剖结构周围复杂的空间信息;在解码阶段中,采用转置卷积结合密集连接块,加强对解码信息的重用。提升了颞骨微小解剖结构的分割性能。
附图说明
图1、由粗到细的颞骨内耳骨腔结构分割算法整体框架图;
图2、颞骨内耳骨腔结构精细分割算法整体网络架构图;
图3、准密集连接模块与带有空洞卷积的密集连接模块示意图;
图4、标准卷积与空洞卷积示意图;
图5、颞骨内耳骨腔结构分割结果图。
具体实施方式:
以下结合说明书附图,对本发明的实施实例加以说明:
经过首都医科大学附属北京友谊医院伦理委员会批准,我们收集了64例手工标准化的颞骨CT数据。根据医院的要求,对所有数据中的病人信息进行了脱敏。在64例正常人体颞骨CT数据中,33人为男性,31人为女性,平均年龄44岁。邀请了友谊医院经验丰富的放射科医生对颞骨CT中的5个内耳骨腔结构进行体素级标注。实验中,采用56例数据作为训练集,8例数据作为训练集。
本发明的采用的数据预处理包括对CT影像和标注数据的重采样。
为避免CT采集设备品牌、参数的不同造成CT影像数据的像素间距、层间距不同而导致CT数据分布不一致,对CT影像数据采用B样条插值算法重采样统一像素间距、层间距至0.5毫米;对标注数据采用最近邻算法同样重采样至统一像素间距、层间距为0.5毫米。
1)颞骨关键解剖结构粗定位阶段:
第一步:采用较为轻量级,且在医学影像分割领域有着普遍应用的3D Unet算法对5内耳骨腔进行粗分割。使用56例训练集,8例测试集做分割测试。训练阶段,在56例完整的颞骨CT影像数据和对应的内耳骨腔结构标注数据中,随机抽取一例,并在该例CT影像数据和标注中同位置随机抽取实际物理尺寸为24mm的立方体区域,由于重采样后所有CT具有统一的像素间距和层间距为0.5mm,因此该区域对应体素区域统一为48×48×48的立方体,如果该标注的立方体内包含目标结构的标注前景,即抽到的标注立方体中含有标签值1,则对抽取后的颞骨CT影像立方体HU值截断处理,将T
第二步:粗分割算法测试阶段,将完整的8例测试数据,以带有重叠的滑动窗口方式,重叠率为2,每个滑动窗口立方体尺寸为48×48×48,将测试数据输入3D Unet算法进行分割测试。
第三步:对于粗略的分割结果,采用绝对中位差算法,以阈值为2.5,去除3D Unet分割的异常离群点;
第三步:以内耳骨腔结构体素级分割结果的中心点作为进一步候选区域提取的中心点。
2)颞骨关键解剖结构候选区域提取阶段:
第一步:统计颞骨CT关键解剖候选区域提取尺寸。以基于内耳骨腔结构的体素级标注数据,在56例训练数据集中,统计内耳骨腔结构所有标注体素点在x、y、z三个维度上的最大值和最小值,以x、y、z最大值与x、y、z最小值之间的差值统计计算对应实际物理距离,并向外扩延,满足3D Unet分割算法的三次下采样需求。最终确定内耳骨腔结构的候选包围盒区域实际物理距离为24×24×24,对应体素尺寸为48×48×48。
第二步:根据第一阶段内耳骨腔结构中心点,向x、y、z正负方向分别扩延12mm,即24个体素距离,作为进一步精确分割的候选区域。。
3)颞骨关键解剖结构精准分割阶段:
颞骨关键解剖结构精准分割阶段主要分为编码阶段和解码阶段。
a)编码阶段
第一步:将第2)阶段提取的内耳骨腔区域48×48×48子区域送入精准分割算法。将CT影像数据的子区域CT值小于-1024的值截断至-1024,大于2347的值截断至2347,并进行归一化为均值为0,方差为1的数据分布。
第二步:密集连接模块结合空洞卷积进行特征提取。内耳骨腔结构体积微小,为了更充分的对待分割结构进行提取,采用密集连接块进行特征提取,每层密集连接模块由一组批归一化-修正线性单元-卷积层、拼接和瓶颈层这三部分组成。在编码阶段,我们采用了3个3层的密集连接模块。为了让卷积输出获得更大的感受野,提取较大范围的空间信息,将第3个密集连接模块的卷积层替换为扩张率为2的空洞卷积。
第三步:多池化特征融合。沿用了多池化特征融合策略,在每一层级的密集连接模块输出之后采用批归一化-修正激活单元-卷积层,为了防止训练过程中出现过拟合,通常采用了丢弃率为0.5的dropout层,在其之后同时采用3D最大池化和3D平均池化,将池化之后的结果做一个拼接。3D最大池化可以保留容积数据的边缘特征,3D平均池化可以保留容积数据的背景信息。两者拼接能为后续的分割提供丰富的特征信息。
b)解码阶段
i.采用转置卷积和密集连接模块进行特征的上采样。
第一步:将编码阶段第一个、第二个和第三个密集连接网络块输出的特征分别为F
第二步:将编码阶段第二个密集连接块输出F
第三步:将编码阶段第一个密集连接块的输出F
ii.3D深监督机制。
第一步:在解码阶段,对于特征D
第二步:将编码阶段特征组M
第三步:对特征组D
第四步:联合损失指导网络训练。分别将网络预测结果aux_pred1、aux_pred2以及main_pred与手工标注的金标准GT进行比较,计算交叉熵损失和DSC损失,由辅助预测结果得到的损失与主干预测结果得到的损失共同构成联合损失指导网络的训练。
以下为精准分割网络的训练和测试过程:
a)模型训练
在模型训练阶段,将第一阶段提取的48×48×48子体积输入分割算法进行训练。训练过程中,batch size设为2,初始学习率设置为0.0001,采用动量系数设置为0.5,在每个20个批次训练完成后,在验证集中随机抽取一例数据进行验证,采用DSC系数作为评价结果,每2000次保存一次模型,直到精准分割模型损失收敛,且验证DSC指标接近饱和,选取验证结果指标最高的模型作为精准分割网络训练的最优模型。
b)模型测试
在模型测试阶段,将第二阶段提取的48×48×48子区域进行精准分割预测,在预测完成后,按照第一阶段提取子区域记录的位置,将精准分割结果还原至对应位置,作为一例颞骨CT影像的最终分割结果。
所述算法对内耳骨腔结构分割结果主观图见说明附图5。
- 一种基于由粗到细密集编解码网络的颞骨内耳骨腔结构自动分割方法
- 一种基于残差密集模块网络结构的眼底图像质量自动分类方法