一种基于深度学习的儿童后颅窝肿瘤诊断方法

技术领域

本发明涉及计算机视觉领域，具体涉及一种基于深度学习的儿童后颅窝肿瘤诊断方法。

背景技术

大脑后颅窝肿瘤是指位于颅脑后部的肿瘤。颅脑后颅窝是指位于颅骨的后部，包括小脑、脑干、第四脑室和延髓等结构。因此，大脑后颅窝肿瘤可以包括多种类型的肿瘤，如小脑肿瘤、脑干肿瘤、第四脑室肿瘤等。这些肿瘤可以是原发性肿瘤，即最初在颅脑后颅窝内形成的肿瘤，也可以是转移性肿瘤，即来自身体其他部位的癌细胞扩散到颅脑后颅窝形成的肿瘤。常见的大脑后颅窝肿瘤包括小脑星形细胞瘤、脑干胶质母细胞瘤、脑干胶质瘤、脑干转移瘤等。大脑后颅窝肿瘤的症状和表现可以因肿瘤的类型、位置和大小而有所不同。一般来说，患者可能出现头痛、恶心、呕吐、平衡障碍、行走不稳、肌力减退、面部或四肢麻木、视力问题、听力问题、语言障碍等症状。确诊大脑后颅窝肿瘤通常需要进行详细的医学评估和影像学检查，如头部MRI(磁共振成像)、CT(计算机断层扫描)等。治疗方法根据肿瘤的类型、位置和患者的整体情况而定，可能包括手术切除、放疗和化疗等综合治疗方法。

对儿童后颅窝肿瘤诊断主要是经验法和基因测序法，经验法主要依赖于医生的经验和一系列的医学检查。经验法是指医生根据临床表现、病史和体格检查等因素，结合其在儿童神经肿瘤领域的专业知识和经验，进行初步判断和诊断。基因测序法在儿童肿瘤诊断和治疗中也发挥着重要作用。基因测序可以帮助确定肿瘤的分子特征和突变情况，从而更好地了解肿瘤的类型、预后和治疗选择。

经验法需要专业的医生，但是出错的机率仍然比较高而且专业的医生也比较少，经验法主要依赖医生的临床经验和专业知识，因此存在主观性。不同医生可能有不同的判断和诊断，而且对于罕见或复杂的病例，经验法的准确性可能受到限制。经验法受限于医生个人的经验和知识范围。如果医生对儿童后颅窝肿瘤的了解不充分或不更新，可能会导致诊断错误或忽略新的治疗进展。而基因测序技术虽然不断进步，但仍存在一些技术限制。例如，特定基因的突变可能无法被当前的测序方法检测到，或者可能出现假阳性或假阴性结果。基因测序结果的解释可能是复杂的。某些基因突变的临床意义尚不清楚，或者可能存在多个突变同时存在的情况，难以准确解释其对诊断和治疗的影响。基因测序的成本较高，且在某些地区或医疗机构可能无法轻易获得。这可能限制了其在临床实践中的广泛应用。基因测序产生的大量数据需要专业的生物信息学分析和解读。对于医生和临床医疗团队来说，理解和解释这些数据可能具有挑战性。

发明内容

本发明提供一种基于深度学习的儿童后颅窝肿瘤诊断方法，目的是构建一种二阶段深度学习模型，根据儿童后颅窝肿瘤核磁术前和术后影像，做出相应的预测，帮助医生更好的制定手术方案。

为解决上述技术问题，本发明采用如下技术方案：

一种基于深度学习的儿童后颅窝肿瘤诊断方法，包括以下步骤：

S1，对患者的T1_Ax切片库、T1_E_Ax切片库和T2_Ax切片库进行深度学习，得到患者的后颅窝肿瘤类别和后颅窝肿瘤三维标签；

S2，分别对患者的术前核磁影像和术后核磁影像进行深度拼接和特征提取，转化为术前特征图和术后特征图；对所述术前特征图和术后特征图进行融合操作，得到初步融合特征图；

S3，获取患者的术前临床信息，从患者的后颅窝肿瘤三维标签中提取肿瘤的大小和位置，对所述术前临床信息和患者的后颅窝肿瘤类别进行编码，通过跨模态注意进行跨模态融合，得到多模态融合特征图；

S4，分别对初步融合特征图和多模态融合特征图进行下采样，产生初步融合下采样特征图和多模态融合下采样特征图；

S5，将所述初步融合下采样特征图和多模态融合下采样特征图经过Transformer结构进行特征融合，产生变形器融合特征图；

S6，对变形器融合特征图进行解码操作，得到变形器融合上采样特征图，并得到患者预后分析结果。

进一步地，S1中所述预测患者后颅窝肿瘤类别和后颅窝肿瘤三维标签包括以下步骤：

S1.1，从T1_Ax切片库中分别提取肿瘤所在的T1_Ax肿瘤图像组，从T1_E_Ax切片库中分别提取肿瘤所在的T1_E_Ax肿瘤图像组，从T2_Ax切片库中分别提取肿瘤所在的T2_Ax肿瘤图像组；

S1.2，分别对T1_Ax肿瘤图像组、T1_E_Ax肿瘤图像组和T2_Ax肿瘤图像组进行四次下采样操作提取特征，产生T1_Ax影像特征图

其中i表示神经网络的层数，i取值为1到4的自然数，表示从低到高；Conv(·)表示卷积操作；

S1.3，分别对T1_Ax影像特征图

其中Add(·)表示特征图相加融合操作；

S1.4，对后颅窝肿瘤融合特征图

后颅窝肿瘤上采样特征图

其中Up(·)表示上采样操作，Concat(·)表示深度拼接操作；

S1.5，重复三次S1.4步骤，得出预测结果pre，预测结果包含后颅窝肿瘤类别和后颅窝肿瘤三维标签，具体描述为：

其中

进一步地，所述步骤S2中，术前特征图为

其中j表示第j层网络，j-1代表上一层网络。

进一步地，所述步骤S3中，通过跨模态注意进行跨模态融合方式c

其中β

进一步地，所述步骤S4中，分别对初步融合特征图和多模态融合特征图进行下采样具体描述为：

其中

进一步地，所述步骤S5中，所述变形器融合特征图为

进一步地，所述步骤S6中，所述解码步骤包括上采样操作，后接Softmax(·)激活函数，具体描述为：

其中

与现有技术相比，本发明的有益效果是：

1)通过提出一种二阶段的方法，利用医学核磁影像多模态信息，并加入患者临床信息去分析患者的肿瘤类型和预后风险。通过大量数据的训练下，有效识别四种后颅窝肿瘤、三种髓母细胞瘤分子亚型、并对预后风险做出诊断。

2)术前评估：基于术前MRI影像，模型可以提供关于肿瘤的定位、大小、形态等信息，帮助医生进行术前评估。这有助于确定手术的可行性、目标切除区域和手术路径，为手术提供更准确的指导。

3)病变分析：深度学习模型可以在术前和术后MRI影像中自动提取特征，并对比两个时间点的影像数据。通过分析病变的变化情况，如肿瘤的缩小、形态的变化等，模型可以帮助医生评估治疗效果，并调整后续治疗计划。

4)辅助手术决策：模型可以根据术前和术后影像提供预测结果，如肿瘤的边界、侵袭性程度等信息。这些预测结果可以作为医生制定手术方案的参考，帮助决定是否需要更广泛的切除、是否需要其他辅助治疗或术后监测等。

5)减少手术风险：通过模型提供的定位、病变分析和辅助决策，医生可以更准确地规划手术过程，减少手术风险。这有助于最大程度地切除肿瘤，同时尽量保护周围正常组织和关键结构，提高手术的安全性和成功率。

附图说明

图1为本发明实施例提供的儿童后颅窝肿瘤分类的流程图；

图2为本发明实施例提供的多模态影像从深度通道的融合方法示意图；

图3为本发明实施例提供的儿童后颅窝肿瘤分析过程示意图；

图4为本发明实施例提供的整体框架流程示意图。

具体实施方式

以下结合附图和具体实施例，对本发明进行详细说明，在详细说明本发明各实施例的技术方案前，对所涉及的名词和术语进行解释说明，在本说明书中，名称相同或标号相同的部件代表相似或相同的结构，且仅限于示意的目的。

术语解释

1)MRI(Magnetic Resonance Imaging)是一种医学影像技术，用于生成身体内部的详细图像。MRI利用强磁场和无害的无线电波来获取人体组织的高分辨率图像，以帮助医生诊断和评估多种疾病和病变。MRI图像显示了人体内部的解剖结构和组织特征，包括脑部、脊柱、关节、内脏器官等。相比于其他成像技术，MRI提供了更丰富的对比度和详细的解剖信息，可以显示软组织和器官的细微结构。

2)T1_Ax、T1_E_Ax、T2_Ax是医学影像学中常见的模态图像，它们代表了不同的成像序列和对组织的对比度。

3)T1_Ax(T1加权轴位图像)：T1_Ax是一种以轴位(横断面)方向获得的MRI图像，使用T1加权序列进行成像。T1加权图像对脂肪含量具有高信号强度，而对水和其他液体具有较低信号强度。T1_Ax图像适合显示解剖结构，例如用于评估脑部组织的解剖形态。

4)T1_E_Ax(增强T1加权轴位图像)：T1_E_Ax是在T1加权轴位图像基础上进行增强的图像。这种增强是通过向患者注射对比剂(如Gadolinium)来实现的，对比剂可以突出血液供应较好的组织或异常区域。在T1_E_Ax图像中，异常组织(如肿瘤)通常呈现更高的信号强度，而正常组织则保持与T1_Ax图像类似的信号强度。T1_E_Ax可用于检测和评估肿瘤、炎症或血管异常等病变。

5)T2_Ax(T2加权轴位图像)：T2_Ax是一种以轴位(横断面)方向获得的MRI图像，使用T2加权序列进行成像。T2加权图像对液体(如脑脊液)具有高信号强度，而对脂肪和其他组织具有中等到低信号强度。T2_Ax图像适合显示异常信号、水肿、炎症和脑脊液积聚等情况。

6)深度拼接：在网络的某一层将多个特征图(feature map)在深度维度上进行连接或拼接的操作。在深度学习中进行卷积操作时，输入数据会经过多个卷积层，每个卷积层会生成一组特征图。这些特征图在深度维度上具有不同的通道或特征数量。将这些特征图进行融合或组合时，可以使用在深度上进行拼接的操作。具体而言，在深度上拼接操作将特征图按照深度维度进行连接，将多个特征图的通道或特征数量进行堆叠，形成一个更深的特征图。这样做可以增加特征的多样性和丰富性，并提供更多的上下文信息。在实际应用中，深度上的拼接通常发生在网络的某些特定层或模块中，例如残差连接(residualconnections)或多尺度融合(multi-scale fusion)操作中。通过在深度上进行拼接，网络可以更好地捕捉到不同层次的特征，从而提高模型的表达能力和性能。

7)Transformer是Google的团队在2017年提出的一种NLP经典模型，现在比较火热的Bert也是基于Transformer。Transformer模型使用了Self-Attention机制，不采用RNN的顺序结构，使得模型可以并行化训练，而且能够拥有全局信息。

8)跨模态注意(Cross-Modal Attention)是指在多模态数据处理中，将不同模态之间的信息关联和交互进行建模的注意力机制。在跨模态任务中，输入数据可能包含来自不同模态(例如图像、文本、音频等)的信息。跨模态注意机制旨在捕捉不同模态之间的相关性，使得模型能够在处理一个模态的信息时，能够自适应地关注与之相关的其他模态的信息。

9)预后是一个医学术语，分为自然预后和干预预后。疾病预后是对某种疾病的了解，除了先了解其临床表现、化验及影像学、病因、病理、病情规律等方面之外，重要的是根据治疗时机和方法结合治疗操作中所发现的新情况，对疾病的近期和远期疗效、转归恢复或进展程度的评估。

请参阅附图1-4，本发明提供一个儿童后颅窝肿瘤分类和预后分析的模型，此模型经过训练数据集的训练后，可以对儿童后颅窝肿瘤进行分类，分出四种后颅窝肿瘤：髓母细胞瘤、室管膜瘤、胶质瘤和脉络丛。接着根据获得的肿瘤类型和患者临床变量对患者的预后做出分析。

1、如图1所示，儿童后颅窝肿瘤分类和分割过程：

S1：从T1_Ax、T1_E_Ax、T2_Ax三个模态图像中提肿瘤所在的切片，并对三个模态输入进行级联操作。

S2：三个输入分支分别进行下采样提取特征，产生下采样后的不同模态影像的特征图。

S3：在编码区最底部对三个分支特征进行融合，融合方式为特征图相加，产生融合特征。

S4：如图2所示，对融合后的特征图进行上采样操作，上采样后的特征图和下采样过程中size一样的特征图在深度上进行拼接操作，一共进行四次上采样，最后完成解码过程，预测出后颅窝肿瘤的类别和肿瘤的三维标签。

S5：上述模型经过不同后颅窝肿瘤核磁多模态影像数据的训练，对后颅窝肿瘤完成了分类，并产生一个三维的肿瘤标签。核磁影像训练数据由髓母细胞瘤、室管膜瘤、胶质瘤、脉络丛四种后颅窝肿瘤和每个肿瘤数据的三维肿瘤标签组成。

进一步的在所述步骤S1中，提肿瘤所在的切片是利用训练数据中的肿瘤分割标签，提取到肿瘤的位置信息，并在MRI图像中提取出肿瘤所在的切片。

进一步的在所述步骤S2中，三个分支经过四次下采样，T1_Ax特征表示为

进一步的在所述步骤S3中，特征融合描述为：

进一步的在所述步骤S4中，特征深度通道拼接和上采样描述为：

进一步的在所述步骤S5中，预测结果描述为：

所述Concat(·)表示深度拼接操作，Conv(·)表示卷积操作，Add(·)表示特征图相加融合操作，Up(·)表示上采样操作,Softmax(·)表示Softmax激活函数。

2、如图3所示，儿童后颅窝肿瘤分析过程

S1：获取到患者的临床信息，包含是否放化疗、肿瘤血供、术前脑积水、性别和年龄。再从儿童后颅窝肿瘤分类过程中S4获取肿瘤的类别和肿瘤分割标签。

S2：对术前图像分支与术后图像分支分别进行级联操作，不同模态的影像在深度通道进行拼接，对级联后的两个分支分别进行特征提取，对术前术后的特征进行融合操作，产生初步融合的特征图；

S3:对术前肿瘤标签分支提取肿瘤的大小和位置，对术前临床变量和肿瘤类别分支进行编码，然后通过跨模态注意进行多模态的信息的融合。

S4：对S2和S3融合后的特征进行下采样，产生下采样后的特征图。

S5：使用S4产生的双分支特征图经过Transformer结构进行特征融合，产生融合特征。

S6：对融合后的特征图进行解码操作，预测患者肿瘤复发风险概率和给出治疗方案。

S6：上述模型经过已知的后颅窝肿瘤核磁影像、临床数据和肿瘤标签的训练，对不同患者的后颅窝肿瘤完成了预后分析。核磁影像训练数据由髓母细胞瘤、室管膜瘤、胶质瘤、脉络丛的术前术后影像和他们各自的肿瘤3D标签以及对应患者临床信息组成

进一步的在所述步骤S2中，用卷积提取特征，术前特征是

进一步的在所述步骤S3中，临床变量和肿瘤信息进行编码，跨模态注意融合描述为：

β

进一步的在所述步骤S4中，对两个分支进行下采样，描述为：

进一步的在所述步骤S5中，使用Transformer结构进行特征融合,具体描述为：

所述Trans(·)表示利用Transformer结构进行特征融合。

进一步的在所述步骤S6中，解码经过上采样操作，后接Softmax(·)激活函数，具体描述为：

以上所述实施方式仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明的权利要求书确定的保护范围内。