基于多模态影像的放射治疗引导方法及设备

技术领域

本发明属于医疗放射技术领域，具体涉及一种基于多模态影像的放射治疗引导方法及设备。

背景技术

帕金森病(Parkinson’sdisease，PD)是好发于中老年人的中枢神经系统慢性退行性疾病，主要是由于，其主要病理特征为黑质(substantianigra,SN)致密部多巴胺能神经元脱失。黑质纹状体多巴胺能神经元变性，残存的神经元细胞生物合成能力下降，引起黑质-纹状体通路多巴胺能释放减少，主要临床症状有静止性震颤、强直、运动迟缓和姿势反射。左旋多巴制剂是治疗帕金森病的标准药物，但是长期服用会引起运动并发症，药效也会下降，因此常需外科手术治疗。

立体定向脑内核团毁损术是目前主要手术方法之一：放射治疗行神经核团毁损术是通过破坏脑内神经核团，达到控制患者症状的目的。放射治疗需要借助立体定向技术来精确引导。现有的方案仅通过CT或MRI进行定位，不具有实时性。

由于人脑具有不可再生的特点，所造成的脑神经核团毁损终身难以恢复，也因此引起正常脑功能的紊乱。而如果因定位误差，可能损伤到其他神经核团，导致更严重的并发症。约5-10％的病人出现脑出血、脑梗塞、靶点偏差等并发症，严重者出现偏瘫、昏迷，甚至危及生命。毁损术一般只能进行一侧，也就是控制一侧肢体症状。但是临床上90％的帕金森病病人存在双侧肢体症状和头面部症状。双侧大脑同时进行毁损手术会发生严重的手术并发症，即使是分期进行双侧手术并发症高达30-50％,术后大多数病人会出现讲话声音降低、吞咽缓慢、吞咽困难、流口水、乏力等症状。

电子发射断层显像(DAT-PET)对帕金森综合征有较高的敏感度和特异度，在原发性PD诊断与判断病情严重程度方面有较高的临床应用价值。但DAT-PET价格昂贵，不具有实时性，其耗时长，费用昂贵，技术要求高，患者注射放射性示踪剂存在一定风险。

发明内容

为了解决上述技术问题，本发明提出了一种基于多模态影像的放射治疗引导方法及设备。

为了达到上述目的，本发明的技术方案如下：

一方面，本发明公开一种基于多模态影像的放射治疗引导方法，包括：

步骤S1：采集患者的CT/MR图像以及相应的经颅黑质超声图像；

步骤S2：将经颅黑质超声图像输入至训练好的分类网络模型中，获取经颅黑质超声的位姿分类结果；

步骤S3：将CT/MR图像在XY平面进行重采样，重采样至与步骤S2中经颅黑质超声的位姿分类结果一致的方向；

步骤S4：将经颅黑质超声图像输入至训练好的二维分割网络模型进行中脑强回声区域分割，得到分割后的中脑区域超声图像；

然后将中脑区域超声图像进行处理，具体处理为：在XY平面调整成与步骤S3中CT/MR图像相同的大小和分辨率，在Z轴方向上复制相同切片数量的超声图像；

步骤S5：将步骤S3获取的重采样的CT/MR图像以及步骤S4获取的处理后的中脑区域超声图像输入至三维分割网络模型中进行平面估计，得到CT/MR图像中的超声平面估计结果；

步骤S6：将步骤S5获取的CT/MR图像中的超声平面估计结果与步骤S1采集的经颅黑质超声图像进行融合，得到配准经颅黑质超声图像；

步骤S7：利用配准经颅黑质超声图像进行靶区实时追踪，获得脑部组织位移偏差值，对放射治疗进行引导。

在上述技术方案的基础上，还可做如下改进：

作为优选的方案，在各个网络模型训练前，通过以下步骤准备训练数据：

步骤A1：获取若干CT/MR图像以及与其对应的经颅黑质超声图像；

步骤A2：对于获取的CT/MR图像，对其中脑区域进行标注，形成第一标签数据；

对于获取的经颅黑质超声图像，对其位姿分类进行标注，形成第二标签数据；

对于获取的经颅黑质超声图像，对其中脑区域进行标注，形成第三标签数据；

步骤A3：对CT/MR图像、经颅黑质超声图像、第一标签数据、第二标签数据、第三标签数据进行预处理，形成训练数据，并根据比例将训练数据划分为训练集、验证集和测试集。

作为优选的方案，分类网络模型的训练包括：

步骤B1：将训练数据加载至分类网络模型中并初始化模型参数；

步骤B2：采用随机梯度下降算法将网络模型学习到的特征向量进行前向和反向传播，不断更新网络模型学习参数；

步骤B3：将每次迭代训练后的预测结果与第二标签数据的真实标签进行损失函数的计算，直至损失值达到全局最优解；

步骤B4：记录每次迭代训练的训练损失和验证损失；

当训练损失和验证损失同步下降时，则分类网络模型继续训练；

当训练损失下降，而验证损失上升时，则分类网络模型停止训练；

步骤B5：根据步骤B4中的两种情形训练网络至指定的迭代次数，然后停止训练，并保存最优网络模型权重，在测试集上进行实际测试。

作为优选的方案，二维分割网络模型的训练包括：

步骤C1：将训练数据加载至二维分割网络模型中并初始化模型参数；

步骤C2：采用随机梯度下降算法将网络模型学习到的特征向量进行前向和反向传播，不断更新网络模型学习参数；

步骤C3：将每次迭代训练后的预测结果与第三标签数据的真实标签进行损失函数的计算，直至损失值达到全局最优解；

步骤C4：记录每次迭代训练的训练损失和验证损失；

当训练损失和验证损失同步下降时，则分类网络模型继续训练；

当训练损失下降，而验证损失上升时，则分类网络模型停止训练；

步骤C5：根据步骤C4中的两种情形训练网络至指定的迭代次数，然后停止训练，并保存最优网络模型权重，在测试集上进行实际测试。

作为优选的方案，三维分割模型的训练包括：

步骤D1：将训练数据中的CT/MR图像在XY平面进行重采样，重采样至与分类网络模型预测的经颅黑质超声的位姿分类结果一致的方向；

步骤D2：将训练数据输入至二维分割网络模型进行中脑强回声区域分割，得到分割后的中脑区域超声图像；

然后将中脑区域超声图像进行处理，具体处理为：在XY平面调整成与步骤D1中CT/MR图像相同的大小和分辨率，在Z轴方向上复制相同切片数量的超声图像；

步骤D3：将步骤D1获取的重采样的CT/MR图像以及步骤D2获取的处理后的中脑区域超声图像加载至三维分割网络模型中并初始化模型参数；

步骤D4：采用随机梯度下降算法将网络模型学习到的特征向量进行前向和反向传播，不断更新网络模型学习参数；

步骤D5：将每次迭代训练后的预测结果与第一标签数据的真实标签进行损失函数的计算，直至损失值达到全局最优解；

步骤D6：记录每次迭代训练的训练损失和验证损失；

当训练损失和验证损失同步下降时，则分类网络模型继续训练；

当训练损失下降，而验证损失上升时，则分类网络模型停止训练；

步骤D7：根据步骤D6中的两种情形训练网络至指定的迭代次数，然后停止训练，并保存最优网络模型权重，在测试集上进行实际测试。

另一方面，本发明还公开一种基于多模态影像的放射治疗引导设备，包括：

图像采集模块，用于采集患者的CT/MR图像以及相应的经颅黑质超声图像；

位姿分类模块，用于将经颅黑质超声图像输入至训练好的分类网络模型中，获取经颅黑质超声的位姿分类结果；

重采样模块，用于将CT/MR图像在XY平面进行重采样，重采样至与位姿分类模块中经颅黑质超声的位姿分类结果一致的方向；

二维分割模块，用于将经颅黑质超声图像输入至训练好的二维分割网络模型进行中脑强回声区域分割，得到分割后的中脑区域超声图像；

然后将中脑区域超声图像进行处理，具体处理为：在XY平面调整成与二维分割模块中CT/MR图像相同的大小和分辨率，在Z轴方向上复制相同切片数量的超声图像；

三维分割模块，用于将重采样模块获取的重采样的CT/MR图像以及二维分割模块获取的处理后的中脑区域超声图像输入至三维分割网络模型中进行平面估计，得到CT/MR图像中的超声平面估计结果；

配准融合模块，用于将三维分割模块获取的CT/MR图像中的超声平面估计结果与图像采集模块采集的经颅黑质超声图像进行融合，得到配准经颅黑质超声图像；

追踪模块，用于利用配准经颅黑质超声图像进行靶区实时追踪，获得脑部组织位移偏差值，对放射治疗进行引导。

作为优选的方案，还包括：训练数据准备模块，具体包括：

原始图像获取单元，用于获取若干CT/MR图像以及与其对应的经颅黑质超声图像；

标注单元，用于对于获取的CT/MR图像，对其中脑区域进行标注，形成第一标签数据；

对于获取的经颅黑质超声图像，对其位姿分类进行标注，形成第二标签数据；

对于获取的经颅黑质超声图像，对其中脑区域进行标注，形成第三标签数据；

预处理单元，用于对CT/MR图像、经颅黑质超声图像、第一标签数据、第二标签数据、第三标签数据进行预处理，形成训练数据，并根据比例将训练数据划分为训练集、验证集和测试集。

作为优选的方案，分类网络模型通过第一训练模块进行训练，第一训练模块包括：

第一加载单元，用于将训练数据加载至分类网络模型中并初始化模型参数；

第一学习单元，用于采用随机梯度下降算法将网络模型学习到的特征向量进行前向和反向传播，不断更新网络模型学习参数；

第一损失计算单元，用于将每次迭代训练后的预测结果与第二标签数据的真实标签进行损失函数的计算，直至损失值达到全局最优解；

第一记录单元，用于记录每次迭代训练的训练损失和验证损失；

当训练损失和验证损失同步下降时，则分类网络模型继续训练；

当训练损失下降，而验证损失上升时，则分类网络模型停止训练；

第一测试单元，用于根据第一记录单元中的两种情形训练网络至指定的迭代次数，然后停止训练，并保存最优网络模型权重，在测试集上进行实际测试。

作为优选的方案，二维分割网络模型通过第二训练模块进行训练，第二训练模块包括：

第二加载单元，用于将训练数据加载至二维分割网络模型中并初始化模型参数；

第二学习单元，用于采用随机梯度下降算法将网络模型学习到的特征向量进行前向和反向传播，不断更新网络模型学习参数；

第二损失计算单元，用于将每次迭代训练后的预测结果与第三标签数据的真实标签进行损失函数的计算，直至损失值达到全局最优解；

第二记录单元，用于记录每次迭代训练的训练损失和验证损失；

当训练损失和验证损失同步下降时，则分类网络模型继续训练；

当训练损失下降，而验证损失上升时，则分类网络模型停止训练；

第二测试单元，用于根据第二记录单元中的两种情形训练网络至指定的迭代次数，然后停止训练，并保存最优网络模型权重，在测试集上进行实际测试。

作为优选的方案，三维分割模型通过第三训练模块进行训练，第三训练模块包括：

重采样单元，用于将训练数据中的CT/MR图像在XY平面进行重采样，重采样至与分类网络模型预测的经颅黑质超声的位姿分类结果一致的方向；

处理单元，用于将训练数据输入至二维分割网络模型进行中脑强回声区域分割，得到分割后的中脑区域超声图像；

然后将中脑区域超声图像进行处理，具体处理为：在XY平面调整成与重采样单元中CT/MR图像相同的大小和分辨率，在Z轴方向上复制相同切片数量的超声图像；

第三加载单元，用于将重采样单元获取的重采样的CT/MR图像以及处理单元获取的处理后的中脑区域超声图像加载至三维分割网络模型中并初始化模型参数；

第三学习单元，用于采用随机梯度下降算法将网络模型学习到的特征向量进行前向和反向传播，不断更新网络模型学习参数；

第三损失计算单元，用于将每次迭代训练后的预测结果与第一标签数据的真实标签进行损失函数的计算，直至损失值达到全局最优解；

第三记录单元，用于记录每次迭代训练的训练损失和验证损失；

当训练损失和验证损失同步下降时，则分类网络模型继续训练；

当训练损失下降，而验证损失上升时，则分类网络模型停止训练；

第三测试单元，用于根据第三记录单元中的两种情形训练网络至指定的迭代次数，然后停止训练，并保存最优网络模型权重，在测试集上进行实际测试。

本发明一种基于多模态影像的放射治疗引导方法及设备，具有以下有益效果：

第一，通过经颅黑质超声图像实时引导，减小受呼吸及心脏跳动的位移影响，确保治疗的准确性。

第二，将CT/MR图像与经颅黑质超声图像配准，使得经颅黑质超声能更好地观察脑部组织情况，便于术中引导。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的放射治疗引导方法中配准流程图。

图2为本发明实施例提供的经颅黑质超声图像位姿分类流程图。

图3为本发明实施例提供的经颅黑质超声图像中脑区域分割流程图。

图4为本发明实施例提供的超声平面估计流程图。

具体实施方式

下面结合附图详细说明本发明的优选实施方式。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

另外，“包括”元件的表述是“开放式”表述，该“开放式”表述仅仅是指存在对应的部件，不应当解释为排除附加的部件。

X射线计算机断层成像(Computed Tomography,CT)，可用于颅骨和脑部血管的三维重建，通过CT图像电子线密度计算放疗过程中剂量的计算。

磁共振成像(Magnetic resonance imaging，MRI)，主要是对脑内的软组织器官进行三维重建。且MR中磁共振弥散张量成像(diffusion weighted imaging，DWI)和弥散张量纤维成像跟踪技术(Diffusion tensor Tractography,DTT)主要利用组织内水分的弥散特性来观察和追踪脑白质纤维束情况，以反映患者脑白质纤维束退行病变情况，通过上述两种技术可辅助确定靶区位置。

经颅黑质超声(transcranialsonography，TCS)，是临床常用的神经影像技术，主要显示脑组织的二维超声图像，经颅经颅黑质超声可实时动态观察脑部组织位移变化。帕金森患者出现中脑黑质异常强回声现象与黑质铁质异常沉积有关，患者经颅经颅黑质超声可反映黑质纹状体系统损伤情况和铁的异常沉积的现象，经颅经颅黑质超声可为放射治疗行神经核团毁损术提供重要的参考信息，是放射治疗行神经核团毁损术的重要辅助工具。

由于经颅黑质超声(transcranialsonography，TCS)与其他检查方法成像原理不同—由于声阻抗在不同界面超声反射波强度不同，TCS可以通过不同疾病SN、中脑平面等特征性改变诊断疾病。TCS检查特征性发现可以被用于PD的早期甚至是临床前诊断及PD与PS的鉴别诊断。TCS与其他神经影像检查方法如CT、MRI等相比较还具备一项优点：无创、广泛应用、实时图像、并且患者在检查中不必完全制动。因此，TCS可以被视作一种PD常规诊断或筛查黑质纹状体系异常的理想方法。

本发明将CT/MR图像与结合经颅脑经颅黑质超声结合，进行实时定位。

超声对于细小软组织分辨率强于上述两种成像方式测量位置偏差更加精确。

为了达到本发明的目的，一种基于多模态影像的放射治疗引导方法及设备的其中一些实施例中，如图1-4所示，放射治疗引导方法包括：

步骤S1：采集患者的CT/MR图像以及相应的经颅黑质超声图像；

步骤S2：将经颅黑质超声图像输入至训练好的分类网络模型中，获取经颅黑质超声的位姿分类结果；

步骤S3：将CT/MR图像在XY平面进行重采样，重采样至与步骤S2中经颅黑质超声的位姿分类结果一致的方向；

步骤S4：将经颅黑质超声图像输入至训练好的二维分割网络模型进行中脑强回声区域分割，得到分割后的中脑区域超声图像；

然后将中脑区域超声图像进行处理，具体处理为：在XY平面调整成与步骤S3中CT/MR图像相同的大小和分辨率，在Z轴方向上复制相同切片数量的超声图像；

步骤S5：将步骤S3获取的重采样的CT/MR图像以及步骤S4获取的处理后的中脑区域超声图像输入至三维分割网络模型中进行平面估计，得到CT/MR图像中的超声平面估计结果；

步骤S6：将步骤S5获取的CT/MR图像中的超声平面估计结果与步骤S1采集的经颅黑质超声图像进行融合，得到配准经颅黑质超声图像；

步骤S7：利用配准经颅黑质超声图像进行靶区实时追踪，获得脑部组织位移偏差值，对放射治疗进行引导。

其中：分类网络模型为ResNet18分类网络模型；

二维分割网络模型为2D U-Net网络模型；

三维分割网络模型为3D U-Net网络模型。

值得注意的是，分类网络模型、二维分割网络模型、三维分割网络模型并不仅仅局限于上述模型。

本发明的CT图像的是患者行神经核团毁损术前拍摄CT用于放疗计划制作及位置配置，基于ct电子线密度计算射治疗剂量。

进一步，在各个网络模型训练前，通过以下步骤准备训练数据：

步骤A1：获取若干CT/MR图像以及与其对应的经颅黑质超声图像；

步骤A2：对于获取的CT/MR图像，由有经验的放射科医生进行中脑区域的标注，并由另一名医生进行二次标注，最后综合两位医生的标注形成最终的标注结果，形成第一标签数据；

对于获取的经颅黑质超声图像，由两位医生进行左侧卧位经颅超声扫描和经右侧卧位经颅超声扫描两个标准检查体位的分类结果进行标注，形成第二标签数据；

对于获取的经颅黑质超声图像，由两位医生对其中脑区域进行标注，形成第三标签数据；

步骤A3：对CT/MR图像、经颅黑质超声图像、第一标签数据、第二标签数据、第三标签数据进行预处理，形成训练数据，并根据6:2:2的比例将训练数据划分为训练集、验证集和测试集。

进一步，分类网络模型的训练包括：

步骤B1：将训练数据加载至分类网络模型中并初始化模型参数；

步骤B2：采用随机梯度下降算法将网络模型学习到的特征向量进行前向和反向传播，不断更新网络模型学习参数；

步骤B3：将每次迭代训练后的预测结果与第二标签数据的真实标签进行交叉熵损失函数的计算，直至损失值达到全局最优解；

其中，交叉熵损失的计算公式如下：

其中：M代表样本数量，y代表真实标签，y′表示网络的预测结果；

步骤B4：记录每次迭代训练的训练损失和验证损失，防止模型过拟合；

当训练损失和验证损失同步下降时，则分类网络模型继续训练；

当训练损失下降，而验证损失上升时，则分类网络模型停止训练；步骤B5：根据步骤B4中的两种情形训练网络至指定的迭代次数，然后停止训练，并保存最优网络模型权重，在测试集上进行实际测试，观察最终的分类结果，这里采用的评价指标为准确率，公式如下所示：

其中，TP表示正确预测的正样本，TN表示正确预测的负样本，FP代表错误预测的正样本，FN代表错误预测的负样本。

上述分类网络模型相关的训练超参数设置batch_size为16，学习率为0.001，优化器为SGD，损失函数采用交叉熵(Cross-Entropy)损失函数,总共在GeForce RTX 3070显卡上迭代训练了6000次。

进一步，二维分割网络模型的训练包括：

步骤C1：将训练数据加载至二维分割网络模型中并初始化模型参数；

步骤C2：采用随机梯度下降算法将网络模型学习到的特征向量进行前向和反向传播，不断更新网络模型学习参数；

步骤C3：将每次迭代训练后的预测结果与第三标签数据的真实标签进行Dice损失函数的计算，直至损失值达到全局最优解；

Dice损失的计算公式如下：

其中：smooth代表平滑系数，默认情况下设为1，gt代表真实标签，pred表示预测结果；

步骤C4：记录每次迭代训练的训练损失和验证损失，防止模型过拟合；

当训练损失和验证损失同步下降时，则分类网络模型继续训练；

当训练损失下降，而验证损失上升时，则分类网络模型停止训练；步骤C5：根据步骤C4中的两种情形训练网络至指定的迭代次数，然后停止训练，并保存最优网络模型权重，在测试集上进行实际测试，观察最终的分割结果，在这里使用的评价指标为Dice指标，公式如下：

其中，smooth代表平滑系数，默认情况下设为1，gt代表真实标签，pred表示预测结果。

上述二维分割网络模型相关的训练超参数设置batch_size为8，学习率为0.0001，优化器为Adam，损失函数采用Dice损失函数,总共在GeForce RTX 3070显卡上迭代训练了60000次。

进一步，三维分割模型的训练包括：

步骤D1：将训练数据中的CT/MR图像在XY平面进行重采样，重采样至与分类网络模型预测的经颅黑质超声的位姿分类结果一致的方向；

步骤D2：将训练数据输入至二维分割网络模型进行中脑强回声区域分割，得到分割后的中脑区域超声图像；

然后将中脑区域超声图像进行处理，具体处理为：在XY平面调整成与步骤D1中CT/MR图像相同的大小和分辨率，在Z轴方向上复制相同切片数量的超声图像；

步骤D3：将步骤D1获取的重采样的CT/MR图像以及步骤D2获取的处理后的中脑区域超声图像加载至三维分割网络模型中并初始化模型参数；

步骤D4：采用随机梯度下降算法将网络模型学习到的特征向量进行前向和反向传播，不断更新网络模型学习参数；

步骤D5：将每次迭代训练后的预测结果与第一标签数据的真实标签进行Dice损失函数的计算，直至损失值达到全局最优解；

Dice损失的计算公式如下：

L

其中：M代表总样本数，smooth代表平滑系数，默认情况下设为1，gt代表真实标签，pred表示预测结果，α和β表示权重系数，均设置为0.5；

步骤D6：记录每次迭代训练的训练损失和验证损失，防止模型过拟合；

当训练损失和验证损失同步下降时，则分类网络模型继续训练；

当训练损失下降，而验证损失上升时，则分类网络模型停止训练；

步骤D7：根据步骤D6中的两种情形训练网络至指定的迭代次数，然后停止训练，并保存最优网络模型权重，在测试集上进行实际测试，观察最终的分割结果，在这里使用的评价指标为Dice指标，公式如下:

其中：smooth代表平滑系数，默认情况下设为1，gt代表真实标签，pred表示预测结果。

上述三维分割网络模型相关的训练超参数设置batch_size为4，学习率为0.0001，优化器为AdamW，损失函数采用Dice+交叉熵组合损失函数，总共在GeForce RTX 3070显卡上迭代训练了20000次。

对于步骤D1，具体包括：

步骤D1.1：加载分类网络模型的训练权重对输入的经颅黑质超声进行位姿分类，获取超声探头的实际方向；

步骤D1.2：根据超声探头的实际方向对CT/MR图像在XY平面进行重采样至相同的方向；

步骤D1.3：将重采样的CT/MR图像和相应的标注进行保存，以便后续和经颅黑质超声图像共同作为输入到三维分割网络模型中训练。

进一步，步骤S6具体包括：

步骤S6.1：将步骤S5获取的CT/MR图像中的超声平面估计结果进行线性回归，得到平面估计回归参数；

步骤S6.2：根据步骤S6.1求得的回归参数与步骤S1采集的经颅黑质超声图像进行融合；

步骤S6.3：得到最终的配准经颅黑质超声图像。

步骤S7，利用若干配准经颅黑质超声图像进行靶区实时追踪，获得脑部组织位移偏差值，对放射治疗进行引导，具体阐述如下：

通过发射平面波进行成像，不需要多次聚焦，从而提高成像的帧率。采集到的配准经颅黑质超声图像f

块匹配追踪方法总共分为三步：初始化，选择候选中心点，互相关追踪。

步骤S8.1：初始化

选择脑部组织上的点

步骤S8.1：选择候选中心点

从第二幅图像开始f

上式中

上式中，对于理论中心点

当图像帧率为40HZ时，相邻帧时间间隔为0.025s，选择变化范围为-10～10，涵盖颈动脉运动的最大范围，同时可以避免全局计算的时间复杂度较大的问题。

步骤S8.3：互相关追踪

从候选中心点计算出估计中心点

假设有M个候选中心点，对每一个(x

上式中，追踪块cw在数学上表示一个矩阵；

表示矩阵cw中所有元素的平均值构成的矩阵；

表示两个矩阵对应位置处的元素相减得到的矩阵；(cw

∑表示对矩阵中所有元素求和。

寻找最大的互相关系数的位置，从候选中心点中选择出f

对应的，f

根据上述三个步骤，首先进行初始化，以第一帧图像为基础，选择脑部组织上一点，并以此点为中心点建立参考块。从第二帧开始，对每一帧图像进行计算候选中心点和互相关追踪的操作，选择出对应的中心点和匹配块，实现对N帧图像的脑部软组织的运动追踪，中心点变化反映脑部组织运动，输出运动状态，获得脑部组织位移偏差值。

本发明将多模态图像转化为单模态图像，通过经颅黑质超声图像获得病变组织边界位置的实时运动信息。将经颅黑质超声图像实时转化为模拟CT图像与CT/MR图像进行配准，计算当前位置靶区偏移量，传入放疗计划系统，若偏移量大于阈值，及直线加速器停止出束，暂停治疗，待复位后继续治疗。

本发明能够在治疗过程中，能精准打击靶区，较小呼吸及心跳运动对治疗的影响，提高治疗的精准性，可通过在经颅黑质超声图像和CT/MR图像联合引导，多种影像优势互补，实时动态观察脑部组织的位移偏差，保护正常组织及危及器官。

本发明实施例还公开一种基于多模态影像的放射治疗引导设备，包括：

图像采集模块，用于采集患者的CT/MR图像以及相应的经颅黑质超声图像；

位姿分类模块，用于将经颅黑质超声图像输入至训练好的分类网络模型中，获取经颅黑质超声的位姿分类结果；

重采样模块，用于将CT/MR图像在XY平面进行重采样，重采样至与位姿分类模块中经颅黑质超声的位姿分类结果一致的方向；

二维分割模块，用于将经颅黑质超声图像输入至训练好的二维分割网络模型进行中脑强回声区域分割，得到分割后的中脑区域超声图像；

然后将中脑区域超声图像进行处理，具体处理为：在XY平面调整成与二维分割模块中CT/MR图像相同的大小和分辨率，在Z轴方向上复制相同切片数量的超声图像；

三维分割模块，用于将重采样模块获取的重采样的CT/MR图像以及二维分割模块获取的处理后的中脑区域超声图像输入至三维分割网络模型中进行平面估计，得到CT/MR图像中的超声平面估计结果；

配准融合模块，用于将三维分割模块获取的CT/MR图像中的超声平面估计结果与图像采集模块采集的经颅黑质超声图像进行融合，得到配准经颅黑质超声图像；

追踪模块，用于利用配准经颅黑质超声图像进行靶区实时追踪，获得脑部组织位移偏差值，对放射治疗进行引导。

进一步，放射治疗引导设备还包括：训练数据准备模块；

训练数据准备模块具体包括：

原始图像获取单元，用于获取若干CT/MR图像以及与其对应的经颅黑质超声图像；

标注单元，用于对于获取的CT/MR图像，对其中脑区域进行标注，形成第一标签数据；

对于获取的经颅黑质超声图像，对其位姿分类进行标注，形成第二标签数据；

对于获取的经颅黑质超声图像，对其中脑区域进行标注，形成第三标签数据；

预处理单元，用于对CT/MR图像、经颅黑质超声图像、第一标签数据、第二标签数据、第三标签数据进行预处理，形成训练数据，并根据比例将训练数据划分为训练集、验证集和测试集。

进一步，分类网络模型通过第一训练模块进行训练，第一训练模块包括：

第一加载单元，用于将训练数据加载至分类网络模型中并初始化模型参数；

第一学习单元，用于采用随机梯度下降算法将网络模型学习到的特征向量进行前向和反向传播，不断更新网络模型学习参数；

第一损失计算单元，用于将每次迭代训练后的预测结果与第二标签数据的真实标签进行损失函数的计算，直至损失值达到全局最优解；

第一记录单元，用于记录每次迭代训练的训练损失和验证损失；

当训练损失和验证损失同步下降时，则分类网络模型继续训练；

当训练损失下降，而验证损失上升时，则分类网络模型停止训练；

第一测试单元，用于根据第一记录单元中的两种情形训练网络至指定的迭代次数，然后停止训练，并保存最优网络模型权重，在测试集上进行实际测试。

进一步，二维分割网络模型通过第二训练模块进行训练，第二训练模块包括：

第二加载单元，用于将训练数据加载至二维分割网络模型中并初始化模型参数；

第二学习单元，用于采用随机梯度下降算法将网络模型学习到的特征向量进行前向和反向传播，不断更新网络模型学习参数；

第二损失计算单元，用于将每次迭代训练后的预测结果与第三标签数据的真实标签进行损失函数的计算，直至损失值达到全局最优解；

第二记录单元，用于记录每次迭代训练的训练损失和验证损失；

当训练损失和验证损失同步下降时，则分类网络模型继续训练；

当训练损失下降，而验证损失上升时，则分类网络模型停止训练；

第二测试单元，用于根据第二记录单元中的两种情形训练网络至指定的迭代次数，然后停止训练，并保存最优网络模型权重，在测试集上进行实际测试。

进一步，三维分割模型通过第三训练模块进行训练，第三训练模块包括：

重采样单元，用于将训练数据中的CT/MR图像在XY平面进行重采样，重采样至与分类网络模型预测的经颅黑质超声的位姿分类结果一致的方向；

处理单元，用于将训练数据输入至二维分割网络模型进行中脑强回声区域分割，得到分割后的中脑区域超声图像；

然后将中脑区域超声图像进行处理，具体处理为：在XY平面调整成与重采样单元中CT/MR图像相同的大小和分辨率，在Z轴方向上复制相同切片数量的超声图像；

第三加载单元，用于将重采样单元获取的重采样的CT/MR图像以及处理单元获取的处理后的中脑区域超声图像加载至三维分割网络模型中并初始化模型参数；

第三学习单元，用于采用随机梯度下降算法将网络模型学习到的特征向量进行前向和反向传播，不断更新网络模型学习参数；

第三损失计算单元，用于将每次迭代训练后的预测结果与第一标签数据的真实标签进行损失函数的计算，直至损失值达到全局最优解；

第三记录单元，用于记录每次迭代训练的训练损失和验证损失；

当训练损失和验证损失同步下降时，则分类网络模型继续训练；

当训练损失下降，而验证损失上升时，则分类网络模型停止训练；

第三测试单元，用于根据第三记录单元中的两种情形训练网络至指定的迭代次数，然后停止训练，并保存最优网络模型权重，在测试集上进行实际测试。

本发明一种基于多模态影像的放射治疗引导方法及设备，具有以下有益效果：

第一，通过经颅黑质超声图像实时引导，减小受呼吸及心脏跳动的位移影响，确保治疗的准确性。

第二，将CT/MR图像与经颅黑质超声图像配准，使得经颅黑质超声能更好地观察脑部组织情况，便于术中引导。

应当理解，这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如软盘、CD-ROM、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被该机器执行时，该机器变成实践本发明的设备。

上述实施例只为说明本发明的技术构思及特点，其目的在于让本领域普通技术人员能够了解本发明的内容并加以实施，并不能以此限制本发明的保护范围，凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围内。