手术引导方法、装置及介质

技术领域

本申请涉及智能医疗技术领域，具体涉及一种手术引导方法、装置及介质。

背景技术

医生根据CT影像信息，无法百分之百确定肿瘤的良恶性。任何肿瘤确诊的金标准是“病理”。开展CT引导下活检获得肿瘤细胞的步骤描述如下：在CT的引导下确定肿瘤的位置之后，使用活检针穿刺到肿瘤组织内取出适当的肿瘤细胞，在显微镜下分析肿瘤细胞，才能确认肿瘤的良恶性。

消融术是一种微创的手术，包括微波消融和射频消融，二者原理都是一样的，就是通过消融针穿刺到肿瘤的内部，可以是良性的肿瘤，也可以是恶性的肿瘤，使肿瘤细胞的温度升高，一般达到80℃左右，有的时候也能够达到100℃以上，使肿瘤细胞发生变性，发生凝固性的坏死，能够达到杀死肿瘤细胞的目的。穿刺和烧灼只针对肿瘤本身，因此器官以及器官的功能被较好保留。

目前对病灶进行穿刺或者消融时，存在准确度低和耗时的问题。

发明内容

针对上述问题，本申请实施例提供了一种手术引导方法、装置及介质。

第一方面，本申请实施例提供了一种手术引导方法，包括在不间断扫描的情况下，重复执行多个处理，处理包括：

获取实时扫描数据，实时扫描数据包括第一关注信息和第二关注信息；

基于实时扫描数据，获取实时导航模型，并在实时导航模型上，显示第二关注信息位置向第一关注信息位置移动的路径信息；

基于路径信息，控制执行设备进行动作。

第二方面，本申请实施例还提供了一种手术引导装置，装置用于实现前述的手术引导方法。

第三方面，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储一个或多个程序，一个或多个程序当被包括多个应用程序的电子设备执行时，使得电子设备执行上述任一的方法。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：

本申请通过在执行设备进行动作的过程中，获取实时扫描数据，并根据实时扫描数据获取引导手术的实施导航模型，在实时导航模型中，可以显示表征手术目标器官的第一关注信息和表征执行设备的第二关注信息，以及从第二关注信息到达第一关注信息的路径信息，执行设备根据实时导航模型提供的路径信息进行穿刺或者消融等手术，在手术过程中，可多次执行上述步骤，直到手术器械到达患处。本申请在每个处理过程中采用实时扫描图像构建实时导航模型，并基于实时导航模型控制执行设备动作，一方面执行设备不怕射线辐射，避免了手术和扫描间断进行，另一方面各个处理的实时导航模型均采用各自的实时数据，避免图像配准带来的误差，进而显著提高了手术的速度和准确度，减少了病人承受的痛苦。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1示出了根据本申请的一个实施例的手术引导方法的流程示意图；

图2-a示出了根据本申请的一个实施例的输入图像的示意图；

图2-b示出了本申请中图2-a的输入图像对应的目标图像的示意图；

图3示出了根据本申请的一个实施例的推荐路径信息在实时断层图像中的示意图；

图4示出了根据本申请的另一个实施例的手术引导方法的流程示意图；

图5示出了根据本申请的一个实施例中的手术引导装置的结构示意图；

图6为本申请实施例中一种电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

任何肿瘤确诊的金标准是“病理”，开展CT引导下活检获得肿瘤细胞的步骤描述如下：在CT的引导下进行，确定肿瘤的位置之后，使用活检针穿刺到肿瘤组织内取出适当的肿瘤细胞，在显微镜下分析肿瘤细胞，确认肿瘤的良恶性。消融术是一种微创的手术，包括微波消融和射频消融，二者的原理都是通过消融针穿刺到肿瘤的内部，可以是良性的肿瘤，也可以是恶性的肿瘤，使肿瘤细胞的温度升高，一般达到80℃左右，有的时候也能够达到100℃以上，使肿瘤细胞发生变性，发生凝固性的坏死，能够达到杀死肿瘤细胞的目的。也就是说，不管是穿刺还是消融，都需要探针达到病灶。

相关技术中，通常采用术前和术中图像进行配准，人工操作探针，使得探针到达病灶，进行穿刺或者消融。由于采用术前和术中图像配准的方式，会引入算法误差，导致穿刺精度差。而采用人工操作的方式，为了避免医生接收不必要的辐射，扫描和穿刺需要间断进行，手术速度缓慢，耗时长，病人会承受过多的痛苦。

对此，本申请提出了一种手术引导方法，图1示出了根据本申请的一个实施例的手术引导方法的流程示意图，从图1可以看出，本申请包括在不间断扫描的情况下，重复执行多个处理，处理包括步骤S110～步骤S140：

步骤S110：获取实时扫描数据，实时扫描数据包括第一关注信息和第二关注信息。

在手术机器人引导手术器械沿初始穿刺路径前进的过程中的，对病人的含病灶的部位进行实时扫描，得到实时扫描数据，实时扫描数据可以以图像的形式呈现，如病人肺部有病变，可以对病人的正体位或者背体位胸部进行实时扫描成像，得到实时扫描图像，作为实时扫描数据。这里的“实时”可以是周期性的，如每隔3min进行一次，在宏观上就形成一个实时连续的状态。

在实时扫描数据中，可以包含但不限于第一关注信息和第二关注信息，其中，在一些实施例中，第一关注信息可以是要进行手术的单一目标器官，如肺，或者还可以是包含目标器官以及与目标器官相关联的多个器官，如肝、脾、和胰，其中在目标器官中包含了病灶，病灶可以是结节、囊肿等等；在一些实施例中，第二关注信息包含了手术器械的穿刺针或消融针等等。

步骤S120：基于实时扫描数据，获取实时导航模型，并在实时导航模型上，显示第二关注信息位置向第一关注信息位置移动的路径信息。

基于实时扫描数据，获取实时导航模型，具体的，在一些实施例中，可以根据实时扫描数据中包含的信息，实时构建可视化导航模型；在另一些实施例中，可以将实时扫描数据输入至可视化导航系统中，并接收可视化导航系统根据实时扫描数据反馈的实时导航模型。实时导航模型优选是3D的。

实时导航模型中可以显示有第一关注信息位置，即包含病灶目标器官，在一些实施例中，为了更加清晰，可以单独或组合显示不同颜色标注的病灶、病灶、和血管的3D占位，实时导航模型中还可以显示有第二关注信息位置，如手术器械的穿刺针当前位置。

在实时导航模型中，还显示有从第二关注信息位置向第一关注信息位置移动的路径信息，该路劲信息可以是根据第一关注信息位置、第二关注信息位置进行自动智能规划得到的，也可以是人为设定的，也可以是对上一轮次的路径进行修正得来的，对此本申请不作限定。

需要说明的是，在多次获得的实施导航模型中，如果以患者身体的某一固定点作为坐标系的原点，则第一关注信息位置是不变的，而第二关注信息位置相对于第一关注信息位置是变化的，正常情况下是越来越近的。

步骤S130：基于路径信息，控制执行设备进行动作。

执行设备可以是手术机器人，可以将路径信息下发到手术机器人的控制系统，控制系统生成动作指令，手术机器人的机械臂可以根据动作指令，完成本次处理的进针动作。

在一次手术引导的过程中，多次重复执行上述步骤S110～步骤S130所组成的处理，以穿刺为例，假设经过三个轮次的处理，执行设备的穿刺针到达了目标病灶，如表1所示，在第一轮次的处理中，获取到实时扫描数据1，基于该实时扫描数据1，获得实时导航模型1，在实时导航模型1中显示有从第二关注信息位置到达第一关注信息位置的路径1，其中路径1中以起点1为起点，以目标病灶为终点；当穿刺针到达路径1中的某一位置或者当时间到达预设时间间隔时，可以进入下一个轮次的处理，即获取到实时扫描数据2，基于该实时扫描数据2，在实时导航模型2中显示有从第二关注信息位置(以及更新的第二关注信息位置)到达第一关注信息位置的路径2，其中路径2中以起点2(上一轮次手术器械到达的位置)为起点，以目标病灶为终点；当穿刺针到达路径2中的某一位置或者当时间到达预设时间间隔时，可以进入下一个轮次的处理，即获取到实时扫描数据3，基于该实时扫描数据3，在实时导航模型3中显示有从第二关注信息位置(以及更新的第二关注信息位置)到达第一关注信息位置的路径3，其中路径3中以起点3(上一轮次穿刺针到达的位置)为起点，以目标病灶为终点。

表1：

由图1可以看出，本申请在不间断扫描的情况下，重复多个处理，直到第二关注信息到达第一关注信息位置，其中，不间断扫描可以理解为在术中连续扫描，包括但不限于执行设备在执行动作时也进行扫描。本申请在每个处理过程中采用实时扫描图像构建实时导航模型，并基于实时导航模型控制执行设备动作，一方面执行设备不怕射线辐射，避免了手术和扫描间断进行，另一方面各个处理的实时导航模型均采用各自的实时数据，避免图像配准带来的误差，进而显著提高了手术的速度和准确度，减少了病人承受的痛苦。

在本申请的一些实施例中，在上述方法中，基于实时扫描数据，获取实时导航模型，包括：基于实时扫描数据，获取多幅实时断层图像；基于多幅实时断层图像，获取第一关注信息的轮廓和第一关注点坐标、第二关注信息的轮廓和第二关注点坐标，以及与第一关注信息相关的部位的轮廓；基于获取第一关注信息的轮廓和第一关注点坐标、第二关注信息的轮廓和第二关注点坐标，以及与第一关注信息相关的部位的轮廓，获取实时导航模型。

在本申请的一些实施例中，实时导航模型可以根据下述方法构建，在通过扫描获取到患者目标器官的实时扫描数据中，从中提取多幅实时断层(切片)图像，根据这些实时断层图像可以提取或者识别出第一关注信息的轮廓和第一关注点坐标，如第一关注信息为肺部结节，第一关注点可以为该肺部结节中的任意一个点。

同理，可以根据从多幅实时断层图像中提取或者识别出第二关注信息的轮廓和第二关注点坐标，如第二关注信息为穿刺针，第二关注点可以为穿刺针上的任意一点，优选的可以选取穿刺针的几何中心作为第二关注点。在其它实施例中，第二关注信息的轮廓和第二关注点坐标分别可以为消融针的轮廓和消融针上任一点的坐标。

将第一关注信息的轮廓、第一关注点、第二关注信息的轮廓和第二关注点坐标，以及与第一关注信息相关的部位的轮廓，整合在一个坐标系中，即可得到实时导航模型，即本申请实施例实时导航模型均是通过坐标系建立，多个实时导航模型之间相对独立，无需配准过程。

在实时导航模型，可单独或组合显示第一关注信息中不同组织的精确占位，更进一步的，还可以利用不同色彩进行区分。

在本申请的另一些实施例中，在上述方法中，基于多幅实时断层图像，获取第一关注信息的轮廓和第一关注点坐标、第二关注信息的轮廓和第二关注点坐标，以及与第一关注信息相关的部位的轮廓，包括：对多幅实时断层图像进行图像分割，分割出第一关注信息的轮廓、第二关注信息的轮廓以及与第一关注信息相关的部位的轮廓；基于第一关注信息的轮廓，获取第一关注点坐标；基于第二关注信息的轮廓，获取第二关注点坐标。

即可以采用图像分割的技术，从多幅实时断层图像中获取第一关注信息的轮廓、第二关注信息的轮廓、以及与第一关注信息相关的部位的轮廓。

在本申请的一些实施例中，图像分割可以基于现有技术中的任意的深度学习的图像分割模型实现，对于一些现有的模型或者网络而言，最好采用特定医疗领域内的训练样本集进行二次训练，用来提高图像分割的准确度。

在获得了第一关注信息的轮廓后，如病灶的轮廓，病灶的轮廓通常是不规则的，可以将其中的任意一点作为第一关注点。优选的，第一关注点可以是将结节的轮廓进行规则化处理，然后选取其几何中心作为第一关注点。

同理，在获得了第二关注信息的轮廓后，如穿刺针的轮廓，可以将穿刺针的任意一点，如针尖作为第二关注点，也可以选取探针头的几何中心作为第二关注点。

在本申请的一些实施例中，推荐了一种实现图像分割的神经网络的训练方法，具体的，第一关注信息的轮廓、第二关注信息的轮廓以及与第一关注信息相关的部位的轮廓中至少一个采用训练好的神经网络模型进行分割，对多幅实时断层图像进行图像分割，分割出第一关注信息的轮廓、第二关注信息的轮廓以及与第一关注信息相关的部位的轮廓之前，还包括：构建训练样本集，训练样本集包括多组训练样本，每组训练样本包括对应的输入图像和目标图像；其中，输入图像为包含分割目标的图像，目标图像为对对应的输入图像标记分割目标轮廓后进行one-hot编码得到的图像，分割目标包括第一关注信息、第二关注信息和与第一关注信息相关的部位的轮廓中的一个；将输入图像输入初始神经网络模型，并基于输出图像与目标图像，确定FocalLoss函数值，并将FocalLoss函数值进行反向传播，完成初始神经网络模型的迭代，获取训练好的神经网络模型；其中，FocalLoss函数包括：

Loss

Loss

其中，y′表示图像中当前像素点是分割目标的概率；y＝1表示正样本，代表图像中当前像素点是分割目标；y＝0表示负样本，代表图像中当前像素点不是分割目标，γ表示权重因子，α表示平衡因子，α∈(0，1)。

训练阶段主要包含以下几个步骤，第一构建训练样本集、输入模型以及进行训练。

收集来自网络或者临床上的扫描图像，在训练样本集中包括大量的多组训练样本，一组训练样本中包括一一对应的输入图像和目标图像，如收集包含结节的CT扫描图像作为网络的输入图像，标记结节轮廓进行one-hot编码的结果可以作为目标图像，图2-a示出了根据本申请的一个实施例的输入图像的示意图，图2-b示出了本申请中图2-a的输入图像对应的目标图像的示意图。

在本申请中，模型可以采用现有技术中的任意一种神经网络模型，如CNN(卷积神经)网络架构，具体的，DenseNet、UNet、ResNet都可以。并且为了解决正负样本(病灶为正样本，背景为负样本)比例严重失衡的问题，本申请还引入了FocalLoss，其表达式为：

Loss

Loss

其中，y’代表图像中当前像素点是结节的概率；

y＝1正样本，代表图像中当前像素点是病灶；y＝0负样本，代表图像中当前像素点不是病灶，一个像素点是不是病灶的点可根据目标图像获得。

γ表示权重因子，加入权重因子γ，使得模型更关注于困难的、错分的样本，通常γ＞0。比如：对于正类样本来说，如果预测结果y’为0.98，那么肯定是易分类的样本，γ为0.0004，损失函数值就会很小了；对于正类样本来说，如果预测结果y’为0.2，那么肯定是难分类的样本，γ为0.64，其损失函数值相对就会很大。对于负类样本来说，如果预测结果y’为0.9，那么肯定是难分类的样本，γ为0.81，其损失函数值相对就会很大；对于负类样本来说，如果预测结果y’为0.2，那么肯定是易分类的样本，γ为0.04，其损失函数值就会很小。所以FocalLoss减少了简单样本的影响从而更加关注于难以区分的样本。

更进一步，在本申请的另一些实施例中，在FocalLoss损失函数中加入了平衡因子α，以平衡样本本身的比例不均匀，加入平衡因子α后的FocalLoss损失函数为：

Loss

Loss

其中，α取值范围0～1，当α＞0.5时，可以相对增加y＝1所占的比例，保证正负样本的平衡。

最后，进行模型训练，具体的，将输入图像和目标图像对应的输入到未经训练的初始神经网络模型中，模型对输入图像进行识别，得到识别结果，将识别结果与目标图像进行比对，得到损失函数，损失函数表征的是二者之间的差距，在这个过程中，不断的根据损失函数进行反向传播，在经过大量轮次的训练之后，就得到了训练好的神经网络模型。

神经网络模型的预测过程与训练过程的逻辑是一样的，在预测时将“实时扫描数据”输入训练好的神经网络模型中，得到和“实时断层图像”图像大小相同的概率分布图，分布图中每一个点值代表当前像素点是识别目标的概率，以识别的是第一关注信息且第一关注信息为病灶为例，将概率＞0.5的置为1(病灶)，其它置为0(背景)，形成一个二值图，在该二值图中，前景部分(像素值为1的部分)，则为病灶的轮廓。

需要说明的是，分割目标可以为第一关注信息、第二关注信息和与第一关注信息相关的部位的轮廓中的一个。模型的结构、训练方法与预测逻辑与上述的模型可以一致，在这里不再赘述。

在本申请的一些实施例中，在上述方法中，处理还包括：实时显示实时断层图像，其中，实时断层图像的像素尺寸与实际物理尺寸相同。

在手术引导的过程中，还可以在医生终端实时显示实时断层图像，且实时断层图像的像素尺寸与实际物理尺寸相同，这样方便医生结合实时断层图像和实时导航模型直观的了解手术进程，对手术质量进行评估，如若必要，对手术进程进行干预。

在本申请的一些实施例中，在上述方法中，多个处理中，至少一个还包括：响应于路径信息的确认指令，基于实时导航模型和显示的路径信息，判断路径信息是否符合执行处理要求；若符合，确认路径信息为待执行的路径信息；若不符合，调整路径信息，并将调整后的路径信息作为待执行的路径信息，并更新至实时导航模型进行显示；其中，确认指令在每次生成实时导航模型之后生成，或在路径信息上设置干预点，第二关注信息达到干预点位置时生成，或者根据手术情况随时生成。

在显示引导手术进行的过程中，可以提示医生，对实时导航模型中给出的路径信息进行确认，并响应于路径信息的确认指令，基于实时导航模型和显示的路径信息，判断路径信息是否符合执行处理要求，执行处理要求是事先根据手术规范等设置好的，如不能穿越主动脉血管等要求，在对路劲信息判断时，可以判断路径信息是否满足事先设定的执行处理要求，若符合，则确认当前的路径信息为本轮此待执行的路径信息；若不符合，调整路径信息，以使调整后的路径信息符合上述的执行处理要求，并将调整后的路径信息作为本轮次待执行的路径信息，同时并更新至实时导航模型以进行显示。

在引导手术的过程中，可以根据手术情况，随时生成确认指令。

另外，在本申请的一些实施例中，每次进入一个新的轮次的处理时，即在每次生成实时导航模型之后生成。

另外，在本申请的一些实施例中，还支持对路径信息设置干预点。具体的，将干预点作为第二关注信息必须经过的点，并显示在路径信息上，第二关注信息到达该点时需要对路径信息进行确认，具体的，可以为第二关注信息上的第二关注点到达该点时需要对路径信息进行确认。

生成的确认指令，显示在医生终端，并提示医生进行确认。

在本申请另一些实施例中，医生也可以对实时导航模型中给出的路径信息进行否定，这时，实时导航模型可以从新对路径进行重新规划，并显示出新的路径信息提示医生进行确认。

在本申请的一些实施例中，在上述方法中，调整路径信息，并将调整后的路径信息作为待执行的路径信息，并更新至实时导航模型进行显示，包括：基于第一关注信息和第二信息位置关系，自动获取从第二关注信息位置向第一关注信息位置移动的推荐路径，将推荐路径作为待执行的路径信息；或者；基于第一关注信息和第二信息位置关系，手动规划从第二关注信息位置向第一关注信息位置移动的规划路径，将规划路径作为待执行的路径信息。

本申请中，对于路径信息的调整支持自动推荐，也支持手动规则，其中，手动规划可以是医生在终端通过点击、选择干预点、以及划线等方式进行。

自动推荐的路径信息可以根据下述方法确定，具体的，基于第一关注信息和第二关注信息位置关系，自动获取从第二关注信息位置向第一关注信息位置移动的推荐路径，包括：遍历第二关注信息的轮廓延长线的每一点，确定遍历点与第一关注信息的第一关注点之间的第一物理距离，以及与第二关注信息的第二关注点之间的第二物理距离，求取第一物理距离和第二物理距离之和，基于第一物理距离和第二物理距离之和最小的遍历点，自动生成推荐路径。

图3示出了根据本申请的一个实施例的推荐路径信息在实时断层图像中的示意图，在图3中，A点为第二关注信息的第二关注点(针头)位置，B点为第一关注信息的第一关注点(病灶的关注点)位置，在进行自动推荐路径的规划时，遍历A点及第二关注信息延长线上的每一点，得到每一点与病灶的关注点之间的距离，假设遍历其中的C点和D点，其中，包含点C的路径记为路径C，其长度为len

在得到推荐路径后，可采用推荐路径替换现有的路径信息，得到新的路径信息，将得到新的路径信息发送给执行设备，使得执行设备可以根据新的路径信息进行动作。

在本申请的一些实施例中，在上述方法中，在重复执行多个处理之前，还包括：基于术前或者术中扫描数据，获取初始导航模型，初始导航模型中显示第一关注信息；基于第一关注信息的位置，规划初始路径信息，并将初始路径信息作为待执行的路径信息。

在引导手术的过程中，将第一次获取的导航模型记为初始导航模型，在一示例中，初始导航模型可以根据术中获取的第一次的实时扫描数据获取。在另一示例中，初始导航模型可以基于术前的扫描数据获取到，需要说明的是，在初始导航模型中，只显示第一关注信息，并且可以根据第一关注信息的位置，规划初始路径信息，初始路径信息的规划可以是自动的，也可以是人为的，这里不再详述。并且可以将初始路径信息作为待执行的路径信息，初始路径信息包括了本轮次的起点和终点，执行设备可以将该起点作为实施手术的起点，进行手术。起点可以为待手术者的体表点，终点可以为第一关注信息的第一关注点。

在本申请的一些实施例中，为了尽量减少对患者的伤害，支持指定重要器官，使得手术过程中，绕过这些器官进行手术，具体的，方法还包括：基于实时导航模型或者初始导航模型，确定与第一关注信息相关的部位中的指定重要器官；待执行的路径信息经过指定重要器官时，则生成提示信息；响应于提示信息，修正待执行的路径信息。

仍然以肺部的结节作为示例，中心型的肺结节通常距离心脏的动脉血管是比较近的，在本申请中支持对重要器官进行指定，如第一关注信息为肺结节，则可以指定动脉血管为重要器官，当待执行的路径信息经过指定重要器官时，可以生成提示信息，提示医生，医生可以对该提示信息进行确认，响应于对该提示信息的确认操作，对待执行的路径信息进行修正，具体的，根据第一关注信息位置、第二关注信息位置，以及指定重要器官的位置，重复规划路径信息，并且规划的路径信息会“绕过”指定的重要器官。

在本申请的一些实施例中，待执行的路径信息在第一坐标系下设置，执行设备在第二坐标系下工作，方法还包括：将执行设备所在的第二坐标系标定到路径信息所在的第一坐标系；按照路径信息，执行设备执行动作。

在实际场景中，实时导航模型以及其中显示的路径信息等都是在第一坐标系下设置的，如CT坐标系；而执行设备是在第二坐标系工作，如空间坐标系，因此在执行设备执行相关动作的时候，将执行设备所在的第二坐标系标定到待执行的路径信息所在的第一坐标系中，以使二者的坐标一致。

图4示出了根据本申请的另一个实施例的手术引导方法的流程示意图，从图4可以看出，本实施例包括：

基于术前扫描数据，获取初始导航模型，以及初始路径信息，将初始路径信息作为待执行的路径信息。

获取实时扫描数据，并基于实时扫描数据，获取多幅实时断层图像。

利用训练好的神经网络模型，对多幅实时断层图像进行图像分割，分割出第一关注信息的轮廓、第二关注信息的轮廓以及与第一关注信息相关的部位的轮廓；基于第一关注信息的轮廓，获取第一关注点坐标，以及基于第二关注信息的轮廓，获取第二关注点坐标；根据上述信息获得实时导航模型。

利用实时导航模型对初始导航模型以及初始路径信息进行更新。

在实时导航模型上，显示第一关注信息位置、第二关注信息位置以及从第二关注信息位置向第一关注信息位置移动的路径信息。

响应于路径信息的确认指令，判断路径信息是否符合执行处理要求，若是，则确认当前路径信息为待执行的路径信息；若否，则获取推荐路径信息或者自定义路径信息，并更新至实时导航模型，并确认者推荐路径信息或者自定义路径信息为待执行的路径信息。

当手术设备沿着待执行的路径信息前进时，获取干预点信息，根据干预点信息重新规划路径信息，将新规划的路径信息作为新的待执行的路径信息，并更新实时导航模型。然后回到响应于路径信息的确认指令，判断路径信息是否符合执行处理要求的步骤。

获取指定重要器官，并确定待执行的路径信息是否经过指定重要器官，若否，则回到响应于路径信息的确认指令，判断路径信息是否符合执行处理要求的步骤；若是，则将执行设备所在的第二坐标系标定到待执行的路径信息所在的第一坐标系，按照待执行的路径信息，执行设备执行动作。

确定第二关注信息位置是否到达第一关注信息位置，若否，则回到获取实时扫描数据，并基于实时扫描数据，获取多幅实时断层图像，进入下一个轮次的处理；若是，则流程结束。

待穿刺或者消融的病灶位于运动器官上，例如肺结节，由于呼吸运动，肺不断的运动，或者位于肝部的肿瘤，由于呼吸运动，肝部也会在体轴方向运动。在一些实施例中，基于路径信息，控制执行设备进行动作之前，还包括：

获取待手术对象的门控信号，门控信号包括呼吸信号或心跳信号；

基于门控信号，获取待手术对象的呼吸或心跳平稳期。

具体地，为了保持CT扫描图像时内脏器官的位置与即将穿刺或消融时内脏器官的相对位置不变。需要患者配合医生呼吸，通常将呼吸门控传感器放置在患者胸部或腹部，测量患者的呼吸幅度值。基于呼吸幅度值，获取呼吸平稳期。例如获取待手术对象的呼吸曲线，提取呼气末期的时段作为呼吸平稳期。

心脏穿刺或消融过程中，配合心电仪器，获取待扫描对象的心电图。根据心率规律计算基准R峰，经R峰之后的一段时间作为心脏平稳期，心脏平稳期作为最佳的进针时机。

因此，基于路径信息，控制执行设备进行动作，包括：

在呼吸或心跳平稳期，基于路径信息，控制执行设备进行动作。

图5示出了根据本申请的一个实施例的手术引导装置的结构示意图，从图5中可以看出，手术引导装置500用于重复执行前述的手术引导方法中的多个处理，手术引导装置500包括：

获取单元510，用于获取实时扫描数据，实时扫描数据包括第一关注信息和第二关注信息；

构建显示单元520，用于基于实时扫描数据，获取实时导航模型，并在实时导航模型上，显示第二关注信息位置向第一关注信息位置移动的路径信息；

执行单元530，用于基于路径信息，控制执行设备进行动作。

在本申请的一些实施例中，在上述装置中，第一关注信息包括病灶，第二关注信息包括穿刺针或消融针。

在本申请的一些实施例中，在上述装置中，构建显示单元520，用于基于实时扫描数据，获取多幅实时断层图像；基于多幅实时断层图像，获取第一关注信息的轮廓和第一关注点坐标、第二关注信息的轮廓和第二关注点坐标，以及与第一关注信息相关的部位的轮廓；基于获取第一关注信息的轮廓和第一关注点坐标、第二关注信息的轮廓和第二关注点坐标，以及与第一关注信息相关的部位的轮廓，获取实时导航模型。

在本申请的一些实施例中，在上述装置中，构建显示单元520，用于对多幅实时断层图像进行图像分割，分割出第一关注信息的轮廓、第二关注信息的轮廓以及与第一关注信息相关的部位的轮廓；基于第一关注信息的轮廓，获取第一关注点坐标；基于第二关注信息的轮廓，获取第二关注点坐标。

在本申请的一些实施例中，在上述装置中，第一关注信息的轮廓、第二关注信息的轮廓以及与第一关注信息相关的部位的轮廓中至少一个采用训练好的神经网络模型进行分割，装置500还包括模型训练单元，用于在对多幅实时断层图像进行图像分割，分割出第一关注信息的轮廓、第二关注信息的轮廓以及与第一关注信息相关的部位的轮廓之前，构建训练样本集，训练样本集包括多组训练样本，每组训练样本包括对应的输入图像和目标图像；其中，输入图像为包含分割目标的图像，目标图像为对对应的输入图像标记分割目标轮廓后进行one-hot编码得到的图像，分割目标包括第一关注信息、第二关注信息和与第一关注信息相关的部位的轮廓中的一个；将输入图像输入初始神经网络模型，并基于输出图像与目标图像，确定FocalLoss函数值，并将FocalLoss函数值进行反向传播，完成初始神经网络模型的迭代，获取训练好的神经网络模型；其中，FocalLoss函数包括：

Loss

Loss

其中，y′表示图像中当前像素点是分割目标的概率；y＝1表示正样本，代表图像中当前像素点是分割目标；y＝0表示负样本，代表图像中当前像素点不是分割目标，γ表示权重因子，α表示平衡因子，α∈(0，1)。

在本申请的一些实施例中，在上述装置中，构建显示单元还用于实时显示实时断层图像，其中，实时断层图像的像素尺寸与实际物理尺寸相同。

在本申请的一些实施例中，在上述装置中，构建显示单元520，还用于响应于路径信息的确认指令，基于实时导航模型和显示的路径信息，判断路径信息是否符合执行处理要求；若符合，确认路径信息为待执行的路径信息；若不符合，调整路径信息，并将调整后的路径信息作为待执行的路径信息，并更新至实时导航模型进行显示；其中，确认指令在每次生成实时导航模型之后生成，或在路径信息上设置干预点，第二关注信息达到干预点位置时生成，或者根据手术情况随时生成。

在本申请的一些实施例中，在上述装置中，构建显示单元520，还用于基于第一关注信息和第二信息位置关系，自动获取从第二关注信息位置向第一关注信息位置移动的推荐路径，将推荐路径作为待执行的路径信息；或者；基于第一关注信息和第二信息位置关系，手动规划从第二关注信息位置向第一关注信息位置移动的规划路径，将规划路径作为待执行的路径信息。

在本申请的一些实施例中，在上述装置中，构建显示单元520，还用于遍历第二关注信息的轮廓延长线的每一点，确定遍历点与第一关注信息的第一关注点之间的第一物理距离，以及与第二关注信息的第二关注点之间的第二物理距离，求取第一物理距离和第二物理距离之和，基于第一物理距离和第二物理距离之和最小的遍历点，自动生成推荐路径。

在本申请的一些实施例中，在上述装置中，构建显示单元520，还用于在重复执行多个处理之前，基于术前或者术中扫描数据，获取初始导航模型，初始导航模型中显示第一关注信息；基于第一关注信息的位置，规划初始路径信息，并将初始路径信息作为待执行的路径信息。

在本申请的一些实施例中，在上述装置中，构建显示单元520，还用于基于实时导航模型或者初始导航模型，确定与第一关注信息相关的部位中的指定重要器官；待执行的路径信息经过指定重要器官时，则生成提示信息；响应于提示信息，修正待执行的路径信息。

在本申请的一些实施例中，在上述装置中，待执行的路径信息在第一坐标系下设置，执行设备在第二坐标系下工作，装置500还包括：标定单元，用于将执行设备所在的第二坐标系标定到待执行的路径信息所在的第一坐标系；按照待执行的路径信息，执行设备执行动作。

需要说明的是，上述的手术引导装置可一一实现前述的手术引导方法，不再赘述。

图6是本申请的一个实施例电子设备的结构示意图。请参考图6，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放程序。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成手术引导装置。处理器，执行存储器所存放的程序，并具体用于执行上述方法。

上述如本申请图5所示实施例揭示的手术引导装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的模型，结合其硬件完成上述方法的步骤。

该电子设备还可执行图5中手术引导装置执行的方法，并实现手术引导装置在图5所示实施例的功能，本申请实施例在此不再赘述。

本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图5所示实施例中基于实时图像的手术器械引导装置执行的方法，并具体用于执行前述方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、模型、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(模型)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现模型存储。模型可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的模型。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、模型或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。