导航介入设备

技术领域

本公开内容涉及为在解剖结构内导航介入设备提供导航引导。公开了计算机实施的方法、计算机程序产品和系统。

背景技术

微创介入流程涉及在解剖结构内导航介入设备，这通常是在外部成像模态的引导下进行的。例如，常常在来自外部X射线、超声或磁共振成像“MRI”成像模态的成像引导下将诸如导丝和导管之类的介入设备导航通过脉管系统。这样的成像系统提供了对介入设备进行可视化的能力，并且在某种程度上提供了对周围的解剖结构进行可视化的能力。然而，在解剖结构内导航介入设备仍然具有挑战性。诸如导丝和导管之类的介入设备常常是长的和柔性的，并且通常在介入设备的近端的操纵与结果产生的介入设备的远端在解剖结构内的移动之间没有一对一的对应关系。例如，当在脉管系统内导航导丝以便将套管插入分叉时，医生通常通过扭转导丝并前后移动导丝来操纵导丝的近端，以便在远端处实现期望的移动。医生可以多次重复这些操纵，同时在实况X射线图像中观察导丝的远端，以便将导丝的远端导入分叉的期望分支。

在一些实例中，介入设备的近端由直接处理介入设备的远端的医生手动操纵。在其他实例中，医生手动控制机器人控制器，该机器人控制器提供与介入设备的近端的机械接口。在其他实例中，机器人控制器自动操纵介入设备的近端。为此目的，已知机器人控制器能够使用滚轴和/或手指来夹紧导丝的近端，以便在解剖结构内平移和/或旋转介入设备的远端。

然而，仍然需要改进在解剖结构内导航介入设备。

发明内容

根据本公开内容的一个方面，提供了一种为在解剖结构内导航介入设备提供导航引导的计算机实施的方法。所述方法包括：

接收介入设备形状数据，所述介入设备形状数据表示所述介入设备在一个或多个时间步长时的形状，所述时间步长至少包括当前时间步长；

将所述介入设备形状数据输入到神经网络中，所述神经网络被训练为根据所述介入设备形状数据来预测所述介入设备的一个或多个部分在一个或多个未来时间步长时的未来位置以及针对所述一个或多个未来位置的对应的置信度估计结果；并且

显示所预测的所述介入设备的每个部分的一个或多个未来位置以及针对所预测的一个或多个未来位置的对应的预测的置信度估计结果。

从下文参考附图对示例的描述中，本公开内容的其他方面、特征和优点将变得明显。

附图说明

图1图示了表示腹部动脉脉管系统的流程前CTA图像的示例。

图2图示了脉管系统的部分的流程中DSA图像的示例，并且包括被突出显示为浅色阴影区域的导丝120。

图3图示了根据本公开内容的一些方面的为在解剖结构内导航介入设备提供导航引导的方法的示例。

图4图示了根据本公开内容的一些方面的用于预测介入设备的一个或多个部分的未来位置的神经网络130的示例。

图5是图示示例LSTM单元的示意图。

图6图示了根据本公开内容的一些方面的训练神经网络以预测介入设备的一个或多个部分的未来位置的方法的示例。

图7图示了根据本公开内容的一些方面的当前X射线图像160的示例，当前X射线图像160包括所预测的介入设备120的部分的未来位置140a、140b、140c以及针对所预测的未来位置的对应的预测置信度估计结果150。

图8图示了根据本公开内容的一些方面的神经网络130的示例，神经网络130生成具有表示所输入的介入设备形状数据110的均值μ和方差值σ

图9图示了根据本公开内容的一些方面的神经网络130的示例，神经网络130被训练为预测介入设备的一个或多个要求的操纵，所述一个或多个要求的操纵是减小所预测的介入设备的一个或多个部分的未来位置与潜变量的均值和标准偏差值的航迹170之间的差异所要求的。

图10A和图10B图示了根据本公开内容的一些方面的使用图9所示的经训练的神经网络来显示所预测的介入设备的一个或多个要求的操纵的示例。

图11图示了神经网络130的示例，神经网络130被配置为根据所输入的针对非专家用户的介入设备形状数据来确定所预测的介入设备的一个或多个部分的未来位置，所述未来位置与针对专家用户的介入设备形状训练数据最紧密地匹配。

图12图示了根据本公开内容的一些方面的利用图11所示的经训练的神经网络来执行推断的示例。

图13是图示根据本公开内容的一些方面的用于预测介入设备的部分的位置的系统200的示意图。

具体实施方式

参考以下描述和附图提供了本公开内容的示例。在本说明书中，出于解释的目的，阐述了某些示例的许多具体细节。说明书中对“示例”、“实施方式”或类似语言的引用意味着结合示例描述的特征、结构或特性被包括在至少一个示例中。还应意识到，关于一个示例描述的特征也可以用于另一示例，并且为了简洁起见，不必在每个示例中重复所有特征。例如，关于计算机实施的方法描述的特征可以以对应的方式在计算机程序产品和系统中实施。

在以下描述中，参考了涉及在解剖结构内导航介入设备的计算机实施的方法。参考了在脉管系统中导航介入设备的示例。在这一点上，将意识到，该方法可以用于在脉管系统的静脉、动脉或心脏区域内导航介入设备。参考了在脉管系统内导航导丝形式的介入设备的示例。然而，这些示例纯粹是说明性的，并且将意识到，这些方法也可以用于在脉管系统内导航其他类型的介入设备，包括导管、血管内成像导管(包括血管内超声“IVUS”和光学相干断层摄影“OCT”成像导管)、经食道超声心动描记“TEE”成像探头、血管内血压感测设备、血管内血流传感器设备等。

然而，还将意识到，本文公开的方法可以用于以类似的方式在解剖结构内的其他管腔内导航介入设备。例如，该方法可以用于在消化道、呼吸道、泌尿道等内导航介入设备。

本文还参考了通过用手操纵介入设备的近端来导航介入设备的示例。然而，还将意识到，当手动操纵介入设备的近端或由机器人控制器自动操纵介入设备的近端时，本文公开的方法也可以以类似的方式用于引导对介入设备的导航。

注意，本文公开的计算机实施的方法可以被提供为非瞬态计算机可读存储介质，所述非瞬态计算机可读存储介质包括存储在其上的计算机可读指令，所述计算机可读指令在由至少一个处理器运行时使所述至少一个处理器执行所述方法。换句话说，计算机实施的方法可以被实施在计算机程序产品中。计算机程序产品能够由专用硬件或者能够运行与适当软件相关联的软件的硬件来提供。当由处理器提供时，方法特征的功能能够由单个专用处理器或单个共享处理器或多个个体处理器(其中的一些处理器能够被共享)来提供。术语“处理器”或“控制器”的明确使用不应被解读为专指能够运行软件的硬件，并且能够隐含地包括但不限于数字信号处理器“DSP”硬件、用于存储软件的只读存储器“ROM”、随机存取存储器“RAM”、非易失性存储设备等。此外，本公开内容的示例能够采取能从计算机可用存储介质或计算机可读存储介质访问的计算机程序产品的形式，所述计算机程序产品提供由计算机或任何指令运行系统使用或与其结合使用的程序代码。出于本说明书的目的，计算机可用存储介质或计算机可读存储介质能够是能够包括、存储、传送、传播或传输由指令运行系统、装置或设备使用或与其结合使用的程序的任何装置。所述介质能够是电学、磁性、光学、电磁、红外或半导体系统或设备或传播介质。计算机可读介质的示例包括半导体或固态存储器、磁带、可移动计算机磁盘、随机存取存储器“RAM”、只读存储器“ROM”、硬磁盘和光盘。当前的光盘的示例包括只读存储器光盘(CD-ROM)、可读写光盘(CD-R/W)、蓝光光盘和DVD。

如上面所提到的，在解剖结构内操纵介入设备能够具有挑战性。这是因为诸如导丝和导管之类的介入设备通常是长的和柔性的，并且通常在介入设备的近端的操纵与介入设备的远端在解剖结构内的结果得到的移动之间没有一一对应关系。

举例来说，血管内流程常常要求将介入设备导航到心血管系统中的特定位置。导航从(例如在股骨、臂部、桡骨、颈静脉、脚部等区域处的)进入点开始，并且医生将介入设备导航通过脉管树而到达期望的位置。血管解剖结构非常复杂，并且常常生成对象的流程前图像，以供医生随后在解剖结构内引导介入设备时使用。计算机断层摄影血管造影“CTA”图像或磁共振血管造影“MRA”图像常常是为此目的而生成的。

举例来说，图1图示了表示腹部动脉脉管系统的流程前CTA图像的示例。图1所示的CT血管造影图像是通过在注入了造影剂之后对患者执行CT成像而获得的。造影剂突出显示了脉管系统内的管腔，否则这些管腔在CT图像中是不可见的，这是因为脉管管腔和其中的血液的X射线衰减系数与水的X射线衰减系数很相似。

在插入介入设备期间，来自外部(即，体外)成像系统的流程中图像通常用于在解剖结构内导航介入设备。为此目的，可以通过X射线成像系统或诸如MRI成像系统或超声成像系统之类的另一外部成像系统来生成流程中图像。在X射线成像系统的示例中，可以再次使用造影剂来可视化脉管系统。在一些情况下，可以生成数字减影血管造影“DSA”图像，以通过去除背景图像特征(例如，骨骼)来改善可视化，否则这些背景图像特征可能会干扰脉管系统的可视化。通过从注入了造影剂之后生成的脉管系统的X射线图像中减去在将造影剂注入到脉管系统中之前生成的脉管系统的X射线图像的X射线图像强度值来生成DSA图像。

举例来说，图2图示了脉管系统的部分的流程中DSA图像的示例，并且包括被突出显示为浅色阴影区域的导丝120。当在脉管系统内导航导丝时，医生通常注入造影剂脉冲，同时生成如图2所示的实况DSA图像。这使得医生能够立即看到他们对导丝的近端的操纵所产生的对导丝的远端的影响。然而，由于在导丝的近端的操纵与结果得到的导丝的远端的移动之间没有一一对应的关系，因此为了在远端处实现期望的移动，医生常常不得不通过扭转导丝和前后移动导丝来操纵导丝的近端。

发明人已经确定了一种改进的方法，该方法为在解剖结构内导航介入设备(例如，在上述示例中描述的导丝)提供导航引导。图3图示了根据本公开内容的一些方面的为在解剖结构内导航介入设备提供导航引导的方法的示例。参考图3，该方法包括：

接收S110介入设备形状数据110，所述介入设备形状数据110表示所述介入设备120在一个或多个时间步长t

将所述介入设备形状数据110输入S120到神经网络130中，所述神经网络130被训练为根据所述介入设备形状数据110来预测所述介入设备120的一个或多个部分在一个或多个未来时间步长t

显示S130所预测的所述介入设备120的每个部分的一个或多个未来位置140以及针对所预测的一个或多个未来位置140的对应的预测的置信度估计结果150。

可以从各种来源接收介入设备形状数据110，这些来源包括数据库、成像系统、计算机可读存储介质、云等等。可以使用任何形式的数据通信(例如，有线或无线数据通信)来接收数据，并且可以经由互联网、以太网来进行数据传输，或者通过借助于便携式计算机可读存储介质(例如，USB存储设备、光盘或磁盘等)来传输数据。

介入设备形状数据110可以由各种成像系统生成，或者替代地由位置确定系统生成。该数据可以表示介入设备的二维或三维形状。例如，介入设备形状数据110可以包括包含介入设备120的X射线图像的时间序列(例如，提供3D形状信息的经校准的双平面X射线图像)，或者包含介入设备120的计算机断层摄影图像的时间序列，或者包含介入设备120的超声图像的时间序列，或者包含介入设备120的磁共振图像的时间序列，或者由机械耦合到介入设备120的多个电磁跟踪传感器或发射器提供的位置的时间序列，或者由机械耦合到介入设备120的多个光纤形状传感器提供的位置的时间序列，或者由机械耦合到介入设备120的多个介电传感器提供的位置的时间序列，或者由机械耦合到介入设备120的多个超声跟踪传感器或发射器提供的位置的时间序列。介入设备形状数据110可以包括这些数据类型中的一种或多种数据类型的组合。

当成像系统生成介入设备形状数据110时，可以使用各种已知的分割技术从上面描述的图像的时间序列中提取介入设备的形状。可以例如使用分割技术(例如Honnorat,N.等人在2010年IEEE生物医学成像国际研讨会上发表的标题为“Robust guidewiresegmentation through boosting,clustering and linear programming”(从微观到宏观，鹿特丹，2010年，第924-927页)的文献中公开的分割技术)。可以通过例如在图像中定义介入设备上的一个或多个像素的组来在图像中识别介入设备的部分。这些部分可以任意定义，或者沿着介入设备的长度以规则间隔定义。通过这样做，可以在每个时间步长t

当介入设备形状数据110由电磁跟踪传感器或发射器生成时，可以采用例如在文献WO2015/165736A1中公开的那些电磁跟踪传感器或发射器来提供每个传感器或发射器在每个时间步长t

各种神经网络架构可以用于提供上文参考图3描述的神经网络130。图4图示了根据本公开内容的一些方面的用于预测介入设备的一个或多个部分的未来位置的神经网络130的示例。图4所示的神经网络130具有LSTM架构，并且包括朝向图4左侧的第一层长短期记忆“LSTM”单元、池化层和朝向图4右侧的第二层LSTM单元。

根据上文参考图3描述的操作S120，将介入设备形状数据110输入到图4中的第一层LSTM单元中。在包括当前时间步长t

图4中的第一层LSTM单元中的LSTM单元生成与所预测的它们在介入设备上的相应点的未来位置有关的隐藏状态。池化层为介入设备上的相邻点共享隐藏状态并将其输入到第二层LSTM单元，第二层LSTM单元生成未来位置的预测结果。

图4中的池化层允许相邻LSTM单元之间共享隐藏状态中的信息。这捕获了设备上的相邻部分对正被预测的设备上的部分的运动的影响。这提高了预测的准确度，因为它保留了关于介入设备上的相邻部分的位置信息，因此保留了介入设备形状的连续性。邻域的范围(即，相邻部分的数量以及在其中相邻部分的位置用于预测介入设备的部分的未来位置的范围)可以在直接相邻部分至整个介入设备之间。邻域的范围也可以取决于设备的柔性。例如，刚性设备可以使用相对较大的邻域，而柔性设备可以使用相对较小的邻域。所示的池化层的替代方案包括通过消除违反设备的连续性的预测位置或预测介入设备的曲率超过预定值的预测位置来将约束应用于神经网络的输出。

由图4中的神经网络130生成的输出数据是所预测的介入设备上的i个点在k个未来时间步长的每个未来时间步长时(即，在时间步长t

下文参考图5描述了图4中的每个LSTM单元的操作，图5是图示示例LSTM单元的示意图。参考图5，LSTM单元包括三个输入(h

因此，在一个示例中，在参考图3描述的方法中使用的神经网络130包括具有多个LSTM单元的LSTM架构，并且其中，每个LSTM单元包括输出部，所述输出部被配置为预测介入设备120的不同部分P

图4所示的神经网络130可以被训练为使用介入设备形状训练数据和真实情况位置数据来预测未来位置140。

图6图示了根据本公开内容的一些方面的训练神经网络以预测介入设备的一个或多个部分的未来位置的方法的示例。介入设备形状训练数据表示介入设备120在时间步长的序列时的形状。真实情况位置数据表示介入设备120的多个部分中的每个部分在序列中的每个时间步长时的位置。介入设备形状训练数据和/或真实情况位置数据可以通过图像数据来提供，或者由传感器和/或发射器数据来提供，如上文关于在操作S120中输入的所输入的介入设备形状数据110所描述的那样。神经网络130可以被训练为通过以下操作，根据介入设备形状数据110来预测介入设备120的一个或多个部分在一个或多个未来时间步长t

接收S210介入设备形状训练数据，所述介入设备形状训练数据表示所述介入设备120在时间步长的序列时的形状；

接收S220介入设备真实情况位置数据，所述介入设备真实情况位置数据表示所述介入设备120的多个部分中的每个部分在所述序列中的每个时间步长时的位置；并且

针对所述序列中的多个时间步长中的每个时间步长，将所接收的针对所述时间步长以及任选地针对一个或多个较早时间步长的介入设备形状训练数据输入S230到所述神经网络中，并且基于损失函数来调节S240所述神经网络130的参数，直到满足停止准则为止，所述损失函数表示所预测的所述介入设备120的所述一个或多个部分在一个或多个后续时间步长时的后续位置与来自所接收的介入设备真实情况位置数据的所述介入设备120的一个或多个对应部分在所述一个或多个后续时间步长时的所述真实情况位置之间的差异。

举例来说，介入设备形状训练数据可以通过CT图像数据来提供，在所述CT图像数据中，CT图像数据的图像帧的时间表示时间步长的序列。在该示例中，对应的介入设备真实情况位置数据可以由机械耦合到介入设备120的电磁跟踪传感器或发射器来提供。真实情况位置数据的生成可以与CT图像数据中的图像帧的定时相同步，使得介入设备真实情况位置数据表示介入设备120在序列中的每个时间步长时的位置。

如同在其他神经网络中一样，图4所示的神经网络的训练是通过调节其参数(即，其权重和偏置)来执行的。图4的神经网络的权重和偏置由其LSTM单元来提供。参考图5所示的LSTM单元，图5中的较低的四个激活函数由权重和偏置来控制。这些内容在图5中借助于符号w和b来标识。在所示的LSTM单元中，这四个激活函数中的每个激活函数通常包括两个权重值(即，针对每个x

通过以下公式来控制图5所示的LSTM单元的操作：

f

u

o

c

y

包括图5所示的LSTM单元的训练神经网络和其他神经网络因此涉及调节激活函数的权重和偏置。监督学习涉及为神经网络提供训练数据集，所述数据集包括输入数据和对应的预期的输出数据。训练数据集表示神经网络在训练后将可能用来分析的输入数据。在监督学习期间，自动调节权重和偏置，使得当被提供有输入数据时，神经网络准确地提供对应的期望的输出数据。

训练神经网络通常包括：将大的训练数据集输入到神经网络中，并且迭代地调节神经网络参数，直到经训练的神经网络提供准确的输出为止。训练通常是使用图形处理单元“GPU”或专用神经处理器(例如，神经处理单元“NPU”或张量处理单元“TPU”)来执行的。因此，训练通常采用集中式方法，其中，基于云或基于主机的神经处理器用于训练神经网络。在利用训练数据集对神经网络进行训练后，经训练的神经网络可以被部署到设备以用于在被称为“推断”的过程中分析新的输入数据。在推断期间的处理要求明显少于在训练期间的处理要求，从而允许神经网络被部署到各种系统(例如，膝上型计算机、平板电脑、移动电话等)。推断可以例如由服务器上或云中的中央处理单元“CPU”、GPU、NPU、TPU来执行。

如上文所概述的，训练神经网络的过程包括调节激活函数的权重和偏置。在监督学习中，训练过程自动调节权重和偏置，使得被提供有输入数据时，神经网络准确地提供对应的预期的输出数据。为此，基于所预测的输出数据与所预期的输出数据之间的差异来计算损失函数的值或误差。可以使用诸如负对数似然损失、均方误差或Huber损失或交叉熵之类的函数来计算损失函数的值。在训练期间，损失函数的值通常被最小化，并且当损失函数的值满足停止准则时，就终止训练。有时，当损失函数的值满足多个准则中的一个或多个准则时，就终止训练。

已知有各种方法能够解决损失最小化问题，例如，梯度下降法、拟牛顿法等。已经开发了各种算法来实施这些方法及其变体，包括但不限于随机梯度下降“SGD”、批量梯度下降、小批量梯度下降、高斯-牛顿、Levenberg Marquardt、Momentum、Adam、Nadam、Adagrad、Adadelta、RMSProp和Adamax“优化器”。这些算法使用链规则来计算损失函数关于模型参数的导数。这个过程被称为反向传播，因为导数是在最后一层或输出层处开始并向第一层或输入层移动而计算的。这些导数通知算法必须如何调节模型参数以最小化误差函数。也就是说，从输出层开始对模型参数进行调节，并且在网络中反向工作，直到到达输入层为止。在第一次训练迭代中，初始权重和偏置常常被随机化。神经网络然后预测输出数据，这同样是随机的。然后使用反向传播来调节权重和偏置。通过在每次迭代中调节权重和偏置来迭代地执行训练过程。当所预测的输出数据与所预期的输出数据之间的误差或差异在针对训练数据或某些验证数据的可接受范围内时，就终止训练。随后可以部署神经网络，并且经训练的神经网络使用其参数的经训练的值对新的输入数据进行预测。如果训练过程成功，则经训练的神经网络根据新的输入数据来准确地预测所预期的输出数据。

将意识到，上文参考图4和图5描述的示例LSTM神经网络仅用作示例，并且其他神经网络同样可以用于实施上述方法的功能。也可以训练LSTM神经网络130的替代神经网络，以便在训练操作S130期间执行期望的预测，这些替代神经网络包括但不限于：递归神经网络RNN、卷积神经网络CNN、时间卷积神经网络TCN，以及transformer。

在一些实施方式中，进一步约束调节神经网络130的参数的操作。在一个示例实施方式中，介入设备形状数据110包括数字减影血管造影X射线图像的时间序列，即，DSA X射线图像的时间序列，所述DSA X射线图像包括介入设备120，并且约束所述的调节S240神经网络130的参数，使得所预测的介入设备120的一个或多个部分在一个或多个未来时间步长t

上述神经网络130也被训练为预测针对一个或多个未来位置140的对应的置信度估计结果150。设想了各种方法来预测置信度估计结果。

在一个示例中，所述神经网络130被训练为基于由所述神经网络130生成的所预测的所述介入设备120的所述一个或多个部分在所述一个或多个未来时间步长t

在另一示例中，所述神经网络130包括丢弃层，所述丢弃层被配置为随机控制所述丢弃层中的神经元对所预测的所述介入设备120的所述一个或多个部分在所述一个或多个未来时间步长t

回到图3，在操作S130中，显示所预测的介入设备120的每个部分的一个或多个未来位置140以及针对所预测的一个或多个未来位置140的对应的预测的置信度估计结果150。设想了在操作S130中使用的各种技术。举例来说，可以显示介入设备的当前图像，并且可以在当前图像中显示所预测的介入设备的一个或多个部分的未来位置以及针对所预测的未来位置的对应的预测的置信度估计结果。

另举一个示例，图7图示了根据本公开内容的一些方面的当前X射线图像160的示例，当前X射线图像160包括所预测的介入设备120的部分的未来位置140a、140b、140c以及针对所预测的未来位置的对应的预测的置信度估计结果150。在图7中图示了脉管管腔180的轮廓，并且可以通过使用DSA成像技术生成X射线图像160来确定脉管管腔180的轮廓。在图7中通过表示介入设备120的实线曲线示出了介入设备120的当前位置。通过虚线的形式图示了针对>80％、>75％和<75％的三个置信估计值中的每个置信估计值的所预测的介入设备的远端部分的未来位置。

还设想了图7所示的用于显示介入设备120的当前和/或未来位置的替代技术。这些替代技术包括使用不同的颜色或阴影来图示置信估计结果、热图等。在一些示例中，预测介入设备的一个且仅一个部分(例如，介入设备120的远端)的位置。

上文参考图3描述的计算机实施的方法可以包括一个或多个额外的操作。

在一些介入流程中，知道介入设备120的特定部分是否将截取期望的目标位置是有益的。例如，参考图7，期望知道导丝120的远端是否将成功进入脉管管腔的左分支。根据一个示例，上文参考图3描述的方法包括：

针对介入设备120的至少一个部分，接收指示解剖结构内的目标位置的输入；并且

基于所预测的介入设备120的至少一个部分的未来位置140来计算介入设备120的至少一个部分截取目标位置的概率。

该功能可以由神经网络130来提供，或者通过对(一个或多个)所预测的未来位置140和目标位置进行后处理来提供。解剖结构内的目标位置可以是解剖结构内的任何位置，例如，左肾动脉或右肾动脉，或者另一目标位置。目标位置可以由用户来提供或者被自动确定。例如，如果目标位置由用户来提供，则用户可以通过诸如鼠标或触摸屏之类的指针设备在显示器上指示目标位置。替代地，可以根据关于医学流程的类型的信息并基于通过解剖结构的预期路径来自动确定目标位置。所计算的介入设备120的至少一个部分截取目标位置的概率可以例如被显示为数值、虚线、或者借助于解剖结构的图像上的颜色或阴影等。

在另一示例中，并且为了解决操纵介入设备的一些上述挑战，向用户指示已经用于成功导航介入设备以截取解剖结构内的目标位置的历史路径的范围能够是有益的。通过这样做，用户可以确定他们的介入设备的当前位置与成功的历史路径的位置相比如何，从而受益于其他用户(即，专家用户)的经验。该功能可以通过使用来自专家用户的训练数据训练神经网络130来提供。根据该示例，神经网络130被配置为生成潜变量的一个或多个向量，所述潜变量的一个或多个向量表示所输入的介入设备形状数据110的部分沿着用于成功导航介入设备120以截取解剖结构内的目标位置的多条历史路径的位置分布，并且上文参考图3描述的方法包括：

显示解剖结构内的航迹170，所述航迹170表示潜变量的一个或多个向量的一个或多个分布参数。

参考图8图示了该示例，图8图示了根据本公开内容的一些方面的神经网络130的示例，该神经网络130生成具有表示所输入的介入设备形状数据110的均值μ和方差值σ

在图8中图示了航迹170，并且航迹170包括分布在该均值的任一侧的均值μ和标准偏差值σ，并且指示用于成功导航介入设备120以截取解剖结构内的目标位置的历史路径的范围。如图8所示，在管腔中的一些位置处，特别是朝向管腔中的左分支，存在小的变化，这指示用户需要将介入设备准确地定位在管腔中的该位置处的均值附近，以便成功地转向该左分支。相比之下，在管腔中的较低位置处观察到较大的变化，这指示介入设备的定位不太重要。

以这种方式显示航迹170以过去的用户采取的设备路径的变化的形式向用户提供了额外的信息。通过在从专家获得的设备导航数据(即，用于成功导航介入设备以截取解剖结构内的目标位置的多条历史路径)上训练变化的编码器-解码器网络，图8所示的神经网络的编码器部分根据表示专家设备导航的输入数据来逼近后验分布，并且解码器网络从该分布中生成样本。这允许经验较少的用户从仅专家设备轨迹的分布(包括具有较小或较大变化的轨迹节段以及专家导航中的变化类型)中观察所生成的样本。

在图8所示的神经网络中，一个或多个分布参数包括均值μ和标准偏差σ。注意，可以以类似的方式计算其他统计分布参数并将其显示在航迹170中。此外，图示了潜变量的两个向量，一个向量用于均值，一个向量用于方差值。在一些示例中，可以计算一个且仅一个向量。

图8所示的神经网络130可以被训练为通过以下操作，根据介入设备形状数据110来预测介入设备120的一个或多个部分在一个或多个未来时间步长t

接收介入设备形状训练数据，所述介入设备形状训练数据表示所述介入设备120在针对成功导航所述介入设备120以截取所述解剖结构内的所述目标位置的多个历史流程的时间步长的序列时的形状；

接收介入设备真实情况位置数据，所述介入设备真实情况位置数据表示所述介入设备120的多个部分中的每个部分在所述序列中的每个时间步长时的位置；并且

针对在针对历史流程的所述序列中的多个时间步长中的每个时间步长：

将所接收的针对所述时间步长以及任选地针对一个或多个较早时间步长的介入设备形状训练数据输入到所述神经网络130中，

训练所述神经网络130以学习潜变量的一个或多个向量，所述潜变量的所述一个或多个向量表示所输入的介入设备形状数据110的部分的位置分布；

从由潜变量的所述一个或多个向量表示的所述介入设备120的所述部分的位置分布中采样，以提供所述介入设备120的所述一个或多个部分在所述一个或多个未来时间步长t

基于以下各项来调节所述神经网络130的参数，直到满足停止准则为止：

i)第一损失函数，其表示由潜变量的所述一个或多个向量表示的所述分布中的样本概率与标准分布中的样本概率之间的差异；以及

ii)第二损失函数，其表示在所预测的所述介入设备120的所述一个或多个部分在所述一个或多个后续时间步长时的后续位置140与来自所接收的介入设备真实情况位置数据的所述介入设备120的一个或多个对应部分在所述一个或多个后续时间步长时的所述真实情况位置之间的差异；并且

针对所述多个历史流程中的每个历史流程重复所述输入、所述训练、所述采样和所述调节。

举例来说，可以使用kullback-leibler“KL”散度来计算第一损失函数。所使用的标准分布例如可以是均值等于零且方差等于一的高斯或正态分布。

也可以调整参考图8描述的神经网络，以便计算对介入设备120的一个或多个要求的操纵，所述一个或多个要求的操纵是减小所预测的介入设备的一个或多个部分的未来位置与航迹170之间的差异所要求的。参考图9描述了该示例，图9图示了根据本公开内容的一些方面的神经网络130的示例，该神经网络130被训练为预测介入设备的一个或多个要求的操纵，所述一个或多个要求的操纵是减小所预测的介入设备的一个或多个部分的未来位置与潜变量的均值的航迹170之间的差异所要求的。参考图9，在该示例中，参考图8描述的方法还包括：

基于所接收的表示针对当前时间步长t

显示所预测的介入设备120的一个或多个要求的操纵。

如图9所示，神经网络130可以包括卷积神经网络“CNN”架构，以便实施该功能。CNN的替代架构包括RNN、TCN、transformer等。该功能使得能够训练用户以为在解剖结构内导航介入设备提供更优的操纵。图10A和图10B图示了根据本公开内容的一些方面的使用图9所示的经训练的神经网络来显示所预测的介入设备的一个或多个要求的操纵的示例。用于显示所预测的一个或多个要求的操纵的替代技术包括例如显示诸如方向箭头之类的图标等。

图9所示的神经网络可以被训练为通过以下操作，根据介入设备形状数据110来预测介入设备120的一个或多个要求的操纵，所述一个或多个要求的操纵是减小所预测的介入设备120的一个或多个部分在一个或多个未来时间步长t

接收介入设备形状训练数据，所述介入设备形状训练数据表示所述介入设备120在针对导航所述介入设备120以截取所述目标位置的多个成功的历史流程的时间步长的序列时的形状；

针对所述序列中的每个时间步长，接收表示所述介入设备120的操纵的介入设备真实情况操纵数据，并且

针对所述序列中的多个时间步长中的每个时间步长，将所接收的针对所述时间步长的介入设备形状训练数据输入到所述神经网络130中，并且基于第三损失函数来调节所述神经网络130的参数，直到满足停止准则为止，所述第三损失函数表示所预测的一个或多个要求的操纵与所述真实情况操纵数据之间的差异。

介入设备真实情况操纵数据可以例如由以下各项中的一项或多项来提供：

机器人控制单元，其被配置为操纵介入设备120；以及

相机，其被配置为生成表示介入设备120的用户操纵的图像数据。

根据另一示例，使用专家训练数据来训练图8所示的神经网络。图11图示了根据本公开内容的一些方面的神经网络130的示例，该神经网络130被配置为根据所输入的针对非专家用户的介入设备形状数据来确定与针对专家用户的介入设备形状训练数据最紧密地匹配的所预测的介入设备的一个或多个部分的未来位置。在该示例中，介入设备形状训练数据包括专家用户训练数据，并且神经网络130被配置为根据所输入的针对非专家用户的介入设备形状数据110来确定所预测的介入设备120的一个或多个部分在一个或多个未来时间步长t

在该示例中，由于神经网络是在专家数据上训练的，因此在由网络学习的设备轨迹的潜在表示捕获的输入数据上的近似分布表示专家设备轨迹。因此，神经网络130不能重建非专家设备轨迹，并且这些非专家设备轨迹将是所学习的分布的异常值。相反，神经网络130将输出能够通过所学习的分布表示的最接近的专家轨迹。这允许非专家用户持续学习以模仿专家，而不需要专家投入额外的时间。

使用如图11所示的变化的编码器-解码器网络的额外的优点是，在所学习的专家设备轨迹的潜在空间上的分布遵循正态分布，并且能够被采样。传统的规划工具通常仅示出一个特定的计划或设备轨迹，而本文描述的变化的编码器-解码器网络不仅能够示出最可能的轨迹或最接近的专家轨迹，而且还允许用户对其他类似的轨迹(例如，通向已知目标的轨迹)进行采样。

图12图示了根据本公开内容的一些方面的利用图11所示的经训练的神经网络来执行推断的示例。图12中的所学习的潜在表示z包括多个向量元素，z＝{z

图13是图示根据本公开内容的一些方面的用于预测介入设备的部分的位置的系统200的示意图。系统200包括一个或多个处理器210，这一个或多个处理器210被配置为执行上述与提供导航引导的计算机实施的方法有关的操作中的一个或多个操作。系统200还可以包括介入设备120、成像系统(例如，图13所示的X射线成像系统220或另一成像系统)。在使用中，X射线成像系统220可以生成介入设备形状数据110，以用于在操作S120中输入到神经网络130中。系统200还可以包括如图13所示的一个或多个显示设备230和/或用户接口设备(例如，键盘)和/或用于控制方法的运行的指针设备(例如，鼠标)和/或病床240。

上述示例应被理解为是对本公开内容的说明而不是限制。还设想了另外的示例。例如，关于计算机实施的方法描述的示例也可以由计算机程序产品或计算机可读存储介质或系统200以对应的方式提供。应当理解，关于任何一个示例描述的特征可以单独使用，也可以与其他描述的特征结合使用，并且可以与另一示例的一个或多个特征结合使用，也可以与其他示例的组合结合使用。此外，在不脱离由所附权利要求限定的本发明的范围的情况下，也可以采用上文没有描述的等同物和修改。在权利要求中，词语“包括”并不排除其他元件或操作，并且词语“一”或“一个”并不排除多个。在互不相同的从属权利要求中记载了某些特征的事实并不指示不能有利地使用这些特征的组合。权利要求中的任何附图标记都不应被解释为限制其范围。