包括用于经皮肾镜取石术程序的引导系统的医疗器械引导系统以及相关联的装置和方法

交叉引用的申请

本申请要求于2021年10月8日提交的标题为“Medical Instrument GuidanceSystems,Including Guidance Systems for Percutaneous NephrolithotomyProcedures,and Associated Devices and Methods,”的美国临时申请号63/253,915的优先权和权益，其全部内容通过引用并入本文。

技术领域

本公开涉及为医疗程序提供引导的系统以及相关联的装置和方法。例如，本技术的若干实施例涉及用于经皮肾镜取石术(PCNL)程序的引导系统。

背景技术

微创医疗技术旨在减少医疗程序期间受损组织的数目，从而减少患者恢复时间、不适和有害副作用。这类微创技术可以通过患者解剖结构中的自然孔口或通过一个或多个外科手术切口来实施。通过这些自然孔口或切口，操作者可插入微创医疗工具以到达目标组织位置。微创医疗工具包括诸如治疗性、诊断性、活组织检查和外科手术器械的器械。一些微创医疗工具可以是遥控操作的或以其他方式由计算机辅助的，或由遥控操作的、机器人的或以其他方式由计算机辅助的系统递送。各种特征可提高微创医疗工具和技术的有效性。

发明内容

本技术的实施例由随附说明书的权利要求书最佳概括。

在一些实施例中，一种用于为到解剖结构内的目标的经皮进入提供引导的方法包括当内部器械在解剖结构内移动时，从耦接到所述内部器械的传感器系统接收点云数据。所述方法还可以包括生成所述解剖结构的3D模型。所述3D模型可以基于所述点云数据。所述方法还可以包括接收用于识别所述3D解剖模型内的子结构的信息。所述子结构可以提供到所述目标的进入。所述方法还可以包括确定到所述子结构的入口，以及确定通过所述入口的接近路径。所述方法还可以包括至少部分地基于所述子结构的几何形状来提供到所述目标的所述接近路径的图形表示。

在这些和其他实施例中，一种用于为到解剖结构内的目标的经皮进入提供引导的系统包括器械，所述器械包括传感器系统。所述传感器系统可以包括用于捕获点云数据的第一传感器和用于捕获成像数据的第二传感器。所述系统还可以包括处理器和存储器，所述处理器可操作地耦接到所述传感器系统，所述存储器可操作地耦接到所述处理器。所述存储器可以存储指令，所述指令在由所述处理器执行时使所述系统执行各种操作。所述操作可以包括基于所述点云数据生成所述解剖结构的3D模型。所述操作还可以包括接收所述定位数据和所述成像数据以识别所述解剖结构内的所述目标和所述解剖结构内的子结构。所述子结构可以提供到所述目标的进入。所述操作还可以包括确定通过所述子结构的远侧入口到所述目标的接近路径。所述系统还可以包括显示器，所述显示器用于提供所述解剖结构的所述3D模型和到所述3D模型内的所述目标的所述接近路径的图形表示。

在这些和其他实施例中，提供了一种非暂时性计算机可读介质。非暂时性计算机可读指令在其上存储指令，当由计算系统的一个或多个处理器实施时，所述指令促使所述计算系统执行本文描述的任何实施例的方法。

应理解，前述一般说明和以下详细说明本质上均是示例性和解释性的，并且旨在提供对本公开的理解，而不限制本公开的范围。在这点上，从下面的详细描述中，本公开的附加方面、特征和优势对于本领域技术人员来说将是显而易见的。

附图说明

参考以下附图，可更好地理解本公开的许多方面。附图中的部件不一定按比例绘制。相反，重点在于清楚地图示本公开的原理。附图不应被视为将本公开限制于所描绘的具体实施例，而是仅用于解释和理解。

图1是图示根据本技术的各种实施例的用于执行医疗程序的方法的流程图。

图2是图示根据本技术的各种实施例的用于生成解剖结构的3D模型的方法的流程图。

图3是根据本技术的各种实施例的解剖结构和解剖结构内的细长柔性装置的部分示意图示。

图4图示了根据本技术的各种实施例生成的点云数据的代表性示例。

图5图示了根据本技术的各种实施例生成的3D解剖模型的代表性示例。

图6-10示出了根据本技术的各种实施例的经由解剖子结构到目标的各种接近路径。

图11A-12图示了根据本技术的各种实施例的用于为部署进入工具提供引导的图形用户界面的各种示例。

图13是根据本技术的各种实施例被配置的遥控操作的医疗系统的简化图。

图14A是根据本技术的各种实施例被配置的医疗器械系统的简化图。

图14B是根据本技术的各种实施例被配置的医疗器械系统的简化图。

具体实施方式

本公开涉及用于为医疗程序提供引导的微创装置、系统和方法。在一些实施例中，医疗程序包括将细长柔性装置(例如，柔性导管、腔内器械、输尿管镜)引入患者的解剖结构(例如，肾脏)中。细长柔性装置可以包括至少一个传感器，该至少一个传感器被配置成定位解剖结构中的至少一个目标(例如，肾结石)。一旦识别出目标位置，就可以使用进入工具(例如，针)来创建到达目标的进入路径。进入路径可以是用于将医疗器械从解剖结构外部的位置引入到解剖结构内部的目标位置的经皮进入路径。在一些实施例中，例如，医疗器械可以是用于经由PCNL程序破碎肾结石的工具(例如，吸管、肾镜或碎石机)。

在这样的医疗程序中，对于操作者来说以下可能是具有挑战性的：(a)识别到目标位置的避开敏感器官和/或其他解剖结构的经皮路径，和/或(b)沿着所识别的路径导航进入工具。例如，在PCNL程序中，操作者可能需要创建到肾结石的经皮进入路径，而(i)不使肋骨和/或肾脏的侧面或壁相交和/或(ii)不穿刺肝脏、肠(例如，肠、结肠等)、肺和/或附近的血管。继续该示例，一旦识别出进入路径，操作者就可能需要引导以将进入工具导航到肾结石。然而，常规技术可能不能为定位进入工具提供足够的引导。例如，术前成像和/或建模的价值有限，因为肾结石、肾脏和/或其他器官的位置可能会移动，例如，由于术前成像与实际PCNL程序中患者体位的差异。此外，肾脏和/或周围器官可以是柔软的、可变形的结构，其可以在术前成像之后改变形状和/或尺寸。此外，肾结石可能在某些成像方式(例如，荧光透视、计算机断层扫描(CT))中不可见。因此，常规程序可依赖于训练有素的专家来用进入工具进行初始穿刺，和/或可能经常需要多次尝试来创建充分对准目标的进入路径。

为了克服这些和其他挑战，本文描述的系统和相关联方法可以被配置成引导操作者创建到达解剖目标的进入路径，同时避开附近的敏感组织结构。例如，在一些实施例中，例如，系统使用部署在解剖结构内的细长柔性装置(例如，导管)生成解剖结构(例如，肾脏)的术中3D模型和解剖结构内的目标(例如，肾结石)的表示。细长柔性装置可以包括成像系统(例如，内窥镜相机)和被配置为获得用于确定解剖结构的3D形状并识别目标的位置的数据(例如，定位数据、点云数据、图像数据)的传感器系统(例如，形状传感器)。使用3D模型，系统识别用于进入工具(例如，针)的一个或多个进入路径，以沿着从解剖结构外部的位置、通过所识别的解剖子结构并且到目标的位置的接近路径到达目标。例如，系统确定通过肾盏的远侧开口接近肾结石的进入路径，从而减少或最小化与肾壁(例如，肾盏壁)的接触，并且如果必须采取多次接近，则减少或最小化肾壁的过度穿刺。此外，因为血管通常在肾壁旁边延伸，所以通过肾盏的远侧开口接近肾结石可以避开肾盏或肾的侧面或壁，从而降低或最小化穿刺血管或其他敏感解剖结构的风险。在一些情况下，通过不同解剖子结构到目标的多个路径可以被识别和/或可用。因此，3D模型还可以包括要避免的敏感解剖结构的位置，并且系统可以至少部分地基于避免这样的敏感解剖结构来识别最佳路径。另外地或替代地，系统可以依赖于细长柔性器械在指向解剖子结构时的指向方向，以确定进入解剖子结构的接近路径。在一些实施例中，系统可以输出图形用户界面，该图形用户界面为定位进入工具提供(例如，准确和/或实时)引导(例如，可接受的插入位置、可接受的插入角度范围、导航环或图标)以创建进入路径。

因此，预期本技术(a)通过帮助操作者识别到解剖结构内的目标位置的避免穿刺器官的壁并避开敏感器官和其他结构的适当接近路径并且(b)通过帮助操作者沿着接近路径导航进入工具以创建进入路径来简化PCNL和其他经皮医疗程序。进而，预期本技术降低对器官和血管以及周围组织的无意损伤的可能性，同时在程序期间创建可以通过实现相关联工具的更优选的定位和到达来改善此类程序的功效的进入路径。此外，预期本技术将减少创建充分在目标上的进入路径的尝试次数。因此，预期本技术减少进行此类程序所需的时间。此外，预期本技术将减少在执行初始穿刺和/或进入工具到目标位置的导航中对训练有素的专业人员的依赖。

本文参考图1-14B描述了本技术若干个实施例的具体细节。尽管下面在导航和执行患者的肾脏和/或尿道内的医疗程序的上下文中描述了许多实施例，但是除了本文描述的那些之外的其他应用程序和其他实施例也在本技术的范围内。例如，除非另有说明或从上下文中清楚，否则本技术的装置、系统和方法可用于在其他患者解剖结构(诸如患者的肺、心脏、子宫、膀胱、前列腺和/或泌尿系统、循环系统和/或胃肠(GI)系统的其他部件)上、中或附近导航和执行医疗程序。

应注意，除了本文所公开的实施例之外，其他实施例也在本技术的范围内。例如，尽管本文中的某些实施例是参考用于进入和/或破碎肾结石的器械来论述的，但这并不意指是限制性的，并且本技术也可应用于其他类型的医疗器械，诸如用于诊断、处理或其他医疗程序的器械。此外，本技术的实施例可具有与本文所示或所描述的不同的配置、部件和/或程序。此外，本领域普通技术人员将理解，本技术的实施例可具有除了本文所示或所描述的那些之外的配置、部件和/或程序，并且在不偏离本技术的情况下，这些和其他实施例可没有本文所示或所描述的若干个配置、部件和/或程序。

本公开根据其在三维空间中的状态描述了各种器械和器械的部分。如本文所用，术语“位置”是指对象或对象的一部分在三维空间中的位置(例如，沿着笛卡尔x、y和z坐标的三个平移自由度)。如本文所用，术语“取向”是指对象或对象的一部分的旋转放置(三个旋转自由度——例如，滚动、俯仰和偏航/偏转(yaw))。如本文所用，术语“姿态”是指对象或对象的一部分在至少一个平移自由度上的位置，以及该对象或对象的一部分在至少一个旋转自由度上的取向(总共多达六个自由度)。如本文所用，术语“形状”是指沿着对象测量的一组姿态、位置或取向。

如本文所用，术语“操作者”应被理解为包括可执行或协助程序的任何类型的人员，因此，包括医师、外科医生、医生、护士、医疗技术人员、临床医生、其他人员或本文所公开技术的用户，及其任何组合。如本文所用，术语“患者”应被认为包括正在对其执行医疗程序的人类和/或非人类(例如，动物)患者。

图1是图示根据本技术的各种实施例的用于执行医疗程序的方法100的流程图。方法100被图示为一组步骤或过程110-180。方法100的步骤的全部或子集可以由任何合适的计算系统或装置来实施，任何合适的计算系统或装置诸如医疗器械系统或装置的控制系统(例如，包括机器人控制或遥控外科手术系统的各种部件或装置)、工作站、便携式计算系统(例如，膝上型计算机)、任何/或其组合。例如，在一些实施例中，用于实施方法100的计算系统包括可操作地耦合到存储指令的存储器的一个或多个处理器，当实施该指令时，促使计算系统根据步骤110-180执行操作。另外地或替代地，方法100的步骤110-180的全部或子集可至少部分地由计算系统的操作者(例如，医师、用户等)实施，和/或由机器人控制的外科手术系统经由操作者通过用户输入装置的用户输入件或通过使用闭环控制和/或通过系统的处理器的预编程指令自动执行。通过交叉引用图2-14B的各个方面，在以下描述中图示了方法100。

方法100在步骤110处以生成解剖结构的三维(“3D”)模型(本文也称为“3D解剖模型”)开始。3D解剖模型可以是解剖结构的通路、空间和/或其他特征的任何合适的3D表示，诸如表面模型(例如，网格模型或解剖表面的其他表示)、骨架模型(例如，表示通路和/或连通性的模型)、或参数模型(例如，拟合公共参数的模型)。如下面更详细描述的，3D解剖模型可以包括至少一个目标的表示，该目标可以是组织、对象或在医疗程序期间要进入和/或处理的任何其他合适的部位。例如，在解剖结构是肾脏的实施例中，3D解剖模型可以包括主肾盏、次肾盏、肾盂和/或输尿管的表示，并且目标可以是肾脏内的肾结石。然而，在其他实施例中，3D解剖模型可以包括其他类型的解剖结构和/或目标的表示。

图2是图示根据本技术的各种实施例的可以在方法100(图1)的步骤110处执行的用于生成3D解剖模型的方法200的流程图。方法200在步骤210处以将细长柔性装置引入患者的解剖结构中开始。细长柔性装置可以是柔性导管、腔内器械、输尿管镜或适于经由微创技术(例如，经由腔内进入路线)引入解剖结构中的另一类似工具。细长柔性装置的定位和/或导航可手动执行，细长柔性装置可以由操作者经由输入装置自动控制，和/或细长柔性装置可以使用来自机器人系统的预编程指令集被自动地机器人控制。下面参考图13-14B提供了适用于方法100的细长柔性装置和机器人医疗系统的其他细节。

例如，图3是根据本技术的各种实施例的解剖结构300和解剖结构300内的细长柔性装置350的部分示意图示。在图示的实施例中，解剖结构300是患者的肾脏302。肾脏302包括肾包膜304、肾皮质306和肾髓质308。肾髓质308包括多个肾锥体310，所述肾锥体含有负责尿液产生的肾单位结构。尿液由被称为肾盏的一系列腔室或管腔(例如，小肾盏312和大肾盏314)收集。小肾盏312邻近肾锥体310，并且会聚形成大肾盏314。主肾盏314排空到肾盂316和输尿管318。

细长柔性装置350可以是腔内器械，诸如导管、输尿管镜、导丝、管心针或适于经由患者的尿道(例如，输尿管318)引入肾脏302中的另一类似器械。细长柔性装置350可以在肾脏302的内部空间中导航和/或铰接，以到达目标352(例如，肾结石)。目标352可以位于小肾盏312、大肾盏314、肾盂316或输尿管318附近或内部。

再次参考图2，3D解剖模型可以根据医疗程序期间获得的术中数据部分地或全部地生成(例如，当细长柔性装置位于解剖结构内时)。术中数据可以包括当细长柔性装置在解剖结构内移动时，由耦合到细长装置的定位传感器连续生成的位置数据(例如，点云数据)。在获得和保存由定位传感器生成的位置数据的同时在解剖结构内导航细长柔性装置的过程在本文中也可以称为“勘测”解剖结构，在勘测过程期间生成的位置数据在本文中可以称为“勘测位置数据”。如前所述，与术前数据(例如，术前CT、X射线、MRI图像和/或模型)相比，位置数据和/或其他术中数据可提供患者解剖结构和/或目标的当前状态的更准确的表示，术前数据可以在执行医疗程序之前和/或当患者处于与医疗程序期间不同的位置时捕获。

特别地，图2的方法200可以在步骤220处以获得解剖结构(例如，解剖腔，诸如肾或其他器官的内部空间)的内部传感器数据继续。内部传感器数据可以包括例如由细长柔性装置携带的传感器系统所生成的传感器数据。例如，传感器系统可以是或可以包括至少一个定位传感器，该定位传感器被配置成当细长柔性装置通过驱动到解剖结构内的不同位置来勘测解剖结构时生成勘测位置数据。可保存勘测位置数据以创建形成解剖结构的一般形状的点云。可以使用任何合适的定位传感器，诸如形状传感器、EM传感器、位置传感器、姿态传感器或其组合。定位传感器可以集成在细长柔性装置内。例如，定位传感器可以集成在导管或输尿管镜内，或集成在可插入导管或输尿管镜内的管心针或导丝内。

图4图示了根据本技术的实施例生成的点云数据集400的代表性示例。点云数据集400可以例如通过将细长柔性装置导航到解剖结构内的不同位置来生成，并且可提供解剖结构的内部空间和/或通路的3D表示。例如，在图示实施例中，点云数据集400描绘了患者肾脏的输尿管、肾盂、主肾盏和次肾盏的3D形状。点云数据集400还包括对应于解剖结构内目标402(例如，肾结石)的位置的一组数据点。可选地，点云数据集400可以包括解剖结构内或附近的附加位置的数据，以提供解剖结构的相对形状和目标位置的精确表示。如本文所公开的，点云数据集400可用于生成肾脏和肾结石的3D解剖模型。

再次参考图2的步骤220，在一些实施例中，除了位置数据之外，内部传感器数据还包括其他类型的数据。例如，内部传感器数据可以包括由解剖结构内的成像装置(例如，由细长柔性装置携带)生成的图像数据。图像数据可以包括例如静止或视频图像、超声波数据、热图像数据和诸如此类。在一些实施例中，由成像装置捕获的每个图像与由定位传感器生成的位置数据相关联，使得解剖结构内的对象的位置可以基于对象的图像和与图像相关联的位置数据来确定。

在步骤230处，方法200可以可选地包括获得解剖结构的外部传感器数据。外部传感器数据可以包括由患者体外的传感器系统生成的任何数据，例如由外部成像系统生成的外部成像数据。外部图像数据可以包括以下各项中的任一项：CT数据、磁共振成像(MRI)数据、荧光透视数据、热成像数据、超声波数据、光学相干断层扫描(OCT)数据、热图像数据、阻抗数据、激光图像数据、纳米管X射线图像数据和/或表示患者解剖结构的其他合适的数据。图像数据可以对应于二维(2D)、3D或四维(例如，基于时间或基于速度的信息)图像。例如，在一些实施例中，图像数据包括可组合成伪3D图像的来自多个视角的2D图像。外部传感器数据可以包括术前数据和/或术中数据。

在步骤240处，方法200继续，其基于内部和/或外部传感器数据生成3D解剖模型。例如，可以使用用于从多个3D数据点生成表面或网格模型的技术(诸如表面重建算法)从勘测位置数据(例如，点云数据)生成3D解剖模型。在这类实施例中，因为用于生成点云数据的传感器系统由细长柔性装置携带，所以得到的3D解剖模型可能已经与细长柔性装置处于相同的参考系中，从而不需要附加的配准步骤。作为另一示例，可以从术前图像数据(例如，使用图像分割过程)生成3D表示，并且随后与点云数据组合以产生3D解剖模型。在这类实施例中，方法200还可以包括确定图像数据与点云数据之间的配准(例如使用配准算法，诸如基于点的迭代最近点(ICP)技术，如美国临时专利申请号62/205,440和62/205,433中所描述，这两篇文献的全部内容均通过引用并入本文)。

可选地，可以根据术中数据(例如，内部传感器数据，如位置数据)和术前数据(例如，在细长柔性装置被引入患者体内之前获得的外部图像数据)生成3D解剖模型。在这类实施例中，术中数据可用于更新术前数据，以确保所得模型准确地表示患者解剖结构的当前状态。例如，术前解剖模型可以从图像数据(例如，CT数据)和/或在医疗程序之前获得的其他患者数据中生成(例如，使用本领域技术人员已知的图像分割过程)。随后，术前解剖模型可以与术中数据(例如，点云数据)配准，以将它们放置在相同的参考系中。配准过程可以包括将细长柔性装置导航和/或触碰到对应于术前解剖模型中已知点的患者解剖结构(例如，在解剖结构内)的位置。替代地或组合地，可以使用配准算法(例如，基于点的ICP技术)将术中数据配准到术前解剖模型。一旦配准，术中数据就可用于修改术前解剖模型(例如，通过填充缺失部分、解决错误或歧义等)。如果术前模型中存在与术中数据不匹配的部分，则可假设术中数据更准确，并且可用于替换术前模型的这些部分。另外地或替代地，3D模型的部分和/或特征(例如，总体形状)可以被生成和/或至少部分地基于众所周知的平均患者数据或解剖结构。

在步骤250处，方法200可以可选地包括向3D解剖模型添加一个或多个组织结构。在一些实施例中，组织结构可以包括敏感组织结构，诸如在医疗程序中要避免的任何组织、器官或其他部位(例如，由于受伤、副作用和/或其他并发症的风险)。敏感组织结构可以位于待处理的解剖结构的附近但在其外部。例如，在与肾相关的程序(例如，PCNL程序)的上下文中，敏感组织结构可以包括患者的肝、肠、肺和/或血管。在一些实施例中，步骤250包括生成表示皮肤或敏感组织结构的几何形状和/或位置的一个或多个模型部件，并且将模型部件添加到3D解剖模型。替代地或组合地，步骤250可以包括将3D解剖模型内的现有部件或位置标记或以其他方式识别为对应于敏感组织结构的位置。

在一些实施例中，为了将敏感组织结构添加到3D解剖模型中的适当位置，方法200的步骤250还包括确定敏感组织结构相对于解剖结构的几何形状和/或位置。例如，敏感组织结构的几何形状和/或位置可以基于一般解剖学信息(例如，标准患者的预期几何形状和/或位置)和/或特定患者的特征(例如，年龄、性别、身高、体重)来估计。作为另一示例，敏感组织结构的几何形状和/或位置可以基于术前或术中数据(例如，CT图像)而确定。在另一示例中，敏感组织结构的位置可以基于已知的空间关系(例如，关于细长柔性装置如何相对于解剖结构定位、细长柔性装置的插入台如何相对于外科手术台定位、患者身体如何在手术台上定位和/或敏感组织结构一般位于患者体内何处的知识)来估计。在又一示例中，敏感组织结构的位置可以通过用细长柔性装置获得已知解剖学参考点的位置数据而被估计。例如，当细长柔性装置接触一个或多个外部和/或内部解剖学参考点(例如，肋骨)时，定位传感器可以跟踪细长柔性装置的位置，并且所跟踪的位置可用于将解剖学参考点配准到3D解剖学模型。然后可以基于敏感组织结构与解剖参考点之间的已知空间关系来估计敏感组织结构的位置。

在其他实施例中，敏感组织结构的位置可以基于来自操作者、医生或其他医疗专业人员等的用户输入来估计。例如，医生可例如通过手动触诊患者来估计患者体内敏感组织结构的位置。医师(或另一操作者)可以通过将细长柔性装置或另一传感器(例如，形状传感器、EM传感器、跟踪针、跟踪管心针等)接触到患者的外部和/或内部解剖结构上的对应位置来标记这些位置和/或其他解剖结构(例如，患者的肋骨)。标记的位置可用于定义在程序期间应避免的空间或区域。例如，医师(或另一操作者)可以沿着患者的皮肤或肋骨跟踪管心针或另一工具，以识别或限定在创建经皮穿刺或到目标的进入路径时应当避开的区或区域。在其他实施例中，传感器(例如，集成到患者贴片或其他结构中的位置传感器)可以在敏感组织的位置处耦合到患者解剖结构。在其他实施例中，传感器(例如，集成到患者贴片或其他结构中的位置传感器)可以在敏感组织的位置处耦合到患者解剖结构。

在一些实施例中，将一个或多个组织结构添加到3D解剖模型可以包括使用例如患者的外部成像或一个或多个外部传感器或标记来添加围绕解剖结构的患者皮肤的渲染/展现(rendering)。在使用外部成像来添加围绕解剖结构的患者皮肤的渲染的实施例中，可以将外部图像配准到使用解剖结构内部的细长柔性装置捕获的点云数据。例如，在收集解剖结构的点云的数据点之前、期间和/或之后，可以通过使外部传感器(例如，形状传感器、EM传感器、跟踪针、跟踪管心针等)触碰患者解剖结构的部分来将外部图像配准到点云数据。另外地或替代地，可以在患者皮肤的表面上和/或在其他关键特征(例如，患者的肋骨)上跟踪外部传感器(例如，管心针、针等)，以将数据点添加到3D模型的点云数据并将外部传感器配准到点云数据。这种添加的数据点可以指示有效的经皮入口点和/或患者皮肤上用于经皮入口点的超限区域。这种添加的数据点还可以提供关于患者皮肤与位于解剖结构内部的细长柔性装置的顶端之间的距离的信息。

在一些实施例中，在步骤250中确定的敏感组织结构和/或患者皮肤的几何形状和/或位置可以是初始估计值，并且如果合适，可随后进一步更新3D解剖模型以细化这些估计值。下面参考图1的步骤150进一步描述用于更新3D解剖模型的过程。

再次参考图1，方法100在步骤120处继续，其识别3D解剖模型中对应于解剖结构内的至少一个目标的至少一个位置。如前所述，目标可以是对象(例如，肾结石)、待处理的组织(例如活检、消融等)或解剖结构内的任何其他合适的部位。在一些实施例中，例如，可以基于由细长柔性装置携带的传感器系统生成的内部传感器数据来识别目标位置。例如，传感器系统可以包括被配置成获得目标的图像数据的成像装置(例如，相机、超声波、OCT等)。在这类实施例中，细长柔性装置可以在解剖结构内被导航，直到目标在成像装置的视场内并且在图像数据内至少部分可见。成像和识别目标的过程可以自动执行，可以至少部分地基于用户输入执行，或它们的适当组合。例如，操作者可以查看图像数据(例如，经由监测器上显示的图形用户界面)，并且可以经由输入装置(例如，触摸屏、鼠标、键盘、操纵杆、轨迹球、按钮等)提供命令来指示图像数据中目标的存在(例如，通过点击、选择、标记等)。作为另一示例，操作者可驱动细长柔性装置，直到目标位于图像数据中的特定位置(例如，与诸如一组十字准线的视觉引导对准，位于图像数据的中心等)。在又一示例中，方法100可以包括使用计算机视觉和/或机器学习技术来分析图像数据，以自动或半自动地识别目标。

一旦目标在图像数据中可见，步骤120还可以包括使用定位传感器(例如，形状传感器或EM传感器)获得目标位置数据，并且基于目标位置数据和图像数据确定目标相对于3D解剖模型的位置。在步骤120中获得的目标位置数据可以不同于在步骤110中用于在3D解剖模型中生成的勘测位置数据，或可以包括与目标位置数据相同的数据点中的一些或全部。类似地，定位传感器可以是用于在步骤110中获得勘测位置数据的同一传感器，或可以是不同的传感器。当目标在成像装置的视场内时，目标位置数据可指示细长柔性装置的姿态。因此，目标位置数据可用于计算目标与细长柔性装置之间的空间关系，这进而可用于确定目标在3D解剖模型中的位置。在使用两个不同的定位传感器来生成勘测位置数据和目标位置传感器数据的实施例中，如果两个定位传感器的相对位置是已知的(例如，传感器均耦合到细长柔性装置)，则目标位置数据可以被配准到勘测位置数据，因此目标的表示可以被适当地定位在3D解剖模型内。

在一些实施例中，方法100的步骤120还包括确定目标与细长柔性装置(或其一部分，如远端部分)之间的距离。可用许多不同的方法来确定该距离。例如，可以使用由细长柔性装置携带的接近度传感器(例如，光学传感器、飞行时间传感器等)来测量距离。替代地或组合地，可以基于目标的已知或估计的几何形状(例如，直径、高度、宽度)而确定距离。在这类实施例中，可以基于图像数据(例如，术前图像)或任何其他合适的数据来确定或估计目标几何形状。随后，可以将目标的几何形状与图像数据中的目标的几何形状进行比较，以确定目标与成像装置(以及因而携带成像装置的细长柔性装置)之间的距离。基于所确定的距离，可以在适当的位置将目标的表示添加到3D解剖模型中。

替代地或组合地，方法100的步骤120可以包括使用细长柔性装置携带的力、压力和/或(一个或多个)接触传感器检测目标。这种方法可用于目标具有与周围组织不同的特性或性质的情况，诸如不同的硬度和/或刚度。在这类实施例中，细长柔性装置可以被在解剖结构内导航，直到力和/或接触传感器检测到细长柔性装置与目标接触。接触时细长柔性装置(或其一部分，诸如远端部分)的位置可用作目标的位置。

在一些实施例中，识别至少一个位置可以包括将至少一个目标的至少一个表示添加到3D解剖模型。例如，方法100的步骤120可以包括生成表示目标的模型部件(例如，表示)并将该模型部件添加到3D解剖模型。替代地或组合地，步骤120可以包括在3D解剖模型中标记对应于目标在解剖结构中的位置的现有模型部件和/或位置。

图5图示了根据本技术的各种实施例生成的3D解剖模型500的代表性示例。如图所示，3D解剖模型500包括解剖结构的总体形状的表示500a。在图5中，解剖结构是肾脏，并且可以基于外部成像和/或众所周知的患者数据来估计肾脏的总体形状。3D解剖模型500还包括解剖子结构(例如，肾盏、肾盂和输尿管)的表示500b。因此，3D模型500的表示500b包括例如基于由位于肾内的细长柔性装置捕获的点云数据和/或外部成像生成的肾盏的表示512(其中的一些被单独地识别为图5中的表示512a-512d(“肾盏512a-512d”))。3D解剖模型500还包括细长柔性装置的表示550和肾脏内的目标(例如，肾结石)的表示552。细长柔性装置的表示550可以被示出为在3D模型内具有与细长柔性装置在肾脏内的位置、形状和/或取向相对应的位置、形状和/或取向。细长柔性装置的位置、形状和/或取向能够使用定位在顶端处和/或在沿着细长柔性装置的其他位置处的一个或多个传感器(例如，形状传感器、一个或多个位置传感器等)来确定。替代地，细长柔性装置的表示550可以被示出为在3D模型内具有表示细长柔性装置(例如，其顶端部分)在肾脏内的位置、形状和/或取向的估计的位置、形状和/或取向。该估计可以基于例如定位在细长柔性装置上的一个或多个传感器。类似地，目标的表示552在与肾脏内的目标的位置相对应的位置处定位在3D解剖模型500内。

返回到图1，在步骤130处，方法100继续识别提供到(一个或多个)目标位置的进入/通道(access)的一个或多个解剖子结构。如上所述，解剖结构可以是患者的肾脏，并且解剖子结构可以包括肾盏。在这样的实施例中，在PCNL程序期间用于进入工具的最佳接近路径可以包括经由提供到(一个或多个)目标位置的进入的肾盏的远侧开口进入肾脏的路径。例如，最佳接近路径可以是进入肾结石所在的肾盏的远侧开口的路径。另外地或替代地，最佳接近路径可以是进入肾盏的远侧开口的路径，该远侧开口提供到肾结石的进入(但是可以是或可以不是肾结石所在的肾盏)。在这些和其他实施例中，最佳接近路径可以是进入肾盏的远侧开口的路径，其中进入工具大致平行于肾盏定向。如上所述，通过肾盏的远侧开口进入肾脏可以避免按压或穿刺肾脏的壁和/或穿刺沿着肾脏的壁延伸的患者血管。另外，用大致平行于肾盏定向的进入工具进入肾盏的远侧开口可以避免穿刺肾盏的壁和/或以其他方式(例如，不必要地)穿孔患者的泌尿系统。

在一些实施例中，识别提供到目标位置的进入的一个或多个解剖子结构可以包括至少部分地基于目标在3D解剖模型内的相对于解剖子结构在3D解剖模型中的位置的位置来识别一个或多个解剖子结构。例如，再次参考图5，目标的表示552定位在肾盏512a-512c附近，并且肾盏512a-512c中的每一个分别经由3D解剖模型中的肾盏512a-512c的远侧开口561a-561c提供到目标位置的进入。因此，可以在方法100的步骤130处将肾盏512a-512c的全部或子集识别为提供到目标552的进入的解剖子结构。作为另一示例，还可以在步骤130处至少部分地基于肾盏512d经由肾盏512d的远侧开口561d提供到目标552的直的(例如，线性)进入的事实来将肾盏512d识别为提供到目标552的进入的解剖子结构。

在这些和其他实施例中，识别提供到目标位置的进入的一个或多个解剖子结构可以包括至少部分地基于定位在解剖结构内的细长柔性装置来识别一个或多个解剖子结构。例如，图5中的肾盏512a-512c中的任一个可以在方法100的步骤130处至少部分地基于其与细长柔性装置550的顶端部分550a的接近度来识别。作为另一示例，可以在方法100的步骤130处至少部分地基于细长柔性装置550的指向方向和/或细长柔性装置550的顶端部分550a来识别解剖子结构。继续该示例，操作者可以将细长柔性装置550的顶端部分550a指向目标552(例如，使得目标552在细长柔性装置550的图像传感器的视场内或居中)，并且可以基于顶端部分550a的取向或姿态来识别解剖子结构。在图5中，例如，可以在方法100(图1)的步骤130中至少部分地基于细长柔性装置550的顶端部分550a大体指向肾盏512b和512c而顶端部分550a指向目标552的事实来将肾盏512b和/或肾盏512c识别为提供到目标552的进入的解剖子结构。

在一些实施例中，系统可以自动地和/或至少部分地基于从操作者接收的输入来识别一个或多个解剖子结构。在这些和其他实施例中，系统可以基于一个或多个因素来识别解剖子结构。例如，系统可以基于目标552和肾盏的远侧开口之间的距离(例如，最短距离)；从肾盏的远侧开口到目标552的通路形状(shape of access)(例如，直的或线性路径可适用于使用刚性器械的程序，弯曲路径可适用于使用柔性器械的程序)；和/或敏感组织结构或解剖结构周围的其他患者解剖结构的位置来识别(例如，使用在步骤110生成的3D模型)解剖子结构。系统可以基于诸如患者的位置(例如，使用经由系统的用户界面从用户接收的输入识别的)的其他因素来识别解剖子结构。例如，对于PCNL程序，患者通常仰卧。因此，系统可以识别经由肾脏的后部提供到目标552的进入的肾盏(例如，肾盏512a-512c)(例如，与诸如肾盏512d(其经由肾脏的前部提供到目标552的进入)的肾盏相对)。

在解剖结构内识别多个目标的实施例中，系统可以识别提供到目标的若干个(例如，全部或子集)的进入的一个或多个解剖子结构。换句话说，系统可以识别提供将减少或最小化到达所有(一个或多个)目标所需的穿刺次数的到(一个或多个)目标的进入的解剖子结构。在目标可移动的实施例中，系统可以推荐将目标移动到解剖结构内的另一位置。这在没有解剖子结构提供到目标的合适进入或另一解剖子结构将提供到目标的更好进入的实施例中可能是特别有用的。在这样的实施例中，系统可以推荐将目标移动到另一个位置，并且可以识别将提供到另一个位置的合适进入的解剖子结构。目标的推荐移动可以在用户界面内作为在视觉上描绘目标在3D模型内的建议移动的图形引导(例如，箭头或其他视觉指示符)呈现给用户。图形引导可以覆盖到用户界面内的3D模型上。

在步骤140处，方法100继续，其至少部分地基于在步骤130识别的解剖子结构而识别到目标的一个或多个接近路径。接近路径可以是进入工具(例如，针)创建进入路径的计划路线，医疗器械可以沿着该进入路径经由微创技术被引入解剖结构内的目标。例如，接近路径可以经由在步骤130识别的解剖子结构提供从患者身体外部的位置到解剖结构内的目标或另一位置的经皮路线。下面重复参考图6-10详细描述的方法100的步骤140，图6-10图示了根据本技术的各种实施例的经由3D模型中的解剖子结构512到图5的目标552的各种接近路径。

在一些实施例中，一个或多个接近路径可以至少部分地基于3D解剖模型。例如，系统可以至少部分地基于用于生成3D解剖模型的点云数据来确定在步骤130识别的肾盏的中心线。中心线可以直接指向肾盏的远侧开口(例如，的中心)和/或可以从解剖结构处或解剖结构内的点延伸到患者皮肤的渲染(或超出患者皮肤的渲染)。中心线可以指示进入工具可以沿着其穿过以创建医疗器械的进入路径的最佳接近路径。最佳接近路径可以避免敏感的组织结构和/或其他患者解剖结构(例如，肋骨)或不适合于将进入工具插入解剖结构中的区域。

参考图6，例如，在步骤130处将肾盏512a-512c识别为提供到目标552的进入的解剖子结构。因此，在步骤140处，方法100可以包括分别确定肾盏512a-512c的中心线672a-672c。中心线672a-672c分别沿着肾盏512a-512c中的相应一个延伸，并且分别通过肾盏512a-512c的远侧开口561a-561c(例如，的中心的估计)。在一些实施例中，中心线672a-672c可以跟踪肾盏512a-512c在点云数据中和/或在肾盏512a-512c的其他内部或外部成像中的投影。如下面更详细描述的，中心线672a-672c中的一个或多个可以显示在3D解剖模型中(例如，覆盖在3D解剖模型上)和/或可以在将进入工具经皮插入目标552时提供操作者引导。

在这些和其他实施例中，系统可以生成用于进入工具的合适接近路径的范围。在这样的实施例中，系统可以生成锥体或另一合适的形状，该锥体或另一合适的形状表示进入工具可以经由解剖子结构进入解剖结构的一组合理的角度或向量。锥体可以避开不适合于将进入工具插入解剖结构中的敏感组织结构和/或其他患者解剖结构(例如，肋骨)或区域。例如，再次参考图6，系统可以生成一个或多个锥体686a-686c。锥体686a-686c中的每一个可表示进入工具可以经由远侧开口561a-561c中的相应一个进入肾盏512a-512c中的相应一个的一组合理角度或向量。更具体地，在3D解剖模型内的位置处的锥体686a-686c的二维横截面或面688a-688c可以表示当创建到目标552的进入路径时进入工具可以经过的可接受位置的范围。在图示的实施例中，随着接近路径更靠近目标552，面688a-688c的直径逐渐减小，直到例如可接受位置的范围会聚在肾盏512a-512c的相应中心线672a-672c上。

在一些实施例中，锥体686a-686c可以至少部分地基于肾盏512a-512c的中心线672a-672c、肾盏512a-512c的壁的投影，和/或基于对肾盏512a-512c的直径的估计。例如，锥体686a的二维横截面的直径可以由肾盏512a在3D解剖模型内的对应位置处的二维横截面的估计直径限制。在一些实施例中，锥体686a-686c可以从其(例如，在解剖结构处或在解剖结构内的)相应的点延伸到远离这些点的任何距离，包括延伸到患者体内的任何深度、延伸到患者皮肤的渲染和/或延伸到超出患者皮肤的渲染的任何点。在3D模型中朝向患者皮肤的渲染或位置向远侧延伸锥体686a-686c可以有助于例如识别或推荐适当的穿刺位置和/或确保在将进入工具插入患者之前进入工具的最佳取向和/或姿态。

如下面更详细描述的，锥体686a-686c中的一个或多个可以显示在3D解剖模型中(例如，覆盖在3D解剖模型上)和/或可以在将进入工具经皮插入目标552时提供操作者引导。例如，系统可以通过向操作者显示锥体686a-686c来推荐锥体686a-686c中的一个或多个作为最佳接近路径和/或作为用于将进入工具经皮插入到目标552的引导。在系统向操作者显示或推荐锥体686a-686c中的多于一个的实施例中，操作者可以选择所显示的锥体686a-686c中的一个作为用于进入工具的期望接近路径。在这些和其他实施例中，操作者可以经由呈现给操作者的用户界面上的用户输入来调整锥体686a-686c中的任一个的尺寸、取向和另一特征。

在一些实施例中，在步骤140处识别的一个或多个接近路径可以至少部分地基于在步骤130处识别的相应解剖子结构的简化模型。例如，参考图7，在步骤130处识别的肾盏512a-512c可以被建模为圆柱体786a-786c。圆柱体786a-786c中的每一个可以表示提供经由远侧开口561a-561c进入肾盏512a-512c中的相应一个的合理进入的插入点、角度或向量的范围。每个圆柱体786a-786c的直径可以至少部分地基于对肾盏512a-512c中的相应一个的直径的估计(例如，使用肾盏512a-512c中的相应一个的点云数据和/或内部或外部成像)。另外地或替代地，每个圆柱体786a-786c的直径可以至少部分地基于对肾盏512a-512c中的相应一个的壁的投影的估计(例如，当肾盏512a-512c中的相应一个由于例如肾盏512a-512c中的相应一个被目标552阻挡而无法通过细长柔性装置勘测或导航时)。类似于上述锥体，在3D解剖模型内的位置处的圆柱体786a-786c的二维横截面或面788a-788c可以表示当创建到目标552的进入路径时进入工具可以经过的可接受位置的范围。在一些实施例中，圆柱体786a-786c可以从解剖结构延伸到远离解剖结构的任何距离，包括延伸到患者体内的任何深度、延伸到患者皮肤的渲染和/或延伸到超出患者皮肤的渲染的任何点。圆柱体可以避开不适合于将进入工具插入解剖结构中的敏感组织结构和/或其他患者解剖结构(例如，肋骨)或区域。将圆柱体786a-786c朝向患者皮肤在3D模型中的渲染或位置延伸可以有助于例如识别或推荐患者身上的适当穿刺位置和/或确保在将进入工具插入患者之前进入工具的最佳取向和/或姿态。

在一些实施例中，圆柱体786a-786c可以至少部分地基于肾盏512a-512c的中心线672a-672c(图6)来生成。另外地或替代地，可以在生成圆柱体786a-786c之后确定一个或多个最佳接近路径或中心线772a-772c(图7)。例如，中心线772a-772c可以至少部分地基于圆柱体786a-786c。更具体地，系统可以基于圆柱体786a-786c的特性(例如，直径、姿态等)来确定圆柱体786a-786c中的每一个的中心线772a-772c。

另外地或替代地，圆柱体786a-786c中的一个或多个可以在3D解剖模型中显示(例如，覆盖在3D解剖模型上)和/或可以在将进入工具经皮插入目标552时提供操作者引导。在这样的实施例中，用户可以(a)识别肾盏和/或相应的圆柱体模型的中心，以便于系统生成肾盏或圆柱体模型的中心线；(b)经由用户界面上的用户输入来调整圆柱体模型的直径、取向和/或其他特征；和/或(c)经由用户界面上的用户输入来调整中心线或最佳接近路径的位置、取向和/或其他特征。在一些实施例中，系统可以通过向操作者显示圆柱体786a-786c和/或相应的中心线772a-772c来推荐圆柱体786a-786c中的一个或多个作为最佳接近路径和/或作为用于将进入工具经皮插入到目标552的引导。在系统向操作者显示或推荐多于一个圆柱体786a-786c和/或多于一个中心线772a-772c的实施例中，操作者可以选择所显示的圆柱体786a-786c中的一个和/或所显示的中心线772a-772c中的一个作为用于进入工具的期望接近路径。

除了使用目标552的位置来初始识别提供到目标552的进入的一个或多个解剖子结构之外，在该实施例中，系统不使用目标552的位置来生成上述中心线、锥体和圆柱体。相反，系统仅使用解剖子结构的3D模型(或底层点云数据、成像和/或其他数据)来识别和生成用于进入工具经由解剖子结构进入解剖结构的最佳接近路径的范围。在其他实施例中，系统可以使用目标552的位置来生成表示会聚在目标552上的最佳接近路径的范围的中心线、锥体和/或圆柱体。例如，可以至少部分地基于在步骤130识别的目标的位置和解剖子结构的特性来识别一个或多个接近路径。作为具体示例，系统可以通过确定从目标552的中心或另一部分经由解剖子结构的(例如，远侧开口的)中心或另一部分延伸到解剖结构的外部的路径来生成最佳接近路径(例如，中心线)。这在图8和9中示出，其中中心线872a-872c(图8)和中心线972a-972c(图9)经由肾盏512a-512c的远侧开口561a-561c的中心从目标552的中心延伸到肾脏外部的位置。在一些实施例中，点云数据和/或肾盏512a-512c的壁的投影可用于确定肾盏512a-512c的远侧开口561a-561c的位置、取向、直径和/或其他特征。

另外地或替代地，系统可以分别至少部分地基于中心线872a-872c和972a-972c来生成锥体886a-886c(图8)和/或圆柱体986a-986c(图9)。例如，中心线872a-872c可以用作锥体886a-886c的中心线，并且中心线972a-972c可以用作圆柱体986a-986c的中心线。锥体886a-886c和圆柱体986a-986c中的每一个可以表示进入工具可以接近目标552的一组合理角度或向量。更具体地，在3D解剖模型内的位置处的锥体886a-886c的二维横截面或面888a-888c(图8)和/或圆柱体986a-986c的二维横截面或面988a-988c(图9)可以表示当创建通过肾盏的远侧开口到目标552的进入路径时进入工具可以经过的可接受位置的范围。与不必定位在目标552处的锥体686a-686c(图6)的点和圆柱体786a-786c(图7)的近端面不同，图8的锥体886a-886c的点和圆柱体986a-986c的端面可以定位在目标552的位置处。因此，当进入工具导航由锥体886a-886c中的一个和/或圆柱体986a-986c中的一个限定的可接受接近路径的范围时，进入工具创建将经由远侧开口561a-561c中的相应一个进入肾盏512a-512c中的一个并且将会聚在目标552的位置上和/或终止于目标552的位置处的进入路径。在这方面，圆柱体986a-986c的近端面(例如，最靠近目标552的面)可以被定位和/或定尺寸成使得与近端面相交的任何可接受接近路径将进入工具定位成足够靠近目标552，以提供到目标552的医疗器械进入。

在一些实施例中，包括在锥体886a-886c中的每一个和圆柱体986a-986c中的每一个中的最佳接近路径可以避开敏感的组织结构和/或其他患者解剖结构(例如肋骨)或不适合于将进入工具插入解剖结构中的区域。在这些和其他实施例中，锥体886a-886c和/或圆柱体986a-986c可以分别(a)由相应的肾盏512a-512c的壁约束和/或(b)由锥体686a-686c(图6)或圆柱体786a-786c(图7)约束。例如，参考图8，锥体886b的直径、取向、姿态和/或其他特征可以被约束为使得(a)锥体886b的点被定位在目标552的位置处；(b)锥体886b不与肾盏512b的壁相交；(c)解剖结构内部的锥体886b的部分的直径受到肾盏512b的相应部分的直径和/或肾盏512b的远侧开口561b的直径的限制；和/或(d)锥体886b的在解剖结构外部的部分落入锥体686b(图6)的在解剖结构外部的部分内。因此，在这些实施例中，锥体886b可以表示(a)经由远侧开口561b进入肾盏512b并且(b)提供比锥体686b中包括的接近路径更直的或线性的到目标552的路径的最佳接近路径的范围。

类似地，参考图8，圆柱体986b的直径、取向、姿态和/或其他特征可以被约束为使得(a)圆柱体986b的近端面被定位在目标552的位置处；(b)圆柱体986b不与肾盏512b的壁相交；(c)圆柱体986b的在解剖结构内部的部分的直径受到肾盏512b的相应部分的直径和/或肾盏512b的远侧开口561b的直径的限制；和/或(d)圆柱体986b的在解剖结构外部的部分落入圆柱体786b(图7)的在解剖结构外部的部分内。因此，在这些实施例中，圆柱体986b可以表示(a)经由远侧开口561b进入肾盏512b并且(b)提供比圆柱体786b中包括的接近路径更直的或线性的到目标552的路径的最佳接近路径的范围。

在其他实施例中，中心线、锥体和/或圆柱体可以至少部分地基于解剖结构的特征的位置(例如，肾的肾盂的端部的位置)、相应解剖子结构的端部(例如，相应肾盏的近端或远端或开口)、和/或解剖结构内的另一位置或解剖结构的特征。例如，锥体的点或圆柱体的近端面可以被定位在肾盂的端部的位置处、在相应肾盏的远侧开口的位置处、或在另一位置处(例如，在解剖结构内)。

在这些和其他实施例中，除了3D解剖模型之外或代替3D解剖模型，一个或多个接近路径可以至少部分地基于位于解剖结构内的细长柔性装置。例如，在使用柔性细长装置定位目标(如上面在方法100的步骤120所描述的)之后，细长柔性装置可以用于生成和/或提供用于将进入工具引导到目标的接近路径。特别地，细长柔性装置可用于将肾盏定位在目标附近。当识别出这样的肾盏时，细长柔性装置的顶端部分可以指向肾盏的远端，以确定肾盏的远端的位置。进而，系统可以生成从细长柔性装置沿着所选肾盏延伸并从肾盏的远端延伸出的接近路径。

为了清楚起见，参考图10，携带内窥镜相机的细长柔性装置550可用于在视觉上识别解剖结构内的目标552。然后，细长柔性装置550可用于在视觉上识别靠近目标的肾盏(例如，肾盏512b)。在识别出肾盏之后，细长柔性装置550的顶端部分550a可以指向肾盏的远侧开口(例如，肾盏512b的远侧开口561b)和/或沿着所识别的肾盏的中心线。然后，系统可以使用由细长柔性装置的形状传感器或另一传感器提供的向量来确定肾盏的接近路径(例如，接近路径1072)和/或中心线。所生成的线可以用作经皮插入患者体内的进入工具可以沿着其行进以到达目标552的接近路径。如图10所示，接近路径1072从解剖结构内的细长柔性装置550经由肾盏512b的远侧开口561b延伸到解剖结构的外部。在一些实施例中，系统或操作者可以尝试使目标552在位于细长柔性装置550的顶端部分550a处的图像传感器的视场中居中，使得接近路径1072与细长柔性装置550和肾盏512b的远侧开口561b之间的目标552相交。在这样的实施例中，遵循接近路径1072的进入工具可以在到达细长柔性装置550之前与目标552相交。

在一些实施例中，接近路径1072可用于生成与上述锥体和圆柱体类似的锥体或圆柱体。例如，接近路径1072可用于生成表示提供经由远侧开口561b进入肾盏512b和/或到目标552的合理进入的可接受接近路径的范围的圆柱体1086。圆柱体1086的直径可以至少部分地基于对肾盏512b的直径、细长柔性装置的直径和/或其他因素(例如，可接受的穿刺位置和/或解剖结构外部的敏感组织结构的位置)的估计。另外地或替代地，圆柱体1086的直径可以至少部分地基于对肾盏512b的壁的投影的估计。在3D解剖模型内的位置处的圆柱体1086的二维横截面或面1088可以表示当创建到细长柔性装置550和/或目标552的进入路径时进入工具可以经过的可接受位置的范围。

可以至少部分地基于各种因素来确定和/或向操作者推荐任何上述接近路径，诸如路径长度(例如，到目标的最短路径)、路径形状(例如，直的路径可能适合于使用刚性器械的程序，弯曲的路径可能适合于使用柔性器械的程序)、解剖子结构的尺寸(例如，与具有更小直径的肾盏相比，具有更大直径的肾盏可以提供更大或更容易接近目标的通道)、避免与敏感组织结构相交或过于靠近敏感组织结构、避免进入或交叉(例如，由医师)标记为不适合于经皮穿刺或进入路径的区域、和/或到目标器官的最佳接近。在这些和其他实施例中，因素可以包括穿刺的次数。例如，在存在多个目标(例如，多个肾结石)的实施例中，系统可以识别提供对每个目标的接近并且减少或最小化到达所有目标所需的经皮穿刺的次数的接近路径或一组接近路径。在一些实施例中，步骤140还包括确定进入工具(例如，针、套管等)的插入位置和/或角度，以创建用于进入路径的初始穿刺、切口或其他开口。插入位置和/或角度可以与接近路径的轨迹对准(例如平行)。系统可以在用户界面上向操作者显示系统识别的合理的接近路径和/或进入工具插入位置/角度的全部或子集，和/或系统可以基于上面讨论的一个或多个因素突出显示哪些合理的接近路径和/或进入工具插入位置/角度是最佳的。

可选地，如上所述，方法100(图1)的步骤140可以包括向操作者显示所确定的(一个或多个)接近路径，以便操作者可以查看(一个或多个)接近路径并且在适当时提供反馈。例如，步骤140可以包括呈现包括覆盖在3D解剖模型上的(一个或多个)接近路径、锥体和/或圆柱形模型的图形用户界面。操作者可以查看接近路径，并且提供反馈以接受、拒绝或修改接近路径(例如，经由诸如鼠标、键盘、操纵杆、触摸屏等输入装置)。在一些实施例中，步骤140包括生成或推荐多个接近路径(例如，多个入口点/路径、不同的路径长度、形状、插入位置等)，并且操作者可以基于合意性(例如，到关键结构的距离、路径长度等)选择要在程序中使用的特定接近路径。

再次参考图1，在步骤150处，方法100可选地包括根据术中数据(例如，图像数据、位置数据、用户输入等)更新3D解剖模型和/或接近路径。例如，如果目标、解剖结构和/或敏感组织结构在程序期间移动或以其他方式改变，则对模型的更新可能是适当的。此外，可更新3D解剖模型以更精确地符合目标、解剖结构和/或敏感组织结构的实际几何形状和/或位置。例如，如前所述，3D解剖模型中敏感组织结构的几何形状和/或位置可以是初始估计，一旦术中数据可用，随后对初始估计进行更新。作为另一示例，当目标在解剖结构内移动时，3D解剖模型中的目标位置可以被更新，例如，通过将细长柔性装置的远端部分移动到多个不同的位置，以将目标维持在耦合到细长柔性装置的相机的视场内。细长柔性装置(以及与其耦合的相机)可以是用户控制的(例如，手动导航和/或通过输入装置经由操作者控件以机器人控制的)和/或自动控制的(例如，使用来自机器人系统的预编程指令集)。如果合适，也可更新接近路径以考虑到3D解剖模型的变化。3D解剖模型和/或接近路径可按任何合适的频率更新，例如连续地、以预定的时间间隔周期性地(例如，每x秒、分钟一次，等等)、当接收到新的传感器数据时、当检测到显著变化时(例如，如果目标移动)、响应于用户输入，和/或其组合。如下面关于步骤170更详细地讨论的，可以另外地或替代地基于例如经由用户界面接收的用户输入和/或进入工具的位置、取向和/或姿态的变化来更新在呈现给用户的用户界面上显示的3D模型和/或引导。

在一些实施例中，基于医疗程序期间获得的术中图像数据，诸如CT数据、荧光透视数据、超声波数据等，更新3D解剖模型。图像数据可以通过外部成像系统、通过患者体内的成像装置(例如，由细长柔性装置携带或通过导航接近路径的进入工具携带)或其组合来获得。能够诸如基于用户输入件、使用计算机视觉和/或机器学习技术和/或其组合来分析图像数据以识别目标、解剖结构和/或敏感组织结构的当前几何形状和/或位置。可以将目标、解剖结构和/或敏感组织结构的当前几何形状和/或位置与3D解剖模型进行比较，以识别任何显著的差异(例如，形状、尺寸、位置等的变化)。如果合适，可修改3D解剖模型以反映图像数据中描绘的当前几何形状和/或位置。可选地，在将修订并入模型之前，可以将修订呈现给操作者以用于反馈(例如，批准、拒绝或修改)。

可选地，步骤150可以包括将术中数据配准到3D解剖模型，从而可以将术中数据中的几何形状和/或位置映射到模型上。例如，在术中数据包括用外部成像系统获得的图像数据的实施例中，配准过程可以包括获得细长柔性装置或其一部分(例如，远端部分)的图像数据，并且在图像数据中识别细长柔性装置。该识别可以基于用户输入件或其组合而被自动执行(例如，使用计算机视觉和/或机器学习技术)。可选地，细长柔性装置可以被定位成便于识别的形状(例如，钩状)。基于细长柔性装置的图像数据的配准过程的示例提供于在2017年2月10日提交的公开“Systems and Methods for Using Registered FluoroscopicImages in Image-Guided Surgery”的国际公开号WO 2017/139621中，其通过引用整体并入本文。在一些实施例中，步骤150的配准过程替代地或另外地在方法100中的不同阶段执行，例如，作为步骤110-140中任何一个的一部分。

在步骤160处，方法100可选地包括跟踪进入工具相对于3D解剖模型的姿态。如前所述，进入工具可以是用于创建进入路径(例如，通过沿着接近路径导航)的针或其他合适的医疗器械，并且所跟踪的姿态(例如位置、取向、定位)可用于引导操作者沿着接近路径部署进入工具，如下面另外论述的。进入工具可被手动定位，进入工具可以由通过输入装置的操作者控件来自动控制，或进入工具可以使用来自机器人系统的预编程指令集来自动控制(如下面将参考图13-14B另外详细描述的)。

可以以多种不同方式跟踪进入工具的姿态，诸如使用定位传感器(例如，形状传感器、EM传感器)、成像装置(例如，超声波、荧光透视、CT)、与进入工具具有已知空间和/或运动关系的支撑结构(例如，机械夹具、针导、插入台等)，或其合适的组合。例如，进入工具可以包括定位传感器，该定位传感器被配置成生成进入工具的位置数据。定位传感器可以被配置成可移除地耦合到进入工具(例如，插入到工作通道或管腔中的传感器光纤或其他部件)，或可以被永久地固定到进入工具。在2013年1月28日提交的公开“Steerable FlexibleNeedle with Embedded Shape Sensing”的美国专利号9,636,040中提供了用于将定位传感器结合到进入工具中的技术的附加示例，其全部内容通过引用并入本文。

在一些实施例中，进入工具定位传感器与柔性装置定位配准，从而可相对于细长柔性装置(因此，3D解剖模型的参考系)跟踪进入工具的姿态。配准可按各种方式执行。例如，第一定位传感器和第二定位传感器可以在设定程序期间以彼此已知的空间关系放置，例如由操作者手动和/或使用3D引导件、块、板等，其包括用于将传感器定位在预定配置中的切口或其他图案。作为另一示例，第一定位传感器和第二定位传感器可以被触碰到患者身体和/或另一个对象上的同一组参考点。在另一示例中，第一定位传感器和第二定位传感器可以耦合到同一支撑结构，使得它们的相对空间配置是已知的。例如，两个传感器的近端部分可以安装到相同的插入平台或其他结构支撑上。在又一示例中，第一定位传感器和第二定位传感器可以耦合到不同的支撑结构，但是不同结构之间的空间配置和/或运动学是已知的，并且可用于计算传感器之间的空间关系。例如，第一定位传感器的近端部分可以被安装到第一插入台、机器人臂等，而第二定位传感器的近端部分可以被安装到第二插入台、机器人臂等。作为又一示例，第一定位传感器和第二定位传感器可以是或包括接收器-发射器对，并且在接收器-发射器对之间传送的信号可用于确定传感器之间的空间关系。

然而，在其他实施例中，用于跟踪进入工具的定位传感器可以与用于在步骤110中生成细长柔性装置的勘测位置数据的定位传感器相同。在这类实施例中，定位传感器可以是可移除的传感器(例如，传感器光纤)，该可移除的传感器被配置成顺序地耦合到细长柔性装置和进入工具(例如，插入到细长柔性装置和进入工具的工作管腔中)。定位传感器可首先被耦合到细长柔性装置，以获得解剖结构和目标的数据，如前面关于步骤110和120所论述的。在一些实施例中，一旦检测到目标(例如，如上所述，基于用户输入、图像数据等)，细长柔性装置就朝向目标定向，并且定位传感器用于记录细长柔性装置的姿态。如上所述，记录的姿态可用于确定目标相对于细长柔性装置和/或3D解剖模型的位置。随后，结合步骤160，定位传感器可以被从细长柔性装置中取出并被耦合到进入工具，以跟踪进入工具的姿态。在一些实施例中，因为相同的定位传感器用于细长柔性装置和进入工具两者，所以不需要配准来将进入工具姿态数据映射到3D解剖模型。

作为另一示例，进入工具可以包括成像装置(例如，超声波装置)，该成像装置被配置成生成图像数据(例如，3D多普勒图像)。成像装置可移除地耦合到进入工具(例如，插入到工作通道或管腔内)，或可永久地固定到进入工具。图像数据可用于在进入工具的参考系中生成患者解剖结构的3D表示。随后，3D表示可以被配准或以其他方式与3D解剖模型进行比较，以确定进入工具相对于3D解剖模型的姿态和/或更新3D解剖模型和进入工具在3D解剖模型内的虚拟图像。

在另一示例中，可以使用与进入工具分开的成像装置(例如，外部成像系统)生成的术中图像数据(例如，荧光透视、CT)跟踪进入工具。取决于所使用的特定成像模态，图像数据可以包括来自多个成像平面的进入工具的视图，以便于连续跟踪(例如，对于荧光透视，可能需要多个2D视图来跟踪进入工具的3D姿态)。基于进入工具的已知几何形状、进入工具上的基准点或其他标记、用户输入件等，可以在图像数据中自动或半自动地跟踪进入工具。可选地，进入工具可以包括定位传感器，并且由定位传感器生成的勘测位置数据可用作引导，用于定向成像装置以捕获进入工具的图像(例如，对于荧光透视，可调整成像装置，使得进入工具平行于荧光透视成像平面，这可能更适合于跟踪目的)。然后可以将术中图像数据配准到3D解剖模型，从而可相对于3D解剖模型确定图像数据中的进入工具的姿态(例如，使用之前在步骤140中描述的技术)。替代地或组合地，成像装置可获得进入工具和细长柔性装置的图像数据，从而可确定进入工具相对于细长柔性装置的姿态(其可以与3D解剖模型处于相同的参考系中)。

在步骤170处，方法100可以包括为部署进入工具提供引导以创建进入路径。该引导可以作为显示各种信息的用户界面呈现给用户，诸如包括解剖结构、目标和/或附近敏感组织结构的3D解剖模型的表示。此外，用户界面可以显示各种医疗器械相对于3D解剖模型的位置，诸如包括代表细长柔性装置和/或进入工具的实时位置的虚拟渲染或表示。细长柔性装置的虚拟渲染可以至少部分地基于形状数据和/或可以被显示在3D解剖模型上或在3D解剖模型内。可选地，用户界面可以显示来自多个不同虚拟视图的3D解剖模型，诸如显示整个解剖区域的全局视图、进入工具视点和/或细长柔性装置的视点。

用户界面还可以显示在步骤140中确定的接近路径(例如，显示为覆盖在3D解剖模型上的虚拟线或类似的视觉元素)。除了接近路径之外或代替接近路径，用户界面可以示出其他引导(例如，中心线、圆柱体、锥体、导航环等)。在一些实施例中，引导可以覆盖到3D解剖模型上。在这些和其他实施例中，可以在用户界面中示出多于一个潜在的接近路径和/或相应的引导。例如，如果存在到目标的多个合适接近路径，则可以同时显示每个接近路径和/或相关联的引导(例如，从3D解剖模型中的患者皮肤的渲染或位置到目标的中心线、锥体、导航环)。继续该示例，可以在用户界面内向操作者指示和/或以其他方式突出显示最佳或推荐的接近路径和/或相关联的引导。

当操作者相对于患者身体放置进入工具时(例如，手动或经由机器人控制系统)，用户界面可提供指令、反馈、通知、警报等，以引导操作者沿着规划的接近路径将进入工具插入患者体内。例如，用户界面可以显示进入工具的目标插入位置(例如，通过在3D解剖模型中显示对应于患者身体上的外部部位的位置的十字准线)和/或目标插入角度或取向，以对进入路径进行初始穿刺。可选地，操作者可以标记患者的皮肤(例如，用来自墨水笔的线，该墨水笔连接到定位传感器或与具有定位传感器的另一工具组合使用)，并识别(a)由sharpie线指示的有效经皮入口点或区域与(b)由系统推荐的潜在接近路径的中心线、锥体和/或圆柱体之间的交叉。用户界面还可以显示进入工具相对于目标位置、初始穿刺点、敏感组织结构和/或解剖结构的当前位置和/或角度(例如，基于步骤150的进入工具的跟踪姿态)，并且在适当的情况下，提供反馈(例如，视觉、听觉、触觉等)来引导操作者分别朝向目标位置和/或角度调整进入工具的当前位置和/或角度。

当操作者将进入工具插入患者体内时，用户界面可以跟踪进入工具相对于规划的接近路径、目标和/或局部解剖结构的当前姿态。在一些实施例中，如果进入工具偏离规划的接近路径、接近敏感组织结构或以其他方式需要校正，则用户界面输出警报或其他反馈(例如，视觉、听觉、触觉等)。用户界面可以被更新(例如，如先前关于步骤140和150所论述的)以提供实时监测和反馈，直到进入工具到达目标。

在一些实施例中，可以周期性地更新显示在用户界面上的引导。例如，当操作者从多个合适的接近路径的显示中选择期望的接近路径时，可以从用户界面中移除或隐藏与未选择的接近路径相关联的引导(例如，接近路径、中心线、锥体、圆柱体、导航环等)。作为另一示例，当进入工具被插入患者体内或移动(例如，接近或到达目标)时，可以相应地更新进入工具在3D解剖模型内的表示的位置、取向、姿态和/或其他特征。作为又一示例，在目标的位置改变(例如，有意地或以其他方式)的情况下，可以相应地更新3D解剖模型中的目标的表示以反映目标的新位置。另外地或替代地，可以响应于其他事件(诸如用户输入的接收(例如，经由用户界面上显示的输入选项)和/或接近路径内的敏感组织结构或解剖结构的识别(例如，使用附接到或包括在进入工具中的超声或其他传感器))而更新用户界面。例如，在系统识别提供到目标的进入的接近路径之后，操作者可以经由用户界面上的输入选项来修改接近路径，并且可以在用户界面中更新接近路径的显示和相应的引导。作为具体示例，系统可以推荐在第一位置处穿刺患者的皮肤以便沿着推荐的接近路径导航进入工具。操作者随后可以经由用户界面上的用户输入选项将第一位置改变为第二位置(例如，基于用户临床知识和经验，以避免敏感的解剖结构等)。进而，系统(a)可以计算从第二位置到肾盏的中心线、肾盏的远侧开口和/或目标的新向量；(b)可以更新推荐的接近路径以对应于新向量；和/或(c)可以更新用户界面中的引导的显示以对应于更新的接近路径。

在这些和其他实施例中，在用户界面内显示的引导可以包括导航环或环圈。例如，可以在全局视图和/或进入工具视点中显示导航环。在一些实施例中，导航环可以被显示为一系列环或透视圆柱体或锥体，并且可以被提供以帮助操作者沿着接近路径将进入工具导航到目标。例如，导航环可以是其直径随着远离目标移动而增加的一系列环。继续该示例，操作者可以使用导航环来促进通过使进入工具的顶端按顺序经过导航环来将进入工具导航到目标，非常类似于视频游戏玩家在虚拟飞行游戏中如何飞行通过定位在天空中的一系列环圈。可以有意地选择显示在用户界面上的相邻导航环之间的间距，以向操作者提供进入工具的插入深度和/或距离的感觉。另外地或替代地，当操作者将进入工具导航到目标时，至少两个导航环可以在用户界面内可见(例如，以向操作者提供接下来在何处导航进入工具的顶端的感觉和/或如何最佳地将进入工具定向或摆姿态的感觉，从而确保进入工具的顶端经过该序列的下一个导航环)。

在包括进入工具的导航环和跟踪的实施例中，可以基于进入工具的位置、取向和/或姿态来周期性地更新用户界面。例如，当进入工具的取向或姿态与导航环对准时，可以使用第一颜色(例如，绿色)或图案来显示导航环。当进入工具的取向或姿态不与导航环对准时，可以更新在用户界面内显示的导航环以使用第二颜色(例如，红色)或图案显示导航环。可以在用户界面中示出进入工具的姿态的取向的虚拟投影。例如，可以在用户界面中示出远离进入工具的顶端突出并与进入工具的纵向轴线对准的虚拟线，以向操作者提供进入工具的取向或姿态的感觉(例如，以指示进入工具相对于用户界面中所示的其他模型部件的当前轨迹)。在这些和其他实施例中，当进入工具的顶端被推进通过导航环或锥体/圆柱体的一部分时，可以更新用户界面以移除导航环或锥体/圆柱体的该部分的显示。

图11A和11B分别是根据本技术的实施例的用于为部署进入工具提供引导的用户界面1100a和1100b的各种示例的部分示意图示。界面1100a和1100b的特征可彼此组合和/或与本文描述的任何其他实施例组合。首先参考图11A，用户界面1100a显示(a)全局视图1110；(b)进入工具视点1120；以及(c)用户输入选项1130。在一些实施例中，用户界面1100a和1100b的全部或一部分可以包括触摸屏，该触摸屏允许在全局视图1110或进入工具视点1120内接收用户输入。全局视图1110包括解剖结构(例如，肾脏)的3D解剖模型的解剖子结构500b(例如，肾盏、肾盂、输尿管等)的显示、定位在解剖结构内的细长柔性装置550的表示以及进入工具1140的表示。全局视图1110还包括解剖结构内的目标(例如，肾结石)的表示和锥体1186形式的引导，锥体1186表示用于进入工具1140穿过以经由肾盏中的一个的远侧开口(未示出)到达或靠近目标552的一组适当接近路径。

进入工具视点1120图示了从顶端或沿着全局视图1110的进入工具1140的另一位置的视图。例如，进入工具视点1120可以包括指示进入工具1140的顶端的当前位置的十字准线1147，其中视图沿着进入工具1140的纵向轴线观察。在进入工具视点1120中以导航环1189a和1189b的形式示出了来自全局视图1110的锥体1186的多个二维横截面或面1188。与上面的讨论一致，在3D解剖模型内的位置处的锥体1186的二维横截面或面1188可以表示当创建到目标552的进入路径时进入工具1140可以经过的可接受位置的范围。因此，导航环1189a和1189b可用于在将进入工具1140导航到目标552时向操作者提供引导。

例如，在图11A中，尽管目标552和下一个导航环1189b在进入工具视点1120中是可见的，但是十字准线1147不与下一个导航环1189b对准。这可以在全局视图1110中容易地看到，其中进入工具1140的投影或当前轨迹(在图11A中显示为虚线1145)从锥体1186的内部发散。因此，尽管操作者可能能够使进入工具1140的顶端穿过进入工具视点1120中所示的最近导航环1189a，但是操作者将需要调整进入工具1140的取向和/或姿态，以将进入工具1140的顶端导航通过进入工具视点1120中所示的下一个导航环1189b。为此，(a)全局视图1110中显示的锥体1186、进入工具1140和/或虚线1145、和/或(b)进入工具视点1120中的十字准线1147、最近的导航环1189a和/或下一个导航环1189b可以以第二颜色(例如，红色)或以第二图案显示。另外地或替代地，用户界面1100a可以提供其他反馈(例如，视觉、音频、触觉等)以向操作者警告进入工具1140当前偏离路线。

现在参考图11B，用户界面1100b类似于用户界面1100a，不同的是，进入工具1140与最佳接近路径对准。特别地，进入工具视点1120中的十字准线1147与最近的导航环1189a和下一个导航环1189b对准。另外，全局视图1110中的表示进入工具1140的当前取向、姿态和/或轨迹的虚线1145在锥体1186的内部内和/或与锥体1186的中心线对准。为此，(a)全局视图1110中显示的锥体1186、进入工具1140和/或虚线1145、和/或(b)进入工具视点1120中的十字准线1147、最近的导航环1189a和/或下一个导航环1189b可以以第一颜色(例如，绿色)或以第一图案显示。另外地或替代地，用户界面1100b可以提供其他反馈(例如，视觉、音频、触觉等)以向操作者指示进入工具1140当前在路线上。

一起参考图11A和11B，用户界面1100a和1100b的用户输入选项1130可以包括各种软件按钮或可以经由触摸屏控制从操作者接收输入的其他元件。用户输入选项1130可以另外地或替代地向操作者显示各种信息。例如，用户输入选项1130可以提供进入工具1140的顶端与目标552之间(例如，沿着接近路径)的距离1134(以现实世界单位为单位)。

图12是根据本技术的实施例配置的用户界面的另一示例全局视图1210的部分示意图示。例如，除了全局视图1110之外或代替全局视图1110，全局视图1210可以被包括在图11A的用户界面1100a中。全局视图1210类似于图11A的全局视图1110，不同的是，代替锥体1186示出了一系列导航环1188a、1188b和1188c。在一些实施例中，导航环1188a-1188c可以对应于图11A中的进入工具视点1120中所示的导航环1189a和/或1189b中的一个或多个。如图12所示，环1188a-1188c的直径随着环1188a-1188c接近目标而减小，与锥体1186(图11A)的形状一致。另外，环1188a-1188c彼此间隔开，以向操作者提供进入工具1140的插入深度和/或距离的感觉。

再次参考图1的步骤170，在一些实施例中，显示给操作者的图形用户界面可以包括来自成像装置的实时图像数据，诸如患者体内的外部成像系统(例如，荧光透视、锥形束、CT等)和/或内部成像装置(例如，内窥镜相机、超声波等)。成像装置可以是用于更新3D解剖模型(步骤150)和/或跟踪进入工具(步骤160)的同一成像装置，或可以使用不同的成像装置。图像数据可以与3D解剖模型的图形表示一起呈现，使得操作者可观察并比较进入工具的实际姿态和规划的接近路径。

在一些实施例中，图形用户界面还显示指令、反馈、通知等，用于调整成像装置以捕获进入工具的图像。这种方法可用于不同成像平面对不同程序步骤有利的情况。例如，当使用进入工具进行初始穿刺时，指令可引导操作者使用与规划的接近路径正交或基本正交的成像平面(例如，在进行初始穿刺时与图11A和11B的进入工具视点1120基本上对准的成像平面)，使得接近路径显示为患者身体上的点或小区域。正交的成像平面可帮助操作者将进入工具的远端放置在正确的位置处。可选地，可以将激光点或类似的视觉指示符投射到患者的身体上，以标记插入位置。

继续关于当用进入工具进行初始穿刺时使用与规划的接近路径正交或基本正交的成像平面的上述示例，显示在图形用户界面上的指令可以引导操作者(a)将进入工具定位在用于进行初始穿刺的期望位置、取向和/或姿态，以及(b)然后旋转成像装置直到进入工具表现为成像数据内的点。另外地或替代地，系统可以将成像数据配准到3D解剖模型，并且然后在图形用户界面上呈现向操作者解释如何调整或移动成像装置以实现用于从进入工具的视点观察接近路径的最佳成像平面的指令(例如，当使用CT的荧光透视时，用户界面可以指示C形臂的最佳旋转角度)。在成像装置由系统控制的其他实施例中，系统可以自动旋转/定位成像装置以实现最佳成像平面。因此，最佳成像平面可以至少部分地基于规划的接近路径和/或3D解剖模型。在美国专利申请序列号16/076,290中提供了关于将进入工具配准到3D解剖模型的进一步细节，其全部内容通过引用并入本文。

一旦进行了初始穿刺，则指令可引导操作者使用平行或基本上平行于规划的接近路径的成像平面。平行的成像平面可提供对进入工具在其插入身体时的姿态的更清楚观察。在一些实施例中，步骤170还包括监测成像装置(或其一部分，例如成像臂)的位置和/或取向，以引导操作者如何实施正确的成像平面和/或确认正在使用正确的成像平面。

在步骤180处，方法100继续经由进入路径将医疗器械引入到目标。在一些实施例中，一旦进入工具已经到达目标，进入工具就被取出，因此医疗器械可以经由进入路径被引入到目标。替代地，进入工具可保留在患者体内，并且医疗器械可以经由进入工具中的工作管腔或通道引入患者体内。然而，在其他实施例中，进入工具本身可用于处理目标，使得步骤180是可选的并且可以省略。

医疗器械可以是适用于例如外科手术、诊断性、治疗性、消融性和/或活检程序的任何微创器械或工具。例如，医疗器械可以是抽吸管、肾镜、碎石机、消融探针、活检针或用于处理目标的另一合适装置。医疗器械的定位可手动执行，医疗器械可以由操作者控件通过输入装置而自动控制，或医疗器械可以使用来自机器人系统的一组预编程指令而自动地机器人控制(如下面将参考图13-14B另外描述的)。

可选地，步骤170中提供的图形用户界面也可用于在将医疗器械引入患者体内时引导操作者。例如，可以跟踪医疗器械相对于3D解剖模型的姿态。更具体地，可以使用上面在步骤160和170中描述的技术(诸如耦接到医疗器械的定位传感器)来跟踪医疗器械相对于3D解剖模型的姿态。另外或替代地，可以通过跟踪(例如，使用传感器或编码器)用于将医疗器械引入患者体内的机器人系统的操纵器或臂的位置来跟踪医疗器械相对于3D解剖模型的姿态。替代地或组合地，图形用户界面可以显示来自单独成像装置的实时图像数据，因此操作者可以可视化医疗器械在患者解剖结构内的位置。图像数据可以从单个成像平面或多个成像平面描绘医疗器械。例如，在一些实施例中，医疗器械从平行或基本上平行于进入路径的成像平面成像，这可以有助于可视化医疗器械的姿态。可选地，医疗器械本身可以包括成像装置或其他传感器系统，因此操作者可以从医疗器械的视点监测医疗器械的位置和/或处理进展。

虽然方法100的步骤以特定顺序进行了论述和说明，但图1所示的方法100不受此限制。在其他实施例中，方法100可按不同的顺序执行。在这些和其他实施例中，方法100的任何步骤可以在方法100的任何其他步骤之前、期间和/或之后执行。例如，步骤150可以在步骤160、170和/或180中的任何一个之前、期间和/或之后执行；步骤160可以在任何步骤110-150或170之前、期间和/或之后执行；和/或步骤170可以在步骤150和/或160之前、期间和/或之后执行。此外，可以重复方法100的一个或多个步骤(例如，步骤140-170中的任何一个)。

可选地，可以省略图1所示方法100的一个或多个步骤(例如，步骤150和/或160)。例如，在不跟踪进入工具的实施例中(例如，省略步骤160)，方法100可改为包括将3D解剖模型配准到实时术中图像数据(例如，荧光透视数据)，使得操作者可以跟踪目标、解剖结构和/或敏感组织结构相对于实时图像的位置。在这类实施例中，图形用户界面可以将表示目标、解剖结构和/或敏感组织结构的视觉指示符(例如，高亮、阴影、标记)覆盖到活动图像数据中的相应部件上。细长柔性装置和/或进入工具在实时图像数据中是可见的，使得操作者可评估它们相对于患者解剖结构的位置。因此，目标的位置可以改变，这将相应地改变将进入工具部署到目标的位置的引导。但是可以不提供示出进入工具与引导和/或目标的实时对准的引导。

此外，相关领域的普通技术人员将认识到，可以对图示方法100进行更改，并且仍然保持在本技术的这些和其他实施例内。例如，尽管上面参考经皮进入路径描述了方法100的某些实施例，但是在其他实施例中，方法100可应用于其他类型的进入路径。例如，进入工具可以经由腔内进入路径引入，例如通过细长柔性装置的工作通道或管腔。在这类实施例中，因为进入工具的姿态对应于细长柔性装置的姿态，所以方法100可以省略确定进入工具的进入路径(步骤130)和/或跟踪进入工具的姿态(步骤150)。相反，在步骤160中提供的引导可集中于跟踪和更新目标的位置，例如，在目标在程序期间移动的情况下。

此外，在其他实施例中，由方法100提供的引导可以简单地包括将进入工具引向细长柔性装置(例如，引向目标附近的细长柔性装置的远端部分或其他部分)。在这类实施例中，方法100不需要确定到目标的精确进入路径(即，可以省略步骤130)。相反，方法100可以简单地包括跟踪进入工具和细长柔性装置的相对位置，诸如通过进入工具和细长柔性装置上的相应定位传感器、与细长柔性装置上的发射器配对的进入工具上的接收器(反之亦然)和/或其他合适的技术。在步骤160中提供给操作者的引导可以显示进入工具和细长柔性装置相对于彼此和/或相对于3D解剖模型的位置。可选地，进入工具可以包括成像装置(例如，超声波装置)和/或其他传感器系统，以帮助操作者在将进入工具插入患者体内时避开敏感的组织结构。

图13是根据本技术的各种实施例被配置的遥控操作医疗系统1300(“医疗系统1300”)的简化图。医疗系统1300可用于执行本文结合图1-12描述的过程中的任何一个。例如，医疗系统1300可用于执行医疗程序，包括用细长柔性装置映射解剖结构和用进入工具创建进入路径，如前面结合图1的方法100所论述的。

在一些实施例中，医疗系统1300可适用于例如外科手术、诊断性、治疗性或活检程序。虽然本文提供了关于这些程序的一些实施例，但是对医疗或外科器械以及医疗或外科手术方法的任何引用均是非限制性的。本文描述的系统、器械和方法可用于动物、人类尸体、动物尸体、人类或动物解剖体的部分、非外科手术诊断，以及用于工业系统和通用机器人或遥控操作系统。

如图13所示，医疗系统1300一般包括操纵器组件1302，操纵器组件用于操作医疗器械1304对位于工作台T上的患者P实施各种程序。在一些实施例中，医疗器械1304可以包括、递送、耦接和/或控制本文描述的任何柔性器械。操纵器组件1302可以是遥控操作的、非遥控操作的、或遥控操作的和非遥控操作混合组件，其具有可以是机动的和/或遥控操作的选定运动自由度以及可以是非机动的和/或非遥控操作的选定运动自由度。

医疗系统1300还包括主组件1306，其具有用于控制操纵器组件1302的一个或多个控制装置。操纵器组件1302支撑医疗器械1304，并且可以可选地包括多个致动器或马达，这些致动器或马达响应于来自控制系统1312的命令而驱动医疗器械1304上的输入件。致动器可以可选地包括驱动系统，该驱动系统在耦接到医疗器械1304时可以将医疗器械1304推进到自然或外科手术创建的解剖孔口中。其他驱动系统可以以多个自由度移动医疗器械1304的远端，这可以包括三个自由度的线性运动(例如，沿着X、Y和Z笛卡尔轴的线性运动)和三个自由度的旋转运动(例如，围绕X、Y和Z笛卡尔轴的旋转)。此外，致动器可用于致动医疗器械1304的可关节运动的端部执行器，用于在活检装置等的钳口中抓取组织。诸如分解器、编码器、电位计和其他机构的致动器位置传感器可向医疗系统1300提供描述马达轴的旋转和取向的传感器数据。该位置传感器数据可用于确定由致动器操纵的对象的运动。

医疗系统1300还包括显示系统1310，用于显示由传感器系统1308的子系统生成的外科手术部位和医疗器械1304的图像或表示，和/或与程序相关的任何辅助信息，包括与消融相关的信息(例如，温度、阻抗、能量递送功率水平、频率、电流、能量递送持续时间、组织消融指示符等)。显示系统1310和主组件1306可以被定向，使得操作者O可利用遥控呈现的感知来控制医疗器械1304和主组件1306。

在一些实施例中，医疗器械1304可以包括成像系统的部件，该成像系统可以包括成像镜组件或成像器械，该成像镜组件或成像器械记录外科手术部位的同步或实时图像，并且通过医疗系统1300的一个或多个显示器(例如显示系统1310的一个或多个显示器)向操作者O提供图像。并发图像可以是例如由位于外科手术部位内的成像器械捕获的二维或三维图像。在一些实施例中，成像系统包括内窥镜成像器械部件，其可整体地或可拆卸地耦接到医疗器械1304。然而，在一些实施例中，附接到单独的操纵器部件的单独的内窥镜可以与医疗器械1304一起使用，以对外科手术部位成像。在一些实施例中，成像系统包括通道(未示出)，该通道可提供器械、装置、导管和/或本文描述的柔性器械的递送。成像系统可以被实施为硬件、固件、软件或其组合，它们与一个或多个计算机处理器交互或以其他方式由一个或多个计算机处理器实行，该一个或多个计算机处理器可以包括控制系统1312的处理器。

医疗系统1300还可以包括控制系统1312。控制系统1312包括至少一个存储器和至少一个计算机处理器(未示出)，用于实现医疗器械1304、主组件1306、传感器系统1308与显示系统1310之间的控制。控制系统1312还包括编程指令(例如，存储指令的非暂时性机器可读介质)以实施根据本文所公开的方面描述的方法中的一些或所有，包括用于向显示系统1310提供信息的指令。

控制系统1312可以可选地还包括虚拟可视化系统，以在图像引导外科手术程序期间控制医疗器械1304时向操作者O提供导航辅助。使用虚拟可视化系统的虚拟导航可以基于对所获得的解剖通路的术前或术中数据集的参考。虚拟可视化系统处理使用成像技术成像的外科手术部位的图像，该成像技术诸如计算机断层扫描(CT)、磁共振成像(MRI)、荧光透视、热成像、超声波、光学相干断层扫描(OCT)、热成像、阻抗成像、激光成像、纳米管X射线成像等。

图14A是根据本技术的各种实施例被配置的医疗器械系统1400的简化图。医疗器械系统1400包括耦接到驱动单元1404的细长柔性装置1402，诸如柔性导管。细长柔性装置1402包括具有近端1417和远端或顶端部分1418的柔性主体1416。医疗器械系统1400还包括跟踪系统1430，该跟踪系统用于使用一个或多个传感器和/或成像装置确定远端1418和/或沿着柔性主体1416的一个或多个节段1424的位置、取向、速度、速率、姿态和/或形状，如下面另外详细描述的。

跟踪系统1430可选地使用形状传感器1422跟踪远端1418和/或一个或多个节段1424。形状传感器1422可以可选地包括与柔性主体1416对准的光纤(例如，设置在内部通道(未示出)内或安装在外部)。形状传感器1422的光纤形成用于确定柔性主体1416的形状的光纤弯曲传感器。在一个替代方案中，包括光纤布拉格光栅(FBG)的光纤用于在一个或多个维度上提供结构中的应变测量。在2006年9月26日提交的公开“Fiber Optic Position andShape Sensing Device and Method Relating Thereto”的美国专利号7,781,724、2008年3月12日提交的公开“Fiber Optic Position and/or Shape Sensing Based on RayleighScatter”的美国专利号7,772,541和2000年4月21日提交的公开“Optical Fiber BendSensor”的美国专利号6,389,187中描述了用于在三维空间中监测光纤的形状和相对位置的各种系统和方法，这些专利的全部内容通过引用并入本文。在一些实施例中，跟踪系统1430可以可选地和/或另外地使用位置传感器系统1420跟踪远端1418。位置传感器系统1420可以是EM传感器系统的部件，其中位置传感器系统1420包括一个或多个导电线圈，该一个或多个导电线圈可经受外部生成的电磁场。在一些实施例中，位置传感器系统1420可以被配置和定位成测量六个自由度(例如，三个位置坐标X、Y和Z以及指示基点的俯仰、偏航和滚动的三个取向角)或五个自由度(例如，三个位置坐标X、Y和Z以及指示基点的俯仰和偏航的两个取向角)。在1999年8月9日提交的公开“Six-Degree of Freedom TrackingSystem Having a Passive Transponder on the Object Being Tracked”的美国专利号6,380,732中提供了对位置传感器系统的另外描述，其全部内容通过引用并入本文。在一些实施例中，光纤传感器可用于测量温度或力。在一些实施例中，温度传感器、力传感器、阻抗传感器或其他类型的传感器可以被包括在柔性主体内。在各种实施例中，一个或多个位置传感器(例如，纤维形状传感器、EM传感器等)可被集成在医疗器械1426内，并且用于使用跟踪系统1430跟踪医疗器械1426的远端或部分的位置、取向、速度、速率、姿态和/或形状。

柔性主体1416包括通道1421，通道1421的经定尺寸和成形以容纳医疗器械1426。例如，图14B是根据一些实施例的具有延伸的医疗器械1426的柔性主体1416的简化图。在一些实施例中，医疗器械1426可用于诸如成像、可视化、外科手术、活检、消融、照明、冲洗和/或抽吸的程序。医疗器械1426可以通过柔性主体1416的通道1421部署，并且在解剖结构内的目标位置处使用。医疗器械1426可以包括例如能量递送器械(例如，消融探针)、图像捕获探针、活检器械、激光消融纤维和/或其他外科手术、诊断性或治疗性工具。医疗器械1426可以与柔性主体1416内的成像器械(例如，图像捕获探针)一起使用。成像器械可以包括耦接到相机的电缆，用于发射捕获的图像数据。在一些实施例中，成像器械可以是耦接到图像处理系统1431的光纤束，诸如纤维镜。成像器械可以是单光谱或多光谱的，例如捕获可见、红外和/或紫外光谱中的一种或多种的图像数据。医疗器械1426可以从通道1421的开口被推进以执行程序，然后在程序完成时缩回到通道1421中。医疗器械1426可以沿着柔性主体1416从柔性主体1416的近端1417或从另一个可选的器械端口(未示出)移除。

柔性主体1416还可容纳在驱动单元1404与远端1418之间延伸的电缆、连杆或其他转向控制件(未示出)，以可控地弯曲远端1418，例如，如远端1418的虚线描绘1419所示。在一些实施例中，至少四根线缆用于提供独立的“上下”转向以控制远端1418的俯仰，以及“左右”转向以控制远端1418的偏航。在2011年10月14日提交的公开“Catheter withRemovable Vision Probe”的美国专利号9,452,276中详细描述了可转向的细长柔性装置，并且该专利通过引用整体并入本文。在各种实施例中，医疗器械1426可耦接到驱动单元1404或单独的第二驱动单元(未示出)，并且可以使用转向控制件可控地或自动地弯曲。

来自跟踪系统1430的信息可以发送到导航系统1432，并且在导航系统1432中与来自图像处理系统1431的信息和/或术前获得的模型相结合，以向操作者提供实时位置信息。在一些实施例中，实时位置信息可以显示在图13的显示系统1310上，用于控制医疗器械系统1400。在一些实施例中，图13的控制系统1312可利用位置信息作为定位医疗器械系统1400的反馈。在2011年5月13日提交的公开“Medical System Providing DynamicRegistration of a Model of an Anatomic Structure for Image-Guided Surgery”的美国专利号8,900,131中提供了使用光纤传感器来配准和显示具有外科手术图像的外科手术器械的各种系统，其全部内容通过引用并入本文。

在一些实施例中，医疗器械系统1400可在图13的医疗系统1300内被遥控操作。在一些实施例中，图13的操纵器组件1302可以由直接操作者控件来代替。在一些实施例中，直接操作者控件可以包括用于器械的手持操作的各种手柄和操作者界面。

本文描述的系统和方法可按其上记录有由处理器或计算机实行的指令的有形和非暂时性机器可读介质和媒介(诸如硬盘驱动器、硬件存储器、光学介质、半导体介质、磁性介质等)的形式提供。这组指令可以包括指示计算机或处理器执行特定操作的各种命令，诸如本文描述的各种实施例的方法和过程。这组指令可呈软件程序或应用程序的形式。编程指令可以被实施为多个单独的程序或子例程，或它们可以被集成到本文描述的系统的多个其他方面中。计算机存储介质可以包括易失性和非易失性介质以及可移除和不可移除介质，用于存储诸如计算机可读指令、数据结构、程序模块或其他数据的信息。计算机存储介质可以包括但不限于RAM、ROM、EPROM、EEPROM、闪存或其他固态存储技术、CD-ROM、DVD或其他光存储件、磁盘存储或可用于存储期望的信息并可以由系统部件访问的任何其他硬件介质。系统的部件可以经由有线或无线通信相互通信。在一个实施例中，控制系统支持无线通信协议，诸如蓝牙、IrDA、HomeRF、IEEE 802.11、DECT和无线遥测。部件可彼此分开，或部件的各种组合可一起集成到监测器或处理器中，或包含在具有标准计算机硬件(例如，处理器、电路、逻辑电路、存储器，诸如此类)的工作站中。该系统可以包括处理装置，诸如微处理器、微控制器、集成电路、控制单元、存储介质和其他硬件。

可以通过本文所公开的细长柔性装置或导管递送的医疗工具可以包括，例如，图像采集探针、活检器械、激光消融纤维和/或其他外科手术、诊断性或治疗性工具。医疗工具可以包括具有单个工作构件的末端执行器，诸如手术刀、钝刀片、光纤、电极等。其他末端执行器可以包括例如镊子、抓钳、剪刀、夹具施放器等。其他末端执行器还可以包括电激活末端执行器，诸如电外科手术电极、换能器、传感器等。医疗工具可以包括图像捕获探针，该探针包括用于捕获图像(包括视频图像)的立体或单视场相机。医疗工具可以另外容纳在其近端与远端之间延伸的缆线、连杆或其他致动控件(未示出)，以可控地弯曲工具的远端。在2005年10月4日提交的公开“Articulated Surgical Instrument for PerformingMinimally Invasive Surgery with Enhanced Dexterity and Sensitivity”的美国专利号7,316,681和在2008年9月30日提交的公开“Passive Preload and Capstan Drive forSurgical Instruments”的美国专利号9,259,274中详细描述了可转向器械，其全部内容通过引用并入本文。

本文描述的系统可适用于经由自然或外科手术形成的连接通路对各种解剖系统中的解剖组织进行导航和处理，该解剖组织包括肺、结肠、胃、肠、肾和肾盏、膀胱、肝、胆囊、胰腺、脾、输尿管、卵巢、子宫、脑、包括心脏的循环系统、脉管系统等。

注意，所呈现的过程和显示可能并不与任何特定的计算机或其他设备内在相关。根据本文中的教导，各种通用系统可以与程序一起使用，或可证明构造更专用的设备来执行所描述的操作是方便的。各种这些系统所需的结构将作为权利要求中的元素出现。此外，本发明的实施例没有参考任何特定的编程语言来描述。应理解，可以使用多种编程语言来实施本文描述的本发明的教导。

虽然在附图中已经描述和示出了本发明的某些示例性实施例，但是应理解，这类实施例仅用于说明而非限制宽泛的发明，并且本发明的实施例不限于所示和所描述的具体构造和布置，因为本领域普通技术人员可进行各种其他修改。上述技术的实施例的详细说明并非旨在穷举或将技术限制为上述公开的精确形式。尽管以上出于说明目的描述了该技术的具体实施例和示例，但是如相关领域的技术人员将认识到的，在该技术的范围内各种等同修改是可能的。例如，虽然步骤以给定的顺序呈现，但是替代实施例可按不同的顺序执行步骤。此外，本文描述的各种实施例也可以被组合以提供另外的实施例。

根据前述内容，应理解，本文已经出于说明目的描述了本技术的特定实施例，但未示出或详细描述众所周知的结构和功能，以免不必要地模糊本技术的实施例的描述。在通过引用并入本文的任何材料与本公开相冲突的程度上，以本公开为准。在上下文准许的情况下，单数或复数术语也可分别包括复数或单数术语。此外，除非词语“或”被明确地限制为仅指两个或更多个项目的列表中排除其他项目的单个项目，否则在这种列表中使用“或”应被解释为包括(a)列表中的任何单个项目，(b)列表中的所有项目，或(c)列表中项目的任何组合。如本文所用，如在“A和/或B”中短语“和/或”是指单独的A、单独的B以及A和B两者。在上下文准许的情况下，单数或复数术语也可分别包括复数或单数术语。此外，术语“包含”、“包括”、“具有”和“带有”通篇用于意指包括至少所叙述的(一个或多个)特征，从而不排除任何更多数目的相同特征和/或附加类型的其他特征。

此外，本文所用术语“基本上”是指动作、特征、属性、状态、结构、项目或结果的完整或接近完整的范围或程度。例如，“基本上”封闭的对象意指该对象完全封闭或接近完全封闭。在一些情况下，偏离绝对完整性的确切允许程度可取决于具体的上下文。然而，一般而言，接近完成将具有相同的总体结果，就好像获得了绝对和完全的完成。当以否定含义使用时，“基本上”的使用同样适用于指完全或接近完全没有动作、特征、属性、状态、结构、项目或结果。

根据前述内容，还应理解，在不偏离技术的情况下，可进行各种修改。例如，该技术的各种部件可以被另外划分为子部件，或该技术的各种部件和功能可以被组合和/或集成。此外，尽管已经在这些实施例的上下文中描述了与本技术的某些实施例相关联的优势，但是其他实施例也可展示这类优势，并且不是所有实施例均必须展示这类优势才能落入本技术的范围内。因此，本公开和相关技术可涵盖本文中没有明确示出或描述的其他实施例。