动态组织影像更新

背景技术

介入医学流程是对患者身体的侵入性流程。手术是介入医学流程的一个示例，是针对许多疾病的处置选择，包括一些形式的癌症。在癌症手术中，包括癌性组织(肿瘤)的器官通常柔软、柔性且易于操纵。包括癌性组织的器官的术前影像用于规划癌症手术中癌性组织的手术切除(移除)。例如，医学临床医师，例如外科医师，可以在术前影像中识别器官上癌症组织的位置，并基于术前影像在心中规划到癌性组织的路径。在手术期间，临床医师通过操作解剖结构，例如推动器官、拉动器官、切割器官、烧灼器官和解剖器官，开始沿着计划的路径到达癌性组织。当包括癌性组织的器官非常柔软时，这些操作会导致器官变形，因此与器官的术前影像相比，器官的解剖结构会有所不同。

此外，当身体被切开一个洞时，由于压力变化，大脑和肺等一些器官会急剧偏移或改变形状。当头骨上出现一个洞时，就会发生脑偏移。在肺部手术中，当胸腔中出现一个洞时，肺会塌陷。因此，包括癌性组织的三维(3D)解剖结构可能会由于压力差或解剖结构的操作而发生变化。

包括癌性组织在内的3D解剖结构的变化可能会让临床医师感到困惑，并且在实践中，临床医师可能被迫重新调整他们相对于术前影像和初始手术计划的视角。为了重新定位，临床医师可能必须移动、拉伸、翻转和旋转解剖结构以识别已知的标志，与术前影像相比，这些额外的操作可能会进一步改变解剖结构，并且因此有时会增加整体方向迷失。本文所述的动态组织影像更新解决了这些挑战。

发明内容

根据本公开的一个方面，一种用于在介入医学流程期间动态更新组织的影像的控制器包括存储指令的存储器和运行所述指令的处理器。当由处理器运行时，所述指令使所述控制器实施一过程，所述过程包括在第一模态中获得组织的术前影像，并且将所述第一模态中的所述组织的所述术前影像与附着以所述组织的传感器的集合配准以用于介入医学流程。当处理器运行指令时实施的过程还包括：从传感器的所述集合接收针对传感器的所述集合的位置的电子信号的集合，并且针对电子信号的所述集合中的每个集合计算传感器的所述集合的位置的几何配置。当处理器运行指令时实施的过程还包括：基于来自传感器的所述集合的电子信号的集合之间的传感器的所述集合的位置的所述几何配置的变化业计算传感器的所述集合的移动；并且基于传感器的所述集合的所述移动来将所述术前影像更新为经更新的影像以反映所述组织的变化。

根据本公开的另一方面，一种被配置为在介入医学流程期间动态更新组织的影像的装置包括存储器，所述存储器存储指令和在第一模态中获得的所述组织的术前影像。所述装置还包括处理器，所述处理器运行所述指令以将所述第一模态中的所述组织的所述术前影像与附着于所述组织的传感器的集合配准以用于所述介入医学流程。所述装置还包括输入接口，经由所述输入接口从传感器的所述集合接收针对传感器的所述集合的位置的电子信号的集合。所述处理器被配置为计算针对电子信号的集合中的每个集合的传感器的集合的位置的几何配置，并基于来自传感器的集合的电子信号的集合之间的传感器的集合的位置的几何配置的变化来计算传感器的所述集合的移动。所述装置基于传感器的所述集合的所述移动将所述术前影像更新为反映所述组织中的变化的经更新的影像，并且控制显示器显示来自传感器的所述集合的电子信号的每个集合的经更新的影像。

根据本公开的又一方面，一种用于在介入医学流程期间动态更新组织的影像的系统包括传感器和控制器。传感器被附着到组织，并且包括为传感器供电的电源、感应和处理所述传感器的所述移动的惯性电子部件、以及发送指示所述传感器的移动的电子信号的发射器。所述控制器包括存储指令的存储器和运行指令的处理器。当由处理器运行时，控制器实施一过程，所述过程包括在第一模态中获得组织的术前影像并且将在第一模态中的组织的术前影像与传感器配准。当所述处理器所述运行指令时实现的过程还包括从所述传感器接收用于针对由传感器感测到的运动的电子信号并且基于所述电子信号计算所述传感器的几何配置。当处理器运行指令时实施的过程还包括更新所述术前影像以基于所述几何配置来反映组织的变化。

附图说明

当结合附图阅读时，可以根据以下详细描述最好地理解示例实施例。需要强调的是，各种特征不一定按比例绘制。事实上，为了讨论的清楚，尺寸可以任意增加或减少。在适用和现实的地方，相同的附图标记指代相同的元件。

图1A是根据代表性实施例的用于动态组织影像更新的系统的简化示意框图。

图1B图示了根据代表性实施例的用于动态组织影像更新的控制器。

图1C图示了根据代表性实施例的在动态组织影像更新中的针对传感器的操作进程。

图1D图示了根据代表性实施例的针对图1C中传感器的操作进程的动态组织影像更新的方法。

图2A图示了根据代表性实施例的用于动态组织影像更新的另一种方法。

图2B图示了根据代表性实施例针对图2A中的动态组织影像更新方法的传感器移动。

图3图示了根据代表性实施例的用于动态组织影像更新的传感器。

图4图示了根据代表性实施例的用于动态组织影像更新的另一方法。

图5图示了根据代表性实施例的在动态组织影像更新中的针对传感器的另一操作进程。

图6图示了根据代表性实施例的在动态组织影像更新中的组织上的传感器的布置。

图7图示了根据代表性实施例的用于动态组织影像更新的另一方法。

图8图示了根据代表性实施例的动态组织影像更新中的传感器放置。

图9图示了根据代表性实施例的在动态组织影像更新中的针对传感器的另一操作进程。

图10图示了根据代表性实施例的用于在动态组织影像更新中监测传感器的装置的用户接口。

图11图示了根据另一个代表性实施例的通用计算机系统，在其上可以实施用于动态组织影像更新的方法。

具体实施方式

在下文的详细说明中，出于解释的目的，并且并非限制，阐述了公开具体细节的例示性实施例，以便提供对根据本发明的教导的实施例的透彻的理解。可以省去已知的系统、设备、材料、操作方法和制造方法的描述，以避免遮蔽对代表性实施例的描述。尽管如此，在本领域普通技术人员的能力范围内的系统、设备、材料和方法是在本教导的范围内的，并且可以根据代表性实施例来使用。本文所使用的术语仅出于描述特定实施例的目的，而并不旨在进行限制。所定义的术语是在本教导的技术领域中通常理解和接受的定义术语的科学技术含义之外的含义。

应当理解，虽然在本文中可以使用术语第一、第二、第三等来描述各种元件或部件，但是这些元件或部件不应受到这些术语的限制。这些术语仅用于区分一个元件或部件与另一元件或部件。因此，在不脱离本公开的教导的情况下，下面讨论的第一元件或部件也可以被称为第二元件或部件。

如说明书和权利要求书中所使用的术语“一”、“一个”和“所述”的单数形式旨在包括单数形式和复数形式两者，除非上下文另有明确规定。此外，术语“包括”和/或“包括有：”和/或类似术语在本说明书中使用时，指定了所述特征、元素和/或部件的存在，但不排除一个或多个其他特征、元素、部件和/或它们的组的存在或添加。如本文所使用的术语“和/或”包括相关联的所列项目中的一个或多个项目的任何组合和所有组合。

除非另有说明，否则当说元件或部件被“连接到”、“耦合到”或“邻近”另一元件或部件时，将理解的是，所述元件或部件能够被直接连接或耦合到另一元件或部件，或可以存在中间元件或部件。也就是说，这些和类似术语包括可以采用一个或多个中间元件或部件来连接两个元件或部件的情况。然而，当元件或部件被称为“直接连接”到另一元件或部件时，这仅包括两个元件或部件彼此连接而没有任何中间或中间元件或部件的情况。

因此，本公开内容通过其各个方面、实施例和/或特定特征或子部件中的一个或多个，旨在带来如下具体指出的优点中的一个或多个优点。为了解释而非限制的目的，阐述了公开具体细节的示例实施例，以便提供对根据本教导的实施例的透彻理解。然而，与本文中公开的具体细节背离的与本公开内容一致的其他实施例仍在权利要求的范围内。

如本文中所述，可以跟踪由于例如压力差或对组织的操纵而引起的组织的变形，并且该跟踪可以用于更新组织的术前影像以便与组织的手术状态对齐。可以使用被配置为提供与传感器的位置和/或移动有关的数据以及组织的对应位置的传感器来跟踪组织的变形。对传感器的位置和/或移动的跟踪可用于将组织的术前影像变形为组织的经更新的影像。临床医师可以使用组织的经更新的影像在介入医学流程期间更好地可视化解剖结构。通过经更新的影像看到的解剖结构与实际手术状态更匹配，可能导致改善的处置。

图1A是根据代表性实施例的用于动态组织影像更新的系统100的简化示意框图。

如图1A中所示，系统100包括介入影像源110、计算机120、显示器130、第一传感器195、第二传感器196、第三传感器197、第四传感器198和第五传感器199。系统100可以包括本文中描述的动态组织影像更新系统的一些或所有部件。系统100可以实现下文结合图1C、1D、2A、4和7描述的代表性实施例的方法和过程的一些或所有方面。

介入影像源110可以是诸如胸腔镜的内窥镜，例如，在形状上细长并且在胸腔(其包括心脏)内使用以检查、活检和/或切除(去除)患病组织。在不脱离本教导的范围的情况下，可以并入其他类型的内窥镜。介入影像源110还可以是CT系统、CBCT系统、X射线系统或内窥镜的另一替代(例如胸腔镜)。介入影像源110可用于胸膜腔(其包括肺)和胸腔内的视频辅助胸外科手术(VATS)。例如，介入影像源110经由有线连接和/或经由诸如

计算机120至少包括控制器122，但可以包括诸如图11的计算机系统1100中的电子设备的任何或所有元件，如下面所解释。例如，计算机120可以包括端口或其他类型的通信接口以与介入影像源110和显示器130接口连接。控制器122至少包括存储软件指令的存储器和运行软件指令以直接或间接实施本文描述的各种过程的一些或所有方面的处理器。计算机120可以包括本文中描述的动态组织影像更新计算机的一些或所有部件。计算机120可以实现下文结合图1C、1D、2A、4和7描述的代表性实施例的方法和过程的一些或所有方面。

计算机120可以被配置为使用诸如

控制器122可以包括存储软件指令的存储器和运行指令的处理器的组合。控制器122可以被实现为具有如图1中的存储器和处理器的独立部件，如以下在图1B中所描述，在计算机120或系统100之外。另外，控制器122可以在其他设备和系统中或与其他设备和系统一起实施，包括在智能监视器中或与智能监视器一起，或者在诸如用于医学成像的系统(包括MRI系统或X射线系统)中或与专用医学系统一起实施。控制器122可以通过运行软件来实现以下结合图1C、1D、2A、4和7描述的代表性实施例的方法和过程的一些或所有方面。可以由计算机120的控制器122基于来自包括第一传感器195、第二传感器196、第三传感器197、第四传感器198和第五传感器199的五个传感器的数据来执行对术前影像的更新。

例如，控制器122可以通过插入计算机120的记忆棒或驱动器或通过计算机120中或计算机120上的互联网连接获得组织的术前影像。控制器122可通过

显示器130可以是显示内窥镜图像或源自介入影像源110和/或存在于介入医学流程发生的环境中的任何其他成像设备的其他介入影像的视频显示器。显示器130可以是显示彩色或黑白视频的监视器或电视机。显示器130可以是用于显示内窥镜图像的专用界面，或者是另一类型的电子界面，其通过一系列更新来显示诸如从手术前状态的组织的内窥镜图像的视频。显示器130可以包括直接从操作者接受输入的触摸屏功能。显示器130还显示术前影像和基于术前影像的经更新的影像，例如通过在一区块中将术前影像叠加在的内窥镜图像上。替代地，显示器130可并排显示内窥镜图像和术前影像/经更新的影像。在另一个实施例中，显示器130包括连接到计算机120的两个或更多个单独的物理显示器，并且内窥镜图像和术前影像/经更新的影像显示在连接到计算机120并由控制器122控制的单独的物理显示器上。

第一传感器195、第二传感器196、第三传感器197、第四传感器198和第五传感器199在物理和操作特性方面可以基本相同。第一传感器195至第五传感器199中的每个都可以设置有要在每次发送传感器数据时发送的唯一标识。第一传感器195至第五传感器199还可以各自包括陀螺仪、加速度计、罗盘和/或可用于在共同的三维坐标系中定位传感器的位置的任何其他部件。第一传感器195至第五传感器199还可以各自包括微处理器，所述微处理器运行指令以基于来自陀螺仪、加速度计、罗盘和/或其他部件的读数生成传感器数据。表示第一传感器195、第二传感器196、第三传感器197、第四传感器198和第五传感器199的传感器的实施例在图3中示出并且在下面描述。

图1B图示了根据代表性实施例的用于动态组织影像更新的控制器。

控制器122包括存储器12220、处理器12210和连接存储器12220和处理器12210的总线12208。控制器122可以包括用于实现以下结合图1C、1D、2A、4和7描述的代表性实施例的方法和过程的一些或所有方面的部件。控制器122在图1B中被示为独立设备，在控制器122不一定是图1A中的计算机120中的部件或连接到图1A中的计算机120的范围内。例如，控制器122可以被提供为芯片组，例如由片上系统(SoC)提供。然而，控制器122可以替代地连接到计算机120作为外围部件，例如插入计算机120上的端口的适配器。控制器122也可以在其他设备中实现或直接连接到其他设备，例如图1A中的显示器130、膝上型计算机、台式计算机、智能手机、平板计算机或在本文描述的介入医学流程期间存在的医学设备。

处理器12210由以下对图11的计算机系统1100中的处理器的描述来充分解释。处理器12210可以运行软件指令以实现下文结合图1C、1D、2A、4和7描述的代表性实施例的方法和过程的一些或所有方面。

存储器12220由以下对图11的计算机系统1100中的存储器的描述来充分解释。存储器12220存储在第一模态中获得的组织的指令和术前影像。存储器12220存储由处理器12210运行以实现本文描述的方法和过程的一些或所有方面的软件指令。

存储器12220还可以存储经受动态组织影像更新的组织的术前影像。组织的术前影像可以在第一模态中获得，例如通过MRI、CT、CBCT或X射线图像。组织的术中影像可以通过第二模态获得，例如通过图1A中的介入影像源110。总线12208连接处理器12210和存储器12220。

控制器122还可以包括一个或多个接口(未示出)，例如反馈接口以将数据发送回临床医师。额外地或替代地，图1A中的计算机120的另一个元件，图1A中的显示器130、或连接到控制器122的另一装置可以包括一个或多个接口(未示出)，例如反馈接口，以将数据发送回临床医师。可以经由控制器122提供给临床医师的反馈的示例是触觉反馈，例如警告临床医师组织的移动已经超过预定阈值的振动或音调。针对移动的阈值可以是平移的和/或旋转的。超过移动的阈值可能触发对临床医师的警告。

图1C图示了根据代表性实施例的在动态组织影像更新中的针对传感器的操作进程。

图1C中传感器的操作进程可以代表惯性传感器如何在临床工作流程中用于动态组织影像更新。在图1C中，所述器官是肺，但是如本文所述的动态组织影像更新不限于肺作为应用。

如图1C中所示，在S110，将第一传感器195至第五传感器199放置在作为器官的肺的软组织上。在各种实施例中，可以使用多于或少于五个传感器，而不背离本教导的范围。五个传感器用于跟踪器官组织的变形。这五个传感器可以是小型惯性传感器，每个都具有集成的陀螺仪和/或加速度计。五个传感器在感兴趣区域周围的位置处附着或以其他方式附接到器官的软组织。

在S120，五个传感器被配准到术前影像。配准涉及将五个传感器的三维坐标系与术前影像的不同三维坐标系对齐，以提供共同的三维坐标系，例如通过共享一个共同的原点和一组轴。配准将导致五个传感器的当前位置在术前影像中器官内或器官上的相应位置对齐。术前影像可以是例如光学图像、磁共振图像、计算机断层扫描(CT)图像或X射线图像。在S110处放置五个传感器之前或之后，可能已经立即捕获了术前影像。

在S130，五个传感器开始流传输数据。五个传感器均单独发射信号，所述信号共同地是电子信号的集合，包括五个传感器的位置的位置矢量。五个传感器迭代地发出电子信号的集合，反映每个集合之间五个传感器的移动。位置向量可以各自包括五个传感器的公共三维坐标系中的三个坐标和在S120配准之后的术前影像。

S130处的流传输可以通过

在S130处由每个传感器流传输的数据可以包括传感器的位置的位置向量，如上所述，以及传感器的标识，例如传感器唯一的标识号。例如，第一传感器195至第五传感器199中的每个可以流传输位置矢量和标识号。公共三维坐标系中的位置矢量的坐标可以基于来自每个传感器的陀螺仪、加速度计、罗盘和/或一个或多个其他部件的读数。来自五个传感器中的每个传感器的位置矢量和任何其他数据在S130通过流传输实时发送。

在S140，更新术前影像以反映器官组织的当前状态。S140处的更新基于来自五个传感器的数据并且反映了可以从来自五个传感器的数据中的位置矢量识别的传感器的移动。可以迭代地执行S140处的更新以将术前影像变形为经更新的影像的渐进系列。如本文所用的术语，经更新的影像可以指代从原始术前影像开始的任何更新的迭代。在S140处执行的每次更新都可能导致经更新的影像的新迭代。

在S150，从S130流传输的数据中获得五个传感器的参考位置。由于五个传感器在S120在共同的三维坐标系中被配准到术前影像，因此在与在S140处更新的经更新的影像相同的坐标空间中获得S150处的参考位置。

在S150获得参考位置后，过程返回S140以再次迭代更新术前影像。也就是说，在S150获得的参考位置用于S140的下一次迭代以进一步更新术前影像。即使在执行S140和S150时，这五个传感器也可以在S130连续地流传输数据。S140和S150的过程可以循环执行，包括更新术前影像以成为经更新的影像，然后再次新获得五个传感器的参考位置以用于术前影像的下一次更新。如上所述，在S130的流传输可以在S140和S150的过程最初并且随后在循环中执行的整个时间执行。每次在S150处基于在S130处由第一传感器195到第五传感器199流传输的新接收的数据而新获得第一传感器195到第五传感器199的位置时，最近更新的影像的术前影像可以在S140新更新。相应地，当器官的组织移动时，可以实时获得每个传感器对应的位置向量，并且可以实时更新术前影像。

图1D是图示根据代表性实施例的针对图1C中传感器的操作进程的动态组织影像更新的方法的流程图。

图1D的方法中的步骤对应于图1C的针对传感器的操作进程的步骤，如附图标记所指示。在S110，传感器被放置在器官的软组织上。在S120，传感器被配准到器官的术前影像，例如来自计算机断层扫描(CT)系统或来自X射线系统的术前影像。在S130，从传感器流传输传感器数据。即使在循环中执行后续步骤S140和S150时，传感器数据也可以在S130连续地流传输。在S140，术前影像被更新为经更新的影像以反映组织的当前状态。在S150，获得传感器的参考位置。在S150获得的参考位置位于针对传感器和基于S120配准的术前影像的共同三维坐标系中。在S150之后，图1D的方法可以在传感器数据在S130连续流传输时在S140和S150之间的循环中执行。在循环的每次迭代中，在S140更新术前影像的先前迭代的结果在S150被指示为参考位置，并且基于来自传感器的集合的电子信号流的一下集合再次被更新。

如在图1C的针对传感器的操作进程中所示并且参照图1D的方法所解释，可通过基于与器官的术前影像配准的传感器的移动更新器官的术前影像来纠正术前影像与器官组织的当前状态之间的不匹配。在S130流传输的来自传感器的位置矢量可用于在3D空间中创建传感器的实时模型，所述模型继而可以用于在S140将术前影像变形为经更新的影像。传感器位置几何的实时建模使得术前影像的更新能够反映器官的组织的当前状态，从而消除与器官的组织的术前影像当前状态之间的不匹配。下面解释可如何执行变形的示例。

图2A图示了根据代表性实施例的用于动态组织影像更新的另一种方法。

图2A的方法通过确定每个传感器(n)在三个维度(x、y、z)中的初始位置而开始于S201。S201的确定可以由每个传感器(n)(例如，第一传感器195到第五传感器199)执行，和/或可以由处理来自每个传感器(n)的传感器信息的处理器执行。在S202，相对于每个传感器(n)的三个轴中的每个轴确定初始取向

在S203，获得图像数据，例如通过通过诸如有线或无线连接的通信连接接收图像数据。在S203获得的图像数据可以是包括在其处放置传感器的软组织的术前影像数据。在S203获得的图像数据可以是包括器官并且可以通过CT成像获得的解剖结构。S203可以在传感器放置在器官处或器官上之前执行，因此在S201和S202之前。S203也可以在传感器已经被放置在器官处或器官上的情况下执行，因此在S201和S202之后。

在S205，针对每个传感器(n)的初始位置和初始取向的数据与在S203获得的图像数据一起被存储。传感器数据和图像数据可以一起存储在诸如图1B的存储器12220的存储器中，用于由诸如图1B的处理器12210的处理器处理。

在S210，针对每个传感器计算反映先前传感器数据和当前传感器数据之间的位置和/或取向的变化的变换向量。变换向量可以包括每个传感器的所有三个维度(x、y、z)和所有三个方向

在S215，图2A的方法包括定义传感器位置和来自术前影像或紧接的前面的经更新的影像的图像位置之间的分布图。分布图将在传感器的公共三维坐标系和影像的当前迭代中映射传感器位置。第一分布图将显示相对于术前影像的初始传感器位置，并且相继的分布图将显示相对于经更新的影像的当前传感器位置。分布图还可以显示每个传感器(n)从每个传感器(n)的先前位置到传感器(n)的当前位置相对于术前影像或紧接的前面的经更新的影像的移动。

在S220，变换向量被应用到来自术前影像或紧接的前面的经更新的影像的图像数据。变换向量的应用涉及基于传感器从先前传感器位置到当前传感器位置的移动来调整术前影像或紧接的前面的经更新的影像。可以针对传感器的移动的相对相应性来将术前影像或紧接的前面的经更新的影像调整离开先前传感器位置的调整。然而，术前影像或紧接的前面的经更新的影像的移动可能不仅仅涉及移动术前影像或紧接的前面的经更新的影像的单个像素。例如，变换向量可以适用于术前影像或紧接的前面的经更新的影像中的整个像素场。像素场可以均匀移动，例如当仅使用一个传感器(n)来跟踪移动时。场内的像素也可以不均匀地移动，例如基于最接近的两个或三个或四个传感器(n)中的每个传感器在每个方向(x、y、z)和相对于三个轴最接近的两个或三个或四个传感器(n)的取向(Θ,φ,ψ)上的移动的平均。场内的像素也可以不均匀地移动，例如基于最接近的两个或三个或四个传感器(n)中的每个传感器在每个方向(x、y、z)和相对于三个轴最接近的两个或三个或四个传感器(n)的取向(Θ,φ,ψ)上的移动的加权平均。例如，在确定像素的移动时，与其他传感器的移动相比，最接近传感器的移动可能被不成比例地加权。

如将在基于与传感器的接近度调整图像中的像素位置的上下文中理解的那样，更大数量的传感器提供由模型产生的经更新的影像的更大空间分辨率。因此，所使用的传感器数量可能反映了(i)针对较少传感器的较低空间分辨率、精度和较简单处理与(ii)实施更多传感器的成本和复杂性之间的权衡。例如，可以优化传感器的数量以提供关于整体变形的高水平的确定性，而不需要太多的计算能力并且不会覆盖器官的表面从而被不必要地遮蔽。针对动态组织影像更新的处理要求包括识别传感器的集合的运动，以及更复杂的图像处理以针对指示传感器的集合移动的电子信号的每个集合迭代地变形术前影像和经更新的影像。

在S225，生成用于经更新的影像的新图像数据，其反映根据传感器数据确定的传感器的移动。经更新的影像可以基于在S220的变换向量的应用并且可以包括在S220的基于在术前影像或紧接的前面的经更新的影像中的变换向量移动的针对每个像素的像素值。对于术前影像或紧接的前面的经更新的影像中的大多数像素，在S225生成的新的图像数据可以是根据传感器的移动确定的组织移动的影响的估计，例如基于来自最近的传感器读数的平均或加权平均。

在S230，显示由S225产生的变形图像数据。来自S230的变形图像数据也在S205被存储。例如，经变形的图像数据可以与图1A中的显示器130上的内窥镜视频一起显示或叠加在内窥镜视频上显示。

在S240，每个传感器(n)发出新信号。新信号包括每个传感器的位置和取向的新信息。在S241，从在S240发射的新信号获得每个传感器(n)在每个方向(x，y，z)上的位置。在S242，基于在S240发射的新信号获得每个传感器(n)相对于三个轴的取向

在S250，生成当前传感器数据。在S250生成的当前传感器数据在S205存储并且被反馈用于在S210计算变换向量。S250可以包括与S201和S202中相同的确定，但用于传感器数据的后续读取。因此，S250可以包括确定每个传感器(n)在三个维度(x、y、z)中的位置，以及确定每个传感器(n)相对于三个轴中的每个轴的取向

图2B图示了根据代表性实施例针对图2A中的动态组织影像更新方法的传感器移动。

图2B中标注为“1”的模型对应于图2A中的S250(或S201)。该模型对应于基于当前传感器位置和取向生成的当前传感器数据。

在图2B中标记为“2”的模型对应于图2A中的S210。该模型对应于在先前传感器数据和在S250生成的当前传感器数据之间计算的变换向量。如该模型所示，每个传感器已从先前位置移动到当前位置。在S220，传感器的移动可用于对术前影像或经更新的影像的最后一次迭代进行变形。

在图2B中标记为“3”的模型对应于图2A中的S215。该模型对应于在当前传感器位置与术前影像或经更新的影像的最后一次迭代的图像位置之间定义的分布图。换言之，所述模型示出了与术前影像的或更新的经影像最后一次迭代的影像相比的传感器的经更新的位置，因为术前影像或更新的影像的最后一次迭代尚未基于传感器的最新移动进行变形。

在图2B中标记为“4”的模型对应于图2A中的S220。该模型对应于应用于术前影像或经更新的影像的最后迭代的影像的图像数据的变换向量。传感器的变换向量用于从术前影像或经更新的影像的最后一次迭代更新个体像素，例如使用最近的传感器在三个方向中的每个或三个取向中的每个上的移动的平均值或加权平均值。箭头粗略地显示组织的移动的方向。每个像素从最新版本的术前影像或经更新的影像的移动可以通过像素在三个方向(x、y、z)中的每个上与传感器的接近度来加权。因此，像素离任何传感器越近，该传感器的运动就越强烈地反映像素的运动。由于器官组织除了在各个点上移动外，还将作为一个整体移动，因此来自术前影像的更新的每次迭代都将表现为器官组织位置的平滑变化。

本文描述的实施例主要使用肺部手术作为示例用例，但动态组织影像更新同样适用于涉及高度可变形组织的其他流程，例如但不限于肝脏和肾脏手术。此外，本文中的实施例主要描述了传感器在器官表面上的放置，但在一些实施例中，传感器也可以经由内腔通路或经皮针通路被放置在器官内部。例如，内部传感器的使用可以通过支气管内引入肺中，如以下在图7的实施例中所解释。作为另一个示例，内部传感器也可以通过肾脏的血管引入。

器官表面的传感器可能更容易在图像中检测到，而器官内部的传感器可能更好地定位肿瘤、血管和气道，因为传感器靠近这些结构。相反，表面上的传感器可以与表面特征相关联，当表面特征在其他模态(例如MRI、CT、CBCT或X射线)中可检测到时，这可能很有价值，以促进模态之间的配准。肺裂代表了表面传感器的一种可能使用。

图3图示了根据代表性实施例的用于动态组织影像更新的传感器。

如图3中所示，传感器300包括粘合垫310、电池320、发射器330和ASIC 340(专用集成传感器)。传感器300是用于外科手术使用的惯性传感器的示例。传感器300可以是一次性的或可重复使用的。此外，传感器300可以由可以是生物相容的无菌保护外壳(未示出)密封。这种无菌保护外壳可以包围和密封电池320、发射器330、ASIC 340和传感器300中提供的其他部件。

粘合垫310可以是生物相容性粘合剂并且被配置为将传感器300粘合到器官或其他感兴趣区域。粘合垫310可以粘附到无菌保护外壳(未示出)的表面，所述外壳封闭和密封传感器300的其他部件。或者，粘合垫310可以形成无菌保护套的下表面。粘合垫310表示用于将传感器300附接到器官或其他感兴趣区域的机构。可用于将传感器300附接至组织的粘合垫310的替代方案包括用于接收缝线的眼孔或用于接收钉的机构，其图3中的传感器30直接附接到组织。

电池320用作传感器300的电源，例如一次性硬币形电池。电池320向传感器300的一个或多个部件供电，包括发射器330、ASIC 340和其他部件。电池320的替代方案包括用于从外部源接收电力的机构。例如，提供给传感器300的光电二极管可以由外部源供电，例如来自介入影像源110的光。包括光电二极管和诸如电容器的存储装置的电源可以由来自介入影像源110的光供电。例如，来自介入影像源110的光撞击传感器300中的光电二极管可以用于对传感器300中的电容器充电，并且来自电容器的电力可以用于传感器300的其他功能。为传感器300供电的其他方法可以包括将外部能源转换为传感器300的功率，例如从电灼工具中捕获热量或从超声换能器中捕获声波。

发射器330是用于发射传感器300的位置和取向数据的数据发射器。例如，发射器330可以是

ASIC 340可以包括电路，例如实现在电路板上的陀螺仪电路以及任何其他位置和旋转功能所需的任何其他电路元件。ASIC 340收集用于确定传感器300的绝对位置和/或相对位置的数据。ASIC340可以是组合的陀螺仪和电子板。可以在传感器300中使用以确定传感器300的绝对位置和/或相对位置的附加部件包括加速度计和罗盘，它们可以集成在ASIC340的电子板上。

传感器300的一个实例可用于动态组织影像更新的一些实施例中。在其他实施例中，可以使用传感器300的多个实例。在配置中一起提供的传感器300的多个实例可以是自协调的，例如通过向传感器300的多个实例中的每个提供的逻辑器件来协调配置的公共坐标系的原点和轴。传感器300的多个实例的配置的公共坐标系可以用于与术前影像的配准。提供给传感器300的多个实例中的每个的逻辑器件可以包括微处理器(未示出)和存储器(未示出)。在其他实施例中，在配置中一起提供的传感器300的多个实例可以在外部进行协调，例如仅通过图1B的控制器122或由系统100中的图1A的控制器122。

图4图示了根据代表性实施例的用于动态组织影像更新的另一方法。

图4的方法通过在第一模态中获得组织的术前影像而开始于S405。可以在执行动态组织影像更新的医学干预之前立即获得组织的术前影像，或者可以在医学干预之前很好地执行组织的术前影像。例如，术前影像可以是CT影像，使得第一模态是CT成像。诸如存储器12220的存储器可以存储在第一模态中获得的组织的术前影像以及诸如要由处理器12210运行的软件指令的指令。替代地，在第一模态中获得的组织的术前影像可以被存储在第一存储器中并且软件指令可以被存储在第二存储器中。

在S410，基于分析组织的影像来优化传感器的集合中的至少一个传感器的放置。传感器的集合包括一个或多个传感器，用于本文中描述的动态组织影像更新的整个实例化。当只有一个传感器时，放置传感器的位置可以基于将放置单个传感器的医学干预的条件进行优化。例如，当仅要去除少量组织时，可以将单个传感器放置在要去除的组织旁边。替代地，当存在多个传感器时，可以在S410的配置中优化多个传感器的放置。多个传感器的使用改进了经更新的影像的细化，同时提出了更高的处理要求。例如，可以将多个传感器放置在要从器官移除的大块组织的周围。

S410处的优化可以基于应用于医学干预中传感器放置的先前实例的机器学习。例如，机器学习可能已应用于中央服务，所述服务从地理上不同的位置接收图像和细节，在这些位置执行传感器放置的先前实例化。机器学习也可能已经应用在云中，例如在数据中心。可以基于机器学习的结果在S410应用优化，例如通过使用专门为医学干预的情况生成或检索的算法，其中在S410将使用传感器的优化放置。在S410的优化算法可以包括基于医学干预的类型、参与医学干预的医务人员、经受医学干预的患者的特征、参与医学干预的组织的先前医学图像的定制规则，和/或其他类型的细节，这些细节可能导致改变被认为的最佳传感器的位置。

在S415，图4的方法包括针对传感器的集合中的每个传感器记录来自三个轴中的每个轴的位置信息。位置信息可以反映相同的公共三维坐标系。例如，传感器的集合可以是自协调的以设置共同原点和三个轴。传感器的集合中的一个或多个传感器可以被装备以测量来自其他传感器的信号的信号强度，以便确定其他传感器在每个方向上的相对距离。替代地，传感器的所述集合可以例如在外部协调以设置共同的原点和三个轴，例如通过图1B的控制器122单独地或在图1A的系统100中。例如，可以例如通过连接到控制器122的天线从外部接收信号强度，并且可以使用每个方向上的信号分量来确定传感器的集合中的每个传感器在每个方向上的相对距离。

在传感器的集合是自协调的实施例中，传感器的集合中的一个可以被设置为公共三维坐标系的公共原点。当这组传感器是自协调的时，传感器可以被提供有逻辑器件，例如存储软件指令的存储器和运行指令的处理器(例如，微处理器)。在一些实施例中，传感器本身可以包含用于位置跟踪的电路，例如通过为传感器提供坐标系的电磁跟踪。在这种情况下，传感器的所述集合可以在介入流程之前或者作为介入流程期间的配准步骤彼此对齐。在一个实施例中，传感器的所述集合可以以预定图案放置，所述预定图案相对于彼此保持特定的预定取向。例如，第一传感器可能总是放置在左上叶，第二传感器可能总是放置在肺的左下叶，并且第三传感器可能放置在不会经受移动的区域。在该实施例中，传感器的标准放置模式可以确保参考图像中已知位置的固定传感器具有统一起始位置。当自协调时，每个传感器可以知道它在公共三维坐标系中的位置。

当例如通过控制器122从外部进行协调时，传感器不必知道它们在公共三维坐标系中的位置，而是可以简单地向控制器122报告位置的平移和旋转变化。当例如通过控制器122从外部进行协调时，传感器的集合中的每个传感器可以使用其初始位置作为其自己的三维坐标系中的原点，并且控制器122可以调整从传感器接收到的传感器数据的每个集合，以将每个传感器的原始位置从针对传感器设置的公共3维坐标系的原点偏移。使用图1C的操作进程作为示例，图1C中的五个传感器中的每个传感器都分别具有从相同类型的读数导出的其自己的坐标系，例如基于加速度计的Y方向的重力读数，指南针的真北作为Z方向的读数，以及垂直于平面的X方向的导出包括Y方向和Z方向的平面。因此，记录的位置信息可以显示传感器的集合中每个传感器的可比较的初始坐标。来自传感器的集合的传感器数据因此可以被调整到共同的三维坐标系，例如通过来自图1B的控制器122单独地或在图1的系统100中。

在S420，图4的方法包括基于包括传感器的集合的相机图像计算传感器的集合中的每个传感器的初始位置并且将相机图像配准到传感器的所述集合。每个传感器的初始位置可以补充或替代在S415处位置信息的记录。提供相机图像的相机可以是具有二维(2D)视图的传统相机或具有三维视图的立体相机。在S420计算的每个传感器的初始位置可以在从摄像机的视野定义的空间中被设置为传感器的公共三维坐标系的原点。当S415和S420相互补充时，可以调整在S415记录的位置信息的公共三维坐标系，以匹配在S420计算的每个传感器的初始位置的公共三维坐标系。结果，在S420计算的每个传感器的初始位置可以是传感器的第二组位置并且可以被计算以便将来自S415的记录的位置信息与在S420从图像计算的位置信息配准。在S420的计算中可以拍摄多于一幅图像，以改进在S415和S420的公共三维坐标系中的配准，或者在相机没有看到传感器的情况下的配准。将相机旋转到另一个位置可以检测传感器的位置。两个二维相机视图可以与反投影方法一起使用，以识别二维图像中传感器的集合中的每个传感器的三维位置。当作为S415的替代方式执行时，可以将在S420基于相机图像计算的初始位置的公共三维坐标系强加为传感器的集合上的公共三维坐标系。当传感器被告知它们在公共三维坐标系中的坐标和三个轴时，来自传感器的传感器数据可以是公共三维坐标系中的准确位置和旋转信息。替代地，传感器可能不知道针对在S420计算的初始位置的公共三维坐标系中的它们的坐标和/或三个轴，在这种情况下，来自图1B的控制器122单独地或在图1B的系统100中可以将传感器数据中的位置和旋转信息调整到传感器的公共三维坐标系中。

随着组织移动并因此传感器移动，可以使用从每个传感器流传输的惯性数据来调整传感器的坐标。针对S415和S420的公共3维坐标系之间的配准可以在过程期间通过采集新的相机视图来更新。立体相机也可用于改进三维配准。在其他实施例中，电磁感应或罗盘数据可用于在S420计算初始传感器位置。

在S425，图4的方法接下来包括将第一模态中的组织的术前影像与附着到组织的传感器的集合配准以用于介入医学流程。配准可以涉及在/用于S415和S420处生成的公共三维坐标系之一或两者，以及术前影像的坐标系。可以通过将术前影像中的界标与先前经受术前影像的组织内或组织上的传感器放置对齐来执行配准，无论是从S415的逻辑控制还是从S420的相机图像导出。

在S420计算每个传感器的初始位置并将相机图像配准到传感器的集合时，也可以将相机图像配准到术前影像。作为基于S415、S420和S425的配准的另一替代方案，可以通过将传感器放置在组织上然后采集术前影像来执行配准。可以相对于图像中的解剖结构从术前影像中提取传感器的位置和取向。这可以避免如在S420中对器官上传感器的直接摄像机视图的要求。

一旦在S425进行了配准，导致传感器的移动的组织的移动可以在最初在S415和/或S420设置的针对传感器的(一个或多个)公共三维坐标系中被跟踪。随着从每个传感器接收到传感器数据，控制器122可以不断地将来自每个传感器的传感器信息调整到(一个或多个)公共三维坐标系。在S425的配准可以导致在S415和/或S420针对传感器设置的(一个或多个)公共三维坐标系中为术前影像分配初始坐标。

在S430，图4的方法包括将第一模态中的组织的术前影像与第二模态中的组织的图像配准。回到图1C的操作进程的示例，术前影像的坐标系可以在术前影像中部分地或完全地定义，并且一旦在S425配准，就可以将其设置在传感器的集合的公共三维坐标系中。例如，术前影像中的界标可以各自被分配三个方向上的坐标和围绕传感器的集合的公共三维坐标系中的三个轴的旋转。因此，基于在S425的配准，术前影像的坐标系也可以是用于在S420设置的传感器的公共三维坐标系的坐标系。

对于S430，只要解剖特征可以在一种或多种第二模态中检测到，例如通过X射线或内窥镜/胸腔镜，当一个或多个传感器放置在解剖特征附近时，传感器就可以被配准到一种或多种第二模态。来自第二模态的图像可以与在S415和/或S420设置的传感器的公共三维坐标系中的位置进行配准。例如，当支气管内传感器放置在肿瘤附近和至少两个其他气道中时，支气管内位置和其他两个气道可以在分段CT图像中找到，并且可以将分段CT图像配准到常见的三维传感器坐标系。此外，通过预先定义传感器的放置位置，或通过并入过去程序的数据，在S425和S430处的配准可能使用少于三个传感器。

在S435，图4的方法包括从传感器的集合接收针对传感器的集合位置的电子信号的集合。如上所述，电子信号可以包括已经设置在公共三维坐标系中的传感器数据，或者可以例如通过图1B中的控制器122进行调整，以适应公共三维坐标系。

在S440，图4的方法包括针对电子信号的集合中的每个集合计算传感器的集合的位置的几何配置。几何配置可以包括传感器的公共三维坐标系中的各个传感器位置，以及不同传感器位置之间坐标的相对差异。来自传感器的电子信号的集合被输入到控制器122处的算法。控制器122可以连续计算传感器相对于器官的组织的几何配置。

在S440计算的几何配置可以包括一个传感器在公共三维坐标系中的定位，以及每个传感器在公共三维坐标系中随时间的移动。几何配置还可以包括多个传感器中的每个传感器在公共三维坐标系中的定位、多个传感器在公共三维坐标系中的相对定位、以及多个传感器的定位和相对定位随时间的移动。

在S445，图4的方法包括基于传感器的集合的几何配置来生成组织的三维模型。在图4中生成的三维模型可以是传感器的集合在公共三维坐标系中的位置的具有特征对应的初始三维模型。例如，三维模型可能仅限于传感器的几何配置信息，并且可能排除术前影像。

在S450，图4的方法包括通过将第一算法应用于信号的集合中的每个集合，基于来自传感器的集合的电子信号的集合之间的传感器的集合的位置的几何配置的变化来计算传感器的集合的移动。可以在变换向量中报告该运动，所述变换向量包括用于在三个方向中的每个方向上的移动的三组平移数据，以及针对关于每个轴的运动的三组旋转数据。在放置传感器之后，可以在医学干预期间连续计算移动。

在S455，图4的方法包括基于运动中的振荡运动的频率来识别介入医学流程期间的活动。在S455识别的活动可以基于模式识别来识别，例如已知对应于在医学介入期间发生的特定类型的活动的传感器的特定振荡频率。

在S460，图4的方法包括基于来自传感器的集合的电子信号的集合中的每个集合来更新组织的三维模型。在S460更新组织的三维模型以首先显示在S450计算的传感器的移动。经更新的模型可以识别每个传感器在公共三维坐标系中的当前位置，并且可以识别每个传感器的一个或多个先前位置以反映每个传感器随时间的相对移动。

在S465，通过将第二算法应用于术前影像来更新术前影像以基于传感器的集合的移动来反映组织中的变化，从而创建术前影像的经更新的虚拟绘制。在S465更新术前影像以通过将来自术前影像的先前迭代的每个像素移动与传感器的移动相对应的量来对术前影像进行变形。基于与在不同方向上以不同量移动的到不同传感器的接近度，个体像素可以在不同方向上移动不同量。经更新的虚拟绘制中每个像素的移动可以基于最近邻的(一个或多个)传感器的每个方向上的移动的平均或加权平均来计算。

图5图示了根据代表性实施例的在动态组织影像更新中的针对传感器的另一操作进程。

在图5中，五个传感器被放置在肺上。这五个传感器包括第一传感器595、第二传感器596、第三传感器597、第四传感器598和第五传感器599。肺只是可以经受如本文所述的动态组织影像更新的器官或组织的其他块的示例。例如，可以通过粘附、钉合或缝合来放置五个传感器。例如，当通过粘附放置时，五个传感器可以各自附接到软组织，每个传感器底部都具有手术顺应性粘合剂。

在图5中，五个传感器被放置在肿瘤或感兴趣区域周围，所述肿瘤或感兴趣区域从术前成像(例如CT成像)的术前影像中被识别。传感器的确切数量和位置不一定是关键，因为可变形组织模型可以适应基于传感器的数量和位置而变化的输入数据的水平。在图5中，左图显示了塌陷的肺中肿瘤周围的五个传感器，右图显示了临床医师翻转肺时五个传感器的背面。在如本文所述的动态组织影像更新中，当传感器的集合与肺一起翻转时，可以从传感器的模型中检测到肺的翻转。在图5的示例中，第二传感器596和第三传感器597由于放置在左图像中可见但在右图像中被翻转的肺组织上而在右图像中不可见。

图6图示了根据代表性实施例的在动态组织影像更新中的组织上的传感器的布置。

在图6中，五个传感器被放置在器官上。这五个传感器包括第一传感器695、第二传感器696、第三传感器697、第四传感器698和第五传感器699。图6中的五个传感器被附着在器官的外部。图6中五个传感器中每一个的局部坐标系被可视化以供参考。每个传感器可以使用传感器的内部位置作为其局部坐标系的原点。来自五个传感器中每个的所有三个轴的位置信息可以由陀螺仪记录，例如，针对每个个体的传感器，并实时传输回中央接收器，例如在手术室中。

尽管图6中五个传感器中的每个的位置可以随机放置，但也可以通过手动或自动识别最易受到大量运动/变形影响的组织位置来优化每个传感器的确切位置。例如，肺在含有大量胶原蛋白的大气道附近最坚硬，而其在边缘最易变形。因此，在肺的情况下，建议将五个传感器中的一个或多个安装在肺边缘附近。确切的位置可以通过应用于术前影像的算法或手术视图(眼睛或相机)来确定，或者可以是两者的某种组合。

图7图示了根据代表性实施例的用于动态组织影像更新的另一方法。

图7中的方法是适合于例如如图8所示地在支气管内放置惯性标记的工作流程，如以下所解释。工作流程为传感器准备一位置以进行图像引导。

图7中的方法在S710开始于进行术前CT、MR或CBCT扫描。在S720，图7的方法包括对解剖特征的术前影像进行分割。分割是结构的表面的表示，例如解剖特征，例如图6中的器官，并且例如由结构的表面上的三维(3-D)坐标中的点的集合以及通过连接相邻的三点的组定义的三角形平面段组成，使得整个结构被不相交的三角形平面的网格覆盖。

在S730，使用来自S720的解剖结构的分割表示作为到达目标的路径的参考，将传感器引导至支气管内的目标。在S740，传感器被放置在目标位置。在S750，传感器位置被配准到成像数据。如上所述，图7的方法是适合于例如如图8所示地在支气管内放置惯性传感器的工作流程。

图8图示了根据代表性实施例的动态组织影像更新中的传感器放置。

在图8的示例中，传感器895是单个惯性传感器并且可以在手术前或手术期间通过气道支气管内引入到肺中。传感器895可以有利地放置为尽可能靠近肿瘤，或者接近主要气道、血管或其他不同的解剖特征。传感器895的放置允许传感器895相对于目标解剖结构直接定位。

图8中的传感器895的放置过程可以利用针对支气管内导航的现有方法，并且可以包括由支气管镜检查、X射线、CT或电磁(EM)跟踪引导的支气管内导管。传感器895的初始位置可以配准到胸腔镜或其他类型的内窥镜以用于连续跟踪传感器895的位置。传感器895例如可以通过以下方式来附接到解剖结构：将传感器895留在适当位置(从而依赖于组织支撑)、用倒钩锚定传感器895、将传感器895夹到组织和/或使用胶水将传感器895粘附到组织。在图8的示例中，一旦传感器895被放置，则肺组织的术中状态基于诸如来自传感器895的部件(例如加速度计)的取向和运动的读数来解读。

来自跟踪传感器895的数据可以包括传感器895的取向，并且该数据可以用于对肺模型进行变形，例如通过记录在放置传感器895时传感器895相对于重力的取向(作为参考坐标系)。可以保存肺表面对应的初始取向。初始取向也可以从胸腔镜图像视觉测量或从过去的流程近似。因此，可以使用来自跟踪传感器895的数据来跟踪相关组织的取向的变化。来自传感器895的取向测量也可以与其他信息源组合，例如实时视频中的肺或组织跟踪的生物物理模型，以在手术中确定传感器895的位置。

来自跟踪传感器895的数据也可用于确定肺或其他器官何时被翻转。在该示例中，传感器895中的加速度计的方向可用于确定肺是否已经翻转，即，肺组织的哪个表面在胸腔镜视图中是可见的。例如，传感器895的方向可用于确定在胸腔镜视图中肺的前部还是后部是可见的，肺的下部还是上部是可见的，和/或肺的外侧还是内侧是可见的。确定肺定位的能力可用于告知临床医师肺的哪个表面可见，并可进一步用于补充胸腔镜上/针对胸腔镜的图像处理算法。

来自跟踪图8中的传感器895的数据也可以用于确定速度和加速度。由传感器895的加速度计测量的运动曲线可用于找到与各种手术事件对应的运动模式，例如解剖、切口、翻转、拉伸和操纵。例如，0.5Hz左右的振荡运动可能表明正在发生解剖。大约10Hz的较高频率运动可能表明正在发生钉合。这些运动模式可以进一步与其他信息源相组合，例如实时视频或仪器跟踪，以增强对手术事件的解读。

如本文中所述，可以实时使用惯性传感器数据。例如，可以进一步分析加速度计数据以进行惯性跟踪以实时确定位置。加速度计数据可以类似于已经描述的信息类型并且可以被并入各种形式的手术引导中。例如，加速度计数据可用于向临床医师展示基于加速度计测量结果的根据真实肺的变形的肺虚拟模型。取决于传感器895的放置，可以同时叠加肿瘤或其他解剖特征的位置。在另一示例中，加速度计数据可用于向临床医师展示真实肺的视觉(例如，视频)，而同时叠加被跟踪的传感器895和/或相关解剖特征的虚拟表示。在又一个示例中，加速度计数据可用于向临床医师呈现其他形式的信息或统计数据，例如肿瘤已从其初始位置移动的距离，或已检测到的手术事件的类型。记录此信息可用于标记解剖的淋巴结的位置和数量。

在上述加速度计数据的使用示例中，传感器895可以是单个基于加速度计的传感器并且可以用于创建有利于肺手术的引导。单传感器解决方案可能比多传感器方案更易于部署并且更具成本效益。另一方面，多传感器解决方案具有几个优点，包括对可变形组织提供更高保真度的跟踪，或者在使用多个独立传感器时。替代地，已知的固定配置中的多个传感器允许将传感器配准到组织或胸腔镜，而无需明确的用户启动的配准步骤，例如使用基于图像的传感器检测，这可以简化工作流程。

图9图示了根据代表性实施例的在动态组织影像更新中的针对传感器的另一操作进程。

在图9中，术前影像基于从传感器运动中检测到的变形进行变形。一旦传感器被配准和初始化并且传感器的位置被实时传输，传感器的位置和取向就可以作为算法的输入。该算法可以从目标器官的术前CT体积或三维体积开始而工作。这为模型提供了静态参考或起点。然后，来自传感器的输入数据为每个传感器实时提供单独的位置矢量。然后可以使用位置矢量来对术前模型进行变形，从而预测组织在三维空间中的当前状态。这种新模型可以以与传感器传输数据相同的速率进行刷新。在图9中，图像的变形可以基于本文所解释的算法。图9图示了将三个商用传感器附接到体模表面的实验结果。因此，可以基于对传感器的跟踪来对三维模型进行变形。

图10图示了根据代表性实施例的用于在动态组织影像更新中监测传感器的装置的用户接口。

图10图示了诸如图形用户接口(GUI)的接口，其将实时收集的传感器数据呈现为在各种方向上翻转和旋转的体模。接口的三个实例标记为B、C和D，并且每个实例显示三个方向(x、y、z)上的位置读数、读数的时间戳以及相对于三个轴的角位置。传感器的取向可以可视化为平面，其颜色可能不同，例如绿色、蓝色和黄色。然后使用这些方向来对组织的图像进行变形，从术前影像开始并通过经更新的影像的迭代。来自三个传感器中的每个传感器的数据在图10中示出，包括组织模型被翻转后的数据。

在替代实施例中，可以经由界面应用触觉反馈，例如当运动超过预定阈值时。例如，关于组织的翻转或旋转的信息可以经由从控制器122或计算机120的另一元件经由反馈接口提供的触觉反馈提供给临床医师。触觉反馈的一个示例可能是当传感器显示围绕任何一个轴的旋转超过90度时，通过可穿戴设备或手术工具向临床医师发送振动。反馈接口的示例可以是用于数据连接的端口，其中，反馈的触觉方面是基于经由数据连接发送的数据而物理输出的。阈值可以手动或自动调整。其他形式的反馈可能包括作为外部特征或在胸腔镜摄像机视图内可见的光或声音。

图11图示了根据另一个代表性实施例的通用计算机系统，在其上可以实施用于动态组织影像更新的方法。

图11的通用计算机系统针对通信设备或计算机设备的部件完整集合。然而，如本文所述的“控制器”可以用少于图11的部件的集合来实现，例如由存储器和处理器组合而成。计算机系统1100可以包括本文中描述的交互式内窥镜注释系统中的一个或多个部件设备的一些或所有元件，但是任何这样的设备可能不一定包括针对计算机系统1100描述的元件中的一个或多个并且可以包括没有描述其他元件。

计算机系统1100可以包括软件指令的集合，这些指令可以被运行以使计算机系统1100执行本文公开的任何一个或多个方法或基于计算机的功能。计算机系统1100可以作为独立设备操作或者可以例如使用网络1101连接到其他计算机系统或外围设备。在实施例中，计算机系统1100可用于基于经由模数转换器接收到的数字信号来执行逻辑处理，如本文针对实施例所述。

在联网部署中，计算机系统1100可以在服务器-客户端用户网络环境中以服务器或客户端用户计算机的身份运行，或者作为对等(或分布式)网络环境中的对等计算机系统运行。计算机系统1100还可以被实现为或并入到各种设备中，例如固定计算机、移动计算机、个人计算机(PC)、膝上型计算机、平板计算机或能够执行指定该机器要采取的动作的软件指令(顺序的或其他的)的集合的任何其他机器。计算机系统1100可以作为设备或作为特定设备并入，所述特定设备又包括在包括附加设备的集成系统中。在一个实施例中，可以使用提供语音、视频或数据通信的电子设备来实现计算机系统1100。此外，虽然计算机系统1100以单数形式示出，但术语“系统”也应理解为包括单独或共同执行软件指令的一个或多个集合以执行或多个计算机功能的任何系统或子系统的集合。

如图11中所示，计算机系统1100包括处理器1110。用于计算机系统1100的处理器是有形的并且是非瞬态的。如本文所用，术语“非瞬态”不应被解释为状态的永恒特征，而是被解释为将持续一时段的状态的特征。术语“非瞬态”特别地否定了稍纵即逝的特征，例如载波或信号的特征或者在任何时间仅在任何地方瞬态存在的其他形式。处理器205是制品和/或机器部件。用于计算机系统1100的处理器被配置为运行软件指令以执行如本文的各个实施例中描述的功能。用于计算机系统1100的处理器可以是通用处理器或者可以是专用集成电路(ASIC)的一部分。针对计算机系统1100的处理器还可以是微处理器、微计算机、处理器芯片、控制器、微控制器、数字信号处理器(DSP)、状态机或可编程逻辑设备。针对计算机系统1100的处理器也可以是逻辑电路，包括诸如现场可编程门阵列(FPGA)的可编程门阵列(PGA)，或者包括分立门和/或晶体管逻辑的另一种类型的电路。用于计算机系统1100的处理器可以是中央处理单元(CPU)、图形处理单元(GPU)或两者。此外，本文所述的任何处理器可包括多个处理器、并行处理器或两者。多个处理器可以被包括在或耦合到单个设备或多个设备。

在本文中所使用的“处理器”涵盖能够执行程序或机器可运行指令的电子部件。对包括“处理器”的计算设备的引用应当被解读为能够包括超过一个处理器或处理内核。所述处理器例如可以是多核处理器。处理器还可以是指单个计算机系统之内的或者被分布在多个计算机系统之间的处理器的集合。术语计算设备也应被解释为可能指计算设备的集合或网络，每个计算设备均包括一处理器或多个处理器。许多程序具有由多个处理器运行的软件指令，所述多个处理器可以是在相同的计算设备之内或者所述多个处理器甚至可以分布在多个计算设备上。

此外，计算机系统1100可以包括主存储器1120和静态存储器1130，其中计算机系统1100中的存储器可以经由总线1108相互通信。本文中描述的存储器是有形的存储介质，其可以存储数据和可执行软件指令并且在软件指令被存储在其中的时间期间是非瞬态的。如本文所用，术语“非瞬态”不应被解释为状态的永恒特征，而是被解释为将持续一时段的状态的特征。术语“非瞬态”特别地否定了稍纵即逝的特征，例如载波或信号的特征或者在任何时间仅在任何地方瞬态存在的其他形式。本文中描述的存储器是制品和/或机器部件。本文中描述的存储器是计算机可读介质，计算机可以从中读取数据和可运行软件指令。如本文中所描述的存储器206可以是随机存取存储器(RAM)、只读存储器(ROM)、闪存、电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘中的一个或多个磁盘、可移动磁盘、磁带、光盘只读存储器(CD-ROM)、数字通用磁盘(DVD)、软盘、蓝光碟或本领域已知的任何其他形式的存储介质。存储器可以是易失性的或非易失性的、安全的和/或加密的、不安全的和/或未加密的。

存储器是计算机可读存储介质的示例。计算机存储器可以包括处理器可直接访问的任何存储器。计算机存储器的示例包括但不限于RAM存储器、寄存器和寄存器文件。对“计算机存储器”或“存储器”的引用应解释为可能是多个存储器。存储器例如可以是同一计算机系统内的多个存储器。存储器也可以是分布在多个计算机系统或计算设备之间的多个存储器。

如图所示，计算机系统1100还可包括视频显示单元1150，例如液晶显示器(LCD)、有机发光二极管(OLED)、平板显示器、固态显示器或阴极射线管管(CRT)。另外，计算机系统1100可以包括输入设备1160，例如键盘/虚拟键盘或触敏输入屏幕或具有语音识别的语音输入，以及光标控制设备1170，例如鼠标或触敏输入屏幕或垫。计算机系统1100还可以包括磁盘驱动单元1180、信号生成设备1190，例如扬声器或遥控器，以及网络接口设备1140。

在一个实施例中，如图11中所示，磁盘驱动单元1180可以包括计算机可读介质1182，其中可以嵌入一组或多组软件指令1184，例如软件。可以从计算机可读介质1182读取软件指令1184的集合。此外，当由处理器运行时，软件指令1184可用于执行如本文所述的一种或多种方法和过程。在一个实施例中，软件指令1184可以在由计算机系统1100运行期间完全或至少部分地驻留在主存储器1120、静态存储器1130和/或处理器1110内。

在替代实施例中，可以构建专用硬件实现方式，例如专用集成电路(ASIC)、可编程逻辑阵列和其他硬件部件，以实现本文中描述的一个或多个方法。本文中描述的一个或多个实施例可以使用两个或更多个特定互连硬件模块或设备来实现功能，所述硬件模块或设备具有可以在模块之间和通过模块进行通信的相关控制。因此，本公开包含软件、固件和硬件实现。本申请中的任何内容都不应被解释为仅用软件而不是诸如有形非瞬态处理器和/或存储器之类的硬件来实现或实现。

根据本公开的各种实施例，可以使用执行软件程序的硬件计算机系统来实现本文描述的方法。此外，在示例性、非限制性实施例中，实现方式可以包括分布式处理、部件/对象分布式处理和并行处理。可以构造虚拟计算机系统处理以实现如本文所述的一个或多个方法或功能，并且本文描述的处理器可以用于支持虚拟处理环境。

本公开预期计算机可读介质1182，其包括软件指令1184或响应于传播的信号而接收和运行软件指令1184；使得连接到网络1101的设备可以通过网络1101传送语音、视频或数据。此外，可以经由网络接口设备1140在网络1101上发送或接收软件指令1184。

因此，动态组织影像更新能够以反映底层目标物质自首次生成以来如何变化的方式呈现经更新的术前影像。通过这种方式，参与介入医学流程的诸如外科医师的临床医师可以以减少介入医学流程期间的困惑和重新定向要求的方式查看解剖结构，其继而改善了医学介入的结果。

尽管已经参照若干示例性实施例描述了动态组织影像更新，但是应当理解，已经使用的词语是描述性词语和说明性词语，而不是限制性词语。可以在所附权利要求的范围内做出改变，如目前陈述的和经修改的，而不背离动态组织影像更新在其方面的范围和精神。尽管已经参考特定单元、材料和实施例描述了动态组织影像更新，但动态组织影像更新并不旨在限于所公开的细节；而是，动态的组织的影像更新扩展到所有功能等效的结构、方法和用途，例如在所附权利要求的范围内。

例如，虽然动态组织影像更新主要在肺部手术的背景下进行了描述，但动态组织影像更新可以应用于要跟踪可变形组织的任何手术。动态组织影像更新可用于涉及可变形组织或器官的任何程序，包括肺部手术、乳房手术、结直肠手术、皮肤跟踪或骨科等应用。

尽管本说明书参考特定标准和协议描述了可以在特定实施例中实现的部件和功能，但是本公开不限于这样的标准和协议。例如，诸如

本文描述的实施例的图示旨在提供对各种实施例的结构的一般理解。这些图示并不旨在用作对本文描述的本公开内容的所有元件和特征的完整描述。在回顾了本公开内容之后，许多其他实施例对于本领域技术人员而言会是显而易见的。可以利用其他实施例并从本公开内容中导出其他实施例，使得可以在不脱离本公开内容的范围的情况下做出结构和逻辑上的替换和改变。另外，这些图示仅是代表性的，并且可能并没有按比例绘制。图示中的某些比例可能被放大，而其他比例可能被最小化。因此，本公开内容和附图应被认为是说明性的而不是限制性的。

可以仅出于方便的目的而将本文公开的一个或多个实施例独立地和/或共同地称为术语“发明”，但这并不意味着将本申请的范围限制为任何特定的发明或发明构思。此外，虽然在本文中已经图示和描述了特定实施例，但是应当理解，被设计为实现相同或相似目的任何后续布置都可以代替所示的特定实施例。本公开内容旨在覆盖各种实施例的任何和所有随后的修改或变化。通过回顾说明书，以上实施例的组合以及本文中未具体描述的其他实施例对于本领域技术人员而言将是显而易见的。

所提供的本公开内容的摘要符合37 C.F.R.§1.72(b)，并且在提交摘要时应当理解，摘要并不用于解读或限制权利要求的范围或含义。另外，在前面的详细描述中，为了简化本公开内容，各种特征可以被组合在一起或被描述在单个实施例中。本公开内容不应被解读为反映了以下意图：要求保护的实施例需要比每个权利要求中明确记载的特征更多的特征。相反，如以下权利要求所反映的，发明主题可以指向少于所公开的实施例中的任一个实施例的所有特征。因此，以下权利要求被并入详细描述中，其中，每个权利要求独立定义要求保护的主题。

提供对所公开的实施例的前述描述以使得任何本领域技术人员能够实践本公开内容中描述的构思。正因如此，以上公开的主题应被认为是说明性的，而不是限制性的，并且权利要求旨在覆盖落入本公开内容的真实精神和范围内的所有这样的修改、增强和其他实施例。因此，在法律允许的最大范围内，本公开内容的范围将由以下权利要求及其等价方案的最广泛的允许解读来确定，并且不应局限于或限制于前述详细描述。