用于肝脏手术的对准系统

背景技术

腹腔镜手术是一种微创类型的腹部手术，涉及使用光学成像系统–腹腔镜–在手术过程期间将实时图像发送到视频监视器。有必要在手术之前实施CT成像，为适合的手术执行做准备，然后与当患者实际在手术台上时获得的2-D腹腔镜视频成像相关地利用该结果。

在当前实践中，手动地或半自动地执行将在手术期间实时获得的2-D图像与先前生成的CT图像对准的任务，先前生成的CT图像通常被重构以创建感兴趣的器官的3-D表征(representation)。在这两种情况下，这意味着在手术期间依靠个人或团队的技能，除了手术本身之外，还要求他们执行困难且具有挑战性的图像处理任务。如果在手术期间像其通常那样发生了器官变形，则使得图像对准问题更加困难。

因此，存在以下需要，即提供在术前获得的CT 3-D图像与在手术期间获得的2-D视频图像之间实施对准的全自动方法。肝脏手术仅是一种应用，在该应用中这样的自动图像对准方法将有巨大的价值。

发明内容

本发明的实施例一般地涉及提供器官的3D和2D图像中的界标的自动配准(registration)的方法和系统。在一个实施例中，方法包括：使用从该器官的3D表面表征中推导的该器官的识别的第一、第二和第三界标的第一组坐标，以及从该器官的2D腹腔镜图像中推导的该器官的识别的第一、第二和第三界标的第二组坐标，将如3D表面几何形状中所识别的界标与如2D图像中所识别的界标配准。自动执行3D和2D图像中的第一、第二和第三界标的识别；自动执行第一和第二组坐标的推导；并基于推导的第一和第二组坐标自动执行配准。

在另一个实施例中，装置包括一个或多个处理器；以及在一个或多个非暂态介质中编码的用于由一个或多个处理器执行的逻辑。当被执行时，该逻辑进行操作以在器官的3D和2D图像中自动配准界标，其中自动配准包括使用从该器官的3D表面表征中推导的该器官的识别的第一、第二和第三界标的第一组坐标，以及从该器官的第一和第二2D腹腔镜图像中推导的该器官的识别的第一、第二和第三界标的第二组坐标，以将如3D表面图像中所识别的界标与如2D图像中所识别的界标配准。自动执行3D和2D图像中的第一、第二和第三界标的识别；自动执行第一和第二组坐标的推导；并基于推导的第一和第二组坐标自动执行配准。

可以通过参考本说明书的剩余部分和附图来实现对本文所公开的特定实施例的性质和优点的进一步理解。

附图说明

图1是根据本发明的一个实施例的对准方法的示意性概图。

图2是根据本发明的一个实施例的对准方法的流程图。

图3示意性地示出在本发明的一个实施例中所使用的一种类型的3D重构。

图4示意性地示出在本发明的一个实施例中所使用的在参考系之间转移界标坐标的方法。

图5示意性地示出在本发明的一个实施例中在3D表征和实时2D图像之间配准界标坐标的方法。

具体实施方式

本文所述的实施例在腹腔镜过程期间向外科医生或外科手术团队提供达到有用的高度精度的与当前2D腹腔镜视角对准的感兴趣的器官或区域的3D界标的2D表征。假设获得了该器官或区域的3-D表征，并使得能够用于术前研究，并且在手术期间实时获得该器官或区域的2-D腹腔镜图像。

本发明供应了优于当前对准方式的益处，该当前对准方式是费时的并且需要专门的技能。代替需要在图像对准处理的各个阶段来自操作人员的大量输入，实施这些阶段的新方法已经被开发，这些方法特别适合于由自动操作的基于计算机的处理系统来实现。而且，它不像当前实践通常那样依赖于使用附加的专用装备，诸如超声成像系统和跟踪工具。

在以下讨论中，应将单词“自动”理解为以下意义，即对应的处理由软件来实施，在启动该处理后无需人为干预。

图1示出根据本发明的一个实施例的对准方法的概述。在手术之前，生成显示感兴趣的器官的一系列CT图像101，并自动创建3D表面重构102。至少三个界标在表面重构上被识别，作为点的第一和第二界标(X

在手术期间使用成像系统104以生成显示感兴趣的器官以及一般地在身体内的周围介质的一系列至少三个2D图像，该成像系统104包括腹腔镜相机并且可以可选地包括一个或多个跟踪传感器。可以实施器官定位处理105以帮助区分图像中的感兴趣的器官。由于存在若干种众所周知的实现定位的方法，因此在本公开中将不进一步讨论该定位处理。在每个2D图像上，自动识别相同的三个界标X1、X2和C中的一个或多个。从三个2D图像中推导用于三个界标的第二组坐标。再一次，用于分别考虑的每个界标的坐标可以称为对应的坐标“子集”。

然后在第一和第二组坐标上自动实施配准计算，在某种意义上“协调”从3D和2D图像中推导的坐标。最终结果是来自腹腔镜相机的主要视角(就姿势和取向而言)的器官的2D表征107，显示与该视角对准的3D界标。

图2是根据本发明一个实施例的对准方法200的高层流程图，显示相对粗略的步骤210、220和230。在步骤210处，在手术之前，在3D表面表征中自动识别第一、第二和第三界标，以自动确定第一组坐标。在步骤220处，在一系列至少三个2D图像中自动识别第一、第二和第三界标，以自动确定第二组坐标。在以下所呈现的图4以及其讨论中示出步骤220的进一步细节。在步骤230处，将第一和第二组坐标用于以与三个2D图像中主要的一个图像被捕获时的姿势和取向相对应的方式，在3D表面表征上自动配准界标。在以下所呈现的图5及其讨论中示出步骤230的进一步细节。

用作步骤210的输入的3D表面表征是通过使用多个CT图像，使用众所周知的图像处理技术生成的。图3示意性地示出在本发明的一个实施例中所使用的一种类型的3D重构。这是Delaunay(德劳内)方法，产生3D表面表征(诸如303A或303B)作为输出，与图2中的表征102相对应。

通过本领域中众所周知的计算机视觉和图形方法，在3D表面表征102上自动识别界标(至少两个点和它们之间的一条路径的界标)。然后可以自动生成用于界标的第一组坐标。

在手术期间，以主要姿势和取向定位在第一位置处的腹腔镜相机捕获感兴趣的器官或区域的主要2D图像，显示至少一个点界标，例如，在图4所示的实施例中所见的X

使用计算机视觉和计算机图形方法来识别界标X

然后第一相机402沿着路径(由白色虚线P1指示)被移动到第二位置，尽实际可能地靠近第二相机406，使用本领域中众所周知的传感技术(诸如光学或电磁工具跟踪器)，在3D中跟踪第一相机402在两个位置之间的运动。

第二相机406，在所示的实施例中包括立体相机，在第二参考系X

在所示的实施例中，因为图像408、410是由立体相机拍摄的，因此从稍微横向移位的地点，可以就距相机的深度以及在每个图像的平面中而言确定界标X

如上所述，图4示意性地示出本发明的一个实施例，显示将界标坐标从一个参考系转移或变换到另一个参考系的方法，其中第一相机在第一位置处捕获第一图像，该图像显示第一界标，然后移动到第二位置，第二立体相机在该位置处捕获一对立体图像，每个立体图像显示第二界标。

在另一个实施例中，第二相机可以不是像这样的立体相机，而是在第二位置附近的在捕获第二和第三图像之间稍微移动的标准相机，每个图像显示第二界标的稍微不同的视图，并且因此仍然使深度数据能够被生成。

在本发明的又一个实施例中，第二相机不仅拍摄一对图像，而且在第二位置附近拍摄三个或更多个图像。考虑到这些三个或更多个图像中的每个图像是从第二位置附近稍微不同的地点捕获的，对这些图像的分析将再次使得能够生成3D界标坐标，可能比如果仅拍摄一对图像所提供的精度更高。

在其他实施例中，代替第二相机，第一相机被用于不仅在第一位置处捕获主要的第一2D图像，而且还在第二位置附近捕获第二和第三(以及可选地，更多的)2D图像。

应该理解，在整个本公开中使用的术语“在...附近”意味着使得所讨论的一个或多个相机的地点足够近，以使从那些地点捕获的图像重叠，从而可以将在本领域中众所周知的三角划分方法应用于推导与在那些图像中可视的特征深度相关的信息。

图5示意性地示出在本发明的一个实施例中在3D表征和实时2D图像之间配准界标坐标的方法。使用捕获504(以上使用的术语中的第一2D图像)的相机的地点和取向的估计，将先前从3D表征502中建立的界标X1和X2的地点投影到实时腹腔镜2D图像504的平面上，该估计是从优化处理(诸如以下所述的优化处理)推导的。通常在实施该投影时生成并使用相机投影矩阵。如上所述，叠加在图像504上的是指示直接从图像504确定的X1的地点以及由从第二和第三2D图像建立的坐标的变换所确定的X2的地点的标记(显示为白环)。

图像504右下方的解释性说明显示圆形域S1和S2，指示界标X1和X2的投影地点，以及第三界标的投影P(L

本文所述的实施例为需要在3D表征和2D图像之间对准界标的应用提供了各种益处。特别地，实施例针对快速且有效的方法，该方法将在手术前3D重构中识别的界标与如在手术期间捕获的2D腹腔镜图像中所见的那些界标自动对准。实施例需要相对简单的相机地点跟踪技术，以及使用众所周知的数学变换的图像处理，以在手术之前和手术期间实现由外科手术团队所观察的图像中的界标的精确对准。它们在手术过程期间的动作因此被支持，而没有与图像取向解读或操作附加的成像和跟踪装备相关的不必要的干扰或复杂化。

尽管已经相对于其特定实施例呈现了描述，但是这些特定实施例仅是说明性的，而不是限制性的。例如，可以将除了Delaunay方法之外的方法用于术前执行的3D重构。可以从运动恢复结构(structure from motion)或视觉里程计推导3D腹腔镜信息。在一些实施例中，可以使用附加的点或线界标。

可以使用包括C、C++、Java、汇编语言等的任何合适的编程语言来实现特定实施例的例程。可以采用诸如面向过程的或面向对象的不同编程技术。可以在单个处理设备或多个处理器上执行该例程。尽管可以以指定顺序呈现步骤、操作或计算，但是在不同的特定实施例中可以改变该顺序。在一些特定实施例中，可以同时执行如在本说明书中顺序显示的多个步骤。

可以在计算机可读存储介质中实现特定实施例，以由指令执行系统、装置、系统或设备使用，或与其结合使用。可以以软件或硬件或二者的组合的控制逻辑的形式来实现特定实施例。当该控制逻辑由一个或多个处理器执行时，可以可操作以执行在特定实施例中所描述的控制逻辑。

可以通过使用编程的通用数字计算机，通过使用专用集成电路，可以使用可编程逻辑设备，现场可编程门阵列，光学、化学、生物、量子或纳米工程系统，组件和机制来实现特定实施例。一般地，可以通过本领域中已知的任何方式来实现特定实施例的功能。可以使用分布式的、联网的系统、组件和/或电路。数据的通信或传输可以通过有线、无线或任何其他方式进行。

还应领会的是，在附图/图中描绘的一个或多个元件也可以以更分离或集成的方式实现，或者甚至在某些情况下被移除或被呈现为不可操作的，如根据特定的应用可用。实现可以存储在机器可读介质中以允许计算机执行上述任何方法的程序或代码也在精神和范围内。

“处理器”包括处理数据、信号或其他信息的任何合适的硬件和/或软件系统、机制或组件。处理器可以包括具有通用中央处理单元、多个处理单元、用于实现功能的专用电路的系统或其他系统。处理不必受限于地理位置或具有时间限制。例如，处理器可以“实时”、“离线”、以“批处理模式”等执行其功能。可以通过不同的(或相同的)处理系统在不同的时间和不同的位置处执行部分处理。处理系统的示例可以包括服务器、客户端、最终用户设备、路由器、交换机、网络存储器等。计算机可以是与存储器通信的任何处理器。存储器可以是任何合适的处理器可读存储介质，诸如随机存取存储器(RAM)、只读存储器(ROM)、磁盘或光盘、或其他适合存储用于由处理器执行的指令的非暂态介质。

如本文的说明书和随后的整个权利要求书中所使用的，除非上下文另外明确指出，否则“一个”、“一种”和“该”包括复数指代。此外，如本文的说明书和随后的整个权利要求书中所使用的，除非上下文另外明确指出，否则“在...中”的含义包括“在...中”和“在...上”。

因此，尽管本文已经描述了特定实施例，但是在前述公开中旨在修改的范围、各种改变和替换，并且应当领会的是，在一些情况下，将在不脱离所阐述的范围和精神的情况下采用特定实施例的一些特征而没有其他特征的对应使用。因此，可以进行许多修改以使特定情况或材料适应必要的范围和精神。