使用方位和方向（P＆D）跟踪辅助的光学可视化的计算机化断层摄影（CT）图像校正

本专利申请要求2018年10月4日提交的美国临时专利申请 62/741,403的权益，该美国临时专利申请的公开内容以引用方式并入本文。

技术领域

本发明整体涉及医疗成像，并且具体地涉及在执行侵入式医疗规程期间更新过时的医疗图像。

背景技术

在医疗规程期间，可将由医疗装置(诸如由方位跟踪系统所跟踪的探头)探测的解剖结构的实时表示叠加在预先采集的医疗图像上，以便改善解剖结构表示。例如，美国专利申请公布2018/0146883描述了方法、装置和计算机程序产品，该方法、装置和计算机程序产品包括从在图像坐标系中操作的成像系统接收包括开放空间和身体组织的体腔的三维图像，以及从具有位置传感器并插入体腔内的医疗探头接收指示医疗探头的远侧末端在传感器坐标系中的位置的信号。将图像坐标系与传感器坐标系配准，以便在所指示的位置处识别三维图像中的一个或多个体素，以及当所识别的体素在所接收的三维图像中具有不对应于开放空间的密度值时，将所识别的体素的密度值更新以对应于开放空间。

又如，美国专利申请公布2014/0147027描述了一种成像校正系统，该成像校正系统包括被配置成从不同方位生成感兴趣区域的成像体积的跟踪超声成像探头。图像补偿模块被配置成处理来自与探头相关联的超声成像装置的图像信号，并且将一个或多个超声图像体积与参考诸如CT图像进行比较，以利用图像补偿模块确定超声成像中的畸变并且基于对畸变的补偿生成校正的超声图像以供显示。

图像引导外科手术(IGS)诸如上文所述的外科手术为一种这样的技术：其中使用计算机来获得已经插入患者体内的器械的位置与手术前获得的图像集合(例如，CT或MRI扫描、3D标测图等)的实时相关性，使得计算机系统可在手术前获得的图像上叠加器械的当前位置。可用于IGS手术中的电磁IGS导航系统的示例为由Biosense-Webster,Inc.(Irvine,California)提供的

在一些IGS规程中，在外科手术之前获得手术区的数字断层扫描(例如，CT或MRI、3D标测图等)。然后使用专门编程的计算机将数字断层扫描数据转化成数字标测图。在外科手术过程中，具有方位传感器(例如，发出电磁场和/或响应于外部生成电磁场的电磁线圈)的特殊器械用于执行规程，同时传感器向指示每个外科器械的当前方位的计算机发送数据。该计算机将从传感器接收的数据与由手术前断层扫描生成的数字地图相关联。断层扫描图像连同指示器(例如，十字准线或照亮点等)一起示于视频监视器上，从而示出每个外科器械相对于扫描图像中所示解剖结构的实时方位。即使外科医生不能直接在体内器械当前位置处目视查看其本身，但外科医生能够通过查看视频监视器而了解每个配备传感器的器械的确切方位。

虽然IGS导航系统在外科规程期间提供有用的视图和信息，但是外科医生还可能期望正被操作的解剖结构的实时相片和视频。在此类情况下，内窥镜可借助于IGS导航部署到手术部位，以便采集解剖结构的图像；并且还可与其他外科器械诸如切割器械、消融器械、扩张导管等配对或以其他方式部署。以这种方式采集的摄影图像和视频可能比IGS导航图像更有用，该IGS导航图像可仅提供通用图像和模拟图像。另选地，以此方式采集的摄影图像和视频可为IGS导航图像提供有用的补充。

相比于外科医生的直接视觉观察，由常规内窥镜采集的图像也可在一定程度上受到限制，因为利用常规内窥镜采集的图像可限于解剖结构的二维(2D)表示。诸如切割、消融、扩张等操作可使用2D内窥镜检查和 IGS导航的组合来执行，这两者均不能提供可用于真实三维(3D)观察的深度感。在不借助于3D观察的情况下操纵和操作外科手术工具可增加定位工具所花费的时间；并且可增加出错的可能性。虽然存在一些3D内窥镜相机，但它们具有高复杂性和高成本；并且可具有使其难以或不可能用于一些规程的刚性和非柔性部分。具有柔性和3D特征两者的具体实施可需要昂贵且易碎的光纤部件以将所采集的图像从远侧相机传输到近侧观察者。因此，用于3D内窥镜检查的常规选择可能为昂贵的，具有有限的可用特征，并且不适用于大量使用和可处置性。

尽管已研制出若干系统和方法并用于外科规程，但是据信，本发明人之前尚未有人研制出或使用所附权利要求书中所描述的发明。

发明内容

本发明的实施方案提供了一种系统，所述系统包括医疗探头、方位和方向传感器、相机和处理器。所述医疗探头被配置成插入到患者的器官的腔内。所述方位和方向传感器位于所述医疗探头中并且在传感器坐标系中操作。所述相机位于所述医疗探头的远侧边缘中并且在传感器坐标系中操作。所述处理器被配置成：(a)从在图像坐标系中操作的成像系统接收包括开放空间和器官组织的所述腔的三维图像；(b)从所述医疗探头接收指示所述医疗探头的所述远侧边缘在所述腔内的方位和相应方向的信号；(c)从所述探头的所述相机接收所述腔内的相应可视化位置；(d)将所述图像坐标系与所述传感器坐标系配准，以便在所述可视化位置处识别所述三维图像中的一个或多个体素；以及(e)当所识别的体素在所接收的三维图像中具有不对应于所述开放空间的密度值时，将所识别的体素的所述密度值更新以对应于所述开放空间。

在一些实施方案中，所述成像系统包括计算机断层摄影扫描仪。

在一些实施方案中，所述方位和方向传感器包括磁场传感器。

在一个实施方案中，所述处理器被配置成形成所述密度值与视觉效果之间的对应性，其中给定视觉效果对应于指示所述开放空间的给定密度值。在另一个实施方案中，所述视觉效果选自由颜色、阴影和图案组成的组。

在一些实施方案中，所述处理器被配置成使用所述视觉效果在显示器上呈现所述三维图像。在其他实施方案中，所述给定视觉效果包括第一给定视觉效果，并且其中在更新所述密度值之前，所述处理器被配置成通过使用不同于所述第一给定视觉效果的第二给定视觉效果呈现所述一个或多个所识别的体素来呈现所述三维图像。

在一个实施方案中，在更新所述密度值时，所述处理器被配置成通过使用所述第一给定视觉效果呈现所述一个或多个所识别的体素来呈现所述三维图像。在另一个实施方案中，所述处理器被配置成使用多视图三角形划分模型从所述视觉信号提取位置距所述相机的距离。

根据本发明的实施方案，还提供了一种方法，所述方法包括从在图像坐标系中操作的成像系统接收包括开放空间和器官组织的患者的器官的腔的三维图像。从具有方位和方向传感器以及相机的医疗探头接收指示所述医疗探头的远侧边缘在所述腔内的方位和相应方向的信号，其中所述探头在传感器坐标系中操作并插入到所述腔内。将所述图像坐标系与所述传感器坐标系配准，以便在所述可视化位置处识别所述三维图像中的一个或多个体素。当所识别的体素在所接收的三维图像中具有不对应于所述开放空间的密度值时，将所识别的体素的密度值更新以对应于所述开放空间。

根据本发明的实施方案，还提供了一种与探头结合操作的计算机软件产品，所述探头被配置用于插入到患者的器官的腔内并且包括在传感器坐标系中操作的方位和方向传感器以及在传感器坐标系中操作的位于所述医疗探头的远侧边缘中的相机，并且所述产品包括其中存储程序指令的非暂态计算机可读介质，所述指令在由计算机读取时，致使所述计算机：(a)从在图像坐标系中操作的成像系统接收包括开放空间和器官组织的所述腔的三维图像；(b)从所述医疗探头接收指示所述医疗探头的所述远侧边缘在所述腔内的方位和相应方向的信号；(c)接收所述腔的所述壁的相应可视化位置；(d)将所述图像坐标系与所述传感器坐标系配准，以便在所述可视化位置处识别所述三维图像中的一个或多个体素；以及(e)当所识别的体素在所接收的三维图像中具有不对应于所述开放空间的密度值时，将所识别的体素的所述密度值更新以对应于所述开放空间。

根据本发明的实施方案，还提供了一种包括内窥镜和处理器的三维 (3D)成像系统。所述内窥镜包括：(i)具有远侧末端的轴，所述轴适于插入到患者体内并定位在所述患者的手术部位处；(ii)方位传感器，所述方位传感器靠近所述远侧末端并被配置成基于所述内窥镜在使用期间的所述位置产生方位信号集；和(iii)成像模块，所述成像模块定位在所述远侧末端处并能够操作以采集所述手术部位的图像数据集，其中所述图像数据集包括一个或多个二维(2D)图像。所述处理器与所述内窥镜通信地联接并被配置成：(i)从所述内窥镜接收所述图像数据集和所述方位信号集；(ii)基于所述方位信号集确定视角数据集，其中所述视角数据集指示所述内窥镜在所述一个或多个2D图像中的每个图像的采集期间的所述位置；(iii)执行图像深度分析以确定所述一个或多个2D图像中的每个图像的3D特征集，其中所述3D特征集包括像素深度；(iv)基于所述一个或多个2D图像和所述3D 特征集来创建3D图像数据集；以及(v)将所述视角数据集与所述3D图像数据集相关联，其中所述图像深度分析包括选自由以下项的组成的组的技术：(i)对所述一个或多个2D图像中的单个图像执行的波前采样技术；以及 (ii)对所述一个或多个2D图像中的两个图像的集执行的被动立体视觉技术，其中所述两个图像的集中的每个图像与所述相同的视角数据相关联。

在一些实施方案中，所述成像模块包括：(i)单个镜头；(ii)光圈板，所述光圈板定位在所述单个镜头的第一侧与所述手术部位之间，所述光圈板包括从所述单个镜头的所述光轴偏移的一个或多个光圈；以及(iii)图像窗格，所述图像窗格定位在所述单个镜头的第二侧以经由所述一个或多个光圈和所述单个镜头接收来自所述手术部位的反射光，其中所述图像窗格被配置成基于所述反射光产生所述图像数据集。

在一些实施方案中，(i)所述一个或多个光圈包括定位在所述光圈板上并且从所述单个镜头的所述光轴偏移的至少两个光圈，并且(ii)所述光圈板相对于所述镜头具有固定方位和取向。

在一个实施方案中，(i)所述一个或多个光圈包括定位在所述光圈板上的从所述单个镜头的所述光轴偏移的单个光圈，(ii)所述光圈板能够操作以在图像采集期间相对于所述镜头围绕其圆形轴线旋转。

在另一个实施方案中，所述处理器被配置成在执行所述图像深度分析时：(i)在所述图像数据集内识别所述手术部位的两个或更多个非聚焦图像；(ii)确定所述手术部位的所述两个或更多个非聚焦图像之间的空间关系；以及(iii)基于所述两个或更多个非聚焦图像之间的所述空间关系来确定所述图像数据集中的所述像素深度。

在一些实施方案中，所述成像模块包括两个或更多个相机，并且其中所述两个或更多个相机中的每个相机：(i)相对于所述两个或更多个相机中的每隔一个相机静态地定位；(ii)被取向成与所述两个或更多个相机中的每隔一个相机具有平行的光轴。

在一些实施方案中，所述处理器还被配置成在执行所述图像深度分析时，(i)识别所述图像数据集中的第一图像中的点，其中所述点包括存在于由所述两个或更多个相机中的第一相机采集的所述第一图像和由所述两个或更多个相机中的第二相机采集的第二图像两者内的所述手术部位的一部分；(ii)识别所述第二图像中的所述点；(iii)确定所述点从所述第一图像到所述第二图像的位移；以及(iv)基于所述位移来确定所述点的所述像素深度。

在一个实施方案中，所述处理器还被配置成在识别所述第二图像中的所述点时：(i)基于所述第一相机相对于所述第二相机的静态位置来确定所述第一图像和所述第二图像的对极线；(ii)沿着所述对极线搜索所述第二图像中的所述点，同时排除不落在所述对极线上的所述第二图像的部分。

在另一个实施方案中，所述处理器还被配置成：(i)将所述3D图像数据集和所述视角数据集与图像引导手术系统的坐标系相关联；以及(ii)基于与所述坐标系的所述关联，在图像引导手术导航规程期间显示所述3D图像数据集。

在一个实施方案中，(i)所述方位传感器被配置成基于所述内窥镜在使用期间的所述位置和取向来产生所述方位信号集，(ii)所述视角数据集指示所述内窥镜在所述图像数据集的采集期间的所述位置和取向，并且(iii)所述处理器还被配置成将所述3D图像数据集和所述视角数据集提供给图像引导手术导航系统。

在另一个实施方案中，所述处理器还被配置成：(i)接收来自用户的限定相对于所述手术部位的视角的输入；(ii)基于识别所述视角数据集内的所述视角来确定从所述视角示出所述手术部位的所述3D图像数据集的第一部分；以及(iii)在显示器上显示所述3D图像数据集的所述第一部分。

在另一个实施方案中，所述处理器还被配置成：(i)接收所述手术部位的间接3D扫描和与所述间接3D扫描相关联的扫描视角数据集；(ii)基于识别所述扫描视角数据集内的所述视角来确定从所述视角示出所述手术部位的所述间接3D扫描的第二部分；以及(iii)在所述显示器上同时显示所述3D 图像数据集的所述第一部分和所述间接3D扫描的所述第二部分。

在另一个实施方案中，(i)所述手术部位的所述间接3D扫描包括手术前采集的图像数据，并且(ii)所述3D图像数据集包括手术后采集的图像数据。

在一个实施方案中，(i)所述手术部位的所述间接3D扫描包括手术前采集的图像数据，(ii)所述3D图像数据集包括手术前采集的图像数据，并且(iii)所述处理器还被配置成：(A)接收来自用户的扫描调整输入；以及(B) 基于所述扫描调整输入来重新配置所述手术部位的所述间接3D扫描与所述扫描视角数据集之间的所述关联。

根据本发明的实施方案，还提供了一种用于三维(3D)成像的方法，所述方法包括将内窥镜的远侧末端部署到患者的手术部位，所述远侧末端包括：(i)成像模块，所述成像模块能够操作以采集所述手术部位的图像数据，其中所采集的图像数据包括一个或多个二维(2D)图像；和(ii)方位传感器，所述方位传感器靠近所述远侧末端并被配置成基于所述内窥镜的所述位置产生方位信号。接收来自所述成像模块的图像数据集和来自所述方位传感器的方位信号集。基于所述方位信号集确定视角数据集，其中所述视角数据集指示所述内窥镜在所述一个或多个2D图像中的每个图像的采集期间的所述位置。执行图像深度分析以确定所述一个或多个2D图像中的每个图像的3D特征集，其中所述3D特征集包括像素深度。基于所述一个或多个2D图像和所述3D特征集来创建3D图像数据集，并且将所述视角数据集与所述3D图像数据集相关联，其中所述图像深度分析包括选自由以下项的组成的组的技术：(i)对所述一个或多个2D图像中的单个图像执行的波前采样技术；以及(ii)对所述一个或多个2D图像中的两个图像的集执行的被动立体视觉技术，其中所述两个图像的集中的每个图像与所述相同的视角数据相关联。

本发明的另一个实施方案提供了一种图像引导手术(IGS)导航系统，所述图像引导手术(IGS)导航系统包括处理器、存储器和显示器，所述处理器被配置成：(a)接收由跟踪内窥镜产生的图像数据集，所述图像数据集包括一个或多个二维(2D)图像；(b)接收由所述跟踪内窥镜产生的视角数据集，其中所述视角数据集指示所述跟踪内窥镜在所述图像数据集的采集期间的位置；(c)执行图像深度分析以确定所述图像数据集的3D特征集，其中所述3D特征集包括所述一个或多个2D图像中的像素深度；(d)基于所述一个或多个2D图像和所述3D特征集来创建3D图像数据集；(e)将所述视角数据集与所述3D图像数据集相关联；以及(f)致使所述显示器基于包括选择的视角的所述视角数据集从所述选择的视角显示所述3D图像数据集。

结合附图，通过以下对本发明的实施方案的详细描述，将更全面地理解本发明，其中：

附图说明

图1A和图1B(统称为图1)为根据本发明的实施方案的被配置成在执行侵入式医疗规程期间校正过时的计算机断层摄影(CT)图像的医疗系统的示意性图解；

图2为示意性地示出根据本发明的实施方案的校正过时的CT图像的方法的流程图；

图3为示出根据本发明的实施方案的三维CT图像的图像切片的示意性图解；

图4为示出根据本发明的实施方案的插入到窦腔内的探头的远侧端部的示意性细部图；

图5为示出根据本发明的实施方案的在更新CT图像之前的图3的CT 图像切片的感兴趣区域的示意性图解；

图6为示出根据本发明的实施方案的在更新CT图像之后的图5的CT 图像切片的感兴趣区域的示意性图解；

图7示出了根据本发明的另一个实施方案的在坐在示例性医疗规程椅中的患者上使用的示例性手术导航系统的示意图；

图8示出了根据本发明的实施方案的可与图7的手术导航系统一起使用的示例性器械的透视图；

图9A示出了根据本发明的实施方案的具有单个成像装置的图8的器械的示例性远侧末端的透视图；

图9B示出了根据本发明的实施方案的图9A的远侧末端的正视图；

图10A示出了根据本发明的实施方案的图9A的远侧末端的透视图，其中冲洗转向器被移除以示出冲洗通道；

图10B示出了根据本发明的实施方案的图9A的远侧末端的正视图，其中冲洗转向器被移除以示出冲洗通道；

图11示出了根据本发明的实施方案的用于图9A的成像装置的示例性静态采样光圈构型的示意图；

图12示出了用于图9A的成像装置的示例性主动采样光圈构型的示意图；

图13示出了根据本发明的实施方案的可被执行以利用图9A的成像装置产生三维图像模型的一组示例性步骤；

图14A示出了具有一组成像装置的图8的器械的示例性另选远侧末端的透视图；

图14B示出了根据本发明的实施方案的图14A的远侧末端的正视图；

图15A示出了根据本发明的实施方案的图14A的一组成像装置的一组示例性重叠视场的侧面图解视图；

图15B示出了根据本发明的实施方案的图14A的一组重叠视场的俯视图解视图；

图16示出了根据本发明的实施方案的可被执行以利用图14A的一组成像装置产生三维图像模型的一组示例性步骤；

图17示出了图示，该图示示出了立体成像中的视差与深度之间的关系；

图18示出了图示，该图示示出了根据本发明的实施方案的立体成像中的对极线；并且

图19示出了可被执行以利用图7的手术导航系统产生并使用三维图像模型的一组步骤的流程图。

附图并非旨在以任何方式进行限制，并且可以设想本发明的各种实施方案可以多种其他方式来执行，包括那些未必在附图中示出的方式。并入本说明书中并构成其一部分的附图示出了本发明的若干方面，并与说明书一起用于解释本发明的原理；然而，应当理解，本发明并不限于所示出的明确布置方式。

具体实施方式

根据本发明的一个方面，术中医疗成像系统诸如计算机断层摄影 (CT)成像系统为在执行耳鼻喉(ENT)规程的临床中通常不可用的模态。因此，执行规程的ENT医师通常依赖于先前采集的医疗图像，诸如 CT图像。CT图像可用于生成实时引导(即，“标测图”)，该实时引导使得执行ENT医疗规程的医师能够在患者的头部中的腔内的感兴趣体积内导航医疗探头。

然而，在一些情况下，例如，在外科ENT规程诸如剃刮腔壁处的阻挡软骨或骨期间或之后，CT图像不再反映腔的真实解剖结构。

下文所述的本发明的实施方案提供了用于更新过时的医疗图像(诸如患者器官的腔的过时的CT图像)的系统和方法，该CT图像在本文中也被称为三维图像。

在一些实施方案中，在更新规程期间，位于医疗探头的远侧末端处并且在探头坐标系中操作的相机使包括开放空间和器官组织的腔内的位置可视化。处理器使用相机提供的来自不同方位和方向的可视化来估计位置。处理器根据从安装在医疗探头的远侧末端处的方位和方向(P&D)传感器接收的信号导出不同的方位和方向。

使用多视图三角形划分模型，处理器通过重建fail位置距相机的距离来重建可视化位置。此类多视图三角形划分模型可使用例如名称为“triangulateMultiview”的

为了使CT图像反映腔的最新可视化(即，真实)解剖结构，处理器将和CT成像系统相关联的坐标系与和医疗探头相关联的坐标系(例如，与传感器坐标系)配准。配准使得处理器能够在所指示的位置处识别三维图像中的一个或多个体素，并且当所识别的体素在所接收的三维图像中具有不对应于新形成的开放空间(例如通过ENT剃刮规程形成)的密度值(如由相机进行可视化并且如由处理器利用多视图三角形划分模型所估计的) 时，将所识别的体素的密度值更新以对应于新的开放空间。

医疗成像系统通常使用不同的视觉效果来呈现开放空间和身体组织。例如，CT系统可以黑色呈现开放空间，以白色呈现硬身体组织，并且以灰色(各种阴影)呈现软身体组织。由于位于医疗探头的远侧边缘处的相机可仅穿过开放空间对壁组织进行光学成像，因此实现本发明的实施方案的系统可在更新的三维(3D)CT图像中校正未被呈现为开放空间的腔的任何光学成像位置。此外，如果相机已进入先前不是开放空间的位置，则本发明的实施方案也可将所进入的位置在更新的3D图像中呈现为开放空间。

所公开的本发明的其他方面提供了成像技术，诸如波前采样和被动立体视觉，这些成像技术用于从单相机和多相机2D成像系统产生3D图像数据和3D模型。相比于具有独立动态聚焦相机的3D成像系统，此类技术用于产生具有小尺寸和低复杂性的3D功能成像系统。在减小尺寸和功率需求的前提下，此类成像技术(例如，系统)在具有静态轴或柔性轴的外科器械的远侧末端处实现，并且可用于产生人体内的手术部位的3D成像。此类 3D成像可用于产生在IGS导航期间可用的合成图像集，以提供手术前图像集的比较并且提供手术后图像集的比较。

在一些实施方案中，提供了一种3D内窥镜成像系统，该系统包括：(a) 内窥镜，该内窥镜包括：方位传感器；以及成像模块，该成像模块定位在内窥镜的远侧末端处并且能够操作以采集手术部位的图像数据集，其中图像数据集包括一个或多个二维(2D)图像；以及(b)处理器，该处理器与内窥镜通信地联接并被配置成：

(i)从内窥镜接收图像数据集和方位信号集，

(ii)基于方位信号集确定视角数据集，其中视角数据集指示内窥镜在一个或多个2D图像中的每个图像的采集期间的位置，

(iii)执行图像深度分析以确定一个或多个2D图像中的每个图像的3D 特征集，其中3D特征集包括像素深度，

(iv)基于一个或多个2D图像和3D特征集来创建3D图像数据集，以及

(v)将视角数据集与3D图像数据集相关联；

其中图像深度分析包括选自由以下项的组成的组的技术：

(i)对一个或多个2D图像中的单个图像执行的波前采样技术，以及

(ii)对一个或多个2D图像中的两个图像的集执行的被动立体视觉技术，其中两个图像的集中的每个图像与相同的视角数据相关联。

本发明的实施方案公开了使用腔位置的P&D跟踪辅助的可视化技术的医疗图像(诸如CT图像)校正。使用这些实施方案可无需重复成像规程诸如CT成像规程，该成像规程通常需要大型且昂贵的操作设施。

本发明的某些示例的以下说明不应用于限定本发明的范围。根据以举例的方式示出的以下说明，本发明的其他示例、特征、方面、实施方案和优点对于本领域的技术人员而言将是显而易见的，一种最佳方式被设想用于实施本发明。如将认识到，本发明能够具有其他不同且明显的方面，所有这些方面均不脱离本发明。因此，附图和说明应被视为实质上是例示性的而非限制性的。

应当理解，本文使用的术语“近侧”和“远侧”是相对于握持手持件组件的临床医生而言的。因此，端部执行器相对于较近的手持件组件而言处于远侧。还应当理解，为方便和清晰起见，本文关于临床医生握持手持件组件的情况也使用空间术语诸如“顶部”和“底部”。然而，外科器械在许多取向和方位中使用，并且这些术语并非旨在为限制性的和绝对的。

还应当理解，本文所述的教导内容、表达、型式、示例等中的任何一者或多者可与本文所述的其他教导内容、表达、型式、示例等中的任何一者或多者相结合。因此下述教导内容、表达、型式、示例等不应被视为彼此分离。参考本文的教导内容，本文的教导内容可进行组合的各种合适方式对于本领域的技术人员而言将显而易见。此类修改和变型旨在包括在权利要求书的范围内。

图1A和图1B(统称为图1)为根据本发明的实施方案的被配置成在执行侵入式医疗规程期间校正过时的计算机断层摄影(CT)图像的医疗系统11的示意性图解。在图1所示的示例中，医疗系统11包括医疗成像系统，该医疗成像系统包括移动式CT扫描仪21、控制台34和医疗探头36。在本文所述的实施方案中，假设医疗探头36用于ENT诊断或治疗处理，诸如对患者26进行的基于微创导管的鼻窦手术。另选地，以必要的变更，医疗探头36可用于其他治疗和/或诊断用途。

如图1A所示，在对患者26执行侵入式医疗规程之前，CT扫描仪21 生成包括患者内腔(例如，鼻腔或鼻旁窦)的图像数据的电信号，并将所生成的图像数据传送到控制台34。计算机断层摄影扫描仪21在包括X轴 31、Y轴33和Z轴35的图像坐标系28中生成图像数据。

如图1B所示，医疗探头36包括柄部38，操作者43可抓握和操纵该柄部，以便将医疗探头的远侧端部41插入到患者26的内腔诸如鼻腔或鼻旁窦内。

远侧端部41包括响应于由相机观察的场景而生成图像数据的相机 45。远侧端部41还包括磁场传感器60，该磁场传感器如下所述生成提供远侧端部的方位和取向的信号。在图1所示的构型中，控制台34包括处理器 44，该处理器将从相机45接收的图像数据转换成图像46，并且将图像在显示器48上呈现为关于医疗规程的信息。

基于从医疗系统20的医疗探头36和其他部件接收的信号，控制台34 驱动显示器48以更新图像46，从而呈现患者的头部内的远侧端部41的当前方位以及关于正在进行的医疗规程的状态信息和指导。处理器44将表示图像46的数据存储在存储器50中。在一些实施方案中，操作者40可使用一个或多个输入装置52操纵图像46。

处理器44通常包括通用计算机，该通用计算机具有合适的前端和接口电路以用于从医疗探头36接收信号并控制台34的其他部件。处理器44可通过软件编程以执行本文所述的功能。该软件可例如经由网络以电子形式下载到控制台34，或者其可提供在非暂态有形介质诸如光学存储介质、磁存储介质或电子存储介质上。另选地，可通过专用或可编程数字硬件部件来执行处理器44的功能中的一些或全部功能。

在本文所述的实施方案中，医疗系统11使用磁方位感测来确定患者 26体内的医疗探头36的远侧端部41的方位和方向坐标。为了实现基于磁的方位和方向感测，控制台34包括用于驱动场发生器58以在患者26的探测器官内生成磁场的驱动电路56。通常，场发生器58包括线圈，该线圈在患者26体外的已知方位处被置于患者下方。这些线圈在包含内腔诸如鼻旁窦的预定工作空间内生成磁场。医疗探头36的远侧端部41内的磁场传感器60(在本文中也称为方位和方向(P&D)传感器60)响应于来自线圈的磁场而生成电信号，从而使得处理器44能够确定远侧端部41在工作体积内的方位和方向。

磁方位跟踪技术在例如美国专利5,391,199、6,690,963、5,443,489、 6,788,967、5,558,091、6,172,499和6,177,792中有所描述，这些专利的公开内容以引用方式并入本文。由磁场传感器60生成的信号指示远侧端部41 在由发生器58的方位限定的传感器坐标系62中的当前位置，并且系统62 被假设为包括X轴64、Y轴66和Z轴68。在图1所示的示例中，X轴64 大致对应于X轴31，Y轴66大致对应于Y轴33，并且Z轴68大致对应于Z轴35。此类系统和技术与结合本发明的其他方面(结合图7所述)所述的那些系统和技术相似或相同。

在本文所述的实施方案中，医疗系统11使用相机45来对腔的部分成像。如上所述，使用传感器60导出相机45正对腔体成像的方位以及相机正瞄准的相应方向。基于P&D跟踪并使用多视图三角形划分模型，处理器 44能够确定(i)其中设置有远侧端部的腔的壁的部分的位置，以及(ii)腔壁上的成像位置与相机(包括相机45本身)之间的位置，这些位置全部位于开放空间中；并且能够相应地更新CT图像。

图2为示意性地示出校正过时的CT图像的方法的流程图，并且图3、图4、图5和6为示出根据本发明的实施方案的方法的示意图。在采集步骤 80中，处理器44从CT扫描仪21采集图像数据，将图像数据存储到存储器50，并且基于所采集的图像数据生成三维图像。步骤80通常在对患者 26执行更新CT图像规程之前执行。

图3为示出可在步骤80中采集的三维计算机断层摄影图像的图像切片 101的示意性图解。处理器44响应于从CT扫描仪21接收到图像数据而生成图像切片101。在操作中，处理器44通常将图像切片101结合到图像46 内。

在图3所示的示例中，图像切片101包括患者26的头部103的二维“切片”。如图例106所示，图像切片101包括对应于头部103的计算机断层摄影图像中的三维位置的三维图像的体素105。处理器44通常使用与在对应于给定体素的三维位置处检测到的密度对应的不同视觉效果来呈现每个给定体素105。密度的示例包括但不限于开放空间、硬器官组织和软器官组织，并且视觉效果的示例包括但不限于颜色、阴影(例如，不同的灰色阴影)和图案(例如，梯度、图片、纹理、线、点和框)。

如图例107所示，可通过将字母附加到标识数字来区分体素105，使得体素包括体素105A-105C。在图3所示的示例中，体素105A指示开放空间并且以黑色呈现，体素105B指示硬器官组织(例如，骨)并且以白色呈现，并且体素105C指示软组织(例如，脂肪、肌肉软骨和脑组织)并且以灰色呈现。虽然本文的实施方案描述了包括具有三种不同视觉效果的体素105(即，体素105A-105C)的图像切片101，但是呈现具有表示任何数量的密度的任何数量的视觉效果的体素被认为是在本发明的实质和范围内。

图像切片101还包括感兴趣区域109。如参考图5和图6的描述中所述，感兴趣区域109包括具有过时的CT值(即，密度值)的腔壁47位置，处理器44可使用本文所述的实施方案来更新过时的CT值。

返回到流程图，为了启动更新规程，操作者43操纵柄部38，使得在插入步骤82中，远侧端部41进入患者26的器官的腔。应当理解，在步骤 80和82之间通常存在延迟，该延迟可为数天或甚至数周。

接下来，在配准步骤84中，处理器44将图像坐标系28与传感器60 坐标系62配准。可通过本领域中已知的任何合适的方法来执行配准。在执行配准时，由磁场传感器60所生成的信号指示的每个三维方位对应于在步骤80中采集的CT图像中的一个或多个体素。

在接收视觉信号步骤86中，处理器44从相机45接收指示腔壁47的位置的视觉信号，并且在识别步骤88中，处理器使用配准和多视图三角形划分模型来识别CT图像中对应于所指示位置的一个或多个体素。

图4为示出插入到窦腔111内的远侧端部41的示意性细部图。当远侧端部移动时，远侧端部41中的摄像头45从不同视角采集腔壁47的图像。基于相机45采集的壁47的视觉信号，并且如上所述，使用多视图三角形划分模型，处理器44估计腔壁的位置47A。应当理解，相机45的相应视线上的到位置47A的任何位置诸如位置49以及相机45自身的位置必须是腔内的开放空间。

返回到流程图，在第一比较步骤90中，如果一个或多个所识别的体素中的任一个体素具有过期的CT密度值，即组织的CT密度值而非(通过 ENT规程新形成的)开放空间的CT密度值，则在校正步骤92中，处理器 44校正过时的体素值以将体素表示为(新形成的)开放空间。例如，如果给定的所识别的体素具有对应于硬组织或软组织的CT密度过时值，则处理器44可更新密度值以对应于开放空间。如果在步骤90中，一个或多个所识别的体素中的任一个体素均不具有过时的CT值，则该方法继续步骤 94。

在本发明的实施方案中，更新图像切片中的一个或多个更新的体素会更新存储在存储器50中的三维计算机断层摄影图像。

在完成步骤92之后，控制程序前进到第二比较步骤94。

在第二比较步骤94中，如果操作者40已完成更新规程，即操作者已充分地检查腔47或其他腔，则方法结束。然而，如果操作者40尚未完成更新规程，则该方法继续步骤86。

图5为示出在更新如在步骤80中采集的计算机断层摄影图像之前的图像切片101的感兴趣区域118的示意性图解。在图5所示的示例中，阻挡骨120包括体素105B(即，致密骨)，该体素围绕体素105A的内部区域 (即，骨生长的中空区域)，并且体素105C包括软组织。

图6为示出在更新计算机断层摄影图像之后(即，在完成图2的流程图的步骤之后)的图像切片101的感兴趣区域118的示意性图解。如图6 所示，感兴趣区域118包括更新的区域150。区域150包括处理器44基于来自相机45的可视化并使用多视景三角形划分模型估计的区域，该区域为新形成的开放空间。区域150例如通过ENT剃刮工序形成，该ENT剃刮工序移除图5中的阻挡骨120中的一些阻挡骨。

显示器48通常呈现处理器44可在更新规程期间使用本文所述的实施方案更新的体素105的子集。如上所述，图像切片101包括处理器44响应于从移动计算机断层摄影扫描仪21接收图像数据而生成的三维图像的二维“切片”。由于操作者在三维空间(即，三维坐标系28和62)中移动远侧端部41，因此应当理解，可存在附加体素105(即，不包括在当前正在显示器48上呈现的二维图像切片中)，该附加体素的相应密度值由处理器44 响应于相机45检测到的腔壁47位置而更新。

根据本发明的另一个方面，当在患者(P)的头部(H)内执行医疗规程时，可能期望的是获得关于器械在患者(P)的头部(H)内的方位的信息，尤其是在器械处于难以或不可能获得器械的工作元件在患者(P)的头部(H)内的内窥镜视图的位置时。

图7示出了根据本发明的实施方案的能够利用图像引导执行ENT规程的示例性IGS导航系统(10)。除了具有本文所述的部件和可操作性之外或者代替本文所述的部件和可操作性，IGS导航系统(10)可根据以下专利的教导内容中的至少一些来构造和操作：2010年5月18日公布的名称为“Methods and Devices for Performing Procedures within theEar,Nose,Throat and Paranasal Sinuses”的美国专利7,720,521，其公开内容以引用方式并入本文；以及2014年12月11日公布的名称为“Systems and Methods for PerformingImage Guided Procedures within the Ear,Nose,Throat and Paranasal Sinuses”的美国专利公布2014/0364725，其公开内容以引用方式并入本文。

本示例的IGS导航系统(10)包括场发生器组件(20)，该场发生器组件包括集成到马蹄形框架(22)内的一组磁场发生器(24)。场发生器 (24)可操作以生成围绕患者(P)的头部(H)的不同频率的交变磁场。在该示例中，导航导丝(40)被插入到患者(P)的头部(H)中。导航导丝(40)可为独立装置或可定位在端部执行器或医疗器械(诸如外科切割器械或扩张器械)的其他位置上。在本示例中，将框架(22)安装到座椅 (30)，其中患者(P)坐在座椅(30)中，使得框架(22)位于患者 (P)的头部(H)附近。仅以举例的方式，座椅(30)和/或场发生器组件 (20)可根据2018年11月1日公布的名称为“Apparatus to Secure FieldGeneratingDevice to Chair”的美国公布2018/0310886的教导内容中的至少一些教导内容来配置和操作，该公布的公开内容以引用方式并入本文。

本示例的IGS导航系统(10)还包括处理器(12)，该处理器控制场发生器(24)和IGS导航系统(10)的其他元件。例如，处理器(12)可操作以驱动场发生器(24)生成交变电磁场；并且处理来自导航导丝 (40)的信号，以确定导航导丝(40)中的传感器在患者(P)的头部(H)内的位置。处理器(12)包括与一个或多个存储器通信的处理单元 (例如，被布置成使用组合逻辑电路或其他类似电路评估和执行软件指令的一组电子电路)。本示例的处理器(12)安装在控制台(18)中，该控制台包括操作控件(14)，该操作控件包括键盘和/或指向装置诸如鼠标或轨迹球。在执行外科规程时，医师使用操作控件(14)与处理器(12)进行交互。

导航导丝(40)包括响应于在场发生器(24)所生成的交变磁场内定位的传感器(未示出)。联接单元(42)固定到导航导丝(40)的近端并且被构造成在控制台(18)和导航导丝(40)之间提供数据和其他信号的通信。联接单元(42)可提供数据和其他信号的有线或无线通信。

在本示例中，导航导丝(40)的传感器包括位于导航导丝(40)的远侧端部处的至少一个线圈。当此类线圈定位在场发生器(24)所生成的交变电磁场内时，交变磁场可在线圈中生成电流，并且该电流可沿导航导丝 (40)中的电导管传送，并且经由联接单元(42)进一步传送至处理器 (12)。该现象可以使IGS导航系统(10)能够确定导航导丝(40)或其他医疗器械(例如扩张器械、外科切割器械等)的远端在三维空间内 (即，在患者(P)的头部(H)内)的位置。为了实现这一点，处理器 (12)执行算法以根据导航导丝(40)中线圈的方位相关信号计算导航导丝(40)的远侧端部的位置坐标。尽管在该示例中方位传感器位于导丝 (40)中，但此类方位传感器可集成到各种其他种类的器械中，包括更详细地描述于下文的那些。

处理器(12)使用存储在处理器(12)的存储器中的软件来校准和操作IGS导航系统(10)。此类操作包括驱动场发生器(24)、处理来自导航导丝(40)的数据、处理来自操作控件(14)的数据、以及驱动显示屏 (16)。在一些具体实施中，操作还可包括监视以及强制执行IGS导航系统(10)的一个或多个安全特征或功能。处理器(12)还能够操作以经由显示屏(16)实时提供视频，该显示屏示出导航导丝(40)的远侧端部相对于患者的头部(H)的视频相机图像的方位、患者的头部(H)的扫描图像(例如，CT、MRI、或者其他X线或间接成像方法)、和/或患者的鼻腔内及患者的鼻腔附近解剖结构的计算机生成的三维模型。显示屏(16)可在外科规程期间同时地和/或彼此叠加地显示此类图像。此类显示图像还可包括插入到患者的头部(H)中的器械(诸如导航导丝(40))的图形表示，使得操作者可实时查看器械在其实际位置的虚拟绘制。仅以举例的方式，显示屏(16)可根据2016年1月14日公布的名称为“Guidewire Navigation for Sinuplasty”的美国公布2016/0008083的教导内容中的至少一些教导内容来提供图像，该公布的公开内容以引用方式并入本文。在操作者还使用内窥镜的情况下，也可在显示屏(16)上提供内窥镜图像。

当器械结合导航导丝(40)时，通过显示屏(16)提供的图像可帮助引导操作者在患者头部(H)内调转和另外操纵此类器械。还应当理解，如下所述的外科器械和其他种类外科器械的其他部件可结合传感器如导航导丝(40)的传感器。

图8示出了根据本发明的实施方案的可与手术导航系统或其他外科手术系统诸如IGS导航系统(10)一起使用的示例性内窥镜(100)。内窥镜 (100)包括可在使用期间被握持的主体(102)。一组控件(103)定位在主体(102)的远侧端部处。轴(104)从主体(102)朝远侧延伸。轴 (104)包括挠曲部分(108)和远侧末端(106)。如将在下文更详细所述，远侧末端(106)可包括一个或多个特征结构，诸如相机、光源、冲洗和抽吸、和/或可通过其部署柔性工具的通道。内窥镜(100)还包括位于挠曲部分(108)和远侧末端(106)之间的方位传感器(110)。方位传感器 (110)可包括一个或多个线圈，该一个或多个线圈被配置成响应于由场发生器24生成的交变电磁场而生成方位指示信号，使得导航系统(10)可实时跟踪远侧末端(106)在患者(P)的头部(H)内的三维方位，这类似于上文所述的导航导丝(40)的方位跟踪。

控件(103)能够操作以驱动轴(104)围绕轴(104)的纵向轴线的旋转。控件(103)还能够操作以驱动远侧末端(106)在挠曲部分(108)处远离轴(104)的纵向轴线的偏转。仅以举例的方式，控制电路(103)可根据2019年1月17日公布的名称为“Adjustable Instrumentfor Dilation of Anatomical Passageway”的美国公布2019/0015645的教导内容中的至少一些教导内容来配置和操作，该公布的公开内容以引用方式并入本文。仅以进一步举例的方式，内窥镜(100)还可包括用于激活内窥镜(100)的特征结构的一个或多个控件；或用于推进、撤回和旋转经由内窥镜(100)部署到手术部位的柔性工具的控件；或者参考本文的教导内容对于本领域的技术人员而言将显而易见的任何其他类型的控件。

图9A和图9B各自示出了根据本发明的实施方案的可用作内窥镜 (100)的远侧末端(106)的示例性远侧末端(300)。远侧末端(300) 可静态地定位在轴(104)的远侧端部处；或者可定位在柔性轴或可偏转轴的远侧端部处，该柔性轴或可偏转轴从远侧末端(106)的通道延伸或可通过该通道推进和撤回。远侧末端(300)包括器械通道(302)，一旦远侧末端(300)定位在期望位置处，柔性器械和工具就可通过该器械通道进行部署。仅以举例的方式，通道(302)的尺寸可被设定成容纳扩张导管、剃刮器械、消融器械、和/或参考本文的教导内容对于本领域的技术人员而言将显而易见的各种其他类型的器械。远侧末端300还包括波前成像装置(304)和一组灯(306)(例如，LED、光纤、红外光源等)。远侧末端 (300)还包括一组冲洗转向器(308)。每个冲洗转向器(308)在近侧定位到对应的冲洗通道(例如，图10A和图10B中可见的冲洗通道 (310)，这两个图各自示出了其中一个或两个冲洗转向器(308)被移除的远侧末端(300))。冲洗转向器(308)适于接收和引导来自冲洗通道 (310)的水或其他液体以洗涤波前成像装置(304)、灯(306)或这两者。

波前成像装置(304)可包括能够采集图像数据并将图像数据传输到处理器(12)的数字相机(例如，一个或多个图像传感器)或成像装置；或能够存储和处理图像数据以生成3D图像数据的IGS导航系统(10)的另一装置。虽然一些常规3D图像采集装置可需要能够主动且独立地聚焦于目标的两个或更多个偏移成像装置，但是本示例的波前成像装置(304)能够使用波前采样技术从单个相机或图像传感器产生3D图像数据。为了产生与波前采样技术兼容的图像数据，波前成像装置(304)包括一个或多个光圈，该一个或多个光圈定位在目标与相机镜头之间；并且为偏轴的或者偏离镜头的光轴。当利用波前成像装置(304)对目标进行成像时，将产生将包含目标的多个非聚焦描绘的单个图像，该多个非聚焦描绘基于一个或多个光圈的方位而彼此偏移。每个非聚焦图像之间的距离可用于计算到成像目标的深度或距离。由波前成像装置(304)采集的图像可作为波前采样算法(诸如Frigerio的多图像程序)的输入来提供，以便产生成像对象的3D 深度标测图和3D模型。

图11示出了根据本发明的实施方案的实现静态光学系统(320)的波前成像装置(304)的一个示例。静态光学系统(320)包括具有定位在镜头(326)与目标(330)之间的第一静态光圈(328a)和第二静态光圈 (328b)的镜头(326)。光圈(328a,328b)为沿直径相对的并且偏离镜头(326)的光轴。可使用两个或更多个光圈，其中较多数量的光圈提高所得3D图像的准确性，同时需要额外的时间以用于目标的成像和图像数据的处理。较少数量的光圈可缩短成像和处理所需的时间，但交换代价是损失所得3D图像的准确性。可增大或减小光圈尺寸以便控制所采集图像的景深。减小光圈与镜头(326)之间的距离也可产生改善的波前采样结果。

在成像期间，镜头(326)将通过光圈(328a,328b)接收目标(330) 的第一非聚焦图像(332a)和第二非聚焦图像(332b)，并且将第一非聚焦图像(332a)和第二非聚焦图像(332b)引导到图像平面(322)上。图像平面(322)可由CCD、CMOS或其他图像传感器提供。所得图像 (332a，332b)之间的图像偏移(336)随后可被确定并被用作波前采样技术的一部分，以确定像素深度并产生目标(330)的3D模型。

图12示出了根据本发明的实施方案的被实现为主动光学系统(340) 的波前成像装置(304)的另一个示例。主动光学系统(340)包括具有单个光圈(344a)的镜头(326)，该单个光圈定位在镜头(326)与目标 (330)之间的可旋转光圈板(342)上。光圈板(342)可在成像期间电子地且自动地旋转，以便在整个旋转过程中将单个光圈(344a)从其所示方位移动到第二方位(344b)、第三方位(344c)等。在该示例中，光圈板 (342)围绕与镜头(326)的光轴同轴的旋转轴线旋转。如同静态光学系统(320)，镜头(326)在光圈板(342)的旋转期间接收目标(330)的非聚焦图像。因此，第一非聚焦图像(346a)、第二非聚焦图像 (346b)、第三非聚焦图像(346c)等在沿循旋转路径(348)的偏移方位处被投影到图像平面(322)上。由图像平面(322)采集的该图像数据随后可与波前采样技术一起使用，以确定像素深度并产生目标(330)的3D 模型。。

图13示出了根据本发明的实施方案的可被执行以利用成像装置诸如成像装置304产生三维图像模型的一组示例性步骤(400)。图像数据可按照上文在图11和图12的上下文中所述的方式来采集(框402)，并且通过应用波前采样算法(例如，Frigerio的多图像程序或另一种类似算法)而被处理成3D图像数据。例如，此类过程可包括定义锚点图像以用作确定其他图像的偏移的基础(框404)。锚点图像可为随意选择的图像，即相对于两个或更多个其他图像最居中定位的图像；或者可基于其他标准来选择。然后可使用光流方法来计算锚点图像与其他图像之间的像素位移(框406)。可根据整个图像上的点拟合圆(框408)，并且可确定旋转直径(或其他偏移值)(框410)。然后可使用旋转直径来计算图像的多个像素的像素深度 (框412)。然后可使用像素深度来构建成像对象或目标的3D模型(框 414)。

远侧末端(300)和波前成像装置(304)可为有利的，因为它们提供了用于对手术部位进行3D成像的解决方案，该解决方案具有相对较低的复杂性(例如，相比于具有多个独立且主动取向的相机的3D相机)；并且它们可安装在器械的端部上，诸如远侧末端(106)处，或者可安装在柔性轴或可偏转轴上。当波前成像装置(304)利用静态光学系统(320)来实现时，可尤其实现复杂性降低的优点，该静态光学系统可在小物理尺寸需求和最小支撑需求的前提下实现，这归因于低功率使用和不含移动部件(例如，诸如光圈板(342)或能够独立取向的相机)。

如上所述，本示例的内窥镜(100)包括方位传感器(110)，该方位传感器能够操作以提供指示远侧末端(106)在三维空间中的实时方位的信号。当成像装置(304)采集图像时，可将来自成像装置(304)的图像数据与来自方位传感器(110)的方位数据一起存储，使得IGS导航系统 (10)(和/或一些其他计算机系统)可将每个采集的图像与其在三维空间中的对应位置相关联。这将使得IGS导航系统(10)能够将利用成像装置 (304)采集的图像与一个或多个手术前获得的图像(例如，CT或MRI扫描、3-D标测图等)相关联。本发明的该方面连同下文的双相机3D成像可与上文所述的本发明的图像校正方面一起使用。

图14A和图14B各自示出了根据本发明的其他实施方案的可用作内窥镜(100)的远侧末端(106)的另一个示例性远侧末端(500)。远侧末端 (500)可静态地定位在轴(104)的远侧端部处；或者可定位在柔性轴或可偏转轴的远侧端部处，该柔性轴或可偏转轴从远侧末端(106)的通道延伸或可通过该通道推进和撤回。远侧末端(500)包括器械通道(502)，该器械通道具有与器械通道(302)类似的特征和功能；灯(506)，该灯具有与灯(306)类似的特征和功能；以及一组冲洗通道(510)，该组冲洗通道具有与冲洗通道(310)类似的特征和功能。远侧末端(500)还包括第一成像装置(504a)和第二成像装置(504b)，该第一成像装置和第二成像装置可包括能够在远侧末端(500)处采集图像数据并将其经由轴或柔性轴传输到处理器(12)的数字相机(例如，一个或多个图像传感器) 或其他数字成像装置、联接单元(42)、或者能够处理所采集的图像的 IGS导航系统(10)的另一装置。参考图8B，可以看出，成像装置(504a, 504b)沿着第一维度(512)彼此偏移，并且沿着第二维度(514)位于相同方位处。

图15A和图15B示出了根据本发明的实施方案的用于利用被动立体视觉对目标进行成像的远侧末端(500)的图解视图，该被动立体视觉为使用两个或更多个成像装置从两个或更多个不同视角获得图像的三角形划分方法。利用被动立体视觉产生的图像可转换成3D图像数据算法，诸如基于对极几何结构确定像素深度的摄影测量算法。在图15A中，可以看出，第一成像装置(504a)和第二成像装置(504b)被布置在远侧末端(500)上，使得它们具有平行的光轴。当被引导到目标(520)处时，第一成像装置 (504a)将采集目标(520)的第一视场(522)，同时第二成像装置 (504b)将采集目标(520)的第二视场(526)。

由于两个成像装置(504a,504b)具有平行的光轴(例如，并非独立地聚焦或取向到会聚点)，因此由这些装置采集的图像可包含目标(520)的重叠部分。例如，图15A和图15B示出了第一视场(522)和第二视场 (526)以及共享视场(524)，在该共享视场中，目标(520)将由两个成像装置采集。参考图15B，可以看出，目标(520)基本上居中地设置在共享视场(524)内。然而，目标(520)定位在第一视场(522)的右侧和第二视场(526)的左侧。该视差，或者目标(520)从第一视场(522)到第二视场(526)偏移或移位的距离，可用于确定成像装置与目标之间的距离，并且随后可确定所采集图像的像素或部分的深度。

确定和使用视差来确定深度为被动三角形划分的示例。图16示出了根据本发明的实施方案的可被执行以对图像数据应用被动三角形划分的一组示例性步骤(600)。可通过两个或更多个静态布置的相机诸如第一成像装置(504a)和第二成像装置(504b)采集目标的图像数据(框602)，由此从两个不同方位产生目标的两个不同图像。可在一个图像内拾取点(例如，图像的一个或多个像素或部分)(框604)，并且将在第二图像中搜索匹配点(例如，在两个图像之间共享的目标诸如目标(520)的一部分，如图9B所示)。对第一图像内的点执行图像分析以找到整个第二图像内的匹配点可能既低效又不准确，由此导致高处理需求和增加的假阳性匹配可能性。

为了提高匹配的速度和准确性，可确定与两个图像相关联的对极线的特征(框606)。对极几何结构为以下概念，该概念可应用于由具有平行光轴的相机采集的两个图像，以便确定图像中的两个匹配像素或点之间的视差或距离，而无需在整个图像中搜索以进行匹配。图17和图19示出了根据本发明的实施方案的图示，该图示示出了用于立体成像中的对极几何结构。

参考图17，其示出了图示(700)，该图示示出了视差(例如，图像中的两个匹配点之间的距离)和深度(例如，从相机到目标或目标中的像素或点的距离)之间的关系，第一相机(704)和第二相机(706)被布置成使得它们具有穿过其相应镜头的平行光轴(例如，线F-B和线G-D)，该镜头被布置在相同的镜头平面(703)上。利用这种布置，目标A (702)位于每个相机的视场内。相机的光轴之间的距离为BC+CD，并且三角形ACB和BFE具有类似的特征，但具有不同的尺寸。将三角形几何形状应用于图17，图像中的两个匹配点或像素之间的位移可被表示为相机光轴之间的距离乘以从镜头平面(703)到图像传感器的距离除以到目标(702)的深度或距离，或者位移＝(BD*BF)/AC。在确定位移或视差之后，该公式可另选地用于确定或求解到目标(702)的距离或AC。

为了在不搜索整个图像的情况下确定图像中的点或像素之间的位移，可应用图18所示的对极几何结构的原理。由于相机(704,706)具有相对于彼此的固定方位和平行的光轴，因此可确定在第一图像(708)和第二图像(710)上延伸的对极线(712)，沿着该对极线可找到匹配点或像素。因此，当将第一图像(708)上的点与第二图像(710)上的点匹配时，仅需要搜索落在对极线(712)上的第二图像(710)的部分，而非整个第二图像(710)。通过以这种方式进行匹配，可显著提高可在整个图像上匹配点的速度和准确性。

在匹配点之后(框608)，通过应用对极几何结构或使用另一种匹配方法，可确定匹配点之间的位移或视差(框610)，该位移或视差随后可用于确定成像装置与目标之间的深度或距离(框612)。在能够确定深度(框 612)的情况下，可构建3D图像数据集和3D模型(框614)。

如上所述，本示例的内窥镜(100)包括方位传感器(110)，该方位传感器能够操作以提供指示远侧末端(106)在三维空间中的实时方位的信号。当成像装置(504a,504b)采集图像时，可将来自成像装置(504a, 504b)的图像数据与来自方位传感器(110)的方位数据一起存储，使得 IGS导航系统(10)(和/或一些其他计算机系统)可将每个采集的图像与其在三维空间中的对应位置相关联。这将使得IGS导航系统(10)能够将利用成像装置(504a,504b)采集的图像与一个或多个手术前获得的图像 (例如，CT或MRI扫描、3-D标测图等)相关联。

在产生如上所述的3D图像数据之后，此类图像数据可用于在IGS导航期间提供附加特征。例如，图19示出了根据本发明的实施方案的可被执行以将3D模型或3D图像数据与IGS导航集成的一组步骤(800)的流程图。在使用适当的成像模块(例如，远侧末端(300)的波形成像装置 (304)、远侧末端(500)的成组相机(504a,504b))采集图像数据(框 802)并构建3D模型或其他3D图像数据集(框804)之后，可以各种方式使用此类数据。例如，可通过使用位置数据诸如方位和取向将3D图像数据与其他图像以及数据关联图像集彼此组合来创建合成图像集(框806)。这可包括例如将构建的3D模型(框804)与手术前采集的CT图像集、在规程期间利用方位跟踪的2D内窥镜采集的2D图像集或其他类似信息相关联，使得可从多个图像集同时显示手术部位的匹配视角。

又如，可创建手术前比较(框808)，该手术前比较将手术前采集的 CT扫描或其他3D模型与构建的3D模型(框804)进行比较。这可用于辅助规划或准备外科规程，或者验证一个或多个3D模型的准确性和构型。例如，构建的3D模型(框804)与CT图像集的比较可有助于识别一个或两个模型中的缺失或不正确的图像或深度数据，识别一个或两个模型中的不正确关联的位置数据，或者识别可通过重新成像以产生新3D图像数据或通过重新配置或重新校准以校正位置数据来校正的其他误差。

又如，可创建手术后比较(框810)，该手术后比较将术后CT扫描、 3D模型或其他图像数据与构建的3D模型(框804)进行比较，以辅助评估外科规程的成功性。可将手术前构建的3D模型(框804)与手术后构建的3D模型(框804)进行比较；或者与手术后CT扫描或手术部位的2D 成像进行比较。此类比较数据可有助于临床医生通过从3D成像中可用的不同视角物理地比较解剖结构来评估外科规程的成功或完整性。

仅以进一步举例的方式，可根据以下专利的教导内容中的至少一些来使用通过远侧末端(200)或远侧末端(300)采集或以其他方式生成的3D 图像数据：2018年12月20日提交的名称为“3D Scanning of Nasal Tract with Deflectable Endoscope”的美国临时专利申请62/782,608，其公开内容以引用方式并入本文；2012年6月12日公布的名称为“Method and Apparatus for Combining 3D Dental Scans with Other 3D Data Sets”的美国专利8,199,988，其公开内容以引用方式并入本文；和/或2014年9月2日公布的名称为“Method and Apparatus for Matching Digital Three-Dimensional Dental Modelswith Digital Three-Dimensional Cranio-Facial CAT Scan Records”的美国专利8,821,158，其公开内容以引用方式并入本文。

以下实施例涉及本文的教导内容可被组合或应用的各种非穷尽性方式。应当理解，以下实施例并非旨在限制可在本专利申请或本专利申请的后续提交文件中的任何时间提供的任何权利要求的覆盖范围。不旨在进行免责声明。提供以下实施例仅仅是出于例示性目的。预期本文的各种教导内容可按多种其他方式进行布置和应用。还设想到，一些变型可省略在以下实施例中所提及的某些特征。因此，下文提及的方面或特征中的任一者均不应被视为决定性的，除非另外例如由发明人或关注发明人的继承者在稍后日期明确指明如此。如果本专利申请或与本专利申请相关的后续提交文件中提出的任何权利要求包括下文提及的那些特征之外的附加特征，则这些附加特征不应被假定为因与专利性相关的任何原因而被添加。

一种三维(3D)成像系统，包括：内窥镜，所述内窥镜包括：具有远侧末端的轴，所述轴适于插入到患者体内并定位在所述患者的手术部位处；方位传感器，所述方位传感器靠近所述远侧末端并被配置成基于所述内窥镜在使用期间的所述位置产生方位信号集；和成像模块，所述成像模块定位在所述远侧末端处并能够操作以采集所述手术部位的图像数据集，其中所述图像数据集包括一个或多个二维(2D)图像；以及处理器，所述处理器与所述内窥镜通信地联接并被配置成：从所述内窥镜接收所述图像数据集和所述方位信号集；基于所述方位信号集确定视角数据集，其中所述视角数据集指示所述内窥镜在所述图像数据集的采集期间的所述位置；执行图像深度分析以确定所述图像数据集的3D特征集，其中所述3D特征集包括所述一个或多个2D图像中的像素深度；基于所述一个或多个2D图像和所述3D特征集来创建3D图像数据集；以及将所述视角数据集与所述 3D图像数据集相关联。

根据实施例1所述的3D成像系统，其中所述成像模块包括：单个镜头；光圈板，所述光圈板定位在所述单个镜头的第一侧与所述手术部位之间，所述光圈板包括从所述单个镜头的所述光轴偏移的一个或多个光圈；以及图像窗格，所述图像窗格定位在所述单个镜头的第二侧以经由所述一个或多个光圈和所述单个镜头接收来自所述手术部位的反射光，其中所述图像窗格被配置成基于所述反射光产生所述图像数据集。

根据实施例2所述的3D成像系统，其中：所述一个或多个光圈包括定位在所述光圈板上并且从所述单个镜头的所述光轴偏移的至少两个光圈，并且所述光圈板相对于所述镜头具有固定方位和取向。

根据实施例2至3中任一项或多项所述的3D成像系统，其中：所述一个或多个光圈包括定位在所述光圈板上的从所述单个镜头的所述光轴偏移的单个光圈，并且所述光圈板能够操作以在图像采集期间相对于所述镜头围绕其圆形轴线旋转。

根据实施例2至4中任一项或多项所述的3D成像系统，其中所述处理器被配置成在执行所述图像深度分析时：在所述图像数据集内识别所述手术部位的两个或更多个非聚焦图像；确定所述手术部位的所述两个或更多个非聚焦图像之间的空间关系；以及基于所述两个或更多个非聚焦图像之间的所述空间关系来确定所述图像数据集中的所述像素深度。

根据实施例1至5中任一项或多项所述的3D成像系统，其中所述成像模块包括两个或更多个相机，并且其中所述两个或更多个相机中的每个相机：相对于所述两个或更多个相机中的每隔一个相机静态地定位，被取向成与所述两个或更多个相机中的每隔一个相机具有平行的光轴。

根据实施例6所述的3D成像系统，其中所述处理器还被配置成在执行所述图像深度分析时：识别所述图像数据集中的第一图像中的点，其中所述点包括存在于由所述两个或更多个相机中的第一相机采集的所述第一图像和由所述两个或更多个相机中的第二相机采集的第二图像两者内的所述手术部位的一部分；识别所述第二图像中的所述点；确定所述点从所述第一图像到所述第二图像的位移；以及基于所述位移来确定所述点的所述像素深度。

根据实施例7所述的3D成像系统，其中所述处理器还被配置成在识别所述第二图像中的所述点时：基于所述第一相机相对于所述第二相机的静态位置来确定所述第一图像和所述第二图像的对极线；以及沿着所述对极线搜索所述第二图像中的所述点，同时排除不落在所述对极线上的所述第二图像的部分。

根据实施例1至实施例8中任一项或多项所述的3D成像系统，其中所述处理器还被配置成：将所述3D图像数据集和所述视角数据集与图像引导手术系统的坐标系相关联，以及基于与所述坐标系的所述关联，在图像引导手术导航规程期间显示所述3D图像数据集。

根据实施例1至9中任一项或多项所述的3D成像系统，其中：所述方位传感器被配置成基于所述内窥镜在使用期间的所述位置和取向来产生所述方位信号集，所述视角数据集指示所述内窥镜在所述图像数据集的采集期间的所述位置和取向，并且所述处理器还被配置成将所述3D图像数据集和所述视角数据集提供给图像引导手术导航系统。

根据实施例1至10中任一项或多项所述的3D成像系统，其中所述处理器还被配置成：接收来自用户的限定相对于所述手术部位的视角的输入；基于识别所述视角数据集内的所述视角来确定从所述视角示出所述手术部位的所述3D图像数据集的第一部分；以及在显示器上显示所述3D图像数据集的所述第一部分。

根据实施例11所述的3D成像系统，其中所述处理器还被配置成：接收所述手术部位的间接3D扫描和与所述间接3D扫描相关联的扫描视角数据集；基于识别所述扫描视角数据集内的所述视角来确定从所述视角示出所述手术部位的所述间接3D扫描的第二部分；以及在所述显示器上同时显示所述3D图像数据集的所述第一部分和所述间接3D扫描的所述第二部分。

根据实施例12所述的3D成像系统，其中：所述手术部位的所述间接 3D扫描包括手术前采集的图像数据，并且所述3D图像数据集包括手术后采集的图像数据。

根据实施例12至13中任一项或多项所述的3D成像系统，其中：所述手术部位的所述间接3D扫描包括手术前采集的图像数据，所述3D图像数据集包括手术前采集的图像数据，并且所述处理器还被配置成：接收来自用户的扫描调整输入；以及基于所述扫描调整输入来重新配置所述手术部位的所述间接3D扫描与所述扫描视角数据集之间的所述关联。

一种用于三维(3D)成像的方法，包括：将内窥镜的远侧末端部署到患者的手术部位，所述远侧末端包括：成像模块，所述成像模块能够操作以采集所述手术部位的图像数据，其中所采集的图像数据包括一个或多个二维(2D)图像；和方位传感器，所述方位传感器靠近所述远侧末端并被配置成基于所述内窥镜的所述位置产生方位信号；接收来自所述成像模块的图像数据集和来自所述方位传感器的方位信号集；基于所述方位信号集确定视角数据集，其中所述视角数据集指示所述内窥镜在所述图像数据集的采集期间的所述位置；执行图像深度分析以确定所述图像数据集的3D特征集，其中所述3D特征集包括所述图像数据集中的所述一个或多个2D图像中的像素深度；基于所述图像数据集中的所述一个或多个2D图像和所述 3D特征集来创建3D图像数据集；以及将所述视角数据集与所述3D图像数据集相关联。

根据实施例15所述的方法，还包括：将所述3D图像数据集和所述视角数据集与图像引导手术系统的坐标系相关联；以及基于与所述坐标系的所述关联，在图像引导手术导航规程期间显示所述3D图像数据集。

根据实施例15至16中任一项或多项所述的方法，还包括：接收来自用户的限定相对于所述手术部位的视角的输入；基于识别所述视角数据集内的所述视角来确定从所述视角示出所述手术部位的所述3D图像数据集的第一部分；以及在显示器上显示所述3D图像数据集的所述第一部分。

根据实施例17所述的方法，还包括：接收所述手术部位的间接3D扫描和与所述间接3D扫描相关联的扫描视角数据集；基于识别所述扫描视角数据集内的所述视角来确定从所述视角示出所述手术部位的所述间接3D扫描的第二部分；以及在所述显示器上同时显示所述3D图像数据集的所述第一部分和所述间接3D扫描的所述第二部分。

根据实施例18所述的方法，还包括：接收来自用户的扫描调整输入；以及基于所述扫描调整输入来重新配置所述手术部位的所述间接3D扫描与所述扫描视角数据集之间的所述关联；其中：所述手术部位的所述间接3D 扫描包括手术前采集的图像数据，并且所述3D图像数据集包括手术前采集的图像数据。

一种图像引导手术(IGS)导航系统，包括处理器、存储器和显示器，所述处理器被配置成：接收由跟踪内窥镜产生的图像数据集，所述图像数据集包括一个或多个二维(2D)图像；接收由所述跟踪内窥镜产生的视角数据集，其中所述视角数据集指示所述跟踪内窥镜在所述图像数据集的采集期间的位置；执行图像深度分析以确定所述图像数据集的3D特征集，其中所述3D特征集包括所述一个或多个2D图像中的像素深度；基于所述一个或多个2D图像和所述3D特征集来创建3D图像数据集；将所述视角数据集与所述3D图像数据集相关联；以及致使所述显示器基于包括选择的视角的所述视角数据集从所述选择的视角显示所述3D图像数据集。

一种系统，包括：医疗探头，所述医疗探头被配置成插入到患者的器官的腔内；位于所述医疗探头中的方位和方向传感器，所述方位和方向传感器在传感器坐标系中操作；位于所述医疗探头的远侧边缘中的相机，所述相机在传感器坐标系中操作；并且所述处理器被配置成：从在图像坐标系中操作的成像系统接收包括开放空间和器官组织的所述腔的三维图像；从所述医疗探头接收指示所述医疗探头的所述远侧边缘在所述腔内的方位和相应方向的信号；从所述探头的所述相机接收所述腔内的相应可视化位置；将所述图像坐标系与所述传感器坐标系配准，以便在所述可视化位置处识别所述三维图像中的一个或多个体素；以及当所识别的体素在所接收的三维图像中具有不对应于所述开放空间的密度值时，将所识别的体素的所述密度值更新以对应于所述开放空间。

根据实施例21所述的系统，其中所述成像系统包括计算机断层摄影扫描仪。

根据实施例21所述的系统，其中所述方位和方向传感器包括磁场传感器。

根据实施例21至23中任一项所述的系统，其中所述处理器被配置成形成所述密度值与视觉效果之间的对应性，其中给定视觉效果对应于指示所述开放空间的给定密度值。

根据实施例24所述的系统，其中所述视觉效果选自由颜色、阴影和图案组成的组。

根据实施例24所述的系统，其中所述处理器被配置成使用所述视觉效果在显示器上呈现所述三维图像。

根据实施例26所述的系统，其中所述给定视觉效果包括第一给定视觉效果，并且其中在更新所述密度值之前，所述处理器被配置成通过使用不同于所述第一给定视觉效果的第二给定视觉效果呈现所述一个或多个所识别的体素来呈现所述三维图像。

根据实施例27所述的系统，其中在更新所述密度值时，所述处理器被配置成通过使用所述第一给定视觉效果呈现所述一个或多个所识别的体素来呈现所述三维图像。

根据实施例28所述的系统，其中所述处理器被配置成使用多视图三角形划分模型从所述视觉信号提取位置距所述相机的距离。

一种方法，包括：从在图像坐标系中操作的成像系统接收包括开放空间和器官组织的患者的器官的腔的三维图像；从具有方位和方向传感器以及相机的医疗探头接收，其中所述探头在传感器坐标系中操作并插入到所述腔内：指示所述医疗探头的远侧边缘在所述腔内的方位和相应方向的信号；和所述腔内的相应可视化位置；将所述图像坐标系与所述传感器坐标系配准，以便在所述可视化位置处识别所述三维图像中的一个或多个体素；以及当所识别的体素在所接收的三维图像中具有不对应于所述开放空间的密度值时，将所识别的体素的所述密度值更新以对应于所述开放空间。

一种计算机软件产品，所述计算机软件产品与探头结合操作，所述探头被配置用于插入到患者的器官的腔内并且包括在传感器坐标系中操作的方位和方向传感器以及在传感器坐标系中操作的位于所述医疗探头的远侧边缘中的相机，并且所述产品包括其中存储程序指令的非暂态计算机可读介质，所述指令在由计算机读取时，致使所述计算机：从在图像坐标系中操作的成像系统接收包括开放空间和器官组织的所述腔的三维图像；从所述医疗探头接收指示所述医疗探头的所述远侧边缘在所述腔内的方位和相应方向的信号；接收所述腔的壁的相应可视化位置；将所述图像坐标系与所述传感器坐标系配准，以便在所述可视化位置处识别所述三维图像中的一个或多个体素；以及当所识别的体素在所接收的三维图像中具有不对应于所述开放空间的密度值时，将所识别的体素的所述密度值更新以对应于所述开放空间。

虽然本文的实施方案描述了由相机使用磁P&D感测和光学可视化来校正过时的CT图像的处理器，但是使用其他类型的方位感测和可视化来校正其他类型的医疗图像被认为是在本发明的实质和范围内。例如，超声可视化可与超声换能器而非相机一起使用。此外，虽然本文所述的实施方案主要涉及ENT规程，但本文所述的方法和系统也可用于其他应用中，诸如身体的器官的其他腔。

应当理解，本文所述的教导内容、表达、实施方案、示例等中的任何一者或多者可与本文所述的其他教导内容、表达、实施方案、示例等中的任何一者或多者进行组合。因此，上述教导内容、表达、实施方案、示例等不应视为彼此孤立。参考本文的教导内容，本文的教导内容可进行组合的各种合适方式对于本领域的技术人员而言将显而易见。此类修改和变型旨在包括在权利要求书的范围内。

应当理解，据称以引用方式并入本文的任何专利、专利公布或其他公开材料，无论是全文或部分，仅在所并入的材料与本公开中所述的现有定义、陈述或者其他公开材料不冲突的范围内并入本文。因此，并且在必要的程度下，本文明确列出的公开内容代替以引用方式并入本文的任何冲突材料。据称以引用方式并入本文但与本文列出的现有定义、陈述或其他公开材料相冲突的任何材料或其部分，将仅在所并入的材料与现有的公开材料之间不产生冲突的程度下并入。

本文所公开的装置的型式可设计为使用一次后丢弃，也可设计为供多次使用。在任一种情况下或两种情况下，可对这些型式进行修复以在至少一次使用之后重复使用。修复可包括以下步骤的任意组合：拆卸装置，然后清洁或替换特定零件以及随后进行重新组装。具体地，可拆卸所述装置的型式，并且可选择性地以任何组合形式来更换或拆除所述装置的任意数量的特定部件或零件。在清洁和/或更换特定零件时，所述装置的型式可在修复设施中进行重新组装以供随后使用，或者在即将进行外科手术前由外科团队进行重新组装。本领域的技术人员将会了解，装置的修复可利用多种技术进行拆卸、清洁/更换、以及重新组装。此类技术的使用以及所得的修复装置均在本申请的范围内。

仅以举例的方式，本文所述的型式可在外科手术之前进行处理。首先，可以获取新的或用过的器械，并且根据需要进行清洁。然后，可对器械进行消毒。在一种消毒技术中，将所述器械放置在密闭且密封的容器 (诸如，塑料或TYVEK袋)中。然后可将容器和器械置于可穿透所述容器的辐射场，诸如γ辐射、x射线或高能电子。辐射可杀死器械上和容器中的细菌。经消毒的器械随后可被储存在无菌容器中。密封的容器可使器械保持无菌，直到在外科设施中打开所述容器。还可使用本领域已知的任何其他技术对装置进行消毒，所述技术包括但不限于β辐射或γ辐射、环氧乙烷或蒸汽。

在已经示出并描述了本发明的各种型式的情况下，通过本领域技术人员在不脱离本发明范围的前提下进行适当修改来实现对本文所述方法和系统的进一步改进。已经提及了若干此类可能的修改，并且其他修改对于本领域的技术人员而言将显而易见。例如，上文所讨论的示例、型式、几何形状、材料、尺寸、比率、步骤等等均是示例性的而非必需的。因此，本发明的范围应根据以下权利要求书来考虑，并且应理解为不限于说明书和附图中示出和描述的结构和操作的细节。