使用相机的ENT工具

相关申请的交叉引用

本专利申请要求2018年10月4日提交的美国临时专利申请62/741395的权益，该临时专利申请以引用方式并入本文。

技术领域

本发明整体涉及外科工具，并且具体地涉及结合相机的ENT(耳、鼻和喉)工具。

背景技术

人类患者的窦通常为难以导航的狭窄曲折通道。这意味着操纵ENT工具来对窦进行光学检查是不容易的。如果当用于检查的相机旋转时，执行检查的医师所握持的工具的运动导致来自相机的图像被错误取向，则导航通常被进一步地复杂化。图像在屏幕上呈现给医师，并且相机的旋转可导致相机和/或工具的左-右运动在屏幕上显示为上-下运动或右-左运动。

授予Adler等人的美国专利7585273描述了一种具有相对的远侧端部和近侧端部的侵入式探头。探头包括被布置用于发射能量场的发射器和被布置用于接收能量场的接收器，并且发射器和接收器设置在探头的相对的端部处。控制单元适于响应于由接收器接收的能量场来确定远侧端部相对于近侧端部的取向。

发明内容

本发明的实施方案提供了设备，包括：

探头，该探头被配置成插入到人类患者的孔中，该探头包括：

插入管；

管状可偏转节段，该管状可偏转节段在远侧连接到该插入管；

相机，该相机附接到管状可偏转节段并且具有检视方向；

第一磁场传感器线圈，该第一磁场传感器线圈具有第一线圈对称轴并且附接到管状可偏转节段，其中第一轴平行于相机的检视方向；和

第二磁场传感器线圈，该第二磁场传感器线圈具有第二线圈对称轴并且附接到插入管，其中第二轴垂直于相机的检视方向；

显示器，该显示器被耦接以显示由相机输出的图像；以及

处理器，该处理器被耦接以接收由第一传感器线圈和第二传感器线圈响应于穿过线圈的磁场生成的信号，并且被配置成：

响应于在第一时间接收的信号，识别由相机产生的初始图像的初始取向，

响应于在第一时间之后的第二时间接收的信号，识别由相机产生的后续图像的后续取向，以及

在显示器上旋转后续图像，以便将后续图像重新取向为初始取向。

在本发明所公开的实施方案中，该设备包括第三磁场传感器线圈，该第三磁场传感器线圈具有第三线圈对称轴并且附接到插入管，其中第三轴垂直于该相机的检视方向和第二线圈对称轴，并且其中由该处理器接收的信号还包括由第三传感器线圈响应于穿过该第三线圈的磁场生成的信号。

在本发明所公开的另一个实施方案中，该设备包括固定地定位在可偏转管状节段内的柔性印刷电路板(PCB)，并且其中该相机固定地附接到柔性PCB的远侧终端。该柔性PCB可延伸到插入管中。

在本发明所公开的另一个实施方案中，该处理器被配置成响应于在第一时间和第二时间接收的信号来确定基于信号的相机旋转，并且该处理器还被配置成比较和分析初始图像和后续图像以便确定基于图像的相机旋转，并且旋转该后续图像包括应用基于信号的相机旋转和基于图像的相机旋转的平均值以重新取向该后续图像。分析初始图像和后续图像包括对图像滤波以去除相机的平移。

在另选的实施方案中，该设备包括生成磁场的磁跟踪系统，并且该处理器被配置成：

配准患者的计算机化断层摄影(CT)图像与磁跟踪系统；

响应于在第二时间接收的信号来确定相机的检视方向和位置；

在相机指向检视方向时，接收由该相机采集的光学图像；

使用相机的检视方向和位置来分析CT图像，以在该CT图像中找到位于相机的视场中的不透明表面；以及

将光学图像叠加在不透明表面上以纹理映射CT图像中的不透明表面。

在本发明的另一个实施方案中，还提供了一种用于将纹理映射应用于人类患者的计算机化断层摄影(CT)图像的方法，包括：

配准CT图像与磁跟踪系统，该磁跟踪系统被配置成跟踪患者体内的磁场传感器；

将耦接到磁场传感器的相机插入到患者的孔中；

响应于从磁场传感器接收的信号来确定相机的检视方向和位置；

在相机指向检视方向时，接收由该相机采集的光学图像；

使用相机的检视方向和位置来分析CT图像，以在该CT图像中找到位于相机的视场中的不透明表面；以及

将光学图像叠加在不透明表面上以纹理映射CT图像中的不透明表面。

接收光学图像可包括将相机和相机的视场定位在透明区域中。

根据本发明的另一个实施方案，还提供了一种方法，包括：

将探头的管状可偏转节段在远侧连接到该探头的插入管；

将相机附接到管状可偏转节段，该相机具有检视方向；

将具有第一线圈对称轴的第一磁场传感器线圈附接到管状可偏转节段，其中第一轴平行于相机的检视方向；

将具有第二线圈对称轴的第二磁场传感器线圈附接到插入管，其中该第二轴垂直于相机的检视方向；

将探头插入到人类患者的孔中；

提供显示器，该显示器被耦接以显示由相机输出的图像；

接收由第一传感器线圈和第二传感器线圈响应于穿过线圈的磁场生成的信号；

响应于在第一时间接收的信号，识别由相机产生的初始图像的初始取向；

响应于在第一时间之后的第二时间接收的信号，识别由相机产生的后续图像的后续取向；以及

在显示器上旋转后续图像，以便将后续图像重新取向为初始取向。

在本发明的另一个实施方案中，还提供了设备，包括：

磁跟踪系统，该磁跟踪系统在人类患者体内生成磁场；

探头，该探头被配置成插入到人类患者的孔中；

相机，该相机附接到探头并且具有检视方向；

磁场传感器，该磁场传感器耦接到相机并且被配置成响应于穿过传感器的磁场而生成信号；

显示器，该显示器被耦接以显示图像；以及

处理器，该处理器被耦接以接收信号，并且被配置成：

配准患者的计算机化断层摄影(CT)图像与磁跟踪系统；

响应于信号来确定相机的检视方向和位置；

在相机指向检视方向时，接收由该相机采集的光学图像；

使用相机的检视方向和位置来分析CT图像，以在该CT图像中找到位于相机的视场中的不透明表面；

将光学图像叠加在不透明表面上以纹理映射CT图像中的不透明表面；以及

在显示器上呈现纹理映射的CT图像。

结合附图，通过以下对本公开的实施方案的详细描述，将更全面地理解本公开，其中：

附图说明

图1是根据本发明实施方案的ENT(耳、鼻和喉)系统的示意图；

图2为根据本发明实施方案的用于系统中的工具的示意图；

图3为根据本发明的实施方案的工具的远侧端部的示意图；

图4A、图4B、图4C示出了根据本发明的实施方案的形成于阵列上的图像以及如何在屏幕上显示图像；

图5为根据本发明的实施方案的实现用于将由相机生成的图像保持在期望取向的步骤的流程图；

图6为根据本发明的实施方案的实现用于将纹理映射应用于患者的CT图像的步骤的流程图；并且

图7、图8、图9、图10为描述根据本发明的实施方案的流程图的步骤的各方面的示意图。

具体实施方式

将相机插入到患者的孔中时遇到的问题之一会在相机被旋转时发生。例如，相机可结合在插入到患者的鼻孔中以便检视患者的窦的ENT工具中，并且为了提供良好的检视，相机可需要被旋转。由相机产生的图像呈现在屏幕上，但是如果相机被旋转，则工具的后续运动诸如左-右运动可被错误取向，并且可在屏幕上呈现为上-下运动或右-左运动。

本发明的实施方案针对相机的任何旋转来校正呈现在屏幕上的图像。

在一个实施方案中，用作ENT工具的探头在探头的远侧部分处具有可偏转管状节段。位于探头的近侧部分处的插入管连接到管状节段。限定检视方向的相机固定地附接到管状节段的远侧区域，并且第一磁场传感器线圈也固定地附接到管状节段的远侧区域，使得线圈的对称轴平行于相机的检视方向。第二磁场传感器线圈固定地附接到可旋转管，使得线圈的对称轴垂直于相机的检视方向。

显示器被耦接以显示由相机输出的图像。

处理器被耦接以接收由第一传感器线圈和第二传感器线圈响应于穿过线圈的磁场生成的信号。处理器还被配置成使用该信号来识别由相机在第一时间产生的初始图像的初始取向，并且使用该信号来识别由相机在第二时间产生的后续图像的后续取向。处理器随后可在显示器上旋转后续图像，以便将后续图像重新取向为初始取向。

因此，当将探头放置在上文提及的生成磁场的磁场跟踪系统中时，处理器能够使用来自传感器的信号来定量地确定相机的任何旋转，并且将对应的旋转应用于呈现在显示器上的图像，以便防止所呈现图像的错误取向。

在第二实施方案中，分析由相机采集的图像。第一图像可呈现在屏幕上，并且可被选择为“取向限定”图像。后续图像随后被采集并被分析以确定是否已发生任何相机旋转。如果已发生旋转，则将该旋转进行量化，并且将对应的旋转应用于所采集的图像，使得旋转的所采集的图像呈现在保持限定取向的屏幕上。

在第三实施方案中，将纹理映射应用于患者的计算机化断层摄影(CT)图像。配准CT图像与磁跟踪系统，该磁跟踪系统被配置成跟踪患者体内的磁传感器。然后将耦接到磁传感器的相机插入到患者的孔中，并且来自传感器的信号给出相机的检视方向和位置。相机在指向其检视方向时提供光学图像。

处理器应用相机的检视方向和位置来分析CT图像，以便在CT图像中找到位于相机视场中的不透明表面。处理器随后将光学图像叠加在不透明表面上以便纹理映射不透明表面。

在以下的描述中，附图中的类似元件由类似数字来标识，并且类似元件根据需要通过在标识数字后附加字母来进行区分。

如本文所用，针对任何数值或范围的术语“约”或“大约”指示允许部件或元件的集合实现如本文所述的其预期要达到的目的的合适的尺寸公差。更具体地，“约”或“大约”可指列举值的值±10％的范围，例如“约90％”可指81％至99％的值范围。

现在参考图1，图1是根据本发明的实施方案的ENT(耳、鼻和喉)系统20的示意图。在以下描述中，假设系统20中的ENT工具21用于对患者22执行球囊鼻窦扩张术手术，但是应当理解，该工具可用于对患者执行其他手术。

如下所述，在一个实施方案中，工具21包括单轴线圈32和双轴线圈34，该单轴线圈和双轴线圈充当磁场传感器并且在手术期间由磁跟踪系统23跟踪。为了使跟踪是有效的，在系统20中，将患者22的CT(计算机化断层摄影)图像和磁跟踪系统23的参照系进行配准。虽然CT图像通常可包括磁共振成像(MRI)图像或荧光透视图像，但是在本文的描述中，以举例的方式，图像被假设为包括荧光透视CT图像。

在窦手术之前和期间，将包括在磁跟踪系统中的磁辐射器组件24定位在患者的头部附近。组件24包括磁场辐射器26，该磁场辐射器被固定在适当位置并将交变磁场传输到患者22的头部所位于的区域30中。由区域30中的单轴线圈32响应于磁场而生成的电位使得能够在磁跟踪系统的参照系中测量单轴线圈的位置和取向。位置可在三个线性维度(3D)上测量，并且取向可针对与单轴线圈的对称轴正交的两个轴线来测量。然而，线圈32相对于其对称轴的取向不能由线圈生成的电位确定。

对于双轴线圈34的两个线圈中的每个线圈也是如此。即，对于每个线圈，3D上的位置可被测量，相对于与线圈对称轴正交的两个轴线的取向也可被测量，但线圈相对于其对称轴的取向不能被确定。

以举例的方式，组件24的辐射器26被布置成在患者22的头部周围的大致马蹄形状。然而，组件24的辐射器的另选构型将是显而易见的，并且所有此类构型均被视为包括在本发明的范围内。

在手术之前，可通过将磁传感器定位在图像的已知位置(诸如患者的鼻子的末端)处来执行磁跟踪系统的参照系与CT图像的配准。然而，可使用用于配准参照系的任何其他方便的系统。

包括辐射器26以及线圈32和34的系统20的元件在系统处理器40的总体控制下。处理器40可安装在控制台50中，该控制台包括操作控件58，该操作控件通常包括小键盘和/或指向装置，诸如鼠标或轨迹球。控制台50经由一根或多根缆线和/或无线地连接到辐射器以及线圈32和34。医生54使用操作控件58以与处理器交互，同时使用系统20来执行ENT手术。在执行该手术时，处理器可在显示器56(在本文中也称为屏幕56)上呈现该手术的结果。

处理器40利用存储于存储器42中的软件来操作系统20。该软件可以例如以电子形式通过网络下载到处理器40，或者另选地或除此之外，该软件可以被提供和/或存储在非临时性有形介质诸如磁存储器、光学存储器或电子存储器上。

图2为工具21的示意图，并且图3为根据本发明的实施方案的工具的远侧端部25的示意图。工具21包括连接在一起的近侧节段80和远侧节段82，但是可以从近侧节段拆卸和移除远侧节段。

远侧端部25在本文中也称为探头25。在探头25中，远侧节段82包括关节运动式管状节段84，该关节运动式管状节段可从直线构型86可调节地弯折为弯曲构型88，该弯曲构型在图2中由虚线示意性地示出。在其直线构型中，管状节段84具有对称轴y。弯曲构型发生在包括轴y和与y轴正交的x轴的平面中。在本文的描述中，假设存在与y轴和x轴两者均正交的z轴。

可通过经由旋转旋钮90向线52施加张力以及释放该线上的张力来执行从直线构型到弯曲构型以及从弯曲构型到直线构型的调节。另外如下所述，线52从远侧端部25延伸到旋钮90。

管状节段84在其非关节运动式近侧端部92处固定地连接到插入管100，该插入管可围绕对称轴y旋转，如由图2中的双头箭头所指示的。管100的旋转可通过旋转旋钮90来实现。因此，旋钮90执行两个功能：关节运动节段84的弯曲和管100的旋转。根据滑动控制件102的位置决定执行哪种功能。在控制件的第一个位置，旋钮90的旋转致使关节运动节段84偏转，而管100静止。在控制件的第二位置，旋钮的旋转致使管100随着旋钮围绕管对称轴旋转，而节段84保持在其偏转(或未偏转)状态。

管100和节段84一起形成管状探头101，并且探头的尺寸被设计用于可插入患者22的孔口中，诸如患者的鼻孔和/或鼻窦。

大致矩形的柔性印刷电路板(PCB)120固定地定位在管状节段84内，并且朝近侧延伸到近侧节段80中。PCB 120在xy平面中对准，使得当管状节段弯折成其弯曲构型时，PCB与其一起弯折。PCB将节段84分成上部区域和下部区域，并且该下部区域能够充当工作通道，该工作通道允许元件诸如导丝、球囊鼻窦扩张机构以及来自近侧节段80的一种或多种流体穿过通道。这些元件的功能与本发明的实施方案无关，因此为了简洁起见，本文不描述该功能。

相机62安装在PCB 120的远侧终端的上表面上，并且假设相机具有光学传感器的平面矩形阵列64，该阵列具有平行于节段84的x轴和z轴的边缘并且因此与y轴正交。假设阵列64具有一组平行于节段84的xyz轴并且原点位于阵列64的中心处的x

发光二极管(LED)66安装在PCB上表面上，并且当节段84插入到患者22体内时，LED为将在阵列64上形成的图像提供照明。

单轴传感器线圈32也安装在PCB 120的远侧终端处的上表面上，并且该线圈被安装成使其对称轴平行于节段84的对称轴。

双轴线圈34通常通过镀覆到表面上而形成于非关节运动式近侧端部92的表面上。在本文所述的实施方案中，双轴线圈34包括两个传感器线圈34A、34B，这两个传感器线圈为大致平面的，并且被配置成使其对称轴彼此正交，并且也与单轴线圈32的对称轴正交，即，垂直。在本文的描述中，假设传感器线圈34A、34B的对称轴分别平行于节段84的x轴和z轴。

在一些实施方案中，仅存在一个传感器，在本文中假设为线圈34A。以下描述假设线圈34A、34B作为双轴线圈34存在，并且该描述可加以必要的变更来适用于仅存在单个线圈34A的情况。

用于传感器线圈、相机和LED的连接导体形成于PCB 120上，并且导体在这些元件与近侧节段80和处理器40之间传输信号。

图4A、图4B、图4C示出了根据本发明的实施方案的形成于阵列64上的图像以及如何在屏幕56上显示图像。在所有图中，假设阵列64为矩形的，具有平行于阵列的z

虽然屏幕56不能旋转，但是阵列64能够旋转，例如其能够围绕轴y

图4A示出了其中阵列64尚未围绕轴y

图4B示出了其中阵列64已围绕y

图4C示出了其中阵列64已围绕y

上文提及的图4B和图4C的部分中的屏幕56已用虚线绘制，以指示这并非为医师54在查看屏幕56时所看到的最终显示并且图像130B和130C为虚像。相反，在本发明的实施方案中，由医师看到的显示示于图4B的部分140和图4C的部分142中，其中屏幕46已用实线绘制。

如图4B所示，本发明的实施方案将虚像130B顺时针旋转45°以形成具有圆形区域152B的显示图像150B。类似地，如图4C所示，本发明的实施方案将虚像130C顺时针旋转90°以形成具有圆形区域152C的显示图像150C。

虽然部分140和142示出阵列64的45°和90°旋转被所显示图像的对应旋转抵消，但是应当理解，一般来讲，阵列64的θ任何角度旋转θ均可被所显示图像的旋转抵消。

因此，在手术期间，本发明的实施方案通过所显示图像的θ旋转θ来抵消阵列64的任何角度旋转。图5的流程图描述了用于抵消阵列64的旋转的步骤。

在手术期间，本发明的实施方案还使用由阵列64采集的图像来将纹理映射应用于患者22的CT图像。下文另外示出的图6的流程图描述了用于应用此类纹理映射的步骤。这两个流程图的步骤彼此独立，并且可同时实施。

图5为根据本发明的实施方案的实现用于将由相机62生成的图像保持在期望取向的步骤的流程图。

在初始步骤200中，配准磁跟踪系统23和患者22的CT图像的参照系，如上所述。为了执行配准，磁跟踪系统23被激活，并且用于跟踪单轴线圈32和双轴线圈34的位置和取向，如上所述。假设跟踪被实时地更新，使得以举例的方式，在一个实施方案中，假设系统23以20Hz的速率更新其跟踪数据，但更新速率可比这更慢或更快。工具21可用于配准，其中来自传感器32的信号提供工具的远侧末端的3D位置。然而，也可使用任何其他方便的配准方法。

在相机激活步骤202中，医师54激活相机62，使得由相机生成的光学视频图像在屏幕56上显示给医师。通常，图像为圆形的，这大致类似于圆形部分138A(图4A)。实时地更新图像，并且以举例的方式，在本文的描述中，假设图像以20帧/秒(fps)的速率(即，以与跟踪更新相同的速率)生成并更新。然而，本发明的其他实施方案可以较慢或较快的帧生成速率操作。在其中跟踪更新快于图像更新的情况下，可将来自跟踪更新的位置进行平均以对应于图像更新。

在插入步骤204中，医师54将工具21插入到患者22的鼻孔中。一旦被插入，处理器40就显示由相机62生成的患者22的内部要素的视频图像以供医师检视。将视频图像显示在屏幕56上。

在选择取向步骤206中，医师选择要保持恒定的所显示图像的取向。通常，医师可通过注意到所显示的图像已旋转以使其处于非期望取向，然后旋转工具21以使得图像恢复到期望取向来进行这种选择。

医师使用控件58或另一个控件(例如，可结合到工具21的柄部中的按钮)来进行选择。激活控制程序向处理器40传送命令以开始测量相机62围绕其轴y

在旋转测量比较步骤208中，处理器40利用两种方法中的至少一种方法来测量相机62围绕轴y

在第一方法中，处理器40使用来自传感器32和34的连续跟踪信号来决定在连续信号之间是否存在围绕轴y

在第二方法中，处理器40比较由阵列64采集的连续图像，以确定图像之间是否已存在围绕阵列平面中的阵列中心(即，与y

应当理解，由处理器执行的比较滤除了连续图像之间的其他可能变化，诸如因平移引起的变化。连续图像之间的平移可由医师54相对于被成像的对象侧向地移动工具21来引起。

如果步骤208返回肯定结果，即，处理器确定在连续图像或连续跟踪测量结果之间已发生旋转，则在抵消步骤210中，处理器测量已发生的旋转，并且将对应的旋转应用于显示在屏幕56上的图像。所显示图像抵消了相机62的任何旋转。

在一些实施方案中，使用第一旋转测量方法和第二旋转测量方法两者，在这种情况下，步骤210中的测得的旋转可包括两个系统的旋转的平均值。

如果步骤208返回否定结果，即，处理器确定在连续图像或连续跟踪测量结果之间不存在旋转，则控制程序返回到步骤208的开始。

处理器40在由医师执行的手术过程期间迭代地实施比较步骤208，使得在医师已在步骤206中选择要保持恒定的所显示图像取向之后，相机62围绕轴y

图6为实现用于将纹理映射应用于患者22的CT图像的步骤的流程图，并且图7、图8、图9、图10为描述根据本发明的实施方案的步骤的各方面的示意图。

在初始准备步骤250中，处理器40将体绘制应用于患者22的CT图像。处理器可使用本领域中已知的用于体绘制的任何方便的方法。此外，相机62的视场(FOV)也被输入到处理器。

步骤252、254和256分别基本上如上文针对图5的流程图的步骤200、202和204所述。

在跟踪相机步骤258中，处理器40采集相机62的位置和取向，并存储由相机采集的光学图像。处理器使用从传感器32和34接收的信号来采集相机的位置和取向。在本文的描述中，假设相机的取向包括相机在采集其图像时指向的方向，即相机检视方向。图7为由相机采集的图像的示意图。

步骤258通常由医师54向处理器40提供命令以存储由相机62采集的光学图像来实施。如下所述，将所采集的图像应用于CT图像的纹理成像。用于实施步骤258的典型场景为医师在屏幕56上在由相机采集的图像中观察感兴趣场景，诸如器官的出血。

在完成步骤258之后，可实时地执行后续步骤260、262。另选地或除此之外，可在步骤258已经完成之后的某个时间实施后续步骤，例如在医生54查阅对患者22执行的已完成手术的结果时。

在表面确定步骤260中，处理器40将相机的位置、取向和视场(FOV)应用于CT图像，以识别被相机“看到”的CT图像的体绘制表面的一部分。在步骤258中找到相机的位置和取向。在步骤250中，处理器确定相机的FOV。

图8为患者22的CT图像的部分280的示意性剖视图，该图解释了步骤260的表面确定。在工具21插入时，包括相机62的工具的远侧端部通常位于空气中，即，位于CT图像部分280的透明区域284诸如腔中，该透明区域具有等于零的Hounsfield单位(HU)。由于CT图像的参照系与磁跟踪系统以及因此相机的参照系被配准，因此处理器40将相机的位置和检视方向应用于CT图像，使得在部分280中，矩形288表示相机，并且虚线292表示相机检视方向。

相机的FOV由虚线296示出，并且处理器延伸FOV线直到它们连接到CT图像的具有非零HU值的部分300。此类部分通常包括不透明要素诸如骨或脂肪的图像。因为相机位于透明区域284中，所以由与部分300相交的FOV线296形成的表面所限定的表面区域304为由相机“看到”的CT图像的部分，并且对应于图7的图像。

图9示出了CT图像部分300(即，CT图像的具有非零HU值的部分)，以及由与部分300相交的线296形成的表面区域304。

在图像叠加步骤262中，处理器将在步骤256中采集和存储的对应图像叠加在CT表面部分304上，以产生纹理映射图像。图10示出了纹理映射图像，其包括叠加到CT图像部分300上的图7的图像。

步骤258、260和262的上述描述假设为非迭代过程。然而，在一些实施方案中，步骤258、260和262可重复，如由虚线箭头264所示。给定重复可以在医师的授意下进行，例如，当在由相机采集的图像中观察到另一个感兴趣场景时。另选地或除此之外，在手术期间的至少部分时间内，医师可将重复实施为实时重复。在实时重复中，可在屏幕56上连续地更新CT图像的纹理映射。

由以上描述应当理解，本发明的实施方案包括单件设备，该单件设备被配置成执行由图5的流程图和图6的流程图描述的两种不同算法。这两种算法为独立的，并且可由单件设备同时地或非同时地执行。

因此应当理解，上面描述的实施方案以举例的方式被引用，并且本发明不限于上文特定示出和描述的内容。相反，本发明的范围包括上述各种特征的组合和子组合以及它们的变型和修改，本领域的技术人员在阅读上述说明时应当想到所述变型和修改，并且所述变型和修改并未在现有技术中公开。