增强手术现实环境

本申请是申请号为201580041506X(国际申请号为PCT/US2015/041083)、申请日为2015年7月20日、发明名称为“增强手术现实环境”的专利申请的分案申请。

相关申请的交叉引用

本申请要求2014年7月25日提交的、申请号是62/028,974的美国临时专利申请的权益和优先权，该申请的全部公开通过引用方式并入本文中。

技术领域

本公开涉及用于改善患者的手术预后的手术技术。更具体地，本公开针对用于在执行手术技术的同时增强和加强临床医生的视场的系统和方法。

背景技术

微创手术涉及代替使用一个较大的开口而使用多个小切口来执行手术操作。小切口减少了患者的不适并改善了恢复时间。小切口也限制了内部器官、组织和其他物质的可见度。

内窥镜被插入到一个或多个切口中，以使临床医生在手术期间更容易看到体内的内部器官、组织和其他物质。这些内窥镜包括联接到显示器的具有光学和/或数字变焦能力的相机，显示器显示如通过相机捕获的体内的器官、组织以及物质的放大视图。现有的内窥镜和显示器，特别是那些在手术机器人系统中使用的内窥镜和显示器具有有限的识别在相机的视场内但在显示器上所显示的光谱内不完全可见的状况或对象的能力。

例如，现有的微创和机器人手术工具(包括但不限于内窥镜和显示器)的以下能力有限(如果有的话)：在切除后识别组织灌注，在组织内定位不同尺寸的动脉，测量血管密封的有效性，从热特征(heat signature)识别患病的或死亡的组织，在切除后验证适当的功能，区分敏感区域(例如，输尿管)和周围物质(例如，周围血液)，以及检测对当前测试不可见的超小泄漏。在一些手术中，或者未实施这些检查，或者实施了更多创伤和/或耗时的测试以检查这些和其他状况和对象。

存在对在手术期间识别在手术相机的视场内但在显示器上所显示的光谱内不完全可见的更大范围的可能状况或对象的需要。

发明内容

在本公开的一方案中，提供了一种用于在手术操作期间观察感兴趣区域的增强图像的增强现实手术系统。所述系统包括图像捕获装置，所述图像捕获装置被配置为捕获所述感兴趣区域的图像。所述系统还包括控制器，所述控制器被配置为接收所述图像并且对所述图像应用至少一个图像处理滤波器以产生增强图像。所述图像处理滤波器包括：空间分解滤波器，其被配置为将所述图像分解成多个空间频带；时间滤波器，其被配置为应用于所述多个空间频带以产生多个时间滤波带；相加器(adder)，其被配置为将所述多个空间频带中的每个带与所述多个时间滤波带中的对应带相加，以产生多个增强带；和重构滤波器，其被配置为通过合并所述多个增强带来产生增强图像。然后向用户显示所述增强图像。

所述图像捕获装置可以捕获具有多个图像帧的视频，并且所述控制器将所述至少一个图像处理滤波器应用于所述多个图像帧中的每个图像帧。

所述时间滤波器从所述多个空间频带中隔离至少一个空间频带，以产生所述多个时间滤波带。在所述多个空间频带中的每个带与所述多个时间滤波带中的对应带相加以产生所述多个增强带之前，所述多个时间滤波带通过放大器放大。

所述图像处理滤波器可以使用被配置为高亮所述图像中的一个或多个边缘的边缘检测算法，其中一个或多个高亮的边缘被添加到所述增强图像。

所述系统可以包括被配置为获取多个高光谱图像的至少一个高光谱传感器(hyper-spectral sensor)。所述图像处理滤波器使用高光谱算法来组合所述多个光谱图像以产生三维高光谱图像立方体，所述三维高光谱图像立方体添加到所述增强图像。

所述系统还可以包括红外相机，所述红外相机被配置为捕获至少一个图像，其中所述图像处理滤波器产生红外图像，该红外图像被添加到所述增强图像。

在本公开的另一个方案中，提供了一种用于产生增强图像的方法。非暂时性计算机可读介质包括但不限于闪存、光盘和固态驱动器，该非暂时性计算机可读介质可以存储指令，所述指令在由包括但不限于控制器或中央处理单元的处理设备执行时使处理设备执行一个或多个功能，包括本文所述的方法。方法可以包括利用图像捕获装置捕获至少一个图像。所述至少一个图像被分解以产生多个空间频带。时间滤波器被应用于所述多个空间频带以产生多个时间滤波带。所述多个空间频带中的每个带与所述多个时间滤波带中的对应带相加，以产生多个增强带。所述多个增强带被合并以产生增强图像，该增强图像显示在显示器上。

从所述多个空间频带隔离至少一个空间频带。在将所述多个空间频带中的每个带与所述多个时间滤波带中的对应带相加以产生多个增强带之前，可以放大所述时间滤波带。

边缘检测算法可以被应用为高亮所述图像中的一个或多个边缘，并且所述一个或多个高亮的边缘被添加到所述增强图像。

可以获取多个高光谱图像。所述多个高光谱图像被组合以产生三维高光谱图像立方体。所述三维高光谱图像立方体被添加到所述增强图像。

红外图像可以被获取并添加到所述增强图像。

附图说明

根据下文的详细描述并结合附图，本公开的上述和其他方案、特征和优点将变得更加明显，其中：

图1是用于增强手术环境的系统的框图；

图2A至图2D是如何可能实现图1的系统的示例；

图3是图1的控制器的系统框图；

图4是用于增强图像或视频的系统的第一框图；

图5是用于增强图像或视频的系统的第二框图；

图6是用于增强图像或视频的系统的第三框图；

图7是用于增强图像或视频的系统的第四框图；以及

图8是机器人手术系统的系统框图。

具体实施方式

可以分析在手术操作期间从手术相机捕获的图像数据以识别相机视场内的对象的附加的不可感知属性，所述对象可以是不可见的或可见的，但是使人在观看显示在屏幕上的相机图像时难以清楚地看到。可以将各种图像处理技术应用于该图像数据以识别患者体内的不同状况。例如，欧拉图像放大技术可以用于识别捕获图像的不同部分中的光的波长或“颜色”变化。可以进一步分析这些变化以识别再灌注、动脉血流和/或血管类型。

欧拉图像放大还可以用于使图像帧之间的运动或活动对临床医生更可见。在一些实例中，可以向临床医生呈现不同图像帧之间的预定波长的光的测量强度的变化，以使临床医生更加意识到特定感兴趣对象(例如，血液)的运动。

图像代数(image algebra)可用于识别在手术操作期间用于切割组织或其它物质的最佳位置。在一些实例中，图像代数可以包括边缘检测和/或欧拉图像放大以识别最佳切割位置。

高光谱图像分析可用于识别视域范围内的小区域中的微小变化，所述微小变化可以是不可见的或者对于人眼来说难以辨别。这些高光谱图像分析技术可以与欧拉图像放大结合以识别这些区域的具体的一组变化。

图像代数可以与高光谱图像分析结合以识别对象或其他块体(mass)的边缘。图像代数可以包括边缘检测和/或可以与高光谱图像分析和欧拉图像放大二者结合以识别块体的边缘。

红外光可以用于识别患病的、死亡的和/或异常的组织的边界。滤波器可以用于从所捕获的图像数据隔离红外、近红外或其它范围中的一个或多个期望的波长。欧拉图像放大和/或图像代数可以用于分析滤波的图像数据并识别特定的组织边界。

欧拉图像放大、图像代数、高光谱图像分析和滤波技术中的一个或多个可以被包括来作为成像系统的部分。这些技术可以使成像系统能够提供关于相机视场内的不明显状况和对象的附加信息并加强手术预后。该附加信息可以包括但不限于：识别组织灌注、定位特定尺寸的动脉(诸如较大的动脉)、验证血管密封的有效性、识别异常组织的热特征、验证期望的对象运动(诸如，在死亡组织的边缘缺乏活动或在切除后验证适当的流动)、区分看起来相似的对象(诸如区分输尿管、肠系膜下动脉和/或周围血液)、以及检测小的泄漏(例如，在吻合术后可能发生的泄漏)。

这些技术中的一个或多个可以被包括来作为手术机器人系统中的成像系统的部分，以向临床医生实时提供关于内窥镜视场内的不明显状况和对象的附加信息。这可以使临床医生能够在手术期间快速识别、避免和/或纠正不期望的情况和状况。例如，临床医生能够在手术期间验证血管已经被适当地密封、血液适当地流动、在吻合术后没有漏气、和/或已经移除了患病组织。然后，如果有需要，临床医生则能够在手术期间纠正这些问题。临床医生还能够识别体内的手术器械应避免接触或额外小心地处置的脆弱的或关键的对象，诸如较大的动脉或输尿管。

本公开针对用于在手术操作期间向临床医生实时提供增强图像的系统和方法。本文描述的系统和方法将图像处理滤波器应用于所捕获的图像，以经由显示器向临床医生提供增强或加强的图像。在一些实施例中，该系统和方法允许在手术操作期间的视频捕获。捕获的视频被实时或准实时地处理，然后作为增强图像显示给临床医生。图像处理滤波器应用于捕获的视频的每个帧。向临床医生提供增强图像或视频允许临床医生识别并解决潜在的不利生理状况，从而减少对额外手术操作的需要以及确保原始手术操作的有效性。

本文所述的实施例使临床医生能够识别接收过多或无效血液的区域、吻合或密封的有效性、用于识别患病组织的器官中的温度变化、用于判定组织是否存活的微小的组织活动以及组织厚度。另外，本文所述的实施例可用于识别切除后的组织灌注、动脉位置，区分不同组织，以及判定漏气。

现转向图1，根据本公开的实施例的用于增强手术环境的系统一般性地被示出为100。系统100包括具有处理器104和存储器106的控制器102。系统100还包括记录静止帧图像(still frame image)或动像的图像捕获装置108(例如，相机)。传感器阵列110向控制器102提供关于手术环境的信息。例如，传感器阵列110包括生物计量传感器，该生物计量传感器能够获取患者的例如脉搏、体温、血压、血氧水平、心律等生物计量数据。传感器阵列110还可以包括高光谱传感器以执行高光谱成像。显示器112在手术操作期间向临床医生显示增强图像。在一些实施例中，控制器102可以经由无线或有线连接与中央服务器(未示出)通信。该中央服务器可以存储一个患者或多个患者的图像，该图像可以利用X射线、计算机断层扫描或磁共振成像来获取。

图2A至图2D描述了图1的系统如何在手术环境中实施的示例。如图2A至图2D所示，图像捕获装置108在手术操作期间捕获手术环境的图像。由图像捕获装置108所记录的图像、来自传感器阵列110的数据以及来自中央服务器(未示出)的图像通过控制器102结合以产生增强图像，该增强图像经由显示器112提供给临床医生。如图2A至图2D所示，显示器112可以是投影仪(图2A)，激光投影系统(图2B)，一副眼镜，或监视器(图2D)，所述眼镜将图像投影到的一个镜片上(诸如谷歌眼镜(GOOGLE

图3描述了控制器102的系统框图。如图3所示，控制器102包括收发器114，收发器114被配置为从图像捕获装置108接收静止帧图像或视频，或者从传感器阵列110接收数据。在一些实施例中，收发器114可以包括经由无线通信协议接收静止帧图像、视频或数据的天线。静止帧图像、视频或数据被提供给处理器104。处理器104包括图像处理滤波器116，图像处理滤波器116处理所接收的静止帧图像、视频或数据以产生增强图像或视频。图像处理滤波器116可以利用分立的部件、软件或其组合来实施。增强图像或视频被提供给显示器112。

现转向图4，可以应用于由收发器114接收的视频的图像处理滤波器的系统框图被示出为116A。在图像处理滤波器116A中，利用空间分解滤波器118将所接收的视频的每个帧分解为不同的空间频带S

在所述帧经过使用空间分解滤波器118之后，时间滤波器120被应用于所有空间频带S

在一些实施例中，代替使用放大器放大所隔离的时间滤波带，图像处理滤波器116A可以在重构该视频之前使用一种或多种颜色来突出时间滤波带。针对患者的期望部位(例如，血管或神经)采用不同的颜色可以使临床医生更容易识别这种部位的位置。

现转向图5，图像处理滤波器的系统框图被示出为116B，该图像处理滤波器可以应用于通过收发器114接收的静止帧图像或视频。如图5所示，输入图像124(即，捕获的图像或来自视频的帧)被输入到图像处理滤波器116B。然后图像处理滤波器116B对输入图像124采用边缘检测算法，并输出突出了在输入图像124中发现的边缘的滤波图像126。

图6描绘了用于产生高光谱图像的系统的框图。如图6所示，传感器阵列110包括高光谱传感器128。高光谱传感器128采集一组图像，其中每个图像表示电磁波谱的不同范围。该组图像被发送到图像处理滤波器116C，图像处理滤波器116C采用高光谱算法来组合该组图像以形成三维(3D)高光谱图像立方体。3D高光谱图像立方体被输出到显示器112。

图7描绘了用于产生红外图像的系统的框图。如图7所示，红外相机130捕获图像或视频，并将所捕获的图像或视频发送到图像处理滤波器116D。图像处理滤波器116D处理接收到的所捕获的图像或视频，以产生在显示器112上显示的红外图像。

上述的图像处理滤波器(即，图像处理滤波器116A-116D)可以单独地用于识别手术操作期间的身体状况。在一些实施例中，图像处理滤波器116A可以用于识别颜色的变化，以便识别组织灌注或切除后的再灌注、动脉血流、血管类型。图像处理滤波器116A还可用于提高坏死组织的运动识别边缘的可见性或切除后组织的适当的机能。

在一些实施例中，可以组合上述滤波器以辅助临床医生识别不利的身体状况。例如，图像处理滤波器116A和116B可以被组合成识别不同组织的边缘，以确定用于执行任务(例如，切割)的最有效的布置。图像处理滤波器116A和116C可以被组合成识别小区域中的微小变化，例如，无法通过常规方法判定的漏气。图像处理滤波器116A、116B和116C可以被组合以识别块体(例如，肿瘤)的边缘。图像处理滤波器116A、116B和116D可以被组合以识别患病组织的边界。

图像处理滤波器116A、116B、116C和116D可以利用不同的电路来实施，或者它们可以利用基于应用于图像的滤波器来执行不同子例程的单个处理器来实施。

上述实施例还可以集成到机器人手术系统中。图8示出了可以包括在机器人手术系统1中的各种部件，诸如两个以上的机器人手臂2、3；控制装置4；以及与控制装置4耦合的操作控制台5。操作控制台5可以包括显示装置6，其可以特别地设置为显示三维图像；以及一个或多个手动输入装置7、8，人(未示出)(例如，外科医生)能够通过该手动输入装置在第一操作模式下遥控操纵机器人手臂2、3。

输入装置7、8的移动可以被缩放而使得附接到机器人手臂2、3的手术器械具有与输入装置7、8的移动不同(例如，更小或更大)的对应的移动。比例因子(scale factor)或传动比(gearing ratio)可以是可调节的，使得临床医生可以控制手术器械的操作端的分辨率。

机器人手臂2、3中的每个可以包括通过接头而连接的多个构件和手术组件20，手术组件20可以附接有(例如)诸如(例如)图像捕获装置108(诸如内窥镜)的手术器械或根据本文公开的任何实施例的具有末端执行器200的其它手术器械。手术组件20的远端可以被配置为支撑图像捕获装置108和/或具有末端执行器200的其它手术器械，末端执行器200包括但不限于抓紧器、手术吻合器、手术切割器、手术吻合切割器、线性手术吻合器、线性手术吻合切割器、圆形手术吻合器、圆形手术吻合切割器、手术施夹器、手术夹结扎器、手术夹紧装置、血管扩张装置、管腔扩张装置、手术刀、流体输送装置或任何其它类型的手术器械。这些手术器械中的每个可以被配置为通过机器人手臂2、3经由力传递构件进行致动和操纵。力传递构件可以以各种方式配置为诸如(例如)海波管(hypotube)、推杆、轴或栓系件，并且可以传递诸如(例如)轴向(即，推和拉)力、旋转力的各种力和/或各种扭矩。具有作为关节式运动的末端执行器200的相机的图像捕获装置108(诸如内窥镜)可以包括这种力传递构件。这些力传递构件中的一个或多个可以被构造成控制相机的关节式运动。

机器人手臂2、3可以通过连接到控制装置4的电驱动器来驱动。控制装置4(例如，计算机)被设置成尤其借助计算机程序的方式来触发驱动器，从而使机器人手臂2、3及其手术组件20进而使末端执行器200根据借助手动输入装置7、8所定义的移动来执行期望的移动。控制装置4还可以设置成使其调节机器人手臂2、3的移动和/或驱动器的移动。

控制装置4还可以通信地联接到手术系统1的其它部件，包括但不限于手术组件20；显示器6；输入装置7、8；以及联接到机器人手臂2、3的手术器械，诸如图像捕获装置108和具有末端执行器200的器械。控制装置4还可以包括控制器102或被联接到控制器102。控制器102和/或控制装置4可以包括收发器114，收发器114可以被配置为从图像捕获装置108接收静止帧图像或视频，或者从传感器阵列110接收数据。在一些实施例中，收发器114可以包括天线，用于经由无线通信协议来接收静止帧图像、视频或数据。收发器114还可以经由有线连接来接收静止帧图像、视频或数据。该静止帧图像、视频或数据可以被发送到处理器104。处理器104包括图像处理滤波器116，图像处理滤波器116处理所接收的静止帧图像、视频或数据以产生增强图像或视频。处理器104可以包括用于存储正在处理的图像、视频或数据的缓冲器或存储器106。图像处理滤波器116可以利用分立的部件、软件或其组合来实施。增强图像或视频可以被存储和/或发送到显示器6或另一输出设备。

在手术系统1中，至少一个图像捕获装置108可以联接到两个以上机器人手臂2、3中的至少第一机器人手臂。图像捕获装置108可以被配置为在手术操作期间插入到患者体内并且捕获患者体内的感兴趣区域的图像。所捕获的图像可以显示在显示器6上。

另一手术器械具有被配置为在手术操作期间操纵感兴趣区域中的组织的末端执行器200，该手术器械可以联接到两个以上机器人手臂2、3中的至少第二机器人手臂。

控制器102可以被配置为处理从图像装置108所捕获的图像，并将至少一个图像处理滤波器116(例如，在本申请通篇提到的一种或多种不同方式的滤波器116A至116D)应用于捕获的图像，以识别在手术操作期间的感兴趣区域中的对象的不可感知属性。控制器102可以向临床医生输出在手术操作期间所识别的不可感知属性。该不可感知属性可以以不同的方式输出，包括输出到可以向临床医生显示不可感知属性的显示器6，和/或通过触觉的方式输出使得临床医生可以感觉到不可感知属性。当不可感知属性被输出到显示器时，不可感知属性可以被改变或变换成更加清晰可见的信号，该信号可以被覆盖到捕获的图像的对应部分上并且在显示器上显示给临床医生。

可以附接到机器人手臂2、3的每个器械可以配备有工具类型标识符，诸如，快速响应代码、存储在器械的存储器中的标识符、与工具类型相关联的特定电路配置等等。手术系统1可以包括被配置为从附接到机器人手臂2、3的每个器械接收和/或读取工具类型标识符的部件或电路。然后可以使用该信息来选择可以被应用于所捕获的图像的特定的图像处理滤波器116。

工具类型标识符信息可以用于识别利用图像捕获装置108的视场定位的、附接到机器人手臂2、3的手术器械。例如，如果快速响应代码或其它工具类型标识符位于手术器械的、出现在图像装置108的视场内的末端执行器200、轴或其它部件上，则可以分析所捕获的图像数据以根据从图像捕获数据识别出的快速响应代码或其它标识符来识别该手术器械。

在其它情况下，进入图像捕获装置108的视场的手术器械可基于对关于图像捕获装置108(和/或附接有图像装置108的机器人手臂2)与附接到其它机器人手臂3中的一个机器人手臂的器械(和/或附接有该器械的机器人手臂3)的位置信息的比较来识别。可以从每个器械中的或者机器人手臂2、3中的一个或多个位置传感器来获取位置信息。可以采用变换来将来自不同机器人手臂2、3的不同坐标系中的绝对位置信息进行转换，从而可以获取一个机器人手臂2上的图像捕获装置108相对于附接到另一个机器人手臂3的手术器械的相对位置。该相对位置信息可以用于识别附接到另一个机器人手臂3的手术器械是否在图像捕获装置108的视场内。

在其它情况下，一个或多个相机可以用于捕获一个或多个机器人手臂2、3的图像。可以分析来自这些相机的图像数据以识别每个机器人手臂2、3的位置。可以分析该位置信息以判定附接有手术器械的机器人手臂3是否位于图像捕获装置108的视场内。也可以采用用于判定附接有手术器械的机器人手臂3是否位于图像捕获装置108的视场内的其它系统和方法。

如果位置信息和/或工具类型标识符指示特定的手术器械处于图像捕获装置108的视场内，则可以自动地选择对应于特定的手术器械的一个或多个图像处理滤波器116。例如，如果电烙式手术器械被识别为处于图像捕获装置108的视场内，则可以自动地选择示出血管密封的有效性的图像处理滤波器116。如果电烙式器械然后被移出视场并且诸如手术刀的切割器械被移入到视场中，则可以作为替代而自动地选择示出大动脉的位置的不同的图像处理滤波器116。

可以根据要执行的任务来自动地选择不同的图像处理滤波器116。例如，如果切割工具处于视场中，并且正以超过预定阈值的速率移动、和/或输入装置7、8的缩放因子(scaling factor)被改变使得手术器械移动得较快，则可以自动地选择示出大动脉的位置的图像处理滤波器116。然而，如果切割工具以较慢的速率移动和/或被触发以有条不紊地切割和/或移除组织，则可以作为替代而采用示出异常组织的图像处理滤波器116。相同的分析可以应用于电烙式工具：如果该工具在预定时段内没有被激活和/或正以超过预定阈值的速率移动，则可以自动地选择示出大动脉的位置的图像处理滤波器116。然而，如果电烙式工具正以较慢的速率移动和/或在预定时段内被激活以有条不紊地切割和/或移除组织，则可以作为替代而采用示出血管密封的有效性或其它期望属性的图像处理滤波器116。

输入装置7、8可以包括触觉件216以向临床医生提供与不可感知属性相关的反馈。例如，可以产生表示组织参数或状况(例如，由于操纵、切割或其它处理而引起的组织阻力、器械对组织的压力、组织温度、组织阻抗等)的输出信号并将其传输到输入装置7、8以向临床医生提供基于不可感知属性而变化的触觉反馈。触觉件216可以向临床医生提供关于可以提高患者安全性的对象的不可感知属性的加强触觉反馈。例如，触觉件216可以经实施以在通过输入装置7、8移动的手术器械进入大动脉或其他脆弱组织的预定距离内时向临床医生提供反馈，以防止对动脉和/脆弱的组织的可能的损伤。触觉件216可以包括振动电机、电活性聚合物、压电装置、静电装置、亚音速声波表面致动装置、反向电振动装置、或能够向用户提供触反馈的任何其它装置。输入装置7、8还可以包括用于脆弱组织操纵或处理的各种不同的致动器，进一步加强临床医生模拟实际操作状况的能力。

本文公开的实施例是本公开的示例，并且可以以各种形式实施。本文公开的具体结构的和功能的细节不应被解释为一种限制，而是作为权利要求的基础并且作为教导本领域技术人员以实际上任何适当地细化结构来以各种方式采用本公开的代表性基础。贯穿附图的描述，相同的附图标记可以指相似或相同的元件。

短语“在实施例中”、“在各实施例中”、“在一些实施例中”或“在其它实施例中”各自可以指代根据本公开的相同或不同实施例中的一个或多个。“A或B”形式的短语表示“(A)、(B)或(A和B)”。“A、B或C中的至少一个”形式的短语表示“(A)、(B)、(C)、(A和B)、(A和C)、(B和C)或者(A、B和C)”。临床医生可以指临床医生或诸如医生、护士、技术人员、医疗助理等执行医疗程序的任何医学专业人员。

本文描述的系统还可以利用一个或多个控制器来接收各种信息并且变换所接收的信息以产生输出。所述控制器可以包括任何类型的计算设备、计算电路或能够执行存储在存储器中的一系列指令的任何类型的处理器或处理电路。所述控制器可以包括多个处理器和/或多核中央处理单元(CPU)，并且可以包括任何类型的处理器，诸如微处理器、数字信号处理器、微控制器等。所述控制器还可以包括用于存储数据和/或算法以执行一系列指令的存储器。

本文描述的方法、程序、算法或代码中的任一种可以被转换或表示成编程语言或计算机程序。“编程语言”和“计算机程序”包括用于向计算机指定指令的任何语言，并且包括(但不限于)这些语言及其派生：汇编语言、Basic、批处理文件、BCPL、C、C+、C++、Delphi、Fortran、Java、JavaScript、机器代码、操作系统命令语言、Pascal、Perl、PL1、脚本语言、Visual Basic、自身指定程序的元语言以及所有的第一代、第二代、第三代、第四代和第五代计算机语言。还包括数据库和其它数据模式、以及任何其它元语言。对解释的语言、编译的语言或采用编译和解释两者方法的语言不作区分。在程序的编译版本和源版本之间也不作区分。因而，对编程语言可以以多于一种状态(诸如源的、编译的、对象的或链接的)存在的程序的引用是对任何所有这种状态的引用。对程序的引用可以包括实际指令和/或这些指令的意图。

本文描述的方法、程序、算法或代码中的任一种可以包含在一个或多个机器可读介质或存储器上。术语“存储器”可以包括以机器(诸如处理器、计算机或数字处理设备)可读的形式提供(例如，存储和/或传输)信息的机制。例如，存储器可以包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存设备或任何其它易失性或非易失性存储器存储设备。其上所包含的代码或指令可以由载波信号、红外信号、数字信号和其它类似方式的信号表示。

应当理解，前面的描述仅仅是对本公开的说明。本领域技术人员可以不偏离本公开来设计各种替代例和变形例。例如，本文所述的任何增强图像可以组合成单个增强图像以显示给临床医生。相应地，本公开旨在涵盖所有这样的替代例、变形例和变化例。参照附图所描述的实施例仅用于示范本公开的某些示例。与上述和/或所附权利要求中所述的大致无异的其它元件、步骤、方法和技术也旨在处于本公开的范围内。