外科视野中显示方面的基于风险的优先级

相关申请的交叉引用

本申请根据35 U.S.C.§119(e)要求2021年4月14日提交的名称为“HEADS UPDISPLAY”的美国临时专利申请号63/174,674和2021年11月30日提交的名称为“INTRAOPERATIVE DISPLAY FOR SURGICAL SYSTEMS”的美国临时专利申请号63/284,326的权益，这些美国临时专利申请中的每一者的公开内容全文以引用方式并入本文。

背景技术

本公开涉及用于在外科规程期间提供增强现实交互式体验的设备、系统和方法。在外科规程期间，希望提供真实世界环境的增强现实交互式体验，其中驻留在真实世界中的对象通过叠加计算机生成的感知信息(有时跨多个感知模态，包括视觉、听觉、触觉、躯体感觉和嗅觉)来增强。在本公开的上下文中，通过将计算机生成的视觉、听觉、触觉、躯体感觉、嗅觉或其他感觉信息叠加在外科视野及外科视野中出现的器械或其他对象的真实世界图像上，由此增强外科视野及外科视野中出现的外科器械和其他对象的图像。图像可被实时流式传输，或可为静止图像。

真实世界的外科器械包括多种外科装置，包括能量、缝合器或组合的能量和缝合器。基于能量的医疗装置包括但不限于基于射频(RF)的单极和双极电外科器械、超声外科器械、组合式RF电外科和超声器械、组合式RF电外科和机械缝合器等。外科缝合器装置是用于在包括减肥、胸部、结肠直肠、妇科、泌尿科和普通手术的多种外科规程中切割和缝合组织的外科器械。

发明内容

在各个实例中，外科系统在外科规程中使用。该外科系统包括：外科器械，该外科器械被配置为能够在外科规程中处理组织；成像装置；显示器，该显示器被配置为能够显示该外科规程的外科视野的实况流，其中该实况流由该成像装置捕获；和控制模块。该控制模块被配置为能够检测外科风险；将显示优先级分配给该外科风险；以及基于该显示优先级确定该外科风险的显示布置，其中该显示布置包括将警告特征叠加在该实况流上。

在各个实例中，外科系统在外科规程中使用。该外科系统包括：外科器械，该外科器械被配置为能够在外科规程中处理组织；成像装置；显示器，该显示器被配置为能够显示该外科规程的外科视野的实况流，其中该实况流由该成像装置捕获；和控制模块。该控制模块被配置为能够检测外科风险；将严重性程度分配给该外科风险；以及基于该外科风险的该严重性程度来确定该外科风险的显示布置，其中该显示布置包括警告特征。

附图说明

通过参考以下结合如下附图所作的说明可最好地理解本文所述的各种方面(有关手术组织和方法两者)及其进一步的目的和优点。

图1是根据本公开的一个方面的计算机实现的交互式外科系统的框图。

图2是根据本公开的一个方面的用于在手术室中执行外科规程的外科系统。

图3是根据本公开的一个方面的与可视化系统、机器人系统和智能器械配对的外科集线器。

图4示出了根据本公开的一个方面的外科数据网络，该外科数据网络包括模块化通信集线器，该模块化通信集线器被配置为能够将位于医疗设施的一个或多个手术室中或医疗设施中专门为外科操作配备的任何房间的模块化装置连接到云。

图5示出了根据本公开的一个方面的计算机实现的交互式外科系统。

图6示出了根据本公开的一个方面的包括耦接到模块化控制塔的多个模块的外科集线器。

图7示出了根据本公开的一个方面的增强现实(AR)系统，该系统包括被定位在成像模块和外科集线器显示器之间的通信路径中的中间信号组合器。

图8示出了根据本公开的一个方面的增强现实(AR)系统，该系统包括被定位在成像模块和外科集线器显示器之间的通信路径中的中间信号组合器。

图9示出了根据本公开的一个方面的由外科医生佩戴的用以将数据传送到外科集线器的增强现实(AR)装置。

图10示出了根据本公开的一个方面的用于使用增强现实显示器来增强外科器械信息的系统。

图11示出了根据本公开的一个方面的态势感知外科规程的时间轴。

图12示出了根据本公开的至少一个方面的外科可视化系统。

图13是示出根据本公开的至少一个方面的用于确定竞争呈现在显示器上的外科数据的显示布置的示例性方法的操作的流程图。

图14是示出根据图13的方法的用于确定6011检测到的外科数据的显示优先级值的示例性方法6020的操作的流程图。

图15是示出根据本公开的至少一个方面的用于确定外科吻合术内的组织张力和/或压力参数的显示优先级值的方法的操作的流程图。

图16是示出根据本公开的至少一个方面的用于基于触发事件来确定显示优先级值的方法的操作的流程图。

图17是示出根据本公开的至少一个方面的方法的操作的流程图。

图18是示出根据本公开的至少一个方面的用于在外科规程中在外科视野的实况流之间自动切换的方法的操作的流程图。

图19是根据本公开的至少一个方面的用于在外科规程期间平衡系统资源的方法的操作的流程图。

图19A是示出根据本公开的至少一个方面的用于基于外科数据在静态显示模式与活动显示模式之间进行转变的方法的操作的流程图。

图19B是示出根据本公开的至少一个方面的用于将外科数据的视觉表示在静态显示模式与活动显示模式之间进行转变的方法的操作的流程图。

图20是示出根据本公开的至少一个方面的用于解决显示布置中的显示冲突的方法的操作的流程图。

图21是示出根据本公开的至少一个方面的用于解决采用外科器械的外科规程中的组织变化的方法的操作的流程图。

图22A至图22C示出了根据本公开的至少一个方面的显示布置。

图23A至图23B示出了根据本公开的至少一个方面的显示布置。

图24示出了根据本公开的至少一个方面的显示布置。

图25示出了根据本公开的至少一个方面的显示布置。

图26示出了根据本公开的方法的显示布置。

图27A至图27C示出了根据本公开的方法的显示布置。

图28示出了根据本公开的方法的显示布置。

图29示出了根据本公开的方法的显示布置。

图30示出了根据本公开的方法的显示布置。

图31是示出根据本公开的至少一个方面的用于在外科规程期间基于风险来操纵显示布置的方法的操作的流程图。

图32示出了根据本公开的至少一个方面的显示布置。

图33示出了根据本公开的至少一个方面的显示布置。

图34示出了根据本公开的至少一个方面的显示布置。

在若干视图中，对应的参考符号指示对应的零件。本文所述的范例以一种形式示出了各种公开的实施方案，并且此类范例不应被解释为以任何方式限制本发明的范围。

具体实施方式

本申请的申请人拥有与之同时提交的以下美国专利申请，这些专利申请中的每一者的公开内容全文以引用方式并入本文：

·名称为“METHOD FOR INTRAOPERATIVE DISPLAY FOR SURGICAL SYSTEMS”的美国专利申请，代理人案卷END9352USNP1/210120-1M号；

·名称为“UTILIZATION OF SURGICAL DATA VALUES AND SITUATIONALAWARENESS TO CONTROL THE OVERLAY IN SURGICAL FIELDVIEW”的美国专利申请，代理人案卷END9352USNP2/210120-2号；

·名称为“SELECTIVE AND ADJUSTABLE MIXED REALITY OVERLAY IN SURGICALFIELDVIEW”的美国专利申请，代理人案卷END9352USNP3/210120-3号；

·名称为“SYSTEMS AND METHODS FOR CONTROLLING SURGICAL DATA OVERLAY”的美国专利申请，代理人案卷END9352USNP5/210120-5号；

·名称为“SYSTEMS AND METHODS FOR CHANGING DISPLAY OVERLAY OF SURGICALFIELDVIEW BASED ON TRIGGERING EVENTS”的美国专利申请，代理人案卷END9352USNP6/210120-6号；

·名称为“CUSTOMIZATION OF OVERLAID DATA AND CONFIGURATION”的美国专利申请，代理人案卷END9352USNP7/210120-7号；

·名称为“INDICATION OF THE COUPLE PAIR OF REMOTE CONTROLS WITH REMOTEDEVICES FUNCTIONS”的美国专利申请，代理人案卷END9352USNP8/210120-8号；

·名称为“COOPERATIVE OVERLAYS OF INTERACTING INSTRUMENTS WHICH RESULTIN BOTH OVERLAYS BEING EFFECTED”的美国专利申请，代理人案卷END9352USNP9/210120-9号；

·名称为“ANTICIPATION OF INTERACTIVE UTILIZATION OF COMMON DATAOVERLAYS BY DIFFERENT USERS”的美国专利申请，代理人案卷END9352USNP10/210120-10号；

·名称为“MIXING DIRECTLY VISUALIZED WITH RENDERED ELEMENTS TO DISPLAYBLENDED ELEMENTS AND ACTIONS HAPPENING ON-SCREEN AND OFF-SCREEN”的美国专利申请，代理人案卷END9352USNP11/210120-11号；

·名称为“SYSTEM AND METHOD FOR TRACKING APORTION OF THE USER AS APROXY FOR NON-MONITORED INSTRUMENT”的美国专利申请，代理人案卷END9352USNP12/210120-12号；

·名称为“UTILIZING CONTEXTUAL PARAMETERS OF ONE OR MORE SURGICALDEVICES TO PREDICT A FREQUENCY INTERVAL FOR DISPLAYING SURGICAL INFORMATION”的美国专利申请，代理人案卷END9352USNP13/210120-13号；

·名称为“COOPERATION AMONG MULTIPLE DISPLAY SYSTEMS TO PROVIDE AHEALTHCARE USER CUSTOMIZED INFORMATION”的美国专利申请，代理人案卷END9352USNP14/210120-14号；

·名称为“INTRAOPERATIVE DISPLAY FOR SURGICAL SYSTEMS”的美国专利申请，代理人案卷END9352USNP15/210120-15号；

·名称为“ADAPTATION AND ADJUSTABILITY OR OVERLAID INSTRUMENTINFORMATION FOR SURGICAL SYSTEMS”的美国专利申请，代理人案卷END9352USNP16/210120-16号；以及

·名称为“MIXED REALITY FEEDBACK SYSTEMS THAT COOPERATE TO INCREASEEFFICIENT PERCEPTION OF COMPLEX DATA FEEDS”的美国专利申请，代理人案卷END9352USNP17/210120-17号。

本申请的申请人拥有以下美国专利申请，这些专利申请中的每一者的公开内容全文以引用方式并入本文：

·名称为“METHOD OF COMPRESSING TISSUE WITHIN ASTAPLING DEVICE ANDSIMULTANEOUSLY DISPLAYING THE LOCATION OF THE TISSUE WITHIN THE JAWS”的美国专利申请号16/209,423，现为美国专利申请公布号US-2019-0200981-A1；

·名称为“METHOD FOR CONTROLLING SMART ENERGY DEVICES”的美国专利申请号16/209,453，现为美国专利申请公布号US-2019-0201046-A1。

在详细说明外科装置和发生器的各个方面之前，应该指出的是，例示性示例的应用或使用并不局限于附图和具体实施方式中所示出的零件的构造和布置的细节。例示性示例可单独实施，或与其他方面、变更形式和修改形式结合在一起实施，并可以各种方式实践或执行。此外，除非另外指明，否则本文所用的术语和表达是为了方便读者而对例示性示例进行描述而所选的，并非为了限制性的目的。而且，应当理解，以下描述的方面中的一个或多个、方面和/或示例的表达可以与以下描述的其他方面、方面和/或示例的表达中的任何一个或多个组合。

各种方面涉及用于各种基于能量和外科缝合器的医疗装置的外科系统的屏幕显示。基于能量的医疗装置包括但不限于基于射频(RF)的单极和双极电外科器械、超声外科器械、组合式RF电外科和超声器械、组合式RF电外科和机械缝合器等。外科缝合器装置包括具有电外科装置和/或超声装置的组合式外科缝合器。超声外科装置的各方面可被配置用于例如在外科规程期间横切和/或凝固组织。电外科装置的各方面可被配置用于例如在外科规程期间横切、凝固、密封、焊接和/或干燥组织。外科缝合器装置的各方面可被配置用于在外科规程期间横切和缝合组织，并且在一些方面，外科缝合器装置可被配置为能够在外科规程期间向组织递送RF能量。电外科装置被配置为能够向组织递送治疗和/或非治疗RF能量。外科缝合器装置、电外科装置和超声装置的元件可在单个外科器械中组合使用。

在各种方面，本公开在外科规程期间向OR团队提供实时信息的屏幕显示。根据本公开的各种方面，提供了许多新的和独特的屏幕显示以在屏幕上向OR团队显示各种视觉信息反馈。根据本公开，视觉信息可包括一个或多个有声或无声的各种视觉媒体。一般来讲，视觉信息包括静态摄影、电影摄影、视频或音频录制、图形艺术、视觉辅助、模型、显示、视觉呈现服务和支持过程。视觉信息可在任何数量的显示选项上传送，诸如例如主OR屏幕、能量或外科缝合器装置本身、平板计算机、增强现实眼镜等。

在各种方面，本公开提供大量可能的选项列表以实时地将视觉信息传送给OR团队，而不将过多视觉信息提供给OR团队。例如，在各种方面，本公开提供视觉信息的屏幕显示，以使得外科医生或OR团队的其他成员能够选择性地激活屏幕显示，诸如围绕屏幕选项的图标，以管理大量视觉信息。可使用各种因素中的一者或组合来确定活动显示，这些因素可包括使用中的基于能量(例如，电外科、超声)或基于机械(例如，缝合器)的外科装置、估计与给定显示相关联的风险、外科医生的经验程度以及外科医生的选择等。在其他方面，视觉信息可包括叠加或重叠到外科视野中以管理视觉信息的大量数据。在下文描述的各种方面，包括需要视频分析和跟踪的重叠图像以便适当地叠加数据。与静态图标相反，以此方式传送的视觉信息数据可以更简明且更容易理解的方式向OR团队提供另外的有用视觉信息。

在各种方面，本公开提供用于选择性地激活诸如围绕屏幕的图标的屏幕显示以在外科规程期间管理视觉信息的技术。在其他方面，本公开提供用于使用各种因素中的一者或组合来确定活动显示的技术。在各种方面，根据本公开的技术可包括选择用作活动显示的基于能量或基于机械的外科装置、估计与给定显示相关联的风险、利用做出选择的外科医生或OR团队的经验程度等。

在其他方面，根据本公开的技术可包括将大量数据叠加或重叠到外科视野上以管理视觉信息。本公开所述的多种显示布置涉及将外科数据的各种视觉表示叠加在外科视野的实况流上。如本文所用，术语叠加包括半透明叠加、部分叠加和/或移动叠加。图形叠加可为透明图形、半透明图形或不透明图形的形式，或者为透明、半透明和不透明元素或效果的组合。此外，叠加层可定位在外科视野中的对象(诸如例如端部执行器和/或关键外科结构)上或至少部分地定位在其上或定位在其附近。某些显示布置可包括叠加层的一个或多个显示元素的变化，包括基于显示优先级值的变化的颜色、大小、形状、显示时间、显示位置、显示频率、突出显示或它们的组合的变化。图形叠加层渲染在活动显示监视器的顶部上以将重要信息快速高效地传送给OR团队。

在其他方面，根据本公开的技术可包括需要分析视频和跟踪的重叠图像以便适当地叠加视觉信息数据。在其他方面，根据本公开的技术可包括传送丰富的视觉信息，而不是简单的静态图标，从而以更简明且易于理解的方式向OR团队提供另外的视觉信息。在其他方面，视觉叠加层可与可听和/或躯体感觉叠加层(诸如热装置、化学装置和机械装置以及它们的组合)组合使用。

以下描述整体涉及在外科规程期间提供增强现实(AR)交互式体验的设备、系统和方法。在该上下文中，通过将计算机生成的视觉、听觉、触觉、躯体感觉、嗅觉或其他感觉信息叠加在外科视野、外科视野中出现的器械和/或其他对象的真实世界图像上，由此增强外科视野及外科视野中出现的外科器械和其他对象的图像。图像可被实时流式传输，或可为静止图像。增强现实是用于渲染和显示叠加在真实环境上的虚拟或“增强”虚拟对象、数据或视觉效果的技术。真实环境可包括外科视野。叠加在真实环境上的虚拟对象可表示为相对于真实环境的一个或多个方面锚定或处于设定位置。在非限制性示例中，如果真实世界对象离开真实环境视野，则锚定到真实世界对象的虚拟对象也将离开增强现实视野。

本公开所述的多种显示布置涉及将外科数据的各种视觉表示叠加在外科视野的实况流上。如本文所用，术语叠加包括半透明叠加、部分叠加和/或移动叠加。此外，叠加层可定位在外科视野中的对象(诸如例如端部执行器和/或关键外科结构)上或至少部分地定位在其上或定位在其附近。某些显示布置可包括叠加层的一个或多个显示元素的变化，包括基于显示优先级值的变化的颜色、大小、形状、显示时间、显示位置、显示频率、突出显示或它们的组合的变化。

如本文所述，AR是真实物理世界的增强版本，通过使用经由技术递送的数字视觉元素、声音或其他感官刺激来实现。虚拟现实(VR)是计算机生成的环境，具有看起来真实的场景和对象，使得用户感觉自己沉浸在其周围环境中。该环境通过被称为虚拟现实头戴式耳机或头盔的装置来感知。混合现实(MR)和AR都被视为沉浸式技术，但它们不是相同的。MR是混合现实的扩展，允许真实元素和虚拟元素在环境中交互。虽然AR经常通过使用相机将数字元素添加到实时视图，但MR体验组合了AR和VR两者的元素，真实世界和数字对象在其中交互。

在AR环境中，一个或多个计算机生成的虚拟对象可与一个或多个真实(即，所谓的“真实世界”)元素一起显示。例如，周围环境的实时图像或视频可与一个或多个叠加的虚拟对象一起显示在计算机屏幕显示器上。此类虚拟对象可提供与环境有关的补充信息或通常增强用户对环境的感知和参与。相反，周围环境的实时图像或视频可附加地或另选地增强用户与显示器上示出的虚拟对象的参与。

本公开的上下文中的设备、系统和方法增强在外科规程期间从一个或多个成像装置接收到的图像。成像装置可包括在无创和微创外科规程期间使用的各种内窥镜、AR装置和/或相机以在开放式外科规程期间提供图像。图像可被实时流式传输，或可为静止图像。这些设备、系统和方法通过将虚拟对象或数据和/或真实对象的表示叠加在真实外科环境上来增强真实世界外科环境的图像，从而提供增强现实交互式体验。可在允许用户查看真实世界外科环境上的所叠加虚拟对象的显示器和/或AR装置上查看增强现实体验。显示器可位于手术室中或远离手术室。AR装置佩戴在外科医生或其他手术室人员头上，并且通常包括两个立体显示镜片或屏幕，包括用于用户的每只眼睛的一个立体显示镜片或屏幕。自然光能够穿过两个透明或半透明显示镜片，使得真实环境的各方面是可见的，同时也投射光以使得虚拟对象对AR装置的用户可见。

可以协调方式使用两个或多个显示器及AR装置，例如第一显示器或AR装置控制以所定义角色控制系统中的一个或多个另外的显示器或AR装置。例如，当激活显示器或AR装置时，用户可选择角色(例如，外科规程期间的外科医生、外科助手、护士等)并且显示器或AR装置可显示与该角色相关的信息。例如，外科助手可具有所显示器械的虚拟表示，外科医生在执行外科规程的下一步骤时需要该虚拟表示。外科医生对当前步骤的关注可能看到与外科助手不同的显示信息。

尽管存在许多已知的屏幕显示和警告，但本公开在外科规程期间提供许多新的和独特的增强现实交互式体验。此类增强现实交互式体验包括对手术室内部或外部的外科团队的视觉、听觉、触觉、躯体感觉、嗅觉或其他感官反馈信息。可将叠加在真实世界外科规程环境上的虚拟反馈信息提供给手术室(OR)团队，包括OR内部的人员，包括但不限于例如执刀外科医生、外科医生助手、擦洗人员、麻醉医生和巡回护士等。虚拟反馈信息可在任何数量的显示选项上传送，诸如主OR屏幕显示、AR装置、能量或外科缝合器器械、平板计算机、增强现实眼镜、装置等。

图1示出了计算机实现的交互式外科系统1，其包括一个或多个外科系统2和基于云的系统4。基于云的系统4可包括耦接到存储装置5的远程服务器13。每个外科系统2包括与云4通信的至少一个外科集线器6。例如，外科系统2可包括可视化系统8、机器人系统10和手持式智能外科器械12，每一者被配置为能够彼此通信并且/或者与集线器6通信。在一些方面，外科系统2可包括M个集线器6、N个可视化系统8、O个机器人系统10和P个手持式智能外科器械12，其中M、N、O和P为大于或等于1的整数。计算机实现的交互式外科系统1可被配置为能够在如本文所述的外科规程期间提供增强现实交互式体验。

图2示出了对平躺在外科手术室16中的手术台14上的患者执行外科规程的外科系统2的示例。机器人系统10在外科规程中用作外科系统2的一部分。机器人系统10包括外科医生的控制台18、患者侧推车20(外科机器人)和外科机器人集线器22。当外科医生通过外科医生的控制台18或外科医生佩戴的增强现实(AR)装置66观察外科部位时，患者侧推车20可通过患者体内的微创切口来操纵至少一个可移除地耦接的外科工具17。微创规程期间的外科部位的图像(例如，静止图像或实时的流式传输实况图像)可通过医学成像装置24获得。患者侧推车20可操纵成像装置24以将成像装置24取向。开放式外科规程的图像可通过医学成像装置96获得。机器人集线器22处理外科部位的图像以供后续显示在外科医生的控制台18或外科医生佩戴的AR装置66上或显示给外科手术室16中的其他人员。

成像装置24、96或AR装置66的光学部件可包括一个或多个照明源和/或一个或多个镜片。一个或多个照明源可被引导以照明外科场地的多部分。一个或多个图像传感器可接收从外科视野中的组织和器械反射或折射的光。

在各种方面，成像装置24被配置用于微创外科规程中。适用于本公开的成像装置的示例包括但不限于关节镜、血管镜、支气管镜、胆道镜、结肠镜、细胞检查镜、十二指镜、肠窥镜、食道-十二指肠镜(胃镜)、内窥镜、喉镜、鼻咽-肾内窥镜、乙状结肠镜、胸腔镜和子宫内窥镜。在各种方面，成像装置96被配置用于开放式(侵入式)外科规程中。

在各种方面，可视化系统8包括一个或多个成像传感器、一个或多个图像处理单元、一个或多个存储阵列以及一个或多个显示器，该一个或多个显示器相对于无菌区进行策略布置。在一个方面，可视化系统8包括用于HL7、PACS和EMR的界面。在一个方面，成像装置24可采用多光谱监测来辨别形貌和底层结构。多光谱图像捕获电磁波谱上的特定波长范围内的图像数据。通过滤波器或对特定波长敏感的器械来分离波长，特定波长包括来自可见光范围之外的频率的光，例如IR和紫外。光谱成像可提取人眼不可见的信息。多光谱监测可在完成外科任务之后重新定位外科视野，以对处理过的组织执行测试。

图2示出了主显示器19定位在无菌区中，以对在手术台14处的操作者可见。可视化塔11定位在无菌区外并且包括彼此背对的第一非无菌显示器7和第二非无菌显示器9。由集线器6引导的可视化系统8被配置为能够利用显示器7、9、19来将信息流协调到无菌区内部和外部的操作者。例如，集线器6可使可视化系统8显示由非无菌显示器7、9上的成像装置24、96或通过AR装置66记录的外科部位的AR图像，同时保持外科部位在主显示器19或AR装置66上的实时馈送。例如，非无菌显示器7、9可允许非无菌操作者执行与外科规程相关的诊断步骤。

图3示出了与可视化系统8、机器人系统10和手持式智能外科器械12通信的外科集线器6。集线器6包括集线器显示器35、成像模块38、发生器模块40、通信模块30、处理器模块32、存储阵列34和手术室标测模块33。集线器6还包括排烟模块26和/或抽吸/冲洗模块28。在各种方面，成像模块38包括AR装置66并且处理器模块32包括集成式视频处理器和增强现实建模器(例如，如图10中所示)。模块化光源可适于与各种成像装置一起使用。在各种示例中，可将多个成像装置放置在外科视野中的不同位置处以提供多个视图(例如，无创、微创、侵入式或开放式外科规程)。成像模块38可被配置为能够在成像装置之间切换以提供最佳视图。在各种方面，成像模块38可被配置为能够整合来自不同成像装置的图像并且在如本文所述的外科规程期间提供增强现实交互式体验。

图4示出了包括模块化通信集线器53的外科数据网络51，该模块化通信集线器被配置为能够将位于医疗设施的一个或多个手术室/房间中的模块化装置连接到基于云的系统。云54可包括耦接到存储装置55的远程服务器63(图5)。模块化通信集线器53包括与网络路由器61通信的网络集线器57和/或网络交换机59。模块化通信集线器53耦接到本地计算机系统60以处理数据。位于手术室中的模块化装置1a-1n可耦接到模块化通信集线器53。网络集线器57和/或网络交换机59可耦接到网络路由器61以将装置1a-1n连接到云54或本地计算机系统60。与装置1a-1n相关联的数据可经由路由器传输到基于云的计算机，用于远程数据处理和操纵。手术室装置1a-1n可通过有线信道或无线信道连接到模块化通信集线器53。外科数据网络51环境可用于在如本文所述的外科规程期间提供增强现实交互式体验，并且具体地将外科视野中的增强图像提供给一个或多于一个远程显示器58。

图5示出了计算机实现的交互式外科系统50。计算机实现的交互式外科系统50在许多方面类似于计算机实现的交互式外科系统1。计算机实现的交互式外科系统50包括在许多方面类似于外科系统2的一个或多个外科系统52。每个外科系统52包括与可包括远程服务器63的云54通信的至少一个外科集线器56。在一个方面，计算机实现的交互式外科系统50包括模块化控制塔23，该模块化控制塔连接到多个手术室装置，诸如例如智能外科器械、机器人和位于手术室中的其他计算机化装置。如图6中所示，模块化控制塔23包括耦接到计算机系统60的模块化通信集线器53。

返回图5，模块化控制塔23耦接到成像模块38(其耦接到内窥镜98)、发生器模块27(其耦接到能量装置99)、排烟器模块76、抽吸/冲洗模块78、通信模块13、处理器模块15、存储阵列16、智能装置/器械21(其任选地耦接到显示器39)和传感器模块29。手术室装置经由模块化控制塔23耦接到云计算资源，诸如服务器63、数据存储装置55和显示器58。机器人集线器72也可连接到模块化控制塔23并且连接到服务器63、数据存储装置55和显示器58。装置/器械21、可视化系统58等可经由有线或无线通信标准或协议耦接到模块化控制塔23，如本文所述。模块化控制塔23可耦接到集线器显示器65(例如，监测器、屏幕)以显示接收到的增强图像，包括从成像模块38、装置/器械显示器39和/或其他可视化系统58接收的真实外科视野中的所叠加虚拟对象。集线器显示器65还可结合图像和叠加图像来显示从连接到模块化控制塔23的装置接收的数据。

图6示出了包括耦接到模块化控制塔23的多个模块的外科集线器56。模块化控制塔23包括模块化通信集线器53(例如，网络连接性装置)和计算机系统60，以提供例如增强外科信息的本地处理、可视化和成像。模块化通信集线器53可以分层配置连接以扩展可连接到模块化通信集线器53的模块(例如，装置)的数量，并将与模块相关联的数据传输到计算机系统60、云计算资源或两者。模块化通信集线器53中的网络集线器57/交换机59中的每一者可包括三个下游端口和一个上游端口。上游网络集线器57/交换机59连接到处理器31以提供与云计算资源和本地显示器67的通信连接。与云54的通信可通过有线或无线通信信道进行。

计算机系统60包括处理器31和网络接口37。处理器31经由系统总线耦接到通信模块41、存储装置45、存储器46、非易失性存储器47和输入/输出接口48。系统总线可以是多种类型的总线结构中的任一种，包括使用任意各种可用总线架构的存储器总线或存储器控制器、外围总线或外部总线和/或本地总线。

处理器31包括增强现实建模器(例如，如图10中所示)并且可实现为单核或多核处理器，诸如由德州仪器公司(Texas Instruments)提供的商品名为ARM Cortex的那些处理器。在一个方面，处理器可为购自例如德克萨斯器械公司(Texas Instruments)LM4F230H5QR ARM Cortex-M4F处理器核心，其包括256KB的单循环闪存或其他非易失性存储器(高达40MHz)的片上存储器、用于改善40MHz以上的执行的预取缓冲器、32KB单循环序列随机存取存储器(SRAM)、装载有

系统存储器包括易失性存储器和非易失性存储器。基本输入/输出系统(BIOS)(包含诸如在启动期间在计算机系统内的元件之间传输信息的基本例程，)存储在非易失性存储器中。例如，非易失性存储器可包括ROM、可编程ROM(PROM)、电可编程ROM(EPROM)、EEPROM或闪存。易失存储器包括充当外部高速缓存存储器的随机存取存储器(RAM)。此外，RAM可以多种形式可用，诸如SRAM、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDRSDRAM)、增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)和直接Rambus RAM(DRRAM)。

计算机系统60还包括可移除/不可移除的、易失性/非易失性的计算机存储介质，诸如例如磁盘存储器。磁盘存储器包括但不限于诸如装置如磁盘驱动器、软盘驱动器、磁带驱动器、Jaz驱动器、Zip驱动器、LS-60驱动器、闪存存储卡或内存条。此外，磁盘存储器可包括单独地或与其他存储介质组合的存储介质，包括但不限于光盘驱动器诸如光盘ROM装置(CD-ROM)、光盘可记录驱动器(CD-R驱动器)、光盘可重写驱动器(CD-RW驱动器)或数字通用磁盘ROM驱动器(DVD-ROM)。为了有利于磁盘存储装置与系统总线的连接，可使用可移除或非可移除接口。

在各种方面，图6的计算机系统60、图4至图6的成像模块38和/或可视化系统58和/或处理器模块15可包括图像处理器、图像处理引擎、图形处理单元(GPU)、媒体处理器或用于处理数字图像的任何专用数字信号处理器(DSP)。图像处理器可采用具有单个指令、多数据(SIMD)或多指令、多数据(MIMD)技术的并行计算以提高速度和效率。数字图像处理引擎可执行一系列任务。图像处理器可为具有多核处理器架构的芯片上的系统。

图7示出了增强现实(AR)系统263，该系统包括被定位在成像模块38和外科集线器显示器67之间的通信路径中的中间信号组合器64。信号组合器64组合从成像模块38和/或AR装置66接收到的音频和/或图像数据。外科集线器56从组合器64接收组合数据并且叠加提供给显示器67的数据，叠加数据显示在该显示器上。成像装置68可以是数字视频摄像机，并且音频装置69可以是麦克风。信号组合器64可包括无线平视显示器适配器，以耦接到被置于显示器67到控制台的通信路径中的AR装置66，从而允许外科集线器56将数据叠加在显示器67。

图8示出了增强现实(AR)系统，该系统包括被定位在成像模块和外科集线器显示器之间的通信路径中的中间信号组合器。图8示出了由外科医生73佩戴的用以将数据传送到外科集线器56的AR装置66。AR装置66的外围信息不包括活动视频。相反，该外围信息仅包括装置设置或不具有相同刷新率要求的信号。交互可基于与术前计算机断层扫描(CT)的链接或在外科集线器56中链接的其他数据增强外科医生73的信息。AR装置66可识别结构，例如询问器械是否正接触神经、脉管或粘连。AR装置66可包括术前扫描数据、光学视图、在整个规程中获得的组织询问特性和/或用于提供答案的外科集线器56中的处理。外科医生73可向AR装置66口述注意事项，以与患者数据一起保存在集线器存储装置45中，以供稍后用于报告或随访。

外科医生73佩戴的AR装置66利用音频和视觉信息链接到外科集线器56，以避免对叠加的需要，并且允许围绕视野围边定制显示信息。AR装置66提供来自装置(例如，器械)的信号、回答关于装置设置或与视频链接的位置信息有关的询问，以识别象限或位置。AR装置66具有音频控制和来自AR装置66的音频反馈。AR装置66能够与手术室中的所有其他系统进行交互，并且无论外科医生73在何处查看，都具有可用的反馈和交互。例如，AR装置66可从外科医生接收语音或手势发起的命令和询问，并且AR装置66可以包括音频、视觉或触觉触摸的一个或多个模态的形式提供反馈。

图9示出了佩戴AR装置66的外科医生73、患者74，并且可在手术室75中包括相机96。外科医生73佩戴的AR装置66可用于通过增强现实显示器89或通过集线器连接的显示器67向外科医生73呈现叠加在外科视野的实时图像上的虚拟对象。实时图像可包括外科器械77的一部分。虚拟对象对于手术室75内的其他人(例如，外科助手或护士)可能是不可见的，尽管他们也可能佩戴AR装置66。即使另一个人正在使用AR装置66查看手术室75，这个人也可能看不到虚拟对象或能够在与外科医生73共享的增强现实中看到虚拟对象，或者能够看到虚拟对象的修改版本(例如，根据对外科医生73唯一的自定义)或者可能看到不同的虚拟对象。

虚拟对象和/或数据可被配置为能够出现在外科器械77的一部分上或由成像模块38、在微创外科规程期间由成像装置68和/或在开放式外科规程期间由相机96捕获的外科视野中。在例示的示例中，成像模块38是在微创外科规程期间提供外科视野的实时馈送的腹腔镜相机。AR系统可呈现固定到真实对象的虚拟对象，而不考虑AR系统的一个或多个观察者(例如，外科医生73)的视角。例如，虚拟对象可对手术室75内部的AR系统的观察者可见，而对手术室75外部的AR系统的观察者不可见。当观察者进入手术室75时，虚拟对象可显示给手术室75外部的观察者。增强图像可显示在外科集线器显示器67或增强现实显示器89上。

AR装置66可包括一个或多个屏幕或镜片，诸如单个屏幕或两个屏幕(例如，用户的每只眼睛一个屏幕)。屏幕可允许光穿过屏幕，使得真实环境的各方面在显示虚拟对象时是可见的。可通过投射光使虚拟对象对外科医生73可见。虚拟对象可表现为具有一定程度的透明度或可为不透明的(即，遮挡真实环境的各方面)。

AR系统对于一个或多个观察者来说可为可查看的，并且可包括可用于一个或多个观察者的视图之间的差异，同时将一些方面保持为各视图之间通用。例如，平视显示器可在两个视图之间改变，而虚拟对象和/或数据可固定到两个视图中的真实对象或区域。在不改变至少一个虚拟对象的固定位置的情况下，可在各视图之间改变各方面，诸如对象的颜色、照明或其他改变。

用户可将AR系统中呈现的虚拟对象和/或数据视为不透明的或视为包括一定程度的透明度。在一个示例中，用户可诸如通过将虚拟对象从第一位置移动到第二位置来与虚拟对象交互。例如，用户可自己的手移动对象。通过确定手已移动到与对象重合或相邻的位置(例如，使用可安装在AR装置66上的一个或多个相机，诸如AR装置相机79或单独的相机96，并且其可为静态的或可受到控制以移动)并且使对象作为响应而移动，这可在AR系统中虚拟地完成。虚拟方面可包括真实世界对象的虚拟表示或可包括视觉效果，诸如照明效果等。AR系统可包括管理虚拟对象行为的规则，诸如使虚拟对象经受重力或摩擦，或可包括排除真实世界物理约束(例如，浮动对象、永运等)的其他预定义规则。AR装置66可包括位于AR装置66上的相机79(不与相机96混淆，与AR装置66分离)。AR装置相机79或相机96可包括红外相机、红外滤光器、可见光滤光器、多个相机、深度相机等。AR装置66可将虚拟项投射在真实环境的表示上，从而可由用户查看。

AR装置66可在外科规程期间在手术室75中使用，例如由外科医生73对患者74执行。AR装置66可投射或显示虚拟对象诸如外科规程期间的虚拟对象以增强外科医生的视觉。外科医生73可使用AR装置66、用于AR装置66的遥控器来查看虚拟对象，或者可与虚拟对象交互，例如使用手与虚拟对象或由AR装置66的相机79识别的手势“交互”。虚拟对象可增强外科工具，诸如外科器械77。例如，虚拟对象可表现为(对于通过AR装置66查看虚拟对象的外科医生73)与外科器械77耦接或保持距外科器械固定距离。在另一个示例中，虚拟对象可用于引导外科器械77，并且可表现为固定到患者74。在某些示例中，虚拟对象可对外科视野中的其他虚拟对象或现实世界对象的移动作出反应。例如，当外科医生正在操纵接近虚拟对象的外科器械时，虚拟对象可被改变。

增强现实显示系统成像装置38在外科规程过程中捕获外科视野的真实图像。增强现实显示器89、67呈现外科器械77的操作方面在外科视野的真实图像上的叠加。外科器械77包括通信电路系统231，以经由AR装置66上的通信电路系统233将操作方面和功能数据从外科器械77传送到AR装置66。尽管外科器械77和AR装置66显示为如箭头B、C所示在电路231、233之间进行RF无线通信，但也可采用其他通信技术(例如，有线、超声、红外等)。叠加与外科器械77的主动可视化的操作方面相关。叠加将外科视野中的组织交互作用的各方面与来自外科器械77的功能数据组合。AR装置66的处理器部分被配置为能够从外科器械77接收操作方面和功能数据，确定与外科器械77的操作相关的叠加，并且将外科视野中的组织方面与来自外科器械77的功能数据组合。增强图像指示关于装置性能考虑事项的警告、不兼容使用的警告、关于不完全捕获的警告。不兼容使用包括组织超出范围条件以及组织在端部执行器的钳口内没有正确地平衡。附加增强图像提供附带事件的指示，包括组织张力的指示和异物检测的指示。其他增强图像指示装置状态叠加和器械指示。

图10示出了根据本公开的至少一个方面的用于使用AR显示器89用信息来增强外科视野图像的系统83。系统83可用于例如通过使用处理器85来执行下文所述的技术。系统83包括AR装置66的可与数据库93通信的一个方面。AR装置66包括处理器85、存储器87、AR显示器89和相机79。AR装置66可包括传感器90、扬声器91和/或触觉控制器92。数据库93可包括图像存储装置94或术前计划存储装置95。

AR装置66的处理器85包括增强现实建模器86。增强现实建模器86可由处理器85用来创建增强现实环境。例如，增强现实建模器86可诸如从相机79或传感器90接收外科视野中器械的图像，并且创建增强现实环境以适配在外科视野的显示图像内。在另一个示例中，物理对象和/或数据可叠加在外科视野和/或外科器械图像上，并且增强现实建模器86可使用物理对象和数据来在增强现实环境中呈现虚拟对象和/或数据的增强现实显示。例如，增强现实建模器86可使用或检测患者外科部位处的器械并且呈现外科器械上的虚拟对象和/或数据和/或由相机79捕获的外科视野中的外科部位的图像。AR显示器89可显示叠加在真实环境上的AR环境。显示器89可使用AR装置66显示虚拟对象和/或数据，诸如显示在AR环境中的固定位置。

AR装置66可包括传感器90，例如红外传感器。相机79或传感器90可用于检测移动，诸如外科医生或其他用户的手势，处理器85可将该移动解释为用户与虚拟目标的尝试或预期交互。处理器85可诸如通过使用相机79接收到的处理信息来识别真实环境中的对象。在其他方面，传感器90可以是触觉、听觉、化学或热传感器，以生成可与各种数据馈送组合的对应信号以创建增强环境。传感器90可包括双耳音频传感器(空间声音)、惯性测量传感器(加速度计、陀螺仪、磁力计)、环境传感器、深度相机传感器、手眼跟踪传感器以及语音命令识别功能。

例如在外科规程期间，AR显示器89可在允许通过AR显示器89查看外科视野时诸如在外科视野内呈现对应于被患者的解剖方面隐藏的物理特征的虚拟特征。虚拟特征可具有对应于物理特征的第一物理位置或取向的虚拟位置或取向。在一个示例中，虚拟特征的虚拟位置或取向可包括从物理特征的第一物理位置或取向的偏移。偏移可包括距增强现实显示器预定距离、从增强现实显示器到解剖方面的相对距离等。

在一个示例中，AR装置66可以是单个AR装置。在一个方面，AR装置66可以是由华盛顿州雷德蒙德的微软公司(Microsoft,Redmond,Wash)制造的HoloLens 2AR装置。该AR装置66包括具有镜片和双耳音频特征(空间声音)的护目镜、惯性测量装置(加速度计、陀螺仪、磁力计)、环境传感器、深度相机和视频相机、手眼跟踪以及语音命令识别功能。它通过使用反射镜在佩戴者眼睛前方引导波导来提供具有高分辨率的改进视野。可通过改变反射镜的角度来放大图像。它还提供眼睛跟踪来识别用户并针对特定用户调节镜片宽度。

在另一个示例中，AR装置66可以是Snapchat Spectacles 3AR装置。该AR装置能够捕获成对图像并且重新创建3D深度映射、添加虚拟效果及重新播放3D视频。该AR装置包括两个HD相机，从而以60fps捕获3D照片和视频，同时四个内置麦克风记录沉浸式的高保真音频。来自两个相机的图像组合以建立围绕用户的真实世界的几何地图，从而提供新的深度感知感觉。照片和视频可以无线方式同步到外部显示装置。

在又一个示例中，AR装置66可以是Google的Glass 2AR装置。该AR装置提供叠加在镜头上(视野外)的惯性测量(加速度计、陀螺仪、磁力计)信息以补充信息。

在另一个示例中，AR装置66可以是Amazon的Echo Frames AR装置。该AR装置没有相机/显示器。麦克风和扬声器连接到Alexa。该AR装置提供比平视显示器更少的功能。

在又一个示例中，AR装置66可以是North(Google)的Focals AR装置。该AR装置提供通知推送/智能手表模拟；惯性测量、信息(天气、日历、消息)的屏幕叠加、语音控制(Alexa)集成。该AR装置提供基本平视显示器功能。

在另一个示例中，AR装置66可以是Nreal AR装置。该AR装置包括空间声音、两个环境相机、照片相机、IMU(加速度计、陀螺仪)、环境光传感器、接近传感器功能。Nebula将应用信息投射在镜片上。

在各种其他示例中，AR装置66可以是以下市售AR装置中的任一者：Magic Leap 1、Epson Moverio、Vuzix Blade AR、ZenFone AR、Microsoft AR眼镜原型、EyeTap，以将与环境光共线的光直接产生到视网膜中。例如，分束器使得由眼睛看到的相同光可用于计算机处理和叠加信息。AR可视化系统包括HUD、接触镜片、眼镜、虚拟现实(VR)头戴式耳机、虚拟视网膜显示器、手术室显示器和/或智能接触镜片(仿生镜片)。

用于AR装置66的多用户接口包括虚拟视网膜显示器(诸如直接绘制在视网膜上而非眼睛前方的屏幕上的光栅显示器)、智能电视、智能电话和/或空间显示器(诸如Sony空间显示系统)。

其他AR技术可包括例如AR捕获装置和软件应用程序、AR创建装置和软件应用程序以及AR云装置和软件应用程序。AR捕获装置和软件应用程序包括例如Apple Polycam应用程序Ubiquity 6(使用Display.land app的Mirrorworld)，用户可扫描并获得真实世界的3D图像(以创建3D模型)。AR创建装置和软件应用程序包括例如Adobe Aero、Vuforia、ARToolKit、Google ARCore、Apple ARKit、MAXST、Aurasma、Zappar、Blippar。AR云装置和软件应用程序包括例如Facebook、Google(世界几何、对象识别、预测数据)、Amazon AR云(商务)、Microsoft Azure、Samsung Project Whare、Niantic、Magic Leap。

态势感知是指外科系统的一些方面的根据从数据库和/或器械接收的数据来确定或推断与外科规程相关的信息的能力。该信息可包括正在进行的规程的类型、正在手术的组织的类型或作为该规程的对象的体腔。利用与外科规程相关的背景信息，外科系统可例如改善该外科系统控制连接到其的模块化装置(例如，机器人臂和/或机器人外科工具)的方式，并且在外科规程的过程期间向外科医生提供背景信息或建议。

图11示出了态势感知外科规程的时间轴。图11示出了例示性外科规程的时间轴5200以及外科集线器5104可在外科规程的每个步骤从数据源5126接收到的数据导出的上下文信息。时间轴5200描绘了护士、外科医生和其他医疗人员在肺分段切除术规程期间将采取的典型步骤，从建立手术室开始到将患者转移到术后恢复室为止。态势感知外科集线器5104在整个外科规程过程中从数据源5126接收数据，包括每次医疗人员利用与外科集线器5104配对的模块化装置5102时生成的数据。外科集线器5104可从配对的模块化装置5102和其他数据源5126接收该数据，并且在接收新数据时不断导出关于正在进行的规程的推论(即，背景信息)，诸如在任何给定时间执行规程的哪个步骤。外科集线器5104的态势感知系统能够例如记录与用于生成报告的规程相关的数据，验证医疗人员正在采取的步骤，(例如，经由显示屏)提供可能与特定手术步骤相关的数据或提示，基于上下文调节模块化装置5102(例如，激活监测器、调节医学成像装置的FOV或改变超声外科器械或RF电外科器械的能量程度)，以及采取本文所述的任何其他此类动作。

第一5202，医院工作人员从医院的EMR数据库中检索患者的EMR。基于在EMR中选择的患者数据，外科集线器5104确定待执行的规程是胸腔规程。

第二5204，工作人员扫描用于规程的进入的医疗用品。外科集线器5104将所扫描的用品与在各种类型的规程中利用的用品列表交叉对比，并确认用品的组合对应于胸腔规程。另外，外科集线器5104还能够确定规程不是楔形规程(因为进入的用品缺乏胸腔楔形规程所需的某些用品，或以其他方式不对应于胸腔楔形规程)。

第三5206，医疗人员经由通信地连接到外科集线器5104的扫描器5128来扫描患者带。然后，外科集线器5104可基于所扫描的数据来确认患者的身份。

第四5208，医务工作人员打开辅助设备。利用的辅助设备可根据外科规程的类型和外科医生待使用的技术而变化，但在此示例性情况下，它们包括排烟器、吹入器和医学成像装置。当激活时，作为其初始化过程的一部分，作为模块化装置5102的辅助设备可以自动与位于模块化装置5102特定附近的外科集线器5104配对。然后，外科集线器5104可通过检测在该术前阶段或初始化阶段期间与其配对的模块化装置5102的类型来导出关于外科规程的背景信息。在该具体示例中，外科集线器5104确定外科规程是基于配对模块化装置5102的该特定组合的VATS规程。基于来自患者的EMR的数据、待在手术中使用的医疗用品的列表以及连接至集线器的模块化装置5102的类型的组合，外科集线器5104通常可推断外科团队将执行的特定规程。一旦外科集线器5104知道正在被执行的特定规程，外科集线器5104就可从存储器或云中检索该规程的步骤，然后交叉引用其随后从所连接的数据源5126(例如，模块化装置5102和患者监测装置5124)接收的数据，以推断外科团队正在执行的外科规程的步骤。

第五5210，工作人员将EKG电极和其他患者监测装置5124附接到患者。EKG电极和其他患者监测装置5124能够与外科集线器5104配对。随着外科集线器5104开始从患者监测装置5124接收数据，外科集线器5104因此确认患者在手术室中。

第六5212，医疗人员诱导患者麻醉。外科集线器5104可基于来自模块化装置5102和/或患者监测装置5124的数据(包括EKG数据、血压数据、呼吸机数据或它们的组合)推断患者处于麻醉下。在第六步5212完成时，肺分段切除术规程的术前部分完成，并且手术部分开始。

第七5214，使正在手术的患者的肺部塌缩(同时通气被切换到对侧肺)。外科集线器5104可从呼吸机数据推断出患者的肺已经塌缩。外科集线器5104可推断规程的手术部分已开始，因为其可将患者的肺部塌缩的检测与规程的预期步骤(可先前访问或检索)进行比较，从而确定使肺部塌缩是该特定规程中的手术步骤。

第八5216，插入医学成像装置5108(例如，内窥镜)，并启动来自该医学成像装置的视频。外科集线器5104通过其与医学成像装置的连接来接收医学成像装置数据(即，静止图像数据或实时的实况流式传输视频)。在接收到医学成像装置数据之后，外科集线器5104可确定外科规程的腹腔镜部分已开始。另外，外科集线器5104可确定正在被执行的特定规程是分段切除术，而不是肺叶切除术(注意，外科集线器5104基于在规程的第二步骤5204处接收到的数据已经排除了楔形规程)。来自医学成像装置124(图2)的数据可用于以多种不同的方式确定与正在被执行的手术的类型相关的背景信息，包括通过确定医学成像装置相对于患者的解剖结构的可视化取向的角度，监测所利用的医学成像装置的数量(即，被激活并与外科集线器5104配对)，以及监测所利用的可视化装置的类型。

例如，一种用于执行VATS肺叶切除术的技术将相机放置在隔膜上方的患者胸腔的下前拐角中，而一种用于执行VATS分段切除术的技术将相机相对于分段裂缝放置在前肋间位置。例如，使用模式识别或机器学习技术，可对态势感知系统进行训练，以根据患者解剖结构的可视化识别医学成像装置的定位。作为另一个示例，一种用于执行VATS肺叶切除术的技术利用单个医学成像装置，而用于执行VATS分段切除术的另一种技术利用多个相机。作为另一个示例，一种用于执行VATS分段切除术的技术利用红外光源(其可作为可视化系统的一部分可通信地耦接到外科集线器)以可视化不用于VATS肺部切除术中的分段裂隙。通过从医学成像装置5108跟踪这些数据中的任何或所有，外科集线器5104因此可确定正在被执行的外科规程的具体类型和/或用于特定类型的外科规程的技术。

第九5218，外科团队开始规程的解剖步骤。外科集线器5104可推断外科医生正处在解剖以调动患者的肺部的过程中，因为其从RF发生器或超声发生器接收到指示能量器械正在被击发的数据。外科集线器5104可将所接收的数据与外科规程的检索步骤交叉引用，以确定在方法中的该点处(即，在先前讨论的规程步骤完成之后)击发的能量器械对应于解剖步骤。

第十5220，外科团队继续进行至规程的结扎步骤。外科集线器5104可推断外科医生正在结扎动脉和静脉，因为其从外科缝合和切割器械接收指示器械正在被击发的数据。与先前步骤相似，外科集线器5104可通过交叉引用来自外科缝合和切割器械的数据的接收与该方法中的检索步骤来导出该推论。

第十一5222，执行规程的分段切除术部分。外科集线器5104推断外科医生正在基于来自外科器械的数据(包括来自钉仓的数据)横切软组织。仓数据可对应于由器械击发的钉的大小或类型。仓数据可针对在不同类型组织中采用的不同类型钉指示被缝合和/或横切的组织的类型。被击发的钉的类型用于软组织或其他组织类型，以使得外科集线器5104能够推断正在执行分段切除术规程。

第十二5224，执行节点解剖步骤。外科集线器5104可基于从发生器接收的指示正在击发RF或超声器械的数据来推断外科团队正在解剖节点并且执行泄漏测试。对于该特定规程，在横切软组织后利用RF或超声器械对应于节点解剖步骤，这允许外科集线器5104做出该推论。应当指出的是，外科医生根据规程中的具体步骤定期在外科缝合/切割器械和外科能量(即，RF或超声)器械之间来回切换，因为不同器械更好地适于特定任务。因此，其中使用缝合/切割器械和外科能量器械的特定序列可指示外科医生正在执行的规程的步骤。在第十二步骤5224完成时，切口被闭合并且规程的术后部分开始。

第十三5226，逆转患者的麻醉。例如，外科集线器5104可基于呼吸机数据(即，患者的呼吸率开始增加)推断出患者正在从麻醉中醒来。

最后，第十四5228，医疗人员从患者移除各种患者监测装置5124。因此，当外科集线器5104丢失EKG、BP和来自患者监测装置5124的其他数据时，该集线器可推断患者正在被转移到恢复室。外科集线器5104可根据从可通信地耦接到外科集线器5104的各种数据源5126接收的数据来确定或推断给定外科规程的每个步骤何时发生。

除了利用来自EMR数据库的患者数据来推断待执行的外科规程的类型之外，如图86所示的时间轴5200的第一步骤5202所示，态势感知外科集线器5104还可利用患者数据来生成用于配对的模块化装置5102的控制调节。

外科显示器(例如，显示器7、9、19、35、62、65、66、67和89)通过向临床医生(例如，外科医生、外科工作人员)提供有用信息在手术室内发挥重要作用，有用信息可用于评估外科规程的进度、确定外科规程中要采取的后续步骤、监测患者生命体征等。显示器需要足够大，使得所提供的该信息可以被看到，但又不能大到过于显眼并在拥挤的手术室中妨碍工作流程或移动。

例如，成像装置(诸如在本文别处描述的许多成像装置中的一者)用于在外科规程过程期间捕获外科视野的实况流。显示器显示由成像装置捕获的这种实况流，使得临床医生可在外科规程期间查看外科视野。

在外科规程过程期间，与外科规程相关或相关联的信息可叠加在显示器上的实况流上。例如，心电图(EKG)在外科规程期间监测患者的心率，并且所监测的心率叠加在实况流上，使得临床医生可确保患者情况稳定。

各种其他传感器、检测器、模块等在外科规程过程中监测其他参数，并且与这些参数相关的信息也可叠加在显示器上。然而，一些叠加信息可能比其他叠加信息更重要。例如，当临床医生利用外科器械的端部执行器操纵组织时，关于利用端部执行器向组织施加多大力的信息与监测相关，以便确保组织不会被无意损伤。

然而，由于叠加在显示器上的信息量，临床医生可能会忽略或遗漏更重要的信息，诸如施加到组织的力。这种大量的竞争性信息可导致外科医生被可能影响其充分执行外科规程的能力的信息淹没，而这对于患者而言可能是代价高昂的。因此，需要对叠加在显示器上的数据量进行优先级排序、控制和/或限制。

图12示出了根据本公开的至少一个方面的外科可视化系统6000。外科可视化系统6000的各种部件在许多方面类似于在本公开别处描述的其他系统的部件，并且因此为了简洁起见，在此处不以相同的细节程度重复。在一些具体实施中，系统6000是独立系统。在其他具体实施中，系统6000被集成在计算机实现的交互式外科系统1中，或与其结合使用。

外科可视化系统6000包括被配置为能够例如通过使用一个或多个处理器或处理电路系统诸如处理器85来执行本文所述的各种技术的控制模块6001。在一些具体实施中，系统6000例如可包括增强现实装置84、与其结合使用或与其通信。系统6000还可包括存储介质(诸如例如存储器6003)、成像装置6004(诸如例如相机88)和显示器6005。系统6000还可包括一个或多个扬声器91、触觉控制器92和/或传感器90(参见图10)。显示器6005可包括例如AR显示器89、VR显示器、投影仪、平视显示器、屏幕和/或用于描绘视觉内容的任何其他合适装置。

在一些具体实施中，系统6000例如结合到计算机实现的交互式外科系统50中。在一些具体实施中，系统6000与可将外科数据递送到系统6000的一个或多个集线器、系统、网络、服务器和/或数据库可操作地通信。例如，系统6000可经由如本文所述的有线或无线通信标准或协议与包括远程服务器63、机器人集线器72、外科集线器56、装置/器械21和/或模块化控制塔23的云54可操作地通信。在一些具体实施中，系统6000包括类似于结合外科集线器5104所述的态势感知模块6006。态势感知模块6006可被训练成基于通过传感器输入和/或用户输入接收到的大量围手术期数据来推断关于外科规程的上下文信息。

图13是示出用于确定竞争呈现在显示器诸如显示器6005上的外科数据的显示布置的示例性方法6010的操作的流程图。方法6010包括检测6011外科数据，将显示优先级值或显示优先级状态分配6012给外科数据，以及基于显示优先级值来确定6013外科数据在显示器上的显示布置。方法6010还可包括通过显示或叠加在外科视野的实况流来根据显示布置呈现6014例如外科数据的视觉表示。

在一些具体实施中，由控制模块6001来检测6011外科数据。可通过经由一个或多个无线和/或有线通信接口从一个或多个源(诸如例如计算机实现的交互式外科系统1的部件)接收外科数据来检测6011外科数据。在至少一个示例中，外科数据可包括从一个或多个外科器械21接收到的数据。在另一个示例中，外科数据包括由态势感知模块6006确定的上下文信息。

在某些范例中，外科数据包括控制数据、生物标记测量结果和/或与外科器械21相关联的操作和/或结果的其他操作指示。在某些范例中，外科数据可以是指示有较高可能性的畸形钉和不良密封组织的任何数据。在某些情况下，外科数据可与组织流动、夹持力、击发力以及其他组织和/或器械参数相关联，这些参数可被监测并以多种方式实时显示给临床医生，以便能够调节击发过程或警告外科医生可能存在畸形钉区域。

在一些具体实施中，基于关于由态势感知模块6006开发的外科规程的外科数据和/或上下文信息来分配显示优先级值。在一些具体实施中，基于外科数据的触发事件、条件或特性来分配显示优先级值。在一些具体实施中，分配6012显示优先级值包括改变先前分配的显示优先级值。例如，对外科数据的触发事件、条件和/或特性的检测可导致先前分配的显示优先级值变为更高值或更低值。

在某些范例中，处理器85在确定外科数据的显示优先级值时采用预定的等式和/或公式。在计算显示优先级值时可考虑各种相关因素并为其分配不同权重。附加地或另选地，在分配显示优先级值时，处理器85可利用列出外科数据和对应显示优先级值的一个或多个数据库或表。

在各种具体实施中，所分配的6012显示优先级值包括各种显示优先级程度，诸如例如低显示优先级程度、中等显示优先级程度和/或高显示优先级程度。在一些具体实施中，显示优先级值是显示优先级状态，诸如例如高优先级状态、中性优先级状态和/或低优先级状态。

图14是示出根据图13的方法6010的用于确定检测到6011的外科数据的显示优先级值的示例性方法6020的操作的流程图。在某些具体实施中，显示优先级值取决于外科数据。在例示的示例中，基于在外科规程中利用的外科器械与关联到外科规程的关键解剖结构的接近度来分配显示优先级值。显示优先级值基于接收到的接近度数据与预定接近度阈值之间的关系。例如，如果6021外科器械与解剖结构之间的距离大于预定阈值，则6022向接近度数据分配低显示优先级值。然而，如果6021距离小于或等于预定接近度阈值，则6023向接近度数据分配高显示优先级值。

在一些具体实施中，系统6000采用态势感知模块6006来识别要执行的外科规程的类型。外科规程的类型可例如根据用户输入来确定。另选地或附加地，外科规程的类型可根据被选择用于外科规程的装置的库存列表来确定，这些装置对于外科规程类型是唯一的或是外科规程类型的特征。系统6000还可例如从数据库和/或用户输入识别与外科规程相关联的关键结构。在一些具体实施中，系统6000可检测由成像装置捕获的外科视野的实况流中的关键结构。此外，系统6000还可检测外科视野中的外科器械21，并且可跟踪外科器械21与关键结构的接近度。可确定接近度数据的显示优先级值，如结合图14所讨论。

在一些具体实施中，可通过各种合适的对象识别、对象跟踪、对象标记和/或其他图像处理技术来实现对外科视野的实况流中的关键结构和/或外科器械的识别，诸如在代理人卷案号为END9228USNP1/190580-1M的名称为“STRUCTURED MULTI SPECTRALCOMPUTATIONAL ANALYSIS”的美国专利申请公开中所讨论的技术，该美国专利申请公开全文以引用方式并入本文。例如，可利用先前存储的外科器械和/或关键结构的图像来识别外科视野中的外科器械和/或关键结构。

低位前切除(LAR)外科规程是用于直肠癌的常见外科规程。该规程涉及直肠的切除。结肠随后被附接到直肠的剩余节段以实现正常的肠运动。低LAR规程中通常使用圆形缝合器。最初，随着外科医生开始建立结构以形成吻合，某些参数(诸如组织张力和吻合组织压力的参数)是不相关的，并且如果在实况流上太快地叠加或强调，则可能会分散注意力。在某些情况下，为了避免分散注意力和/或减少可用于实况流的显示空间，根据方法6010按照显示布置在显示器6005上叠加和/或强调此类参数。

在一些具体实施中，基于与参数与外科规程的相关性相关联的触发事件，将显示优先级值分配给组织张力和吻合组织压力的参数。触发事件可例如是对圆形缝合器砧座到圆形缝合器套管针的连接的检测。例如，可通过采用实况流的一个或多个对象识别、对象跟踪、对象标记和/或其他图像处理算法和/或通过砧座和/或套管针中由砧座与套管针的连接或接近来触发的一个或多个传感器来自动地实现检测。

在一些具体实施中，触发事件与增大的关键程度或风险程度相关联。在某些情况下，触发事件可生成警告和/或即时暂停外科活动，诸如例如暂停外科器械21的钉击发。触发事件可导致转变到未决故障模式，例如提供一系列指令来补救或减少故障的原因。如下文所详述，触发事件可以是例如支撑物挖掘、在不密封组织的情况下切割组织和/或折断砧座。在一些具体实施中，例如通过对象识别、对象跟踪、对象标记和/或实况流的图像帧的其他合适图像处理技术或通过各种合适的有线和/或无线通信方案，自动地可视地检测这些触发事件。

在一些具体实施中，故障模式由支撑物挖掘引起，支撑物挖掘是在通过外科器械21在组织缝合中使用支撑物时可能发生的情况。响应于检测到支撑物挖掘，控制模块6001例如使外科器械21停止外科器械的击发序列。例如，控制模块6001可通过无线或有线接口将击发停止命令传送到外科器械21。另外，控制模块6001可使得警告和/或通过在击发期间向组织施加张力来补救故障的一系列指令例如显示或叠加在外科视野的实况流上。

另选地，可能因检测到在不密封组织的情况下切割组织而导致故障。例如，随着外科器械21的切割构件推进，控制模块6001可能检测到待部署到由外科器械21的端部执行器抓持的组织中的钉的故障，这导致出现在不密封组织的情况下切割组织故障。响应于检测到故障，控制模块6001可使得警告和/或补救故障的一系列指令显示或叠加在外科视野的实况流上。这些指令可能建议夹持周围的血液供应，制备止血材料，之后再从外科器械21的端部执行器的钳口释放组织。

图15是示出用于确定外科吻合术内的组织张力和/或压力参数的显示优先级值的示例性方法6030的操作的流程图。方法6030包括接收6031组织参数并基于触发事件(诸如对圆形缝合器的砧座和套管针之间的连接的检测)将显示优先级值分配给参数。例如，如果6032未检测到套管针-砧座连接，则6033将低显示优先级值分配给参数。然而，如果6032未检测到套管针-砧座连接，则6034将高显示优先级值分配给参数。

虽然方法6030提供的示例利用圆形缝合器的部件的连接的检测作为用于确定显示优先级值的触发事件，但其他器械21的其他部件的连接也可用作用于确定显示优先级值的触发事件。例如，仓再加载件、端部执行器和/或轴的附接可表示用于确定显示优先级值的触发事件。在一些具体实施中，外科器械部件、外科机器人部件和/或任何合适外科系统的组件可用作用于确定显示优先级值的触发事件。

图16是示出用于基于触发事件来确定显示优先级值的示例性方法6040的操作的流程图。在例示的示例中，触发事件是在接收到为了外科器械21的最佳操作而执行调节外科器械的设置所需的参数之前对外科器械21的激活。在一些具体实施中，系统6000可被配置为能够检测外科视野的实况流中的外科器械21，并且等待所需参数的用户输入。

在一些具体实施中，参数可以是所需的用户输入。参数可与组织特性或疾病状态相关联。在利用某些装置治疗组织之前，可基于组织状况和/或疾病状态来调节这些装置设置。这些调节可包括降低外科缝合器械的击发速度以更好地确保密封。对于外科能量装置，外科医生可响应于新组织特性来调节功率，例如以提供更好的组织密封。

如图16中所示，方法6040包括检测6041用户激活外科器械21的尝试。如果接收到所需参数(6042)，则分配低显示优先级值6043。然而，如果6042未检测到套管针-砧座连接，则6044将高显示优先级值分配给参数。

在一些具体实施中，参数是传感器参数，传感器可以是外科器械21的内部传感器或被配置为能够测量外科规程的正确操作所需的参数的任何其他传感器。对触发事件(诸如在接收参数之前激活外科器械21)的检测可使得系统6000例如以叠加的形式向视觉内容分配高优先级值，从而请求允许忽略缺失的参数或在没有缺失的参数的情况下继续进行，或请求例如输入缺失的参数。

在一些具体实施中，触发事件是偏离可接受的预定范围或阈值的传感器参数。传感器参数可以是可由在外科视野中抓持组织的外科器械测量的组织阻抗参数，例如通过执行阻抗光谱学测量得到。如果所抓持的组织被生理盐水高度饱和，则所测量的组织阻抗将偏离可接受的预定范围或阈值，从而触发系统6000将高显示优先级值分配给关于检测到的偏离、用户超驰请求和/或用户超驰请求的警告。

在一些具体实施中，触发事件可以是对所选外科器械21与要由外科器械21执行的外科规程之间的不匹配的检测。例如，可由系统6000和/或计算机实现的交互式外科系统1来检测不匹配。外科规程的类型和要在外科规程中使用的外科器械21的库存列表可通过用户界面输入和/或可通过例如对象识别、对象跟踪、对象标记和/或实况流的图像帧的其他合适图像处理技术或通过各种合适的有线和/或无线通信方案来检测。态势感知模块6006可将由用户检测到或输入的库存列表与历史上与由用户检测到或输入的外科规程类型相关联的先前存储的库存列表进行比较。对不匹配的检测使得系统6000将高显示优先级值分配给关于不匹配的警告、用户超驰请求和/或确认请求。

在至少一个示例中，对用于子宫切除术的圆形缝合器的选择的检测使得系统6000将高显示优先级值分配给关于不匹配的警告、用户超驰请求和/或确认请求。系统6000可要求工作人员确认需要圆形缝合器或将其从当前活动列表中消除或纠正规程计划不匹配。

在一些具体实施中，触发事件可以是对外科器械组件的不兼容部件的检测。各种外科器械21利用可互换部件，诸如例如可互换的仓、再加载件、端部执行器、轴、手柄、马达和/或电池。利用不兼容部件可能导致外科器械21的功能不正常，这可能对患者造成伤害和/或干扰外科规程结果。系统6000可基于对不兼容部件的检测来分配显示优先级值。

计算机实现的交互式外科系统1可通过真实性检查或完整性检查来检测不兼容部件。不成功的真实性和/或完整性验证可指示不兼容部件。在某些具体实施中，各种部件配备有可检测指示所连接部件之间的适当兼容性的适当连接的传感器。在此类具体实施中，传感器信号或没有传感器信号可指示不兼容部件。

在至少一个示例中，将可互换的部件安装在外科器械21中时，外科器械21可询问可互换部件的识别信息，该识别信息可与例如存储在数据库中的公认识别信息进行比较。数据库可保存在例如基于外科器械21、集线器22和/或云的系统4的远程服务器13的存储介质上。验证识别信息的失败导致系统6000将高显示优先级值分配给关于不兼容部件的警告、用户超驰请求和/或确认请求。计算机实现的交互式外科系统1还可禁止外科器械21的某些能力，或锁定外科器械21，以保护患者和/或外科规程结果。

在一些具体实施中，触发事件是对在标准设置下可不利地影响外科器械21在外科规程中的正确使用的组织状况(诸如生物异常)的检测。例如，极高的体重指数“BMI”需要调节袖状胃切除术中的外科器械21的各种设置。BMI程度可由态势感知模块6006例如从围手术期数据中检测得出。

对偏离可接受的预定阈值的BMI程度的检测可使得系统6000将高显示优先级值分配给关于BMI程度的警告、用户超驰请求和/或确认请求。此外，系统6000还可将高显示优先级值分配给推荐的外科器械设置，诸如例如在袖状胃切除术中使用的外科缝合器的较低击发速度。系统6000和/或计算机实现的交互式外科系统1可被配置为能够基于围手术期间数据自动确定推荐的外科器械设置。

在各种方面，确定6013外科数据在显示器6005上的显示布置包括改变外科数据的视觉表示的特性。在一些具体实施中，外科数据可为可叠加在显示器6005的外科视野的实况流上的传感器读数的形式。传感器读数可以根据传感器参数读数对外科规程的重要性而变化的颜色来突出显示。在一些具体实施中，传感器读数可在传感器读数处于预定标准的正常界限内时以第一颜色在视觉上表示，并且传感器读数可在传感器读数处于正常界限以外时以不同于第一颜色的第二颜色在视觉上表示。

例如，传感器读数可以是温度读数，当温度读数小于或等于预定温度阈值时，其可以绿色在视觉上表示。如果温度读数超过预定阈值，则温度读数可以例如以黄色或红色在视觉上表示，从而指示当前温度外科规程的重要性。

在一些具体实施中，外科数据的视觉表示的特性变化可以是渐变的。例如，温度读数可以随着温度升高而从黄色逐渐转变成红色，以反映温度变化的严重性。在一些具体实施中，视觉表示的其他特性也可以变化，诸如例如大小、形状、显示时间、显示位置、显示三维布置(例如，前景、背景)、显示闪烁、突出显示和/或字体。

在各种方面，确定6013外科数据在显示器6005上的显示布置包括例如以反映显著性降低和/或非活动状态的方式移除或改变外科数据的视觉表示的特性。在一些具体实施中，外科数据包括用于密封外科规程的外科视野中的组织的外科能量装置的温度。响应于外科能量装置的激活，温度的视觉表示叠加在显示器6005上的外科视野的实况流上。视觉表示意味着外科能量装置是“热的”，以警告人们在外科能量装置处于活动状态时小心操作。在一些具体实施中，视觉表示可包括指示高优先级状态的特性，以确保吸引使用外科能量装置的临床医生和/或其他OR人员的注意。

当临床医生使用外科能量装置时，可为温度的视觉表示分配较低优先级状态，即使外科能量装置仍然是热的。这是为了减少使临床医生分心和/或将临床医生的注意力转移到更高优先级外科数据的另一视觉表示。例如，可将温度的视觉表示变为中性颜色、更小大小和/或变为不同形状。

一旦外科能量装置不活动，如果温度处于或超过预定阈值，则将高优先级状态重新分配给温度，使其视觉表示变化，从而提供警告以吸引注意力或突出显示即使不活动的外科能量装置仍然高于可能导致伤害的温度阈值。响应于温度降至低于预定阈值，温度的视觉表示再次变为较低优先级状态。在一些具体实施中，可使用位于外科能量装置的端部执行器上或附近的一个或多个温度传感器来监测外科能量装置的温度。传感器读数可以无线方式或通过有线通信传送到系统6000。

在各种方面，确定6013外科数据的显示布置包括在第一显示器和第二显示器之间传送外科数据的视觉表示。该传送允许系统6000在适当的时间和位置及时地将外科数据呈现给适当的用户。在一些具体实施中，第一显示器是设置显示器、护士显示器或准备显示器，并且第二显示器是外科视野或外科医生显示器，诸如例如显示器6005。在此类具体实施中，可通过检测到设置完成来触发传送。在某些情况下，用户输入可指示设置完成，这触发了传送。设置可包括对照库存列表检查外科装置以确保存在执行外科规程所必需的外科装置。设置还可包括测试外科装置以确保成功的无线通信操作和/或任何其他合适的测试。

在一些具体实施中，控制模块6001被配置为能够将高显示优先级值分配给第一显示器处的外科数据而将低显示优先级值分配给第二显示器处的相同外科数据，直至检测到触发事件。响应于该检测，控制模块6001被配置为能够将低显示优先级值分配给第一显示器处的外科数据而将高显示优先级值分配给第二显示器处的相同外科数据。优先级的切换使得外科数据被传送到第二显示器。在一些具体实施中，切换使得外科数据的视觉表示在第一显示器处变暗并且出现在第二显示器处。然后，在预定时间段已经过去之后，可从第一显示器完全移除外科数据的视觉表示。

在各种方面，所确定的6013显示布置可能需要另外的处理能力，诸如例如涉及形成光谱视图和/或跟踪外科视野中的外科端部执行器并将外科数据叠加在手术端部执行器上的处理能力。图17是示出用于在由计算机实现的交互式外科系统1执行的外科规程期间响应需要另外处理速度的示例性方法60600的操作的流程图。在需要另外处理能力6061的情况下，控制模块6001可利用现场可编程门阵列(FPGA)。例如，如图17中的方法6060所示，在高级可视化模式6063下，可将用于关键变量的另外高速计算分配给FPGA。当启用了高级可视化模式6063时，FPGA被动态地重新用于最大化可视化(例如，光谱)处理能力。在完成高速计算之后，FPGA可在常规可视化模式6062下返回到正常操作。

在一些具体实施中，常规可视化模式6062和高级可视化模式6063之间的转变可由外科任务触发。控制模块6001可基于由态势感知模块6006生成的上下文信息来检测即将到来的或当前的外科任务。控制模块6001可针对与外科任务相关联的可视化模式查阅可存储在存储器6003中的数据库。如果外科任务需要高级可视化模式6063，则控制模块6001再将FPGA用于帮助与高级可视化模式6063相关联的高速计算。当外科任务完成时，控制模块6001然后触发返回到常规可视化模式6062，从而有效地将FPGA切换到执行常规任务。

在某些具体实施中，检测6011外科数据包括接收竞争用户注意力的两个单独的外科数据。例如，检测6011外科数据可包括接收第一外科数据和第二外科数据，其中第一外科数据和第二外科数据都与当前外科任务相关和/或与一个或多个活动外科装置相关联。在此类具体实施中，方法6010可包括基于第一外科数据和第二外科数据对于手术成功的相对关键性和/或可能因为忽略它们而导致的故障的严重性，为第一外科数据和第二外科数据分配6012显示优先级值。例如，如果第一外科数据包括比第二外科数据更高的关键性，则方法6010为第一外科数据分配6012比第二外科数据更高的显示优先级值。附加地或另选地，如果与第一外科数据相关联的第一故障比与第二外科数据相关联的第二故障更严重，则方法6010为第一外科数据分配6012比第二外科数据更高的显示优先级值。

在一些具体实施中，与各种外科数据相关联的显示优先级值和对应的关键性和/或故障严重性可以任何合适的格式(例如，表或数据库)存储在诸如存储器6003的存储介质中。控制模块6001的处理器85可被配置为能够基于此类存储信息来分配6012显示优先级值。

附加地或另选地，可基于预定用户偏好和/或用户特定外科上下文来分配6012显示优先级值。在一些具体实施中，与活动外科器械21相关联的外科数据可选择性地显示在与使用外科器械21的临床医生相关联的显示器上。因此，方法6010可包括将不同显示优先级值分配6012给用于不同显示器的相同外科数据。

在一个范例中，与由临床医生利用的第一外科装置相关联的外科数据同时被分配6012相对于由临床医生选择或以其他方式与临床医生相关联的第一显示器的高显示优先级值，以及相对于不由临床医生选择或与临床医生相关联的其他显示器的低显示优先级值。在另一个范例中，与由临床医生利用的第一外科装置相关联的第一外科数据被分配相对于由临床医生选择或以其他方式与临床医生相关联的第一显示器的高显示优先级值，而与未由临床医生利用的第二外科装置相关联的第二外科数据被分配相对于第一显示器的低显示优先级值。

在各种情况下，控制模块6001从态势感知模块6006接收上下文信息，可在特定外科装置的外科数据与关联到使用该外科装置的临床医生的显示器的前述配对中使用该上下文信息。上下文信息可由态势感知模块6006基于围手术期数据而生成。

在一些具体实施中，数据库或表可存储配对信息。在其他情况下，当临床医生握住外科装置时，临床医生可佩戴能够被外科装置检测到的唯一标识符。当做出肯定识别时，控制模块6001可随后相对于与临床医生选择或以其他方式与临床医生关联的显示器将高显示优先级值分配给与外科装置关联的外科数据。在一个范例中，唯一标识符可以是临床医生的手套中的RFID，其由外科装置手柄中的对应RFID扫描器检测。

在某些情况下，诸如在结肠直肠规程期间，系统6000被配置为能够自动地将显示器(例如，显示器6005)从显示第一外科视野的第一实况流切换到第二外科视野的第二实况流。自动切换可通过外科规程中外科任务的完成来触发。在一个示例中，指示外科任务完成的预定外科提示可用作实况流之间自动切换的触发。预定外科提示可包括例如检测由外科器械21击发到组织中的钉的完成、检测由外科器械21密封组织的完成和/或检测组织从外科器械21的端部执行器的钳口的释放，例如通过打开钳口。

预定外科提示还可包括检测外科器械21的激活，接着检测外科器械21的去激活，这指示外科器械21完成外科任务。在一些具体实施中，控制模块6001利用来自外科器械21的一个或多个传感器和/或计算机实现的交互式外科系统1的其他部件的读数来检测预定外科提示。在一些范例中，基于由态势感知模块6006生成的上下文信息来检测预定外科提示。

在结肠直肠规程中，临床医生使用圆形缝合器和线性缝合器来完成规程的各种任务。结肠直肠规程涉及在两个离散的外科视野中操作，即，切除患病组织的内部外科视野和利用圆形缝合器的外部外科视野。在一些具体实施中，第一实况流聚焦在发生组织切除的内部部分上，并且第二实况流聚焦在应用圆形缝合器的外部部分上。在此类具体实施中，自动切换可通过完成由线性缝合器进行的组织切除而触发，这例如可通过去激活线性缝合器和/或从第一外科视野移除线性缝合器来检测。控制模块6001可采用各种对象识别、对象跟踪和/或对象标记算法和/或实况流的图像帧的其他图像处理技术，例如以检测线性缝合器从外科视野的移除。

图18是示出在外科规程中用于外科视野的实况流之间自动切换的示例性方法6070的操作的流程图。在一些具体实施中，方法6070可例如由计算机实现的交互式外科系统1执行。方法6070包括将第一外科视野的第一实况流呈现6071在显示器(例如，显示器6005)上。如果6072检测到指示在第一外科视野完成外科任务的预定外科提示，则6073自动地从将第一外科视野的第一实况流呈现在显示器上切换成将第二外科视野的第二实况流呈现在显示器上。在一些范例中，第二外科视野与在外科规程中的第一外科任务之后的第二外科任务相关联。

在外科规程期间，计算机实现的交互式外科系统1的各种部件可能会竞争可用的系统资源，诸如功率、电流和/或处理资源。附加地或另选地，计算机实现的交互式外科系统1的某些部件的操作可能干扰或不利地影响计算机实现的交互式外科系统1的其他部件的操作。本文描述了通过维持系统资源和/或部件操作的平衡来确保部件功能成功的各种方法和系统。

图19是示出用于在由计算机实现的交互式外科系统1执行的外科规程期间平衡系统资源的示例性方法6050的操作的流程图。方法6050包括检测6051系统资源的故障以满足计算机实现的交互式外科系统1的不同部件的竞争需求。方法6050还包括响应于检测到故障而显示系统资源的资源分配控制，例如6052通过将资源分配控制叠加在外科规程的外科视野的实况流上。另外，方法6050还可包括显示对资源分配控制的推荐调节。

除上述内容之外，方法6050还包括基于用户进行的资源分配控制调节来6053调节不同部件中的一者或多者的功率消耗。方法6050还可包括在不再检测到故障时6055返回默认资源分配或移除资源消耗限制。方法6050还可包括6054显示表示资源分配的调节效果的视觉内容和/或6056显示表示返回到默认模式的视觉内容，例如通过将视觉内容叠加在计算机实现的交互式外科系统1的显示器上的外科视野的实况流上。

在一些具体实施中，6051检测故障包括达到和/或超过预定阈值，诸如例如功率阈值、电流阈值、处理阈值和/或最大利用阈值。可选择预定阈值以确保在达到功率消耗超过可用功率资源的点之前实现6051检测故障，以避免在外科规程期间出现故障。在一些具体实施中，预定阈值存储在诸如存储器6003的存储介质中，该存储介质由处理器85访问并与监测值(例如，总消耗、消耗速率)进行比较。

在一些具体实施中，当控制模块6001检测到在外科规程期间以等于或大于预定阈值的总估计资源消耗(例如，功率消耗)或资源消耗速率执行的竞争任务时，6051检测到故障。在一些具体实施中，当控制模块6001检测到以等于或大于预定阈值的总估计资源消耗(例如，功率消耗)或资源消耗速率同时利用计算机实现的交互式外科系统1的多个部件时，6051检测到故障。在一个示例中，例如存储在存储器6003中的数据库可包括与计算机实现的交互式外科规程系统1的各种部件和/或计算机实现的交互式外科规程系统1执行的各种任务相关联的资源消耗估计的列表。处理器85可基于数据库中的信息来计算资源消耗值，并且将计算出的值与预定阈值进行比较以便确定是否检测到故障6051。

在一些具体实施中，系统资源是功率并且计算机实现的交互式外科系统1的竞争功率资源的部件是系统6000或计算机实现的交互式外科系统1的任何其他可视化系统以及发生器27。例如，在外科组织密封规程期间，计算机实现的交互式外科系统1可被配置为能够执行总共要求达到或超过预定阈值的功率消耗的两项任务。第一任务可以是例如提供外科视野的光谱视图的可视化任务，并且第二任务可以是例如将外科能量装置通电以密封外科能量装置在外科视野中抓持的组织。发生器模块27可被配置为能够向外科能量装置供电以通过向组织施加治疗能量来密封组织。

在此类具体实施中，通过监测系统6000和发电机模块27的功率消耗6051检测到故障。如果功率消耗达到和/或超过预定阈值，则控制模块6001通过使功率分配控制叠加6052在显示器6005上的外科视野的实况流上来发出用户警告。控制模块6001可随后根据功率分配控制的用户调节来调节功率消耗。

在某些情况下，控制模块6001减少一个或多个系统的功率要求以实施用户调节。例如，控制模块6001可响应于选择减少对系统6000的功率分配以有利于维持对发生器模块27的功率分配的用户输入而减小显示器6005的亮度。附加地或另选地，控制模块6001可响应于选择减少对系统6000的功率分配以有利于维持对发生器模块27的功率分配的用户输入而减慢、延迟或暂停系统6000执行的某些任务，诸如二次图像处理任务。

在某些情况下，功率分配控制的用户调节可相对于发生器模块27更偏向系统6000进行功率分配。这可能发生在用户处于需要最佳可视化(例如，密封血管)的关键步骤的情况下，以及能量装置的适当操作仍然能够以较低功率程度实现(可能通过延长组织密封时间)的情况下。在这种情况下，控制模块6001可使外科能量装置和/或发生器模块27调节其设置中的一者或多者以减少有利于系统6000的功率汲取。

在一些具体实施中，控制模块6001在没有用户输入的情况下响应于检测到故障而自动地协调以进行功率分配调节。在此类具体实施中，控制模块6001仅向用户警告由功率消耗的自动变化而引起的变化。例如，控制模块6001可在显示器6005上的实况流上叠加对显示器6005的亮度变化的警告和/或例如由于产生叠加的图像处理的临时暂停而引起的诸如外科数据叠加的视觉内容的叠加的临时暂停。当外科能量装置完成组织密封时，可重新引入叠加。另选地，叠加可间歇地显示而不是连续地显示，以减少系统6000的功率消耗而有利于发电机模块27。

在一些具体实施中，用户对功率分配控制的调节经由一个或多个被配置为能够例如防止一个或多个系统超过最大熔断极限阈值的有源离散限流电路实现。

在一些具体实施中，系统资源是功率并且计算机实现的交互式外科系统1的竞争功率资源的部件是系统6000或计算机实现的交互式外科系统1的任何其他可视化系统以及排烟器模块26(图3)。例如，在外科组织密封规程期间，计算机实现的交互式外科系统1可被配置为能够执行总共要求达到或超过预定阈值的功率消耗的两项任务。第一任务可以是例如提供外科视野的光谱视图的可视化任务，并且第二任务可以是例如从外科视野提取烟雾。烟雾是由能量装置进行的组织密封过程的副产品。

在此类具体实施中，如果6051检测到故障，则控制模块6001可随后发出用户警告，例如通过使功率分配控制叠加6052在显示器6005上的外科视野的实况流上，如先前所讨论。控制模块6001可随后根据功率分配控制的用户调节来调节功率消耗。在某些情况下，控制模块6001可能推荐将排烟模块26调节到较低设置，例如通过将表示所推荐调节的视觉内容叠加在显示器6005上的外科视野的实况流上。另外，控制模块6001还可以叠加表示排烟速度减慢的视觉内容。以所指示的方式呈现此类视觉内容为外科能量装置的用户提供了通过将外科能量装置调节到产生较少烟雾的较低设置来减慢密封过程的机会。当系统6000的另外功率要求例如由于与光谱视图相关联的图像处理的完成而停止时，控制模块6001使得表示警告的视觉内容的叠加通知用户排烟模块26正返回到其初始设置。

在各种情况下，可实施类似于方法6050的方法以解决可能不利地影响使用计算机实现的交互式外科系统1执行的外科规程的其他故障，例如过热和/或噪音。在这种情况下，可基于计算机实现的交互式外科系统1的一个或多个部件的一个或多个内部和/或外部传感器的读数来实现故障检测。可随后将传感器读数与预定阈值进行比较以检测故障。例如，如果一个或多个温度传感器读数处于或大于预定温度阈值，则可检测到过热故障。响应于该故障，控制模块6001可将虚拟控制叠加在显示器6005上的外科规程的外科视野的实况流上，从而向用户呈现改变计算机实现的交互式外科系统1的一个或多个部件的设置以解决过热的机会。类似的方法可用于解决噪声程度。

在各种情况下，根据方法6010，显示布置包括显示器6005的节段以适应外科数据的视觉表示。同时显示的节段的大小、形状、显示时间、显示位置、显示三维布置(例如，前景、背景)、显示闪烁、突出显示和/或字体可取决于多种因素，包括外科数据的性质、复杂性和/或关键性。在一些具体实施中，被配置为能够同时显示的外科数据的配对信息可提供在存储在诸如存储器6003的存储介质上的数据库或表中。控制模块6001的处理器85可基于存储信息来确定是否要同时显示多个外科数据。

在一些具体实施中，两个不同外科数据的视觉表示被配置为能够以分段模式同时显示在显示器6005上，但仅一个视觉表示准备就绪可以显示。在此类具体实施中，未准备就绪的视觉表示可表示为其所分配的节段中的空白区域。另外，如上文所述，控制模块6001可被配置为能够将针对另外处理速度的FPGA重新用于帮助使未准备就绪的视觉表示准备就绪。另选地，未准备就绪的视觉表示可以较低质量显示以确保外科数据被同时显示。

在某些情况下，多个外科数据的视觉表示被配置为能够例如以分段模式同时显示在显示器6005上，但系统6000没有足够的处理能力来同时显示所有不同的外科数据。响应于检测到其处理能力的不足，系统6000可例如基于外科数据的所分配显示优先级值，使较高优先级外科数据的显示优先于较低优先级外科数据。

在其他情况下，显示问题可能是显示器6005上没有足够的显示区域以分段模式同时显示多个外科数据的视觉表示。在这种情况下，由控制模块6001实现的显示布置可包括画中画类型的显示布置，其中第一视觉表示显示在第二视觉表示的内部。换句话说，第一视觉表示可出现在前景中，并且大小可小于出现在背景中的第二视觉表示。另外，通过任何合适的用户界面6007，临床医生可通过选择性地使视觉表示中的一者移动到前景并使另一者移动到背景来在两个视觉表示之间切换。

控制模块6001可被配置为能够基于显示器6005的预定显示大小以及外科数据的视觉表示的计算显示大小来检测是否缺乏足够的显示区域。在一些具体实施中，可在计算中利用预定等式。在视觉表示的大小相同或相似的其他情况下，在外科数据的视觉表示的数量等于或大于预定阈值时检测到缺乏足够的显示。

在各种情况下，根据方法6010，显示布置包括显示模式之间的转变，诸如例如静态或被动显示模式和动态或活动显示模式。在一些具体实施中，控制模块6001被配置为能够将外科数据的视觉表示从静态模式转变成动态模式。控制模块6001可被配置为能够响应于预定触发(诸如例如与外科数据相关联的优先级、关键性及/或风险的变化)而实施转变。例如，6012初始分配了低显示优先级值的外科数据可以静态显示模式显示或叠加在外科视野的实况流上，该静态显示模式稍后由于外科数据的显示优先级值增大到更高显示优先级值而转变成活动显示模式。

除上述内容之外，在一些具体实施中，静态模式包括将与外科器械21相关联的外科数据的静态视觉表示显示或叠加到例如显示器6005的侧面或拐角上。相反，活动模式可包括例如将外科数据的活动视觉表示叠加在外科视野的实况流中的外科器械21的一部分上和/或移动静态视觉表示中的突出显示区域。在各种具体实施中，静态显示模式与活动显示模式在例如大小、形状、显示时间、显示位置、显示三维布置(例如，前景、背景)、显示闪烁、突出显示和/或字体中的一个或多个方面不同。

在一些具体实施中，从静态显示模式到活动显示模式的转变基于外科器械21的致动或激活，这意味着这是要求实时动态显示的技术敏感步骤。例如，在将后续钉击发到组织中的过程中(这要求相对于先前击发具有特定击发角度)，外科器械21的致动或激活可触发到活动显示模式的转变。首先，可以静态显示模式显示或叠加某些显示元素，诸如外科数据的视觉表示(例如，各种击发参数和/或组织参数)。然后，响应于外科器械21的致动或激活，在后续击发中，控制模块6001致使转变成动态显示模式，其中显示元素例如被突出显示和/或移动。在各种情况下，触发转变的后续击发涉及也部署了组织附属物(例如，组织厚度补偿件)的钉击发。

在一些具体实施中，控制模块6001被配置为能够致使静态显示模式中的显示元素大小变小、变得较不突出和/或随时间消失。外科器械21的各种操作参数可初始以动态显示模式呈现，然后随着这些参数的重要性程度变化而转变成静态显示模式。在某些范例中，某些显示元素例如在静态显示模式下被分配到显示器6005上的预定位置，然后在活动显示模式下改变这些预定位置。

在一些具体实施中，外科数据(例如，生物标记)的视觉表示以静态显示模式呈现，例如不突出显示的纯色，而与生物标记相关联的值保持在预定范围内或低于预定阈值。然而，如果值移动超出预定范围或超出预定阈值，则外科数据的视觉表示可通过例如使得视觉表示的某些显示元素在大小、形状、显示时间、显示位置、显示三维布置(例如，前景、背景)、显示闪烁、突出显示和/或字体方面变化而转变成动态显示模式。

图19A是示出用于基于外科数据在静态显示模式与活动显示模式之间进行转变的示例性方法6110的操作的流程图。在一些具体实施中，方法6110可例如由计算机实现的交互式外科系统1执行。在例示的示例中，外科数据包括组织参数。组织参数是组织阻抗。可类似地呈现其他组织参数，诸如例如组织厚度、组织压力、组织传导性和/或组织压缩。

除上述内容之外，方法6110还包括6111检测外科器械21的端部执行器的钳口之间的组织。在某些情况下，组织检测6111可例如通过对象识别、对象跟踪和/或对象标记算法和/或实况流的图像帧的其他图像处理技术自动地实现。另选地，外科器械21可被配置为能够基于钳口中的一个或多个传感器的信号读数来61111检测钳口之间存在组织。例如，当流过组织的非治疗信号产生可接受的组织阻抗时，可检测到组织6111。

响应于检测到组织6111，方法6110以静态显示模式6112呈现组织参数，例如通过显示组织参数的视觉表示或将组织参数的视觉表示叠加在外科视野的实况流上。然而，如果6113组织参数达到或超过预定阈值，或变成在预定范围之外，则方法6110进一步使得组织参数的视觉表示的一个或多个显示元素6115转变成活动显示模式。

在一些具体实施中，外科器械21是被配置为能够密封由外科器械21的端部执行器抓持的组织的能量装置。在治疗开始时，当6111检测到组织时，组织阻抗以静态显示模式呈现。外科器械21可通过有线或无线接口将指示组织阻抗的外科数据传送到控制模块6001，以例如在静态显示模式下显示在显示器6005上。随着开始向组织施加能量，组织阻抗变化。然而，如果组织阻抗达到或超过预定阈值，或变成在预定范围之外，则这可能是端部执行器浸入流体、电短路或仅低阻抗组织的指示。在任何情况下，到活动显示模式的转变6115被触发以警告临床医生进行调查。

在各种情况下，控制模块6001确定与外科规程相关的各种外科信息，诸如例如外科规程的步骤、要在每个步骤中使用的外科器械21以及与每个步骤相关联的各种风险和/或技术。这种确定可例如基于由态势感知模块6006生成的上下文信息。控制模块6001可随后利用本公开所述的一种或多种方法在显示布置中将外科信息显示或叠加在外科规程的外科视野上。例如，当前步骤、与当前步骤相关联的外科器械21、与当前步骤相关联的风险和/或与当前步骤相关联的技术可以活动显示模式呈现，而之前和/或之后的步骤以静态显示模式呈现。当下一步骤变为当前步骤时，其转变成活动显示模式。

除上述内容之外，从静态显示模式到活动显示模式的转变6115可用于反映对规程计划的改变，例如反映新的布局。在各种情况下，外科信息可由控制模块6001分成例如进入、分离和/或移动、切除和/或修复和/或向外科医生增加相关数据的阶段以供呈现。

在各种情况下，外科数据的视觉表示在静态显示模式与活动显示模式之间的转变基于与外科数据链接或相关联的外科器械21的使用方面的变化。外科数据可初始以静态显示模式呈现。然而，如果在外科器械21的使用中检测到预定改变，则外科数据的视觉表示到活动显示模式的转变受到影响。

图19B是示出用于将外科数据的视觉表示在静态显示模式与活动显示模式之间进行转变的示例性方法6120的操作的流程图。转变基于与外科数据链接或关联的外科器械21的使用的变化或由触发。在一些具体实施中，方法6120可例如由计算机实现的交互式外科系统1执行。

在例示的示例中，外科器械21是被配置为能够在外科规程过程中使由其端部执行器抓持的组织凝固的超声外科器械。外科器械21与采用预设发生器设置的发生器一起使用，预设发生器设置由控制模块6001接收6121以供显示或叠加在外科规程的外科视野上。方法6120还包括以静态显示模式呈现6122预设生成器设置。然而，如果6123在外科规程期间，由于例如尝试凝固的血管半浸入血液中而检测到端部执行器浸入血液中，则新的发生器设置以活动显示模式呈现。新的发生器设置可包括响应于端部执行器浸入血液中而增大换能器功率程度。新的发生器设置的显示或在外科视野的实况流上的叠加警告外科器械21的用户，并且如果增大的功率程度是不利的，则为用户提供调节端部执行器的位置的机会。

在一些具体实施中，通过一个或多个传感器来实现检测端部执行器在血液中的浸入。在一个示例中，非治疗电流可流过。如果检测到短路，则该短路是浸入血液中的指示。作为响应，指示浸入的外科数据以无线方式或通过有线接口传送到控制模块6001。

在各种情况下，根据方法6010的显示布置包括初始以静态显示模式呈现外科数据的视觉表示。然后，方法6010响应于与外科数据相关联的外科器械21的状态的变化，引起视觉表示的一个或多个显示元素(诸如例如与外科数据相关联的值)的变化。这些变化包括例如遭遇钉仓锁定、被推进的能量装置的激活、外科器械21的端部执行器的打开构型与闭合构型之间的转变。

如前所述，可在静态显示模式下执行与外科数据相关联的一个或多个值的变化。另选地，在一些具体实施中，变化可伴随着从静态显示模式到活动显示模式的转变以提供另外警告。此类具体实施包括例如各种适配技术，诸如例如暂停以允许组织蠕变和/或组织压缩、检测外科器械21的端部执行器的钳口中的不平衡组织和/或检测钳口的夹持正引发不适当的组织张力。

在各种情况下，根据方法6010的显示布置包括从第一动态显示模式到第二动态显示模式的转变，其中第二动态显示模式包括或表示比第一动态显示模式更高的优先级、风险和/或关键性。在一个示例中，在外科规程期间经由血压监测装置来跟踪血压，血压监测装置可例如使用无线或有线接口将读数传送到控制模块6001。然后，由于血压数据的重要性，可以第一动态显示模式呈现血压的视觉表示。然而，如果在外科规程过程中检测到血压数据的增大超过可接受限值，则进行转变以将血压数据提高到第二动态显示模式，例如以确保递送适当的警告。

在各种具体实施中，外科数据的视觉表示的一个或多个特性，例如，视觉表示的大小、形状、显示时间、显示位置、显示三维布置(例如，前景、背景)、显示闪烁、突出显示和/或字体，可基于6012所分配的显示优先级值。在某些情况下，6012所分配的显示优先级值可得到具有显示冲突的显示布置。例如，基于所分配的显示优先级值确定显示布置可得到例如在显示器6005上具有相同位置的外科数据的多于一个视觉表示。

图20是示出用于解决显示布置中的显示冲突的示例性方法6010'的操作的流程图。方法6010’在许多方面类似于方法6010。为了简洁起见，此处不重复这两种方法之间的共同细节。在某些情况下，如图20所示，6080检测到的显示冲突可通过6081改变竞争性视觉表示的一个或更多个显示时间来解决冲突。另选地，可使得临床医生意识到冲突，并且可在显示器6005上提供选择以在不同的外科数据之间进行选择6082。另选地，选择6083可基于临床医生的预定偏好自动做出，预定偏好可基于用户输入或由态势感知模块(例如，6006)生成的上下文信息。

在一些具体实施中，6080检测第一外科数据与第二外科数据之间的显示冲突包括例如由处理器85从例如存储器6003检索用于第一外科数据和第二外科数据的显示优先级信息。处理器85可随后比较第一外科数据和第二外科数据的显示优先级信息以确定是否检测到显示冲突6080。

在某些具体实施中，控制模块6001被配置为能够例如通过同时显示大小小于默认大小的竞争性外科数据的视觉表示来响应检测到的显示冲突6080。允许临床医生例如通过用户界面6007在视觉表示之间进行选择。作为响应，控制模块6001移除未选择的视觉表示，并且将所选的视觉表示的大小增大到默认大小。

在某些具体实施中，6080检测到的显示冲突可通过基于根据呈现显示冲突的外科数据确定的解决顺序自动地设定优先级6084来解决。在一些具体实施中，基于与外科数据相关联的外科步骤的顺序和/或由外科数据报告的风险和/或问题的紧急性来确定解决顺序。

在某些范例中，6080检测第一外科数据与第二外科数据之间的显示冲突，两者都呈现高优先级问题和/或风险。此外，与第二外科数据相关联的第二解决方案不能被执行，直至与第一外科数据相关联的第一解决方案被实施。在此类范例中，第一外科数据的第一视觉表示基于解决顺序自动地优先于第二外科数据的第二视觉表示6084。

在某些范例中，在与防止外科器械21的致动的锁定相关联的第一外科数据和与正由外科器械治疗的组织的次优组织厚度相关联的第二外科数据之间可能出现显示冲突。在此类范例中，可采用预定的解决顺序来解决有利于锁定的冲突，因为组织厚度问题尽管具有高优先级，但在外科器械21处于锁定状态时不能被解决。

在某些情况下，解决顺序可以数据库、表或任何其他合适形式的形式存储在存储介质(例如，存储器6003)上。存储信息可列出各种外科数据和对应的解决顺序。处理器85可参考存储信息来识别竞争性外科数据之间的解决顺序以解决显示冲突。在一些具体实施中，解决顺序基于将根据竞争性外科数据发起或完成的外科任务的顺序。

在一些范例中，控制模块6001可接收指示检测到的钉仓(例如，装载到外科器械21上的钉仓)先前已被击发的第一外科数据。外科器械21的控制器可例如通过请求存储在钉仓的芯片上的击发信息来询问钉仓，并且可基于检索到的击发信息来确定钉仓是否先前已被击发。包括击发信息的第一外科数据可随后以无线方式或通过无线通信传送到控制模块6001。另外，控制模块6001可接收第二外科数据，该第二外科数据与在涉及装载有先前击发的钉仓的外科器械21的外科规程中将外科器械21的端部执行器闭合到正被缝合的组织上相关联。例如，第二外科数据可涉及端部执行器的钳口之间的组织厚度和/或组织位置。

除上述内容之外，控制模块6001检测显示冲突6080，因为第一外科数据(先前击发的钉仓)和第二外科数据(端部执行器闭合到组织上)均包括高优先级状态。例如，为了确定第一外科数据和第二外科数据的视觉表示在显示器6005上的显示布置，处理器85检查以数据库、表或任何其他合适形式存储在存储介质(例如，存储器6003)上的解决顺序信息。在本示例中，由第一外科数据呈现的第一问题(先前击发的钉仓)必须在由第二外科数据呈现的第二问题(端部执行器闭合到组织上)之前解决。这是因为如果先前击发的钉仓不能用于治疗组织，则解决端部执行器闭合到组织上的问题并不重要。

一旦显示冲突被解决，方法6010'继续根据基于解决顺序选择的显示布置来6014'显示第一外科数据和第二外科数据的视觉表示。例如，可在第二外科数据的第二视觉表示之前显示第一外科数据的第一视觉表示。可采用如本公开别处所述的其他合适的显示布置。

在各种方面，外科规程涉及使用外科器械21诸如例如外科缝合器来缝合组织。该外科规程通常包括将外科器械21的端部执行器定位在外科视野中，并且致动端部执行器以将组织抓持在端部执行器的钳口之间。钳口将所抓持的组织置于压缩作用下。由于组织含水，因此所抓持的组织在被称为组织蠕变的过程中响应于被端部执行器的钳口压缩而逐渐变化，直至组织达到稳态。此外，钳口之间的间隙和组织厚度也可能变化，直至组织达到稳态。而且，还可能发生组织流动或组织运动，直至组织达到稳态。在一些具体实施中，为了成功地缝合，允许组织等待一定时间以达到稳态。与先前描述的组织变化相关联的参数(诸如等待时间参数、组织厚度参数和/或器械间隙参数)对于正确评估何时达到组织稳态是重要的。

图21是示出用于解决采用外科器械21的外科规程中的组织变化(例如，组织蠕变、组织流动、组织压缩)的示例性方法6090的操作的流程图。在一些具体实施中，方法6090包括6091检测外科器械21的端部执行器的钳口之间的组织。在某些情况下，组织检测6091可例如通过对象识别、对象跟踪和/或对象标记算法和/或实况流的图像帧的其他图像处理技术自动地可视地实现。另选地，外科器械21可被配置为能够基于钳口中的一个或多个传感器的信号读数来6091检测钳口之间存在组织。例如，当流过组织的非治疗信号产生可接受的组织阻抗时，可检测到组织6091。

响应于6091检测到组织，方法6090可将组织变化的至少一个参数(例如，组织蠕变、组织流动、组织压缩)和/或端部执行器的钳口之间的外科器械间隙距离的参数和/或等待时间6092显示或叠加在外科视野的实况流上。在某些具体实施中，方法6090还包括在达到稳态时6094向外科器械21的用户发出警告以开始组织治疗。在某些情况下，基于组织变化参数中的一者或多者和/或外科器械参数中的一者或多者来检测稳态6093。例如，当组织流动、组织蠕变、组织厚度、组织压缩、端部执行器的钳口之间的间隙距离和/或等待时间中的一者或多者处于或超过预定阈值时，可检测到稳态6093。另选地，如果组织流动、组织蠕变、组织厚度、组织压缩、端部执行器的钳口之间的间隙距离和/或等待时间中的一者或多者的变化速率小于或等于预定阈值，可检测到稳态6093。附加地或另选地，可基于对象识别、对象跟踪和/或对象标记算法和/或可监测例如组织中的变化的其他图像处理技术来自动地视觉检测稳态6093。

在一些具体实施中，方法6090还包括例如通过利用一个或多个合适的对象识别、对象跟踪和/或对象标记算法和/或实况流的图像帧的其他图像处理技术，在外科器械21施加治疗期间自动地可视地监测组织变化。在某些情况下，治疗可以例如是将钉击发到所抓持的组织中。如果6095在击发期间组织变化达到过量程度，则方法6090还可包括向临床医生显示或叠加警告6096。在某些情况下，方法6090包括6097显示或叠加过量组织变化的位置和/或大小的视觉表示，例如如图26中所示。在一些具体实施中，通过例如跟踪所抓持组织中的一个或多个组织目标的大小、位置、颜色和/或移动来自动地可视地监测组织变化。

方法6090还可包括6098显示或叠加推荐解决方案，诸如例如调节外科器械21的一个或多个参数，诸如一个或多个闭合参数(例如，钳口夹持、钳口压力、远侧末端负载)和/或击发参数(例如，击发速度、离子束速度)。在某些情况下，推荐解决方案可以是额外的等待时间。在某些情况下，外科器械21是超声器械，并且推荐解决方案是减小端部执行器的远侧末端负载的解决方案。在其他情况下，外科器械21是外科缝合器，并且推荐解决方案是增大端部执行器的远侧末端负载的解决方案。

在各种情况下，组织变化(例如，组织流动)至少部分地受到抓持在钳口之间的组织所承受的张力的影响。在某些情况下，组织张力是由于移动诸如在抓持组织时端部执行器从中性位置旋转所致。在这种情况下，6098叠加解决方案可为对端部执行器的旋转位置的推荐调节的形式。可例如通过利用一个或多个适当的对象识别、对象跟踪和/或对象标记算法和/或实况流的图像帧的其他图像处理技术来自动地观察过量组织张力。

在一些具体实施中，可使用包括加速度计、陀螺仪、相对位置传感器和/或三维磁性传感器的一个或多个传感器来确定端部执行器的位置和/或取向。在一些具体实施中，传感器可生成表征一项或多项位置变化的位置信息。位置信息可经由有线或无线接口传输到控制模块6001。

在一些具体实施中，加速度计可以是单轴、双轴或三轴加速度计。加速度计可用于测量适当的加速度，该加速度不一定是坐标加速度(速度的变化速率)。相反，加速度计可观察到在加速度计的参照系静止时，与测试质量经受的重量现象相关联的加速度。附加地或另选地，可例如通过利用一个或多个适当的对象识别、对象跟踪和/或对象标记算法和/或实况流的图像帧的其他图像处理技术来自动地观察端部执行器的位置和/或取向。

响应于检测到端部执行器的钳口所抓持的组织的组织张力，控制模块6001可显示组织张力的视觉表示、组织张力的大小和/或负责组织张力的旋转取向，或将它们叠加在外科视野的实况流上。在一些具体实施中，如图22A至图22C所示，组织张力的视觉表示6100、6101、6102可提供例如端部执行器在三维空间中的位置信息。在一些具体实施中，端部执行器的位置信息由从中心纵向地延伸穿过端部执行器的第一轴线(例如，x轴)、垂直于第一轴线并在与第一轴线的第一平面中延伸的第二轴线(例如，y轴)以及垂直于第一轴线并在与第一轴线的第二平面中延伸的第三轴线(z轴)表示，其中第一平面在第一轴线处与第二平面相交。

坐标轴中的每一者可以第一形式(例如，颜色、形状、大小)呈现，同时端部执行器相对于坐标轴处于中性状态，如图22A所示。响应于检测到关于一个或多个坐标轴与中性状态的过度偏离，控制模块6001使得一个或多个坐标轴变为不同于第一形式的第二形式。在其他情况下，例如，与中性状态的过度偏离可为第一偏离并且可基于第一预定阈值或范围，而第二偏离可比第一偏离更过度并可基于不同于第一预定阈值或范围的第二预定阈值或范围。在这种情况下，中性状态可以第一形式呈现，第一过度偏离可以第二形式呈现，并且第二过度偏离可以不同于第一形式和第二形式的第三形式呈现。在某些具体实施中，第一形式包括绿色，第二形式包括黄色，并且第三形式包括红色。

在例示的示例中，围绕y轴检测到与中性状态的第一过度偏离。作为响应，控制模块6001使得y轴从第一形式切换到第二形式，同时x轴和z轴保持在第一形式，如图22B所示。在例示的示例中，第一过度偏差大于或等于第一预定阈值。然后，如图22C所示，围绕x轴检测到大于或等于第二预定阈值的第二过度偏离，同时围绕x轴的第一过度偏离已被修正。作为响应，控制模块6001使Y轴返回到第一形式，并且使x轴变为第三形式。

在各种情况下，与中性状态的不同偏离(例如，第一过度偏离和第二过度偏离)可包括不同的严重性，并且可以指示严重性的不同形式呈现。例如，第一过度偏离可以黄色表示，而比第一过度偏离更严重的第二过度偏离可以红色表示。在一些具体实施中，基于围绕坐标轴中的一者或多者的旋转角度范围来确定与中性状态的偏差。例如，在端部执行器相对于第一轴线的旋转角度满足约±A°的范围的情况下检测到相对于第一轴线的中性状态，在端部执行器相对于第一轴线的旋转角度满足约±B°的范围的情况下检测到第一过度偏差，并且在端部执行器相对于第一轴线的旋转角度满足约±C°的范围的情况下检测到第二过度偏差。在例示的示例中，A、B和C为整数，其中A小于B且B小于C。

参考图23A至图23B，在一些具体实施中，组织张力的视觉表示6104、6105还可包括与坐标轴中的每一者相关联的组织张力测量结果6104a、6105a。控制模块6001可使得组织张力测量结果响应于组织张力的过度偏差(例如，从2.0磅至7.0磅)而改变形式(例如，颜色、大小和/或形状)。

在一些具体实施中，控制模块6001还可使得推荐显示或叠加在外科视野的实况流上，以解决过度组织张力问题。在一些范例中，如图24所示，推荐包括视觉表示2106，示出了具有表示将外科器械21的端部执行器转变为中性状态的推荐旋转的箭头6107外科器械21。

图24至图30示出了根据本公开的方法6010和/或任何其他合适方法基于检测到的外科数据6011确定的各种显示布置6013。图24至图30中示出的显示布置在被构造成能够缝合和切割组织的外科器械21的上下文中示出。然而，在其他具体实施中，图24至图30中示出的显示布置中的一者或多者可在其他类型的外科规程中类似地与其他外科器械一起使用。

本公开所述的多种显示布置涉及将外科数据的各种视觉表示叠加在显示器例如显示器6005上显示的外科视野的实况流上。如本文所用，术语叠加包括半透明叠加、部分叠加和/或移动叠加。此外，叠加层可定位在外科视野中的对象(诸如例如端部执行器和/或关键外科结构)上或至少部分地定位在其上或定位在其附近。某些显示布置可包括叠加层的一个或多个显示元素的变化，包括基于显示优先级值的变化的颜色、大小、形状、显示时间、显示位置、显示频率、突出显示或它们的组合的变化。

图25示出了包括由控制模块6001例如在显示器6005上呈现的混合现实视图的显示布置6117。显示器6005示出在利用外科器械21来缝合和切割由外科器械21的端部执行器6119抓持的组织T的外科规程期间的外科视野的实况流。在例示的示例中，显示布置6117在端部执行器6119的通道上叠加横切进度线6118或钉击发进度线。此外，显示布置6117将击发构件或切割构件行进的距离D叠加在端部执行器6119的通道上，以帮助临床医生跟踪外科器械21的击发过程。

在一些具体实施中，控制模块6001检测例如由端部执行器6119抓持的组织的一个或多个参数和/或外科器械21的超过预定阈值或超过预定范围的参数的变化。在至少一个具体实施中，参数变化是击发速度等于或小于预定阈值的变化。例如，控制模块6001可通过与外科器械21和/或外科集线器6(图1)的有线或无线通信接口接收指示参数变化的外科数据。响应于检测到参数变化，控制模块6001可引起端部执行器6119的通道上的横切进度线6118或钉击发进度线的变化，包括颜色、大小、形状、显示时间、显示位置、显示频率、突出显示或它们的组合的变化。

附加地或另选地，响应于检测到参数变化，控制模块6001可导致虚拟通道的叠加，叠加在端部执行器6119上，以根据变化的量值、根据参数的值或根据与参数变化相关联的风险程度来改变颜色、大小、形状、显示时间、显示位置、显示频率、突出显示或它们的组合中的至少一者。

图26示出了例如根据本公开的方法的由控制模块6001例如在显示器6005上呈现的显示布置6114。显示器6005示出在利用外科器械21来缝合和切割由外科器械21的端部执行器6119抓持的组织T的外科规程期间的外科视野的实况流。在例示的示例中，显示布置6117将指示组织流动的组织标记6116叠加在组织T上。例如，如结合图21的方法6090所述，可检测到过量组织流动。在例示的示例中，显示布置6114将横切进展线6118和组织标记6116的叠加组合在一起。其他显示布置可以仅包括组织标记6116。

图27A至图27C示出了根据本公开的至少一个方面的提供外科数据的视觉表示6131的显示布置6130。在一些具体实施中，例如根据本公开的方法，显示布置6130由控制模块6001呈现在例如显示器6005上。在例示的示例中，显示布置6130以半透明叠加6133形式呈现视觉表示6132，指示在外科器械21的击发序列期间的组织流动。在击发序列期间，外科器械21被配置为能够将钉部署到由外科器械21的端部执行器抓持的组织T中并且并行地切割组织T。在例示的示例中，显示布置6130以动态显示模式呈现，其中描绘了视觉表示6131的显示元素6132(图27A)、6133'(图27B)、6133'(图27C)中的变化。

显示元素可跟踪穿过端部执行器宽度的组织流动。不同位置可以不同形式(例如，颜色、形状和/或大小)呈现，其中不同形式表示不同位置中的不同程度的组织流动。在例示的示例中，显示元素6132表示可接受的组织流动状况，并且显示元素6132'表示低风险组织流动状况。相反，显示元素6132”'表示高风险组织流动状况。

参见图28和图29，在一些具体实施中，例如根据本公开的方法，显示布置6140由控制模块6001呈现在例如显示器6005上。显示器6005示出在利用外科器械21来缝合和切割由外科器械21的端部执行器6141抓持的组织T的外科规程期间的外科视野的实况流。在例示的示例中，显示布置6140根据击发构件、切割构件和/或刀位置将性能参数曲线6142(图29)与历史迹线叠加。例如，曲线6142与端部执行器6141相邻地叠加。

曲线6142呈现与在外科器械21的击发序列期间监测到的一个或多个参数6146相关联的风险严重性，这些参数诸如例如为砧座间隙、组织负载、击发速度和/或马达速度。此外，曲线6142还提供多个阈值(例如，三个阈值6143、6144、6145)，每个阈值表示严重性程度(例如，低、中、高)，以向临床医生提供关于与所测量的参数6146相关联的风险的严重性的视觉指示符。

附加地或另选地，显示布置6140可被配置为能够利用有色曲线6147来呈现与组织T的组织参数(例如，组织压力、组织压缩、组织流量、组织厚度)相关联的外科数据。组织参数值可根据与一个或多个预定阈值的值关系以不同颜色(例如，绿色、黄色、红色或浅色阴影、中等阴影、深色阴影)表示。在例示的示例中，绿色表示具有可接受值的组织部分，黄色表示具有低风险值的组织部分，并且红色表示具有高风险值的组织部分。例如，彩色曲线6147提供帮助临床医生确定是否开始和/或继续击发序列的方便快速的风险评估工具。

在各种具体实施中，组织参数值由例如在端部执行器6141的宽度上和沿着端部执行器的长度分散在多个位置的传感器测量。组织参数值随后由例如与端部执行器6141上的传感器的位置相称的有色曲线6147上的有色(例如，绿色、黄色、红色或浅色阴影、中等阴影、深色阴影)区域表示。

图30示出了根据本公开的至少一个方面的提供外科数据的视觉表示的显示布置6150。在一些具体实施中，例如根据本公开的方法，显示布置6150由控制模块6001呈现在例如显示器6005上。在一些具体实施中，显示布置6150叠加在利用外科器械21来缝合和切割组织的外科规程的外科视野的实况流上。

在一些具体实施中，显示布置6150包括外科器械21的端部执行器6153的模拟横截面叠加6152，其实时显示并匹配例如一个或多个端部执行器部件的位置和运动。增强的可视化可帮助临床医生更好地理解当前状态和来自外科器械21的基于风险的反馈(例如，夹持负载太高、力太大、需要等待时间等)。

在例示的示例中，模拟叠加6152示出了钉6156、钉驱动器6154和被构造成能够推动钉驱动器6154以将钉6156部署到组织中的击发构件(例如，滑动件6155)。击发构件在模拟叠加6152中的位置反映击发构件在端部执行器6153中的位置，并且实时地指示击发序列的进展。此外，在例示的示例中，模拟叠加6152示出了模拟组织(ST)，其可以反映检测到组织流动的区域中的组织流动的方式呈现。虽然例示的示例仅示出了一排钉6156，但在其他示例中，可示出多排钉。

在一些具体实施中，在动态显示模式下由模拟叠加6152示出击发序列。此外，在一些情况下，钉形成可基于一个或多个所确定的参数来预测，诸如例如组织类型、患者参数、组织流量、闭合力、组织蠕变稳定性、砧座间隙等。例如，控制模块6001可采用预定的公式、数据库和/或表来预测钉形成。

在例示的示例中，显示布置6150还包括钉形成叠加层6157。控制模块6001可被配置为能够例如预测钉成形并实时更新钉成形叠加层6157。

图31是示出根据本公开的至少一个方面的用于在外科规程期间基于风险来操纵显示布置的示例性方法6160流程图。在一些具体实施中，方法6120可例如由计算机实现的交互式外科系统1执行。在一些具体实施中，方法6160由包括被构造成能够在外科规程的外科视野中缝合和切割组织的外科器械21的外科系统执行。该外科系统还包括控制模块6001、成像装置6004和被配置为能够显示外科视野的实况流的显示器6005。例如，实况流由成像装置6004捕获。

在一些具体实施中，方法6160包括检测6161外科风险，向外科风险分配6162严重性程度，以及基于严重性程度确定6163显示布置，其中显示布置包括将警告特征叠加在实况流上。在一些具体实施中，方法6160还包括根据显示布置呈现6164外科风险的视觉表示。

在一些具体实施中，由控制模块6001来检测6161外科风险。可基于从经由一个或多个无线和/或有线通信接口从一个或多个源(诸如例如计算机实现的交互式外科系统1的部件)接收到的一个外科数据来检测6161外科风险。在至少一个示例中，外科数据可包括从一个或多个外科器械21接收到的数据。在另一个示例中，外科数据包括由态势感知模块6006确定的上下文信息。

在某些范例中，外科数据包括控制数据、生物标记测量结果和/或与外科器械21相关联的操作和/或结果的其他操作指示。在某些范例中，外科数据可以是指示有较高可能性的畸形钉和/或良密封组织的任何数据。在某些情况下，外科数据可与组织流动、夹持力、击发力以及其他组织和/或器械参数相关联，这些参数可被监测并以多种方式实时显示给临床医生，以便能够调节击发序列或警告外科医生可能存在畸形钉区域。

在某些范例中，处理器85在确定外科风险的严重性程度时采用预定的等式和/或公式。在计算严重性程度时可考虑各种相关因素并可为其分配不同权重。附加地或另选地，在分配6162严重性程度时，处理器85可利用列出外科数据和对应严重性程度的一个或多个数据库或表。在各种具体实施中，6162所分配的严重性程度包括例如低严重性程度、中等严重性程度或高严重性程度。

图32示出了根据本公开的至少一个方面的显示布置6170的具体实施。在一些具体实施中，基于例如在方法6160中6161检测到的外科风险的严重性程度来确定显示布置6170。在例示的示例中，显示布置6170包括响应于6161检测到外科风险而由控制模块6001来叠加警告特征6171。在外科规程期间，警告特征6171叠加在外科视野6179的实况流上。在例示的示例中，外科视野6179的实况流示出了被配置为能够操纵外科结构6178的外科器械21的端部执行器6172。

在例示的示例中，警告特征6171叠加到远离端部执行器6172和/或远离任何关键外科结构的拐角区域中的实况流上，以便不妨碍临床医生的外科视野。在其他范例中，警告特征6171可移动到或初始叠加在实况流的中心区域，更靠近端部执行器6172和/或任何关键外科结构，例如以表示较高严重性的外科风险。

除上述内容之外，显示布置6170还包括响应于用户反应的警告特征6171的变化。在例示的示例中，对警告特征6171的改变包括用与外科风险相关联的信息6173替换警告特征6171。信息6173可包括关于外科风险和/或推荐解决方案的细节。

在例示的示例中，用户反应是端部执行器6172在打开构型与闭合构型之间的转变。在其他具体实施中，用户反应可包括端部执行器6172的任何其他合适的姿势或运动。在又一些具体实施中，用户反应可包括例如手部姿势或运动和/或眼睛姿势或运动。

在其他示例中，用户反应可为复合用户反应或多因素反应，以确保用户的附带动作将不被控制模块6001解释为用于操纵警告特征6171的用户反应。在一些具体实施中，能够由控制模块6001识别的用户反应可包括两个分量，诸如例如端部执行器姿势或运动，然后是用户的眼睛运移动用户的手部移动。

在一些具体实施中，如图33所示，在许多方面类似于显示布置6170的显示布置6170'包括不同的用户反应。在例示的示例中，用户反应包括将端部执行器6172悬停在警告特征6171上。

在一些具体实施中，例如通过对象识别、对象跟踪、对象标记和/或实况流的图像帧的其他合适图像处理技术或通过各种合适的有线和/或无线通信方案，自动地检测用户反应。附加地或另选地，通过经由合适的有线和/或无线通信方案接收指示用户反应的信息，可自动地检测用户反应。例如，相机可监测用户的身体运动或身体姿势，诸如例如挥手、注视或眨眼两次。在另一个示例中，临床医生的手套可经由定位在手套上的一个或多个合适传感器来跟踪。指示预定手部运动、指示预定用户反应的传感器读数可被传送到控制模块6001。

在一些具体实施中，显示布置6170包括基于外科风险的严重性变化来改变警告特征6171。可例如在动态显示模式下实现改变。在一些范例中，对警告特征6171的改变包括根据外科风险的严重性程度改变颜色、大小、形状、显示时间、显示位置、显示频率、突出显示或它们的组合中的至少一者。在一些具体实施中，警告特征6171为警告图标的形式，其例如基于外科风险的严重性程度改变颜色。

在一些具体实施中，如图34所示，在许多方面类似于显示布置6170的显示布置6170”将警告特征6171定位在干扰临床医生对关键外科结构6178的观察的位置，以例如表示高严重性外科风险。尽管如此，显示布置6170”允许用户通过将端部执行器6172悬停在警告特征6171上而将警告特征6171从关键外科结构6178移开。响应于检测到端部执行器6172和警告特征6171占据相同位置，控制模块6001使得警告特征移动到例如外科视野6179的实况流上的不同位置。

在其他示例中，预定的用户反应(诸如例如闭合和打开端部执行器6172的钳口一次或两次)模拟抓取警告特征6171。此外，端部执行器6172可移动到显示器6005的拐角，例如，使得所抓取的警告特征6171与其一起移动。在新位置上的暂停可表示在新位置处丢弃警告特征。可采用其他合适的姿势和/或运动来表示用户反应以将警告特征6171从关键外科结构6178移开。在一些具体实施中，例如在动态模式下，在被确定为小于或等于例如端部执行器6172和/或关键外科结构6178的初始部署之后，控制模块6001可自动地使得警告特征6171从端部执行器6172和/或关键外科结构6178移开。

在各种具体实施中，可例如通过利用一个或多个适当的对象识别、对象跟踪和/或对象标记算法和/或外科视野6179的实况流的图像帧的其他图像处理技术来自动地观察端部执行器6172的姿势和/或运动。在各种情况下，基于特性反射率、颜色和/或形状来目视识别端部执行器6172。附加地或另选地，可通过外科器械21中的传感器的传感器读数来检测端部执行器6172的姿势和/或运动。

在一些具体实施中，警告特征6171响应于用户反应的变化包括警告特征6171从端部执行器6172和/或关键外科结构6178移开的运动。在一些范例中，控制模块6001例如被配置为能够跟踪端部执行器6172和/或关键外科结构6178相对于显示器6005上的警告特征6171的位置的位置。此外，控制模块6001例如被配置为能够基于端部执行器6172和关键外科结构6178的位置中的至少一者来自动地改变警告特征6171的位置，以便于清楚地观察端部执行器6172和/或关键外科结构6178。

在一些具体实施中，控制模块6001例如被配置为能够使警告特征6171与由警告特征6171表示的风险源相关。例如，该相关性向临床医生提供关于风险性质的指示，而不必展开警告特征6171来查看风险的细节。该相关性可通过共同的显示特性(诸如例如共同的颜色突出显示和/或共同的眨眼频率)来实现。例如，在风险与在外科视野中包括端部执行器6172的外科器械21相关联的情况下，警告特征6171和端部执行器6172两者可例如用共同的颜色突出显示。附加地或另选地，该相关性可例如通过使外科器械21提供与显示器6005上的警告特征6171的存在一致的声音反馈和/或触觉反馈来实现。附加地或另选地，该相关性可通过叠加一个或多个颜色编码的气泡和/或箭头来实现，该气泡和/或箭头与警告特征6171分离，指向端部执行器6172，指示由警告特征6171表示的风险与外科器械21相关联。

在一些具体实施中，与特定外科器械任务或外科步骤相关联的显示布置可响应于检测到外科器械任务或外科步骤完成而改变。例如，诸如外科袖状规程的外科规程涉及被构造成能够缝合和切割组织的外科器械21的预定击发次数。击发序列中的每次击发将钉从钉仓部署到组织中。钉仓随后用新的钉仓替换以用于击发序列中的下一次击发。控制模块6001可被配置为能够检测外科器械21的击发次数，并且继续叠加与外科器械21的击发相关联的外科数据，直至达到预定击发次数。响应于检测到击发完成，控制模块6001使得与外科器械21的击发相关联的外科数据的叠加被折叠或从显示器6005移除。

在一些具体实施中，检测外科器械任务或外科步骤的完成可例如通过对象识别、对象跟踪、对象标记和/或实况流的图像帧的其他合适的图像处理技术，或例如经由各种合适的有线和/或无线通信方案通过来自外科器械21和/或外科集线器6的输入来可视地自动地实现。

在各种情况下，前述方法的一个或多个功能由计算机实现的交互式外科系统1的一个或多个部件(诸如例如外科可视化系统6000的一个或多个部件)执行。在某些情况下，执行前述方法的一个或多个功能的部件通过无线和/或有线通信接口进行通信。在各种情况下，计算机实现的交互式外科系统1的存储器(例如，存储器6003)存储程序指令，该指令在由处理器(例如，处理器85)执行时使得处理器实现前述方法的一个或多个功能。虽然前述功能以离散的方法进行描述，但在一些具体实施中，前述方法的一些功能可以任何合适的形式组合以产生用于由例如计算机实现的交互式外科系统1的一个或多个部件执行的不同程序指令的不同方法。

在各种情况下，为了执行跟踪，根据本公开的一个或多个方面，算法分析顺序的视频帧并且输出目标在这些帧之间的移动。示例性算法包括目标表示和定位算法以及滤波和数据关联算法。目标表示和定位算法包括例如基于内核的跟踪和/或轮廓跟踪。滤波和数据关联算法包括例如卡尔曼滤波和粒子滤波。

本文所述主题的各种附加方面在以下编号的实施例中陈述：

实施例1.一种在外科规程中使用的外科系统。所述外科系统包括：外科器械，所述外科器械被配置为能够在所述外科规程中处理组织；成像装置；显示器，所述显示器被配置为能够显示所述外科规程的外科视野的实况流，其中，所述实况流由所述成像装置捕获；和控制模块。所述控制模块被配置为能够检测外科风险；将显示优先级分配给所述外科风险；以及基于所述显示优先级确定所述外科风险的显示布置，其中，所述显示布置包括将警告特征叠加在所述实况流上。

实施例2.根据实施例1所述的外科系统，其中，所述警告特征为警告图标。

实施例3.根据实施例1或2所述的外科系统，其中，所述显示布置包括将所述警告特征叠加在所述实况流的拐角中。

实施例4.根据实施例1至3中任一项所述的外科系统，其中，所述显示布置包括基于所述外科风险的严重性程度来改变所述警告特征。

实施例5.根据实施例1至4中任一项所述的外科系统，其中，所述外科风险涉及所述组织的出血程度。

实施例6.根据实施例1至4中任一项所述的外科系统，其中，所述外科风险与组织参数相关联。

实施例7.根据实施例1至4中任一项所述的外科系统，其中，所述外科风险与所述外科器械的参数相关联。

实施例8.根据实施例1至4中任一项所述的外科系统，其中，所述外科风险与所述组织的运动相关联。

实施例9.根据实施例1至3中任一项所述的外科系统，其中，所述显示布置还包括响应于对所述警告特征的用户反应而使所述警告特征变化。

实施例10.根据实施例9中任一项所述的外科系统，其中，所述外科器械包括端部执行器，并且其中，所述用户反应包括使所述端部执行器在所述外科视野中在打开构型与闭合构型之间转变。

实施例11.根据实施例9中任一项所述的外科系统，其中，所述警告特征的所述变化包括用与所述外科风险相关联的信息替换所述警告特征。

实施例12.根据实施例9中任一项所述的外科系统，其中，所述外科器械包括端部执行器，并且其中，所述用户反应包括将所述端部执行器悬停在所述警告特征之上。

实施例13.一种在外科规程中使用的外科系统。所述外科系统包括：外科器械，该外科器械被配置为能够在所述外科规程中处理组织；成像装置；显示器，所述显示器被配置为能够显示所述外科规程的外科视野的实况流，其中，所述实况流由所述成像装置捕获；和控制模块。所述控制模块被配置为能够检测外科风险；将严重性程度分配给所述外科风险；以及基于所述外科风险的所述严重性程度来确定所述外科风险的显示布置，其中，所述显示布置包括警告特征。

实施例14.根据实施例13所述的外科系统，其中，所述警告特征为警告图标。

实施例15.根据实施例13或14所述的外科系统，其中，所述显示布置包括将所述警告特征叠加在所述实况流的拐角中。

实施例16.根据实施例13至15中任一项所述的外科系统，其中，所述显示布置包括基于所述外科风险的严重性程度来改变所述警告特征。

实施例17.根据实施例13至15中任一项所述的外科系统，其中，所述显示布置还包括响应于对所述警告特征的用户反应而使所述警告特征变化。

实施例18.根据实施例13中任一项所述的外科系统，其中，所述外科器械包括端部执行器，并且其中，所述用户反应包括使所述端部执行器在所述外科视野中在打开构型与闭合构型之间转变。

实施例19.根据实施例13中任一项所述的外科系统，其中，所述警告特征的所述变化包括用与所述外科风险相关联的信息替换所述警告特征。

实施例20.根据实施例13中任一项所述的外科系统，其中，所述外科器械包括端部执行器，并且其中，所述用户反应包括将所述端部执行器悬停在所述警告特征之上。

尽管已举例说明和描述了多个形式，但是申请人的意图并非将所附权利要求的范围约束或限制在此类细节中。在不脱离本公开的范围的情况下，可实现对这些形式的许多修改、变型、改变、替换、组合和等同物，并且本领域技术人员将想到这些形式的许多修改、变型、改变、替换、组合和等同物。此外，另选地，可将与所描述的形式相关联的每个元件的结构描述为用于提供由所述元件执行的功能的器件。另外，在公开了用于某些部件的材料的情况下，也可使用其他材料。因此，应当理解，上述具体实施方式和所附权利要求旨在涵盖属于本发明所公开的形式范围内的所有此类修改、组合和变型。所附权利要求旨在涵盖所有此类修改、变型、改变、替换、修改和等同物。

上述具体实施方式已经由使用框图、流程图和/或示例阐述了装置和/或方法的各种形式。只要此类框图、流程图和/或示例包含一个或多个功能和/或操作，本领域的技术人员就要将其理解为此类框图、流程图和/或示例中的每个功能和/或操作都可以单独和/或共同地通过多种硬件、软件、固件或实际上它们的任何组合来实施。本领域的技术人员将会认识到，本文公开的形式中的一些方面可作为在一台或多台计算机上运行的一个或多个计算机程序(例如，作为在一个或多个计算机系统上运行的一个或多个程序)，作为在一个或多个处理器上运行的一个或多个程序(例如，作为在一个或多个微处理器上运行的一个或多个程序)，作为固件，或作为实际上它们的任何组合全部或部分地在集成电路中等效地实现，并且根据本公开，设计电路系统和/或编写软件和/或硬件的代码将在本领域技术人员的技术范围内。另外，本领域的技术人员将会认识到，本文所述主题的机制能够作为多种形式的一个或多个程序产品进行分布，并且本文所述主题的例示性形式适用，而不管用于实际进行分布的信号承载介质的具体类型是什么。

用于编程逻辑以执行各种所公开的方面的指令可存储在系统中的存储器内，诸如动态随机存取存储器(DRAM)、高速缓存、闪存存储器或其他存储器。此外，指令可经由网络或通过其他计算机可读介质来分发。因此，机器可读介质可包括用于存储或传输以机器(例如，计算机)可读形式的信息的任何机构，但不限于软盘、光学盘、光盘只读存储器(CD-ROM)、和磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、磁卡或光卡、闪存存储器、或经由电信号、光学信号、声学信号或其他形式的传播信号(例如，载波、红外信号、数字信号等)在因特网上传输信息时使用的有形的、机器可读存储装置。因此，非暂态计算机可读介质包括适于以机器(例如，计算机)可读的形式存储或传输电子指令或信息的任何类型的有形机器可读介质。

如本文任一方面所用，术语“控制电路”可指例如硬连线电路系统、可编程电路系统(例如，计算机处理器，该计算机处理器包括一个或多个单独指令处理内核、处理单元，处理器、微控制器、微控制器单元、控制器、数字信号处理器(DSP)、可编程逻辑装置(PLD)、可编程逻辑阵列(PLA)、场可编程门阵列(FPGA))、状态机电路系统、存储由可编程电路系统执行的指令的固件、以及它们的任何组合。控制电路可以集体地或单独地实现为形成更大系统的一部分的电路系统，例如集成电路(IC)、专用集成电路(ASIC)、片上系统(SoC)、台式计算机、膝上型计算机、平板计算机、服务器、智能电话等。因此，如本文所用，“控制电路”包括但不限于具有至少一个离散电路的电子电路、具有至少一个集成电路的电子电路、具有至少一个专用集成电路的电子电路、形成由计算机程序配置的通用计算设备的电子电路(如，至少部分地实施本文所述的方法和/或设备的由计算机程序配置的通用计算机，或至少部分地实施本文所述的方法和/或设备的由计算机程序配置的微处理器)、形成存储器设备(如，形成随机存取存储器)的电子电路，和/或形成通信设备(如，调节解调器、通信开关或光电设备)的电子电路。本领域的技术人员将会认识到，可以模拟或数字方式或它们的一些组合实施本文所述的主题。

如本文的任何方面所用，术语“逻辑”可指被配置成能够执行前述操作中的任一者的应用程序、软件、固件和/或电路系统。软件可体现为记录在非暂态计算机可读存储介质上的软件包、代码、指令、指令集和/或数据。固件可体现为在存储器装置中硬编码(例如，非易失性)的代码、指令或指令集和/或数据。

如本文任一方面所用，术语“部件”、“系统”、“模块”等可指控制电路、计算机相关实体、硬件、硬件和软件的组合、软件或执行中的软件。

如本文任一方面中所用，“算法”是指导致所期望结果的有条理的步骤序列，其中“步骤”是指物理量和/或逻辑状态的操纵，物理量和/或逻辑状态可(但不一定)采用能被存储、转移、组合、比较和以其他方式操纵的电或磁信号的形式。常用于指这些信号，如位、值、元素、符号、字符、术语、数字等。这些和类似的术语可与适当的物理量相关联并且仅仅是应用于这些量和/或状态的方便的标签。

网络可包括分组交换网络。通信装置可能够使用所选择的分组交换网络通信协议来彼此通信。一个示例性通信协议可包括可能够允许使用传输控制协议/因特网协议(TCP/IP)进行通信的以太网通信协议。以太网协议可符合或兼容电气和电子工程师学会(IEEE)于2008年12月发布的名称为“IEEE 802.3Standard”的以太网标准和/或本标准的更高版本。另选地或附加地，通信装置可能够使用X.25通信协议彼此通信。X.25通信协议可符合或兼容由国际电信联盟电信标准化部门(ITU-T)发布的标准。另选地或附加地，通信装置可能够使用帧中继通信协议彼此通信。帧中继通信协议可符合或兼容由国际电报电话咨询委员会(CCITT)和/或美国国家标准学会(ANSI)发布的标准。另选地或附加地，收发器可能够使用异步传输模式(ATM)通信协议彼此通信。ATM通信协议可符合或兼容ATM论坛于2001年8月发布的名为“ATM-MPLS Network Interworking 2.0”的ATM标准和/或该标准的更高版本。当然，本文同样设想了不同的和/或之后开发的连接取向的网络通信协议。

除非上述公开中另外明确指明，否则可以理解的是，在上述公开中，使用术语如“处理”、“估算”、“计算”、“确定”、“显示”的讨论是指计算机系统或类似的电子计算装置的动作和进程，其操纵表示为计算机系统的寄存器和存储器内的物理(电子)量的数据并将其转换成相似地表示为计算机系统存储器或寄存器或其他此类信息存储、传输或显示装置内的物理量的其他数据。

一个或多个部件在本文中可被称为“被配置成能够”、“可配置成能够”、“可操作/可操作地”、“适于/可适于”、“能够”、“可适形/适形于”等。本领域的技术人员将会认识到，除非上下文另有所指，否则“被配置成能够”通常可涵盖活动状态的部件和/或未活动状态的部件和/或待机状态的部件。

术语“近侧”和“远侧”在本文中是相对于操纵外科器械的柄部部分的临床医生来使用的。术语“近侧”是指最靠近临床医生的部分，术语“远侧”是指远离临床医生定位的部分。还应当理解，为简洁和清楚起见，本文可结合附图使用诸如“竖直”、“水平”、“上”和“下”等空间术语。然而，外科器械在许多取向和方位中使用，并且这些术语并非是限制性的和/或绝对的。

本领域的技术人员将认识到，一般而言，本文、以及特别是所附权利要求(例如，所附权利要求的正文)中所使用的术语通常旨在为“开放”术语(例如，术语“包括”应解释为“包括但不限于”，术语“具有”应解释为“至少具有”，术语“包含”应解释为“包含但不限于”等)。本领域的技术人员还应当理解，如果所引入权利要求表述的具体数目为预期的，则此类意图将在权利要求中明确表述，并且在不存在此类叙述的情况下，不存在此类意图。例如，为有助于理解，下述所附权利要求可含有对介绍性短语“至少一个”和“一个或多个”的使用以引入权利要求。然而，对此类短语的使用不应视为暗示通过不定冠词“一个”或“一种”引入权利要求表述将含有此类引入权利要求表述的任何特定权利要求限制在含有仅一个这样的表述的权利要求中，甚至当同一权利要求包括介绍性短语“一个或多个”或“至少一个”和诸如“一个”或“一种”(例如，“一个”和/或“一种”通常应解释为意指“至少一个”或“一个或多个”)的不定冠词时；这也适用于对用于引入权利要求表述的定冠词的使用。

另外，即使明确叙述引入权利要求叙述的特定数目，本领域的技术人员应当认识到，此种叙述通常应解释为意指至少所叙述的数目(例如，在没有其他修饰语的情况下，对“两个叙述”的裸叙述通常意指至少两个叙述、或两个或更多个叙述)。此外，在其中使用类似于“A、B和C中的至少一者等”的惯例的那些情况下，一般而言，此类构造意在具有本领域的技术人员将理解所述惯例的意义(例如，“具有A、B和C中的至少一者的系统”将包括但不限于具有仅A、仅B、仅C、A和B一起、A和C一起、B和C一起和/或A、B和C一起等的系统)。在其中使用类似于“A、B或C中的至少一者等”的惯例的那些情况下，一般而言，此类构造意在具有本领域的技术人员将理解所述惯例的意义(例如，“具有A、B或C中的至少一者的系统”应当包括但不限于具有仅A、仅B、仅C、A和B一起、A和C一起、B和C一起和/或A、B和C一起等的系统)。本领域的技术人员还应当理解，通常，除非上下文另有指示，否则无论在具体实施方式、权利要求或附图中呈现两个或更多个替代术语的转折性词语和/或短语应理解为涵盖包括所述术语中的一者、所述术语中的任一个或这两个术语的可能性。例如，短语“A或B”通常将被理解为包括“A”或“B”或“A和B”的可能性。

对于所附的权利要求，本领域的技术人员将会理解，其中表述的操作通常可以任何顺序进行。另外，尽管以一个或多个序列出了各种操作流程图，但应当理解，可以不同于所示顺序的其他顺序执行各种操作，或者可同时执行所述各种操作。除非上下文另有规定，否则此类替代排序的示例可包括重叠、交错、中断、重新排序、增量、预备、补充、同时、反向，或其他改变的排序。此外，除非上下文另有规定，否则像“响应于”、“相关”这样的术语或其他过去式的形容词通常不旨在排除此类变体。

值得一提的是，任何对“一个方面”、“一方面”、“一范例”、“一个范例”的提及均意指结合所述方面所述的具体特征部、结构或特征包括在至少一个方面中。因此，在整个说明书的各种位置出现的短语“在一个方面”、“在一方面”、“在一范例中”、“在一个范例中”不一定都指同一方面。此外，具体特征部、结构或特征可在一个或多个方面中以任何合适的方式组合。

本说明书提及和/或在任何申请数据表中列出的任何专利申请，专利，非专利公布或其他公开材料均以引用方式并入本文，只要所并入的材料在此不一致。因此，并且在必要的程度下，本文明确列出的公开内容代替以引用方式并入本文的任何冲突材料。据称以引用方式并入本文但与本文列出的现有定义、陈述或其他公开材料相冲突的任何材料或其部分，将仅在所并入的材料与现有的公开材料之间不产生冲突的程度下并入。

概括地说，已经描述了由采用本文所述的概念产生的许多有益效果。为了举例说明和描述的目的，已经提供了一个或多个形式的上述具体实施方式。这些具体实施方式并非意图为详尽的或限定到本发明所公开的精确形式。可以按照上述教导内容对本发明进行修改或变型。选择和描述的一个或多个形式是为了说明原理和实际应用，从而使本领域的普通技术人员能够利用适用于预期的特定用途的各种形式和各种修改。与此一同提交的权利要求书旨在限定完整范围。