用于通过外科机器人系统对3D可视化进行集成控制的系统和方法

技术领域

本公开整体涉及一种机器人外科系统，特别是用于对外科机器人系统和外科部位的3D可视化进行集成控制以将3D模型与外科部位中的靶组织配准的系统和方法。

背景技术

外科机器人系统当前用于微创医学过程中。一些外科机器人系统包括外科控制台，该外科控制台控制外科机器人臂和外科器械，该外科器械具有联接到机器人臂并由机器人臂致动的端部执行器(例如，夹钳或抓持器械)。

通常，在外科机器人系统的外科手术期间，临床医生利用外科部位的3D模型开发外科计划。在大多数情况下，临床医生将在单独的交互式显示器上显示3D模型。这需要临床医生从外科机器人系统控件切换到单独的控件，以在单独的交互式显示器上与3D模型交互从而分散临床医生的注意力。

发明内容

本公开整体涉及一种外科机器人系统，该外科机器人系统包括用户界面控制器，该用户界面控制器用于通过外科机器人系统的控件提供对3D模型的集成控制，以将3D模型与外科部位的靶组织配准。

在一个方面，本公开提供一种外科机器人系统，该外科机器人系统包括控制塔、移动推车和外科控制台。移动推车联接到控制塔并且包括外科机器人臂。外科机器人臂包括外科器械和图像捕获设备。外科器械能够响应于用户输入致动，并且被配置成实时治疗靶组织。图像捕获设备被配置成实时捕获靶组织的图像或视频中的至少一者。外科控制台联接到控制塔，并且包括显示器、存储器、用户输入设备和控制器。存储器被配置成存储靶组织的术前图像。用户输入设备被配置成生成用户输入。控制器能够操作地联接到显示器、存储器和用户输入设备，并且被配置成基于用户输入从第一模式切换到第二模式，并从第二模式切换到第一模式。第一模式包括实时显示靶组织并且由用户输入设备激活对外科机器人臂的控制，并且第二模式包括显示靶组织的3D模型并且由用户输入设备激活对靶组织的3D模型的交互式控制。

在各方面，外科控制台可还包括图像处理器，该图像处理器被配置成基于所存储的在外科部位处的靶组织的术前图像来显示或生成靶组织的3D模型。

在各方面，对靶组织的3D模型的交互式控制可包括调整靶组织的3D模型的比例、位置、取向中的至少一者或至少一个启发因素。

在各方面，控制器可被进一步配置成维持或保留用户输入设备从第一模式的实际位置。

在各方面，控制器可被进一步配置成通过感测用户输入设备上的指向力来确定用户输入设备的期望位置。

在各方面，控制器可被进一步配置成实时分析靶组织的表面。

在各方面，控制器可被进一步配置成确定靶组织的组织特性、机械特性、形状、基准标记中的至少一者或启发因素。

在各方面，控制器可被进一步配置成基于实时确定的靶组织的组织特性、机械特性、形状、基准标记中的至少一者或启发因素来操纵靶组织的3D模型，以进一步将靶组织的3D模型与靶组织实时配准。

在各方面，控制器可被进一步配置成确定靶组织的3D模型与靶组织的实时配准的完成。

在各方面，控制器可被进一步配置成基于靶组织的3D模型与靶组织的实时配准的完成，实时将靶组织的3D模型叠加在靶组织上方。

在各方面，控制器可被进一步配置成使图像捕获设备的位置或取向中的至少一者与靶组织的3D模型的视点同步。

在另一方面，本公开提供了一种经由外科机器人系统的用户输入设备将靶组织的3D模型与靶组织的实时图像配准的方法。该方法包括基于存储的靶组织的术前图像来生成或显示靶组织的3D模型；由图像捕获设备实时捕获靶组织的图像或视频中的至少一者；激活第一模式以实时显示靶组织，并且响应于用户输入设备而治疗靶组织；从第一模式切换到第二模式以显示靶组织的3D模型；经由用户输入设备来操纵靶组织的3D模型，以将靶组织的3D模型与靶组织实时配准；以及从第二模式切换到第一模式，以进一步将靶组织的3D模型与靶组织实时配准。

在各方面，操纵靶组织的3D模型以将靶组织的3D模型与靶组织实时配准可包括经由用户输入设备激活对靶组织的3D模型的交互式控制。

在各方面，对靶组织的3D模型的交互式控制可包括调整靶组织的3D模型的比例、位置、取向中的至少一者或至少一个启发因素。

在各方面，从第一模式切换到第二模式可包括维持用户输入设备的实际位置并且感测用户输入设备上的指向力以确定用户输入设备的期望位置。

在各方面，从第二模式切换到第一模式以将靶组织的3D模型与靶组织进一步配准可包括实时分析靶组织的表面。

在各方面，实时分析靶组织的表面可包括实时确定靶组织的组织特性、机械特性、形状、基准标记中的至少一者或启发因素。

在各方面，实时确定靶组织的组织特性、机械特性、形状或基准标记中的至少一者可包括基于实时确定的靶组织的组织特性、机械特性、形状、基准标记中的至少一者或启发因素来操纵靶组织的3D模型。

在各方面，该方法可还包括确定靶组织的3D模型与靶组织实时配准的完成；以及基于靶组织的3D模型与靶组织的实时配准的完成，实时将靶组织的3D模型叠加在靶组织上方。

在各方面，该方法可还包括使图像捕获设备的位置或取向中的至少一者与靶组织的3D模型的视点同步。

本公开的一个或多个方面的细节在以下附图和描述中阐述。根据说明书和附图以及权利要求书，本公开中描述的技术的其他特征、目标和优点将是显而易见的。

附图说明

图1是根据本公开的各方面的包括控制塔、控制台和一个或多个外科机器人臂的外科机器人系统的示意图；

图2是图1的外科机器人系统的外科机器人臂的透视图；

图3是具有图1的外科机器人系统的外科机器人臂的设置臂的透视图；

图4是图1的外科机器人系统的计算机架构的示意图，该外科机器人系统包括外科控制台；

图5是图4的外科控制台的示意图；

图6是在第一模式下靶组织在外科部位处的显示的示例性视图；

图7是在第二模式下靶组织的3D模型的显示的示例性视图；

图8是叠加在靶组织在外科部位处的显示上的靶组织的3D模型的示例性视图；并且

图9是根据用于通过对3D可视化进行集成控制将3D模型与外科部位的靶组织配准的本公开的方法的流程图。

具体实施方式

参考附图详细描述了本公开的外科机器人系统，其中若干视图的每个视图中相似的附图标记代表相同或对应的元件。

如下文将详细描述，本公开涉及一种外科机器人系统，该外科机器人系统包括外科控制台、控制塔和一个或多个可移动推车，该可移动推车具有联接到设置臂的外科机器人臂。外科控制台被配置成基于用户输入，由外科控制台的用户输入设备在第一模式与第二模式之间选择，并且激活对机器人外科臂或外科控制台的显示器的控制。临床医生控制机器人外科臂或外科控制台的显示器。

术语“应用程序”可包括出于临床医生的利益而设计来执行功能、任务或活动的计算机程序。例如，应用程序可指作为独立程序或在网络浏览器中本地或远程运行的软件，或本领域的技术人员理解为应用程序的其他软件。应用程序可在控制器或用户设备上运行，包括例如在移动设备、IOT设备或服务器系统上运行。

如本文所用，术语“网络”无论单数还是复数，均表示数据网络，包括但不限于互联网、内联网、广域网或局域网，并且不限于本公开所涵盖的通信网络的定义的全部范围。合适的协议包括但不限于发射控制协议/互联网协议(TCP/IP)、数据报协议/互联网协议(UDP/IP)、以太网/以太猫和/或数据报拥塞控制协议(DCCP)。无线通信可经由一个或多个无线配置实现，例如，无线电频率、光学、Wi-Fi、蓝牙(一种开放无线协议，用于使用短波无线电波从固定设备和移动设备在短距离内交换数据，从而创建个人局域网络(PAN))、

参考图1，外科机器人系统10包括控制塔20，该控制塔连接到外科机器人系统10的所有部件，外科机器人系统包括外科控制台30和一个或多个机器人臂40。机器人臂40中的每个机器人臂包括与其可移除地联接的外科器械50。机器人臂40中的每个机器人臂还联接到可移动推车60。

外科器械50被配置成用于在微创外科手术期间使用。可替代地，外科器械50可被配置用于开放式外科手术。在各方面，外科器械50可以是被配置成为用户提供视频馈送的内窥镜，可以是被构造成通过压缩钳口构件之间的组织并且向其施加电外科电流来密封组织的电外科夹钳，或者可以是包括被配置成在部署多个组织紧固件(例如，钉)和切割缝合的组织的同时抓握和夹持组织的一对钳口的外科缝合器。

机器人臂40中的每个机器人臂可包括输入捕获设备，或被配置成捕获外科部位310(图6)的视频的相机51。相机51可以是立体相机并且可设置在机器人臂40上。外科控制台30包括第一显示器32和第二显示设备34，该第一显示器显示由设置在机器人臂40上的相机51提供的外科部位310(图6)的视频馈送，该第二显示设备显示用于控制外科机器人系统10的用户界面。外科控制台30还包括多个用户界面设备，诸如由用户使用以远程控制机器人臂40(例如，经由外科控制台对机器人手臂40的远程操作)的脚踏板36和一对手柄控制器38a和38b。

控制塔20包括显示器23，该显示器可以是触摸屏，并且在图形用户界面(GUI)上输出。控制塔20还充当外科控制台30与一个或多个机器人臂40之间的接口。具体地，控制塔20被配置成控制机器人臂40，以例如基于来自外科控制台30的一组可编程指令和/或输入命令来移动机器人臂40和对应的外科器械50，以使得机器人臂40和外科器械50响应于来自脚踏板36和手柄控制器38a和38b的输入来执行期望的移动序列。在一些情况下，控制塔20可不包括在外科机器人系统10中，而是可将外科机器人系统10的控制塔20实施到外科控制台30和/或可移动推车60中。

控制塔20、外科控制台30和机器人臂40中的每一者包括相应计算机21、31、41。计算机21、31、41使用基于有线或无线通信协议的任何合适的通信网络彼此互连。

计算机21、31、41可包括能够操作地连接到存储器(未示出)的合适处理器(未示出)，该处理器可包括易失性、非易失性、磁性、光学或电子介质中的一种或多种，诸如只读存储器(ROM)、随机存取存储器(RAM)、电可擦除可编程ROM(EEPROM)、非易失性RAM(NVRAM)或闪存存储器。处理器可为适于执行本公开中所述的操作、计算和/或指令集的任何合适处理器(例如，控制电路)，包括但不限于硬件处理器、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、中央处理单元(CPU)、微处理器以及它们的组合。本领域技术人员应当理解，可以通过使用适于执行本文所述的算法、计算和/或指令集的任何逻辑处理器(例如，控制电路)来代替处理器。

参考图2，每个机器人臂40可包括多个连接件42a、42b、42c，这些连接件分别在接合部44a、44b、44c处互连。接合部44a被配置成将机器人臂40固定到可移动推车60上并且限定第一纵向轴线。参考图3，可移动推车60包括升降器61和设置臂62，该设置臂提供用于安装机器人臂40的基座。升降器61允许设置臂62竖直移动。可移动推车60还包括用于显示与机器人臂40有关信息的显示器69。

设置臂62包括第一连接件62a、第二连接件62b和第三连接件62c，这些连接件提供机器人臂40的横向可操纵性。连接件62a、62b、62c在接合部63a和63b处互连，每个接合部可包括致动器(未示出)以用于使连接件62b和62b相对于彼此和连接件62c旋转。具体地，连接件62a、62b、62c可在它们相应的彼此平行的横向平面中移动，从而允许机器人臂40相对于患者(例如，外科手术台)延伸。在一些实例中，机器人臂40可联接到外科手术台(未示出)。设置臂62包括用于调整连接件62a、62b、62c以及升降器61的移动的控制器65。

第三连接件62c包括具有两个自由度的可旋转基座64。具体地，可旋转基座64包括第一致动器64a和第二致动器64b。第一致动器64a可绕垂直于由第三连接件62c限定的平面的第一固定臂轴线旋转，并且第二致动器64b可绕横向于第一固定臂轴线的第二固定臂轴线旋转。第一致动器64a和第二致动器64b允许机器人臂40的完整三维取向。

机器人臂40还包括设置在器械驱动单元52和设置臂62上的多个手动超控按钮53，其可在手动模式下使用。用户可以按下按钮53中的一个或多个按钮以使与按钮53相关联的部件移动。

参考图2，机器人臂40还包括保持器46，该保持器限定第二纵向轴线并且被配置成接收外科器械50的器械驱动单元52(图1)，该器械驱动单元被配置成联接到外科器械50的致动机构。器械驱动单元52将致动力从其致动器传输到外科器械50以致动外科器械50的部件(例如，端部执行器)。保持器46包括滑动机构46a，该滑动机构被配置成使器械驱动单元52沿由保持器46限定的第二纵向轴线移动。保持器46还包括接合部46b，该接合部使保持器46相对于连接件42c旋转。

接合部44a和44b包括致动器48a和48b，致动器被配置成通过一系列皮带45a和45b或其他机械连杆(诸如驱动杆、线缆或杆等)相对于彼此驱动接合部44a、44b、44c。具体地，致动器48a被配置成使机器人臂40绕由连接件42a限定的纵向轴线旋转。

接合部44b的致动器48b经由皮带45a联接到接合部44c，并且接合部44c进而经由皮带45b联接到接合部46c。接合部44c可包括联接皮带45a和45b的分动箱，使得致动器48b被配置成使连接件42b、42c中的每个连接件与保持器46相对于彼此旋转。更具体地，连接件42b、42c和保持器46被动地联接到致动器48b，该致动器强制执行围绕枢转点“P”的旋转，该枢转点位于由连接件42a限定的第一轴线与由保持器46限定的第二轴线的交叉处。因此，致动器48b控制第一轴线与第二轴线之间的角度θ，从而允许外科器械50的取向。由于连接件42a、42b、42c和保持器46经由皮带45a和45b互连，所以还调整了连接件42a、42b、42c和保持器46之间的角度，以便实现期望的角度θ。接合部44a、44b、44c中的一些或全部接合部可包括致动器，以消除对机械连杆的需要。

参考图4，外科机器人系统10的计算机21、31、41中的每一者可包括可在硬件和/或软件中具体体现的多个控制器。控制塔20的计算机21包括控制器21a和安全观测器21b。控制器21a从外科控制台30的计算机31接收关于手柄控制器38a和38b的当前位置和/或取向以及脚踏板36和其他按钮的状态的数据。控制器21a处理这些输入位置以确定机器人臂40和/或器械驱动单元52的每个接合部的期望驱动命令，并且将这些命令传送到机器人臂40的计算机41。控制器21a还接收实际接合角度并使用该信息来确定传输回外科控制台30的计算机31的力反馈命令，以通过手柄控制器38a和38b提供触觉反馈。安全观测器21b对进入和离开控制器21a的数据执行有效性检查，并且如果检测到数据传输中的错误，则通知系统故障处理器，以将计算机21和/或外科机器人系统10置于安全状态。

计算机41包括多个控制器，即主推车控制器41a、设置臂控制器41b、机器人臂控制器41c和器械驱动单元(IDU)控制器41d。主推车控制器41a接收和处理来自计算机21的控制器21a的接合命令并且将这些命令传送到设置臂控制器41b、机器人臂控制器41c和IDU控制器41d。主推车控制器41a还管理器械交换以及可移动推车60、机器人臂40和器械驱动单元52的总体状态。主推车控制器41a还将实际接合部角度传送回控制器21a。

设置臂控制器41b控制接合部63a和63b中的每一者，以及设置臂62的可旋转基座64，并且针对俯仰轴线计算期望的马达移动命令(例如，马达扭矩)并控制制动器。机器人臂控制器41c控制机器人臂40的每个接合部44a和44b，并且计算机器人臂40的重力补偿、摩擦补偿和闭环位置控制所需的期望马达扭矩。机器人臂控制器41c基于计算的扭矩来计算移动命令。然后将计算的马达命令传送到机器人臂40中的致动器48a和48b中的一个或多个致动器。然后将实际接合位置通过致动器48a和48b传输回机器人臂控制器41c。

IDU控制器41d接收外科器械50的期望接合角度，例如腕部和钳口角度，并且计算器械驱动单元52中的马达的期望电流。IDU控制器41d基于马达位置来计算实际角度并且将实际角度传输回主推车控制器41a。

机器人臂40被进行如下控制。首先，对机器人臂40进行控制的手柄控制器(例如手柄控制器38a)的位姿通过控制器21a执行的手眼转换功能被转换成机器人臂40的期望位姿。手眼功能以及本文描述的其他功能体现在可由控制器21a或本文描述的任何其他合适的控制器执行的软件中。手柄控制器38a中的一个手柄控制器的位姿可体现为相对于坐标参考系的坐标位置和滚转-俯仰-偏航(“RPY”)取向，该坐标参考系固定到外科控制台30。器械50的期望位姿相对于机器人臂40上的固定参考系。然后通过由控制器21a执行的缩放函数来缩放手柄控制器38a的位姿。在一些实例中，通过缩放函数，坐标位置可按比例缩小，并且取向可按比例放大。另外，控制器21a还执行离合函数，其使手柄控制器38a与机器人臂40脱离。具体地，如果超出某些移动限制或其他阈值，则主推车控制器21a停止从手柄控制器38a传输移动命令到机器人臂40，并且实质上起到虚拟离合器机构的作用，例如限制机械输入影响机械输出。

机器人臂40的期望位姿基于手柄控制器38a的位姿，并且然后通过由控制器21a执行的逆运动学函数传递。逆运动学函数计算机器人臂40的接合部44a、44b、44c的角度，该角度由手柄控制器38a实现缩放和调整的位姿输入。然后将所计算的角度传递到机器人臂控制器41c，该机器人臂控制器包括具有比例微分(PD)控制器、摩擦估计器模块、重力补偿器模块和双侧饱和块的接合部轴线控制器，该接合部轴线控制器被配置成限制接合部44a、44b、44c的马达的所命令的扭矩。

继续参考图1、图4和图5，外科控制台30还包括图像处理器100、用户界面控制器200和存储器300。用户界面控制器200被配置成经由手柄控制器38a和38b和/或脚踏板36从外科控制台30接收输入命令，并且选择用户界面模式。在一些情况下，外科机器人系统10可还包括麦克风，该麦克风被配置成从临床医生接收语音命令作为输入命令。用户界面模式包括第一界面模式202、第二界面模式204和第三界面模式。响应于接收到出口命令作为输入命令，用户界面控制器200可返回到先前的用户界面模式。用户界面控制器200还可基于输入命令递送听觉或触觉反馈，作为用户界面模式和/或出口命令对手柄控制器38a和38b和/或脚踏板36的确认。

参考图6，第一模式202被配置成在第一显示器32上显示由相机51提供的外科部位310的视频馈送，并且允许经由手柄控制器38a和38b和/或脚踏板36控制机器人臂40。

参考图7，第二模式204被配置成在第一显示器32上显示(靶组织/器官的)3D模型320，并且允许经由手柄控制器38a和38b和/或脚踏板36对3D模型320的交互式控制，以将3D模型与视频馈送配准。3D模型320的交互式控制包括调整3D模型的比例、位置和/或取向以匹配视频馈送中靶组织(活体或体内)在外科部位310处的比例、位置和/或取向。

在第二模式204期间，界面控制器200被进一步配置成从第一界面模式202维持手柄控制器38a和38b和/或脚踏板36的实际位置，并且感测手柄控制器38a和38b和/或脚踏板36上的指向力以确定期望位置，从而允许手柄控制器38a和38b在第一界面模式202与第二界面模式204之间无缝转变。界面控制器200可被进一步配置成从第一界面模式202保留手柄控制器38a和38b和/或脚踏板36的实际位置，并且允许手柄控制器38a和38b和/或脚踏板36的进一步移动。因此，当界面控制器200从第二界面模式204切换回到第一界面模式202时，保留的手柄控制器38a和38b和/或脚踏板36的实际位置用于在手柄控制器38a和38b和/或脚踏板36在第二界面模式204下移动之前将手柄控制器38a和38b和/或脚踏板36位置返回到保留的实际位置。

图像处理器100被配置成基于靶组织在外科部位310处拍摄的术前诊断图像(例如，CT、MRI、荧光镜成像)，从存储器300接收靶组织在外科部位310(图6)处的术前3D模型320(图7)。可使用任何合适的方法重建3D模型320以生成不同的3D模型320渲染，诸如表面、体素和/或切口。还设想了用于从术前诊断图像生成3D模型320的其他合适的方法。图像处理器100可将3D模型320和3D模型320的各种渲染存储在存储器300中。

图像处理器100被进一步配置成通过确定外科部位310处靶组织的组织特性、机械特性和/或形状中的至少一者来分析外科部位310处的靶组织的表面。组织特性和机械特性可包括例如吹入、组织的年龄、组织的厚度、作用于组织的重力、灌注、血管分布等。基于确定的组织特性、机械特性和/或靶组织的形状，图像处理器100进一步操纵3D模型320以将3D模型320与外科部位310处的靶组织配准。

在一些情况下，存储器300可存储对应于数学规则的虚拟容器，该数学规则复制作用在外科部位310处的体内靶组织的机械特性的影响，并且图像处理器100将虚拟容器应用于3D模型320以辅助操纵与外科部位310处的体内靶组织一致的3D模型320。

附加地和/或可替代地，图像处理器100可识别在外科部位310处的体内靶组织上和/或3D模型320上设置的基准标记，以通过匹配体内靶组织的基准标记与3D模型320的基准标记来辅助3D模型320与外科部位310处的体内靶组织的配准。图像处理器100可被配置成基于体内视频馈送生成附加的3D模型，以进一步辅助操纵3D模型320以将3D模型320与外科部位310处的靶组织配准。

图像处理器100被进一步配置成基于在操纵的3D模型320的表面与外科部位310处的靶组织之间配准的比例体积指示3D模型320与外科部位310处的靶组织的配准的进展。

参考图8，一旦配准完成，界面控制器200就切换到第三界面模式，其中图像处理器100将外科部位310处的靶组织叠加在3D模型320上方以创建增强视图，并且临床医生使用手柄控制器38a和38b和/或脚踏板以经由外科控制台通过机器人臂40的远程操作继续操作。图像处理器100被配置成控制增强视图中3D模型320的透明度。经由手柄控制器38a和38b控制增强视图中的3D模型320的透明度水平。图像处理器100被进一步配置成使3D模型320的视点与体内视频馈送中的外科部位310处的体内靶组织的相机51的位置和/或取向同步。因此，当调整相机51的位置和/或取向时，例如，向上或向下移、旋转和/或放大或缩小，调整的位置和/或取向平移到3D模型320的对应视点中以维持与外科部位310处的靶组织的配准。

参考图9，在操作中，在步骤700处，图像处理器100基于靶组织在外科部位310处的手术之前拍摄的术前诊断图像来生成3D模型320。在步骤704处，设置在机器人臂40上的相机51实时捕获靶组织的图像或视频。在步骤708处，外科机器人系统10激活第一模式202以实时显示靶组织并且允许响应于手柄控制器38a和38b和/或脚踏板36而治疗靶组织。在显示第一显示器32上的外科部位310的视频馈送时，用户界面控制器200激活对机器人臂40的远程控制，例如，机器人臂40经由外科控制台30上的脚踏板36和/或手柄控制器38a、38b的远程操作。临床医生远程操作机器人臂40以执行外科操作。

在步骤712处，用户界面控制器200从第一模式202切换到第二模式204以显示3D模型320。在从第一模式202切换到第二模式204时，用户界面控制器200经由手柄控制器38a和38b和/或脚踏板36接收出口命令，或在一些情况下接收语音命令。机器人外科系统10离开第一模式202并且禁用对机器人臂40的远程控制。在一些情况下，用户界面模式可切换到第二模式204、先前模式或非选择模式。一旦选择第二模式204，用户界面控制器200就在第一显示器32上显示靶组织的3D模型320。在显示3D模型320时，用户界面控制器200经由外科控制台30上的手柄控制器38a和38b和/或脚踏板36激活对第一显示器32上的3D模型320的交互式控制。

在步骤714中，临床医生经由手柄控制器38a和38b和/或脚踏板36操纵3D模型320，以将3D模型320与靶组织配准。通过允许经由脚踏板36和/或手柄控制器38a、38b对3D模型320的交互式控制来操纵3D模型320，以调整3D模型320的比例、位置和/或取向中的至少一者(如由图7和图8的箭头所示)。在步骤718处，界面控制器200从第二模式204切换到第一模式202，并且图像处理器100分析靶组织的表面并且确定靶组织的组织特性、机械特性、形状或基准标记中的至少一者。

附加地，考虑到或结合启发式计算模型控制、方法和/或技术，可以设想3D模型320可由脚踏板36和/或手柄控制器38a和38b生成和/或操纵/控制。一般地，启发法是用于以快速方式解决问题的方法，该快速方式在给定的时间约束下交付足够有用的结果。

作为非限制性示例，生成的3D模型320可经由手柄控制器38a和38b等调整，以考虑以下因素(即，启发因素)中的至少一些或全部：患者的年龄、患者的性别、患者的性别、患者的身高、患者的重量、患者在外科手术台上的取向、基于患者取向的重力效应、在取向中花费的时间/持续时间、患者/器官的水合作用、器官的密度、患者/器官的温度、患者的呼吸速率、血压、患者的身体质量指数(BMI)、腹部脂肪的百分比、器官的血管分布的百分比。考虑到启发因素，或在其生成期间，和/或可在经由脚踏板36和/或手柄控制器38a和38b控制3D模型320期间使用，可测量、观察、计算或以其他方式获得这些因素中的每个因素的数值，这些数值可添加到3D模型320中。

在步骤722处，基于确定的靶组织的组织特性、机械特性、形状或基准标记中的至少一者，进一步操纵3D模型320以将3D模型320与靶组织配准。在步骤726处，图像处理器100比较3D模型320的表面体积与靶组织的表面体积，以确定3D模型320与外科部位310处的靶组织的配准的进展。在3D模型320与靶组织的实时配准完成时，在步骤730，将3D模型320叠加在外科部位310处的体内靶组织上方以创建增强视图(图8)。在维持3D模型320与外科部位310处的体内靶组织的配准时，相机51的位置或取向中的至少一者与3D模型320的视点同步。此外，外科机器人系统10从第二模式204切换到第一模式202，以显示增强视图并且激活对机器人臂40的远程控制，例如，经由外科控制台30上的脚踏板36和/或手柄控制器38a、38b对机器人臂40的远程操作。

应当理解，可将本文所公开的各个方面以与说明书和附图中具体给出的组合不同的组合进行组合。还应该理解，取决于示例，本文描述的任何过程或方法的某些动作或事件可以不同的顺序执行，可以完全添加、合并或省略(例如，执行所述技术可能不需要所有描述的动作或事件)。另外，尽管为清楚起见，本公开的某些方面被描述为由单个模块或单元执行，应当理解，本公开的技术可以通过与例如医疗设备相关联的单元或模块的组合来执行。

在一个或多个示例中，描述的技术可在硬件、软件、固件或它们的任何组合中实现。如果在软件中实现，则功能可作为一个或多个指令或代码存储在计算机可读介质上并由基于硬件的处理单元执行。计算机可读介质可包括非暂态计算机可读介质，其对应于有形介质，诸如数据存储介质(例如，RAM、ROM、EEPROM、闪存存储器，或可用于存储指令或数据结构形式的期望程序代码并且可由计算机访问的任何其他介质)。

指令可由一个或多个处理器执行，诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其他等同的集成或离散逻辑电路。因此，如本文所用的术语“处理器”可指前述结构或适于实现所描述的技术的任何其他物理结构中的任一种。另外，本技术可在一个或多个电路或逻辑元件中完全实现。