用于在远程操作医疗系统中呈现器械的屏幕识别的系统和方法

本申请是国际申请日为2016年3月16日、进入国家阶段日为2017年11月3日的名称为“用于在远程操作医疗系统中呈现器械的屏幕识别的系统和方法”的中国专利申请2016800257041(PCT/US2016/022573)的分案申请。

相关申请

本专利申请要求2015年3月17日提交的题为“用于在远程操作医疗系统中呈现器械的屏幕识别的系统和方法(SYSTEMS AND METHODS FOR RENDERING ONSCREENIDENTIFICATION OF INSTRUMENTS IN A TELEOPERATIONAL MEDICAL SYSTEM)”的美国临时专利申请62/134,294的提交日期的优先权和权益，该美国临时专利申请以其全部内容以引用方式并入本文。

背景技术

微创医疗技术旨在减少在侵入性医疗过程期间损伤的组织的量，从而减少患者恢复时间、不适和有害的副作用。可通过患者解剖结构中的自然孔口或通过一个或多个手术切口实行此类微创技术。通过这些自然孔口或切口，临床医生可插入医疗工具以到达目标组织位置。微创医疗工具包括诸如治疗器械、诊断器械和手术器械的器械。微创医疗工具还可包括诸如内窥镜器械的成像器械。成像器械为用户提供患者解剖结构内的视场(fieldof view)。一些微创医疗工具和成像器械可被远程操作或以其他方式计算机辅助。在远程操作医疗系统中，无论是由于小的器械大小(size)、接近视场的边缘，还是由于被组织阻挡，器械可能很难看到。操作远程操作系统的临床医生也可能很难跟踪哪些器械在哪些操作员的控制下。需要系统和方法来向临床医生提供关于在临床医生的控制下的器械的信息，以减少临床医生错误的风险。

发明内容

由随附的权利要求总结本发明的实施例。

在一个实施例中，远程操作组件包括操作员控制系统和被配置为控制医疗器械在手术环境中的移动的多个操纵器。由操作员控制系统远程操作控制操纵器。该系统还包括处理单元，该处理单元被配置为显示手术环境的视场的图像，将医疗器械的远端部分的位置投影到图像的坐标空间中，确定与每个医疗器械的远端部分相关联的标记的初始位置，基于其初始位置来评估每个标记的显示因素，并且基于显示因素确定图像的坐标空间中每个标记的最终显示位置。

在另一个实施例中，显示手术环境的视场的图像。由成像器械获得该图像，并且该图像包含医疗器械的远端的图像。医疗器械耦接到远程操作组件的操纵器。医疗器械的远端的位置被投影到图像的坐标空间中，确定与医疗器械的远端相关联的标记的初始位置，基于其初始位置为每个标记评估显示因素，并且基于它们的显示因素确定每个标记在图像的坐标空间中的最终显示位置。

应当理解，前述一般描述和以下详细描述本质上是示例性和解释性的，并且旨在提供对本公开的理解而不限制本公开的范围。在这一点上，通过以下具体实施方式，本公开的附加方面、特征和优点对于本领域技术人员来说将是显而易见的。

附图说明

当与附图一起阅读时，从以下具体实施方式最好地理解本公开的方面。要强调的是，根据行业的标准实践，未按比例绘制各种特征。事实上，为了讨论清楚，可能任意地增加或减少各种特征的尺寸。此外，本公开可在各种示例中重复附图标记和/或字母。该重复是为了简单和清楚的目的，并且本身并不规定所讨论的各种实施例和/或配置之间的关系。

图1A是根据本公开的实施例的远程操作医疗系统的示意图。

图1B是根据许多实施例的用于远程操作医疗系统的外科医生的控制台的透视图。

图1C是根据许多实施例的远程操作医疗系统电子手推车的透视图。

图1D是根据本文所描述的原理的一个示例的患者侧手推车的透视图。

图2A示出了具有在视场中可见的至少一个医疗器械的手术工作空间的视场，该器械具有与其相关联的标记且包含与该器械有关的关联信息。

图2B是示出用于操作远程操作医疗系统的方法的流程图。

图3A-图3C示出了对应于如图3D-图3F所示的关联信息标记布置的输入控制装置和用户手位置。

图3D-图3F示出了关联信息标记的轨道部分的各种布置。

图4A-图4B示出了当相关联的器械朝向和远离成像装置移动时关联信息标记的大小改变行为。

图5A-图5B示出了当相关联的医疗器械从视野中被阻挡时，关联信息标记如何保持可见。

图6A-图6B示出了当医疗器械紧密接近时关联信息标记的调节。

图7A-图7C示出了当相关联的医疗器械靠近手术环境的图像的边缘时且当医疗器械移动到手术环境的图像的外面时关联信息标记的行为。

图8示出了在手术工作空间的视场的图像内呈现标记的方法。

图9详细示出了图8的过程，其中医疗器械远端部分的位置被投影到手术工作空间的视场的图像的坐标空间中。

图10详细示出了图8的过程，其中检查和解决标记的潜在重叠。在这种情况下，存在至少两个医疗器械。

图11详细示出了图8的过程，其中标记被限制到手术工作空间的视场的图像的可视空间。

具体实施方式

为了促进对本公开的原理的理解的目的，现在将参考附图中所示的实施例，并且将使用特定语言来描述附图中所示的实施例。然而，应当理解，不旨在限制本公开的范围。在以下对本发明的方面的详细描述中，阐述了大量具体细节，以便提供对所公开的实施例的透彻理解。然而，对于本领域技术人员将明显的是，可在不具有这些具体细节的情况下实践本公开的实施例。在其他情况下，没有详细描述众所周知的方法、过程、部件和电路，以免不必要地使本发明的实施例的方面模糊不清。

如本公开所涉及的领域中的技术人员通常会想到的，对所描述的装置、器械、方法以及对本公开的原理的任何进一步的应用的任何更改和进一步的修改是完全预期的。特别地，完全预期到，关于一个实施例描述的特征、部件和/或步骤可与关于本公开的其他实施例描述的特征、部件和/或步骤组合。此外，本文提供的尺寸用于具体示例，并且预期可利用不同大小、尺寸和/或比率，以实施本公开的概念。为了避免不必要的描述性重复，如果是其他说明性实施例中适用的，可使用或省略根据一个说明性实施例描述的一个或多个部件或动作。为了简洁起见，将不会单独描述这些组合的大量迭代。为了简单，在一些情况下，在整个附图中使用相同的附图标记以指代相同或相似的部分。

下面的实施例将依据各种器械和器械的部分在三维空间中的状态来描述各种器械和器械的部分。如本文所使用的，术语“位置”是指对象或对象的一部分在三维空间中的位置(例如，沿笛卡尔X、Y、Z坐标的三个平移自由度)。如本文所使用的，术语“取向”是指对象或对象的一部分的旋转放置(三个旋转自由度—例如，翻滚、俯仰和偏航)。如本文所使用的，术语“位姿”是指对象或对象的一部分在至少一个平移自由度中的位置和对象或对象的一部分在至少一个旋转自由度(最多六个自由度)中的取向。如本文所使用的，术语“形状”是指沿着对象测量的一组位姿、位置或取向。

参考附图的图1A，一般由附图标记10指示用于例如包括诊断、治疗或手术过程的医疗过程中的远程操作医疗系统。如将描述的，本公开的远程操作医疗系统处于外科医生的远程操作控制下。在替代实施例中，远程操作医疗系统可处于被编程用于实行过程或子过程的计算机的部分控制之下。在其他替代实施例中，在被编程用于实行过程或子过程的计算机的完全控制下，完全自动化的医疗系统可用于实行过程或子过程。如图1A所示，远程操作医疗系统10一般包括安装到患者P被定位在其上的手术台O或手术台O附近的远程操作组件12。远程操作组件12可称为患者侧手推车。医疗器械系统14和内窥镜成像系统15可操作地耦接到远程操作组件12。操作员输入系统16允许外科医生或其他类型的临床医生S查看手术部位的图像或表示手术部位的图像，并且控制医疗器械系统14和/或内窥镜成像系统15的操作。

操作员输入系统16可位于外科医生的控制台处，该控制台通常位于与手术台O相同的房间中。然而，应当理解，外科医生S可位于与患者P不同的房间或完全不同的建筑物中。操作员输入系统16一般包括用于控制医疗器械系统14的一个或多个输入控制装置。(一个或多个)输入控制装置可包括任何数量的各种装置中的一个或多个，各种装置诸如把手、操纵杆、轨迹球、数据手套、触发枪、手动操作的控制器、语音识别装置、触摸屏、踏板、身体运动或存在传感器、眼睛注视跟踪装置等。在一些实施例中，(一个或多个)控制装置将被提供与远程操作组件的医疗器械相同的自由度，以向外科医生提供远程呈现、(一个或多个)控制装置与器械构成整体的感知，使得外科医生具有直接控制器械就好像存在于手术部位处的强烈感觉。在其他实施例中，(一个或多个)控制装置可具有比相关联的医疗器械更多或更少的自由度，并且仍然为外科医生提供远程呈现。在一些实施例中，(一个或多个)控制装置是以六个自由度移动的手动输入装置，并且手动输入装置还可包括用于致动器械(例如，用于闭合抓握夹爪，向电极施加电势，递送药物治疗等)的致动手柄。

远程操作组件12支撑和操纵医疗器械系统14，同时外科医生S通过控制台16查看手术部位。能够通过诸如立体内窥镜的内窥镜成像系统15获得手术部位的图像，能够由远程操作组件12操纵内窥镜成像系统15以对内窥镜15进行取向。可选地，电子手推车18能够用于处理手术部位的图像，用于随后通过外科医生的控制台16向外科医生S进行显示。除其他因素外，一次使用的医疗器械系统14的数量一般将取决于诊断或手术过程以及手术室内的空间限制。远程操作组件12可包括一个或多个非伺服控制链路(例如，可手动定位和锁定在适当位置的一个或多个链路，通常称为设置结构)的运动学结构，以及远程操作操纵器。远程操作组件12包括驱动医疗器械系统14上的输入的多个马达。响应于来自控制系统(例如，控制系统20)的命令，这些马达移动。马达包括驱动系统，当耦接到医疗器械系统14时，驱动系统可将医疗器械推进到自然或手术创建的解剖孔口中。其他机动化的驱动系统可以以多个自由度移动医疗器械的远端，多个自由度可包括三个线性运动度(例如，沿着X、Y、Z笛卡尔轴线的线性运动)和三个旋转运动度(例如，围绕X、Y、Z笛卡尔轴线的旋转)。附加地，马达能够用于致动器械的可活动连接的端部执行器，用于抓握活检装置等的夹爪中的组织。

远程操作医疗系统10还包括控制系统20。控制系统20包括至少一个存储器和至少一个处理器(未示出)，并且通常包括多个处理器，用于在医疗器械系统14、操作员输入系统16和电子系统18之间进行控制。控制系统20还包括编程的指令(例如，存储指令的计算机可读介质)以实施根据本文公开的方面描述的方法中的一些或全部。虽然在图1A的简化示意图中将控制系统20示为单个框，但是系统可包括两个或更多个数据处理电路，其中可选地在远程操作组件12上或邻近远程操作组件12实行处理的一个部分，在操作员输入系统16处实行处理的另一个部分，等。可采用各种各样的集中式或分布式数据处理架构中的任一个。类似地，编程的指令可被实施为很多单独的程序或子例程，或编程的指令可被集成到本文描述的远程操作系统的很多其他方面中。在一个实施例中，控制系统20支持诸如蓝牙、IrDA(红外数据通讯)、家庭射频(HomeRF)、IEEE 802.11、DECT和无线遥测的无线通信协议。

在一些实施例中，控制系统20可包括接收来自医疗器械系统14的力和/或扭矩反馈的一个或多个伺服控制器。响应于反馈，伺服控制器向操作员输入系统16传输信号。(一个或多个)伺服控制器还可传输指导远程操作组件12的信号，以移动(一个或多个)医疗器械系统14和/或内窥镜成像系统15，(一个或多个)医疗器械系统14和/或内窥镜成像系统15经由身体中的开口延伸到患者身体内的内部手术部位中。可使用任何合适的常规或专用伺服控制器。伺服控制器可与远程操作组件12分离或与远程操作组件12集成。在一些实施例中，伺服控制器和远程操作组件被提供为邻近患者的身体定位的远程操作臂手推车的一部分。

远程操作医疗系统10还可包括可选的操作和支持系统(未示出)，诸如照明系统、转向控制系统、灌溉系统和/或抽吸系统。在替代实施例中，远程操作系统可包括多于一个远程操作组件和/或多于一个操作员输入系统。除其他因素之外，操纵器组件的确切数量将取决于手术过程和手术室内的空间限制。操作员输入系统可被并置，或操作员输入系统可被定位在分离的位置上。多个操作员输入系统允许多于一个操作员以各种组合来控制一个或多个操纵器组件。

图1B是外科医生的控制台16的透视图。外科医生的控制台16包括左眼显示器32和右眼显示器34，用于向外科医生S展示能够进行深度感知的手术部位的协调的立体视图。控制台16还包括一个或多个输入控制装置36，一个或多个输入控制装置36反过来致使远程操作组件12操纵一个或多个器械或内窥镜成像系统。输入控制装置36能够提供与其相关联的器械14相同的自由度，以向外科医生S提供远程呈现，或输入控制装置36与器械14构成整体的感知，使得外科医生具有直接控制器械14的强烈感觉。为了这个目的，可采用位置、力和触觉反馈传感器(未示出)，以通过输入控制装置36将位置、力和触觉刺激从器械14传输回到外科医生的手。

图1C是电子手推车18的透视图。电子手推车18能够与内窥镜15耦接，并且能够包括处理器以处理捕获的图像，用于随后显示给诸如外科医生的控制台上的外科医生，或显示在位于本地和/或远程的另一合适的显示器上。例如，在使用立体内窥镜的情况下，电子手推车18能够处理捕获的图像，以向外科医生展示手术部位的协调的立体图像。此类协调能够包括相对图像之间的对准，并且能够包括调节立体内窥镜的立体工作距离。作为另一个示例，图像处理能够包括使用先前确定的相机校准参数来补偿图像捕获装置的成像误差，诸如光学像差。电子手推车18还可包括显示监视器和控制系统20的部件。

图1D是可称为患者侧手推车的远程操作组件12的一个实施例的透视图。所示的患者侧手推车12提供三个手术工具26a、手术工具26b、手术工具26c(例如，器械系统14)和成像装置28(例如，内窥镜成像系统15)(诸如用于捕获过程的部位的图像的立体内窥镜)的操纵。成像装置可通过电缆56将信号传输到电子手推车18。由具有很多接头(joints)的远程操作机构提供操纵。成像装置28和手术工具26a、手术工具26b、手术工具26c能够通过患者中的切口定位和操纵，使得运动学远程中心被维持在切口处，以使切口的大小最小化。当手术工具26的远端被定位在成像装置28的视场内时，手术部位的图像能够包括手术工具26的远端的图像。远程操作组件12位于世界坐标系或框架F

患者侧手推车12包括可驱动底座58。可驱动底座58连接到伸缩柱57，这允许臂54a、臂54b、臂54c和臂54d的高度的调节。臂54a可在手术环境中被称为和/或标注为“臂1”。臂54b可在手术环境中被称为和/或标注为“臂2”。臂54c可在手术环境中被称为和/或标注为“臂3”。臂54d可在手术环境中被称为和/或标注为“臂4”。臂54a可包括旋转且上下移动的旋转接头55。臂54a连接到操纵器臂部分51。操纵器臂部分51可经由操纵器圆杆59直接连接到医疗器械26a。其他臂54b、臂54c、臂54d中的每个可具有与臂54a类似的配置。臂54a、臂54b、臂54c、臂54d中的每个可连接到取向平台53。取向平台53可能够进行360度的旋转。患者侧手推车12还可包括用于在水平方向上移动取向平台53的伸缩水平悬臂52。操纵器臂部分51可为远程可操作的。臂54a、臂54b、臂54c、臂54d可为远程可操作的或不是远程可操作的。在臂54不是远程可操作的但操纵器臂是远程可操作的实施例中，在外科医生开始用系统10操作之前，根据需要对臂54进行定位。注意，虽然为了示例性目的将臂54(和相关联的操纵器臂部分51)描绘且描述为单个患者侧手推车12的一部分，但是在各种其他实施例中，臂54和/或操纵器臂部分51(或附加臂54和/或操纵器臂部分51)能够为分立结构(例如，分离的桌子安装的臂、天花板安装的臂和/或地板安装的臂)。

可以在包括刚性或柔性内窥镜的各种配置中提供内窥镜成像系统(例如，系统15、系统28)。刚性内窥镜包括容纳用于将图像从内窥镜的远端传输到内窥镜的近端的透镜中继系统的刚性管。柔性内窥镜使用一个或多个柔性光纤传输图像。内窥镜可被提供具有不同的视角，该不同的视角包括用于正向轴向查看的0°视角或用于正向倾斜查看的在0°-90°之间的视角。基于数字图像的内窥镜具有“尖端上的芯片(chip on the tip)”设计，其中诸如一个或多个电荷耦接装置(CCD)或互补金属氧化物半导体(CMOS)装置的远侧数字传感器存储图像数据。内窥镜成像系统可向观察者提供二维或三维图像。二维图像可提供有限的深度感知。三维立体内窥镜图像可为观察者提供更准确的深度感知。立体内窥镜器械采用立体相机在相机的视场中捕获患者解剖结构的立体图像。

可由临床医生通过眼睛显示器32、眼睛显示器34看到成像系统视场的立体图像。除了患者组织之外，视场还可包括医疗器械的远端和用于实行手术过程的任何附件。为了实行该过程，临床医生辨识视场中的器械与从控制台控制该器械的输入控制装置之间的关联。临床医生可通过例如参考位于所查看的图像的周边处的字母数字文本、符号或其他信息来进行该关联。然而，为了查看该信息，临床医生的关注必须从显示器的中心部分和器械的远侧尖端移到图像的周边。替代地，临床医生可通过移动输入控制装置并且观测图像中对应的器械移动来进行关联。这对于手术过程的流程可能是耗时且破坏性的。为了帮助临床医生将输入控制装置36与在视场中可见的器械相关联，可以以图形形式展示关于输入控制装置的信息，并且关于输入控制装置的信息与其控制的器械在同一位置。使关联信息与器械在同一位置允许临床医生快速地将控制装置与器械相关联，同时将关注维持在感兴趣的手术区域上。

图2A示出了患者P内的手术环境200。成像器械(例如，成像器械28)用于显示在手术环境200内成像器械的视场的图像202。图像202可为由立体内窥镜获得的且通过右眼显示器和左眼显示器生成为用户可见的图像的合成图像的三维图像。视场包括器械26a的远端部分、器械26b的远端部分和器械26c的远端部分。图像202还包括位于图像周边的信息字段204，该信息字段204可包括对临床医生的指令、警告、器械识别信息、状态信息或与手术过程相关的其他信息。为了帮助临床医生使用系统10实行手术过程，将各条信息叠加在图像202上。在该实施例中，标记206包含与医疗器械26b相关的关联信息，诸如器械耦接到的臂54b的数字标识符(例如臂“3”)。接近医疗器械204显示标记206，使得临床医生可容易地断定关联信息与医疗器械26b有关。在一些实施例中，标记还可包括关联信息，该关联信息包括医疗器械的类型，医疗器械的状态(例如，烧灼器充电/就绪)等。下面参考图8-图11另外详细地描述用于创建和显示标记206的方法。在各种实施例中，标记可为圆形、椭圆形、正方形或任何合适的形状。在各种实施例中，标记可具有颜色、轮廓、形状或用于识别标记或区分标记的其他特征。

在视场中可见的医疗器械26b的远端部分包括端部执行器尖端208、轴210以及在轴和端部执行器尖端之间的接头区域212。在一些实施例中，用于放置标记206的默认位置叠加在接头区域212上方。在其他实施例中，用于放置标记206的默认位置可在端部执行器尖端208或轴210上。在其他实施例中，标记206被显示为与远端部分相邻。标记的默认位置可取决于视场中医疗器械26b的远端部分的大小。例如，如果图像被靠近地放大(例如，图3F)，并且端部执行器占据图像的大部分，则标记可位于端部执行器夹爪中的一个的近侧部分上，而不会阻挡在夹爪的远端处的视图。然而，如果图像被缩小，并且图像中的端部执行器夹爪相对较小，则标记可位于接头区域或轴上，以避免使夹爪模糊不清。标记206的放置允许临床医生接收关联信息，同时保持关注器械和由器械操纵的组织。标记206的放置还避免了使需要由临床医生观测的视场中的对象模糊不清。

在一些实施例中，标记206具有中心部分214以及轨道部分216。中心部分214和轨道部分216可包含不同条关联信息。例如，如图2所示，中心部分214包括指示医疗器械26b附接到其的臂54b的数字(例如，臂“3”)。在各种实施例中，轨道部分216包含与由临床医生用于控制医疗器械26b的控制装置有关的关联信息。该关联信息可为例如是右(例如“R”)手操作输入控制装置还是左(例如“L”)手操作输入控制装置当前处于标记206已关联的医疗器械26b的控制下的指示。

标记206的轨道部分216可相对于标记的中心部分214周向移动。轨道部分216的周向位置指示控制装置的旋转位置，从而让临床医生知道在控制装置上的他们/她们的手相对于他们/她们正在控制的医疗器械26b被定位在何处。在图3A-图3F中更详细地示出了轨道部分216的功能。

标记207接近器械26a定位，并且具有与标记206类似的特征和属性。标记207包含与医疗器械26a相关的关联信息，诸如器械耦接到的臂54a的数字标识符(例如，臂“1”)。在该实施例中，并且在手术过程的该阶段中，目前器械26c没有处于输入控制装置的控制下。因而，标记没有接近器械26c定位。在替代实施例中，可为器械26c提供指示臂54c的数字标识符(例如，臂“4”)的标记信息，但可由颜色、符号或其他指示来指示当前器械没有处于输入装置的控制下的事实。

图2B示出了操作远程操作系统以实行手术过程的方法100。在过程102处，该方法包括显示手术环境的视场的图像202。在过程104处，确定医疗器械26a在手术环境中的位置。在过程106处，确定医疗器械26a的关联信息。关联信息包括关于医疗器械26a耦接到的远程操作操纵器和/或关于控制医疗器械的操作员输入控制的信息。在过程108处，标记被显示接近视场的图像202中医疗器械26a的图像。标记包括关联信息。

图3A-图3C示出了控制输入控制装置302(即，输入控制装置36)的临床医生的右手300。输入控制装置302控制医疗器械26c。如图3A所示，从临床医生的观点来看，输入控制装置302朝向右延伸。包括(右或左)手识别码和手的取向的手关联信息可经由标记传达给临床医生。虽然依据人手描述该控制关联信息，但是可提供类似的关联信息，其中通过脚踏板、眼睛注视跟踪器、语音命令或其他临床医生控制来递送控制。如图3D所示，通过相对于标记的中心部分220将标记218的轨道部分222取向为向右(例如，在大约3点钟位置)，关于图3A的控制装置302的手关联信息在图像202中视觉上传达到临床医生。轨道部分222显示“R”以指示正在使用右手控制装置302来控制医疗装置26c。如图3B所示，从临床医生的观点来看，输入控制装置与图3A中的位置成大约90度向上延伸。如图3E所示，通过相对于标记的中心部分220对标记218的轨道部分222向上取向(例如，在大约12点钟位置)，关于图3B的控制装置302的该取向信息在图像202中视觉上传达到临床医生。如图3C所示，从临床医生的观点来看，输入控制装置与图3A中的位置成大约90度向下延伸。如图3F所示，通过相对于标记的中心部分220对标记218的轨道部分222向下取向(例如，在大约6点钟位置)，关于图3C的控制装置302的该取向信息在图像202中视觉上传达到临床医生。

在一些替代实施例中，手关联信息可被提供为手的图示或3D模型。该图示或模型根据是左手还是右手控制装置用于控制相关联的医疗装置来描写左手或右手。类似于图3D-图3F中的轨道部分222，随着控制装置的取向改变，图示或模型的位置相应地改变，以将关于控制装置的新取向的信息在视觉上传达给临床医生。为本公开中标记中的任一个描述的特性和特征可应用于本公开中的其他标记中的任一个。

现在参考图4A-图4B，示出了当在手术环境中移动或放大成像装置时标记206的进一步行为。在图4A所示的实施例中，朝向医疗器械26a、医疗器械26b、医疗器械26c移动或放大成像器械。当医疗器械26a、医疗器械26b、医疗器械26c在视场和图像202中显得更大时，标记206、标记207变得更大，改变的大小看起来好像它们在视场中位于与器械的远端部分相同的深度处。在图4B中，随着成像器械移动到离医疗器械26a、医疗器械26b、医疗器械26c更远，或从医疗器械26a、医疗器械26b、医疗器械26c缩小，标记206、标记207变得更小，再次改变为看起来好像它们在视场中位于与器械的远端部分相同的深度。在一些实施例中，对标记206、标记207的最大大小和最小大小存在限制，以防止标记206、标记207变得不可读。在下面图8-图11的描述中提供关于标记位置和大小的另外的细节。标记206、标记207的大小也可将附加信息通知给临床医生，附加信息诸如医疗器械26a、医疗器械26b和成像装置之间的距离。这可能是有帮助的，因为不同类型的医疗器械大小变化，并且靠近成像装置的小器械可显得与远离成像装置的大型器械具有相同的大小。

由于标记206、标记207叠加在图像202上，所以即使医疗器械26a、医疗器械26b的视图被组织、其他器械等阻挡，标记206、标记207也可出现在显示器上。如图5A所示，甚至在相关联的器械26b隐藏在组织后面时，标记206保持可见。基本上从视场中可见的其他器械26a、器械26c偏移且处于与视场中可见的其他器械26a、器械26c相比不同的表观大小和深度的标记206的存在向临床医生指示与标记相关联的器械26b被遮挡。如图5B所示的，标记206允许找到遮挡的器械26b。在图5B中，已经移动了组织，并且标记206附接到其的医疗器械26b在视场中已经变得可见。

远程操作医疗系统10针对每个器械可具有多个操作状态。这些可包括活动状态，其中医疗器械处于输入控制装置的控制下，使得临床医生主动控制医疗器械。在脱离状态下，医疗器械没有处于输入控制装置的控制下，并且通过其耦接到的操纵器臂保持静止、锁定到适当的位置。系统还可具有接合状态，在接合状态下，用户被提示经由相关联的输入控制装置接合或控制医疗器械。在一些实施例中，对于特定的器械，当远程操作医疗系统处于接合状态时，显示标记。例如，在图4A中，器械26a和器械26b处于接合状态，其中通过标记信息提示用户用左(“L”)输入控制装置控制臂1上的器械26a，并且用右(“R”)输入控制装置控制臂3上的器械26b。器械26c处于脱离状态，并且因此对于该器械不展示标记。在活动状态期间，标记在图像中可能保持可见，或可被移除，以避免使临床医生分心。在接合状态中展示标记允许临床医生在控制医疗器械中的任一个之前，辨识视场202内每个器械的关联信息和位置。例如，在控制器械之前，可使用标记的位置来确定是否任何医疗器械被组织阻挡而看不见。附加地，包含在标记内的关联信息可向临床医生给出允许他选取控制哪个医疗器械以实行期望的过程的信息。另外，由标记的轨道部分给出的信息可告诉临床医生在采取控制之前如何对输入控制装置进行定位，以使位置与医疗器械的取向匹配。在一些实施例中，系统可能要求临床医生在允许状态从接合改变为活动之前匹配该位置。

现在参考图6A-图6B，在视场中可见的医疗器械26a的远端部分包括端部执行器尖端230、轴232和在轴和端部执行器尖端之间的接头区域234。在视场中可见的医疗器械26c的远端部分包括端部执行器尖端240、轴242和在轴和端部执行器尖端之间的接头区域244。如图6A所示的和先前所描述的，用于放置标记207的默认位置叠加在接头区域234上方。用于放置标记218的默认位置叠加在接头区域244上方。在图6A中，器械远端部分彼此间隔开，并且容易彼此区分开，结果，标记207和标记218明确可读且分别与医疗器械26a和医疗器械26c明确相关联。图6B示出了器械26a和器械26c的远端部分在图像202中重叠或非常接近的情况。如果允许保持在标记207、标记218的默认位置，则标记207、标记218将重叠或显得相邻或叠加在多于一个器械上，因此致使临床医生混乱。如图6B所示，为了纠正该问题，标记207沿着器械26a的纵向轴线A1从接头区域234的远端附近的其默认位置移动了移位距离。在该实施例中，标记207被重新定位到器械26a的轴232的远端。类似地，标记218沿着器械26c的纵向轴线A2从接头区域244的远端附近的其默认位置移动了移位距离。在该实施例中，标记218被重新定位到器械26c的轴242的远端。移位距离可对应于标记相对于耦接到臂和圆杆的器械的校准的运动学模型的位置，和/或可对应于视场202中的器械远端部分的大小。例如校准的运动学模型(例如，基于操纵器接头位置、运动学传感器、运动链中的部件的大小的知识)提供了器械26a的接头区域234在手术环境中的位置和取向。由于运动学模型中的不确定性，所以不确定因素与接头区域234的确定的位置取向相关联。基于运动学模型、视场中所有器械的运动学不确定因素以及标记的默认位置，远程操作系统可确定接近性因素(例如，中心到中心或边缘到边缘距离，重叠的百分比)，接近性因素指示标记是否重叠或标记是否彼此足够靠近，以便如果标记保持处于默认位置，则对临床医生造成歧义。如果接近性因素小于预定的干扰距离，则根据需要调节标记以将接近性因素提高到高于预定的干扰距离。例如，在一些实施例中，能够沿着或横跨器械的轴线将标记移动至少最小移位距离。在其他实施例中，标记可被调整大小或再成形以维持可接受的干扰距离，同时仍然提供期望的信息内容。以该方式，标记207、标记218与其相应的医疗器械26a、医疗器械26c保持明确相关联，并且还保持明确可读。

现在参考图7A-图7C，当医疗器械逼近视场的图像202的边界或移出图像202时，具有其关联信息的标记可能是特别有用的。图7A示出了手术环境200中的成像器械的视场的所显示的图像202。所显示的图像具有边界700。医疗器械26c的远端部分，特别是端部执行器尖端240在边界700内，并且在所显示的图像202中是可见的。确定器械26c在成像器械的视场里面还是外面可基于所计算的端部执行器尖端240的位置。由于与远程操作系统、器械和/或成像系统相关联的小误差因素，所以确定尖端240相对于成像器械的位置具有相关联的累积误差因素。为了避免向临床医生提供假阳性视野之外指示符，可通过估计远侧尖端的可能位置的范围，并且如果远侧尖端的所估计的可能位置的任何或指定百分比在视场内则抑制视野之外指示符，可以使确定器械尖端是否在成像系统视场之外产生偏差。可基于临床医生对假阳性视野之外指示符的容忍度调节偏差的敏感度。一组误差边界体积(bounding volumes)702与尖端240相关联。可在图像202中图形显示边界体积702，或边界体积702可与尖端240相关联而不被显示。误差边界体积可表示尖端部分的远端和近端的预测位置处于高度确定性(诸如90％-99％)内。误差边界体积702表示器械26c的尖端240的预测位置。在2014年3月17日提交的公开了“用于在远程操作医疗系统中器械的屏幕外指示的系统和方法(Systems and methods for offscreen indication of instruments in ateleoperational medical system)”的美国临时申请No.61/954442中提供了误差计算和边界体积的另外的描述，该美国临时申请以其全部内容以引用方式并入本文。

如图7A所示，边界体积702在由边界700界定的视场内。可在或可不在图像202中呈现边界体积702，但是可由系统确定边界体积702相对于边界的位置，而不管边界体积702是否被显示。由于医疗器械26c在显示器中可见，并且边界体积在边界700内，所以标记218相应地显示在视场的图像202上。为了维持可见性和可读性，即使标记206附接到其的器械26c的远端部分部分地在边界700外面，标记218完全保持在边界700里面，如这里所示。这允许临床医生明确地定位医疗器械26c，即使医疗器械26c在图像202内几乎不可见。在图7B中，在所显示的图像202中医疗器械26c不可见。在一些实施例中，当相关联的医疗器械26c在图像202中不可见时，系统可终止标记218的显示。因为医疗器械204可被远程操作控制而在视场中对临床医生不可见，所以器械在视场外面的无意移动造成安全风险。附加地，临床医生可失去对位于视场外面的器械的跟踪。为了使这些风险最小化，可在视觉或听觉上呈现视野之外的器械指示符，以增加临床医生对在视场内不可见的器械位置的意识。然而，在图7B中，用于医疗器械26c的边界体积702在边界700内，指示尖端240相对于边界700的位置是不确定的。因而，当边界体积702保持在边界700内时，即使图像202看起来不包括尖端240，标记218也保持在图像202上。

一旦医疗器械204在边界700外面足够远，边界体积702也在边界外面，就沿着视场的图像202的边界700提供视野之外器械指示符704，如图7C所示，以指示医疗器械26c在指示符的大致方向上位于视场之外。在该实施例中，指示符704是图形条，但在其他实施例中可为一系列点或图标、字母数字指示符。除了视觉指示符704之外或替代视觉指示符704，诸如嘟嘟声或基于语言的指令的可听的视野之外指示符可向临床医生发出医疗器械204在视场之外的警报。可听提示可在临床医生的控制台的左扬声器或右扬声器之间摇动，以相对于视野加强器械位置。替代地，可听提示可从与和器械相关联的左手控制或右手控制一致的左扬声器或右扬声器发出。除了视觉指示符704之外或替代视觉指示符704，可提供与视野之外的器械相关的文本信息706，以向临床医生发出警报，和/或提供关于器械的识别信息或用于使器械可视化的指令。在各种实施例中，视野之外指示符704与标记218相互排斥。当显示标记218时，不显示视野之外指示符704，并且反之亦然。这为临床医生提供了对医疗器械26c的位置的持续不断的认识。

在各种实施例中，可限制视野之外指示符的使用，以避免使临床医生分心。视野之外指示符的使用可为上下文相关的，使得可仅在远程操作系统的操作的某些状态期间显示视野之外指示符。例如，可在其中操作员控制成像系统的移动的系统的状态(可称为相机控制状态的状态)期间显示视野之外指示符。作为另一个示例，当系统等待来自操作员的输入以控制相关联的器械(上面描述为脱离状态)时，可显示视野之外指示符。作为另一个示例，在开始其中操作员控制器械的移动的系统的状态(上面描述为接合状态)之后，可在几秒内显示视野之外指示符。在其他替代实施例中，当临床医生想要了解视野之外器械的位置时，可禁用或选择性地启用视野之外指示符。在一些实施例中，临床医生必须在启用视野之外器械的操作之前，提供器械尖端在视场外面的确认。附加警告或确认可用于能量发射装置，尖锐的装置，或如果在不具有可视化的情况下使用则提供增加的患者风险的装置。在美国临时申请No.61/954442中提供了对视野之外指示符系统的进一步描述，该美国临时申请在上面以引用方式并入本文。

如上面所解释的，标记可被定位和设定大小，以对应于器械远端的图像，标记与器械远端相关联。图8-图11提供了用于保存该物理对应的进一步的细节。图8示出了在图像202内呈现标记的方法800。在过程802处，医疗器械远端部分的位置被投影到图像202的坐标空间中。图9示出了用于实行过程802的方法900。在过程902处，评估远程操作组件的正向运动学特性(kinematic)以确定世界坐标系(例如，手术环境坐标空间F

在过程904处，每个医疗器械的远端部分的位置和取向(例如，在器械坐标空间F

在过程906处，为内窥镜获得校准的相机模型。校准的相机模型是从内窥镜坐标空间到右眼和左眼图像坐标空间的映射。在一个实施例中，通过一系列三个变换来完成映射。第一，模型视图变换从内窥镜坐标空间(在内窥镜的远侧尖端处)映射到内窥镜的眼睛坐标空间，考虑成像系统中的立体相机的两眼分离，并且考虑坐标系规范的差异。第二，透视投影变换从眼睛坐标空间映射到归一化坐标(例如，-1，+1)，并且考虑内窥镜视场和会聚距离的透视图。第三，视窗(viewport)界限变换从归一化眼睛坐标映射到右眼图像坐标空间和左眼图像坐标空间。在一个实施例中，这三个变换能够被组合成用于右眼图像和左眼图像中的每个的一个4×4均匀变换。

在过程908处，校准的相机模型用于将点和矢量从内窥镜坐标空间投影到每个眼睛的图像坐标空间。更具体地说，校准的相机模型将医疗器械远端位置和取向投影到右眼图像坐标空间和左眼图像坐标空间，以向临床医生提供立体3D图像。

在过程910处，相对于内窥镜尖端估计远程操作系统的运动学模型的不确定性，该远程操作系统的运动学模型的不确定性导致相关联的医疗器械的远端部分的位置的对应的不确定性。在过程912处，这些不确定性被映射到右眼图像坐标空间和左眼图像坐标空间，临床医生从右眼图像坐标空间和左眼图像坐标空间查看三维图像202。

在过程914处，使用在过程902处确定的正向运动学特性，运动学远程中心(例如，器械围绕其枢转的切口部位)被映射到内窥镜坐标空间。在过程916处，校准的相机模型用于以与过程908中所描述的类似的方式将远程中心投影到每个眼睛的图像坐标系。

可对远程操作系统中的每个医疗器械重复过程902-过程916，使得所有医疗器械被正确地投影到立体3D图像202中。可顺序地或并行地实行该过程，并且一个或多个过程可被更新，而其他过程没有被更新。

再次参考图8，标记图形的呈现基于多个显示因素的考虑，多个显示因素包括例如在医疗器械的远端的远侧尖端处或附近的默认位置、与重叠或不确定的标记放置相关联的潜在歧义、由内窥镜视窗强加的约束，以及用于隐藏器械的系统规则。可在每个眼睛的图像坐标空间中确定标记图形的位置。在过程804处，检查和解决标记的潜在重叠，以减少标记在空间上与错误的器械相关联的可能性。图10示出了用于实行图8的过程804的方法1000。在该实施例中，至少两个医疗器械被定位在手术空间中。如上所述，用于呈现标记的默认位置在医疗器械的远端部分处。在过程1002处，计算两个医疗器械的远端部分之间的图像空间坐标中的距离。在过程1004处，计算最小允许的标记间距离的阈值。最小允许的标记间距离的阈值是标记的投影半径总和的最大值(或，如果标记不是圆形，则来自标记中心的另一个最大尺寸)加上标记位置的投影不确定性总和的最大值。在过程1006处，将两个远端部分之间的图像空间距离与所计算的阈值距离进行比较，以确定它们相关联的标记重叠，还是可被认为重叠。如果检测到重叠，则在过程1008处计算移动标记以解决重叠的方向。由投影到图像坐标空间中的器械远端部分和远程中心之间的单位矢量确定移动标记的方向(如在过程908和过程916中所确定的)。另外，如果检测到重叠，则在过程1010处确定平移标记的距离以解决重叠。标记偏移的距离被计算为最小允许的标记间距离与远端部分之间的当前距离之间的差。偏移防止标记图形重叠，并且提供足够间隔开的标记位置，以避免器械关联中的不确定性。

再次参考图8，在过程806处，标记被约束到图像202的可视空间，该可视空间对应于在内窥镜的远侧尖端处的内窥镜视窗的边界。该过程可将标记图形放置在图像202的边界内，而不会剪掉图形中的任一个。如果标记被移位以避免图像边界或防止歧义，则该过程还可通过防止对水平视差的修改来控制标记的感知深度。图11示出了用于实行图8的过程806的方法1100。在过程1102处，确定对应于内窥镜视窗的图像202的可视空间的右眼边界。在过程1104处，为右眼确定标记图形的所投影的半径。在过程1106处，对于右眼，由所投影的标记半径插入边界以创建插入边界。在过程1108处，调节标记的中心的Y位置以保持在右眼的插入边界内。在过程1110处，计算对于将标记完全保持在插入边界内所必需的标记的中心的X位置的偏移。对于左眼图像，重复过程1102至过程1110。为了维持立体3D中适当的表观深度，在右眼图像和左眼图像中必须将标记调节相同的量。这维持对于标记的适当感知深度所需的水平视差。在过程1112处，在过程1110处为右眼图像或左眼图像中的一个计算的X偏移被应用于右眼图像和左眼图像两者中的标记的X位置。在一些实施例中，选取较大的X偏移值以防止标记图形甚至部分地在边界700外面的可能性。

再次参考图8，在过程808处，基于在过程802、过程804和过程806中进行的计算，将标记呈现在左眼显示器和右眼显示器内，以形成图像202。

可以用软件实施本发明的实施例中的一个或多个元件，以在诸如控制处理系统的计算机系统的处理器上执行。当以软件实施时，本发明的实施例的元件基本上是用于实行必要任务的代码段。程序或代码段能够存储在处理器可读存储介质或装置中，程序或代码段可借着通过传输介质或通信链路在载波中体现的计算机数据信号已经被下载。处理器可读存储装置可包括能够存储信息的任何介质，任何介质包括光学介质、半导体介质和磁介质。处理器可读存储装置示例包括电子电路；半导体装置、半导体存储器装置、只读存储器(ROM)、闪速存储器、可擦除可编程只读存储器(EPROM)；软盘、CD-ROM、光盘、硬盘或其他存储器装置。可经由诸如因特网、内联网等的计算机网络下载代码段。

注意，所呈现的过程和显示不能固有地与任何特定计算机或其他设备有关。各种通用系统可根据本文的教导与程序一起使用，或可证明构造更专用的设备以实行所描述的操作是方便的。各种各样的这些系统所需的结构将作为权利要求书中的元件出现。此外，没有参考任何特定的编程语言来描述本发明的实施例。应当理解，可使用各种各样的编程语言以实施如本文所述的本发明的教导。

虽然已经在附图中描述和示出了本发明的某些示例性实施例，但是应当理解，此类实施例仅仅是对广泛的发明的说明，而不限制广泛的发明，并且本发明的实施例不被限制于所示出和描述的具体构造和布置，因为本领域普通技术人员可想到各种其他修改。