手术系统

本申请是于2019年12月10日提交的美国专利申请序列号16/709,185的部分继续，所述申请在此全文引入。

技术领域

本公开涉及医疗装置和系统，并且更具体地，涉及使用机器人手术系统进行的手术中的计算机辅助导览。

背景技术

手术中的计算机辅助导览为外科医生提供关于患者的解剖的放射照相图像的手术仪器的增强可视化。导览手术通常包括用于通过使用单个近红外(NIR)立体摄像机设置的盘或球体阵列来跟踪手术仪器的方位和定向的组件。在这种场景下，有三个参数共同竞争优化：(1)精度、(2)稳健性和(3)人体工程学。

当人员和/或对象阻碍跟踪组件跟踪患者、机器人和手术仪器的姿势的能力时，使用现有导览系统的导览手术程序易于发生触发间歇暂停的事件。需要改进导览系统的跟踪性能。

发明内容

本文所公开的各个实施例涉及计算机辅助导览在手术期间的改进。一个或多个扩展现实(“XR”)头戴式受话器可配备有跟踪摄像机，所述跟踪摄像机向摄像机跟踪系统提供跟踪信息以与来自其它跟踪摄像机的跟踪信息组合，所述其它跟踪摄像机可以是另一XR头戴式受话器的一部分、辅助跟踪棒或其它设备。通过在此公开的各种姿势链操作，摄像机跟踪系统能够以更大的稳健性并通过大范围的运动来跟踪工具和其它对象。

在一个实施例中，手术系统包括被配置成在手术程序期间佩戴的扩展现实(“XR”)头戴式受话器、跟踪系统和XR头戴式受话器控制器。XR头戴式受话器包括透视显示屏，所述透视显示屏被配置成显示世界配准XR图像并且允许真实世界场景的至少一部分穿过其中以供用户观看。跟踪系统被配置成确定XR头戴式受话器的真实世界姿势和真实世界元件的真实世界姿势。XR头戴式受话器的真实世界姿势和真实世界元件的真实世界姿势是相对于真实世界坐标系确定的。XR头戴式受话器控制器被配置成基于XR头戴式受话器的真实世界姿势和真实世界元件的真实世界姿势来生成世界配准XR图像。世界配准XR图像包括基于真实世界元件的特性生成的虚拟元件。

公开了手术系统的相关方法、一种相关的机器人手术系统。

在审阅以下附图和详细描述之后，根据实施例的其它手术系统、方法和计算机程序产品对于本领域技术人员来说将是显而易见的。所有此类手术系统、方法和计算机程序产品旨在包括在本说明书中、在本公开的范围之内并且受所附权利要求的保护。此外，本文中公开的所有实施例旨在可以以任何方式和/或组合来单独实施或组合。

附图说明

附图绘示了发明概念的某些非限制性实施例，所述附图被包括在内以提供对本公开的进一步理解，并且结合在本申请内并构成本申请的一部分。在附图中：

图1绘示了根据本公开的一些实施例的手术系统的实施例；

图2绘示了根据本公开的一些实施例的图1的手术系统的手术机器人组件；

图3A绘示了根据本公开的一些实施例的图1的手术系统的摄像机跟踪系统组件；

图3B和图3C绘示了根据本公开的一些实施例的可以与图1的手术系统一起使用的另一个摄像机跟踪系统组件的正视图和等距视图；

图4绘示了可连接到机器人臂并且根据本公开的一些实施例配置的末端执行器的实施例；

图5绘示了医疗操作，其中手术机器人和摄像机系统被安置在患者周围；

图6绘示了用于医疗操作的图5的手术系统的组件的框图视图；

图7绘示了在使用手术系统的导览功能时可以在图5和图6的显示器上显示的各种显示屏；

图8绘示了根据本公开的一些实施例的手术机器人的一些电组件的框图；

图9绘示了根据本公开的一些实施例的手术系统的组件的框图，所述手术系统包括连接到可以可操作地连接到摄像机跟踪系统和/或手术机器人的计算机平台的成像装置；

图10绘示了根据本公开的一些实施例的可以与手术机器人组合使用的C形臂成像装置的实施例；

图11绘示了根据本公开的一些实施例的可以与手术机器人组合使用的O形臂成像装置的实施例；

图12绘示了包括根据本公开的一些实施例进行操作的一对XR头戴式受话器和辅助跟踪棒的手术系统的组件的框图视图；

图13绘示了根据本公开的一些实施例配置的XR头戴式受话器；

图14绘示了根据本公开的一些实施例的可以可操作地连接到计算机平台、成像装置和/或手术机器人的XR头戴式受话器的电组件；

图15绘示了根据本公开的一些实施例的示出XR头戴式受话器的光学组件的布置的框图。

图16绘示了根据本公开的一些实施例的通过用于在医疗程序期间提供导览辅助以操纵手术工具的XR头戴式受话器的显示屏的示例性视图；

图17绘示了根据本公开的一些实施例配置的具有两对立体摄像机的辅助跟踪棒的示例性配置；

图18至图22绘示了根据本公开的一些实施例的在医疗程序中使用的手术工具的导览辅助期间引入的错误的实例；

图23绘示了根据本公开的一些实施例的使用导览辅助的医疗程序的实例；

图24至图32绘示了根据本公开的一些实施例的操纵图37的导览辅助的实例。

图33绘示了根据本公开的一些实施例的手术系统的实例的框图。

图34绘示了根据本公开的一些实施例的由手术系统执行的过程的实例的框图。

具体实施方式

现将参考附图在下文中更全面地描述发明概念，在附图中示出了发明概念的实施例的示例。发明概念可以以许多不同的形式实施，并且不应该被解释为限于本文列出的实施例。而是这些实施例被提供为使得本公开更完全和完整，并且将各个本发明概念的范围完全地转达给所属领域技术人员。还应当注意，这些实施例并不相互排斥。一个实施例中的组件可以被默认为存在于或用于另一个实施例。

本文所公开的各个实施例涉及计算机辅助导览在手术期间的改进。一种扩展现实(XR)头戴式受话器可操作地连接到手术系统并且被配置成提供外科医生、助理和/或其它人员可以通过其观看患者图像并且在其中进行选择、观看计算机生成的手术导览信息并在其中进行选择和/或控制手术室中的手术设备的交互式环境。如下所述，XR头戴式受话器可以被配置成利用计算机生成的XR图像来增强真实世界场景。XR头戴式受话器可以被配置成通过在透视显示屏上显示计算机生成的XR图像来提供增强真实(AR)观看环境，所述透视显示屏允许来自真实世界场景的光穿过其中以供用户组合观看。可替换地，XR头戴式受话器可以被配置成通过在用户观看显示屏上的计算机生成的AR图像时防止或基本上防止来自真实世界场景的光被用户直接观看、来提供虚拟真实(VR)观看环境。XR头戴式受话器可被配置成提供AR和VR观看环境。在一个实施例中，AR和VR观看环境都由布置在透视显示屏和真实世界场景之间的不透明度基本上不同的横向带提供，从而为与高不透明度带对准的XR图像提供VR观看环境，并且为与低不透明度带对准的XR图像提供AR观看环境。在另一个实施例中，AR和VR观看环境都由计算机可调节的不透明度滤光器的控制来提供，所述不透明度滤光器可变地约束来自真实世界场景的多少光穿过透视显示屏以便与用户观看的XR图像组合。因此，XR头戴式受话器也可以被称为AR头戴式受话器或VR头戴式受话器。

图1绘示了根据本公开的一些实施例的手术系统2的实施例。在执行矫形或其它手术程序之前，可以使用例如图10的C形臂成像装置104或图11的O形臂成像装置106，或从如计算机断层扫描(CT)图像或MRI的另一个医学成像装置、对患者的有计划的手术区进行三维(“3D”)图像扫描。可以在术前(例如，最常见的在程序前几周)或术中进行这种扫描。然而，可以根据手术系统2的各个实施例来使用任何已知的3D或2D图像扫描。图像扫描发送到与手术系统2通信的计算机平台，如手术系统900的计算机平台910(图9)，所述手术系统900可以包括摄像机跟踪系统组件6、手术机器人4(例如，图1中的机器人2)、成像装置(例如，C形臂104、O形臂106等)以及用于存储患者的图像扫描的图像数据库950。查看计算机平台910(图9)的显示装置上的一个或多个图像扫描的外科医生生成定义在对患者的解剖结构进行的手术程序期间使用的手术工具的目标姿势的手术计划。示例性手术工具，也称为工具，可包括但不限于钻孔器、螺丝刀、牵开器和如螺钉、间隔器、体内融合装置、板、杆等的植入物。在一些实施例中，在显示装置上显示的3D图像扫描上计划定义目标平面的手术计划。

如本文所使用的，术语“姿势”是指一个对象(例如，动态参考阵列、末端执行器、手术工具、解剖结构等)相对于另一个对象和/或定义的坐标系的方位和/或旋转角度。因此，姿势可以仅基于一个对象相对于另一个对象和/或定义的坐标系的多维方位、仅基于所述对象相对于另一个对象和/或定义的坐标系的多维旋转角度或结合多维方位和多维旋转角度未定义。因此，术语“姿势”用于指方位、旋转角度或其组合。

图1的手术系统2可以在医疗程序期间通过例如供使用的保持工具、对齐工具、使用工具、引导工具和/或定位工具来辅助外科医生。在一些实施例中，手术系统2包括手术机器人4和摄像机跟踪系统组件6。将手术机器人4和摄像机跟踪系统组件6机械联接的能力可以允许手术系统2作为单个单元来操纵并移动，并且允许手术系统2在区域中具有小的占用空间，允许更容易地移动通过狭窄的通道和绕过转弯，并且允许存储在较小的区域之内。

手术程序可以开始于手术系统2从医疗存储室移动到医疗程序室。可以通过门道、大厅和电梯操纵手术系统2以到达医疗程序室。在所述医疗程序室内，手术系统2可以在物理上分成两个单独且不同的系统(手术机器人4和摄像机跟踪系统组件6)。手术机器人4可以定位成在任何合适的位置邻近患者，以适当地辅助医务人员。摄像机跟踪系统组件6可以定位在患者的底部、在患者肩部或任何其它适合于跟踪手术机器人4和患者的跟踪部分的当前姿势和姿势移动的位置。手术机器人4和摄像机跟踪系统组件6可以由机载电源供电和/或插入到外墙插座中。

手术机器人4可以用于通过在医疗程序期间保持和/或使用工具来帮助外科医生。为了适当地利用并保持工具，手术机器人4可以依靠多个马达、计算机和/或致动器来适当地起作用。如图1所绘示的，机器人主体8可以充当其中多个马达、计算机和/或致动器可以固定在手术机器人4内的结构。机器人主体8还可以为机器人伸缩式支撑臂16提供支撑。机器人主体8的大小可以提供支撑附接组件的稳固平台，并且可以容纳、隐藏并保护可以操作附接组件的多个马达、计算机和/或致动器。

机器人底座10可以充当手术机器人4的下部支撑。在一些实施例中，机器人底座10可以支撑机器人主体8，并且可以将机器人主体8附接到多个驱动轮12。这种与轮的附接可以允许机器人主体8在空间中有效地移动。机器人底座10可以沿机器人主体8的长度和宽度运行。机器人底座10可以是约两英寸到约10英寸高。机器人底座10可以覆盖、保护并支撑驱动轮12。

在一些实施例中，如图1所绘示的，至少一个驱动轮12可以附接到机器人底座10。驱动轮12可以在任何位置附接到机器人底座10。每个单独的驱动轮12可以在任何方向上绕竖直轴线旋转。马达可以安置在驱动轮12的上方、之内或邻近其安置。这种马达可以允许手术系统2操纵到任何位置，并且稳定和/或调平手术系统2。可以通过马达将位于驱动轮12之内或邻近其的杆压入表面中。未示出的杆可以由任何合适的金属制成，以提升手术系统2。所述杆可以提升驱动轮10，这可以将手术系统2提升到调平或以其它方式固定手术系统2相对于患者的定向所需的任何高度。手术系统2的重量通过每个轮上的杆的小接触区域支撑，防止手术系统2在医疗程序期间移动。此刚性定位可以防止对象和/或人意外地移动手术系统2。

可以使用机器人轨道14促进移动手术系统2。机器人轨道14给人提供了在未抓住机器人主体8的情况下移动手术系统2的能力。如图1所绘示的，机器人轨道14的长度可以和机器人主体8一样长、比机器人主体8短，和/或可以比机器人主体8更长。机器人轨道14可以进一步向机器人主体8提供保护，从而防止对象和/或医务人员接触、撞击或撞到机器人主体8。

机器人主体8可以为选择顺应性铰接式机器人臂提供支撑，在下文中被称为“SCARA”。由于机械臂的可重复性和紧凑性，在手术系统2内使用SCARA24可能是有利的。SCARA的紧凑性可以在医疗程序内提供另外的空间，这可以允许医疗专业人员在没有过多杂乱和限制区域的情况下执行医疗程序。SCARA24可以包含机器人伸缩式支撑件16、机器人支撑臂18和/或机器人臂20。机器人伸缩式支撑件16可以沿机器人主体8安置。如图1所绘示的，机器人伸缩式支撑件16可以为SCARA 24和显示器34提供支撑。在一些实施例中，机器人伸缩式支撑件16可以在竖直方向上延伸并收缩。机器人伸缩式支撑件16的主体可以是被配置成支撑放在其上的应力和重量的任何宽度和/或高度。

在一些实施例中，医务人员可以通过由医务人员提交的命令来移动SCARA 24。如将在下面进一步详细解释的，命令可以源自在显示器34、平板电脑和/或XR头戴式受话器(例如，图9中的头戴式受话器920)上接收到的输入。XR头戴式受话器可以消除医务人员参考如显示器34或平板电脑等任何其它显示器的需要，这使得能够在没有显示器34和/或平板电脑的情况下配置SCARA 24。如将在下面进一步详细解释的，命令可以通过按压开关和/或按压多个开关来生成，和/或可以基于由XR头戴式受话器感测到的手势命令和/或语音命令来生成。

如图5中所示出的，激活组合件60可以包括开关和/或多个开关。激活组合件60可以是可操作的以向SCARA 24传输移动命令，从而允许操作者手动操纵SCARA 24。当按压开关或多个开关时，医务人员可以具有通过所应用的手部移动来移动SCARA 24的能力。可替代地或另外地，如将在下面进一步详细解释的，操作者可以通过由XR头戴式受话器感测到的手势命令和/或语音命令来控制SCARA 24的移动。另外地，当SCARA 24未接收到移动的命令时，SCARA 24可以锁定在适当的位置以防止由医务人员和/或其它对象意外移动。通过锁定在适当的位置，SCARA24提供了稳固平台，通过所述稳固平台，末端执行器26可以在医疗程序期间引导手术工具。

机器人支撑臂18可以通过各种机构连接到机器人伸缩式支撑件16。在一些实施例中，最佳参见图1和2，机器人支撑臂18相对于机器人伸缩式支撑件16在任何方向上旋转。机器人支撑臂18可以围绕机器人伸缩式支撑件16旋转三百六十度。机器人臂20可以在任何合适的位置并通过使得能够相对于机器人支撑臂18在任何方向上旋转的各种机构连接到机器人支撑臂18。在一个实施例中，机器人臂20可相对于机器人支撑臂18旋转三百六十度。这种自由旋转允许操作者根据手术计划对机器人臂20进行定位。

图4和5中的末端执行器26以在任何合适的位置附接到机器人臂20。末端执行器26被配置成附接到由手术机器人4定位的机器人臂20的末端执行器联接器22。示例末端执行器26包括引导插入式手术工具相对于要对其执行手术程序的解剖结构的移动的管状引导件。

在一些实施例中，动态参考阵列52附接到末端执行器26。动态参考阵列(在本文中也被称为“DRA”)是可以安置在患者的解剖结构(例如，骨骼)上的刚性主体、由手术室中的人员佩戴的一个或多个XR头戴式受话器、末端执行器、手术机器人、导览手术程序中的手术工具。计算机平台910与摄像机跟踪系统组件6或其它3D定位系统组合被配置成实时跟踪DRA的姿势(例如，方位和旋转定向)。DRA可以包括基准，如球的所绘示布置。对DRA的3D坐标的这种跟踪可以允许手术系统2确定DRA在相对于图5中的患者50的目标解剖结构的任何多维空间中的姿势。

如图1所绘示的，光指示器28可以定位于SCARA 24的顶部。光指示器28可以作为任何类型的光点亮，以指示其中手术系统2当前操作的“状况”。在一些实施例中，光可以由LED灯产生，所述灯可以围绕光指示器28形成环。光指示器28可以包含可以让光透过整个光指示器28的完全可渗透材料。光指示器28可以附接到下部显示器支撑件30。如图2所绘示的，下部显示器支撑件30可以允许操作者操纵显示器34到任何合适的位置。下部显示器支撑件30可以通过任何合适的机构附接到光指示器28。在一些实施例中，下部显示器支撑件30可以绕光指示器28旋转或刚性附接到所述光指示器。上部显示器支撑件32可以通过任何合适的机构附接到下部显示器支撑件30。

在一些实施例中，平板电脑可以与显示器34结合使用和/或在没有显示器34的情况下使用。平板电脑可以安置在上部显示器支撑件32上以代替显示器34，并且可以能够在医疗操作期间从上部显示器支撑件32移除。另外，平板电脑可以与显示器34通信。平板电脑能够通过任何合适的无线和/或有线连接连接到手术机器人4。在一些实施例中，平板电脑能够在医疗操作期间对手术系统2进行编程和/或控制。当用平板电脑控制手术系统2时，所有输入和输出命令都可以在显示器34上复制。使用平板电脑可以允许操作者操纵手术机器人4，而不必围绕患者50和/或手术机器人4移动。

如下面将解释的，在一些实施例中，外科医生和/或其它人员可以佩戴可以与显示器34和/或平板电脑结合使用的XR头戴式受话器，或者XR头戴式受话器可以消除使用显示器34和/或平板电脑的需要。

如图3A和5所绘示的，摄像机跟踪系统组件6通过有线或无线通信网络与手术机器人4组合工作。参考图1、3和5，摄像机跟踪系统组件6可以包括与手术机器人4类似的一些组件。例如，摄像机主体36可以提供在机器人主体8中发现的功能。机器人主体8可提供其上安装有摄像机46的辅助跟踪棒。机器人主体8内的结构还可以为用于操作摄像机跟踪系统组件6的电子设备、通信装置和电源提供支撑。摄像机主体36可以由与机器人主体8相同的材料制成。摄像机跟踪系统组件6可以通过无线和/或有线网络与XR头戴式受话器、平板电脑和/或显示器34直接通信，以使得XR头戴式受话器、平板电脑和/或显示器34能够控制摄像机跟踪系统组件6的功能。

摄像机主体36由摄像机底座38支撑。摄像机底座38可以用作机器人底座10。在图1的实施例中，摄像机底座38可以比机器人底座10宽。摄像机底座38的宽度可以允许摄像机跟踪系统组件6与手术机器人4连接。如图1所绘示的，摄像机底座38的宽度可以足够大以适合机器人底座10的外部。当摄像机跟踪系统组件6与手术机器人4连接时，摄像机底座38的另外的宽度可以允许手术系统2为手术系统2提供另外的可操作性和支撑。

如同机器人底座10，多个驱动轮12可以附接到摄像机底座38。类似于机器人底座10和驱动轮12的操作，驱动轮12可以允许摄像机跟踪系统组件6相对于患者50稳定和调平或设置固定定向。这种稳定可以防止摄像机跟踪系统组件6在医疗程序期间移动，并且可以防止辅助跟踪棒上的摄像机46失去对连接到XR头戴式受话器和/或手术机器人4的DRA的跟踪、失去对连接到如图3A和5所示出的指定区域56内的解剖结构54和/或工具58的一个或多个DRA 52的跟踪。跟踪的这种稳定性和维护增强了手术机器人4与摄像机跟踪系统组件6一起有效操作的能力。另外地，宽摄像机底座38可以为摄像机跟踪系统组件6提供另外的支撑。具体地，如图3A和5所绘示的，当摄像机46安置在患者之上时，宽摄像机底座38可以防止摄像机跟踪系统组件6倾翻。

摄像机伸缩式支撑件40可以支撑辅助跟踪棒上的摄像机46。在一些实施例中，伸缩式支撑件40可以在竖直方向上将摄像机46向更高或更低处移动。摄像机手柄48可以在任何合适的位置附接到摄像机伸缩式支撑件40，并且被配置成允许操作者在医疗操作之前将摄像机跟踪系统组件6移动到有计划的方位。在一些实施例中，摄像机手柄48可以用于降低和升高摄像机伸缩式支撑件40。摄像机手柄48可以通过按压按钮、开关、杠杆和/或其任何组合来执行摄像机伸缩式支撑件40的升高和降低。

下部摄像机支撑臂42可以在任何合适的位置附接到摄像机伸缩式支撑件40，在实施例中，如图1所绘示的，下部摄像机支撑臂42可以围绕伸缩式支撑件40旋转三百六十度。这种自由旋转可以允许操作者将摄像机46定位在任何合适的位置。下部摄像机支撑臂42可以通过任何合适的机构连接到伸缩式支撑件40。下部摄像机支撑臂42可以用于为摄像机46提供支撑。摄像机46可以通过任何合适的机构附接到下部摄像机支撑臂42。摄像机46可以在摄像机46与下部摄像机支撑臂42之间的附接区域在任何方向上枢转。在实施例中，弯曲轨道44可以安置在下部摄像机支撑臂42上。

弯曲轨道44可以安置在下部摄像机支撑臂42上的任何合适的位置。如图3A所绘示的，弯曲轨道44可以通过任何合适的机构附接到下部摄像机支撑臂42。弯曲轨道44可以是任何合适的形状，合适的形状可以是新月形、圆形、扁形、椭圆形和/或其任何组合。摄像机46可以沿弯曲轨道44可移动地安置。摄像机46可以通过例如辊、支架、支具、马达和/或其任何组合附接到弯曲轨道44。未绘示的马达和辊可以用于沿弯曲轨道44移动摄像机46。如图3A所绘示的，在医疗程序期间，如果对象阻止摄像机46观察所跟踪的一个或多个DRA，则马达可以响应地沿弯曲轨道44移动摄像机46。这种机动化移动可以允许摄像机46在没有移动摄像机跟踪系统组件6的情况下移动到不再被对象阻碍的新方位。当阻碍到摄像机46观看一个或多个所跟踪的DRA时，摄像机跟踪系统组件6可以向手术机器人4、XR头戴式受话器、显示器34和/或平板电脑发送停止信号。停止信号可以阻止SCARA 24移动，直到摄像机46已经重新获取所跟踪的DRA 52和/或可以警告操作者佩戴XR头戴式受话器和/或观看显示器34和/或平板电脑为止。这个SCARA 24可以被配置成通过停止底座和/或末端执行器联接器22的进一步移动直到所述摄像机跟踪系统可以重新开始对DRA的跟踪为止来对停止信号的接收作出响应。

图3B和3C绘示了可以与图1的手术系统一起使用或可以独立于手术机器人使用的另一个摄像机摄像机跟踪系统组件6′的正视图和等距视图。例如，摄像机跟踪系统组件6′可以用于在不使用机器人引导的情况下提供导览手术。图3B和3C的摄像机跟踪系统组件6′与图3A的摄像机跟踪系统组件6之间的区别之一是图3B和3C的摄像机跟踪系统组件6′包括用于运输计算机平台910的壳体。计算机平台910可以被配置成：执行摄像机跟踪操作以跟踪DRA；执行向显示装置(例如，XR头戴式受话器和/或其它显示装置)提供手术导览信息的导览手术操作；并且执行本文所公开的其它计算操作。因此，计算机平台910可以包括导览计算机，例如图14的一个或多个导览计算机。

图6绘示了用于医疗操作的图5的手术系统的组件的框图视图。参考图6，辅助跟踪棒上的导览摄像机46具有在其中对附接到患者的参考阵列602、附接到手术仪器的参考阵列604和机器人臂20的姿势(例如，方位和定向)进行跟踪的导览视场600。导览摄像机46可以是包括被配置成执行下面描述的操作的计算机平台910的图3B和3C的摄像机跟踪系统组件6′的一部分。参考阵列通过以已知模式反射光来实现跟踪，所述已知模式被手术机器人4的跟踪子系统解码以确定所述参考阵列的相应姿势。如果患者参考阵列602与辅助跟踪棒上的导览摄像机46之间的视线被阻挡(例如，由医务人员、仪器等)，则可能无法对手术仪器进行进一步导览，并且响应式通知可以暂时停止机器人臂20和手术机器人4的进一步移动、在显示器34上显示警告，和/或向医务人员提供听觉警告。显示器34可供外科医生610和助理612使用，但是观看需要将头转动远离患者并将眼焦点改变到不同的距离和位置。导览软件可以由技术人员614基于来自外科医生的声音指令来控制。

图7绘示了在使用手术系统2的导览功能时可以通过手术机器人4在图5和6的显示器34上显示的各种显示屏。显示屏可以包括但不限于具有基于开发的手术计划和/或基于所跟踪的参考阵列的姿势相对于解剖结构定位在显示屏中的仪器模型的覆盖图形表示的患者射线照片、用于控制手术程序的不同阶段以及虚拟投影的植入物的尺寸参数(例如，长度、宽度和/或直径)的各种用户可选择菜单。

对于导览手术，提供了下面描述的使得能够对手术程序(例如，植入物放置)进行术前计划以及将计划电子传递到计算机平台910以在有计划的手术程序期间向一个或多个用户提供导览信息的各种处理组件(例如，计算机平台910)和相关联软件。

对于机器人导览，提供了下面描述的使得能够对手术程序(例如，植入物放置)进行术前计划以及将计划电子传递到手术机器人4的各种处理组件(例如，计算机平台910)和相关联软件。手术机器人4使用计划来引导机器人臂20和连接的末端执行器26，以针对有计划的手术程序的步骤提供手术工具相对于患者解剖结构的目标姿势。

下面的各个实施例涉及使用可以由外科医生610、助理612和/或其它医务人员佩戴的一个或多个XR头戴式受话器以提供用于从手术机器人、摄像机跟踪系统组件6/6′和/或手术室中的其它医疗设备接收信息和/或向其提供控制命令的改进的用户界面。

图8绘示了根据本公开的一些实施例的手术机器人4的一些电组件的框图。参考图8，测力传感器(1oad cell，未示出)可以被配置成跟踪施加到末端执行器联接器22的力。在一些实施例中，测力传感器可以与多个马达850、851、852、853和/或854通信。当测力传感器感测到力时，关于所施加的力的量的信息可以从开关阵列和/或多个开关阵列分布到控制器846。控制器846可以从测力传感器获取力信息，并且用开关算法对其进行处理。控制器846使用开关算法来控制马达驱动器842。马达驱动器842控制一个或多个马达850、851、852、853和/或854的操作。马达驱动器842可以指导特定马达产生例如由测力传感器通过马达测得的等量的力。在一些实施例中，如控制器846所指示的，所产生的力可以来自多个马达，例如850至854。另外地，马达驱动器842可以接收来自控制器846的输入。控制器846可以从测力传感器接收关于由测力传感器感测到的力的方向的信息。控制器846可以使用运动控制器算法来处理这个信息。所述算法可以用于向特定马达驱动器842提供信息。为了复制力的方向，控制器846可以激活和/或去激活某些马达驱动器842。控制器846可以控制一个或多个马达，例如850至854中的一个或多个，以诱导末端执行器26在由测力传感器感测的力的方向上的运动。这种力控制的运动可以允许操作者毫不费力地和/或以非常小的阻力移动SCARA 24和末端执行器26。可以执行末端执行器26的移动，以将末端执行器26以任何合适的姿势定位(即，相对于定义的三维(3D)正交参考轴线的位置和角度定向)，以供医务人员使用。

图5最佳绘示的，激活组合件60可以缠绕末端执行器联接器22的手镯的形式。激活组合件60可以定位于SCARA 24的任何部分、末端执行器联接器22的任何部分上，可以由医务人员佩戴(并且无线通信)，和/或其任何组合。激活组合件60可以包含主按钮和次按钮。

按压主按钮可以允许操作者移动SCARA 24和末端执行器联接器22。根据一个实施例，一旦设置在适当位置，SCARA 24和末端执行器联接器22可以不移动直到操作者对手术机器人4进行编程以移动SCARA 24和末端执行器联接器22为止，或使用主按钮来移动。在一些实例中，可能需要在SCARA 24和末端执行器联接器22将对操作者命令作出响应之前按压至少两个不相邻的主激活开关。按压至少两个主激活开关可以防止SCARA 24和末端执行器联接器22在医疗程序期间的意外移动。

由主按钮激活，测力传感器可以测量由操作者(即，医务人员)施加在末端执行器联接器22上的力的量值和/或方向。这个信息可以传递到SCARA24内的可以用于移动SCARA24和末端执行器联接器22的一个或多个马达，例如850至854中的一个或多个。关于由测力传感器测得的力的量值和方向的信息可以使一个或多个马达(例如，850至854中的一个或多个)在与由测力传感器感测到的同一方向上移动SCARA24和末端执行器联接器22。这种力控制的移动可以允许操作者容易地移动SCARA24和末端执行器联接器22，并且由于在操作者移动SCARA 24和末端执行器联接器22的同时马达移动SCARA 24和末端执行器联接器22，所以不需要大量的努力。

在一些示例中，操作者可以将次按钮用作“选择”装置。在医疗操作期间，手术机器人4可以通过XR头戴式受话器920、显示器34和/或光指示器28通知医务人员某些情况。XR头戴式受话器920各自被配置成将图像显示于透视显示屏上，以形成覆盖在通过透视显示屏可观看的真实世界对象上的扩展现实图像。手术机器人4可以提示医务人员选择功能、模式和/或评估手术系统2的情况。按压次按钮单次可以激活某些功能、模式和/或确认通过XR头戴式受话器920、显示器34和/或光指示器28传送给医务人员的信息。另外地，快速连续地按压次按钮多次可以激活另外的功能、模式和/或选择通过XR头戴式受话器920、显示器34和/或光指示器28传送给医务人员的信息。

进一步参考图8，手术机器人4的电组件包括平台子系统802、计算机子系统820、运动控制子系统840和跟踪子系统830。平台子系统802包括电池806、配电模块804、连接器面板808和充电站810。计算机子系统820包括计算机822、显示器824和扬声器826。运动控制子系统840包括驱动电路842、电机850、851、852、853、854、稳定器855、856、857、858、末端执行器连接器844和控制器846。跟踪子系统830包括方位传感器832和摄像机转换器834。手术机器人4还可以包括可移除脚踏板880和可移除平板电脑890。

输入功率通过可以提供给配电模块804的电源供应给手术机器人4。配电模块804接收输入功率，并且被配置成生成提供给手术机器人4的其它模块、组件和子系统的不同的电源电压。配电模块804可以被配置成向连接器面板808提供不同的电压供应，所述电压供应可以提供给其它组件(如计算机822、显示器824、扬声器826、驱动器842)以例如给马达850至854和末端执行器联接器844供电，并且提供给摄像机转换器834和用于手术机器人4的其它组件。配电模块804还可以连接到电池806，所述电池在配电模块804未从输入电源接收电力的情况下充当临时电源。在其它时间，配电模块804可以用于给电池806充电。

连接器面板808可以用于将不同的装置和组件连接到手术机器人4和/或相关联组件和模块。连接器面板808可以含有接收来自不同组件的线路或连接件的一个或多个端口。例如，连接器面板808可以具有将手术机器人4接地到其它设备的接地端端口、用于连接脚踏板880的端口、用于连接到跟踪子系统830的端口，所述跟踪子系统可以包括方位传感器832、摄像机转换器834和DRA跟踪摄像机870。连接器面板808还可以包括其它端口，以允许与其它组件(如计算机822)的USB、以太网、HDMI通信。根据一些实施例，连接器面板808可以包括有线和/或无线接口以用于将XR头戴式受话器920可操作地连接到跟踪子系统830和/或计算机子系统820。

控制面板816可以提供控制手术机器人4的操作和/或提供来自手术机器人4的信息以供操作者观察的各种按钮或指示器。例如，控制面板816可以包括用于打开或关闭手术机器人4、提升或降低竖直柱16以及提升或降低稳定器855-858的按钮，所述稳定器可以被设计成接合脚轮12以锁定手术机器人4而不物理上移动。其它按钮可以在发生紧急情况时停止手术机器人4，这可以移除所有马达功率并应用机械制动器来停止所有运动发生。控制面板816还可以具有通知操作者某些系统情况的指示器(如线路功率指示器)或电池806的充电状态。根据一些实施例，一个或多个XR头戴式受话器920可以例如通过连接器面板808通信，以控制手术机器人4的操作和/或接收并显示由手术机器人4生成的信息以供佩戴XR头戴式受话器920的人员观察。

计算机子系统820的计算机822包括用于操作手术机器人4的指定功能的操作系统和软件。计算机822可以接收并处理来自其它组件(例如，跟踪子系统830、平台子系统802和/或运动控制子系统840)的信息，以便向操作者显示信息。进一步地，计算机子系统820可以通过扬声器826为操作者提供输出。扬声器可以是所述手术机器人的一部分、XR头戴式受话器920的一部分，或在手术系统2的另一个组件内。显示器824可以对应于图1和2所示出的显示器34。

跟踪子系统830可以包括方位传感器832和摄像机转换器834。跟踪子系统830可以对应于图3的摄像机跟踪系统组件6。DRA跟踪摄像机870与方位传感器832一起操作，以确定DRA 52的姿势。可以以与本公开一致的方式进行这种跟踪，所述跟踪包括使用分别跟踪DRA52的有源元件或无源元件的位置的红外光或可见光技术，如LED或反射标记。

跟踪子系统830和计算机子系统820的功能操作可以包括在可以由图3A和3B的摄像机跟踪系统组件6′来运输的计算机平台910中。跟踪子系统830可以被配置成确定姿势，例如所跟踪的DRA的位置和角度定向。计算机平台910还可以包括导览控制器，所述导览控制器被配置成使用所确定的姿势来向用户提供引导它们在有计划的手术程序期间相对于方位配准的患者图像和/或所跟踪的解剖结构移动所跟踪的工具的导览信息。计算机平台910可以在图3B和3C的显示器上和/或向一个或多个XR头戴式受话器920显示信息。当与手术机器人一起使用时，计算机平台910可以被配置成与计算机子系统820和图8的其它子系统通信以控制末端执行器26的移动。例如，如将在下面解释的，计算机平台910可以生成患者的解剖结构、手术工具、用户的手等的图形表示，其具有基于一个或多个所跟踪的DRA的所确定的姿势进行控制的所显示的大小、形状、颜色和/或姿势，并且所显示的图形表示可以被动态修改以跟踪所确定的姿势随时间的变化。

运动控制子系统840可以被配置成物理地移动竖直柱16、上部臂18、下部臂20，或旋转末端执行器联接器22。可以通过使用一个或多个马达850至854来进行物理移动。例如，马达850可以被配置成竖直提升或降低竖直柱16。如图2所示出的，马达851可以被配置成围绕与竖直柱16的接合点侧向移动上部臂18。如图2所示出的，马达852可以被配置成围绕与上部臂18的接合点侧向移动下部臂20。马达853和854可以被配置成移动末端执行器联接器22，以提供沿三维轴线的平移移动和围绕其的旋转。图9所示出的计算机平台910可以向控制器846提供引导末端执行器联接器22的移动的控制输入，以相对于在有计划的手术程序期间要对其进行操作的解剖结构以有计划的姿势(即，相对于定义的3D正交参考轴线的位置和角度定向)定位连接到其的被动末端执行器。运动控制子系统840可以被配置成使用集成的方位传感器(例如，编码器)来测量末端执行器联接器22和/或末端执行器26的方位。

图9绘示了根据本公开的一些实施例的手术系统的组件的框图，所述手术系统包括连接到可以可操作地连接到摄像机跟踪系统组件6(图3A)或6′(图3B、图3C)和/或手术机器人4的计算机平台910的成像装置(例如，C形臂104、O形臂106等)。可替代地，本文所公开的由计算机平台910执行的至少一些操作可以另外地或可替代地由手术系统的组件来执行。

参考图9，计算机平台910包括显示器912、至少一个处理器电路914(为简洁起见也被称为处理器)、含有计算机可读程序代码918的至少一个存储器电路916(为简洁起见也被称为存储器)和至少一个网络接口902(为简洁起见也被称为网络接口)。显示器912可以是根据本公开的一些实施例的XR头戴式受话器920的一部分。网络接口902可以被配置成连接到图10中的C形臂成像装置104、图11中的O形臂成像装置106、另一个医学成像装置、含有患者医学图像的图像数据库950、手术机器人4的组件和/或其它电子设备。

当与手术机器人4一起使用时，显示器912可以对应于图2的显示器34和/或图8的平板电脑890和/或可操作地连接到手术机器人4的XR头戴式受话器920，网络接口902可以对应于图8的平台网络接口812，并且处理器914可以对应于图8的计算机822。XR头戴式受话器920的网络接口902可以被配置成根据一种或多种无线通信协议(例如，WLAN、3GPP4G和/或5G(新无线电)蜂窝通信标准等)通过有线网络(例如，细线以太网)和/或通过无线RF收发器链路通信。

处理器914可以包括一个或多个数据处理电路，如通用和/或专用处理器，例如微处理器和/或数字信号处理器。处理器914被配置成执行存储器916中的计算机可读程序代码918以执行操作，所述操作可以包括本文中描述为针对手术计划、导览手术和/或机器人手术执行的操作中的一些或所有操作。

计算机平台910可以被配置成提供手术计划功能。处理器914可以操作以在显示装置912上和/或XR头戴式受话器920上显示通过网络接口920从成像装置104和106之一和/或从图像数据库950接收的解剖结构(例如，椎骨)的图像。处理器914接收操作者对在一个或多个图像中示出的解剖结构要进行手术程序(例如，螺钉放置)的位置的定义，如通过操作者触摸选择显示器912上用于有计划的手术程序的位置或使用基于鼠标的光标来定义用于有计划的手术程序的位置。如将在下面进一步详细解释的，当在XR头戴式受话器920中显示图像时，所述XR头戴式受话器可以被配置成感测由佩戴者形成的基于手势的命令和/或感测由佩戴者说出的基于语音的命令，所述命令可以用于控制菜单项之间的选择和/或控制如何在XR头戴式受话器920上显示对象。

计算机平台910可以被配置成能够进行对膝关节手术可能特别有用的解剖测量，类似于对确定臀部中心、角度中心、天然标志(例如，股骨通髁线(transepicondylarline)、白侧线(Whitesides line)、股骨后髁线(posterior condylar line)等)等的各个角度的测量。一些测量可以是自动的，但是其它的一些测量可能涉及人为输入或辅助。计算机平台910可以被配置成允许操作者输入对患者来说正确的植入物的选择，包括大小和对齐的选择。计算机平台910可以被配置成对CT图像或其它医学图像进行自动或半自动(涉及人为输入)分割(图像处理)。患者的手术计划可以存储在可以对应于数据库950的基于云的服务器中，以供手术机器人4检索。

例如，在矫形手术期间，外科医生可以通过例如XR头戴式受话器920使用计算机屏幕(例如，触摸屏)或扩展现实(XR)交互(例如，基于手势的命令和/或基于语音的命令)来选择要进行切割的部位(例如，后股骨、胫骨近端等)。计算机平台910可以生成向外科医生提供视觉引导以执行手术程序的导览信息。当与手术机器人4一起使用时，计算机平台910可以提供允许手术机器人4自动将末端执行器26移动到目标姿势使得手术工具与目标位置对齐以对解剖结构进行手术程序的引导。

在一些实施例中，手术系统900可以使用两个DRA来跟踪患者解剖方位，如连接到患者胫骨的DRA和连接到患者股骨的DRA。系统900可以使用标准导览仪器以进行配准和检查(例如，类似于Globus ExcelsiusGPS系统中用于进行脊柱手术的指针的指针)。

导览手术中的特别具有挑战性的任务是如何计划植入物在脊柱、膝盖和其它解剖结构中的方位，在所述方位处，外科医生努力在计算机屏幕上执行所述任务，其是3D解剖结构的2D表示。系统900可以通过使用XR头戴式受话器920来显示解剖结构和候选植入装置的三维(3D)计算机生成的表示来解决这个问题。在计算机平台910的引导下，计算机生成的表示相对于彼此在显示屏上缩放并摆姿势，并且可以由外科医生在通过XR头戴式受话器920进行观看时对其进行操纵。外科医生可以例如使用由XR头戴式受话器920感测到的基于手势的命令和/或基于语音的命令来操纵解剖结构、植入物、手术工具等的所显示的计算机生成的表示。

例如，外科医生可以观看虚拟植入物上的所显示的虚拟手柄，并且可以操纵(例如，抓握和移动)虚拟手柄以将虚拟植入物移动到期望的姿势并且相对于解剖结构的图形表示调整有计划的植入物放置。之后，在手术期间，计算机平台910可以通过XR头戴式受话器920显示有助于外科医生更加准确地遵循手术计划来插入植入物和/或对解剖结构进行另一个手术程序的能力的导览信息。当手术程序涉及骨骼移除时，骨骼移除的进展(例如，切割深度)可以通过XR头戴式受话器920实时显示。可以通过XR头戴式受话器920显示的其它特征可以包括但不限于沿关节运动范围的间隙或韧带平衡、植入物上的沿关节运动范围的接触线、通过颜色或其它图形渲染的韧带张力和/或松弛度等。

在一些实施例中，计算机平台910可以允许计划标准手术工具和/或植入物的使用，例如后稳定型植入物和十字状保留型植入物、骨水泥型和非骨水泥型植入物、用于与例如全膝关节或部分膝关节和/或髋关节置换和/或创伤相关的手术的修正系统。

自动成像系统可以与计算机平台910结合使用，以获取解剖结构的术前、术中、术后和/或实时图像数据。图10和图11绘示了示例自动成像系统。在一些实施例中，自动成像系统是C形臂104(图10)成像装置或O形臂

将C形臂安装成使得臂能够在两个自由度上旋转移动(即，在球形运动中围绕两个垂直轴线)。C形臂可滑动地安装到X射线支撑结构上，这允许C形臂围绕其曲率中心进行轨道旋转移动，这可以允许X射线源114和图像接收器116选择性的竖直和/或水平定向。C形臂还可以是侧向上可旋转的(即，在相对于轨道运行方向的垂直方向上，以使得能够相对于患者的宽度和长度选择性地调整X射线源114和图像接收器116的定位)。C形臂设备的球形旋转方面允许医生以相对于被成像的特定解剖条件确定的最佳角度对患者进行X射线检查。

图11中绘示的O形臂

带有台架壳体124的O形臂

由成像系统捕获到的图像可以显示于XR头戴式受话器920和/或手术系统900的计算机平台910、手术机器人4和/或另一个组件的另一个显示装置上。XR头戴式受话器920可以例如通过计算机平台910连接到成像装置104和/或106中的一个或多个成像装置和/或图像数据库950，以从其中显示图像。用户可以通过XR头戴式受话器920提供控制输入(例如，基于手势和/或语音的命令)以控制成像装置104和/或106中的一个或多个成像装置和/或图像数据库950的操作。

图12绘示了包括一对XR头戴式受话器1200和1210(头戴式显示器HMD1和HMD2)的手术系统的组件的框图视图，所述XR头戴式受话器可以对应于图13中所示出的XR头戴式受话器920并且根据本公开的一些实施例进行操作。

参考图12的示例性场景，助理612和外科医生610两者分别佩戴XR头戴式受话器1210和1210。助理612佩戴XR头戴式受话器1210是任选的。如将在下面进一步描述，XR头戴式受话器1200和1210被配置成提供佩戴者可以通过其观看与手术程序有关的信息并与所述信息交互的交互式环境。这种基于交互式XR的环境可以消除对在手术室中存在技术员614的需要，并且可以消除对使用图6所示出的显示器34的需要。每个XR头戴式受话器1200和1210可以包括被配置成提供跟踪DRA或附接到仪器、解剖结构、末端执行器26和/或其它设备的其它参考阵列的另外的源的一个或多个摄像机。在图12的实例中，XR头戴式受话器1200具有用于跟踪DRA和其它对象的视场(FOV)1202，XR头戴式受话器1210具有用于跟踪DRA和其它对象的与FOV 1202部分重叠的FOV 1212，并且导览摄像机46具有用于跟踪DRA和其它对象的与FOV 1202和1212部分重叠的另一个FOV 600。

如果阻碍一个或多个摄像机观看附接到所跟踪的对象(例如，手术仪器)的DRA，但是DRA在一个或多个其它摄像机的视图中，则跟踪子系统830和/或导览控制器828可以继续无缝地跟踪对象，而不会失去导览。另外地，如果从一台摄像机的角度来看DRA被部分遮挡，但是整个DRA通过多个摄像机源是可见的，则可以合并摄像机的跟踪输入以继续对DRA进行导览。XR头戴式受话器中的一个和/或导览摄像机46可以查看和跟踪XR头戴式受话器中的另一个上的DRA以使得计算机平台910(图9和图14)、跟踪子系统830和/或另一计算组件能够确定DRA相对于例如XR头戴式受话器1200/1210，导览摄像机46和/或为患者、桌子和/或房间定义的另一坐标系的一个或多个定义的坐标系的姿势。

XR头戴式受话器1200和1210可以可操作地连接以观看从手术室接收的视频、图片和/或其它信息和/或提供控制手术室中的各种设备(包括但不限于神经监测、显微镜、摄像机和麻醉系统)的命令。可以在头戴式受话器内处理和显示来自各种设备的数据，例如显示患者的生命体征或显微镜馈送。

示例性XR头戴式受话器组件和与导览手术、手术机器人和其它设备的集成

图13绘示了根据本公开的一些实施例配置的XR头戴式受话器920。XR头戴式受话器包括被配置成将XR头戴式受话器固定到佩戴者头部的头带1306、由头带1306支撑的电子组件外壳1304，以及从电子组件外壳1304横向延伸并向下的显示屏1302。显示屏1302可以是透视LCD显示装置或将由显示装置投影的图像朝向佩戴者的眼睛反射的半反射透镜。一组DRA基准例如点，以间隔开的已知方式被绘制或附着在头戴式受话器的一侧或两侧。头戴式受话器上的DRA使辅助跟踪棒上的导览摄像机能够跟踪头戴式受话器920的姿势和/或使另一XR头戴式受话器能够跟踪头戴式受话器920的姿势。

显示屏1302作为将来自显示装置的显示面板的光朝向用户的眼睛反射的透视显示屏(也被称为组合器)进行操作。显示面板可以定位于电组件外壳与用户的头部之间，并且成一定角度以将虚拟内容朝向显示屏1302投影以朝向用户的眼睛反射。显示屏1302是半透明和半反射的，从而允许用户看到覆盖在真实世界场景的用户视图上的所反射的虚拟内容。显示屏1302可以具有不同的不透明度区域，例如所绘示的上部侧带具有比下部侧带更高的不透明度。可以电子地控制显示屏1302的不透明度，以调节来自真实世界场景的多少光穿过用户的眼睛。显示屏1302的高不透明度配置使得高对比度虚拟图像覆盖在真实世界场景的昏暗视图上。显示屏1302的低不透明度配置可以使得更模糊的虚拟图像覆盖在真实世界场景的较清楚视图上。不透明度可以通过在显示屏1302的表面上施加不透明材料来控制。

根据一些实施例，手术系统包括XR头戴式受话器920和XR头戴式受话器控制器，例如图14中的控制器1430或图15中的控制器1430。XR头戴式受话器920被配置成在手术程序期间由用户佩戴并且具有透视显示屏1302，所述透视显示屏被配置成显示XR图像并且允许真实世界场景的至少一部分穿过其中以供用户观看。XR头戴式受话器920还包括不透明度滤光器，所述不透明度滤光器在透视显示屏1302供用户观看时定位于用户的眼睛中的至少一只眼睛与真实世界场景之间。所述不透明度滤光器被配置成向来自所述真实世界场景的光提供不透明性。所述XR头戴式受话器控制器被配置成与导览控制器(例如，图14中的一个或多个控制器828A、828B和/或828C)通信以接收来自导览控制器的在对解剖结构进行的手术程序期间向所述用户提供引导的导览信息，并且被进一步配置成基于导览信息生成XR图像以在透视显示屏1302上显示。

显示屏1302的不透明度可以被配置成随着距离从显示屏1302的顶部向下而具有更连续变化的不透明度的梯度。梯度的最暗点可以位于显示屏1302的顶部部分处，并在显示屏1302上进一步向下逐渐变得较不透明，直到不透明度透明或不存在于为止。在另外的示例性实施例中，梯度可以大约在显示屏1302的中眼水平处从约90％不透明度改变成完全透明。在正确校准并放置头戴式受话器的情况下，中眼水平可以对应于用户将会直视的点，并且梯度的末端将定位于眼睛的“水平”线。梯度的较暗部分将允许虚拟内容的清晰明确的视觉并且有助于阻挡高架手术室灯的侵入亮度。

以这种方式使用不透明度滤光器使得XR头戴式受话器920能够通过基本上或完全阻挡来自真实世界场景的光沿显示屏1302的上部部分来提供虚拟真实(VR)功能并沿着显示屏1302的中间或下部部分提供AR功能。这允许用户在有需要并且在程序期间允许对患者解剖使用明确光学器件的位置具有半透明的AR。将不透明度滤光器1302配置为梯度而不是更恒定的不透明度带可以使佩戴者在更VR类型的视图与更AR类型的视图之间体验更自然的过渡，而不会体验真实世界场景的亮度以及可以如在上下视图之间进行更快速的移位期间以其它方式使眼睛疲劳的景深的突变。

显示面板和显示屏1302可以被配置成提供宽视场透视XR显示系统。在一个示例配置中，它们为用户提供了80°对角线视场(FOV)和55°竖直覆盖范围以供用户观看虚拟内容。其它对角线FOV角度和竖直覆盖范围角可以通过不同大小的显示面板、不同曲率的透镜和/或显示面板与弯曲的显示屏1302之间的不同距离和角度定向来提供。在一些实施例中，具有宽视场的XR头戴式受话器允许XR头戴式受话器向用户显示真实世界配准XR图像，而用户的视场不以与真实世界配准XR图像相关联的真实世界坐标为中心。

图14绘示了根据本公开的一些实施例的XR头戴式受话器920的电组件，所述XR头戴式受话器可以可操作地连接到计算机平台910、成像装置中的一个或多个成像装置(如C形臂成像装置104、O形臂成像装置106)和/图像数据库950和/或手术机器人800。

XR头戴式受话器920提供用于执行导览手术程序的改进的人机界面。XR头戴式受话器920可以被配置成例如经由计算机平台910提供功能，所述功能包括但不限于以下任何一个或多个：基于手势的命令和/或基于语音的命令的识别，在显示装置1450上显示XR图形对象。显示装置1450可以是将所显示的XR图形对象投影到显示屏1302上的视频投影仪、平板显示器等。用户可以将XR图形对象作为锚定到通过显示屏1302观看的特定真实世界对象的覆盖图(图13)。XR头戴式受话器920可以另外地或可替代地配置为在显示屏1450上显示来自安装到一个或多个XR头戴式受话器920和其它摄像机的摄像机的视频馈送。

XR头戴式受话器920的电组件可以包括多个摄像机1440、麦克风1442、手势传感器1444、姿势传感器(例如，惯性测量单元(IMU))1446、含有显示装置1450的显示模块1448，和无线/有线通信接口1452。如下所述，XR头戴式受话器的摄像机1440可以是可见光捕获摄像机、近红外捕获摄像机或两者的组合。

摄像机1440可以被配置成通过捕获用于识别在摄像机1440的视场内执行的用户手势来作为手势传感器1444进行操作。可替代地，手势传感器1444可以是感测接近手势传感器1444执行的手势和/或感测物理接触(例如，轻敲传感器或外壳1304)的接近度传感器和/或触摸传感器。姿势传感器1446(例如，IMU)可以包括多轴加速度计、倾斜传感器和/或可以感测XR头戴式受话器920沿一个或多个定义的坐标轴的旋转和/或加速度的另一个传感器。这些电组件中的一些或全部电组件可以含有在组件外壳1304中或可以含有在被配置成在其它地方(如在臀部或肩膀上)佩戴的另一个外壳中。

如上所述，手术系统2包括可以是计算机平台910的一部分的摄像机跟踪系统组件6/6′和跟踪子系统830。手术系统可包括成像装置(例如C形臂104，O形臂106和/或图像数据库950)和/或手术机器人4。跟踪子系统830被配置成确定附接到解剖结构、末端执行器、手术工具等的DRA的姿势。导览控制器828被配置成基于手术计划确定手术工具相对于解剖结构的目标姿势，例如，根据由图9的计算机平台910执行的手术计划功能，基于由跟踪子系统830确定的解剖结构的姿势、定义在解剖结构上使用手术工具执行手术程序的位置。导览控制器828可以被进一步配置为基于手术工具的目标姿势、解剖结构的姿势以及手术工具和/或末端执行器的姿势来生成转向信息，其中转向信息指示手术机器人的手术工具和/或末端执行器应当被移动到何处以执行手术计划。

XR头戴式受话器920的电组件可以通过有线/无线接口1452可操作地连接到计算机平台910的电组件。XR头戴式受话器920的电组件可以例如通过计算机平台910可操作地连接或通过有线/无线接口1452直接连接到各种成像装置(例如，C形臂成像装置104、I/O形臂成像装置106)、图像数据库950和/或其它医疗设备。

手术系统2还包括至少一个XR头戴式受话器控制器1430(为简洁起见也称为“XR头戴式受话器控制器”)，所述XR头戴式受话器控制器1430可以驻留在XR头戴式受话器920、计算机平台910和/或经由有线电缆和/或无线通信链路连接的另一系统组件中。各种功能由XR头戴式受话器控制器1430执行的软件提供。XR头戴式受话器控制器1430被配置成接收来自导览控制器828的在对解剖结构进行的手术程序期间向用户提供引导的导览信息，并且被配置成基于在显示装置1450上显示的导览信息生成XR图像，以在透视显示屏1302上投影。

显示装置1450相对于显示屏(也称为“透视显示屏”)1302的配置被配置成以这样的方式显示XR图像：使得当佩戴XR头戴式受话器920的用户透过显示屏1302观看时，XR图像看起来在真实世界中。显示屏1302可以通过头带1306定位在用户眼睛的前面。

XR头戴式受话器控制器1430可以在被配置成在观看显示屏1302时佩戴在用户头部或用户身体上的其它部位上的壳体内，或可以在通信连接到显示屏1302时远离观看显示屏1302的用户定位。XR头戴式受话器控制器1430可以被配置成可操作地处理来自摄像机1440、麦克风142和/或姿势传感器1446的信令，并且例如通过显示模块1302连接以在显示屏1450上显示XR图像。因此，被绘示为XR头戴式受话器920内的电路块的XR头戴式受话器控制器1430、被理解为可操作地连接到XR头戴式受话器920的其它所绘示组件，但不一定驻留在公共壳体(例如，图1304的电组件外壳13)内或以其它方式可由用户携带。例如，XR头戴式受话器控制器1430可以驻留在计算机平台910内，所述计算机平台进而可以驻留在图3B和图3C所示出的计算机跟踪系统6′的壳体内。

通过XR头戴式受话器的示例性用户视图

XR头戴式受话器操作可以在显示屏1302上显示2D图像和3D模型。2D图像可以优选地在显示屏1302(上部带)的较不透明的带中显示，并且3D模型可以更优选地在以其它方式被称为环境区域(底部带)的显示屏1302的较透明的带中显示。在显示屏1302结束处的下部带下方，佩戴者可以无阻碍地看到手术室。注意，在显示屏1302上显示的XR内容可以是流体。3D内容可能会取决于头戴式受话器相对于内容的方位而移动到不透明带，并且2D内容可以被放置在透明带中并相对于真实世界稳定。另外地，整个显示屏1302在电控制下可以变暗，以将头戴式受话器转换成用于手术计划的虚拟真实或在医疗程序期间完全透明。如上文所解释的，XR头戴式受话器920和相关联操作不仅支持导览程序，而且可以与机器人辅助程序结合执行。

图16示出了根据本公开的一些实施例的、通过XR头戴式受话器920的显示屏1302的示例性视图，所述视图用于向在医疗程序期间操纵手术工具1602的用户提供导览辅助。参考图16，当将手术工具1602带到所跟踪的解剖结构附近使得连接到手术工具1602的参考阵列1630和1632在摄像机1440(图15)和46(图6)的视场内时，工具的图形表示1600可以相对于解剖结构的图形表示1610以2D和/或3D图像显示。用户可以使用所观看的图形表示来调整手术工具1602的轨迹1620，所述轨迹1620可以绘示为从工具的图形表示2000延伸通过解剖结构的图形表示1610。XR头戴式受话器920还可以显示文本信息和其它对象1640。在所观看的显示屏上延伸的虚线1650表示不同不透明度水平上部带和下部带之间的示例性划分。

可以在显示屏1302上显示的其它类型的XR图像(虚拟内容)可以包括但不限于以下的任何一个或多个：

I)患者解剖的2D轴向、矢状和/或冠状视图；

2)有计划的工具和手术植入物位置对当前跟踪的工具和手术植入物位置的覆盖图；

3)术前图像库；

4)来自显微镜和其它类似系统的视频馈送或远程视频会议；

5)选项和配置设置以及按钮。

6)具有手术计划信息的患者解剖的浮动3D模型；

7)相对于浮动患者解剖的手术仪器的实时跟踪；

8)具有指令和引导的患者解剖的增强覆盖图；以及

9)手术设备的增强覆盖图。

用于跟踪系统组件的摄像机的示例性配置

图17绘示了根据本公开的一些实施例配置的具有两对立体导览摄像机的辅助跟踪棒46的示例性配置；辅助跟踪棒46是图3A、图3B和图3C的摄像机跟踪系统组件的一部分。根据一个实施例，立体导览摄像机包括一对立体的间隔开的可见光捕获摄像机和另一对立体的间隔开的近红外捕获摄像机。可替换地，在辅助跟踪棒46中可以只使用一对可见光捕获摄像机或者只使用一对近红外捕获摄像机。可以使用任何多个近红外和/或可见光摄像机。

姿势测量链

如上所述，导览手术可以包括计算机视觉跟踪和确定外科仪器的姿势(例如，在六自由度坐标系中的方位和定向)，例如通过确定包括以已知方式布置的间隔开的基准，例如盘或球体的附接的DRA的姿势。计算机视觉使用被配置成捕获近红外和/或可见光的间隔开的导览摄像机，例如立体摄像机。在这种场景下，有三个参数共同竞争优化：(1)精度、(2)稳健性和(3)手术程序期间的用户人机工程学。

本公开的一些进一步的方面涉及计算机操作，所述计算机操作通过结合安装到一个或多个XR头戴式受话器的附加导览摄像机，以能够改善上述三个参数中的一个或多个的优化的方式组合(链)测量姿势。如图17所示，根据本公开的一些实施例，可以将一对立体可见光跟踪摄像机和另一对立体近红外跟踪导览摄像机附接到摄像机跟踪系统组件的辅助跟踪棒。公开了操作算法，其分析被完全观察或部分观察的DRA的姿势(例如，当通过一对立体摄像机观察不到DRA的所有基准时)，并且以能够在导览手术期间提高精度、稳健性和/或人体工程学的方式组合观察到的姿势或部分姿势。

如上所述，XR头戴式受话器可以被配置成利用计算机生成的XR图像来增强真实世界场景。XR头戴式受话器可以被配置成通过在透视显示屏上显示计算机生成的XR图像来提供XR观看环境，所述透视显示屏允许来自真实世界场景的光穿过其中以供用户组合观看。可替代地，XR头戴式受话器可以被配置成通过防止或基本上防止来自真实世界场景的光被用户沿着所显示的XR图像的观看路径直接观看来提供VR观看环境。XR头戴式受话器可以被配置成提供AR和VR观看环境。在一个实施例中，AR和VR观看环境都由布置在透视显示屏和真实世界场景之间的不透明度基本上不同的横向带提供，从而为与高不透明度带对准的XR图像提供VR观看环境，并且为与低不透明度带对准的XR图像提供AR观看环境。在另一个实施例中，AR和VR观看环境都由计算机可调节的不透明度滤光器的控制来提供，所述不透明度滤光器可变地约束来自真实世界场景的多少光穿过透视显示屏以便与用户观看的XR图像组合。因此，XR头戴式受话器也可以被称为AR头戴式受话器或VR头戴式受话器。

同样如上所述，XR头戴式受话器可以包括近红外跟踪摄像机和/或可见光跟踪摄像机，所述近红外跟踪摄像机和/或可见光跟踪摄像机被配置成跟踪连接到手术仪器、患者解剖结构、其它XR头戴式受话器和/或机器人末端执行器的DRA的基准。在XR头戴式受话器上使用近红外跟踪和/或可见光跟踪提供了超出单个辅助跟踪棒上的摄像机所能提供的附加的跟踪体积覆盖。将近红外跟踪摄像机添加到现有的辅助跟踪棒允许比在可见光中更稳健但更不准确地跟踪头戴式受话器位置。机械校准可见和近红外跟踪坐标系使得坐标系能够充分对准，以使用立体匹配来执行3D DRA基准三角测量操作，从而共同识别可见和近红外跟踪坐标系之间的DRA基准的姿势。使用可见和近红外跟踪坐标系可以启用以下任何一个或多个：(a)识别使用单一坐标系无法识别的工具；(b)提高姿势跟踪精度；(c)在不失去对手术仪器、患者解剖结构和/或机器人末端执行器的跟踪的情况下实现更宽范围的运动；以及(d)在与被导览的手术仪器相同的坐标系中自然地跟踪XR头戴式受话器。

在真实世界坐标系中基于XR头戴式受话器的姿势生成XR图像

现在参考图18至图26的示例性实施例描述在医疗程序期间可以由手术系统2执行以通过XR头戴式受话器为手术工具提供导览辅助的各种操作。

对于导览手术，一些外科医生使用涉及对患者解剖结构进行多次扫描并使用2D屏幕上表示的图像来将他们的工具导览到正确的方位和定向的技术。手术工具可以被跟踪并显示为扫描图像上的覆盖图，从而允许外科医生以工具跟踪系统所允许的精度看到工具相对于解剖结构的方位和定向(也称为姿势)，而不需要物理地暴露患者的解剖结构(即，通过微创手术(“MIS”))。此过程可以允许微创手术，然而，这些技术会带来另外的困难。

在一些实例中，徒手和机器人导览手术可能需要与2D显示器(例如计算机监视器)交互。所述显示器可用于观察扫描的患者图像、计划植入物放置，以及在机器人导览手术的情况下控制机器人。无菌盖布可以放置在触摸屏监视器或计算机鼠标接口上，防止精确和平滑的物理控制。此外，如果在看患者时监视器在外科医生的视场之外，为了观察图像，外科医生可能被迫重复地把目光从手术部位移开。

在另外的或替代的实例中，导览工具可以使用来自扫描的2D拼接图像来显示，诸如轴向和矢状视图。然而，同时导览几个2D图像对于新的外科医生来说可能是不直观的并且难以学习。尽管过程可以使用CT和X射线扫描来创建所扫描的解剖结构的重建并且生成计算机化的3D模型，但是使用2D显示来导览、查看和操纵3D模型可能是不切实际的。

在手术设置中使用XR显示器可以允许在真实世界上以3D显示患者信息。然而，在手术导览的情况下显示XR内容提出了另外的挑战。例如，当使用大视场XR显示器时，晕动病是常见问题，但是可以通过仔细计划用户界面来使这个问题最小化。已知大范围的头部配准内容是晕动病的常见原因，且可通过使用如本文中的各个实施例中所描述的世界配准或对象配准内容来避免。

此外，如图18至图22所示，通过XR头戴式受话器使用患者配准替代真实(AR)内容本质上易于出现姿势误差。除了由工具跟踪产生的误差(当前手术显示的最重要的误差源之一)之外，还可以由跟踪XR头戴式受话器、头戴式受话器光学器件的校准以及头戴式受话器相对于外科医生视线的姿势引入误差。如果没有跟踪视觉遮挡的情况下，成像可能不能适当地遮挡显示器后面的物体，并且可能干扰外科医生对手术部位的视觉。此外，如果患者解剖结构未被暴露或被XR内容遮挡，则成像中的误差可能不是立即明显的，这可能导致外科医生过度依赖不正确的信息。

图18绘示了2D屏的实例，外科医生可以参考所述2D屏以在手术程序期间帮助定位工具和/或植入物。图19绘示了与图18相关联的实际手术程序的实例。通过跟踪物理工具相对于患者的位置，外科医生的工具的位置可以相对于扫描成像显示。显示器可以绘示工具1810的显示位置和在位置1820的植入物的理想位置。然而，跟踪可能不是完美的，并且由这种不完美引入的误差可能导致工具的显示位置移位。在图18至图19的实例中，工具实际上可以处于相对于解剖结构的位置1850处，并且所得到的植入物可以处于相对于解剖结构的位置1860处。如果工具跟踪给出的姿势不正确达误差偏移1890，显示器1810中的工具将相对于实际工具位置1850偏移误差偏移1890。因为外科医生使用偏移显示器来将他们的仪器引导到植入位置，所以植入物将从它本应理想地在外科医生的计划中出现的位置被稍微放错位置达误差偏移1890。

图20至图22示出了可在图18至19的同一手术程序期间使用的XR图像的实例以及相应手术程序的另一视图。使用XR显示器导览手术仍然需要工具跟踪，这产生了误差偏移1890。然而，诸如跟踪XR头戴式受话器和校准XR显示器中的误差之类的其它误差源累积地产生由XR显示偏移误差2092表示的另一相当大的偏移。当观看患者配准或解剖结构配准XR内容时，XR显示偏移误差2092使得XR内容2070从解剖结构的实际位置2030可视地移位。XR内容阻碍外科医生对患者的观察，因此他们将他们的仪器放置在相对于XR内容的真实位置2110。另外，基于被跟踪的工具位置提供指导，所以理想的植入位置与实际的所得到的植入位置之间的总差值可以与误差偏移1890和XR显示偏移误差2092的和一样多

如果使用世界配准XR内容，如这里所公开的，XR显示偏移误差2092仍然存在。然而，因为XR内容与患者分离并且不阻碍外科医生的观察，所以XR显示偏移误差2092不影响外科医生的工具放置或相对于扫描解剖结构的引导显示。相反，理想植入位置1820和所得到的植入位置1860之间的差异限于误差偏移1890，与当前的手术导览显示方法相同。

这里描述的各种实施例使用如图23所示的XR显示器的3D重建解剖模型视图。不是以头部配准或患者配准的方式提供导览和交互，而是相对于“浮动”在患者上方的患者解剖结构2320的世界配准3D模型来示出信息。将XR显示器2310与跟踪手部移动的能力相结合增加了另一交互性级别。除了显示虚拟工具2333和相对于虚拟患者解剖结构2320的虚拟植入物位置之外，XR 3D解剖结构视图可以是交互式的并且用于控制手术机器人。

在图23中，外科医生22390使用3D解剖视图在脊柱手术期间导览，从使用XR头戴式受话器的另一个人跨越手术台的视角绘示。患者2380已经被扫描并且图像已经被用于构建脊柱2320的3D模型，如XR区域2310所示。手术计划规定了理想的工具位置，所述位置显示在浮动模型中。外科医生的工具2335的3D模型表示也显示为虚拟工具2333相对于脊柱模型2320，其基于真实世界工具2335在真实世界植入物位置2322处的跟踪的物理位置。真实世界XR图像可以包括虚拟引导2330，所述虚拟引导2330指示虚拟工具2333相对于虚拟解剖结构2320的期望位置。

在从患者采集医学成像之后，可以创建3D模型重建。在XR显示器的用户界面中呈现此模型。如XR所示，所述模型是世界配准的(意味着当显示器的佩戴者移动他们的头部时，所述模型保持在适当位置)，并且默认地大致位于患者上方半米处。将手部跟踪与XR系统融合允许用户使用他们的手和执行手势来与3D模型交互。这种级别的交互允许模型用作计划、导览和跨平台硬件控制的控制接口。以下是用于与解剖视图交互的可能应用的一些实例。

在一些实施例中，外科医生可与解剖视图交互以确定稳定选项。稳定选项可以包括视图是患者稳定的(当患者移动时内容移动)还是世界稳定的(如果患者移动则内容保持静止)。

在另外的或替代的实施例中，外科医生可以与解剖视图交互以确定视图调节。例如，图24至图25绘示了外科医生可以使用他们的手来旋转模型以从其它角度获得更好的视图或者展开模型以更详细地看到而不倾斜。

在另外的或替代的实施例中，外科医生可以与解剖视图交互以确定植入物的放置。除了现有的2D切片视图和由GPS和类似软件提供的操纵之外，可以以3D计划或调节手术植入物。

在另外的或替代的实施例中，外科医生可以与解剖视图交互以控制工具导览。所跟踪的手术工具的3D表示在比例和姿势上相对于患者解剖结构显示在显示器中，并且指示器可以引导外科医生如计划中规定的那样校正位置。

在另外的或替代的实施例中，外科医生可以与解剖视图交互以控制手术机器人。例如，图26绘示了在机器人导览手术中，外科医生2390可以使用手势来选择XR 3D解剖视图2310上的单个植入物2610、2620、2626、2630，以引导机器人2690移动到正确放置植入物2612、2622、2632的位置。在此实例中，虚拟植入物2610对应于完成的真实世界植入物2612；虚拟植入物2620对应于当前正定位的真实世界植入物2622，虚拟植入物2630对应于下一个真实世界植入物2632；并且已经被计划为手术程序的一部分的虚拟植入物2626。

在另外的或替代的实施例中，外科医生可以与解剖视图交互以记录或观看手术过程的概观。在一些实例中，如图26所示，外科医生可以使用手势在解剖视图上选择植入物并将其标记为完成，从而给外科医生提供其总体进展的视觉表示。

在另外的或替代的实施例中，外科医生可以与解剖视图交互以选择2D扫描。例如，外科医生可以观看由沿着3D模型的扫描位置组织的2D成像图库，并使用手势来选择它们。

图24至图25绘示了使用手跟踪3D解剖视图可以成为交互式的。外科医生可以使用他们的手来控制和操纵患者解剖结构的视图以更详细地观看模型。在图24中，通过选择视图的一部分，外科医生可以展开此区域。根据上下文，此展开视图可用于计划植入物的放置或更详细地导览手术。在图25中，外科医生能够通过直观的手势旋转展开视图。

图26绘示了外科医生使用他们的手在XR 3D解剖视图中选择下一个计划的植入位置，这向手术机器人发出移动到下一个位置的信号。真实世界XR图像还包括进度覆盖图，所述进度覆盖图指示哪些植入物已经完成、哪些植入部位当前正在操作，以及哪些尚未开始。例如，完成的虚拟植入物可显示为黑色，当前正在操作的虚拟植入物可显示为深灰色，而尚未开始的虚拟植入物可显示为白色。

使用XR 3D解剖结构视图用于导览、计划和作为交互式菜单提供了几个优点。在一些实例中，使用从患者的扫描导出的3D模型而不是通用模型提供可用于手术计划和导览的患者的精确视图。这还意味着可以使用从任何种类的医学成像导出的任何3D模型，因此视图最终可以用于任何类型的手术。可以在手术之前或手术期间生成视图。

在另外的或替代的实施例中，保持内容被世界配准防止世界配准或对象配准的替代真实内容的误差差异影响XR导览手术的准确性。这有效地允许系统依赖于来自工具跟踪的精度，正如它将用于2D监视器显示一样。

在另外的或替代的实施例中，与使用多个2D视图的当前方法相比，由XR提供的沉浸和具有3D视图的能力将允许外科医生以更直观的方式导览，这对于训练新外科医生执行导览手术特别重要。

在另外的或替代的实施例中，使用具有世界稳定或患者稳定跟踪的世界配准内容而不是使用头部配准稳定允许外科医生使用他们的头部来探身以获得模型的更好的视图而不需要手动操纵它。这也允许任何其它观看带有他们自己的XR显示器的手术的人观看外科医生与他们自己的XR显示器的交互，并且减少用户将经历与大的头部稳定/配准的显示器相关的晕动病的机会。

在另外的或替代的实施例中，因为内容是世界配准的而不是患者配准的，所以外科医生可以操纵模型并将其移动到使他们感到舒适的个性化位置，并选择期望的稳定选项。外科医生还可以根据需要使用直观的手势旋转或展开视图本身，并且容易地返回到默认或个性化位置。

在另外的或替代的实施例中，在患者上方，在手术部位的视场内提供3D视图允许外科医生以更舒适的方式查看成像和导览，并防止他们需要远离患者看。在一些实施例中，具有宽视场(例如，图13的弯曲显示屏1302)的XR头戴式受话器允许外科医生在周边视野中保持3D视图。

在另外的或替代的实施例中，因为成像位于手术部位上方，所以从“多人”的角度来看，外科医生可以自由地指向患者解剖结构并向佩戴XR显示器的观察者解释患者解剖结构，其中意外撞击或接触未消毒的表面或患者的机会较低。

在另外的或替代的实施例中，外科医生可以通过单个直观的显示来计划、导览和控制手术机器人，从而显著改进工作流程。

在另外的或替代的实施例中，与XR中的XR 3D解剖视图的交互不需要物理地触摸显示器、减少了无菌担忧并且消除了由与触摸显示器或在其上具有盖布的鼠标/键盘交互引起的困难。

扩展现实仪器交互区

现在参考图27至图32的示例性实施例描述在医疗程序期间可以由手术系统2执行以通过XR头戴式受话器为手术工具提供导览辅助的各种操作。

在一些实施例中，通过将手术工具的运动跟踪与扩展现实中的头部和手跟踪组合，“交互区”可用于隐藏、显示、禁用增强真实UI的元件并与之交互。这些交互区可以是3D跟踪体积的部分，所述3D跟踪体积的部分可以是预定的或在手术期间使用被跟踪的仪器和手跟踪控制来定义的。使用这些交互区，外科医生可以例如定义在手术期间不应当允许指定仪器的区域、禁用或隐藏UI以防止无意的动作、使用手术仪器与UI元件交互，以及忽略来自OR中别处的工具和手的跟踪数据。

在一些实施例中，可以实时地定义交互区。外科医生或医疗专业人员可以相对于患者移动监视标记并查看其在XR头戴式受话器中的位置。可以跟踪和更新此监视标记的位置。可以定义默认框。手跟踪控制可以用于修改位置。微调控制盘也可用于调节锁定位置。头戴式受话器佩戴者可以重复此程序，直到头戴式受话器的佩戴者满意为止，并且稍后再次编辑它。头戴式受话器的佩戴者还将具有交替的手控制，以将锁定位置重新排序到不同的框中。一个锁定点可以是多于一个边界框的一部分，以定义联合交互区。锁定点可以被排序到多个框中以定义多个交互区。可以使用控制来清除此区域。可以利用控制未定义哪些仪器应该与交互区交互。

在另外的或替代的实施例中，可以由软件使用相对测量来预先配置交互区。例如，当手或工具在相对于头部的特定高度之上时，用户界面(“UI”)可以仅出现或允许交互。可以在UI设置中调节默认交互区。一旦定义了区，就可以根据类型和用户设置隐藏、模糊地查看或根据上下文查看这些区。

这里的各种实施例描述了在手术程期间使用交互区。尽管通常单独描述交互区，但是XR头戴式受话器可以显示独立和/或重叠的多个交互区。以下仅是外科医生可以使用的几个实例。

在一些实施例中，交互区可以包括导览区。扩展现实显示器可以允许微创、徒手和机器人导览手术。通过在患者附近创建导览区，可以根据手术计划使用扩展现实中的模型将外科医生引导到适当的方位和取向，或者基于当前的工具轨迹和位置创建新的计划。导览区可以仅允许所述区内的工具被导览并用作在扩展现实中启动导览显示的触发器。这也意味着在导览区之外检测到的工具不需要被精确地或完全地跟踪，这可以改进基于计算机视觉的手术工具跟踪的性能。

图27A至图27B绘示了与真实世界手术程序2752相关联的3D XR解剖结构2750一起使用的导览区的实例。真实世界工具2754存在于真实世界导览区2790内，如图27B所示，而不存在于真实世界导览区2790内。因此，图27A中的XR显示器是计划模式XR图像2710，并且描绘了在计划位置的虚拟计划工具2712。响应于跟踪系统检测到真实世界工具2754位于导览区2790内，计划模式XR图像2710由导览模式XR图像2730代替，如图27B所示。在导览模式XR图像2730中，显示虚拟工具2760，其对应于真实世界工具2754以及虚拟计划工具2712，以帮助移动真实世界工具2754与界定的导览区2710。

在一些实施例中，交互区可以包括过渡区。扩展现实显示器器可能造成显示太多的信息的问题，这在大视场显示器和需要在例如手术台的敏感工作区域中立即采取行动的设置中尤其成问题。外科医生能够在不受UI元件阻碍的情况下工作是很重要的。特定区域可用于在工具或手被带入它中时自动破坏所有UI元件，像故障保险。可以通过从此区域移除被跟踪的项目或通过使用另一区来恢复UI。类似地，过渡区可用于根据上下文显示或隐藏数据，例如前述的导览视图的召唤和当工具被带入手术区域时隐藏计划视图。(导览区可以被认为是专门的过渡区)。

在一些实施例中，交互区包括禁止区。操作环境的某些区域总是清晰可见并且从不具有XR覆盖可能是关键的。当从任何角度看时，禁止区防止UI元件阻碍区的视图。

在一些实施例中，交互区包括警告区。如果手术空间中的某些区域对于被跟踪的手术机器人或手术工具是不受限制的，则可以定义警告区。如果这些仪器中的一个跨越包含交互区的边界框之一，则将发生一个或多个可配置警告事件。当与手术机器人一起使用时，由其运动投影路径创建的警告区可以在扩展现实中显示在3D空间中。当工具、手或被跟踪的头戴式受话器阻碍机器人的投影路径时，也可迫使机器人停止其运动，从而增加另一安全度。如果跨越交互区，将发出的警报或警告的类型也是可配置的。它可以包括在头戴式受话器和监视器中的嘟嘟声、XR遮挡或文本警告。

图28A至图28B示出由外科医生定义的警告区2880。当工具进入图28B的警告区2880时，在XR UI 2890中显示外科医生可以解除的警告2892。

图29A至图29B传达真实世界机器人臂2930和机器人臂2930的未来位置2940以及真实世界机器人臂2930可以沿其移动以到达未来位置的建议路径2932。在图29B中，检测到工具2920移动到建议路径2930中，并且向XR UI 2990添加警告消息2992。另外，当工具进入警告区而机器人处于其运动的中间时，机器人停止或确定到未来位置的新路径。

在一些实施例中，交互区可以包括工具选择区。手术跟踪体积的指定区域可以用于选择哪些工具应该被UI聚焦。通过将工具放置在此区中并且让外科医生确认此工具(通过UI或者甚至通过简单地将他们的头部朝向此工具持续片刻)，外科医生可以选择他们当前使用的工具。然后，扩展现实显示器可以过滤出与当前所选工具无关的工具信息，并基于所选工具的几何结构进行机器人计算。此简单的工具选择区确保外科医生仅接收相关数据并保持扩展现实区域清洁。

在图30A至图30C中绘示了工具选择过程的实例。在图30A中，外科医生将他们的工具3024传递给他们的助理。然而，UI 3090仍然显示此工具3024的数据，并且不显示外科医生的新工具3022。在图30B中，外科医生将新工具3022带入选择区3020，并且等待围绕检查标记的圆圈完成，或者使用手势来确认选择。在图30C中，新工具3022已配准。UI数据3090现在示出了外科医生的工具3022并过滤掉来自另一工具3024的数据。

在一些实施例中，交互区包括UI区。当工具跟踪与扩展现实显示器一起使用时，UI本身可以通过使用工具来改变。手术工具可用作笔以在3D空间中书写笔记、激活UI元件、放置螺钉和其它手术植入物的3D模型、旋转或移动现有3D模型，或改变着色器，以及其它用途。

图31A至图31B示出了利用患者的扫描生成的3D模型3110具有其自己的UI区3190。当外科医生带着工具3120通过此区时，他们能够“剥”离外部着色器，并且改为使2D扫描为截面3150。它们能够从任何角度这样做，作为快速分类解剖结构的不同横截面的方式。

在图32所示的UI区的另一实例中，外科医生创建UI区3290以在手术期间用于无菌笔记记录。手术工具3210在被带入定义的UI区域3290时可用作虚拟笔。工具上的跟踪触发点用于指示何时在单词之间应用“墨水”或“提离”。另外，所述工具可用于选择图像图标3250以触发XR头戴式受话器上的摄像机来记录可与笔记绑定的图像。这些助手可以帮助外科医生构建术后笔记。

交互区是跟踪体积的一部分，可用于触发扩展现实UI变化或发出机器人命令。一些实施例描述了一种用于定义3D交互区的方法，并将其使用归于所述方法。

在一些实施例中，从跟踪体积创建交互区允许XR接口或机器人控制方案中的上下文交互/改变。使用手和工具跟踪允许在无菌环境中以简单的方式定义和修改交互区。交互区可以使用跟踪的手术仪器或手由用户定义，因此在手术室中不需要另外的工具。

在另外的或替代的实施例中，交互区可以由XR软件相对于被跟踪的对象在上下文中定义(例如，在被跟踪的患者参考点附近放置导览区或在机器人末端执行器附近放置警告区)。可以在任何时候修改交互区，例如通过在XR中显示区并使用边缘上的音调点。

在另外的或替代的实施例中，交互区在手术环境中作为安全预防措施是实用的，允许直观的UI使用，并且可以保持UI区域清洁和外科医生对患者的观察清楚。

在一些实施例中，交互区可以具有各种应用，并且交互区的类型确定其行为。例如，导览区允许UI在上下文向用户提供导览指导。它还通过仅针对导览区中的工具优化精度来辅助对象跟踪算法。当被跟踪的对象位于患者体内时，过渡区使得用户能够清楚地看到患者，同时通过暴露、隐藏或改变UI来提供丰富的工具和功能。它们也限制了外科医生在工作时无意中激活UI的可能性。禁止区防止XR用户界面阻碍外科医生对关键区域的观察。警告区向外科医生提供额外的感知水平，避免与患者身体的无意接触，并确保手术机器人的移动路径是畅通的。例如，在徒手手术中，当仪器放置在危险位置时，外科医生几乎没有得到反馈的方式。警告区允许立即、容易地读取反馈。工具选择区确保在跟踪多个工具时保持UI干净。UI区域允许简单、直观地使用UI，允许扩展现实完全实现其手术指导的潜力。

图33是手术系统3300的实例的框图。如图所示，手术系统3300包括XR头戴式受话器3320；计算机平台910；摄像机跟踪系统6、6′；成像装置；以及手术机器人800。计算机平台910包括跟踪子系统830、导览控制器828、XR头戴式受话器控制器3330，以及交互区控制器3390。跟踪子系统830可以基于来自摄像机跟踪系统6、6′的数据来跟踪XR头戴式受话器3320、手术机器人800和其它真实世界元件相对于真实世界坐标系的真实世界姿势。导览控制器828可确定如手术工具的真实世界元件的真实世界姿势与真实世界元件的计划位置之间的差异。XR头戴式受话器控制器3330可以基于XR头戴式受话器的真实世界姿势来生成真实世界XR图像以供XR头戴式受话器显示，使得真实世界XR图像与真实世界坐标系绑定。交互区控制器3390可以确定交互区相对于真实世界坐标系的姿势和类型，并且向XR头戴式受话器控制器3330提供关于交互区的信息，用于确定外科医生何时与交互区交互。在一些实施例中，手术系统可以仅包括这些特征的一部分。例如，手术系统可以包括XR头戴式受话器3320、跟踪子系统830和XR头戴式受话器控制器3330。

图34是由手术系统(例如，手术系统3300)执行的过程的流程图。在框3410，跟踪子系统830确定真实世界元件相对于真实世界坐标系的真实世界姿势。在一些实施例中，跟踪子系统确定XR头戴式受话器的真实世界姿势和真实世界元件的真实世界姿势。

在框3420，XR头戴式受话器控制器3330将真实世界坐标系的一部分定义为交互区。在一些实施例中，头戴式受话器控制器将交互区定义为导览区、过渡区、警告区、禁止区、工具选择区和用户界面(“UI”)区中的一个。

在一些实施例中，手术系统还包括交互区控制器，所述交互区控制器被配置成基于真实世界元件的类型和/或真实世界姿势来定义交互区的尺寸、姿势和/或类型。

在框3430，XR头戴式受话器控制器确定真实世界元件是否在交互区内。

在框3440，XR头戴式受话器控制器3330基于真实世界元件的真实世界姿势的跟踪数据来确定用户输入。

在框3450，XR头戴式受话器控制器3330基于XR头戴式受话器的真实世界姿势来生成世界配准XR图像。在一些实施例中，XR头戴式受话器控制器基于XR头戴式受话器的真实世界姿势和真实世界元件的真实世界姿势来生成世界配准XR图像。世界配准XR图像包括基于真实世界元件的特性生成的虚拟元件。虚拟元件是基于XR头戴式受话器的真实世界姿势来摆姿势的，并且被显示在用户视场内的透视显示屏上。在一些实施例中，XR头戴式受话器包括具有宽视场的显示器(例如，图13的弯曲显示屏1302)，这允许在外科医生沿稍微不同的方向观察时继续显示世界配准XR图像。

在另外的或替代的实施例中，XR头戴式受话器控制器被配置成基于XR头戴式受话器的真实世界姿势来生成世界配准XR图像，其中世界配准XR图像的虚拟元件被显示在透视显示屏上，并且虚拟元件被维持在相对于真实世界坐标系的恒定姿势，而不管XR头戴式受话器的真实世界姿势。

在另外的或替代的实施例中，XR头戴式受话器控制器被配置成基于XR头戴式受话器的真实世界姿势来生成世界配准XR图像，其中世界配准XR图像的虚拟元件被显示在透视显示屏上，并且虚拟元件具有与真实世界元件的真实世界姿势维持恒定偏移的姿势，而不管XR头戴式受话器的真实世界姿势。

在附加的或替代的实施例中，XR头戴式受话器控制器还被配置成基于真实世界元件的真实世界姿势的跟踪数据来确定用户输入。XR头戴式受话器控制器还被配置成进一步基于用户输入来生成世界配准XR图像。

在另外的或替代的实施例中，XR头戴式受话器控制器被配置成通过在世界配准XR图像内生成虚拟元件来响应于确定真实世界元件的真实世界姿势在交互区内。

在框3460，XR头戴式受话器控制器3330显示世界配准XR图像。在一些实施例中，世界配准XR图像被显示在XR头戴式受话器的透视显示屏上，所述XR头戴式受话器被配置成在手术程序期间由用户佩戴。透视显示屏可以被配置成显示世界配准XR图像，并且允许真实世界场景的至少一部分穿过其中以供用户观看。

在一些实施例中，XR头戴式受话器控制器3330还被配置成与导览控制器通信以从导览控制器接收导览信息，所述导览信息在对解剖结构的手术程序期间向用户提供引导。XR头戴式受话器控制器被配置成基于导览信息来生成世界配准XR图像以进一步包括用户界面(“UI”)数据以在透视显示屏上显示。

在另外的或替代的实施例中，交互区是导览区。跟踪系统还被配置成仅在真实世界元件的真实世界姿势在导览区内时才确定真实世界元件的真实世界姿势。XR头戴式受话器控制器被配置成响应于确定真实世界元件在导览区内而生成世界配准XR图像以含有与对应于真实世界元件的虚拟元件相关联的UI数据。

在另外的或替代的实施例中，交互区是过渡区。XR头戴式受话器控制器被配置成响应于确定真实世界元件在过渡区内而生成世界配准XR图像以进一步排除UI数据的一部分。XR头戴式受话器控制器被配置成响应于确定真实世界元件在过渡区之外而生成世界配准XR图像，以进一步包括UI数据的部分。

在另外的或替代的实施例中，交互区是警告区。导览控制器还被配置成确定警告区包括机器人臂在真实世界坐标系中的运动投影路径。导览控制器进一步被配置成确定真实世界元件是否在警告区内。响应于确定真实世界元件在警告区内，阻止机器人臂沿投影路径移动。XR头戴式受话器控制器被配置成生成世界配准XR图像，使得显示与机器人臂的运动投影路径相关联的虚拟路径。XR头戴式受话器还被配置成响应于真实世界元件在警告区内而向用户输出警告。

在另外的或替代的实施例中，交互区是禁止区，并且XR头戴式受话器控制器被配置成生成世界配准XR图像，使得用户对禁止区的观看不被XR图像阻碍。

在另外的或替代的实施例中，交互区是工具选择区。跟踪系统还被配置成基于确定第一真实世界元件在工具选择区内来确定是否选择和/或取消选择第一真实世界元件。所述跟踪系统被配置成确定仅所选择的真实世界元件在所述工具选择区之外的真实世界姿势。

在另外的或替代的实施例中，交互区是用户界面(“UI”)区。XR头戴式受话器控制器还被配置成响应于确定真实世界元件的真实世界姿势在UI区内而基于操纵真实世界元件的真实世界姿势来修改世界配准XR图像。

在另外的或替代的实施例中，XR头戴式受话器还包括手势传感器，所述手势传感器被配置成向XR头戴式受话器控制器输出由用户形成的手势的指示。XR头戴式受话器控制器还被配置成基于用户形成的手势的指示来定义和/或修改交互区的尺寸、姿势和/或类型。

在另外的或替代的实施例中，手术系统还包括手术机器人和导览控制器。手术机器人包括机器人底座、连接到机器人底座的机器人臂和至少一个马达。机器人臂被配置成定位末端执行器，所述末端执行器被配置成引导手术工具的移动。所述至少一个马达操作性地连接以相对于机器人底座移动机器人臂。导览控制器被配置成基于手术计划和基于解剖结构的姿势来确定手术工具的目标姿势，所述手术计划定义了在解剖结构上将使用手术工具执行手术程序的位置。导览控制器还被配置成基于手术工具的目标姿势、解剖结构的姿势和手术工具的姿势来生成转向信息。转向信息指示手术工具在至少一个马达的控制下需要移动的位置。

在另外的或替代的实施例中，XR头戴式受话器是被配置成在手术程序期间由第一用户佩戴并且包括透视显示屏的第一XR头戴式受话器，所述透视显示屏被配置成显示第一世界配准XR图像并且允许真实世界场景的至少第一部分穿过其中以供第一用户观看。第一世界配准XR图像包括对应于真实世界元件的第一虚拟元件。手术系统还可以包括第二XR头戴式受话器，所述第二XR头戴式受话器被配置成在手术程序期间由第二用户佩戴并且包括透视显示屏，所述透视显示屏被配置成显示第二世界配准XR图像并且允许真实世界场景的至少第二部分穿过其中以供第二用户观看。第二世界配准XR图像包括对应于真实世界元件的第二虚拟元件。跟踪系统还被配置成确定第一XR头戴式受话器的真实世界姿势和第二XR头戴式受话器的真实世界姿势。XR头戴式受话器控制器包括至少一个XR头戴式受话器控制器，并且还被配置成基于第二XR头戴式受话器的真实世界姿势来生成第二世界配准XR图像。第一世界配准XR图像和第二世界配准XR图像是不同的。

相对于手术系统和相关方法的一些实施例，来自图34的流程图的各种操作可以是可选的。

另外的定义和实施例：

在本发明概念的各个实施例的以上描述中，应当理解，本文使用的术语仅出于描述特定实施例的目的，而不旨在是限制本发明概念的。除非另外定义，否则本文中所使用的所有术语(包括技术术语和科技术语)具有本发明概念所属领域的技术人员通常所理解的相同含义。应进一步理解的是，如常用词典中所定义的术语应被解释为具有与其在本说明书的背景下和相关领域中的含义一致的含义，并且本文中明确地如此定义，将不会在理想化的或过度正式的意义上进行解释。

当元件被称为“连接到”或“联接到”“响应于”另一个元件或其变体时，其可以直接连接到、联接到或响应于另一元件，或者可以存在中间元件。相反，当一个元件被称为与另一个元件“直接地连接”、“直接地联接”、“直接响应于”另一个元件或其变体时，不存在中间元件。贯穿全文以相似的数字指代相似的要素。此外，如本文中使用的“联接”、“连接”、“响应”或其变体可以包括无线联接、连接或响应。除非上下文另外清楚地说明，否则如本文所使用的，单数形式“一个/一种(a、an)”和“所述(the)”旨在包括复数形式。为了简洁和/或清楚，可能不会详细描述众所周知的功能或构造。术语“和/或”包括相关联的所列项中的一或多个项的任何和所有组合。

应当理解，尽管本文中可以使用术语第一、第二、第三等来描述各种元件/操作，但是这些元件/操作不应受这些术语的限制。这些术语仅是用来将一个元件/操作与另一个元件/操作进行区分。因此，在不脱离本发明概念的教导的情况下，一些实施例中的第一元件/操作可以在其它实施例中被称为第二元件/操作。在整个本说明书中，相同的附图标记或相同的附图指示符表示相同或类似的元件。

如本文所使用的，术语“包含(comprise/comprising/comprises)”、“包括(include/including/includes)”、“具有(have/has/having)”或其变体是开放式的，并且包括一个或多个陈述的特征、整数、元件、步骤、组件或功能，但是不排除一个或多个其它特征、整数、元件、步骤、组件、功能或其组合的存在或添加。此外，如本文所使用的，源自拉丁短语“exempli gratia”的通用缩写“例如”可以用于介绍或指定先前提及的项目的一个或多个一般示例，并且不旨在限制这种项目。源自拉丁短语“id est”的通用缩写“即”可以用于从更一般的陈述中指定特定项目。

本文中参考计算机实施的方法、设备(系统和/或装置)和/或计算机程序产品的框图和/或流程绘示描述了示例实施例。应当理解的是，可以通过由一个或多个计算机电路执行的计算机程序指令来实现框图和/或流程绘示的框以及框图和/或流程绘示中框的组合。这些计算机程序指令可以被提供给通用计算机电路、专用计算机电路和/或其它可编程数据处理电路的处理器电路，以产生机器，使得经由计算机和/或其它可编程数据处理设备的处理器执行的指令转换并控制晶体管、存储在存储器位置中的值以及这种电路系统内的其它硬件组件，以实现框图和/或一个或多个流程图框中指定的功能/动作，并且由此创建用于实现框图和/或一个或多个流程图框中指定的功能/动作的装置(功能)和/或结构。

这些有形计算机程序指令也可以存储在可以指导计算机或其它可编程数据处理设备以特定方式运行的计算机可读介质中，使得存储在计算机可读介质中的指令产生包括实施在框图或一个或多个流程图框中指定的功能/动作的指令的制品。因此，本发明概念的实施例可以体现在硬件和/或软件(包括固件、常驻软件、微代码等)中，其在如数字信号处理器等处理器上运行，所述数字信号处理器可以被统称为“电路系统”、“模块”或其变体。

还应该注意的是，在一些替代性实现方案中，框中标注的功能/动作可以不按流程图中标注的顺序发生。例如，根据所涉及的功能/动作，连续示出的两个框实际上可以基本上同时执行，或者所述框有时可以按相反顺序执行。此外，可以将流程图和/或框图的给定框的功能分成多个框，和/或流程图和/或框图的两个或更多个框的功能可以至少部分地集成。最后，在不脱离本发明概念的范围的情况下，可以在所绘示的框之间添加/插入其它框，和/或可以省略框/操作。此外，尽管所述图中的一些图包括通信路径上的箭头以示出通信的主要方向，但是应当理解的是，通信可以在与所描绘的箭头相反的方向上发生。

在不实质脱离本发明概念的原理的情况下，可以对实施例进行许多变化和修改。所有的此种变体以及改变都旨在被包括在本文中本发明概念的范围内。因此，上文所公开的主题应视为说明性而非限制性的，并且所附实施例的示例旨在覆盖落入本发明概念的精神和范围内的所有这种修改、增强以及其它实施例。因此，为了被法律最大程度地允许，本发明概念的范围将由本公开的最广泛允许的解读来确定，所述解读包括以下实施例及其等效物的示例，并且不应受限于或局限于前述具体详细描述。