外科手术系统

技术领域

本公开涉及医疗装置和系统，并且更具体地，涉及使用机器人外科手术系统进行的外科手术中的计算机辅助导览。

背景技术

外科手术中的计算机辅助导览为外科医生提供关于患者的解剖的放射照相图像的外科手术仪器的增强可视化。然而，现有导览系统对于外科医生而言在可用性和人体工程学上具有局限性，包含：1)外科医生必须转动他/她的头远离患者和外科手术仪器才能观看导览信息；2)依靠其他人员在手术室操作各种设备的软件功能；以及3)因在外科手术期间提供导览而造成的间歇性暂停，同时人员和/或对象阻碍跟踪组件跟踪患者、机器人和外科手术仪器的姿态的能力。

发明内容

本文所公开的各个实施例涉及计算机辅助导览在外科手术期间的改进。一种增强现实(AR)头戴式耳机可操作地连接到外科手术系统，以提供外科医生、助理和/或其他人员可以通过其观看和操纵患者图像、观看和操纵计算机生成的导览信息和/或控制手术室中的外科手术设备的交互式环境。

本公开的一些实施例涉及一种外科手术系统，其包含AR头戴式耳机和AR头戴式耳机控制器。所述AR头戴式耳机被配置成在外科手术程序期间由用户佩戴并且具有透视显示屏，所述透视显示屏被配置成显示AR图像并且允许真实世界场景的至少一部分从其中穿过以由所述用户进行观看。所述AR头戴式耳机还包含不透明度滤光器，所述不透明度滤光器在所述透视显示屏被所述用户观看时定位于所述用户的眼睛中的至少一只眼睛与所述真实世界场景之间。所述不透明度滤光器被配置成向来自所述真实世界场景的光提供不透明性。所述AR头戴式耳机控制器被配置成与导览控制器通信以从所述导览控制器接收在对解剖结构进行的外科手术程序期间向所述用户提供引导的导览信息，并且被配置成基于所述导览信息生成所述AR图像以在所述透视显示屏上显示。

更具体地，本公开的一些实施例涉及一种AR头戴式耳机，其包含透视显示屏和不透明度滤光器。所述透视显示屏配置被配置成显示AR图像并且允许真实世界场景的至少一部分从其中穿过以由用户进行观看。所述不透明度滤光器被配置成在所述用户正在佩戴所述AR头戴式耳机以对所述透视显示屏进行观看时定位于所述用户的眼睛中的至少一只眼睛与所述真实世界场景之间。所述不透明度滤光器还被配置成向来自所述真实世界场景的光提供不透明性。

在审阅以下附图和详细描述之后，根据实施例的其它外科手术系统、AR头戴式耳机以及对应的方法和计算机程序产品对于本领域技术人员来说将是显而易见的。所有此类外科手术系统、AR头戴式耳机以及对应的方法和计算机程序产品旨在包含在本说明书中、在本公开的范围之内并且受所附权利要求的保护。此外，本文中公开的所有实施例旨在可以以任何方式和/或组合来单独实施或组合。

附图说明

附图展示了发明概念的某些非限制性实施例，所述附图被包含在内以提供对本公开的进一步理解，并且结合在本申请内并构成本申请的一部分。在附图中：

图1展示了根据本公开的一些实施例的外科手术系统的实施例；

图2展示了根据本公开的一些实施例的图1的外科手术系统的外科手术机器人组件；

图3A展示了根据本公开的一些实施例的图1的外科手术系统的相机跟踪系统组件；

图3B和3C展示了根据本公开的一些实施例的可以与图1的外科手术系统一起使用的另一个相机跟踪系统组件的正视图和等距视图；

图4展示了可连接到机器人臂并且根据本公开的一些实施例配置的末端执行器的实施例；

图5展示了医疗操作，其中外科手术机器人和相机系统被安置在患者周围；

图6展示了用于医疗操作的图5的外科手术系统的组件的框图视图；

图7展示了在使用外科手术系统的导览功能时可以在图5和6的显示器上显示的各种显示屏；

图8展示了根据本公开的一些实施例的外科手术机器人的一些电组件的框图；

图9展示了根据本公开的一些实施例的外科手术系统的组件的框图，所述外科手术系统包含连接到可以可操作地连接到相机跟踪系统和/或外科手术机器人的计算机平台的成像装置；

图10展示了根据本公开的一些实施例的可以与外科手术机器人组合使用的C形臂成像装置的实施例；

图11展示了根据本公开的一些实施例的可以与外科手术机器人组合使用的O形臂成像装置的实施例；

图12展示了包含根据本公开的一些实施例进行操作的一对AR头戴式耳机的外科手术系统的组件的框图视图；

图13展示了根据本公开的一些实施例配置的AR头戴式耳机；

图14展示了根据本公开的一些实施例的可以可操作地连接到计算机平台、一个或多个成像装置和/或外科手术机器人的AR头戴式耳机的电组件；

图15-25展示了根据本公开的一些实施例的通过AR头戴式耳机的显示屏的示例视图；

图26-31展示了根据本公开的一些实施例的通过用于在所述医疗程序期间为外科手术工具提供导览辅助的AR头戴式耳机的显示屏的示例视图；

图32展示了根据本公开的一些实施例的具有曲面透镜和不透明度滤光器的AR头戴式耳机，所述曲面透镜作为跨所述AR头戴式耳机的前部侧向延伸并从所述前部向下延伸的透视显示屏进行操作，并且所述不透明度滤光器在所述曲面透镜的表面上；

图33展示了根据本公开的一些实施例的被配置成响应于来自AR头戴式耳机控制器的信令而具有可变化不透明度的不透明度滤光器的另一个实施例的框图；

图34展示了包含连接到AR处理电路系统的AR头戴式耳机的外科手术系统的组件的框图，所述AR处理电路系统包含根据本公开的一些实施例配置的AR头戴式耳机控制器；以及

图35-39展示了根据本公开的一些实施例的可以由AR头戴式耳机控制器和外科手术系统的计算机平台执行以控制信息如何在透视显示屏上显示和/或控制不透明度滤光器的不透明度的操作的流程图。

具体实施方式

现将参考附图在下文中更全面地描述发明概念，在附图中示出了发明概念的实施例的示例。发明概念可以以许多不同的形式实施，并且不应该被解释为限于本文列出的实施例。而是这些实施例被提供为使得本公开更完全和完整，并且将各个本发明概念的范围完全地转达给所属领域技术人员。还应当注意，这些实施例并不相互排斥。一个实施例中的组件可以被默认为存在于或用于另一个实施例。

本文所公开的各个实施例涉及计算机辅助导览在外科手术期间的改进。一种增强现实(AR)头戴式耳机可操作地连接到外科手术系统并且被配置成提供外科医生、助理和/或其他人员可以通过其观看患者图像并且在其中进行选择、观看计算机生成的外科手术导览信息并在其中进行选择和/或控制手术室中的外科手术设备的交互式环境。

图1展示了根据本公开的一些实施例的外科手术系统2的实施例。在执行矫形或其它外科手术程序之前，可以使用例如图10的C形臂成像装置104或图11的O形臂成像装置106，或从如计算机断层扫描(CT)图像或MRI的另一个医学成像装置，对患者的有计划的外科手术区进行三维(“3D”)图像扫描。可以在术前(例如，最常见的在程序前几周)或术中进行这种扫描。然而，可以根据外科手术系统2的各个实施例来使用任何已知的3D或2D图像扫描。图像扫描发送到与外科手术系统2通信的计算机平台，如外科手术系统900的计算机平台910(图9)，所述外科手术系统可以包含相机跟踪系统6、外科手术机器人4(例如，图1中的机器人2)、成像装置(例如，C形臂104、O形臂106等)以及用于存储患者的图像扫描的图像数据库950。查看计算机平台910(图9)的显示装置上的一个或多个图像扫描的外科医生生成限定在对患者的解剖结构进行的外科手术程序期间使用的外科手术工具的目标姿态的外科手术计划。示例外科手术工具(也被称为工具)可以包含但不限于钻机、螺钉驱动器、牵开器和植入物，如螺钉、间隔件、椎体间融合装置、板、杆等。在一些实施例中，在显示在显示装置上的3D图像扫描上计划限定目标平面的外科手术计划。

如本文所使用的，术语“姿态”是指一个对象(例如，动态参考阵列、末端执行器、外科手术工具、解剖结构等)相对于另一个对象和/或定义的坐标系的方位和/或旋转角度。因此，姿态可以仅基于一个对象相对于另一个对象和/或定义的坐标系的多维方位、仅基于所述对象相对于另一个对象和/或定义的坐标系的多维旋转角度或结合多维方位和多维旋转角度来定义。因此，术语“姿态”用于指方位、旋转角度或其组合。

图1的外科手术系统2可以在医疗程序期间通过例如供使用的保持工具、对齐工具、使用工具、引导工具和/或定位工具来辅助外科医生。在一些实施例中，外科手术系统2包含外科手术机器人4和相机跟踪系统6。将外科手术机器人4和相机跟踪系统6机械联接的能力可以允许外科手术系统2作为单个单元来操纵并移动，并且允许外科手术系统2在区域中具有小的占用空间，允许更容易的通过狭窄的通道和绕过转弯的移动，并且允许存储在较小的区域之内。

外科手术程序可以开始于外科手术系统2从医疗存储室移动到医疗程序室。可以通过门道、大厅和电梯操纵外科手术系统2以到达医疗程序室。在所述医疗程序室内，外科手术系统2可以在物理上分成两个单独且不同的系统(外科手术机器人4和相机跟踪系统6)。外科手术机器人4可以定位成在任何合适的位置邻近患者，以适当地辅助医务人员。相机跟踪系统6可以定位在患者的底部、在患者肩部或任何其它适合于跟踪外科手术机器人4和患者的轨道部分的当前姿态和姿态移动的位置。外科手术机器人4和相机跟踪系统6可以由机载电源供电和/或插入到外墙插座中。

外科手术机器人4可以用于通过在医疗程序期间保持和/或使用工具来帮助外科医生。为了适当地利用并保持工具，外科手术机器人4可以依靠多个马达、计算机和/或致动器来适当地起作用。如图1所展示的，机器人主体8可以充当其中多个马达、计算机和/或致动器可以固定在外科手术机器人4内的结构。机器人主体8还可以为机器人伸缩式支撑臂16提供支撑。机器人主体8的大小可以提供支撑附接组件的稳固平台，并且可以容纳、隐藏并保护可以操作附接组件的多个马达、计算机和/或致动器。

机器人底座10可以充当外科手术机器人4的下部支撑。在一些实施例中，机器人底座10可以支撑机器人主体8，并且可以将机器人主体8附接到多个驱动轮12。这种与轮的附接可以允许机器人主体8在空间中有效地移动。机器人底座10可以沿机器人主体8的长度和宽度运行。机器人底座10可以是约两英寸到约10英寸高。机器人底座10可以覆盖、保护并支撑驱动轮12。

在一些实施例中，如图1所展示的，至少一个驱动轮12可以附接到机器人底座10。驱动轮12可以在任何位置附接到机器人底座10。每个单独的驱动轮12可以在任何方向上绕竖直轴线旋转。马达可以安置在驱动轮12的上方、之内或邻近其安置。这种马达可以允许外科手术系统2操纵到任何位置，并且稳定和/或调平外科手术系统2。可以通过马达将位于驱动轮12之内或邻近其的杆压入表面中。未示出的杆可以由任何合适的金属制成，以提升外科手术系统2。所述杆可以提升驱动轮10，这可以将外科手术系统2提升到调平或以其它方式固定外科手术系统2相对于患者的定向所需的任何高度。外科手术系统2的重量通过每个轮上的杆的小接触区域支撑，防止外科手术系统2在医疗程序期间移动。此刚性定位可以防止对象和/或人意外地移动外科手术系统2。

可以使用机器人轨道14促进移动外科手术系统2。机器人轨道14给人提供了在未抓住机器人主体8的情况下移动外科手术系统2的能力。如图1所展示的，机器人轨道14的长度可以和机器人主体8一样长、比机器人主体8短，和/或可以比机器人主体8更长。机器人轨道14可以进一步向机器人主体8提供保护，从而防止对象和/或医务人员接触、撞击或撞到机器人主体8。

机器人主体8可以为选择顺应性铰接式机器人臂提供支撑，在下文中被称为“SCARA”。由于机械臂的可重复性和紧凑性，在外科手术系统2内使用SCARA 24可能是有利的。SCARA的紧凑性可以在医疗程序内提供另外的空间，这可以允许医疗专业人员在没有过多杂乱和限制区域的情况下执行医疗程序。SCARA 24可以包括机器人伸缩式支撑件16、机器人支撑臂18和/或机器人臂20。机器人伸缩式支撑件16可以沿机器人主体8安置。如图1所展示的，机器人伸缩式支撑件16可以为SCARA 24和显示器34提供支撑。在一些实施例中，机器人伸缩式支撑件16可以在竖直方向上延伸并收缩。机器人伸缩式支撑件16的主体可以是被配置成支撑放在其上的应力和重量的任何宽度和/或高度。

在一些实施例中，医务人员可以通过由医务人员提交的命令来移动SCARA24。如将在下面进一步详细解释的，命令可以源自在显示器34、平板电脑和/或AR头戴式耳机(例如，图9中的头戴式耳机920)上接收到的输入。AR头戴式耳机可以消除医务人员参考如显示器34或平板电脑等任何其它显示器的需要，这使得能够在没有显示器34和/或平板电脑的情况下配置SCARA 24。如将在下面进一步详细解释的，命令可以通过按压开关和/或按压多个开关来生成，和/或可以基于由AR头戴式耳机感测到的手势命令和/或语音命令来生成。

如图5中所示出的，激活组合件60可以包含开关和/或多个开关。激活组合件60可以是可操作的以向SCARA 24传输移动命令，从而允许操作者手动操纵SCARA 24。当按压开关或多个开关时，医务人员可以具有通过所应用的手部移动来移动SCARA 24的能力。可替代地或另外地，如将在下面进一步详细解释的，操作者可以通过由AR头戴式耳机感测到的手势命令和/或语音命令来控制SCARA 24的移动。另外地，当SCARA 24未接收到移动的命令时，SCARA 24可以锁定在适当的位置以防止由医务人员和/或其它对象意外移动。通过锁定在适当的位置，SCARA 24提供了稳固平台，通过所述稳固平台，末端执行器26可以在医疗程序期间引导外科手术工具。

机器人支撑臂18可以通过各种机构连接到机器人伸缩式支撑件16。在一些实施例中，最佳参见图1和2，机器人支撑臂18相对于机器人伸缩式支撑件16在任何方向上旋转。机器人支撑臂18可以围绕机器人伸缩式支撑件16旋转三百六十度。机器人臂20可以在任何合适的位置并通过使得能够相对于机器人支撑臂18在任何方向上旋转的各种机构连接到机器人支撑臂18。在一个实施例中，机器人臂20可相对于机器人支撑臂18旋转三百六十度。这种自由旋转允许操作者根据外科手术计划对机器人臂20进行定位。

图4和5中的末端执行器26以在任何合适的位置附接到机器人臂20。末端执行器26被配置成附接到由外科手术机器人4定位的机器人臂20的末端执行器联接器22。示例末端执行器26包含引导插入式外科手术工具相对于要对其执行外科手术程序的解剖结构的移动的管状引导件。

在一些实施例中，动态参考阵列52附接到末端执行器26。动态参考阵列(在本文中也被称为“DRA”)是可以安置在患者的解剖结构(例如，骨骼)上的刚性主体、由手术室中的人员佩戴的一个或多个AR头戴式耳机、末端执行器、外科手术机器人、导览外科手术程序中的外科手术工具。计算机平台910与相机跟踪系统6或其它3D定位系统组合被配置成实时跟踪DRA的姿态(例如，方位和旋转定向)。DRA可以包含基准，如球的所展示布置。对DRA的3D坐标的这种跟踪可以允许外科手术系统2确定DRA在相对于图5中的患者50的目标解剖结构的任何多维空间中的姿态。

如图1所展示的，光指示器28可以定位于SCARA 24的顶部。光指示器28可以作为任何类型的光点亮，以指示其中外科手术系统2当前操作的“状况”。在一些实施例中，光可以由LED灯产生，所述灯可以围绕光指示器28形成环。光指示器28可以包括可以让光透过整个光指示器28的完全可渗透材料。光指示器28可以附接到下部显示器支撑件30。如图2所展示的，下部显示器支撑件30可以允许操作者操纵显示器34到任何合适的位置。下部显示器支撑件30可以通过任何合适的机构附接到光指示器28。在一些实施例中，下部显示器支撑件30可以绕光指示器28旋转或刚性附接到所述光指示器。上部显示器支撑件32可以通过任何合适的机构附接到下部显示器支撑件30。

在一些实施例中，平板电脑可以与显示器34结合使用和/或在没有显示器34的情况下使用。平板电脑可以安置在上部显示器支撑件32上以代替显示器34，并且可以能够在医疗操作期间从上部显示器支撑件32移除。另外，平板电脑可以与显示器34通信。平板电脑能够通过任何合适的无线和/或有线连接连接到外科手术机器人4。在一些实施例中，平板电脑能够在医疗操作期间对外科手术系统2进行编程和/或控制。当用平板电脑控制外科手术系统2时，所有输入和输出命令都可以在显示器34上复制。使用平板电脑可以允许操作者操纵外科手术机器人4，而不必围绕患者50和/或外科手术机器人4移动。

如下面将解释的，在一些实施例中，外科医生和/或其他人员可以佩戴可以与显示器34和/或平板电脑结合使用的AR头戴式耳机，或者一个或多个AR头戴式耳机可以消除使用显示器34和/或平板电脑的需要。

如图3A和5所展示的，相机跟踪系统6通过有线或无线通信网络与外科手术机器人4组合工作。参考图1、3和5，相机跟踪系统6可以包含与外科手术机器人4类似的一些组件。例如，相机主体36可以提供在机器人主体8中发现的功能。机器人主体8可以提供相机46安装在其上的结构。机器人主体8内的结构还可以为用于操作相机跟踪系统6的电子设备、通信装置和电源提供支撑。相机主体36可以由与机器人主体8相同的材料制成。相机跟踪系统6可以通过无线和/或有线网络与AR头戴式耳机、平板电脑和/或显示器34直接通信，以使得AR头戴式耳机、平板电脑和/或显示器34能够控制相机跟踪系统6的功能。

相机主体36由相机底座38支撑。相机底座38可以用作机器人底座10。在图1的实施例中，相机底座38可以比机器人底座10宽。相机底座38的宽度可以允许相机跟踪系统6与外科手术机器人4连接。如图1所展示的，相机底座38的宽度可以足够大以适合机器人底座10的外部。当相机跟踪系统6与外科手术机器人4连接时，相机底座38的另外的宽度可以允许外科手术系统2为外科手术系统2提供另外的可操作性和支撑。

如同机器人底座10，多个驱动轮12可以附接到相机底座38。类似于机器人底座10和驱动轮12的操作，驱动轮12可以允许相机跟踪系统6相对于患者50稳定和调平或设置固定定向。这种稳定可以防止相机跟踪系统6在医疗程序期间移动，并且可以防止相机46失去对连接到AR头戴式耳机和/或外科手术机器人4的DRA的跟踪、失去对连接到如图3A和5所示出的指定区56内的解剖结构54和/或工具58的一个或多个DRA 52的跟踪。跟踪的这种稳定性和维护增强了外科手术机器人4与相机跟踪系统6一起有效操作的能力。另外地，宽相机底座38可以为相机跟踪系统6提供另外的支撑。具体地，如图3A和5所展示的，当相机46安置在患者之上时，宽相机底座38可以防止相机跟踪系统6倾翻。

相机伸缩式支撑件40可以支撑相机46。在一些实施例中，伸缩式支撑件40可以在竖直方向上将相机46向更高或更低处移动。相机手柄48可以在任何合适的位置附接到相机伸缩式支撑件40，并且被配置成允许操作者在医疗操作之前将相机跟踪系统6移动到有计划的方位。在一些实施例中，相机手柄48可以用于降低和升高相机伸缩式支撑件40。相机手柄48可以通过按压按钮、开关、杠杆和/或其任何组合来执行相机伸缩式支撑件40的升高和降低。

下部相机支撑臂42可以在任何合适的位置附接到相机伸缩式支撑件40，在实施例中，如图1所展示的，下部相机支撑臂42可以围绕伸缩式支撑件40旋转三百六十度。这种自由旋转可以允许操作者将相机46定位在任何合适的位置。下部相机支撑臂42可以通过任何合适的机构连接到伸缩式支撑件40。下部相机支撑臂42可以用于为相机46提供支撑。相机46可以通过任何合适的机构附接到下部相机支撑臂42。相机46可以在相机46与下部相机支撑臂42之间的附接区域在任何方向上枢转。在实施例中，弯曲轨道44可以安置在下部相机支撑臂42上。

弯曲轨道44可以安置在下部相机支撑臂42上的任何合适的位置。如图3A所展示的，弯曲轨道44可以通过任何合适的机构附接到下部相机支撑臂42。弯曲轨道44可以是任何合适的形状，合适的形状可以是新月形、圆形、扁形、椭圆形和/或其任何组合。相机46可以沿弯曲轨道44可移动地安置。相机46可以通过例如辊、支架、支具、马达和/或其任何组合附接到弯曲轨道44。未展示的马达和辊可以用于沿弯曲轨道44移动相机46。如图3A所展示的，在医疗程序期间，如果对象阻止相机46观察所跟踪的一个或多个DRA，则马达可以响应地沿弯曲轨道44移动相机46。这种机动化移动可以允许相机46在没有移动相机跟踪系统6的情况下移动到不再被对象阻碍的新方位。当阻碍到相机46观察一个或多个DRA时，相机跟踪系统6可以向外科手术机器人4、AR头戴式耳机、显示器34和/或平板电脑发送停止信号。停止信号可以阻止SCARA 24移动，直到相机46已经重新获取所跟踪的DRA 52和/或可以警告操作者佩戴AR头戴式耳机和/或观看显示器34和/或平板电脑为止。这个SCARA 24可以被配置成通过停止底座和/或末端执行器联接器22的进一步移动直到所述相机跟踪系统可以重新开始对DRA的跟踪为止来对停止信号的接收作出响应。

图3B和3C展示了可以与图1的外科手术系统一起使用或可以独立于外科手术机器人使用的另一个相机相机跟踪系统6'的正视图和等距视图。例如，相机跟踪系统6'可以用于在不使用机器人引导的情况下提供导览外科手术。图3B和3C的相机跟踪系统6'与图3A的相机跟踪系统6之间的区别之一是图3B和3C的相机跟踪系统6'包含用于运输计算机平台910的壳体。计算机平台910可以被配置成：执行相机跟踪操作以跟踪DRA；执行向显示装置(例如，AR头戴式耳机和/或其它显示装置)提供外科手术导览信息的导览外科手术操作；并且执行本文所公开的其它计算操作。

图6展示了用于医疗操作的图5的外科手术系统的组件的框图视图。参考图6，导览相机46具有在其中对附接到患者的参考阵列602、附接到外科手术仪器的参考阵列604和机器人臂20的姿态(例如，方位和定向)进行跟踪的导览视场600。导览相机46可以是包含被配置成执行下面描述的操作的计算机平台910的图3B和3C的相机跟踪系统6'的一部分。参考阵列通过以已知模式反射光来实现跟踪，所述已知模式被外科手术机器人4的跟踪子系统解码以确定所述参考阵列的相应姿态。如果患者参考阵列602与导览相机46之间的视线被阻挡(例如，由医务人员、仪器等)，则可能无法对外科手术仪器进行进一步导览，并且响应式通知可以暂时停止机器人臂20和外科手术机器人4的进一步移动，在显示器34上显示警告，和/或向医务人员提供听觉警告。显示器34可供外科医生610和助理612使用，但是观看需要将头转动远离患者并将眼焦点改变到不同的距离和位置。导览软件可以由技术人员614基于来自外科医生的声音指令来控制。

图7展示了在使用外科手术系统2的导览功能时可以通过外科手术机器人4在图5和6的显示器34上显示的各种显示屏。显示屏可以包含但不限于具有基于开发的外科手术计划和/或基于所跟踪的参考阵列的姿态相对于解剖结构定位在显示屏中的仪器模型的覆盖图形表示的患者射线照片、用于控制外科手术程序的不同阶段以及虚拟投射的植入物的尺寸参数(例如，长度、宽度和/或直径)的各种用户可选择菜单。

对于导览外科手术，提供了下面描述的使得能够对外科手术程序(例如，植入物放置)进行术前计划以及将计划电子传递到计算机平台910以在有计划的外科手术程序期间向一个或多个用户提供导览信息的各种处理组件(例如，计算机平台910)和相关联软件。

对于机器人导览，提供了下面描述的使得能够对外科手术程序(例如，植入物放置)进行术前计划以及将计划电子传递到外科手术机器人4的各种处理组件(例如，计算机平台910)和相关联软件。外科手术机器人4使用计划来引导机器人臂20和连接的末端执行器26，以针对有计划的外科手术程序的步骤提供外科手术工具相对于患者解剖结构的目标姿态。

下面的各个实施例涉及使用可以由外科医生610、助理612和/或其他医务人员佩戴的一个或多个AR头戴式耳机以提供用于从外科手术机器人、相机跟踪系统6/6'和/或手术室中的其它医疗设备接收信息和/或向其提供控制命令的改进的用户界面。

图8展示了根据本公开的一些实施例的外科手术机器人4的一些电组件的框图。参考图8，测力传感器(load cell，未示出)可以被配置成跟踪施加到末端执行器联接器22的力。在一些实施例中，测力传感器可以与多个马达850、851、852、853和/或854通信。当测力传感器感测到力时，关于所施加的力的量的信息可以从开关阵列和/或多个开关阵列分布到控制器846。控制器846可以从测力传感器获取力信息，并且用开关算法对其进行处理。控制器846使用开关算法来控制马达驱动器842。马达驱动器842控制一个或多个马达850、851、852、853和/或854的操作。马达驱动器842可以指导特定马达产生例如由测力传感器通过马达测得的等量的力。在一些实施例中，如控制器846所指示的，所产生的力可以来自多个马达，例如850-854。另外地，马达驱动器842可以接收来自控制器846的输入。控制器846可以从测力传感器接收关于由测力传感器感测到的力的方向的信息。控制器846可以使用运动控制器算法来处理这个信息。所述算法可以用于向特定马达驱动器842提供信息。为了复制力的方向，控制器846可以激活和/或去激活某些马达驱动器842。控制器846可以控制一个或多个马达，例如850-854中的一个或多个，以诱导末端执行器26在由测力传感器感测的力的方向上的运动。这种力控制的运动可以允许操作者毫不费力地和/或以非常小的阻力移动SCARA 24和末端执行器26。可以执行末端执行器26的移动，以将末端执行器26以任何合适的姿态定位(即，相对于限定的三维(3D)正交参考轴线的位置和角度定向)，以供医务人员使用。

图5最佳展示的，激活组合件60可以缠绕末端执行器联接器22的手镯的形式。激活组合件60可以定位于SCARA 24的任何部分、末端执行器联接器22的任何部分上，可以由医务人员佩戴(并且无线通信)，和/或其任何组合。激活组合件60可以包括主按钮和次按钮。

按压主按钮可以允许操作者移动SCARA 24和末端执行器联接器22。根据一个实施例，一旦设置在适当位置，SCARA 24和末端执行器联接器22可以不移动直到操作者对外科手术机器人4进行编程以移动SCARA 24和末端执行器联接器22为止，或使用主按钮来移动。在一些示例中，可能需要在SCARA 24和末端执行器联接器22将对操作者命令作出响应之前按压至少两个不相邻的主激活开关。按压至少两个主激活开关可以防止SCARA 24和末端执行器联接器22在医疗程序期间的意外移动。

由主按钮激活，测力传感器可以测量由操作者(即，医务人员)施加在末端执行器联接器22上的力的量值和/或方向。这个信息可以传递到SCARA 24内的可以用于移动SCARA24和末端执行器联接器22的一个或多个马达，例如850-854中的一个或多个。关于由测力传感器测得的力的量值和方向的信息可以使一个或多个马达(例如，850-854中的一个或多个)在与由测力传感器感测到的同一方向上移动SCARA 24和末端执行器联接器22。这种力控制的移动可以允许操作者容易地移动SCARA 24和末端执行器联接器22，并且由于在操作者移动SCARA 24和末端执行器联接器22的同时马达移动SCARA 24和末端执行器联接器22，所以不需要大量的努力。

在一些示例中，操作者可以将次按钮用作“选择”装置。在医疗操作期间，外科手术机器人4可以通过一个或多个AR头戴式耳机920、显示器34和/或光指示器28通知医务人员某些情况。一个或多个AR头戴式耳机920各自被配置成将图像显示于透视显示屏上，以形成覆盖在通过透视显示屏可观看的真实世界对象上的增强现实图像。外科手术机器人4可以提示医务人员选择功能、模式和/或评估外科手术系统2的情况。按压次按钮单次可以激活某些功能、模式和/或确认通过一个或多个AR头戴式耳机920、显示器34和/或光指示器28传送给医务人员的信息。另外地，快速连续地按压次按钮多次可以激活另外的功能、模式和/或选择通过一个或多个AR头戴式耳机920、显示器34和/或光指示器28传送给医务人员的信息。

进一步参考图8，外科手术机器人4的电组件包含平台子系统802、计算机子系统820、运动控制子系统840和跟踪子系统830。平台子系统802包含电池806、配电模块804、连接器面板808和充电站810。计算机子系统820包含计算机822、显示器824和扬声器826。运动控制子系统840包含驱动电路842、电机850、851、852、853、854、稳定器855、856、857、858、末端执行器连接器844和控制器846。跟踪子系统830包含方位传感器832和相机转换器834。外科手术机器人4还可以包含可移除脚踏板880和可移除平板电脑890。

输入功率通过可以提供给配电模块804的电源供应给外科手术机器人4。配电模块804接收输入功率，并且被配置成生成提供给外科手术机器人4的其它模块、组件和子系统的不同的电源电压。配电模块804可以被配置成向连接器面板808提供不同的电压供应，所述电压供应可以提供给其它组件(如计算机822、显示器824、扬声器826、驱动器842)以例如给马达850-854和末端执行器联接器844供电，并且提供给相机转换器834和用于外科手术机器人4的其它组件。配电模块804还可以连接到电池806，所述电池在配电模块804未从输入电源接收电力的情况下充当临时电源。在其它时间，配电模块804可以用于给电池806充电。

连接器面板808可以用于将不同的装置和组件连接到外科手术机器人4和/或相关联组件和模块。连接器面板808可以含有接收来自不同组件的线路或连接件的一个或多个端口。例如，连接器面板808可以具有将外科手术机器人4接地到其它设备的接地端端口、用于连接脚踏板880的端口、用于连接到跟踪子系统830的端口，所述跟踪子系统可以包含方位传感器832、相机转换器834和DRA跟踪相机870。连接器面板808还可以包含其它端口，以允许与其它组件(如计算机822)的USB、以太网、HDMI通信。根据一些实施例，连接器面板808可以包含有线和/或无线接口以用于将一个或多个AR头戴式耳机920可操作地连接到跟踪子系统830和/或计算机子系统820。

控制面板816可以提供控制外科手术机器人4的操作和/或提供来自外科手术机器人4的信息以供操作者观察的各种按钮或指示器。例如，控制面板816可以包含用于打开或关闭外科手术机器人4、提升或降低竖直柱16以及提升或降低稳定器855-858的按钮，所述稳定器可以被设计成接合脚轮12以锁定外科手术机器人4而不物理上移动。其它按钮可以在发生紧急情况时停止外科手术机器人4，这可以移除所有马达功率并应用机械制动器来停止所有运动发生。控制面板816还可以具有通知操作者某些系统情况的指示器(如线路功率指示器)或电池806的充电状态。根据一些实施例，一个或多个AR头戴式耳机920可以例如通过连接器面板808通信，以控制外科手术机器人4的操作和/或接收并显示由外科手术机器人4生成的信息以供佩戴AR头戴式耳机920的人员观察。

计算机子系统820的计算机822包含用于操作外科手术机器人4的指定功能的操作系统和软件。计算机822可以接收并处理来自其它组件(例如，跟踪子系统830、平台子系统802和/或运动控制子系统840)的信息，以便向操作者显示信息。进一步地，计算机子系统820可以通过扬声器826为操作者提供输出。扬声器可以是所述外科手术机器人的一部分、AR头戴式耳机920的一部分，或在外科手术系统2的另一个组件内。显示器824可以对应于图1和2所示出的显示器34。

跟踪子系统830可以包含方位传感器832和相机转换器834。跟踪子系统830可以对应于图3的相机跟踪系统6。DRA跟踪相机870与方位传感器832一起操作，以确定DRA 52的姿态。可以以与本公开一致的方式进行这种跟踪，所述跟踪包含使用分别跟踪DRA 52的有源元件或无源元件的位置的红外光或可见光技术，如LED或反射标记。

跟踪子系统830和计算机子系统820的功能操作可以包含在可以由图3A和3B的相机跟踪系统6'来运输的计算机平台910中。跟踪子系统830可以被配置成确定姿态，例如所跟踪的DRA的位置和角度定向。计算机平台910还可以包含导览控制器，所述导览控制器被配置成使用所确定的姿态来向用户提供引导它们在有计划的外科手术程序期间相对于方位配准的患者图像和/或所跟踪的解剖结构移动所跟踪的工具的导览信息。计算机平台910可以在图3B和3C的显示器上和/或向一个或多个AR头戴式耳机920显示信息。当与外科手术机器人一起使用时，计算机平台910可以被配置成与计算机子系统820和图8的其它子系统通信以控制末端执行器26的移动。例如，如将在下面解释的，计算机平台910可以生成患者的解剖结构、外科手术工具、用户的手等的图形表示，其具有基于一个或多个所跟踪的DRA的所确定的姿态进行控制的所显示的大小、形状、颜色和/或姿态，并且所显示的图形表示可以被动态修改以跟踪所确定的姿态随时间的变化。

运动控制子系统840可以被配置成物理地移动竖直柱16、上部臂18、下部臂20，或旋转末端执行器联接器22。可以通过使用一个或多个马达850-854来进行物理移动。例如，马达850可以被配置成竖直提升或降低竖直柱16。如图2所示出的，马达851可以被配置成围绕与竖直柱16的接合点侧向移动上部臂18。如图2所示出的，马达852可以被配置成围绕与上部臂18的接合点侧向移动下部臂20。马达853和854可以被配置成移动末端执行器联接器22，以提供沿三维轴线的平移移动和围绕其的旋转。图9所示出的计算机平台910可以向控制器846提供引导末端执行器联接器22的移动的控制输入，以相对于在有计划的外科手术程序期间要对其进行操作的解剖结构以有计划的姿态(即，相对于限定的3D正交参考轴线的位置和角度定向)定位连接到其的被动末端执行器。运动控制子系统840可以被配置成使用集成的方位传感器(例如，编码器)来测量末端执行器联接器22和/或末端执行器26的方位。

图9展示了根据本公开的一些实施例的外科手术系统的组件的框图，所述外科手术系统包含连接到可以可操作地连接到相机跟踪系统6(图3A)或6'(图3B、3C)和/或外科手术机器人4的计算机平台910的成像装置(例如，C形臂104、O形臂106等)。可替代地，本文所公开的由计算机平台910执行的至少一些操作可以另外地或可替代地由外科手术系统的组件来执行。

参考图9，计算机平台910包含显示器912、至少一个处理器电路914(为简洁起见也被称为处理器)、含有计算机可读程序代码918的至少一个存储器电路916(为简洁起见也被称为存储器)和至少一个网络接口902(为简洁起见也被称为网络接口)。显示器912可以是根据本公开的一些实施例的AR头戴式耳机920的一部分。网络接口902可以被配置成连接到图10中的C形臂成像装置104、图11中的O形臂成像装置106、另一个医学成像装置、含有患者医学图像的图像数据库950、外科手术机器人4的组件和/或其它电子设备。

当与外科手术机器人4一起使用时，显示器912可以对应于图2的显示器34和/或图8的平板电脑890和/或可操作地连接到外科手术机器人4的AR头戴式耳机920，网络接口902可以对应于图8的平台网络接口812，并且处理器914可以对应于图8的计算机822。AR头戴式耳机920的网络接口902可以被配置成根据一种或多种无线通信协议(例如，WLAN、3GPP 4G和/或5G(新无线电)蜂窝通信标准等)通过有线网络(例如，细线以太网)和/或通过无线RF收发器链路通信。

处理器914可以包含一个或多个数据处理电路，如通用和/或专用处理器，例如微处理器和/或数字信号处理器。处理器914被配置成执行存储器916中的计算机可读程序代码918以执行操作，所述操作可以包含本文中描述为针对外科手术计划、导览外科手术和/或机器人外科手术执行的操作中的一些或所有操作。

计算机平台910可以被配置成提供外科手术计划功能。处理器914可以操作以在显示装置912上和/或AR头戴式耳机920上显示通过网络接口920从成像装置104和106之一和/或从图像数据库950接收的解剖结构(例如，椎骨)的图像。处理器914接收操作者对在一个或多个图像中示出的解剖结构要进行外科手术程序(例如，螺钉放置)的位置的限定，如通过操作者触摸选择显示器912上用于有计划的外科手术程序的位置或使用基于鼠标的光标来限定用于有计划的外科手术程序的位置。如将在下面进一步详细解释的，当在AR头戴式耳机920中显示图像时，所述AR头戴式耳机可以被配置成感测由佩戴者形成的基于手势的命令和/或感测由佩戴者说出的基于语音的命令，所述命令可以用于控制菜单项之间的选择和/或控制如何在AR头戴式耳机920上显示对象。

计算机平台910可以被配置成能够进行对膝关节外科手术可能特别有用的解剖测量，类似于对确定臀部中心、角度中心、天然标志(例如，股骨通髁线(transepicondylarline)、白侧线(Whitesides line)、股骨后髁线(posterior condylar line)等)等的各个角度的测量。一些测量可以是自动的，而一些其它测量可以涉及人为输入或辅助。计算机平台910可以被配置成允许操作者输入对患者来说正确的植入物的选择，包含大小和对齐的选择。计算机平台910可以被配置成对CT图像或其它医学图像进行自动或半自动(涉及人为输入)分割(图像处理)。患者的外科手术计划可以存储在可以对应于数据库950的基于云的服务器中，以供外科手术机器人4检索。

例如，在矫形外科手术期间，外科医生可以通过例如AR头戴式耳机920使用计算机屏幕(例如，触摸屏)或增强现实交互(例如，基于手势的命令和/或基于语音的命令)来选择要进行切割的部位(例如，后股骨、胫骨近端等)。计算机平台910可以生成向外科医生提供视觉引导以执行外科手术程序的导览信息。当与外科手术机器人4一起使用时，计算机平台910可以提供允许外科手术机器人4自动将末端执行器26移动到目标姿态使得外科手术工具与目标位置对齐以对解剖结构进行外科手术程序的引导。

在一些实施例中，外科手术系统900可以使用两个DRA来跟踪患者解剖方位，如连接到患者胫骨的DRA和连接到患者股骨的DRA。系统900可以使用标准导览仪器以进行配准和检查(例如，类似于Globus ExcelsiusGPS系统中用于进行脊柱外科手术的指针的指针)。

导览外科手术中的特别具有挑战性的任务是如何计划植入物在脊柱、膝盖和其它解剖结构中的方位，在所述方位处，外科医生努力在计算机屏幕上执行所述任务，其是3D解剖结构的2D表示。系统900可以通过使用AR头戴式耳机920来显示解剖结构和候选植入装置的三维(3D)计算机生成的表示来解决这个问题。在计算机平台910的引导下，计算机生成的表示相对于彼此在显示屏上缩放并摆姿态，并且可以由外科医生在通过AR头戴式耳机920进行观看时对其进行操纵。外科医生可以例如使用由AR头戴式耳机920感测到的基于手势的命令和/或基于语音的命令来操纵解剖结构、植入物、外科手术工具等的所显示的计算机生成的表示。

例如，外科医生可以观看虚拟植入物上的所显示的虚拟手柄，并且可以操纵(例如，抓握和移动)虚拟手柄以将虚拟植入物移动到期望的姿态并且相对于解剖结构的图形表示调整有计划的植入物放置。之后，在外科手术期间，计算机平台910可以通过AR头戴式耳机920显示有助于外科医生更加准确地遵循外科手术计划来插入植入物和/或对解剖结构进行另一个外科手术程序的能力的导览信息。当外科手术程序涉及骨骼移除时，骨骼移除的进展(例如，切割深度)可以通过AR头戴式耳机920实时显示。可以通过AR头戴式耳机920显示的其它特征可以包含但不限于沿关节运动范围的间隙或韧带平衡、植入物上的沿关节运动范围的接触线、通过颜色或其它图形渲染的韧带张力和/或松弛度等。

在一些实施例中，计算机平台910可以允许计划标准外科手术工具和/或植入物的使用，例如后稳定型植入物和十字状保留型植入物、骨水泥型和非骨水泥型植入物、用于与例如全膝关节或部分膝关节和/或髋关节置换和/或创伤相关的外科手术的修正系统。

自动成像系统可以与计算机平台910结合使用，以获取解剖结构的术前、术中、术后和/或实时图像数据。图10和11展示了示例自动成像系统。在一些实施例中，自动成像系统是C形臂104(图10)成像装置或

将C形臂安装成使得臂能够在两个自由度上旋转移动(即，在球形运动中围绕两个垂直轴线)。C形臂可滑动地安装到x射线支撑结构上，这允许C形臂围绕其曲率中心进行轨道旋转移动，这可以允许x射线源114和图像接收器116选择性的竖直和/或水平定向。C形臂还可以是侧向上可旋转的(即，在相对于轨道运行方向的垂直方向上，以使得能够相对于患者的宽度和长度选择性地调整X射线源114和图像接收器116的定位)。C形臂设备的球形旋转方面允许医生以相对于被成像的特定解剖条件确定的最佳角度对患者进行x射线检查。

图11中展示的

带有台架壳体124的

由成像系统捕获到的图像可以显示于AR头戴式耳机920和/或外科手术系统900的计算机平台910、外科手术机器人4和/或另一个组件的另一个显示装置上。AR头戴式耳机920可以例如通过计算机平台910连接到成像装置104和/或106中的一个或多个成像装置和/或图像数据库950，以从其中显示图像。用户可以通过AR头戴式耳机920提供控制输入(例如，基于手势和/或语音的命令)以控制成像装置104和/或106中的一个或多个成像装置和/或图像数据库950的操作。

图12示出了包含一对AR头戴式耳机1200和1210(头戴式显示器HMD1和HMD2)的外科手术系统的组件的框图视图，所述AR头戴式耳机可以对应于图13中所示出的AR头戴式耳机920并且根据本公开的一些实施例进行操作。

参考图12的示例场景，助理612和外科医生610两者分别佩戴AR头戴式耳机1210和1210。助理612佩戴AR头戴式耳机1210是任选的。如将在下面进一步描述，AR头戴式耳机1200和1210被配置成提供佩戴者可以通过其观看与外科手术程序有关的信息并与所述信息交互的交互式环境。这种基于交互式AR的环境可以消除对在手术室中存在技术员614的需要，并且可以消除对使用图6所示出的显示器34的需要。每个AR头戴式耳机1200和1210可以包含被配置成提供跟踪DRA或附接到仪器、解剖结构、末端执行器26和/或其它设备的其它参考阵列的另外的源的一个或多个相机。在图12的示例中，AR头戴式耳机1200具有用于跟踪DRA和其它对象的视场(FOV)1202，AR头戴式耳机1210具有用于跟踪DRA和其它对象的与FOV 1202部分重叠的FOV 1212，并且导览相机46具有用于跟踪DRA和其它对象的与FOV1202和1212部分重叠的另一个FOV 600。

如果阻碍一个或多个相机观看附接到所跟踪的对象(例如，外科手术仪器)的DRA，但是DRA在一个或多个其它相机的视图中，则跟踪子系统830和/或导览控制器828可以继续无缝地跟踪对象，而不会失去导览。另外地，如果从一台相机的角度来看DRA被部分遮挡，但是整个DRA通过多个相机源是可见的，则可以合并相机的跟踪输入以继续对DRA进行导览。AR头戴式耳机中的一个AR头戴式耳机和/或导览相机46可以在AR头戴式耳机中的另一个AR头戴式耳机上观看和跟踪DRA以使得计算机平台910(图9和14)、跟踪子系统830和/或另一个计算组件能够确定AR头戴式耳机的姿态。

AR头戴式耳机1200和1210可以可操作地连接以观看从外科手术室接收的视频、图片和/或其它信息和/或提供控制手术室中的各种设备(包含但不限于神经监测、显微镜、摄像机和麻醉系统)的命令。可以在头戴式耳机内处理和显示来自各种设备的数据，例如显示患者的生命体征或显微镜馈送。

示例AR头戴式耳机组件以及与外科手术机器人和其它设备的集成

图13展示了根据本公开的一些实施例配置的AR头戴式耳机920。AR头戴式耳机包含被配置成将AR头戴式耳机固定到佩戴者的头部的头带1306，并且包含显示屏1302和由头带1306支撑的电子组件外壳1304。显示屏1302可以是透视LCD显示装置或将由显示装置投射的图像朝向佩戴者的眼睛反射的半反射透镜。

图14展示了根据本公开的一些实施例的AR头戴式耳机920的电组件，所述AR头戴式耳机可以可操作地连接到计算机平台910、成像装置中的一个或多个成像装置(如C形臂成像装置104、O形臂成像装置106)和/图像数据库950和/或外科手术机器人800。

AR头戴式耳机920提供用于执行导览外科手术程序的改进的人机界面。AR头戴式耳机920可以被配置成例如通过计算机平台910来提供功能，所述功能包含但不限于以下中的任何一个或多个：标识基于手势的命令和/或基于语音的命令；将AR图形对象显示为可以锚定到通过显示屏1450和相关联光学器件观看的特定真实世界对象的覆盖图；在各种限定显示区域中显示图像；显示来自安装到一个或多个AR头戴式耳机920的相机和其它相机的视频馈送；以及控制外科手术光(内置的或以其它方式可连接的)等。

AR头戴式耳机920的电组件可以包含一个或多个相机1440、麦克风1442、手势传感器1444、姿态传感器(例如，惯性测量单元(IMU))1446、显示模块1448和被配置成显示图像供佩戴者观看并允许至少一些环境光穿过其以供佩戴者观看的显示屏1450。一个或多个相机1440可以被配置成通过使得能够标识在一个或多个相机1440的视场内执行的用户手势来作为手势传感器1444进行操作。可替代地，手势传感器1444可以是感测接近手势传感器1444执行的手势和/或感测物理接触(例如，轻敲传感器或外壳1304)的接近度传感器和/或触摸传感器。姿态传感器1446(例如，IMU)可以包含多轴加速度计、倾斜传感器和/或可以感测AR头戴式耳机920沿一个或多个定义的坐标轴的旋转和/或加速度的另一个传感器。这些电组件中的一些或全部电组件可以含有在组件外壳1304中或可以含有在被配置成在其它地方(如在臀部或肩膀上)佩戴的另一个外壳中。

如上文所解释的，外科手术系统2包含跟踪系统(例如，图12中的6/6'和图8中的跟踪子系统830)和/或计算机平台910以及外科手术机器人4。跟踪系统被配置成确定解剖结构的姿态以及末端执行器和/或外科手术工具的姿态。外科手术机器人4包含被配置成基于限定要使用外科手术工具对解剖结构进行外科手术程序的位置的外科手术计划(例如，根据由图9的计算机平台910执行的外科手术计划功能)并基于解剖结构的姿态确定外科手术工具的目标姿态的一个或多个导览控制器(例如，图14中的828)。一个或多个导览控制器被进一步配置成基于外科手术工具的目标姿态、解剖结构的姿态以及外科手术工具和/或末端执行器的姿态来生成转向信息，所述转向信息指示外科手术工具和/或末端执行器需要在至少一个马达的控制下移动的位置。

AR头戴式耳机920的电组件可以通过有线/无线接口1452可操作地连接到计算机平台910的电组件。AR头戴式耳机920的电组件可以例如通过计算机平台910可操作地连接或通过有线/无线接口1452直接连接到各种成像装置(例如，C形臂成像装置104、I/O形臂成像装置106、图像数据库950)和/或其它医疗设备。

外科手术系统2进一步包含可以驻留在AR头戴式耳机920中和/或计算机平台910中的至少一个AR头戴式耳机控制器1430(为简洁起见也被称为“AR头戴式耳机控制器”)。AR头戴式耳机控制器1430被配置成接收来自导览控制器828的在对解剖结构进行的外科手术程序期间向用户提供引导的导览信息，并且被配置成基于导览信息生成AR图像以在透视显示屏1450上显示。

透视显示屏(也被称为“显示屏”)1450被配置成通过光学系统以如下方式显示对象：当佩戴者从其中查看时，对象似乎是在真实世界中显示。光学系统可以通过直接放置在佩戴者的眼睛前面的头带1306来定位。由AR头戴式耳机控制器1430执行的软件提供了各种功能，所述软件可以驻留在AR头戴式耳机920中和/或通过有线电缆和/或无线通信链路连接的外部组件中。

AR头戴式耳机控制器1430可以在被配置成在观看显示屏1450时佩戴在用户头部或用户身体上的其它部位上的壳体内，或可以在通信连接到显示屏1450时远离观看显示屏的用户定位。AR头戴式耳机控制器1430可以被配置成可操作地处理来自相机1440、麦克风142和/或姿态传感器1446的信令，并且例如通过显示模块1448连接以在显示屏1450上显示AR图像。因此，展示为AR头戴式耳机920内的框的AR头戴式耳机控制器1430应被理解为可操作地连接到AR头戴式耳机920的其它所展示组件，但不必驻留在公共壳体内或可由用户运输。例如，AR头戴式耳机控制器1430可以驻留在计算机平台910内，所述计算机平台进而可以驻留在图3B和3C所示出的计算机跟踪系统6'的壳体内。

示例佩戴者通过AR头戴式耳机进行观看

图15-25展示了根据本公开的一些实施例的通过AR头戴式耳机920的显示屏1450提供给佩戴者的示例视图。

在手术室中使用AR头戴式耳机的一个潜在缺点是，明亮的环境照明可能会“冲刷”或降低所显示对象的对比度。这些潜在的缺陷可以通过下面描述的一些实施例来减少或消除，其中显示屏1450被配置成具有不同的光透射率(不透明性)的水平带和/或其中大小可变的可附接组件通过显示屏1450调整用户的视图的不透明度。光学系统的这些变暗带可以起到增加所显示对象的对比度的作用，例如使外科医生能够更准确地观看医学射线照片。

在一个说明性实施例中，透视显示屏1450被配置有至少两个侧向延伸的带，其中所述至少两个侧向延伸的带中的上部带的光透射率比所述至少两个侧向延伸的带中的下部带的光透射率低，例如更暗(更不透明)，所述两个侧向延伸的带限制了穿过其中以供用户进行观看的入射环境光。至少一个AR头戴式耳机控制器1430可以被配置成在至少两个侧向延伸的带中的上部带中显示二维图像并且显示由至少一个导览控制器1430提供的解剖结构的三维模型。

AR头戴式耳机用户界面进一步实现无菌软件控制和信息特征的突出显示，以解决当前导览技术的局限性。另外地，如下面描述的，提供了使佩戴者能够使用手、外科手术仪器和/或其它对象与导览元件进行虚拟交互的操作功能。

AR头戴式耳机操作可以在不同的带中显示2D图像和3D模型两者。2D图像可以优选地在较不透明的带(显示屏光学器件的上部带)中显示，并且3D模型可以更优选地在以其它方式被称为环境区域(显示屏光学器件的底带)的较透明的带中显示。在显示屏光学器件结束的这个带之下，佩戴者可以无阻挡地观看到患者。注意，单独的带是流体的。3D内容可能会取决于头戴式耳机相对于内容的方位而移动到不透明带，并且2D内容可以被放置在透明带中并相对于真实世界稳定。另外地，整个显示屏光学器件可以变暗，以将头戴式耳机转换成用于外科手术计划的虚拟现实或在操作期间完全透明。任何控制可以取决于佩戴者的偏好在任何带中找到。

图15展示了沿虚线1500划分的跨显示屏1450的两个侧向延伸的带。尽管在图15中未通过阴影展示，但是应理解至少两个侧向延伸的带中的上部带的光透射率(例如，较暗阴影)比至少两个侧向延伸的带中的下部带的光透射率低，以减少穿过其中以供用户进行观看的入射环境光的量。至少一个AR头戴式耳机控制器1430已经在至少两个侧向延伸的带的上部带内的屏幕区1510和1512中显示了多个二维图像。至少一个AR头戴式耳机控制器1430还已经在至少两个侧向延伸的带的中的下部带中的另一个屏幕区1520中显示了解剖结构的三维模型，以及标识要在外科手术程序中使用的有计划的植入物的特性的所显示的植入物信息1530。所显示的植入物信息1530标识出计划将直径5.5mm且长度43mm的CEO带螺纹螺钉植入在脊柱位置L2-L中。

图16-19展示了佩戴者与AR头戴式耳机920的显示屏1450上显示的各种对象进行交互的示例操作。

AR头戴式耳机920可以被配置成提供手部跟踪，其使得佩戴者能够自然地并且以无菌方式与外科手术系统2的软件功能交互。这些操作可以通过处理来自AR头戴式耳机920的一个或多个相机1440的视频流来提供。AR头戴式耳机控制器1430可以被配置成标识多个不同的基于手的手势(包含但不限于捏、推、手信号、预定义的运动(手翻转))并对其作出响应。

佩戴者可以访问不同的菜单和子菜单并执行特定功能，如菜单选择、菜单操纵/重新定位、图像操纵/重新定位以及虚拟投射操纵/重新定位。示例可识别手势可以是捏，其可以通过连接拇指和食指并抬起其它三个手指而形成(如图16所示出的)。当与手势识别功能软件进行交互时，指定特定手势可以减少错误肯定的机会，尤其是在用户偶尔需要将手保持在一个或多个相机1440的视场中的手术室中。手势可以用一只手或两只手来执行。手跟踪功能可以通过在手之上增加不同的手模型(手套、网格、球棒模型)向外科医生显示。

在一个实施例中，可以包含一个或多个相机1440的手势传感器1444被配置成向AR头戴式耳机控制器1430输出由用户形成的手势的指示。AR头戴式耳机控制器1430被配置成响应于对手势的识别来控制在显示屏1450上显示的图形对象。

如上文所解释的，手势传感器1444可以包含被安装成背离用户的一个或多个相机1440以在定位在AR头戴式耳机920前面时在一个或多个相机1440的视场内时输出用户的手的视频流。AR头戴式耳机控制器1430可以被配置成将不同的可识别手势与控制在显示屏1450上显示的图形对象的多个操作中的不同操作相关联。多个操作可以包含以下中的至少一个：用于将在显示屏上显示的菜单项1530扩展成然后在显示屏上显示的子菜单项列表的用户命令；用于选择菜单项和/或在显示屏上显示的多个子菜单项之一的用户命令；以及用于可操作地控制在显示屏上显示的图形对象之一的大小、位置和/或定向的用户命令。

AR头戴式耳机控制器1430可以被配置成在显示屏上显示计算机生成的手模型，所述手模型具有动态更新的姿态，以跟踪在来自相机的视频流中标识出的用户的手的当前姿态。

在其它实施例中，AR头戴式耳机控制器1430被配置成将可识别手势与用于从可以用于植入到解剖结构中的一组外科手术植入物中选择外科手术植入物的命令相关联，并且在显示屏1450上显示所选择的外科手术植入物的图形表示。在另一个实施例中，AR头戴式耳机控制器1430被配置程将不同的可识别手势与由外科手术系统进行的多个操作中的不同操作相关联，其中所述多个操作包含以下中的至少一个：用于控制由成像系统对解剖结构进行的成像的命令；用于控制在显示屏上显示解剖结构的多个图像中的哪个图像的命令；以及用于控制外科手术机器人的机器人臂相对于解剖结构的移动的命令。

在图16中，AR头戴式耳机控制器1430已经在屏幕区1620、1630和1640中显示了多个图像。在屏幕区1620中，AR头戴式耳机控制器1430已经渲染了用户的形成捏手势的手的计算机生成的手模型1622，其被显示为真实世界对象1610(例如，驻留在桌子上的解剖结构)的视频上的图形覆盖并通过一个或多个相机1440进行观看。所识别的退休金手势可以用于在屏幕区1620、1630和1640的控制位置、大小和/或其它特性下沿导览条1600在用户可选择标记显示中进行选择。

通常，外科医生还佩戴带有所附接的外科手术头灯的头盔，以改善患者的可视化。在一种变型中，头灯可以是AR头戴式耳机920的一部分或连接到所述AR头戴式耳机。AR头戴式耳机920可以被配置成通过外部控制或通过包含基于手势的命令识别和/或基于语音的命令识别的AR控制来控制灯的亮度设置。

AR头戴式耳机佩戴者可以使用可由AR头戴式耳机控制器1430识别的基于手势的命令和/或基于语音的命令来改变外科手术工具和/或植入装置的特性。例如，外科医生可以说“将螺钉长度改变为6.5”以使得在显示屏1450上显示的螺钉长度改变以指示与所请求的螺钉长度相对应的大小、形状和/或姿态。

增强导览操作

AR头戴式耳机用户界面进一步实现无菌软件控制和信息特征的突出显示，以解决当前导览技术的局限性。另外地，如下面描述的，提供了使佩戴者能够使用手和外科手术仪器与导览元件进行虚拟交互的操作功能。

图17描绘了佩戴者可以通过显示屏1430看到的内容。在上部带(其可能比下部带更不透明)中，软件显示用于导览的图像，标准是脊柱导览的轴向和矢状视图，但是可以示出任何和多个2D平面，如冠状平面(图16所描绘的)。这些图像可以基于不同程序(如关节成形术)的需要进行修改。图像可以使用手势来放大和平移。另外的视图可以通过手势通过所显示的下拉列表1710来访问。佩戴者可以从列表1710中选择数字小型放大镜视图以及图像库。在这个库中，佩戴者能够观看图像并操纵与患者相关联的图像。对于如MRI/CT扫描等三维(3D)图像，佩戴者可以使用手势滚动切片。通过选择二维(2D)标签，2D图像出现/消失。通过选择3D标签，3D重构模型出现/消失。

在图17的示例中，控制器1430已经在屏幕区1700、1702和1704中显示了多个图像。用户正在使用捏手势来从在显示屏1450上显示的多个项1710(包含标准、冠状、小型放大镜和库的可用图像视图列表)中选择菜单项(例如，冠状图像视图)。

参考图18，AR头戴式耳机操作还允许佩戴者修改显示区1800内的图像属性，如窗口/水平和切片类型(定向)。佩戴者可以通过图18的示例视图中所展示的可选择设置标记1810来执行这些修改。

参考图19，当启用3D时，获得脊柱的3D图形表示(这基于成像扫描)并将其显示在患者上方的显示屏1450上。这个图形表示可以由AR头戴式耳机控制器1430配置成与患者的实际解剖相同的大小并定向成具有与实际解剖相同的姿态，或者可以被配置成更大比例(如2:1)以增强可视化。图形表示可以锚定到基于特定导览参考阵列(在这种情况下为患者参考阵列)确定的位置。这种锚定或领域/环境稳定可以通过内部跟踪和由外向内跟踪两者的组合来执行。

AR头戴式耳机920的IMU 1446可以被配置成测量AR头戴式耳机920的相对定向(由内向外跟踪)。相机跟踪系统6的导览相机46可以用于跟踪AR头戴式耳机920上的参考阵列以测量姿态、方位和角度定向(由外向内跟踪)。当佩戴者的头部移动时，这个数据可以用于更新显示器3D图形表示的投射，从而向佩戴者提供图形表示已经保持静止的感知。这种类型的效应也可以通过同时定位和映射(SLAM)技术来实现。

在一个实施例中，多个相机1440间隔开并且被安装成背离用户。跟踪系统830可操作地连接以处理来自多个相机1440的视频流，并且被配置成确定解剖结构的姿态以及末端执行器和/或外科手术工具的姿态。跟踪系统830可以被进一步配置成处理来自多个相机1440的视频流，以确定连接到解剖结构的参考阵列的姿态和连接到末端执行器和/或外科手术工具的参考阵列的姿态。

在仍另外的实施例中，跟踪系统830处理来自一个或多个跟踪相机(例如，图3A中的46和图8中的DRA跟踪相机870)的视频流以确定连接到AR头戴式耳机920的参考阵列的姿态。AR头戴式耳机控制器1430可以被配置成基于连接到解剖结构的参考阵列的姿态和连接到AR头戴式耳机的参考阵列的姿态来控制在显示屏1450上显示的解剖结构的三维模型的姿态和比例。AR头戴式耳机920的姿态传感器1446可以被配置成输出AR头戴式耳机920的感测到的姿态，并且AR头戴式耳机控制器1430可以可操作地连接到姿态传感器1446并且可以被进一步配置成基于连接到解剖结构的参考阵列的姿态和AR头戴式耳机920的感测到的姿态控制在显示屏1450上显示的解剖结构三维模型的姿态。

这允许佩戴者的头部移动以从解剖的不同角度进行查看。图形表示相对于锚的位置和定向可以取决于佩戴者的偏好而移动并且甚至可以覆盖在患者解剖之上。另外地，在这个特定示例中，图形表示被展示为固体表面，从而提供表面的增强可视化。在不同的变型中，图形表示可以是网格以允许解剖结构内部(例如，骨骼)的可视化。这种3D图形表示最终为佩戴者提供了更直观的导览设置，而不是在使佩戴者负担尝试从精神上可视化3D解剖结构的2D图像上。

参考图20，当将外科手术工具2002带到所跟踪的解剖结构附近并且在跟踪连接到外科手术工具2002的参考阵列2030和2032的相机1440(图14)和46(图6)的视场内时，工具的图形表示2000可以相对于解剖结构的图形表示2010以2D和/或3D图像显示。佩戴者可以使用所观看的图形表示来调整轨迹2020，所述轨迹可以展示为从工具的图形表示2000延伸通过解剖结构的图形表示2010。这种操作可以通过所显示的或通过仪器上的控制命令(例如，按钮)来执行。注意，这可以通过与患者介接的仪器或与3D模型本身介接的仪器来完成。

一旦设置螺钉轨迹，其尺寸(长度、宽度)、定向和深度就可以使用手势(如图20和21所示出的捏手势)来修改。如图22所示出的，轨迹也可以在2D图像中进行调整。例如，在图22中，佩戴者已经形成被解释为用于选择较小大小类型(例如，较小直径和/或长度)的螺钉的命令的手势(例如，捏)，然后在示出为医学图像2200上的覆盖图和/或在另一个图形区2202中显示的螺钉的图形表示2210中对所述较小大小类型进行更新。注意，在这些示例中，螺钉用作植入物，但是植入物可以可替代地包含但不限于间隔件、杆和假体。

参考图23，一旦设置轨迹，当另一个导览工具2300进入工具2002的有计划的轨迹2020的附近(展示为对象2000)时，显示增强的轨迹引导界面以帮助佩戴者将工具2300定位到同一轨迹2020。在图23的特定示例中，指示使仪器2300移动的方向的图形指示器2306出现，直到外圆2302与内圆2304对齐为止。一旦这些圆2302和2304对齐，然后就可以指示佩戴者将仪器2300向下推动到患者体内，直到圆2302和2304对齐(例如，变成同心的)，从而指示达到目标深度。存在其它可能的方法用于这种轨迹引导，包含但不限于指向期望的轨迹和颜色渐变的箭头。一旦放置植入物，佩戴者就可以选择并移动到操作程序的下一个步骤。

参考图24，系统操作功能可以使多个AR头戴式耳机能够以定义的组合操作模式来使用，所述定义的组合操作模式包含以下中的任何一个或多个：协作模式、教学模式和独立模式。在协作模式中，佩戴第二AR头戴式耳机的次要佩戴者具有通过第二AR头戴式耳机与控制由主要佩戴者佩戴的第一AR头戴式耳机的显示界面介接的能力。如图24所示出的，次要佩戴者看到相同的3D模型以及相对于主要佩戴者紧随其后的环境稳定的相关控制，唯一的区别是内容被翻转以从他/她的角度来看是可辨认的。次要佩戴者可以执行如前所述的所有轨迹修改动作，这将通过第一AR头戴式耳机更新主要佩戴者的视图。在教学模式中，主要佩戴者可以改变通过第一AR头戴式耳机提供到第二AR头戴式耳机的他/她的视图以供次要用户观看，以使第二AR头戴式耳机能够从次要佩戴者的角度显示图像/扫描，并且反之亦然。在独立模式中，由第一和第二AR头戴式耳机提供的视图彼此独立地受到控制，这使两个佩戴者能够同时执行独立导览。

例如，在一个实施例中，外科手术系统2包含第一和第二AR头戴式耳机。至少一个AR头戴式耳机控制器(其中之一可以驻留在第一AR头戴式耳机中或连接到所述第一AR头戴式耳机)可操作地连接以接收来自第一AR头戴式耳机的相机的第一视频流，并且被配置成响应于从佩戴第一AR头戴式耳机的用户获得的电子命令而选择性地将第一视频流路由到第一AR头戴式耳机的显示装置和/或第二AR头戴式耳机的显示装置。至少一个AR头戴式耳机控制器(其中之一可以驻留在第二AR头戴式耳机中或连接到所述第二AR头戴式耳机)可操作地连接以接收来自第二AR头戴式耳机的相机的第二视频流，并且被配置成响应于从佩戴第二AR头戴式耳机的用户获得的电子命令而选择性地将第二视频流路由到第一AR头戴式耳机的显示装置和/或第二AR头戴式耳机的显示装置。

参考图25，至少一个AR头戴式耳机控制器可以被配置成在佩戴者的视场内向他/她显示通知和警告。此类警告可以告知例如患者参考阵列已经移动、导览完整性丢失、无法看到一个或多个参考阵列、预测到机器人碰撞的可能性等。这些通知可以在影响或不影响通过AR头戴式耳机920提供的用户界面的操作的情况下在显示屏1450上显示。

如上文所解释的，AR头戴式耳机920和相关联操作不仅支持导览程序，而且可以与机器人辅助程序结合执行。在后一种情况下，术前计划是从计算机平台910加载的。软件用有计划的植入物以3D方式向佩戴者示出整个计划。佩戴者可以选择螺钉或提供对外科手术计划的调整。一旦计划最终确定，佩戴者就可以通过AR界面、脚踏板或其它控制将机器人移动到有计划的轨迹上以引导另外的工具的放置。

使用AR头戴式耳机的外科手术工具导览操作

现在参考图26-31的示例实施例描述可以由外科手术系统2执行以在医疗程序期间通过AR头戴式耳机为外科手术工具提供导览辅助的各种操作。

一些实施例可以使AR头戴式耳机佩戴者能够使用AR覆盖的3D导览对象(也被称为金属瞄准具)将外科手术工具准确地导览到参考空间内的目标矢量位置。覆盖的3D导览对象可以提供经过放大的视觉反馈，以使佩戴者能够相对于操作导览轨迹来校正工具深度、角度和尖端方位。

外科医生可以例如通过计算机平台910的外科手术程序计划功能来计划轨迹，所述轨迹限定患者解剖图像上的特定矢量方位。图像被定位到携带矢量的方位的患者静态参考阵列。患者静态参考阵列由相机进行跟踪，并将其与连接到外科手术工具的另一个所跟踪的阵列进行比较。

图26-28展示了可以在AR头戴式耳机的显示屏上显示的图形对象以提供用于定位外科手术工具的导览辅助。图形对象包含在相对方位中显示的指示外科手术工具的有计划的姿态对当前姿态(例如，方位和角度定向)的细长对象、线路、圆、文本和其它标记。各种实施例可以引导用户相对于解剖结构上的有计划的位置对外科手术工具进行定位，并且引导用户沿有计划的轨迹对外科手术工具进行移动。

如图26所示出的，对当前工具方位的描绘就轨迹而言与有计划的方位未正确对齐，使得工具的远端从有计划的方位偏离轨迹。图像右侧上的圆提供以下指示。小圆2600指示有计划的工具尖端方位，并且被指示整体工具轨迹和工具的远端的方位的中等大小圆2604包围。右边的圆圈2602指示工具的当前方位，这展示了工具的近端更接近有计划的方位，而工具的远端偏离轴线或偏离轨迹。

由AR头戴式耳机控制器1430进行的对应操作可以包含在显示屏1450上显示外科手术工具的目标姿态的图形表示以及在显示屏1450上显示外科手术工具的姿态的图形表示。AR头戴式耳机控制器1430可以被配置成确定外科手术工具的目标姿态的有计划的轨迹与解剖结构上的目标位置相交的位置与外科手术工具的姿态的轨迹与解剖结构上的目标位置相交的位置之间的轨迹偏移距离。

AR头戴式耳机控制器1430可以被配置成将外科手术工具的目标姿态和外科手术工具的姿态的图形表示中的每个图形表示显示为各自具有在相对端之间延伸的主轴线的细长对象2610和2620(例如，矩形线)，并且响应于轨迹偏移距离而控制细长对象的一端在显示屏上显示的位置之间的间隔。例如，如图26所示出的，对象2610可以指示外科手术工具的有计划的姿态并且对象2620可以指示外科手术工具的当前姿态。

在一个实施例中，AR头戴式耳机控制器1430被配置成响应于外科手术工具的目标姿态的有计划的轨迹与外科手术工具的姿态的轨迹之间的角度而控制在显示屏上显示的细长对象2610与2620之间的倾斜角度。

在另一个实施例中，AR头戴式耳机控制器1430可以被配置成将外科手术工具的目标姿态和外科手术工具的姿态的图形表示中的每个图形表示显示为圆形对象2602-2604，并且响应于轨迹偏移距离控制在显示屏上显示的圆形对象的中心之间的间隔。

在另一个实施例中，AR头戴式耳机控制器1430被配置成将外科手术工具的目标姿态和外科手术工具的姿态的图形表示显示为间隔开一定距离的对象，所述距离指示从外科手术工具的尖端到解剖结构上的目标位置的偏移。

图27展示了外科手术工具的有计划的位置和当前位置的近侧尖端重叠，而外科手术工具的当前姿态2620相对于有计划的姿态2610倾斜。

使用视觉导览信息，佩戴者将工具朝向有计划的姿态移动，并且在当前姿态朝向有计划的姿态会聚时，所述会聚使所显示的圆会聚变成彼此同心。如图28所示出的，随着圆重叠，圆对应地变得更加填充。图28进一步展示了外科手术工具的有计划的位置和当前位置的近端尖端重叠，并且外科手术工具的当前姿态与有计划的姿态一致，使得外科手术工具的当前姿态与有计划的姿态准确对齐。

在一些另外的或替代性实施例中，AR头戴式耳机控制器1430被配置成显示外科手术工具的目标姿态和外科手术工具的姿态相对于表示三维空间的三个正交轴线的图形表示。AR头戴式耳机控制器1430响应于外科手术工具的尖端与解剖结构上的目标位置之间的深度偏移距离而控制图形表示沿三个正交轴线中的第一正交轴线显示的位置之间的间隔。AR头戴式耳机控制器1430还可以响应于外科手术工具的目标姿态的有计划的轨迹与解剖结构上的目标位置相交的位置与外科手术工具的姿态的轨迹与解剖结构上的目标位置相交的位置之间的轨迹偏移距离而控制图形表示沿由三个正交轴线中的第二和第三正交轴线形成的平面显示的位置之间的间隔。

除一般的空间数据之外，这个实施例还使用来自跟踪参考阵列的一个或多个相机的更多数据来包含外科手术工具的深度跟踪。当外科手术工具移动到用于外科手术程序的有计划的姿态时，这允许向佩戴者提供更高的导览准确度。示例操作流程可以包含从一个或多个相机获取方位和角度数据以及投射数据以通过显示屏1450进行显示。在图29的所展示的示例中，显示了有计划的工具轨迹线2900以及三个深度圆2910、2912和2914。深度圆2910指示连接到外科手术工具2932的参考阵列2930的当前深度，相对于指示外科手术工具2932的尖端的当前深度的深度圆2912，并且相对于指示工具2932的尖端的有计划的最大插入深度的深度圆2914。显示了偏移圆2920和2922，其指示附接到外科手术工具2932的参考阵列2930与有计划的工具轨迹线2900之间的偏移。

所展示的导览操作的目标是在视觉上放大深度、角度和工具尖端方位校正，使得佩戴者可以更准确地将工具排列到有计划的轨迹2900，并且然后将工具向下导览到解剖结构内的有计划的最大插入深度。动态修改所显示的偏移圆2920和2922，以指示工具尖端与工具的工具在工具被移动更靠近有计划的轨迹2900时相对于轨迹2900的偏移正在减小。在工具变得与有计划的轨迹2900充分对齐之后，佩戴者然后使工具沿轨迹2900向下移动，直到深度圆2912和2914会聚在有计划的最大插入深度处。

图30展示了解剖结构3000(例如，脊椎骨)的图形表示以及工具2932相对于有计划的工具轨迹2900的当前方位。图30中还展示了图29的偏移圆2920和2922以及深度圆2912和2914，从而向佩戴者提供导览引导以使工具2932移动以与有计划的工具轨迹2900对齐。当前工具尖端方位被展示为与有计划的工具轨迹2900相一致，即，尖端位置或下部深度环可以被视为处于正确方位，而上部环被示出为是偏移的。

图31展示了在佩戴者已经移动工具2932使其变得与有计划的工具轨迹2900对齐使得图29的偏移圆变得同心之后的解剖结构3000的图形表示的后续视图。然后，外科医生可以使工具2932沿有计划的工具轨迹2900向下移动，直到图29的深度圆对齐为止。

偏移圆和/或深度圆可以使用颜色编码来渲染，例如当它们与正确的定位对齐时从红色变为绿色。

使用一个或多个AR头戴式耳机的医疗装置的跨平台集成

各种其它实施例涉及提供使用一个或多个AR头戴式耳机的医疗装置的跨平台集成。这些操作可以避免医务人员感到需要移除AR头戴式耳机以便对一个或多个医疗装置和手术室执行某些动作，如在对成像系统进行导览以捕获期望的患者图像时。用于与患者或成像系统界面交互的AR头戴式耳机的此类间歇性移除会引起与无菌性以及外科手术程序阶段之间的很大的不令人期望的干扰有关的问题，如在人员执行用于重新校准AR头戴式耳机的操作时。

各种实施例使用通过AR头戴式耳机执行的被配置成在外科手术程序期间对成像系统和其它医疗装置的用户界面进行导览的自定义映射控制。例如，佩戴者可以使用手势命令和/或语音命令与AR头戴式耳机进行交互，以控制成像系统的定位，计划成像系统上的成像镜头，启动成像镜头和/或使用所获得的成像镜头来计划一个或多个医疗植入物和相关联外科手术工具的轨迹。

已知各种先前已知的医疗装置(如各种外科手术机器人和成像系统)仅提供用于在外科手术程序的计划期间以及在外科手术程序的实施执行期间进行操纵的物理用户界面。如果外科医生正在佩戴AR头戴式耳机，则外科医生可能会感觉有必要移除AR头戴式耳机，以便行进到手术室并自由控制所述手术室中的各种医疗装置的物理用户界面。

根据本文的各种实施例，AR头戴式耳机使佩戴者能够通过手势命令、语音命令和/或可以由AR头戴式耳机感测到和/或输入到所述AR头戴式耳机的其它命令输入信息并控制可操作地连接(有线/无线通信连接)到AR头戴式耳机的医疗装置的操作。AR头戴式耳机由此使佩戴者能够将注意力集中于在佩戴者面前发生的外科手术程序上并维持外科手术工作流程的无菌性和控制。

在一个实施例中，AR头戴式耳机可操作地连接到成像系统，并且被配置成基于对手势命令、语音命令和/或由AR头戴式耳机感测到和/或输入到所述AR头戴式耳机的其它命令的标识向成像系统提供信息和/或命令。成像系统的导览控制可以映射到AR头戴式耳机的虚拟空间。AR头戴式耳机可以用于控制成像系统相对于患者进入期望的方位的移动，调整成像镜头方位，选择成像镜头的扫描设置(例如，患者信息、扫描类型等)并且启动通过使用可以包含相对于显示屏1450上显示的虚拟菜单执行的手势和/或语音命令的虚拟控制进行的成像镜头旋转。通过使用虚拟控制，避免了佩戴者的手与成像系统之间的物理接触。为了提高安全性，可以包含呈脚踏板的形式的安全停止开关，例如防止成像系统在释放时移动的故障安全开关，以供AR头戴式耳机佩戴者使用。

AR头戴式耳机可以配置成在佩戴者面前提供典型视场的无阻碍视图，所述无阻碍视图可以被清除，直到响应于识别出的手势命令、语音命令和/或由AR头戴式耳机感测到和/或输入到所述AR头戴式耳机的其它命令而启动菜单项为止。当C形臂成像装置捕获到用于外科手术程序的多个图像时，图像可以存储在图像数据库950中。对每个成像系统来说独特的程序的透视图和其它视图为佩戴者提供了多种方式来确保有计划的工具轨迹的准确度以及对供外科手术程序期间使用的正确的工具和植入物的选择。

在一些其它实施例中，AR头戴式耳机可操作地连接以控制外科手术计划工作流程和/或其它信息(例如，图像)从计算机平台910到外科手术机器人4、两个外科手术机器人4之间和/或外科手术机器人4与其它医疗装置之间的传递。

在一个实施例中，AR头戴式耳机可操作地连接以控制一个或多个成像系统(例如，C形臂成像装置104和/或O形臂成像装置106)与计算机平台910之间的跨平台集成。佩戴者可以操纵映射在AR头戴式耳机的虚拟空间中的控制菜单，以允许单独控制成像系统和计算机平台910。佩戴者可以通过由AR头戴式耳机提供的控制菜单来进行导览，以计划和进行由成像系统进行的成像旋转，然并且后使用所获得的图像通过计算机平台910快速地进行轨迹计划和工具选择。

在另外的实施例中，当AR头戴式耳机佩戴者的视线变成指向外科手术机器人4时，图形指示器可以显示为指示佩戴者现在可以通过AR头戴式耳机介接以控制外科手术机器人4的各种操作功能的覆盖图。

在另一个另外的实施例中，当AR头戴式耳机佩戴者的视线变成指向例如用于脊柱对齐程序的弯杆机装置时，图形指示器可以显示为指示佩戴者现在可以通过AR头戴式耳机介接以控制弯杆机的各种操作功能(如基于来自计算机平台910的通过计划相对于所获得的医学图像中一个或多个医学图像的螺钉放置而生成的当前数据使杆植入物成形)的覆盖图。

将AR头戴式耳机与各种医疗装置集成的这些和其它相关跨平台操作可以减少外科手术计划和执行程序的阶段之间不必要的停机时间。通过允许区域处理和工作流程在各种装置之间传输信息，多种装置(所述装置中的多于一个装置)可以同时在同一工作流程上工作。这些操作可以避免在外科医生通过各个阶段依次移动以获得脊柱图像、使用脊柱图像来计划脊柱内的螺钉放置以及使用于连接到脊柱的杆成形时在手术室中的外科手术程序期间发生的典型停顿。

根据本实施例的示例工作流程可以包含：佩戴者使用AR头戴式耳机进行导览将C形臂成像装置104引导到适当方位中，以便对患者进行成像扫描。一旦处于适当方位中，佩戴者就可以使用AR头戴式耳机显示屏1452来找到用于进行成像旋转的操作偏好并执行成像旋转。成像旋转生成静态图像，佩戴者在所述静态图像上通过计算机平台910使用其来计划螺钉轨迹。一旦计划螺钉轨迹，佩戴者就将外科手术计划传递到外科手术机器人4，以在将螺钉放置到脊柱中期间获得导览辅助。同时，在轨迹计划完成后，佩戴者可以将完成的轨迹计划发送到开始弯曲脊柱矫正杆的弯杆机装置。当弯杆机装置使用完成的轨迹计划弯曲脊柱矫正杆时，佩戴者可以使用AR头戴式耳机通过外科手术机器人4的操作来帮助螺钉放置。一旦螺钉成功地固定在患者的脊椎中的适当位置，佩戴者就可以使用由外科手术机器人4与弯杆机装置之间的跨平台集成生成的脊柱矫正杆的虚拟模型来确保在进行杆放置之前将杆固定到螺钉轨迹的准确度。

因此，在一些另外的实施例中，AR头戴式耳机控制器被配置成将一组定义的手势和/或一组定义的语音命令与用于至少一个外部医疗装置的一组控制命令相关联，并标识相机视频流中的定义的手势之一的发生和/或音频流中的定义的语音命令之一的发生。AR头戴式耳机控制器被配置成响应于定义的手势和/或定义的语音命令之一的经标识发生而从一组控制命令中选择控制命令，并将所选择的控制命令传送到外部医疗装置。

在一个实施例中，用于外部医疗装置的一组控制命令包含控制以下中的至少一个的命令：成像系统的移动；调整图像中的要由成像系统捕获的区域；以及启动由成像系统对图像进行的捕获。

在一个实施例中，用于外部医疗装置的一组控制命令包含控制以下中的至少一个的命令：将用于脊柱矫正杆的轨迹计划传递到弯杆机装置；通过弯杆机装置启动脊柱矫正杆的弯曲；以及将操作状态信息从弯杆机装置传递到AR头戴式耳机以进行显示。

具有不透明度滤光器的AR头戴式耳机

图32展示了具有跨AR头戴式耳机920的前部(例如，头带)侧向地延伸并从所述前部向下延伸的曲面透镜3210的AR头戴式耳机920。与图13所示出的AR头戴式耳机920相比，图32的AR头戴式耳机920进一步包含不透明度滤光器3200，所述不透明度滤光器被配置成根据本公开的一些实施例的曲面透镜3210的表面上的侧向延伸的带。

在图32的实施例中，曲面透镜3210作为将来自显示面板的光朝向用户的眼睛反射的透视显示屏(也被称为组合器)进行操作。显示面板可以定位于电子组件外壳与用户的头部之间，并且成一定角度以将虚拟内容朝向曲面透镜3210投射以朝向用户的眼睛反射。组合器是半透明和半反射的，从而允许用户看到覆盖在真实世界场景的用户视图上的所反射的虚拟内容。不透明度滤光器3200的不透明度控制来自真实世界场景的光穿过用户的眼睛的量。不透明度滤光器3200的高不透明度配置使得高对比度虚拟图像覆盖在真实世界场景的昏暗视图上。不透明度滤光器3200的低不透明度配置可以使得更模糊的虚拟图像覆盖在真实世界场景的较清楚视图上。如将在下面进一步详细解释的，不透明度滤光器可以如通过在透镜3210的表面上应用不透明材料来提供不变的不透明度，或可以提供电可控制的不透明度。

根据一些实施例，外科手术系统包含AR头戴式耳机920和AR头戴式耳机控制器，例如图14中的控制器1430或图34中的控制器3410。AR头戴式耳机920被配置成在外科手术程序期间由用户佩戴并且具有透视显示屏3210，所述透视显示屏被配置成显示AR图像并且允许真实世界场景的至少一部分从其中穿过以由用户进行观看。AR头戴式耳机920还包含不透明度滤光器，所述不透明度滤光器在透视显示屏3210由用户进行观看时定位于用户的眼睛中的至少一只眼睛与真实世界场景之间。所述不透明度滤光器被配置成向来自所述真实世界场景的光提供不透明性。所述AR头戴式耳机控制器被配置成与导览控制器(例如，图14中的一个或多个控制器828A、828B和/或828C)通信以接收来自导览控制器的在对解剖结构进行的外科手术程序期间向所述用户提供引导的导览信息，并且被进一步配置成基于导览信息生成AR图像以在透视显示屏3210上显示。

在另外的实施例中，透视显示屏3210包含跨AR头戴式耳机920的前部侧向延伸并从所述前部向下延伸的曲面透镜，并且所述不透明度滤光器位于曲面透镜的表面上。在另一个实施例中，所述不透明度滤光器被配置为至少两个侧向延伸的带，其中所述至少两个侧向延伸的带中的上部带的光透射率比所述至少两个侧向延伸的带中的下部带的光透射率低。

在另一个实施例中，不透明度滤光器被配置为具有随着从曲面透镜3210(透视显示屏)的顶部部分向下的距离而更加连续变化的不透明度的梯度。梯度的最暗点可以定位于曲面透镜3210的顶部部分处，并在透视曲面透镜3210上进一步向下逐渐变得较不透明，直到不透明度滤光器透明或不存在于曲面透镜3210上为止。在另外的示例实施例中，梯度可以大约在曲面透镜3210的中眼水平处从约90％不透明度改变成完全透明。在正确校准并放置头戴式耳机的情况下，中眼水平可以对应于用户将会直视的点，并且梯度的末端将定位于眼睛的“水平”线。梯度的较暗部分将允许虚拟内容的清晰明确的视觉并且有助于阻挡高架手术室灯的侵入亮度。

以这种方式使用不透明度滤光器使得AR头戴式耳机920能够通过基本上或完全阻挡来自真实世界场景的光沿曲面透镜3210的上部部分来提供虚拟现实(VR)功能并沿着曲面透镜3210的中间或下部部分提供AR功能。这允许用户在有需要并且在程序期间允许对患者解剖使用明确光学器件的位置具有半透明的AR。将不透明度滤光器3200配置为梯度而不是更恒定的不透明度带可以使佩戴者在更VR类型的视图与更AR类型的视图之间体验更自然的过渡，而不会体验真实世界场景的亮度以及可以如在上下视图之间进行更快速的移位期间以其它方式使眼睛疲劳的景深的突变。

显示面板和曲面透镜3210可以被配置成提供宽视场透视AR显示系统。在一个示例配置中，它们为用户提供了80°对角线视场(FOV)和55°竖直覆盖范围以供用户观看虚拟内容。其它对角线FOV角度和竖直覆盖范围角可以通过不同大小的显示面板、不同曲率的透镜和/或显示面板与透镜之间的不同距离和角度定向来提供。

如上文所解释的，不透明度滤光器用于改变通过头戴式耳机观看到的真实世界场景的不透明度。在一个实施例中，不透明度滤光器和透镜被配置成提供三种不同的不透明度视图，如：(a)在其中真实世界场景显著变暗并且AR图像(虚拟内容)以高对比度和观看清晰度显示的高不透明度上部透镜区域，例如VR显示器；(b)不透明度小于上部透镜区域并且在其中提供了更传统的AR的中间透镜区域；以及(c)透镜在其之前已经结束因此用户可以向下看以获得真实世界场景的100％无阻挡视图的下部区域。

因此，高不透明度(例如，不小于80％不透明性)上部透镜区域(例如，在地平线上方)为显示AR图像提供了高对比度并且其中真实世界的视觉清晰度不太重要。较低不透明度(例如，不超过50％不透明性)中间透镜区域(例如，在地平线以下)为同时观看覆盖在真实世界场景上的AR图像提供较少对比度。透镜结束的下部区域(例如，水平线以下30°)为用户提供了真实世界场景的无阻挡视图。

一些另外的实施例涉及所述AR头戴式耳机控制器被配置成在所述透视显示屏的多个不同区域中进行选择，以基于AR图像类型的特性和所述不透明度滤光器的与所述透视显示屏的不同区域对齐的区域的不透明性水平显示不同类型的AR图像。例如，更重要的AR图像(虚拟内容)可以显示在地平线上方，如在高不透明度上部透镜区域内，以确保无论明亮的手术室照明如何都可以清晰地对所述AR图像进行观看。在不透明度滤光器的较高不透明度区域内显示重要的AR图像可能是有利的，因为在外科手术期间在所述所观看的区内发生的物理世界交互最少。可以被配置用于在不透明度滤光器的较高不透明度区域中显示或可以由AR头戴式耳机控制器选择用于在所述较高不透明度区域中显示的AR图像(虚拟内容)的一些示例可以包含但不限于以下中的任何一个或多个：

I)患者解剖的2D轴向、矢状和/或冠状视图；

2)有计划的工具和外科手术植入物位置对当前跟踪的工具和外科手术植入物位置的重叠图；

3)术前图像库；

4)来自显微镜和其它类似系统的视频馈送或远程视频会议；以及

5)选项和配置设置以及按钮。

不透明度低于上部透镜区域的中间透镜区域可以提供更传统的AR区域用于显示AR内容。可以被配置用于在不透明度滤光器的中间透镜区域中显示或可以由AR头戴式耳机控制器选择用于在中间透镜区域中显示的AR图像(虚拟内容)的一些示例可以包含但不限于以下中的任何一个或多个：

1)具有外科手术计划信息的患者解剖的浮动3D模型；

2)相对于浮动患者解剖的外科手术仪器的实时跟踪；

3)具有指令和引导的患者解剖的增强覆盖图；以及

4)外科手术设备的增强覆盖图。

AR头戴式耳机控制器可以被配置成确定不同类型的AR图像显示的位置。在一个实施例中，多种不同类型的AR图像顺序地或同时地在透视显示屏上显示。对于多种AR图像类型中的每种AR图像类型，所述AR头戴式耳机控制器被配置成在所述透视显示屏的多个不同区域中进行选择，以基于所述AR图像类型的特性和所述不透明度滤光器的与所述透视显示屏的所述不同区域对齐的区域的不透明性水平显示所述AR图像类型。例如，AR头戴式耳机控制器可以接收定义将在流中接收的AR图像类型的元数据，并且可以基于元数据响应地确定其将在流中显示AR图像的位置。元数据可以由人进行编码以标识关于流中的AR图像应该显示的位置的偏好，或可以标识规则集可以根据其引导AR头戴式耳机控制器决定流中AR图像应该显示的位置的特性，如图像类型的指示(例如，2D医学图像、3D图形模型等)。用户可以输入命令以在透视显示屏的不同区域之间和同一区域内移动AR图像。

如图32所示出的，不透明度滤光器3200可以被配置为侧向延伸的带。在一些实施例中，所述AR头戴式耳机控制器被配置成在所述透视显示屏的与所述不透明度滤光器的所述侧向延伸的带对齐的区域中显示以下中的至少一个：患者解剖的2D轴向、矢状和/或冠状视图图像；有计划的和/或当前跟踪的外科手术工具姿态；外科手术植入物位置的图形模型；来自医疗仪器的视频；以及控制医疗设备的用户可选择菜单项触发操作。所述AR头戴式耳机控制器被进一步配置成在所述透视显示屏的与所述不透明度滤光器的所述侧向延伸的带不对齐的另一个区域中显示以下中的至少一个：解剖结构和外科手术计划信息的3D图形模型；外科手术仪器的3D图形模型；与相对于解剖结构的图形模型的姿态一起显示的外科手术仪器的动画3D图形模型，所述动画3D图形模型被修改成实时跟踪外科手术仪器相对于解剖结构的测得的姿态；以及解剖结构和来自导览控制器的导览信息的图形模型，所述导览信息在对解剖结构进行的外科手术程序期间向用户提供视觉引导。

注意，虽然通过用眼睛和头部两者向下看容易获得俯卧患者的无阻挡视图，但是也可以通过将头部向下俯仰得更远一点以通过中间透镜区域查看来获得患者的增强视图。

以这种方式，AR头戴式耳机可以被配置成提供VR和AR两者的混合功能和益处，从而以使应用(如实时互操作外科手术)的实用性最大化的方式跨VR-AR连续体。AR头戴式耳机通过在高不透明度上部透镜区域内或下部不透明度中间透镜区域中选择性地显示AR图像来提供针对要在所显示的AR图像(虚拟内容，如医学图像)与真实世界场景之间提供的对比度的程度的选项。用户可以进行微小的头部俯仰移动以相对于真实世界场景调整各个区域，例如以获得覆盖在解剖结构上的AR图像并且可替代地获得解剖结构的无阻挡视图。AR头戴式耳机可以被配置成标识控制在形成透视显示屏的透镜上的位置显示何种类型的AR内容的手势和/或语音命令。

动态控制不透明度滤光器和/或显示器的亮度

如上文所解释的，不透明度滤光器的不透明度控制来自真实世界场景的光穿过用户的眼睛的量。不透明度滤光器的高不透明度配置使得高对比度虚拟图像覆盖在真实世界场景的昏暗视图上。不透明度滤光器的低不透明度配置可以使得更模糊的虚拟图像覆盖在真实世界场景的较清楚视图上。在外科手术环境中，不应损害操作的真实世界视图或虚拟显示的医学图像的清晰度。另外地，手术室通常含有非常明亮的光(即，针对患者的外科手术灯)以及光线不足区两者，从而导致固定的不透明度无法考虑不同的照明条件的环境。

除不透明度滤光器的整体不透明度之外，AR图像中的内容的颜色还可能会显著影响不同环境中的可见度。由于虚拟内容覆盖在真实世界场景上，因此颜色与真实世界场景的颜色匹配的任何虚拟内容对于用户而言都将更加难以清晰地感知。例如，蓝色虚拟菜单在带有蓝色墙壁的房间中将难以读取，但是在带有白色墙壁的房间中将较容易读取。在外科手术环境中，会降低清晰度或易读性的任何问题都应当避免。

本公开的一些实施例涉及通过将AR头戴式耳机控制器配置成基于真实世界场景的亮度和/或颜色电控制不透明度滤光器的区域的不透明性和/或通过将AR头戴式耳机控制器配置成基于真实世界场景的亮度和/或颜色控制在透视显示屏上显示的AR图像的亮度和/或颜色来克服这些问题中的一个或多个问题。

图33展示了根据本公开的一些实施例的被配置成响应于来自AR头戴式耳机控制器1430的电信令而具有可变化不透明度水平的不透明度滤光器3310的框图。不透明度滤光器3310可以由被配置成具有响应于所施加的电压而变化的光透射属性的电致变色材料形成。在另一个实施例中，不透明度滤光器3310是由被配置成具有可响应于所施加的电压和/或电流变化的光透射属性的液晶装置(如聚合物分散型液晶装置)或其它透视装置形成的。

AR头戴式耳机控制器1430可以被配置成电控制不透明度滤光器3310的不同区域的不透明度。图33展示了AR头戴式耳机控制器1430可以被配置成如通过提供三个不同不透明度的侧向延伸的区域3320、3322和3326来选择性地控制不透明度滤光器3310的不同区域的不透明度。可替代地或另外地，AR头戴式耳机控制器1430可以被比较以控制可以被定位成与在透视显示屏3324上显示的VR对象对齐以减少穿过所述对象的真实世界光并且由此增加对象的对比度可见度的较小限定区(如区3324)的不透明度。

图34展示了包含连接到可以驻留在计算机平台910中的AR处理电路系统3400的AR头戴式耳机920的外科手术系统的组件的框图，所述AR处理电路系统包含根据本公开的一些实施例配置的AR头戴式耳机控制器1430。图35-39展示了根据本公开的一些实施例的可以由AR头戴式耳机控制器3410执行以控制信息如何在透视显示屏上显示和/或控制不透明度滤光器的不透明度的操作的流程图。

参考图34，AR头戴式耳机920包含AR发射器3430，所述AR发射器被配置成响应于来自AR头戴式耳机控制器1430的信令投射用于AR图像的光。AR发射器3430将光朝向组合器3440透射，所述组合器被配置成将从AR光发射器3430投射的AR图像3432的所述光与来自真实世界场景3434的光组合成能够由用户3450进行观看的组合覆盖图像3436。以这种方式配置的组合器3440作为透视显示屏进行操作。不透明度滤光器3310与组合器3440对齐，使得来自真实世界场景3434的光在沿用户3450的视线穿过组合器3440之前穿过在此处可以对光进行过滤的不透明度滤光器3310。在从真实世界场景到达的光的方向上，不透明度滤光器3310的后表面可以直接在组合器3440的前表面上。

在一些实施例中，不透明度滤光器直接在组合器3440上并且提供固定量的阴影。不透明度滤光器可以包含直接施加到组合器3440的表面的阴影以提供真实世界场景的固定量的不透明度过滤。例如，一个或多个阴影水平的一个或多个侧向延伸的带可以在组合器3440的表面上直接形成。可替代地，阴影梯度可以在组合器3440的表面上直接形成。可以使用阴影来代替电可控不透明度滤光器3310，或者可以将阴影与电可控不透明度滤光器3310组合使用以使真实世界场景变暗。

外科手术系统可以包含被配置成输出捕获真实世界场景的视频帧的相机。在图34的实施例中，一个或多个前向相机1440可以被配置成沿用户的视线观看真实世界场景。可替代地或另外地，相机3460可以被定位和配置成感测来自用户的眼睛3450之一的反射以便捕获由用户观看的真实世界场景。相机3460可以另外地用于跟踪用户正在看的位置，并且AR头戴式耳机控制器1430可以被配置成调整不透明度滤光器3310的不透明度和/或基于指示用户正在看的位置的信令显示的AR图像的亮度和/或颜色。

各个另外的实施例涉及AR头戴式耳机控制器1430被配置成基于真实世界场景的亮度和/或颜色电控制不透明度滤光器3310的区域的不透明性和/或涉及AR头戴式耳机控制器1430被配置成基于真实世界场景的亮度和/或颜色控制在透视显示屏上显示的(即，由AR发射器3430朝向组合器3440投射的)AR图像的亮度和/或颜色。

参考图35的操作实施例，AR头戴式耳机控制器1430被配置成3500确定视频帧内的限定区的亮度和/或颜色，并且3502基于视频帧内的限定区的所确定的亮度和/或颜色控制在透视显示屏上显示的(即，由AR发射器3430朝向组合器3440投射的)AR图像的亮度和/或颜色。

AR头戴式耳机控制器1430可以是AR处理电路系统3400的一部分，所述AR处理电力系统可以位于被配置成在观看显示屏1450时佩戴在用户头部或用户身体上的其它部位上的壳体内，或可以在通信连接到显示屏1450(如在联网服务器内)时远离观看显示屏的用户定位。

参考图36的操作实施例，AR头戴式耳机控制器1430被配置成3600确定视频帧内的限定区的亮度和/或颜色，并且3602基于视频帧内的限定区的所确定的亮度和/或颜色控制不透明度滤光器3310的至少一个区(例如，图33中的带3320)的不透明度。

参考图37的操作实施例，AR头戴式耳机控制器1430被配置成3700确定AR头戴式耳机920的姿态(例如，沿两个或更多个限定轴线的位置和/或角度定向)，并且3710基于AR头戴式耳机920的所确定的姿态控制不透明度滤光器3310的至少一个区的不透明度(例如，黑暗和/或颜色)。AR头戴式耳机控制器1430被配置成3702确定所述AR头戴式耳机相对于含有解剖结构的外科手术部位的姿态，并且基于所述AR头戴式耳机相对于外科手术部位的所确定的姿态控制不透明度滤光器的至少一个区的不透明度。例如，在图33中，AR头戴式耳机控制器1430可以基于区3324被确定为沿用户的视线距解剖结构的限定偏移距离来使所述区变暗，以便增加用于观看相关联AR图像的对比度。

AR头戴式耳机控制器1430可以被配置成使不透明度滤光器3310变暗以在用户远离外科手术部位向上看时提高用户的对AR图像的可见度。例如，头戴式耳机控制器1430可以被配置成3712基于检测到AR头戴式耳机远离外科手术部位向上倾斜而增加不透明度滤光器3310的至少一个区的不透明度，并且然后3714基于检测到AR头戴式耳机已经朝向外科手术部位向下倾斜而降低不透明度滤光器3310的所述区的不透明度。

AR头戴式耳机控制器1430可以被配置成基于在来自相机1440/3460的视频帧内标识出的对象的亮度和/或颜色来控制不透明度滤光器的区的不透明度。参考图38的操作实施例，AR头戴式耳机控制器1430被配置成3800标识视频帧内的对象，3802确定视频帧内的经标识对象的亮度和/或颜色，3804确定AR头戴式耳机920相对于与视频帧内的经标识对象相对应的真实世界对象的姿态，并且3806基于视频帧内的经标识对象的所确定的亮度和/或颜色并基于所确定的姿态控制不透明度滤光器3310的至少一个区的不透明度(例如，黑暗和/或颜色)。

AR头戴式耳机控制器1430可以被配置成基于在来自相机1440/3460的视频帧内标识出的对象的亮度和/或颜色来控制在透视显示屏上显示的(即，由AR发射器3430朝向组合器3440投射的)信息的亮度和/或颜色。参考图39的操作实施例，AR头戴式耳机控制器1430被配置成3900标识视频帧内的对象，3902确定视频帧内的经标识对象的亮度和/或颜色，3904确定AR头戴式耳机920相对于与视频帧内的经标识对象相对应的真实世界对象的姿态(例如，位置和/或角度定向)，并且3906基于视频帧内的经标识对象的所确定的亮度和/或颜色并基于所确定的姿态控制在透视显示屏上显示的AR图像的亮度和/或颜色。

AR头戴式耳机控制器1430可以被配置成控制不透明度滤光器3310的单独的像素或像素组的不透明度。例如，不透明度滤光器3310可以被配置成具有布置在网格中并且电可控以根据光透射率调整像素不透明度的多个像素。AR头戴式耳机控制器1430被配置成电控制不透明度滤光器3310以基于与在透视显示屏上显示的(即，由AR发射器3430朝向组合器3440投射的)AR图像的形状的至少一部分对齐或从其偏移一定距离而为选自网格的至少一些像素提供增加的不透明度。例如，可以通过AR头戴式耳机控制器1430使在手术室中的明亮照明的用户视图变暗，从而为沿用户的视线与照明对齐的不透明度滤光器3310的一组像素提供增加的不透明度。以类似的方式，从解剖结构偏移限定距离的区可以通过AR头戴式耳机控制器1430为不透明度滤光器3310的沿用户的视线与所述区域对齐的一组像素提供增加的不透明度而在外科手术程序期间变昏暗以提供覆盖在所述区上的AR图像的增加的可见度。

在一些其它实施例中，可以使AR图像的内容后面的区变暗，并且可以移动变暗的区以跟踪AR头戴式耳机的移动和/或正在显示AR图像的位置。例如，AR头戴式耳机控制器1430被配置成电控制不透明度滤光器3310以为选自网格的至少一些像素提供增加的不透明度，以形成基于在透视显示屏上显示的AR图像的形状的周界而限定的形状。AR头戴式耳机控制器1430被配置成电控制不透明度滤光器3310以基于与在透视显示屏上显示的AR图像的形状的至少一部分对齐而为选自网格的像素区域提供相对高的不透明度，并且基于位于透视显示屏上显示的AR图像的形状的周界外侧而为选自网格的另一个像素区域提供逐渐转变的不透明度。

使用可见光相机1440/3460来检测组合器3440上的环境照明条件并电控制不透明度滤光器3310的不透明度可以克服在外科手术期间出现的各种可见度和对比度问题。这种设置允许基于照明条件、虚拟内容和甚至用户偏好来动态调整组合器的不透明度和颜色两者。

在许多用例中，动态控制VR头戴式耳机中的组合器不透明度将为用户提供更好的清晰度。

在一个用例中，一些内容在所有情况下都需要清楚地看到。例如，用于实时外科手术导览的医学图像应当以最大可能的清晰度示出。动态组合器不透明度将允许这些图像始终显示在深色背景上。

图32展示了基于其中示出的内容使透视显示屏(组合器)的特定区域(顶部侧向延伸的带)变暗的示例。在这个示例中，医学图像可以在组合器的上部部分中显示。每当医学图像占据所述空间时，区域就会变暗；当不存在时，区域将会恢复到其正常的透明度。这种动态调整允许恰好在有需要的位置和时间实现高对比度不透明度，而其它地方则不需要。

在第二个用例中，动态不透明度调整允许对环境的照明条件做出响应性改变，这在手术室中尤其重要。外科手术部位经常用高功率外科手术灯进行点光源照明，而房间的其它部分较不强烈地被照亮。使用附接到头戴式耳机920的可见光相机或任何其它方式来确定环境中的照明条件，软件可以确定需要使组合器的哪些部分变暗以解决房间的照明。例如，AR头戴式耳机控制器1430可以通过响应地使每个组合器的左侧变暗(当为每只眼睛提供单独的组合器时)或在单个组合器上提供变暗的间隔开的左侧区域(其中区域与用户的对应的眼睛的左视场对齐)来对感测到用户视场的左侧部分中的明亮光源作出响应。由于用户视场的右侧部分没有那么强烈地被照亮，因此组合器的右侧保持更透明。如果外科医生要移动到房间中的其它地方或打开另外的照明设备，则可以调整变暗区域以对新的照明条件作出响应。

类似地，房间的照明条件可以用于动态调整虚拟内容的调色板以产生更好的对比度。以与可见光相机可以用于确定环境的整体亮度相同的方式。相机输出的视频帧可以用于确定房间的不同部分的主要背景色。这种信息可以被AR头戴式耳机控制器1430用来为所渲染的虚拟内容选择适当的对比色。在动态控制的组合器不透明度与虚拟内容的调色板的调整之间，无论环境照明条件如何，头戴式耳机920都可以维持良好的清晰度和高对比度图像。

在第三个用例中，执行动态不透明度调整以满足外科医生的个人偏好。由于可以通过由AR头戴式耳机控制器1430执行的软件来控制不透明度，因此可以使用户直接控制机械预定义的组合器区段的外观。通过使用自定义设置作为基线并从所述起始点动态地进行调整，这种直接控制样式可以与其它自动调整过程(如针对特定内容背景或针对环境照明条件)结合使用。用户可能想要自定义不透明度的原因有很多：一些外科医生可能更偏好外科手术部位的最少阻挡视图并且只期望模糊的虚拟对象；一些外科医生可能想要高可见度以与房间中的助理、技术人员和其他医生进行直接眼神交流；并且其他外科医生可能更偏好主要用虚拟医学图像进行导览并且因此希望一些区域几乎完全不透明。无论出于何种原因，这种技术都可以允许外科医生根据当前情况、手术室以及最重要的是他们自己的偏好自定义自己的体验。

另外的限定和实施例：

在本发明概念的各个实施例的以上描述中，应当理解，本文使用的术语仅出于描述特定实施例的目的，而不旨在是限制本发明概念的。除非另外限定，否则本文中所使用的所有术语(包含技术术语和科技术语)具有本发明概念所属领域的技术人员通常所理解的相同含义。应进一步理解的是，如常用词典中所定义的术语应被解释为具有与其在本说明书的背景下和相关领域中的含义一致的含义，并且本文中明确地如此定义，将不会在理想化的或过度正式的意义上进行解释。

当元件被称为“连接到”或“联接到”“响应于”另一个元件或其变体时，其可以直接连接到、联接到或响应于另一元件，或者可以存在中间元件。相反，当一个元件被称为与另一个元件“直接地连接”、“直接地联接”、“直接响应于”另一个元件或其变体时，不存在中间元件。贯穿全文以相似的数字指代相似的要素。此外，如本文中使用的“联接”、“连接”、“响应”或其变体可以包含无线联接、连接或响应。除非上下文另外清楚地说明，否则如本文所使用的，单数形式“一个/一种(a、an)”和“所述(the)”旨在包含复数形式。为了简洁和/或清楚，可能不会详细描述众所周知的功能或构造。术语“和/或”包含相关联的所列项中的一或多个项的任何和所有组合。

应当理解，尽管本文中可以使用术语第一、第二、第三等来描述各种元件/操作，但是这些元件/操作不应受这些术语的限制。这些术语仅是用来将一个元件/操作与另一个元件/操作进行区分。因此，在不脱离本发明概念的教导的情况下，一些实施例中的第一元件/操作可以在其它实施例中被称为第二元件/操作。在整个本说明书中，相同的附图标记或相同的附图指示符表示相同或类似的元件。

如本文所使用的，术语“包括(comprise/comprising/comprises)”、“包含(include/including/includes)”、“具有(have/has/having)”或其变体是开放式的，并且包含一个或多个陈述的特征、整数、元件、步骤、组件或功能，但是不排除一个或多个其它特征、整数、元件、步骤、组件、功能或其组合的存在或添加。此外，如本文所使用的，源自拉丁短语“exempli gratia”的通用缩写“例如”可以用于介绍或指定先前提及的项目的一个或多个一般示例，并且不旨在限制这种项目。源自拉丁短语“id est”的通用缩写“即”可以用于从更一般的陈述中指定特定项目。

本文中参考计算机实施的方法、设备(系统和/或装置)和/或计算机程序产品的框图和/或流程展示描述了示例实施例。应当理解的是，可以通过由一个或多个计算机电路执行的计算机程序指令来实现框图和/或流程展示的框以及框图和/或流程展示中框的组合。这些计算机程序指令可以被提供给通用计算机电路、专用计算机电路和/或其它可编程数据处理电路的处理器电路，以产生机器，使得经由计算机和/或其它可编程数据处理设备的处理器执行的指令转换并控制晶体管、存储在存储器位置中的值以及这种电路系统内的其它硬件组件，以实现框图和/或一个或多个流程图框中指定的功能/动作，并且由此创建用于实现框图和/或一个或多个流程图框中指定的功能/动作的装置(功能)和/或结构。

这些有形计算机程序指令也可以存储在可以指导计算机或其它可编程数据处理设备以特定方式运行的计算机可读介质中，使得存储在计算机可读介质中的指令产生包含实施在框图或一个或多个流程图框中指定的功能/动作的指令的制品。因此，本发明概念的实施例可以体现在硬件和/或软件(包含固件、常驻软件、微代码等)中，其在如数字信号处理器等处理器上运行，所述数字信号处理器可以被统称为“电路系统”、“模块”或其变体。

还应该注意的是，在一些替代性实现方案中，框中标注的功能/动作可以不按流程图中标注的顺序发生。例如，根据所涉及的功能/动作，连续示出的两个框实际上可以基本上同时执行，或者所述框有时可以按相反顺序执行。此外，可以将流程图和/或框图的给定框的功能分成多个框，和/或流程图和/或框图的两个或更多个框的功能可以至少部分地集成。最后，在不脱离本发明概念的范围的情况下，可以在所展示的框之间添加/插入其它框，和/或可以省略框/操作。此外，尽管所述图中的一些图包含通信路径上的箭头以示出通信的主要方向，但是应当理解的是，通信可以在与所描绘的箭头相反的方向上发生。

在不实质脱离本发明概念的原理的情况下，可以对实施例进行许多变化和修改。所有的此种变体以及改变都旨在被包括在本文中本发明概念的范围内。因此，上文所公开的主题应视为说明性而非限制性的，并且所附实施例的示例旨在覆盖落入本发明概念的精神和范围内的所有这种修改、增强以及其它实施例。因此，为了被法律最大程度地允许，本发明概念的范围将由本公开的最广泛允许的解读来确定，所述解读包含以下实施例及其等效物的示例，并且不应受限于或局限于前述具体详细描述。