用于医学图像查看器的远程布局控制的系统和方法

背景技术

本公开的领域整体涉及图像查看器的远程布局控制的系统和方法，并且更具体地涉及远程控制以多个渲染视图显示医学图像的布局的系统和方法。

以各种渲染视图或视角提供患者解剖结构的医学图像，以便医师可以从各种视角或角度查看解剖结构。医生可能对各种渲染视图具有不同偏好，并且还可能希望专注于某个渲染视图，而其他渲染视图同时呈现在显示屏上。当所有各种渲染视图都显示在大显示屏上时，用户可能不方便将渲染视图的视口移动到屏幕上的期望位置。此外，已经在手术室中使用医学图像来协助外科医生进行外科手术。在外科手术期间，手术室中有多个监视器和控制屏幕。需要一种允许外科医生经由控制用户界面来指导技术人员远程且直观地修改视口的布局的系统。

发明内容

在一个方面，提供了一种用于控制以多个渲染视图显示医学图像的布局的布局控制计算设备。该计算设备包括电耦接到至少一个存储器设备的至少一个处理器，该至少一个处理器被编程为经由第一显示屏显示控制用户界面，其中该控制用户界面包括具有多个图块的布局模板，每个图块都具有将在其中显示医学图像的渲染视图的指示符。该至少一个处理器被进一步编程为经由第二显示屏显示显示用户界面，其中该显示用户界面包括根据布局模板来布置的多个视口，并且每个视口都被配置为以如对应图块的指示符所指示的渲染视图显示医学图像。该至少一个处理器还被编程为从控制用户界面接收将第一图块移动到第二图块的位置的命令、通过调换第一图块的位置与第二图块的位置来更新布局模板以及指导根据更新的布局模板来布置视口。该至少一个处理器被进一步编程为指导经由显示用户界面在视口中以如更新的布局模板中的对应图块的指示符所指示的渲染视图显示医学图像。

在另一方面，提供了一种用于控制以多个渲染视图显示医学图像的布局的计算机启用的系统。该系统包括第一显示屏、第二显示屏、控制用户界面、显示用户界面和布局计算设备。该控制用户界面显示在第一显示屏上，该控制用户界面包括具有多个图块的布局模板，每个图块都具有将在其中显示医学图像的渲染视图的指示符。显示用户界面显示在第二显示屏上，该显示用户界面与控制用户界面通信并且包括根据布局模板来布置的多个视口，并且每个视口都被配置为以如对应图块的指示符所指示的渲染视图显示医学图像。布局控制计算设备包括电耦接到至少一个存储器设备的至少一个处理器，该布局控制计算设备与第一显示屏、第二显示屏、控制用户界面和显示用户界面通信。至少一个处理器被编程为从控制用户界面接收将第一图块移动到第二图块的位置的命令、通过调换第一图块的位置与第二图块的位置来更新的布局模板以及指导根据更新的布局模板来布置视口。至少一个处理器被进一步编程为指导由显示用户界面在视口中以如更新的布局模板中的对应图块的指示符所指示的渲染视图显示医学图像。

在又一方面，提供了一种用于控制以多个渲染视图显示医学图像的布局的计算机实现的方法。该方法包括经由第一显示屏显示控制用户界面，其中该控制用户界面包括布局模板，并且该布局模板包括多个图块，每个图块都具有将在其中显示医学图像的渲染视图的指示符。该方法还包括经由第二显示屏显示显示用户界面，其中该显示用户界面包括根据布局模板来布置的多个视口，并且每个视口都被配置为以如对应图块的指示符所指示的渲染视图显示医学图像。该方法进一步包括从控制用户界面接收将第一图块移动到第二图块的位置的命令、通过调换第一图块的位置与第二图块的位置来更新布局模板以及根据更新的布局模板来布置视口。此外，该方法包括经由显示用户界面在视口中以如更新的布局模板中的对应图块的指示符所指示的渲染视图显示医学图像。

附图说明

图1是示例性布局控制系统示意图。

图2A是图1所示的系统的示例性控制用户界面。

图2B是由图2A所示的控制用户界面控制的示例性显示用户界面。

图3A是示出在用户移动控制用户界面中的图块之前的示例性控制用户界面及其对应的显示用户界面的示意图。

图3B是示出在用户移动控制用户界面中的图块之后的图3A所示的控制用户界面和显示用户界面的示意图。

图4A是示出在用户移动控制用户界面中的图块之前的具有非活动部分的示例性控制用户界面及其对应的显示用户界面的示意图。

图4B是示出在用户移动控制用户界面中的图块之后的图4A所示的控制用户界面和显示用户界面的示意图。

图5A是包括单独的计算设备的图1所示的示例性系统的框图。

图5B是图1所示的另一示例性系统的框图，其中其控制用户界面和显示用户界面在同一计算设备上实现。

图5C是图1所示的一个或多个示例性系统的框图，其中其控制用户界面和显示用户界面在一个应用程序中在同一计算设备上实现。

图6A是用于在5A和图5B所示的系统中调换视口的示例性过程的序列图。

图6B是用于在图5C中所示的系统中调换视口的示例性过程的序列图。

图7是用于控制用于显示医学图像的布局的示例性方法的示例性流程图。

图8是用于控制用于显示医学图像的布局的另一示例性方法的示例性流程图。

图9是示例性用户计算设备的框图。

图10是示例性服务器计算设备的框图。

具体实施方式

本公开包括用于控制以多个渲染视图显示医学图像的布局的系统和方法。在医学成像中，医学图像的三维(3D)体积是患者体内的一定体积的解剖结构的医学图像。可以各种渲染视图(诸如矢状视图、轴向视图和冠状视图)获取和/或显示医学图像的3D体积。在x射线成像中，可沿着前后视角获取一系列图像，其中这些图像是如同相机从患者的前方朝向患者的后方瞄准那样获取的。所得图像可被标记为具有前后(AP)的渲染视图。还可沿着侧向视角获取图像，其中这些图像是如同相机从患者的侧面瞄准那样获取的。此外，所得图像可被标记为具有侧向或简称LAT的渲染视图。一旦获取了医学图像的3D体积，就可基于所获取的医学图像生成医学图像的体积渲染。医学图像的体积渲染以3D视角示出医学图像，而不是一系列二维(2D)图像。所期望的是，医学图像的图像显示应用允许用户选择要显示哪些渲染视图，并且方便且直观地改变以这些渲染视图显示医学图像的视口的布局。

图1是用于控制以多个渲染视图显示医学图像的布局的示例性计算机启用的系统100的示意图。系统100包括控制用户界面102、显示用户界面104和布局控制计算设备106。控制用户界面102显示在第一显示屏108上。显示用户界面104显示在第二显示屏110上。第一显示屏108和第二显示屏110可以是同一屏幕或单独的屏幕，并且可由单独的计算设备或同一计算设备控制。控制用户界面102被配置为控制用于在显示用户界面104上显示图像的视口212a、212b、312a、312b、412a、412b、412c(如图2B、图3B和4B图所示)的布局。在操作中，布局控制计算设备106与控制用户界面102和显示用户界面104通信并且控制该控制用户界面和该显示用户界面。

图2A示出了示例性控制用户界面202。在示例性实施方案中，控制用户界面202类似于图1所示的控制用户界面102。图2B示出了示例性显示用户界面204。在示例性实施方案中，显示用户界面204类似于显示用户界面104。显示用户界面204包括多个视口212a、212b。控制用户界面202包括布局模板206。布局模板206包括一个或多个图块208a、208b。图块可具有各种尺寸。例如，图块208a具有比图块208b更大的尺寸。图块及其对应的视口的相对尺寸保持相同。也就是说，图块208a具有比图块208b更大的尺寸，并且对应于视口208a的视口212a具有比对应于图块208b的视口212b更大的尺寸。较大视口212a可用于以用户更感兴趣的渲染视图示出图像。图块208a、208b具有指示符210a、210b，这些指示符指示在对应的视口212a、212b中显示的图像的渲染视图。例如，指示符210a可为“VR”，其代表体积渲染并且用于指示体积渲染，并且在视口212a中示出的图像是医学图像的体积渲染。指示符210b可为“AP”，其用于指示图像是沿着患者的前后视角获取的，并且在视口212b中示出的图像是沿着该渲染视图示出的那些图像。

在示例性实施方案中，控制用户界面202可进一步包括布局模板206的菜单214。菜单214包括布局模板206的列表。在图2A中，示出了三个布局模板206并且可供用户使用。菜单214还可包括多个按钮216，其中每个按钮都对应于布局模板206。用户可点击或触摸按钮216以选择期望的布局模板206。另选地，菜单214可为下拉菜单(未示出)，其中用户可展开菜单以选择布局模板206。在图2A所示的示例性控制用户界面202中，选择菜单214顶部的按钮216，该按钮对应于具有一个图块208a和四个图块208b的布局。

在一些实施方案中，布局模板206可包括活动部分218和非活动部分220。活动部分218包括对应于活动视口212a、212b的活动图块208a、208b。非活动部分220包括非活动图块或停驻区(parking lot)208c。在显示用户界面204中，在对应于非活动图块208c的位置处未示出图像。非活动图块208c可进一步包括指示符210c。非活动图块208c可用虚线轮廓标记以指示它们是非活动的。

图2B示出了对应于由用户在如图2A所示的控制用户界面202中指定的布局模板206的示例性显示用户界面204。显示用户界面204包括多个视口212a、212b。在示例性显示用户界面204中，在五个视口212中以如在图块208a、208b上所指示的渲染视图(例如，VR渲染视图、轴向渲染视图、冠状渲染视图、AP渲染视图和LAT渲染视图(在图2A中沿顺时针方向))示出患者的医学图像，这意味着这些图像将以体积渲染、轴向、冠状、前后和横向的渲染视图示出。视口212根据布局模板206来布置。例如，布局模板206示出了VR图块208a，其中图块208b以二乘二的形式形成在图块208a的一侧。相应地，视口212被布置为VR视口212a，具有布置到该VR视口右侧的二乘二视口212b，并且视口212a具有比视口212b更大的尺寸。视口212a示出了图像的体积渲染，并且视口212b示出了图像的轴向渲染视图、前后渲染视图、侧向渲染视图、冠状渲染视图(在图2B中沿顺时针方向)。

在操作中，控制用户界面202控制显示用户界面204中的视口212a、212b的位置和渲染视图。用户通过控制用户界面202来控制视口212a、212b的布局。控制用户界面202的尺寸比显示用户界面204小得多，并且具有呈现在图块208a、208b上的渲染视图的指示符210a，210b，这允许轻松且直观的操纵。控制用户界面202和显示用户界面204可设置在单独的计算设备上、设置在由同一计算设备控制的单独的显示屏上或设置在同一显示屏上。

图3A和图3B示出了用于控制和修改显示用户界面304中的视口312a、312b的布局的示例性控制用户界面302。图3A示出了在用户移动图块308a之前的控制用户界面302和显示用户界面304，并且图3B示出了在该移动之后的控制用户界面302和显示用户界面304。示例性医学图像是患者的脑图像。在图3A中，控制用户界面302具有布局模板306，其中图块308a、308b彼此水平瞄准并且图块308a定位在图块308b的左侧。在显示用户界面304中，视口312a、312b根据布局模板306来布置，即，视口312a、312b彼此并排相邻并且视口312a定位在视口312b的左侧。图块308a、308b具有指示其对应的视口312a、312b的视图的指示符310a、310b。在示例性控制界面302中，图块308a具有轴向的指示符310a，并且图块308b具有冠状的指示符310b。它们对应的视口312a、312b分别示出大脑的轴向视图和冠状视图。

在示例性实施方案中，用户可移动图块308a、308b。例如，用户可通过鼠标点击或直接触摸来选择图块308a，并且将其拖放到图块308b上。因此，图块308a、308b调换它们在布局模板306中的位置(图3B)，即，交换图块308a、308b的位置。视口312a、312b根据更新的布局模板306来布置，其中视口312a与视口312b调换位置(图3B)。在显示用户界面304中，在视口312a的轴向视图左侧的视口312b中示出大脑的冠状视图。如果用户将图块308a拖到布局模板306的边界之外，则图块308a将返回其原始位置。如果用户拖动图块308a但将其释放回其原始位置，则布局模板306中的图块308a的位置将不会改变。在这两种情况下，都不会改变显示用户界面304的布局，因为布局模板306没有改变。

图4A和图4B示出了在布局模板406中包括非活动部分420并且用于控制和修改显示用户界面404中的视口412a、412b、412c的布局的示例性控制用户界面402。图4A示出了在用户将图块408a移动到非活动部分420之前的控制用户界面402和显示用户界面404，并且图4B示出了在该移动之后的控制用户界面402和显示用户界面404。控制用户界面402包括具有活动部分418和非活动部分420的布局模板406。活动部分418包括活动图块408a、408b，其中图块408a定位在图块408b的左侧。图块408a、408b分别具有作为轴向和冠状的指示符410a、410b。非活动部分420包括具有作为矢状的指示符410c的非活动图块408c。在显示用户界面404中，视口412a、412b根据布局模板406的活动部分418来布置。相比之下，大脑的矢状视图未被示出给用户，因为图块408c是非活动的。当用户拖动图块408a并且将其放在图块408c上时，这两个图块408a、408c的位置被调换(图4B)。因此，活动部分418现在包括图块408c和408b，其中图块408c定位在图块408b的左侧，并且非活动部分420现在包括图块408a。相应地，在显示用户界面404中，视口412c、412b以如其对应的图块408c、408a的指示符410c、410b所指示的矢状视图和冠状视图示出图像。未示出轴向视图，因为图块408现在变得非活动。

图5A至图5C示出了用于控制以多个视图显示医学图像的布局的各种示例性系统500、1500、2500。例如，系统500包括控制用户界面502和显示用户界面504。控制用户界面502类似于图1、图2A和图3A至图4B所示的控制用户界面102、202、302、402。显示用户界面504类似于图1、图2B、图3A至图4B所示的显示用户界面104、204、304、404。控制用户界面502和显示用户界面504分别设置在第一计算设备506和第二计算设备508上。控制用户界面502和显示用户界面504通过web服务器510彼此通信。该通信可通过WebSocket连接进行。

在另一示例中，在系统1500中，控制用户界面502和显示用户界面504设置在一个计算设备506上。控制用户界面502和显示用户界面504可显示在由计算设备506控制的单独的显示屏上，或者可显示在同一显示屏上。控制用户界面502和显示用户界面504均可与web服务器510通信，并且还可通过计算设备506的内部通信信道彼此通信。在第三示例中，在系统2500中，在同一计算设备506上的一个查看器应用程序中在显示用户界面504内提供控制用户界面502。

图6A和图6B示出了系统500、1500、2500执行在显示用户界面504上调换视口的功能的示例性相应序列图600、1600。图6A示出了当控制用户界面502通过web服务器510与显示用户界面504通信时系统500、1500的序列图600。图6B示出了系统2500的序列图1600。

在示例性实施方案中，系统500、1500包括控制用户界面502、web服务器510和显示用户界面504。在序列600中，首先在控制用户界面中调换602图块。在控制用户界面中导出604新布局。然后，通过web服务器将新布局从控制用户界面发送606到显示用户界面。根据新布局在显示用户界面中重新布置608视口。然后，显示用户界面通过web服务器向控制用户界面发送610已改变视口布局的确认。

在序列1600中，首先在控制用户界面中调换1602图块。在控制用户界面中导出1604新布局。将新布局发送1606到显示用户界面。一旦接收到新布局，就根据该新布局在显示用户界面中重新布置1608视口。然后，显示用户界面发送1610其视口布局已改变的确认。在系统2500中，控制用户界面502和显示用户界面504彼此直接通信。

图7示出了用于控制以多个渲染视图显示医学图像的布局的示例性方法700的流程图。方法700包括经由第一显示屏显示702控制用户界面。控制用户界面包括具有多个图块的布局模板，每个图块都具有将显示医学图像的渲染视图的指示符。方法700进一步包括经由第二显示屏显示704显示用户界面。第二显示屏可与第一显示屏相同，或者可与第一显示屏分开。该显示用户界面包括根据布局模板来布置的多个视口，并且每个视口都被配置为以如对应图块的指示符所指示的渲染视图显示医学图像。方法700还包括从控制用户界面接收706将第一图块移动到第二图块的位置的命令。此外，方法700包括通过调换第一图块的位置与第二图块的位置来更新708布局模板。此外，方法700包括根据更新的布局模板来布置710视口。此外，方法700包括经由显示用户界面在视口中以如更新的布局模板中的对应图块的指示符所指示的视图显示712医学图像。

图8示出了通过控制用户界面控制视口布局的另一示例性方法800的示例性流程图。显示用户界面首先加载802图像数据。向控制用户界面发送804视口渲染视图的预定义布置。然后，控制用户界面在布局模板中更新806其图块。然后，控制用户界面准备好808进行用户交互。用户执行810触摸和拖动手势，其中拖动一个图块并且在第二图块上释放。在该手势之后，控制用户界面确定812新的视口布置。控制用户界面将该新的视口布置发送814到显示用户界面。显示用户界面通过执行视口调换来更新816其视口布置。可从用户执行810到显示用户界面更新816重复视口重新布置的过程，以执行用户的各种命令。

图9示出了由用户901操作的用户计算机设备902的示例性配置。用户计算机设备902可包括但不限于图5A至图5C所示的计算设备506、508。

用户计算机设备902包括用于执行指令的处理器905。在一些实施方案中，可执行指令存储在存储器区域910中。处理器905可包括一个或多个处理单元(例如，在多核配置中)。存储器区域910是允许存储和检索信息(诸如可执行指令和/或图像数据)的任何设备。存储器区域910可包括一个或多个计算机可读存储介质。

用户计算机设备902还包括用于向用户901呈现信息的至少一个媒体输出部件915。媒体输出部件915是能够向用户901传送信息的任何部件。在一些实施方案中，媒体输出部件915包括输出适配器(未示出)，诸如视频适配器和/或音频适配器。输出适配器被操作地耦接到处理器905并且可操作地耦接到输出设备诸如显示设备(例如，阴极射线管(CRT)、液晶显示器(LCD)、发光二极管(LED)显示器或“电子墨水”显示器)或音频输出设备(例如，扬声器或耳机)。在一些实施方案中，媒体输出部件915被配置为向用户901呈现图形用户界面(例如，控制用户界面202、302、402、502、显示用户界面204、304、404、504、web浏览器和/或客户端应用程序)。

在一些实施方案中，用户计算机设备902包括用于接收来自用户901的输入的输入设备920。用户901可使用输入设备920来选择和/或输入图块208a、208b、308a、308b、408a、408b、408c或布局模板206，但不限于此。输入设备920可包括例如键盘、指向设备、鼠标、触笔、触敏面板(例如，触摸板或触摸屏)、陀螺仪、加速度计、位置检测器、生物特征输入设备和/或音频输入设备。单个部件(诸如触摸屏)可既用作媒体输出部件915的输出设备，又用作输入设备920。

用户计算机设备902还可包括通信接口925，该通信接口可通信地耦接到远程设备(诸如web服务器510)。通信接口925可包括例如与移动电信网络一起使用的有线或无线网络适配器和/或无线数据收发器。存储在存储器区域910中的是例如用于经由媒体输出部件915向用户901提供用户界面并且任选地接收和处理来自输入设备920的输入的计算机可读指令。

图10示出了服务器计算机设备1001的示例性配置，诸如web服务器510(在图5A、图5B和图6A中示出)。服务器计算机设备1001还包括用于执行指令的处理器1005。例如，指令可存储在存储器区域1030中。处理器1005可包括一个或多个处理单元(例如，在多核配置中)。

处理器1005被操作地耦接到通信接口1015，使得服务器计算机设备1001能够与远程设备(诸如用户计算设备902或另一服务器计算机设备1001)通信。例如，通信接口1015可经由互联网从用户计算机设备902接收请求。

处理器1005还可被操作地耦接到存储设备1034。存储设备1034是适用于存储和/或检索数据(诸如但不限于3D体积的医学图像)的任何计算机操作的硬件。在一些实施方案中，存储设备1034集成在服务器计算机设备1001中。例如，服务器计算机设备1001可包括一个或多个硬盘驱动器作为存储设备1034。在其他实施方案中，存储设备1034在服务器计算机设备1001外部，并且可由多个服务器计算机设备1001访问。例如，存储设备1034可在廉价磁盘冗余阵列(RAID)配置中包括多个存储单元(诸如硬盘和/或固态盘)。存储设备1034可包括存储区域网络(SAN)和/或网络附加存储(NAS)系统。

在一些实施方案中，处理器1005经由存储接口1020操作地耦接到存储设备1034。存储接口1020是能够为处理器1005提供对存储设备1034的访问的任何部件。存储接口1020可包括例如高级技术附件(ATA)适配器、串行ATA(SATA)适配器、小型计算机系统接口(SCSI)适配器、RAID控制器、SAN适配器、网络适配器和/或为处理器1005提供对存储设备1034的访问的任何部件。

本文所述的系统和方法的至少一个技术效果包括：(a)远程控制用于以多个渲染视图显示医学图像的布局；(b)通过相对小尺寸的图块轻松修改布局；(c)通过提供非活动图块以及将图块调换到布局模板的活动部分中和从其中调换出的功能，提高了布局的灵活性并且提高了显示屏的使用效率。

上文详细描述了控制用于显示医学图像的布局的系统和方法的示例性实施方案。这些系统和方法不限于本文所述的特定实施方案，而是系统的部件和/或方法的操作可与本文所述的其他部件和/或操作独立地和分开地使用。此外，所描述的部件和/或操作也可在其他系统、方法和/或设备中限定，或与其他系统、方法和/或设备结合使用，并且不限于仅用本文所述的系统来实践。

尽管可在一些附图中，而不是在其他附图中示出本发明的各种实施方案的特定特征，但这仅是为了方便起见。根据本发明的原理，附图的任何特征可结合任何其他附图的任何特征来引用和/或要求保护。

该书面描述使用示例来公开本发明(包括最佳模式)，并且还使本领域技术人员能够实践本发明(包括制造和使用任何设备或系统以及执行任何包含的方法)。本发明的专利范围由权利要求书限定，并且可包括本领域技术人员想到的其它示例。如果此类其他示例具有与权利要求书的字面语言没有区别的结构元素，或者如果它们包括与权利要求书的字面语言具有微小差别的等效结构元素，则此类其他示例旨在落入权利要求书的范围内。