交互式医学可视化系统

技术领域

本公开涉及数据处理领域，更具体地，涉及一种交互式医学可视化系统。

背景技术

在现有医学诊断过程中，医生对患者进行诊断主要基于与患者相关的数据。这些与患者相关的数据通常包括例如患者基本信息、病历、影像学图片或视频(例如，通过CT、MRI、超声等方式获取)等各种类型的数据。

在一些方案中，这些数据通常仅通过医院所配备的电子设备(例如，台式计算机)向医生呈现，患者无法或者不便于通过这些电子设备浏览数据。这导致在诊断过程中患者无法清楚地理解医生关于这些资料的描述。例如，医生基于患者相关的数据通过口述向患者解释诊断结果或诊疗方案，由于患者不清楚医生描述的内容所针对的对象，这将容易导致患者对医生描述的内容产生误解。在另一些方案中，尽管患者可能已经通过另一电子设备浏览到这些数据，但是由于医生和患者之间缺乏针对所描述的数据直接的交互，患者甚至可能无法清楚地知道医生所描述的内容与自己所浏览到的内容是否相符合。这依旧容易导致患者对医生描述的内容产生误解。进一步地，患者在产生误解的情况下对医生所反馈的内容也可能阻碍医生进行判断。

现有的医学可视化呈现方式阻碍了医患之间的沟通效率。在医患沟通不畅的情况下，可能会增加医患纠纷的发生概率。因此，需要一种新的医学可视化系统来解决上述问题。

发明内容

针对上述问题，本公开提供了一种交互式医学可视化系统，该系统通过三维可视化呈现方式使得医生和患者对医疗数据进行直接交互，实现了在诊断过程中让患者更加清晰地了解自己的状况，提升了患者和医生沟通效率，有助于改善医患关系。

根据本公开的一方面提供了一种交互式医学可视化系统，包括：感测模块，被配置为获取预定空间中的多个用户各自的方位信息及动作信息，所述多个用户至少包括第一用户和第二用户；模型构造模块，被配置为获取所述第一用户的多模态医学数据，并且对所述多模态医学数据执行三维可视化处理以构造所述第一用户的三维医学模型；呈现位置确定模块，被配置为基于所述多个用户各自的方位信息，确定所述三维医学模型在所述预定空间中的呈现位置；第一呈现模块，被配置为在所确定的呈现位置处向所述第一用户呈现所述三维医学模型；第二呈现模块，被配置为在所确定的呈现位置处向所述第二用户呈现所述三维医学模型；其中，响应于所述感测模块获取的所述多个用户中的至少一个用户针对所述三维医学模型进行操作的动作信息，所述模型构造模块更新所述三维医学模型，以及所述第一呈现模块和所述第二呈现模块呈现更新后的三维医学模型。

根据本公开的一些实施例，其中，所述第一呈现模块包括第一增强现实显示器，所述第二呈现模块包括第二增强现实显示器；其中，所述三维医学模型相对于所述第一用户的呈现取决于所确定的呈现位置以及所述第一增强现实显示器的视角，并且所述三维医学模型相对于所述第二用户的呈现取决于所确定的呈现位置以及所述第二增强现实显示器的视角。

根据本公开的一些实施例，其中，所述呈现位置确定模块还被配置为响应于所述多个用户各自的方位信息的变化，重新确定所述三维医学模型的呈现位置。

根据本公开的一些实施例，其中，所述呈现位置确定模块还被配置为基于所述多个用户各自的方位信息，从所述预定空间中的多个预设呈现位置处选择所述三维医学模型的呈现位置。

根据本公开的一些实施例，其中，还包括第一用户生理状态监测模块，其中所述第一用户生理状态监测模块被配置为监测所述第一用户的实时生理状态数据；以及所述第二呈现模块还被配置为将所述第一用户的实时生理状态数据呈现给所述第二用户。

根据本公开的一些实施例，其中，所述第一用户生理状态监测模块还被配置为对所述第一用户的所述实时生理状态数据进行评估以确定所述第一用户的实时情绪状态；所述第二呈现模块还被配置为将所述第一用户的实时情绪状态呈现给所述第二用户。

根据本公开的一些实施例，其中，所述实时生理状态数据的类型包括微表情、声音、心率、脑电波和呼吸频率中的至少两者；所述第一用户生理状态监测模块还被配置为基于预定的等级划分标准，分别对所述第一用户的每一种类型的实时生理状态数据进行评估以确定所述每一种类型的实时生理状态数据的等级；基于所述每一种类型的实时生理状态数据的等级及对应的预设权重，确定所述第一用户的实时情绪状态。

根据本公开的一些实施例，其中，所述实时生理状态数据的类型包括呼吸和/或心率，其中所述第一用户生理状态监测模块包括雷达监测组件，所述雷达监测组件被配置为基于60G毫米波雷达监测所述第一用户的呼吸和/或心率。

根据本公开的一些实施例，其中，所述实时生理状态数据的类型包括脑电波，其中所述第一用户生理状态监测模块包括脑电波监测组件，所述脑电波监测组件被设置于所述第一呈现模块中，所述脑电波监测组件的位置对应于所述第一用户的前额与耳部；其中所述脑电波监测组件被配置为对所述第一用户的前额与耳部的静电皮层进行监听以获取所述第一用户的脑电波。

根据本公开的一些实施例，其中，所述第一用户生理状态模块还被配置为在所述第一用户的实时情绪状态超过预定阈值时，生成告警信息；所述第二呈现模块还被配置为将所述告警信息呈现给所述第二用户。

根据本公开的一些实施例，其中，所述第一用户生理状态模块还包括状态存储组件，其中所述状态存储组件被配置为在所述第一用户的实时情绪状态超过预定阈值时，将所述告警信息、所述第一用户的实时生理状态数据、所述第一用户的实时情绪状态和所述第一呈现模块当前呈现给所述第一用户的当前三维医学模型存储以供进一步分析。

根据本公开的一些实施例，其中，所述感测模块包括双目摄像头，其中所述双目摄像头被配置为通过发射红外线进行结构光测距，以获取所述预定空间中的所述多个用户各自的方位信息。

根据本公开的一些实施例，其中，所述感测模块包括多个毫米波雷达感测组件，所述多个毫米波雷达感测组件位于所述预定空间中的不同位置处；其中，所述多个毫米波雷达感测组件被配置为对所述预定空间进行感测以获取感测数据，基于所获取的感测数据来生成所述预定空间中的所述多个用户各自的方位信息。

根据本公开的一些实施例，其中，呈现位置确定模块还被配置为：对所述多个用户各自的方位信息进行信号同步差分处理以使所述方位信息同步；基于经同步的所述多个用户各自的方位信息，确定所述三维医学模型在所述预定空间中的呈现位置。

根据本公开的一些实施例，其中，所述多个毫米波雷达感测组件具有360度可旋转结构，以追踪所述多个用户各自的方位信息。

根据本公开的一些实施例，其中，所述感测模块包括惯性感测组件，所述惯性感测组件配置有多个惯性传感器，所述多个惯性传感器分别被安置于所述多个用户的身体上的特定位置处，所述特定位置与身体的关节位置相关联，其中所述惯性感测组件被配置为获取针对所述多个用户各自的多个惯性传感器的信息，通过人体动作算法对所述多个惯性传感器的信息进行处理以获取所述多个用户各自的动作信息。

根据本公开的一些实施例，其中，所述人体动作算法的损失函数定义如下：

根据本公开的一些实施例，其中，所述多个惯性传感器被配置在用户可穿戴的、镶嵌有金属丝的尼龙材质衣服中。

根据本公开的一些实施例，其中，所述模型构造模块包括原始数据获取组件和原始数据处理组件，其中所述原始数据获取组件被配置为：获取所述第一用户的身份信息；基于所述第一用户的所述身份信息通过患者主索引EMPI来获取所述第一用户的原始医学数据；所述原始数据处理组件被配置为基于仓湖一体对所述原始医学数据进行融合归一化处理以生成所述多模态医学数据。

根据本公开的一些实施例，其中，所述多模态医学数据包括影像数据、文本数据、图像数据、声音数据中的至少一个。

根据本公开的一些实施例，其中，所述原始医学数据为非结构化原始医学数据，以及所述原始数据处理组件还被配置为基于NLP对所述非结构化原始医疗数据进行结构化处理。

根据本公开的一些实施例，其中，所述原始医学数据包括病历图像数据，以及所述原始数据处理组件还被配置为对所述病历图像数据进行二值化处理，以及对经二值化处理的病历图像数据进行特征提取以识别所述病历图像数据中的字符。

根据本公开的一些实施例，其中，所述模型构造模块还包括数据存储组件，所述数据存储组件被配置为将所述多模态医学数据按时间轴顺序进行存储；所述模型构造模块还被配置为获取所述第一用户的多模态医学数据，并且基于所述时间轴顺序中的第一时间对所述多模态医学数据执行三维可视化处理以构造所述第一用户的三维医学模型，其中所述三维医学模型包括指示时间轴顺序上的多个时间的时间轴呈现；以及其中，响应于所述多个用户中的至少一个用户针对所述时间轴呈现所指示的第二时间进行操作的动作信息，所述模型构造模块基于所述第二时间更新所述三维医学模型。

根据本公开的一些实施例，其中，所述多个用户中的至少一个用户针对所述三维医学模型进行操作的动作信息包括对所述三维医学模型进行旋转、拖拽、放大、缩小、变换以及内容修改中的至少一个。

根据本公开的一些实施例，其中，所述第二用户具有高于所述第一用户的对所述三维医学模型进行操作的权限，其中，所述第二用户所具有的所述权限包括对所述三维医学模型进行内容修改的权限。

根据本公开的一些实施例，其中，所述模型构造模块还包括数据存储组件，所述数据存储组件被配置为存储所述多模态医学数据；以及其中，响应于所述感测模块获取的所述第二用户针对所述三维医学模型进行内容修改的操作的动作信息，所述模型构造模块修改所述多模态医学数据并将修改后的多模态医学数据存储到所述数据存储组件中，以及所述模型构造模块更新所述三维医学模型。

因此，根据本公开实施例的系统，通过获取预定空间中包括第一用户(例如，患者)和第二用户(例如，医生)的多个用户各自的方位信息及动作信息，基于其各自的方位信息来确定呈现位置，并进一步地通过不同的呈现模块在该确定的呈现位置处分别向不同用户呈现由多模态医学数据构建的三维医学模型，使得多个用户可以在各自的位置上根据各自的视角观察到同一个三维医学模型及其所呈现的内容，从而可以针对其进行沟通和操作，这改变了现有的交互方式，实现了在诊断过程中让患者更加清晰地了解自己的状况，提升了患者和医生交流的效率，有助于改善医患关系。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例的描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本公开的一些示例性实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1示出了根据本公开的一些实施例的交互式医学可视化系统的框图；

图2示出了根据本公开的一些实施例的交互式医学可视化系统的架构图；

图3是根据本公开的一些示例的惯性传感器位置示意图；

图4示出了根据本公开的一些示例的动作识别模型的流程；

图5A示出了根据本公开的一些实施例的模型构造模块的框图；

图5B示出了根据本公开的另一些实施例的模型构造模块的框图；

图6示出了根据本公开的一些实施例的三维医学模型的示意图；

图7示出了根据本公开的一些实施例的具有信号同步差分装置的增强现实显示器的电路示意图；

图8示出了根据本公开的又一些实施例的交互式医学可视化系统的框图。

具体实施方式

为了使得本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。为了保持本公开实施例的以下说明清楚且简明，本公开省略了部分已知功能和已知部件的详细说明。

本公开中使用了流程图用来说明根据本公开的实施例的方法的步骤。应当理解的是，前面或后面的步骤不一定按照顺序来精确的进行。相反，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步。

在本公开的说明书和附图中，根据实施例，元素以单数或复数的形式来描述。然而，单数和复数形式被适当地选择用于所提出的情况仅仅是为了方便解释而无意将本公开限制于此。因此，单数形式可以包括复数形式，并且复数形式也可以包括单数形式，除非上下文另有明确说明。

下面将参照附图对本公开提供的交互式医学可视化系统进行详细的说明。

<第一实施例>

图1和图2示出了根据本公开的一些实施例的交互式医学可视化系统的框图和架构图。下面将结合图1和图2来具体描述本申请交互式医学可视化系统中的各模块，其中相同的模块以相同的参考标记示出，并且部分模块在图2中未被示出。需要注意的是，附图中所示的各个参数值仅作为示例，不是对各个模块和/或部件的尺寸的限制。

首先，如图1所示，交互式医学可视化系统100包括感测模块102、模型构造模块104、呈现位置确定模块106、第一呈现模块108以及第二呈现模块110。

感测模块102可以用于获取预定空间中的多个用户各自的方位信息及动作信息，该多个用户至少包括第一用户和第二用户。

如图2所示，在诊断过程中，多个用户可以在预定空间中使用本申请所描述的交互式医学可视化系统。在一个示例中，第一用户例如可以是患者并且第二用户例如可以是医生。多个用户还可以包括其他用户，例如患者的家属以及一同参加会诊的其他医生等。在一些示例中，预定空间通常为第二用户的诊室。在一些示例中，预定空间还可以是能够配备本申请所描述的交互式医学可视化系统任何封闭或开放空间。

在一个示例中，在预定空间中可以设置有一个或多个感测模块102，该一个或多个感测模块102被配置为获取预定空间中的多个用户各自的方位信息及动作信息。模型构造模块104可以根据用户的动作信息来更新三维医学模型，呈现位置确定模块106可以根据用户的位置信息来确定三维医学模型在预定空间中的呈现位置，这两者将在下面进一步地详细描述。

根据本公开的一个实施例，感测模块102可以包括双目摄像头102-a，双目摄像头102-a可以被配置为通过发射红外线进行结构光测距，以获取预定空间中的多个用户各自的方位信息。例如，双目摄像头102-a可以是OAK-D双目摄像头，其进行预定空间内的人体捕捉。在一个示例中，感测模块102还可以包括红外激光点阵发射器，其用于触发主动的深度探测以实现结构光测距。此外，采用红外方式(例如，红外照明LED)可以增强在暗光条件下对空间中的用户的方位信息的识别。

在一个示例中，还可以基于双目摄像头102-a对预设空间中的多个用户的动作进行感测以生成或者辅助生成用户各自的动作信息。在一个示例中，可以利用离散粒子预测来实现追踪多个目标(例如，多个用户)的任务。

根据本公开的一个实施例，感测模块102可以包括多个毫米波雷达感测组件102-b，多个毫米波雷达感测组件102-b可以位于预定空间中的不同位置处。多个毫米波雷达感测组件120-b可以被配置为对预定空间进行感测以获取感测数据，基于所获取的感测数据来生成预定空间中的多个用户各自的方位信息。例如，在图2所示的示例中，在预定空间的前部、中部以及后部共布置了6个毫米波雷达感测组件102-b以准确地追踪用户并感测用户的方位信息。本领域技术人员可以根据实际需要增加或减少毫米波雷达感测组件120-b的数量以及调整其相应位置以更好地感测用户方位信息。

根据本公开的一个实施例，多个毫米波雷达感测组件102-b可以具有360度可旋转结构，以方便用于追踪多个用户各自的方位信息。

在一个示例中，可以使用多个感测装置或元件以及/或者不同的感测装置或元件的组合以提高感测多个用户的方位信息的精准度。例如，通过将双目摄像头102-a与毫米波雷达感测组件102-b进行组合，可以将定位精度提高到亚毫米精度，以满足近距离高精度定位识别需求，保证了成像过程中各个OBJ(文件格式)成像维度正确，提升了交互体验。

在另一个示例中，多个感测装置或元件中的一部分可以被配置为追踪并感测第一用户的方位信息，多个感测装置或元件中的另一部分可以被配置为追踪并感测第二用户的方位信息。

根据本公开的一个实施例，感测模块102还可以包括惯性感测组件102-c，惯性感测组件102-c配置有多个惯性传感器，多个惯性传感器分别被安置于多个用户的身体上的特定位置处，特定位置可以与身体的关节位置相关联。

在一个示例中，惯性感测组件102-c可以被配置为获取针对多个用户各自的多个惯性传感器的信息，通过人体动作算法对多个惯性传感器的信息进行处理以获取多个用户各自的动作信息。

根据本公开的一个实施例，多个惯性传感器可以被配置在用户可穿戴的、镶嵌有金属丝的尼龙材质衣服中。通过镶嵌金属丝可以产生静电屏蔽效果以避免对外部电场产生干扰。在一个示例中，多个惯性传感器可以安置在全身绑带动作捕捉压缩服中，并且可以由传感器充电盒来供电。在一个示例中，惯性传感器还可以安置于专门用于捕获双手动作的手套中。

图3是根据本公开的一些示例的惯性传感器位置示意图。如图3所示，17个惯性传感器分别位于人体的特定关节处，通过这样的布置方式可以基于人体关节角度的变动准确地捕获用户的动作信息。在一个示例中，可以采用人体动作算法以及后处理算法对惯性感测组件102-c感测的数据进行进一步处理以提高数据质量。例如，通过BodyIKNet模型可以针对3个目标的多姿态动态捕捉，并提取人体及手部关键点位置完成动作识别和交互识别。根据本公开的一个实施例，人体动作算法的损失函数可以定义如下：

在一个示例中，感测模块102可以直接地或间接地通过网络与其他模块进行接口来进行数据通信。在一个示例中，网络可以是有线网络和/或无线网络。例如，有线网络可以采用双绞线、同轴电缆或光纤传输等方式进行数据传输，无线网络可以采用3G/4G/5G等移动通信网络、蓝牙、Zigbee或者WiFi等方式进行数据传输。在另一个示例中，感测模块102可以自身具备通信能力以与本申请所述的交互式医学可视化系统中的其他模块进行通信。例如，感测模块102可以是窄带物联网(NIoT)设备。

继续参考图1，在感测模块102获取预定空间中的多个用户各自的方位信息及动作信息之前、之后或在其过程中，交互式医学可视化系统100中的模型构造模块104可以被配置为获取第一用户的多模态医学数据，并且对多模态医学数据执行三维可视化处理以构造第一用户的三维医学模型。

模型构造模块104可以由处理器来实现。具体地，处理器可以是一种集成电路芯片，具有数据信息处理能力。上述处理器可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。在一些示例中，模型构造模块可以集成在具有数据信息处理能力的电子设备中。电子设备可以是任何类型的便携式设备(如智能手机、平板计算机、膝上型计算机等)也可以是任何类型的固定设备(如台式计算机、服务器等)。

在一些示例中，模型构造模块104或包括其的电子设备可以位于预定空间中或在预定空间之外，其可以直接地或间接地与系统中通过网络的其他模块相互连接。在一个示例中，网络可以是有线网络和/或无线网络。例如，有线网络可以采用双绞线、同轴电缆或光纤传输等方式进行数据传输，无线网络可以采用3G/4G/5G等移动通信网络、蓝牙、Zigbee或者WiFi等方式进行数据传输。

在一些示例中，模型构造模块104还可以与呈现模块集成在一起。例如模型构造模块104可以集成在第二用户的第二呈现模块110中，并且第二呈现模块110可以与第一呈现模块108进行通信以传输数据。

图5A示出了根据本公开的一些实施例的模型构造模块104的框图。根据本公开的一个实施例，模型构造模块104可以包括原始数据获取组件502和原始数据处理组件504。原始数据获取组件502可以被配置为：获取第一用户的身份信息；基于第一用户的身份信息通过患者主索引(EMPI)来获取第一用户的原始医学数据。原始数据处理组件504可以被配置为基于仓湖一体对原始医学数据进行融合归一化处理以生成多模态医学数据。在一个示例中，在通过EMPI成功认证第一用户的身份后，可以通过仓湖一体来读取原始数据。仓湖一体利用数据仓库的结构化数据以及数据湖的数据汇入和数据分析功能，在处理原始非结构化数据的同时可以利用AI技术对其实时分析，通过充分利用DB+AI的方式，以实现将患者多模态数据融合归一化处理。具体地，在读取成功后将会进行多元数据加载分析，通过自动解析数据以获取第一用户的多模态数据。根据本公开的一个实施例，多模态医学数据可以包括影像数据、文本数据、图像数据、声音数据中的至少一个。

图6示出了根据本公开的一些实施例的三维医学模型的示意图。如图6所示，三维医学模型中可以涵盖多种模态医学数据，这些数据可以以关联的方式向用户进行呈现，使得用户(例如，第一用户)更好的理解医学数据所表达的内容，从而提高第一用户和第二用户之间的沟通效率。例如，可以在三维医学模型中针对第一用户的身体特定位置(例如，具有病灶的某一器官)构建图表信息，使得第一用户可以了解治疗方案所针对的特定位置，使得第一用户可以更好地理解治疗方案，从而提高沟通效率。在图6所示的示例中，三维医学模型可以是彩色的，以清楚地向用户示出不同内容。在一个示例中，特定位置(例如，病灶)可以特定的颜色突出显示。在一个示例中，也可以根据所展示的内容不同(例如同时展示了人体的肌肉、器官、骨骼)，可以使用不同的颜色用于相应部分以使用户更容易地观察三维医学模型。

此外，针对一些特定的医学数据(例如图像或影像数据)进行三维医学模型建立可以有效地提高沟通效率。例如，可以对第一用户的肺部进行三维可视化以用于术前评估。通过三维医学模型准确地描述第一用户的肺部解剖结构并且精准定位病灶位置，可以使得第一用户更容易地了解自身状况、参与病灶的治疗方案的讨论，从而提高了第一用户与第二用户的沟通效率，使得第一用户对诊疗方案更加放心，有助于改善医患关系。

在基于第一用户的身份信息通过患者主索引(EMPI)来获取第一用户的原始医学数据的方案中，EMPI是指为同一个患者提供不同ID之间的相互索引。根据用户的身份信息，使用EMPI来获取用户相关的医疗数据，可以保证患者隐私的安全性。例如，在医院或者其他具有资格的管理实体的服务器存储器中可以包含患者的EMPI信息的结构化存储以及与患者相关的原始数据(例如，患者的电子病历信息存储以及与其关联的患者图像信息)。

根据本公开的一个实施例，原始医学数据可以为非结构化原始医学数据，以及原始数据处理组件504还可以被配置为基于NLP对非结构化原始医疗数据进行结构化处理。根据本公开的一个实施例，原始医学数据可以包括病历图像数据，以及原始数据处理组件504还可以被配置为对病历图像数据进行二值化处理，以及对经二值化处理的病历图像数据进行特征提取以识别病历图像数据中的字符。例如，对病历图像数据进行二值化处理可以包括将图像的像素点矩阵中的每个像素点的灰度值设置为0或者255，然后对其进行切斜校正，利用AdvancedEast进行像素级别的切割，最后进行版面分析，通过进行特征以完成字符识别。

图5B示出了根据本公开的另一些实施例的模型构造模块104的框图。根据本公开的一个实施例，模型构造模块104还可以包括数据存储组件506。数据存储组件506可以被配置为将多模态医学数据按时间轴顺序进行存储。模型构造模块104还可以被配置为获取第一用户的多模态医学数据，并且基于时间轴顺序中的第一时间对多模态医学数据执行三维可视化处理以构造第一用户的三维医学模型，其中三维医学模型包括指示时间轴顺序上的多个时间的时间轴呈现。响应于多个用户中的至少一个用户针对时间轴呈现所指示的第二时间进行操作的动作信息，模型构造模块可以基于第二时间更新三维医学模型。通过将多模态医学数据按照时间轴顺序处理，可以实现对第一用户的特定信息的快速查找，提高了第一用户与第二用户之间沟通的效率。

在一个示例中，数据存储组件506可以是易失性存储器或非易失性存储器，或可以包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或闪存。易失性存储器可以是随机存取存储器(RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(SDRAM)、双倍数据速率同步动态随机存取存储器DDRSDRAM)、增强型同步动态随机存取存储器(ESDRAM)、同步连接动态随机存取存储器(SLDRAM)和直接内存总线随机存取存储器(DR RAM)。

在一个示例中，第一时间可以是最近更新的用户数据，关于第一时间的三维医学模型可以用于呈现第一用户最近的状况。第一时间也可以是根据其他不同预设条件设定的时间。

在一个示例中，在三维医学模型的可视化呈现可以包括根据多个时间呈现的时间轴，用户的动作可以是拖动时间轴以选择期望的第二时间。在又一示例中，在三维医学模型的可视化呈现还可以包括多个时间的列表，用户的动作可以是选择列表中期望的第二时间。

根据本公开的一个实施例，多个用户中的至少一个用户针对三维医学模型进行操作的动作信息可以包括对三维医学模型进行旋转、拖拽、放大、缩小、变换以及内容修改等动作中的至少一个。

在一个示例中，当第一用户与第二用户针对患有肺癌的第一用户的肺部三维医学模型进行分析时，二者中的任意一者可以对患者的病理区域或病灶区域进行选择。模型构造模块104可以对该区域进行三维医学模型重建，经过重建后，三维模型可以呈现经放大的三维病灶。并且第一用户和第二用户可以针对病灶进行进一步地划分并可以进行切割等操作(例如，通过切割操作来使得三维模型示出如何切割病灶以及切除掉病灶后的状况)以进行手术方案的沟通，从而提高了二者之间的沟通效率。

在另一个示例中，当第一用户与第二用户针对三维医学模型进行交互时，第一用户可以针对三维医学模型中的特定位置处进行操作以标识该位置，从而使得第二用户可以清楚地了解第一用户的疑问点。响应于第一用户针对特定位置处的标识，第二用户可以针对该特定位置进行进一步的操作。同样地，也可以由第二用户针对特定位置发起标识动作并向第一用户进行讲解，用户可以针对该特定位置进行进一步地操作以观察该特定位置。

根据本公开的一个实施例，第二用户可以具有高于第一用户的对三维医学模型进行操作的权限，第二用户所具有的权限包括对三维医学模型进行内容修改的权限。通过限制除第二用户之外的其他用户对三维医学模型的操作，可以保证有关第一用户的多模态医学数据不会被随意篡改，保证了第一用户数据的安全。

根据本公开的一个实施例，数据存储组件506还可以被配置为存储多模态医学数据。响应于感测模块102获取的第二用户针对三维医学模型进行内容修改的操作的动作信息，模型构造模块104可以修改多模态医学数据并将修改后的多模态医学数据存储到数据存储组件506中。然后模型构造模块104更新三维医学模型。在针对三维医学模型进行修改后，相应的多模态医学数据也将被相应地修改，从而保证了第一用户的数据的一致性。

下面继续参考图1和图2，在感测模块102获取预定空间中的多个用户各自的方位信息之后，呈现位置确定模块106可以被配置为基于多个用户各自的方位信息，确定三维医学模型在预定空间中的呈现位置。

在本申请的交互式医学可视化系统中，由于不同的用户在预定空间中位于不同的位置处并且他们需要针对同一内容来进行沟通，因此需要基于多个用户的方位信息来确定三维医学模型在预定空间中的呈现位置，以便更好地向多个用户呈现同一三维医学模型。

根据本公开的一个实施例，呈现位置确定模块106还可以被配置为基于多个用户各自的方位信息，从预定空间中的多个预设呈现位置处选择三维医学模型的呈现位置。例如，多个预设呈现位置可以包括预定空间中的前部、中部和后部(分别对应于图2中的上部、中部和下部)。当第二用户和第一用户都处于预定空间的后部时，呈现位置确定模块106可以根据二者的位置，选择预定空间的中部作为三维医学模型呈现的位置。通过预设空间位置并从预设空间位置进行选择，可以减少呈现位置确定模块106的计算开销，提高计算速度，从而可以快速地向用户呈现三维医学模型，以提高沟通的效率。

根据本公开的一个实施例，呈现位置确定模块106还可以被配置为响应于多个用户各自的方位信息的变化，重新确定三维医学模型的呈现位置。例如，当第二用户和第一用户都处于预定空间的后部时，三维医学模型呈现的位置位于预定空间的中部。进一步地，当第二用户和第一用户向预定空间的中部移动时，二者的位置可能会与原有的三维医学模型呈现的位置接近重叠，影响其呈现效果。因此，呈现位置确定模块106可以响应于用户位置的变化，将三维医学模型呈现的位置更改为预定空间的前部，以确保用户可以在适当的距离上浏览三维医学模型。

在一些示例中，呈现位置确定模块106还可以基于第二用户和第一用户之间的方位信息，确定二者的距离和所朝向的方向，以在与二者适当的距离处确定呈现位置。例如，呈现位置确定模块106基于第一用户和第二用户的方位信息的不断变化，不断地更新三维医学模型的呈现位置。在又一些示例中，三维医学模型的呈现位置还可以由第二用户进行指定。

根据本公开的一个实施例，呈现位置确定模块106还可以被配置为对多个用户各自的方位信息进行信号同步差分处理以使方位信息同步；然后基于经同步的多个用户各自的方位信息，确定三维医学模型在预定空间中的呈现位置。利用信号同步差分装置进行信号辅助控制，可以保证在同等时间空间内的传输逻辑，从而使得当用户位置发生变化时，呈现位置确定模块106可以准确地改变三维医学模型的位置，避免导致第一用户和第二用户所呈现的内容不一致。例如，图7示出了根据本公开的一些实施例的具有信号同步差分装置的增强现实显示器的电路示意图。

下面继续参考图1和图2，在呈现位置确定模块106确定三维医学模型在预定空间中的呈现位置之后，第一呈现模块108可以被配置为在所确定的呈现位置处向第一用户呈现三维医学模型；第二呈现模块110可以被配置为在所确定的呈现位置处向第二用户呈现三维医学模型。

在本申请的交互式医学可视化系统，由于不同的用户在预定空间中所在的方位并不相同，因此可以基于不同用户各自的视角，由不同的呈现模块分别向用户在所确定的呈现位置处呈现三维医学模型，以实现三维医学模型相对于不同的用户来说是相同的。

根据本公开的一个实施例，第一呈现模块108可以包括第一增强现实(AR)显示器，第二呈现模块110可以包括第二增强现实显示器。三维医学模型相对于第一用户的呈现取决于所确定的呈现位置以及第一增强现实显示器的视角，并且三维医学模型相对于第二用户的呈现取决于所确定的呈现位置以及第二增强现实显示器的视角。应当说明的是，基于第一呈现模块108和第二呈现模块110分别在所确定的呈现位置确定处呈现的三维模型相对于预定空间而言其呈现效果是一致的(即，看起来是一个三维模型)，而对于第一用户和第二用户而言三维医学模型所呈现的效果则取决于二者各自的视角。例如参考图2，第一用户和第二用户分别位于预定空间中偏左和偏右的位置。因此，对于在预定空间前部(即，图2中上部)所呈现的三维模型，第一用户可能看到更多关于模型左侧的信息(此处左侧是指模型在图中所示的预定空间中的左侧)，而第二用户可能看到更多关于模型右侧的信息。也就是说，通过增强现实所呈现的三维模型看起来是在预定空间中真实存在的。通过增强现实显示器可以使用户获得更真实的三维呈现效果，并且在用户位置不一致的情况下，可以确保向不同用户所显示的三维医学模型在方位上是统一的，以有利于实现对医疗信息的交互。此外，通过增强现实显示器，向不同用户呈现的三维医学模型可以部分不同，例如，第二用户可以选择性地屏蔽第一用户通过第一增强现实显示器所能浏览到的内容，以避免第一用户看到一些不利于心理状态的信息，有助于交互。

以上结合图1和图2详细描述了交互式医学可视化系统。由上述详细描述的内容可知，本公开可以过获取预定空间中包括第一用户和第二用户的多个用户各自的方位信息及动作信息，基于其各自的方位信息来确定呈现位置，并进一步地通过不同的呈现模块在该确定的呈现位置处分别向不同用户呈现由多模态医学数据构建的三维医学模型，使得多个用户可以在各自的位置上根据各自的视角观察到同一个三维医学模型及其所呈现的内容，从而可以针对其进行沟通和操作，这改变了现有的交互方式，实现了在诊断过程中让患者更加清晰地了解自己的状况，提升了患者和医生交流的效率，有助于改善医患关系。

<第二实施例>

图8示出了根据本公开的又一些实施例的交互式医学可视化系统的框图。由于图8中所示的系统中部分模块与图1中所示的模块相同，并且以相同的参考标记对相同的步骤进行了标记，因此不再赘述。

如图8所示，本申请所述的交互式医学可视化系统还可以包括第一用户生理状态监测模块802。第一用户生理状态监测模块802可以被配置为监测第一用户的实时生理状态数据。第二呈现模块110还可以被配置为将第一用户的实时生理状态数据呈现给第二用户。通过对第一用户的实时生理状态的分析，并且将其实时的反馈给第二用户，可以使第二用户了解第一用户的实时生理状态，从而及时调整沟通方式，避免患者出现情绪不稳定等状况。

根据本公开的一个实施例，第一用户生理状态监测模块802还可以被配置为对第一用户的实时生理状态数据进行评估以确定第一用户的实时情绪状态。第二呈现模块110还可以被配置为将第一用户的实时情绪状态呈现给第二用户。

根据本公开的一个实施例，实时生理状态数据的类型可以包括微表情、声音、心率、脑电波和呼吸频率中的至少两者。第一用户生理状态监测模块802还可以被配置为基于预定的等级划分标准，分别对第一用户的每一种类型的实时生理状态数据进行评估以确定每一种类型的实时生理状态数据的等级，然后基于每一种类型的实时生理状态数据的等级及对应的预设权重，确定第一用户的实时情绪状态。

根据本公开的一个实施例，实时生理状态数据的类型例如可以包括呼吸和/或心率。在该示例中，第一用户生理状态监测模块802可以包括雷达监测组件，该雷达监测组件被配置为基于60G毫米波雷达监测第一用户的呼吸和/或心率。通过使用雷达检测组件，可以避免在第一用户身体上放置相应的监测设备，有利于保持患者的心理状态。在一个示例中，可以根据第一用户的心率与呼吸来计算第一用户的当前情绪状态。例如，可以根据心率与呼吸频率的比值＝心率/呼吸频率^2，得出当前的心率呼吸比率，然后将不同的比率划分为不同的等级。例如，可以按照心率呼吸比率0.1-0.3，0.3-0.6以及0.6-0.9将用户的状态划分为三个等级。

根据本公开的一个实施例，实时生理状态数据的类型例如可以包括脑电波。在该示例中，第一用户生理状态监测模块802可以包括脑电波监测组件，脑电波监测组件被设置于第一呈现模块108中，脑电波监测组件的位置对应于第一用户的前额与耳部。脑电波监测组件可以被配置为对第一用户的前额与耳部的静电皮层进行监听以获取第一用户的脑电波。在一个示例中，在利用神经电生理的脑电波采集技术从第一用户的前额与耳部的静电皮层获取脑电波后，可以通过对脑电波的分析与计算，解码脑波信号，以实现从脑电波中定量提取大脑的脑耗能、左右脑偏侧等多种脑功能状态指标，以用于量化第一用户当前的大脑功能状态(例如，意识、疼痛、情绪等)，从而有助于分析第一用户的情绪状态。

在一个示例中，实时生理状态数据的类型例如还可以包括微表情。可以基于预定的等级划分标准将微表情划分为多种不同的类型，例如恐惧、厌恶、愤怒、悲伤、轻蔑、惊讶、快乐。根据不同的微表情可以得到用户当前的情绪状态的等级。在该示例中，可以通过双目摄像头102-a或者其他摄像头基于UNet网络对第一用户的面部进行捕捉，并使用softmax对面部特征进行分类以将第一用户的微表情进行划分。

在一个示例中，实时生理状态数据的类型例如还可以包括语调状态。在该示例中，可以通过录音设备对第一用户与第二用户的对话进行记录，并将第一用户的语音按照30Hz进行分段。在针对每段声音进行音频信号过滤处理后，可以通过Speech2Vector模型对所产生的信号进行向量分类，建立不同级别的语调识别。例如，语调可以被划分为：恐惧、生气、难过、高兴，从而可以生成四个等级。然后可以将被划分等级的语调用于评估第一用户的情绪状态。

在一个示例中，可以基于以上任意一个方面的实时生理状态数据来对第一用户的情绪状态进行评估分析。在另一个示例中，第一用户的情绪状态可以基于多种实时生理状态数据来进行评估，从而更准确地确定第一用户的状态。例如，第一用户的情绪可以基于以下公式来计算：

情绪＝X1*score表情+X2*score语调+X3*心率呼吸比率。

其中，X1、X2和X3为用于计算的权重。该权重可以基于线性回归方式预先对一定数量的样本人群进行测试以获得。根据

根据本公开的一个实施例，第一用户生理状态模块802还可以被配置为在第一用户的实时情绪状态超过预定阈值时，生成告警信息。然后第二呈现模块110还可以被配置为将告警信息呈现给第二用户。通过生成直接生成告警信息，避免了第二用户分析第一用户的实时生理状态数据所需要消耗的额外时间，可以使得第二用户更及时的了解第一用户的当前状态。

根据本公开的一个实施例，第一用户生理状态模块802还可以包括状态存储组件。在该示例中，状态存储组件可以被配置为在第一用户的实时情绪状态超过预定阈值时，将告警信息、第一用户的实时生理状态数据、第一用户的实时情绪状态和第一呈现模块108当前呈现给第一用户的当前三维医学模型存储以供进一步分析。通过将超过预定阈值的第一用户状态与三维医学模型进行关联，第二用户可以在后续为该第一用户或其它第一用户进行诊断时，避免发生类似的情况，从而有效地改善医患关系。

以上结合图8详细描述了交互式医学可视化系统的另一示例。通过对第一用户的实时生理状态进行监测并反馈给第二用户，可以对患者的不佳情绪进行报警，从而可以有效地避免产生医患矛盾，改善医患的沟通效率。

需要说明的是，附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含至少一个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

一般而言，本公开的各种示例实施例可以在硬件或专用电路、软件、固件、逻辑，或其任何组合中实施。某些方面可以在硬件中实施，而其它方面可以在可以由控制器、微处理器或其它计算设备执行的固件或软件中实施。当本公开的实施例的各方面被图示或描述为框图、流程图或使用某些其它图像表示时，将理解此处描述的方框、装置、系统、技术或方法可以作为非限制性的示例在硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其它计算设备，或其某些组合中实施。

除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本公开所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。

以上是对本公开的说明，而不应被认为是对其的限制。尽管描述了本公开的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本公开的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本公开范围内。应当理解，上面是对本公开的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本公开由权利要求书及其等效物限定。