基于VR眼镜的心血管术中智能化交互医学影像视讯系统

技术领域

本发明涉及医学影像视讯技术领域，特别涉及基于VR眼镜的心血管术中智能化交互医学影像视讯系统。

背景技术

现有的虚拟现实技术在医学领域中的应用，主要通过对人体活体或尸体进行全方位的扫描，从而获取人体组织器官信息，再通过三维重建直接建立扫描的人体模型，应用虚拟现实技术和设备将虚拟模型呈现在场景之中。目前关于医学影像视讯系统，已有相关专利，比如申请号：CN202110286376.3公开了一种医学影像信息的交互式传输方法及系统，其中，所述系统包括：不少于一个的获得单元、上传单元、模拟单元和判断单元；通过基于所述第一用户的模拟的虚拟会诊对象实现VR的模拟会诊，同时基于实时的所述第一VR会诊图像信息的变化，对所述第一用户的疾病进行多方会诊。

该申请专利虽然解决了现有的多科室会诊存在较多局限性，不能对患者的病情进行切实高效的多方会诊，使得会诊效果不理想的技术问题，但在实际使用过程中仍存在以下几点问题：

1、现有技术中，通信系统依旧是视频编码性能或高清的视频画面，难以达到对于远程手术示教的高质量高精度要求，影响医护人员的远程会诊的诊断效果，很难做到及时的研讨，对患者手术方案的精准协商、判断，可能会延误患者的最佳治疗时间；

2、信息化时代的到来，医院的通信系统已经很难跟上国家对医疗改革的技术水准，基层医院诊疗水平较低，医资力量分配不均，受传统网络以及医疗影像接口不能顺利对接的限制，难以良好的实现跨区域沟通。

发明内容

本发明的目的在于提供基于VR眼镜的心血管术中智能化交互医学影像视讯系统，构建区域医学信息交换与共享平台，实现医疗机构间信息的互联互通，促进治疗手段的进步，提升医院的医疗水平与影响力，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

基于VR眼镜的心血管术中智能化交互医学影像视讯系统，包括术中采集终端、医疗数据可视化系统、医疗视讯交互系统、VR眼镜和远程管控平台；

所述术中采集终端用于获取术中患者基本数据、患者病灶数据、患者二维CT影像数据、医护人员基本数据及医护人员手术过程影像数据，将获取到的数据基于数据来源将数据打包生成患者数据包和医护人员数据包；

所述医疗数据可视化系统用于获取术中采集终端上传的患者数据包构建三维重建操作，建立三维模型包括人体血管、骨骼、内脏和血压的虚拟化患者病灶；

所述医疗数据可视化系统还用于获取术中采集终端上传的医护人员数据包对于患者的手术操作，在所述三维模型中展现手术操作过程，并基于操作过程预设模拟结果，并将模拟结果在所述三维模型中显现出来；

所述医疗视讯交互系统用于获取第一会诊方所在的VR眼镜上传的医学影像数据和术中影像数据，将所述医学影像数据和术中视频数据作为第一会诊方的视频信息；

获取所述第二会诊方所在的VR眼镜主动上传的视频数据及会诊方进行虚拟操作过程中发送的操作数据，将所述视频数据和操作数据作为第二会诊方的视频信息；

所述远程管控平台用于获取所述VR眼镜连接请求，基于请求指令与另一VR眼镜建立连接，同时基于第一会诊方所在的VR眼镜和第二会诊方所在的VR眼镜获取音频流数据，VR眼镜同步显示三维模型；

基于第一会诊方的视频信息和第二会诊方的视频信息与所述音频流数据同步，远程管控平台基于无线网络建立双向传输通道实时获取第一会诊方和第二会诊方的视频音频数据，并对所述视频音频数据进行储存。

进一步的，所述医疗数据可视化系统包括：

模型构建模块，用于获取术中采集终端上传的患者数据包，提取所述患者数据包中术中采集终端捕捉的现实画面，形成二维图像，获取二维坐标；

将所述二维坐标输入至对应三维空间坐标点后，将对应的三维空间的各个点的坐标值根据与二维空间的坐标值的对应关系，连接成线，再将对应的线连接构成面，再将对应的面连接起来形成立体结构，构成患者三维模型；

模型重建模块，用于实时获取采集终端上传的医护人员数据包，提取所述医护人员数据包中采集终端捕捉的医护人员操作画面，将操作数据与所述患者三维模型重合；

手术交互模块，用于处理所述患者三维模型与操作数据之间、患者三维模型中物体与物体之间的遮挡关系，获取现实手术设备在进行操作的过程中发送的操作数据，并将该操作数据发送至模型重建模块。

进一步的，所述模型重建模块，包括：

获取子模块，用于实时获取手术交互模块中手术设备上传的操作数据，并依据操作数据模拟虚拟手术操作；

合并子模块，用于基于模拟虚拟手术操作数据与人体体态变化将变化量输入至所述三维模型中，更新患者的三维模型的位姿；

显像子模块，用于依据适配信息将若干路视频数据流转化成适配播放要求的格式和分辨率，将基于患者数据的三维模型和C臂模拟X线成像技术结合形成显像。

进一步的，所述手术交互模块，还用于：

允许医护人员操作虚拟环境中的手术器械，医护人员操作虚拟手术设备时数据在虚拟手术设备、手术平台和第二会诊方实时同步；

记录整个过程中医护人员的每一步操作，将所述操作信息发送到远程管控平台，所述远程管控平台获取所述操作信息后，建立更新日志并存档。

进一步的，所述医疗视讯交互系统包括：

参数管理模块，用于获取所述医疗数据可视化系统上传的信号数据，提取所述信号数据中的时间数据及其携带的相关参数；

视讯交互模块，用于将VR眼镜与远程管控平台建立连接，对VR眼镜中的三维模型进行同步交互，基于手术交互模块的交互数据；

当前VR眼镜对三维模型进行更新，处理的参数通过远程管控平台同步发给其他VR眼镜，其他VR眼镜将更新后的三维模型进行显示；

音频同步模块，用于术中采集终端上传的数据中提取的图像信息和音频信息，与模型重建模块提取的虚拟三维模型合成虚拟手术视频，将音频数据和合成后的虚拟手术视频数据进行同步整合，实现影音同步。

进一步的，在所述将获取到的数据基于数据来源将数据打包生成患者数据包和医护人员数据包的步骤中，还包括：

将患者基本数据、患者病灶数据、患者二维CT影像数据进行第一标识标记，形成第一标识数据集A＝[A

将医护人员基本数据及医护人员手术过程影像数据进行第二标识标记，形成第二标识数据集B＝[B

将第一标识数据集A和第二标识数据集B通过以下公式进行映射匹配：

B＝f

其中f

基于上述映射匹配关系，当输入调取指令和患者基础信息，则可以同时调取患者的基本数据、患者病灶数据、患者二维CT影像数据以及对应的医护人员信息和医护人员手术过程影像数据；

通过对调取信息的权限进行预设置，当达到预设级别权限的调取指令时，才可以调取对应级别的关联数据。

进一步的，所述视讯交互模块，还用于：

在当前VR眼镜与其他VR眼镜交互会话过程中，当前VR眼镜对患者三维模型进行选中后，该三维模型被当前VR眼镜锁定，其他VR眼镜不能对该三维模型进行操作；

当前VR眼镜对三维模型取消选中后，该三维模型解除锁定，并将解锁信息传送至其他VR眼镜。

进一步的，所述远程管控平台包括：

指令请求模块，用于获取当前VR眼镜连接请求和断开请求，并提取请求数据中目标请求指令或断开指令，基于目标请求指令与其他VR眼镜建立连接或断开连接；

指令反馈模块，用于获取其他VR眼镜连接数据，主动通知与当前VR眼镜和其他VR眼镜的视频流和音频流数据同步；

处理诊断模块，用于基于当前VR眼镜和其他VR眼镜的视频流和音频流数据进行手术方案的分析诊断，测试后分析当前方案手术效果。

进一步的，所述处理诊断模块，还用于：

读取医疗视讯交互系统和医疗数据可视化系统的输出数据，提取最终手术方案中的操作数据；

将手术平台获取的操作数据和在虚拟三维模型中的操作数据作比较，进而分析用于术中医护人员手术操作的手术行为误差以及虚拟软件的算法误差；

当患者变化量的三维模型变化超过设定阈值时，发出报警提示声；当手术过程中手术行为超出手术方案允许的误差时，发出报警提示声。

进一步的，还包括基于所述VR眼镜的调节处理方法，所述调节处理方法包括：

基于图像拍摄模块采集获取VR眼镜使用者的眼部图像信息，计算所述使用者的两个瞳孔间的距离和/或两个眼球的形状比率；

根据所述使用者的两个瞳孔间的距离，获取所述使用者的瞳距信息d；和/或根据所述使用者的两个眼球的形状比率，计算获取所述使用者的屈光度信息n；

若确定所述瞳距信息不满足所述视觉条件中的瞳距配置信息，则通过调整对应侧的所述VR眼镜的镜片模组的位置调整所述瞳距信息；

若确定所述屈光度信息不满足所述视觉条件中的屈光度配置信息，则控制所述VR眼镜的驱动马达，以驱动所述驱动马达对应的VR眼镜屏幕向靠近或者远离所述镜片模组的方向移动，以使所述镜片模组对应的屈光度与所述使用者的左眼屈光度相匹配。

与现有技术相比，本发明的有益效果是：

1.通过VR眼镜交互构建区域医学信息交换与共享平台，实现医疗机构间信息的互联互通，远程影像会诊过程中包含静态与动态的的实时交互式操作，减少了医院重复检查和设备投资，减少了患者流动和医疗资源覆盖不够的现象，通过远程诊疗，统一疾病严重度的评估标准，促进治疗手段的进步，提升医院的医疗水平与影响力，医院借助远程医疗系统开展专家讲座，技术交流、手术示教等，提高医院的整体医学影响力，为老百姓提供优质可靠的医疗环境，更好的服务于群众。

2.通过将每个图形中的点的坐标进行一定的转换，通过三维线性变换的方式，实现二维坐标值转到三维空间后的坐标值，并将转换后的三维空间的点的位置根据坐标值进行连接，点连接成线，线连接成面，面连接成体，能够有效的实现二维坐标信息到三维坐标的转换，并形成虚拟环境数据，同时实现术中信息的实时传递，通过手术交互模块对医学图像数据和重建模型数据进行变换，可以在虚拟现实场景中观察医学影像数据和重建模型数据，使显示结果更加立体逼真，可以更准确的观察和诊断病情，同时，在患者使用时，通过逼真的模型使患者既可以了解个人术中实际病情，又可以缓解个人围术期紧张，实现疼痛沉浸式管理。

3.通过视讯交互模块进行交互画面的参数处理，达到对于远程手术示教的高质量画面要求，提高了远程会诊的诊断效果，实现跨区域沟通，音频同步模块实现影音同步，提高患者虚拟三维模型的画面真实性，保证VR眼镜播放画面和声音的一致性，根据不同病人病灶构建不同的虚拟三维模型，动态呈现手术操作过程，实现医护会诊的音频视讯共享，视讯交互模块能够实现多个VR眼镜显示内容的同步，多人同时观察一个手术台，并进行远程会诊指导，医疗专家随时进行高品质的手术过程中医疗学术问题的交流，让基层医院接纳更多的患者，逐渐解决医资分布不均等问题。

附图说明

图1为本发明的智能化交互医学影像视讯系统整体模块图；

图2为本发明的医疗数据可视化系统模块图；

图3为本发明的医疗视讯交互系统模块图；

图4为本发明的远程管控平台模块图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了解决医院的通信系统已经很难跟上国家对医疗改革的技术水准，基层医院诊疗水平较低，医资力量分配不均的技术问题，请参阅图1，本实施例提供以下技术方案：

基于VR眼镜的心血管术中智能化交互医学影像视讯系统，包括术中采集终端、医疗数据可视化系统、医疗视讯交互系统、VR眼镜和远程管控平台；

术中采集终端用于获取术中患者基本数据、患者病灶数据、患者二维CT影像数据、医护人员基本数据及医护人员手术过程影像数据，将获取到的数据基于数据来源将数据打包生成患者数据包和医护人员数据包；医疗数据可视化系统用于获取术中采集终端上传的患者数据包构建三维重建操作，建立三维模型包括人体血管、骨骼、内脏和血压的虚拟化患者病灶；

医疗数据可视化系统还用于获取术中采集终端上传的医护人员数据包对于患者的手术操作，在所述三维模型中展现手术操作过程，并基于操作过程预设模拟结果，并将模拟结果在所述三维模型中显现出来；

医疗视讯交互系统用于获取第一会诊方所在的VR眼镜上传的医学影像数据和术中影像数据，将所述医学影像数据和术中视频数据作为第一会诊方的视频信息；获取所述第二会诊方所在的VR眼镜主动上传的视频数据及会诊方进行虚拟操作过程中发送的操作数据，将所述视频数据和操作数据作为第二会诊方的视频信息；

所述远程管控平台用于获取所述VR眼镜连接请求，基于请求指令与另一VR眼镜建立连接，同时基于第一会诊方所在的VR眼镜和第二会诊方所在的VR眼镜获取音频流数据，VR眼镜同步显示三维模型；基于第一会诊方的视频信息和第二会诊方的视频信息与所述音频流数据同步，远程管控平台基于无线网络建立双向传输通道实时获取第一会诊方和第二会诊方的视频音频数据，并对所述视频音频数据进行储存。

具体的，通过VR眼镜交互构建区域医学信息交换与共享平台，实现医疗机构间信息的互联互通，远程影像会诊过程中包含静态与动态的的实时交互式操作，减少了医院重复检查和设备投资，减少了患者流动和医疗资源覆盖不够的现象，通过远程诊疗，统一疾病严重度的评估标准，促进治疗手段的进步，提升医院的医疗水平与影响力，医院借助远程医疗系统开展专家讲座，技术交流、手术示教等，提高医院的整体医学影响力，为老百姓提供优质可靠的医疗环境，更好的服务于群众。

为了调节VR眼镜在使用过程中针对不同的用户可能存在不适配的情况本发明还包括基于所述VR眼镜的调节处理方法，所述调节处理方法包括：

基于图像拍摄模块采集获取VR眼镜使用者的眼部图像信息，计算所述使用者的两个瞳孔间的距离和/或两个眼球的形状比率；

根据所述使用者的两个瞳孔间的距离，获取所述使用者的瞳距信息d；和/或根据所述使用者的两个眼球的形状比率，计算获取所述使用者的屈光度信息n；

若确定所述瞳距信息不满足所述视觉条件中的瞳距配置信息，则通过调整对应侧的所述VR眼镜的镜片模组的位置调整所述瞳距信息；

若确定所述屈光度信息不满足所述视觉条件中的屈光度配置信息，则控制所述VR眼镜的驱动马达，以驱动所述驱动马达对应的VR眼镜屏幕向靠近或者远离所述镜片模组的方向移动，以使所述镜片模组对应的屈光度与所述使用者的左眼屈光度相匹配。

上述技术方案的原理和技术效果为：通过在VR眼镜上设置图像拍摄模块，能够对每个使用VR眼镜的用户的眼部图像信息进行采集，并基于拍摄的眼部图像信息来判断使用者的瞳距是否满足预设需求，同时也能基于眼部图像信息来判断使用者的屈光度信息，如果瞳距和屈光度信息不能满足预设需求时，则通过调整VR眼镜的镜片模组的位置或者通过驱动马达调整VR眼镜屏幕与镜片模组的远近来实现调节，从而对于每个使用者都能达到较好的适用效果，这种技术方案使得VR眼镜的适用性更强，满足不同的用户群体需求。

为了解决现有技术中通常采用视频会议的方式进行研讨与商议，无法远程直观的为医护人员带来精准的患者病灶与情况的技术问题，请参阅图2，本实施例提供以下技术方案：

医疗数据可视化系统包括模型构建模块，用于获取术中采集终端上传的患者数据包，提取所述患者数据包中术中采集终端捕捉的现实画面，形成二维图像，获取二维坐标；将所述二维坐标输入至对应三维空间坐标点后，将对应的三维空间的各个点的坐标值根据与二维空间的坐标值的对应关系，连接成线，再将对应的线连接构成面，再将对应的面连接起来形成立体结构，构成患者三维模型；

模型重建模块，用于实时获取采集终端上传的医护人员数据包，提取所述医护人员数据包中采集终端捕捉的医护人员操作画面，将操作数据与所述患者三维模型重合；模型重建模块，包括获取子模块，用于实时获取手术交互模块中手术设备上传的操作数据，并依据操作数据模拟虚拟手术操作；合并子模块，用于基于模拟虚拟手术操作数据与人体体态变化将变化量输入至所述三维模型中，更新患者的三维模型的位姿；显像子模块，用于依据适配信息将若干路视频数据流转化成适配播放要求的格式和分辨率，将基于患者数据的三维模型和C臂模拟X线成像技术结合形成显像；

手术交互模块，用于处理所述患者三维模型与操作数据之间、患者三维模型中物体与物体之间的遮挡关系，获取现实手术设备在进行操作的过程中发送的操作数据，并将该操作数据发送至模型重建模块；手术交互模块，还用于允许医护人员操作虚拟环境中的手术器械，医护人员操作虚拟手术设备时数据在虚拟手术设备、手术平台和第二会诊方实时同步；记录整个过程中医护人员的每一步操作，将所述操作信息发送到远程管控平台，所述远程管控平台获取所述操作信息后，建立更新日志并存档。

具体的，通过将每个图形中的点的坐标进行一定的转换，通过三维线性变换的方式，实现二维坐标值转到三维空间后的坐标值，并将转换后的三维空间的点的位置根据坐标值进行连接，点连接成线，线连接成面，面连接成体，能够有效的实现二维坐标信息到三维坐标的转换，并形成虚拟环境数据，同时实现术中信息的实时传递，通过手术交互模块对医学图像数据和重建模型数据进行变换，可以在虚拟现实场景中观察医学影像数据和重建模型数据，使显示结果更加立体逼真，可以更准确的观察和诊断病情，同时，在患者使用时，通过逼真的模型使患者既可以了解个人术中实际病情，又可以缓解个人围术期紧张，实现疼痛沉浸式管理。

为了解决受传统网络以及医疗影像接口不能顺利对接的限制，难以良好的实现跨区域沟通的技术问题，请参阅图3，本实施例提供以下技术方案：

医疗视讯交互系统包括参数管理模块，用于获取所述医疗数据可视化系统上传的信号数据，提取所述信号数据中的时间数据及其携带的相关参数；音频同步模块，用于术中采集终端上传的数据中提取的图像信息和音频信息，与模型重建模块提取的虚拟三维模型合成虚拟手术视频，将音频数据和合成后的虚拟手术视频数据进行同步整合，实现影音同步；

视讯交互模块，用于将VR眼镜与远程管控平台建立连接，对VR眼镜中的三维模型进行同步交互，基于手术交互模块的交互数据；当前VR眼镜对三维模型进行更新，处理的参数通过远程管控平台同步发给其他VR眼镜，其他VR眼镜将更新后的三维模型进行显示；视讯交互模块，还用于在当前VR眼镜与其他VR眼镜交互会话过程中，当前VR眼镜对患者三维模型进行选中后，该三维模型被当前VR眼镜锁定，其他VR眼镜不能对该三维模型进行操作；当前VR眼镜对三维模型取消选中后，该三维模型解除锁定，并将解锁信息传送至其他VR眼镜。

具体的，通过视讯交互模块进行交互画面的参数处理，达到对于远程手术示教的高质量画面要求，提高了远程会诊的诊断效果，实现跨区域沟通，音频同步模块实现影音同步，提高患者虚拟三维模型的画面真实性，保证VR眼镜播放画面和声音的一致性，根据不同病人病灶构建不同的虚拟三维模型，动态呈现手术操作过程，实现医护会诊的音频视讯共享，视讯交互模块能够实现多个VR眼镜显示内容的同步，多人同时观察一个手术台，并进行远程会诊指导，医疗专家随时进行高品质的手术过程中医疗学术问题的交流，让基层医院接纳更多的患者，逐渐解决医资分布不均等问题。

在所述将获取到的数据基于数据来源将数据打包生成患者数据包和医护人员数据包的步骤中，还包括：

将患者基本数据、患者病灶数据、患者二维CT影像数据进行第一标识标记，形成第一标识数据集A＝[A

将医护人员基本数据及医护人员手术过程影像数据进行第二标识标记，形成第二标识数据集B＝[B

将第一标识数据集A和第二标识数据集B通过以下公式进行映射匹配：

B＝f

其中f

基于上述映射匹配关系，当输入调取指令和患者基础信息，则可以同时调取患者的基本数据、患者病灶数据、患者二维CT影像数据以及对应的医护人员信息和医护人员手术过程影像数据；

通过对调取信息的权限进行预设置，当达到预设级别权限的调取指令时，才可以调取对应级别的关联数据。

上述技术方案的原理和技术效果为：通过将患者基本数据、患者病灶数据、患者二维CT影像数据进行标识，能够通过第一标识直接锁定患者的信息，避免与医护人员的信息混合，并在包含所有患者信息的第一标识数据集中基于每个患者进一步进行关联性匹配，从而将每个患者自身所有的信息数据进一步标识，方便针对性查询和搜索；通过将医护人员基本数据及医护人员手术过程影像数据进行标识，能够通过第二标识直接锁定医护人员的信息，避免与患者的信息混合，并在包含所有医护人员信息的第二标识数据集中基于每个医护人员进一步进行关联性匹配，从而将每个医护人员和所有工作的信息数据进一步标识，然后通过映射匹配公式将每个患者的信息与对应的医护人员的信息关联起来，方便整体系统管理，映射系数采用线性公式，并通过设置三个自然数从而确保映射针对性更强，然后关联后的数据可以通过调取指令进行调取，由于涉及隐私和权限问题，只有达到一定级别权限的调取指令才能通过患者调取与其相关的所有医疗数据，如果权限不够，只能调取部分数据，其级别和数据的对应关系可以根据需要进行设置。这种技术方案一方面方便系统管理，一方面方便全面获取患者的治疗信息，同时由于权限的设置，也确保了安全性。

为了解决对于很多疑难杂症患者，受限于距离以及难以转移等问题，很难做到及时的研讨、协商、判断，可能会延误患者最佳的治疗时间的技术问题，请参阅图4，本实施例提供以下技术方案：

远程管控平台包括：指令请求模块，用于获取当前VR眼镜连接请求和断开请求，并提取请求数据中目标请求指令或断开指令，基于目标请求指令与其他VR眼镜建立连接或断开连接；指令反馈模块，用于获取其他VR眼镜连接数据，主动通知与当前VR眼镜和其他VR眼镜的视频流和音频流数据同步；处理诊断模块，用于基于当前VR眼镜和其他VR眼镜的视频流和音频流数据进行手术方案的分析诊断，测试后分析当前方案手术效果；

处理诊断模块，还用于读取医疗视讯交互系统和医疗数据可视化系统的输出数据，提取最终手术方案中的操作数据；将手术平台获取的操作数据和在虚拟三维模型中的操作数据作比较，进而分析用于术中医护人员手术操作的手术行为误差以及虚拟软件的算法误差；当患者变化量的三维模型变化超过设定阈值时，发出报警提示声；当手术过程中手术行为超出手术方案允许的误差时，发出报警提示。

具体的，通过处理诊断模块具备的数化仿真、分析诊断、学习预测和决策自治功能，各类模型通过或独立或相互联系作用的方式形成的半自主性的子系统，自主判断并不断学习手术过程中所存在的风险，及时为医护人员进行警示，并且可随时观看到全方位多角度的手术录像，找出手术过程中的不足，判断实施手术与规划手术的误差，从而提高手术质量。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。