一种全息增强现实辅助的外科手术术中人机交互诊疗系统

技术领域

本发明属于虚拟仿真领域，尤其涉及一种全息增强现实辅助的外科手术术中人机交互诊疗系统。

背景技术

近年来，医学影像的三维重建技术具有着至关重要的意义，三维重建技术是通过对二维的横断面的序列切片数据影像进行三维重建，并且通过矩阵计算生成冠状面和矢状面的序列图像，同时对三维重建模型可以进行切割和标定等操作。

该技术已经成为医学领域的主要研究趋势，并且基本满足医生的临床需求，三维重建技术可以根据二维的序列断层医学影像重建出完整的三维虚拟立体模型，使用者可以对虚拟立体的三维模型进行切割、标注等交互操作，相比于二维影像，三维模型具有多层次、多方位的好处，这种新型的多模态影像重建技术可以弥补传统单一模态影像技术在诊断方面的不足，可以有效提高诊断的效率与精准性。

因此，提出一种全息增强现实辅助的外科手术术中人机交互诊疗系统，为使用者提供逼真立体的虚拟环境，在虚拟环境中展示出更丰富的医学影像信息，也可以为医学上的教学以及实验提供便利。

发明内容

为了解决上述技术问题，本发明提供一种全息增强现实辅助的外科手术术中人机交互诊疗系统，包括二维显示模块、三维显示模块、用户交互模块以及全息投影模块；

所述的二维显示模块可以对导入的DICOM图像文件计算处理，进行冠状面、矢状面和横断面的显示；

所述的三维显示模块可以利用开源图像处理和可视化工具函式库VTK、ITK对医学影像进行三维重建与渲染，三维模型便于使用者更直观地观察虚拟立体的信息；

所述的用户交互模块可以模型进行缩放和旋转位姿变换，可以通过鼠标拖拽或旋转操作切割面，对三维模型进行实时切割显示，也可以通过坐标计算对导入的各种形式的模型以及辅助线的计算和规划，进行动画渲染；

所述的全息投影模块可以将渲染或切割的三维模型采用偏振式3D的方式推送到可交互显示的屏幕上，并通过调整视距达到不同的立体效果。

优选的，所述的二维显示模块中对导入的DICOM图像文件计算处理，进行冠状面、矢状面和横断面的显示，是直接采用已经封装了VTK管线的vtkImageViewer2类进行图像显示，可以更加方便的完成图像显示和交互，同样是二维图像，和横断面类似，为了获取与坐标轴对齐的角色的包围盒，采用VTK中的GetBounds()方法，通过矩阵的Translate()空间几何变换，对于冠状面来说就是RotateX和SetSliceOrientationToYZ，对于矢状面来说就是RotateY和SetSliceOrientationToXZ，对于横断面来说就是RotateZ和SetSliceOrientationToXY，之后通过vtkImageReslice重新显示管线和渲染，即可对二维图像进行显示。

优选的，所述的三维显示模块中的三维重建与渲染，当渲染不满足需求时，启动多种渲染方式，利用面绘制和体绘制方法，通过VTK的Property属性，利用SetAmbient参数设置环境光照系数，打开或者关闭阴影测试，利用SetDiffuse参数设置漫反射光系数，利用SetSpecularPower参数设置镜面光强度，利用SetOpacity参数设置不透明度或设置梯度不透明属性，设置颜色属性，来实现面绘制或者体绘制的三维渲染。

优选的，所述面绘制利用的算法是移动立方体算法，所述体绘制利用的算法是光线投影法，所述光线投影法包括各种光学模型，通常是光吸收模型和发光模型。

优选的，所述的用户交互模块中对三维模型进行实时切割，是利用vtkPlane类库进行切割平面的构建与初始化，利用vtkClipPolyData类库设置隐函数，利用该隐函数将滤波后的数据映射到当前几何图元，利用SetGenerateClippedOutput方法设置是否需要生成被剪切掉的部分，利用GetClippedOutputPort()函数输出剪切留下的部分，利用GetOutputPort()函数对剪切掉的部分予以显示。

优选的，所述的用户交互模块中通过坐标计算对导入的各种形式的模型以及辅助线的计算和规划，进行动画渲染，是在VTK中具备vtkSTLReader类，与DICOM格式类似，可以实例化一个Reader对象读取STL、OBJ格式的文件，只需要读取其所在路径即可，读取后不需要进行VTK的数据滤波，可以直接进入映射和渲染流程，VTK中通常都是静态交互，但是通过VTK中封装的CreateRepeatingTimer类，可以实例化自增的时间，在时间进程中不断对角色进行实时渲染，实现虚拟仿真的动画效果。

优选的，所述的全息投影模块中采用偏振式3D的方式推送到可交互显示的屏幕上，其中偏振式3D是利用光的振动方向对原始图像进行分解，将两个不同的偏振光方向的图像传送给观看者，当两幅图像通过偏振式眼镜时，观看者便可以通过大脑将左右眼接收的两组图片合成立体图像；其中可交互显示的屏幕，是将软件系统的图像导入基于光子透明芯片显示技术的透明屏幕上面，即光子悬浮屏，通过使用裸眼3D或带3D眼镜的方式来实现观看。

优选的，所述的全息投影模块中调整视距达到不同的立体效果，是通过设置一个双眼距离的参数，实现方式为移动右眼相机位置，根据Qt的滑块的值来计算右眼相机移动距离，得到计算的值后遍历所有绘制器和渲染器，设置一遍最新的相机，在重新渲染显示后，即可得到右眼相机产生变化的效果，在3D合成时，可以得到不同的效果。

与现有技术相比，本发明的有益效果为：

1、本发明通过多模态的配准和融合技术，将各种类型传感器的信息匹配融合起来，对图像进行综合有效的利用，能够适用于多个技术领域。

2、本发明设置有二维显示模块和三维显示模块，通过交互部件，对二维影像与三维立体模型实现切割和标注联动，在一套虚实结合的可视化虚拟手术场景中重建出患者个性化三维虚拟化头颅模型，能够更全面地展示立体信息。

3、本发明既可以为使用者提供逼真立体的虚拟环境，在虚拟环境中展示出更丰富的医学影像信息，也可以为医学上的教学以及实验提供便利。

4、本发明采用的是一套开源的技术架构，在降低开发成本的同时，能够使软件具有更高的安全性和灵活度，其核心功能全部采用VTK工具函式库，可视化界面采用Qt开发框架，提高了界面的美观度。

5、本发明所设计的系统集成度高，具有全息增强现实技术的智能诊疗系统，对于其他的智能医学手术交互系统也具有极大的参考价值。

附图说明

图1是本发明的系统总体框架流程图；

图2是本发明的系统应用场景仿真效果图；

图3是本发明的全息投影框架流程图；

图4是本发明的用户界面显示图。

具体实施方式

以下结合附图对本发明做进一步描述：

实施例1：

本发明按照如附图1所示的结构框架，依次搭建二维显示模块和三维显示模块，用于显示二维数据和三维模型，并进行实时联动。

步骤1、二维显示模块可以对导入的DICOM图像文件计算处理，进行冠状面、矢状面和横断面的显示，直接采用已经封装了VTK管线的vtkImageViewer2类进行图像显示，可以更加方便的完成图像显示和交互。

步骤2、同样是二维图像，和横断面类似，为了获取与坐标轴对齐的角色的包围盒，采用VTK中的GetBounds()方法，通过矩阵的Translate()空间几何变换，对于冠状面来说就是RotateX和SetSliceOrientationToYZ，对于矢状面来说就是RotateY和SetSliceOrientationToXZ，对于横断面来说就是RotateZ和SetSliceOrientationToXY，之后通过vtkImageReslice重新显示管线和渲染，即可对二维图像进行显示。

步骤3、三维显示模块可以利用VTK对医学影像进行三维重建与渲染，三维模型便于使用者更直观地观察虚拟立体的信息，利用面绘制和体绘制方法，所述面绘制利用的算法是移动立方体算法，所述体绘制利用的算法是光线投影法，所述光线投影法包括各种光学模型，通常是光吸收模型和发光模型；通过VTK的Property属性，利用SetAmbient参数设置环境光照系数，打开或者关闭阴影测试，利用SetDiffuse参数设置漫反射光系数，利用SetSpecularPower参数设置镜面光强度，利用SetOpacity参数设置不透明度或设置梯度不透明属性，设置颜色属性，来实现面绘制或者体绘制的三维渲染。

步骤4、二三维联动可以利用鼠标的交互进行横断面、冠状面和矢状面的实时联动，各投影面的各个轴心以及坐标轴都可以通过拖拽交互，将平面角色指定默认道具，创建重分割光标reslice cursor，附属配件widget和rep装配体；将图像平面小部件和重新分割光标小部件绑定在一起；将窗口初始化为合理的值；使各子窗口共享相同的颜色映射；显示数据管线和渲染角色及所处环境；定义交互进行图像显示。

具体的，通过上述步骤实现二维影像与三维立体模型的切割和标注联动，如附图2所示，在一套虚实结合的可视化虚拟手术场景中重建出患者个性化三维虚拟化头颅模型，能够更全面地展示立体信息。

实施例2：

本发明按照如附图1所示的结构框架，依次搭建用户交互模块与全息投影模块，构成一种全息增强现实辅助的外科手术术中人机交互诊疗技术，如附图3所示，具体流程为：

步骤1、利用vtkPlane类库进行切割平面的构建与初始化，利用vtkClipPolyData类库设置隐函数，利用该隐函数将滤波后的数据映射到当前几何图元，利用SetGenerateClippedOutput方法设置是否需要生成被剪切掉的部分，利用GetClippedOutputPort()函数输出剪切留下的部分，利用GetOutputPort()函数对剪切掉的部分予以显示。

步骤2、通过坐标计算对导入的STL格式的骨钻和切板模型以及辅助线的计算和规划进行动画渲染，是在VTK中具备vtkSTLReader类，与DICOM格式类似，可以实例化一个Reader对象读取STL、OBJ格式的文件，只需要读取其所在路径即可，读取后不需要进行VTK的数据滤波，可以直接进入映射和渲染流程，VTK中通常都是静态交互，但是通过VTK中封装的CreateRepeatingTimer类，可以实例化自增的时间，在时间进程中不断对角色进行实时渲染，实现虚拟仿真的动画效果。

步骤3、采用偏振式3D的方式推送到可交互显示的屏幕上，偏振式3D是利用光的振动方向对原始图像进行分解，将两个不同的偏振光方向的图像传送给观看者，当两幅图像通过偏振式眼镜时，观看者便可以通过大脑将左右眼接收的两组图片合成立体图像；其中可交互显示的屏幕，是将软件系统的图像导入基于光子透明芯片显示技术的透明屏幕上面，即光子悬浮屏，该屏幕可以方便地悬挂在医院的手术台前，在透明屏幕凌空产生高清、亮丽的图像，该屏幕安装不需改变环境原有的布局，适合虚拟展示使用，并通过使用裸眼3D或带3D眼镜的方式来实现观看

步骤4、为了不同的使用者在不同的距离适配不同的屏幕，本文设置了一个双眼距离的参数，实现方式为移动右眼相机位置，根据Qt的滑块的值来计算右眼相机移动距离，得到计算的值后遍历所有绘制器和渲染器，设置一遍最新的相机，在重新渲染显示后，即可得到右眼相机产生变化的效果，在3D合成时，可以得到不同的效果，如附图4所示，面向全息增强现实的医学影像重建与智能分析数据显示在界面中。

在本发明的描述中，需要理解的是，术语“同轴”、“底部”、“一端”、“顶部”、“中部”、“另一端”、“上”、“一侧”、“顶部”、“内”、“前部”、“中央”、“两端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”、“第三”、“第四”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量，由此，限定有“第一”、“第二”、“第三”、“第四”的特征可以明示或者隐含地包括至少一个该特征。

在本发明中，除非另有明确的规定和限定，术语“安装”、“设置”、“连接”、“固定”、“旋接”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及等同物限定。