大尺度动态环境下融合现实手术导航配准系统及方法

技术领域

本发明属于虚拟现实、人机交互、数据处理技术领域，涉及大尺度动态环境下融合现实手术导航配准系统及方法。

背景技术

混合现实(MR，Mixed Reality)指的是合并现实和虚拟世界而产生的新的可视化环境，在新的可视化环境里物理和数字对象共存，并实时互动。混合现实技术是一项前沿的创新技术，它在医疗领域的应用也初具规模，目前也有相关的报道和文献表明，很多科研工作者正在开发相应的产品和方法，将混合现实结合手术应用中。随着基于图像引导的手术导航系统(Image-guided Surgery,IGS)的开发问世，其从根本上改变了传统手术模式，实现了术前规划方案至临床手术操作的精准转移，极大地提高了手术的安全性、可靠性和高效性。该技术被誉为现代临床医学手术室的“卫星定位GPS系统”，以CT、MRI等医学影像资料和计算机辅助术前规划信息为基础，在手术过程中利用高精度定位跟踪仪对手术器械和患者进行跟踪，并将两者的相对位置关系实时显示在计算机屏幕上，从而提供给临床医生更精确的量化信息指导，引导其按照术前规划的方案顺利实施手术。在医学研究中引入增强现实技术，可以将获得的人体三维组织信息准确的叠加在医生的视野环境中，为医生提供更为直观的用于诊断的显示效果。利用增强现实技术，直接将CT、MRI等信息显示在病人身上，并对需要施行手术的部位精确的定位，这在提高医学诊断和手术精度方面均具有很重要的研究意义。

但基于混合现实的手术导航系统也存在各种问题：

一、混合现实中会产生动态环境下的实时配准问题，如：在飞机上进行手术救援时，飞机不时会产生颠簸，从而可能造成患者位置或医护人员位置发生改变。目前为止，绝大部分基于混合现实的手术导航系统的应用是在实验室或医院等场景中进行的，而在这些场景中进行手术时患者几乎是保持不动的，在设计配准算法时不需要考虑目标频繁移动问题，故目前基于混合现实手术导航系统中所设计的虚实配准算法不适用于动态环境下的实时配准。

二、在系统中加入复杂算法或处理数据量很大时，基于HoloLens的硬件配置无法满足实际需求。(1)在基于混合现实的手术导航系统中，在手术器械建模和配准工作完成后，就需要对手术器械和患者实体的运动进行实时跟踪，并将两者的位置变化统一反映在计算机屏幕虚拟图像中，引导医生按照术前规划的路径施行手术，避免损伤重要的解剖结构。在虚拟图像中同步显示手术器械和患者的绝对运动的表现形式(亦即基于世界坐标系配准的绝对跟踪)较符合客观实际、真实直观，但该方法在导航过程中需要实时对患者STL格式三维模型(一般在几十兆左右)进行移动、旋转并显示的计算，这就不可避免地存在内存占用大，容易引起图像显示滞后，甚至导航系统死机与瘫痪的缺点。(2)在移动设备查看3D内容的传统方法需要压缩模型并去除多边形。并且为了让虚拟物体看起来与真实物体接近，稳定地出现在某个位置并且拥有平滑的动画效果，渲染的刷新率是非常重要的。在HoloLens中，我们要求至少拥有60FPS以上的刷新率，在某些VR设备中，甚至要求90FPS以上的刷新率。过低的刷新率会导致抖动的出现或者图像重影，这会使得用户出现头晕症状。因此，努力让虚拟物体以60FPS以上的刷新率进行渲染，有助于提高体验时的舒适度。这会要求开发者把模型简化到可以在低性能GPU硬件运行的程度，但结果可能是丢失了关键业务和设计决策所需的重要细节。

发明内容

为解决上述问题，本发明提供了一种大尺度动态环境下融合现实手术导航配准系统及方法。

为了达到上述目的，本发明提供如下技术方案：

大尺度动态环境下融合现实手术导航配准方法，包括如下步骤：

步骤一，点云采集与预处理

通过HoloLens深度摄像头获取患者病灶及周围部分点云，并进行PCA点云预处理；

步骤二，ICP点云虚实配准

根据病人病灶CT/MRI通过3Dmax制作与病灶等比图像，根据基准点分别在CT图像坐标系及世界坐标系下的坐标点集，求取2个坐标系间的旋转和平移变换矩阵，使得两个坐标系同源点间距离最小；

步骤三，基于卡尔曼滤波的点云跟踪

基于卡尔曼滤波器进行点云跟踪；

步骤四，云渲染

将Unity3D模型引入云中，进行Azure远程渲染。

进一步的，所述步骤一包括如下子步骤：

(1)通过调用HoloLens开发工具包MRTK中函数，生成可移动空间映射边界框；

(2)利用主成分分析对点云进行特征提取。

进一步的，所述步骤(2)具体包括如下过程：

首先在点云中检测出多个平面，然后将每个平面所能拟合的点投影到各自平面上，并将投影后的边界点作为特征线的候选点，而后应用RANSAC在候选点中检测出特征线并使用主成分分析的方法确定特征线的参数。

进一步的，所述步骤二包括如下子步骤：

(1)计算最近点，基准点在CT图像坐标系及世界坐标系下的坐标点集分别为P＝{Pi,i＝0,1,2,…,k}及U＝{Ui,i＝0,1,2,…,n}，对于集合U中的每一个点，在集合P中都找出距该点最近的对应点，设集合P中由这些对应点组成的新点集为Q＝{q

(2)计算两个点集Q和U的重心位置坐标，并进行点集中心化生成新的点集；由新的点集计算正定矩阵N，并计算N的最大特征值及其最大特征向量；

(3)由于最大特征向量等价于残差平方和最小时的旋转四元数，将四元数转换为旋转矩阵R；在旋转矩阵R被确定后，由平移向量t仅仅是两个点集的重心差异，可以通过两个坐标系中的重心点和旋转矩阵确定平移矩阵T；

(4)计算坐标变换，即对于集合U，用配准变换矩阵R，T进行坐标变换，得到新的点集U1，即U1＝RU+T；

(5)计算U1与Q之间的均方根误差，如小于预设的极限值则结束，否则以点集U1替换U，重复上述步骤。

本发明还提供了大尺度动态环境下融合现实手术导航配准系统，包括点云采集与预处理模块、ICP点云虚实配准模块、点云跟踪模块、云渲染模块；所述点云采集与预处理模块用于通过HoloLens深度摄像头获取患者病灶及周围部分点云，并进行PCA点云预处理；所述ICP点云虚实配准模块用于根据病人病灶CT/MRI通过3Dmax制作与病灶等比图像，根据基准点分别在CT图像坐标系及世界坐标系下的坐标点集，求取2个坐标系间的旋转和平移变换矩阵，使得两个坐标系同源点间距离最小；所述点云跟踪模块用于基于霍尔曼滤波器进行点云跟踪；所述云渲染模块用于将Unity3D模型引入云中，进行Azure远程渲染。

与现有技术相比，本发明具有如下优点和有益效果：

1.本发明提出的动态环境下的虚实配准方法，为非常规场景下的混合现实手术导航系统的实时虚实配准问题提供了解决方案。

2.本发明利用了Azure的云端计算能力和大量储存能力，可使系统实时性和精度大大高，突破了HoloLens硬件设备无法处理大量数据和GPU性能不高带来的计算速度慢的问题。

3.本发明设计了可移动空间映射边界框，可由医生手动将空间映射边界框框拉到患者病灶位置，然后空间映射只获取框内点云，可大大缩减HoloLens采集不相关点云数量，减少采集时间、节约储存空间并减少之后点云预处理数量和时间。

附图说明

图1为本发明提供的大尺度动态环境下融合现实手术导航配准方法流程示意图。

图2为利用主成分分析(PCA)对点云进行特征提取流程示意图。

具体实施方式

以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

本发明提供的大尺度动态环境下融合现实手术导航配准方法，其流程如图1所示，包括如下步骤：

步骤一，点云采集与预处理

Hololens是微软首发的头戴式增强现实设备(混合现实)，用户可以通过配有MR头盔显示屏与世界进行全息影像交互。本发明即通过HoloLens深度摄像头，获取患者病灶及周围部分点云。

医生头戴HoloLens设备，HoloLens空间映射开始采集点云。在此过程中我们设计了空间映射边界框，可由医生手动将空间映射边界框框拉到患者病灶位置，然后空间映射只获取框内点云，可大大缩减HoloLens采集不相关点云数量，减少采集时间、节约储存空间并减少之后点云预处理数量和时间。具体包括如下步骤：

(1)通过调用HoloLens开发工具包MRTK中BoundingBox、Gaze、Jesture等脚函数，生成可移动空间映射边界框。

(2)利用主成分分析(PCA)对点云进行特征提取。首先应用RANSAC算法(随机抽样一致算法)在点云中检测出多个平面，然后将每个平面所能拟合的点投影到各自平面上，并将投影后的边界点作为特征线的候选点，而后再次应用RANSAC在候选点中检测出特征线并使用主成分分析(PCA)的方法确定特征线的参数。算法的总体流程图如图2所示。

其中，算法的第一步和第二步通过平面检测和点投影有效地消除点云中噪声和外点的影响，并将特征线的检测范围缩小为一个小的点云子集，从而大大提高时间效率。

步骤二，ICP点云虚实配准

在术前根据病人病灶CT/MRI通过3Dmax制作与病灶等比图像。算法流程如下：基准点在CT图像坐标系及世界坐标系下的坐标点集P＝{Pi,i＝0,1,2,…,k}及U＝{Ui,i＝0,1,2,…,n}。其中，U与P元素间不必存在一一对应关系，元素数目亦不必相同，设k≥n。配准过程就是求取2个坐标系间的旋转和平移变换矩阵，使得来自U与P的同源点间距离最小。其过程如下：

(1)计算最近点，即对于集合U中的每一个点，在集合P中都找出距该点最近的对应点，设集合P中由这些对应点组成的新点集为Q＝{q

(2)计算两个点集Q和U的重心位置坐标，并进行点集中心化生成新的点集；由新的点集计算正定矩阵N，并计算N的最大特征值及其最大特征向量；

(3)由于最大特征向量等价于残差平方和最小时的旋转四元数，将四元数转换为旋转矩阵R；在旋转矩阵R被确定后，由平移向量t仅仅是两个点集的重心差异，可以通过两个坐标系中的重心点和旋转矩阵确定平移矩阵T；其中R是3x3的旋转矩阵，T是3x1的平移矩阵。

(4)计算坐标变换，即对于集合U，用配准变换矩阵R，T进行坐标变换，得到新的点集U1，即U1＝RU+T。

(5)计算U1与Q之间的均方根误差，如小于预设的极限值ε，则结束，否则，以点集U1替换U，重复上述步骤。

步骤三，基于卡尔曼滤波的点云跟踪

在任何含有不确定信息的动态系统中使用卡尔曼滤波，对系统下一步的走向做出有根据的预测，即使伴随着各种干扰，卡尔曼滤波总是能指出真实发生的情况。卡尔曼滤波是一种递归的估计，即只要获知上一时刻状态的估计值以及当前状态的观测值就可以计算出当前状态的估计值，因此不需要记录观测或者估计的历史信息。卡尔曼滤波器与大多数滤波器不同之处，在于它是一种纯粹的时域滤波器，它不需要像低通滤波器等频域滤波器那样，需要在频域设计再转换到时域实现。

卡尔曼滤波器的状态由以下两个变量表示：

P

卡尔曼滤波器的操作包括两个阶段：预测与更新。在预测阶段，滤波器使用上一状态的估计，做出对当前状态的预测。在更新阶段，滤波器利用对当前状态的观测值优化在预测阶段获得的预测值，以获得一个更精确的新估计值。

①预测

②更新

首先要算出以下三个量：

然后用它们来更新滤波器变量x与P:

P

其中，F

步骤四，云渲染

Azure远程渲染(ARR)是微软针对HoloLens的一项服务，可用于实时渲染高度复杂的3D模型。我们在Unity中开发，可通过SDK将云服务集成到项目中，将交互式、高质量的3D模型引入云中的untethered设备，每个细节都保持不变，并且不会对质量产生折损。将Unity3D模型引入经步骤三卡尔曼滤波处理过的点云中，进行Azure远程渲染，然后将它们实时地流式传输到HoloLens全息显示器中，使用户能够与3D内容进行非常详细的交互和协作。利用Azure云的快速计算和大量储存能力，可使系统实时性和精度大大提高。

通过上述步骤，本发明在动态环境下利用HoloLens实现手术导航，手术导航系统的实时性和精确性均有很大提升。

本发明还提供了大尺度动态环境下融合现实手术导航配准系统，包括点云采集与预处理模块、ICP点云虚实配准模块、点云跟踪模块、云渲染模块；其中，点云采集与预处理模块用于通过HoloLens深度摄像头获取患者病灶及周围部分点云，并进行PCA点云预处理，具体实现步骤一内容；ICP点云虚实配准模块用于在术前根据病人病灶CT/MRI通过3Dmax制作与病灶等比图像，根据基准点分别在CT图像坐标系及世界坐标系下的坐标点集，求取2个坐标系间的旋转和平移变换矩阵，使得两个坐标系同源点间距离最小，具体实现步骤二内容；点云跟踪模块用于基于霍尔曼滤波器进行点云跟踪，具体实现步骤三内容；云渲染模块用于将Unity3D模型引入云中，进行Azure远程渲染，具体实现步骤四内容。

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。