一种手术导航空间变换方法及系统

技术领域

本发明涉及医疗器械技术领域，特别是涉及一种基于姿态辅助面部关键点检测的非接触式手术导航空间变换方法及系统。

背景技术

在神经外科、经颅鼻内镜等手术的导航中，常见的患者与CTMR图像空间进行变换的方法是利用红外RGB-D相机跟踪探针划取术中患者面部较为不易发生形变的T形区域，通过ICP迭代最近点的方法进行配准从而实现空间变换。

划取点采样为接触式采样，在术中多种因素会导致划取点采样获取的点云与术前影像重建得到的点云存在差距，如术中医生在划取时按压力度较大导致皮肤表面产生形变，该问题在患者年龄较大导致皮肤松弛时尤为明显。

另外，眼贴膜等术中敷料对皮肤表面的遮挡及医生划取区域面积较小或区域偏差都可对变换误差产生明显影响，准确性严重依赖于外科医生的技能和经验。

此外，划取点采样时的准备及采集工作必然会增加手术时间，在由于精度不高需重新配准等情况下花费更多的时间，划取探针等接触式器械的消毒及使用也会对手术过程产生影响，同时基于ICP的配准算法速度慢、精度差、严重依赖于初始位姿，导致手术效率降低。

因此，如何提供一种适合临床手术导航使用的快速、自动、非接触式的空间变换方法，是迫切需要本领域技术人员解决的技术问题。

发明内容

鉴于上述问题，本发明提供一种克服上述问题或者至少部分地解决上述问题的一种手术导航空间变换方法及系统。采用通用RGB-D相机对术中患者面部点云进行非接触式采集，利用基于姿态辅助的面部关键点检测方法实现快速术前术中空间变换，以解决划取点采样导致的点云形变和操作耗时较长的问题，并在检测时通过姿态辅助模块提高检测精准度。

本发明提供了如下方案：

一种手术导航空间变换方法及系统，包括：

获取患者术前CT检查取得的CT影像图像，对所述CT影像图像进行处理获得术前点云数据；

获取RGB-D相机输出的患者术中RGB图像以及与所述RGB图像对齐的深度图像；利用所述RGB图像以及所述深度图像结合人脸区域识别算法与所述RGB-D相机的参数获得术中点云数据；

将所述术前点云数据以及所述术中点云数据分别输入到基于姿态辅助面部关键点检测网络进行关键点检测，以得到术前关键点点集以及术中关键点点集；所述关键点点集包括包含的各个关键点在当前空间坐标系下的三维坐标以及各个关键点准确性置信度；

在所述术前关键点点集以及所述术中关键点点集中选择置信度高于置信度阈值的若干个一一对应的关键点构成关键点点对，利用SVD分解计算各个所述关键点点对之间的目标线性变换矩阵；所述目标线性变换矩阵包括旋转变换矩阵以及平移变换矩阵；

利用所述旋转变换矩阵以及所述平移变换矩阵将所述术中点云数转换至患者术前CT影像重建后的三维空间。

优选地：对所述CT影像图像进行分割、重建、降采样处理获得术前点云数据。

优选地：利用所述RGB图像以及所述深度图像结合人脸区域识别算法与所述RGB-D相机的参数获得术中点云数据包括：

对所述RGB图像进行面部定位与分割，利用人脸区域识别算法在所述RGB图像上进行分割，从输入的所述RGB图像中检测到人脸区域并返回人脸包围框的坐标，根据包围框坐标生成对应的人脸掩膜；

将人脸掩膜作用于所述深度图像上，根据所述RGB-D相机的参数从所述深度图像中恢复出点云数据，获得仅保留人脸区域的所述术中点云数据。

优选地：根据人脸与所述RGB-D相机之间的距离对离群点进行去除。

优选地：所述基于姿态辅助面部关键点检测网络包括多层级点云特征提取网络以及姿态辅助网络；所述多层级点云特征提取网络用于从三维点云中提取不同感受野下的多层特征；所述姿态辅助网络共享部分所述多层级点云特征提取网络，用于对点云姿态进行估计并约束关键点检测。

优选地：所述多层级点云特征提取网络用于执行以下操作：

采用一系列级联的基于图卷积神经网络的网络层从输入的点云中提取多层级点云特征包括：

第i层点云特征为通过最远点采样策略从第i-1层点云中采样N个点，对每个点以半径为r的球体检测其邻居点，将邻居点的特征进行聚合生成特征向量更新至采样中心点；对不同层级依次采样得到多层级点云特征向量。

优选地：所述姿态辅助网络通过计算姿态偏差损失函数约束特征提取包括：

采用正面人脸的平均值作为标准正面人脸；

在标准正面脸上标注14或68个标识点作为标准标识点坐标；

网络估计出的当前帧人脸旋转矩阵作用到标准人脸14或68点点云上并标准化；

计算当前帧14或68点金标准与旋转后的标准人脸14或68点点云的均方误差。

优选地：所述姿态辅助部分网络损失函数的定义如下式：

L

式中，Loc

优选地：所述对点云姿态进行估计并约束关键点检测包括：

通过卷积回归每个点与目标关键点之间的偏移向量，生成回归矩阵，通过与输入点云的坐标和偏移量相加，获得预测位置；

通过卷积和Sigmoid生成置信度矩阵，其中每个向量代表该点是否是每个目标关键点的适当参考点；

损失函数被定义为分类损失L

L

L

式中，b

其中，g

一种手术导航空间变换系统，包括跟踪设备、RGB-D相机、手术器械及计算机设备；所述RGB-D相机、所述手术器械及患者均与可由所述跟踪设备跟踪的标志物刚性连接；

所述跟踪设备用于跟踪连接至不同对象的所述标志物，所述RGB-D相机、所述手术器械以及所述患者均可由所述标志物跟踪器空间坐标；

所述RGB-D相机用于拍摄获取术中患者面部附近区域RGB图像与深度图像；

所述手术器械用于在术中供医生使用以获取医生感兴趣位置坐标；

所述计算机设备用于获取所述跟踪设备发送的数据，以便采用上述手术导航空间变换方法对数据进行处理获取术前术中空间变换关系，以便通过所述空间变换关系实现关键点术前术中空间坐标变换用于手术导航。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本申请实施例提供的一种手术导航空间变换方法及系统，该方法通过非接触式RGB-D相机对术中患者面部进行采样，使得在术中获取的患者面部点云保持自然状态，从而保证与术前进行CT扫描时一致，避免了皮肤表面形变产生的采样误差，客观提高了术中数据的准确性，同时采样速度更快、数据量更大，对术中数据进行分析处理时具有更强的鲁棒性。

另外，在优选的实施方式下，在对术中患者面部点云进行关键点检测时，通过姿态辅助模块提高了关键点检测的精度，同时姿态信息的约束也使得关键点检测时具有良好的稳定性。基于关键点检测的术前术中空间变换速度快、精度高、可实时校正。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种手术导航空间变换方法的流程图；

图2是本发明实施例提供的关键点检测算法的流程图；

图3是本发明实施例提供的一种手术导航空间变换系统的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，为本发明实施例提供的一种手术导航空间变换方法，如图1所示，该方法可以包括：

S101：获取患者术前CT检查取得的CT影像图像，对所述CT影像图像进行处理获得术前点云数据；本申请实施例提供的患者术前点云数据可以通过CT影像图像获取，具体实现时，对所述CT影像图像进行分割、重建、降采样处理获得术前点云数据。

S102：获取RGB-D相机输出的患者术中RGB图像以及与所述RGB图像对齐的深度图像；利用所述RGB图像以及所述深度图像结合人脸区域识别算法与所述RGB-D相机的参数获得术中点云数据；具体的，对所述RGB图像进行面部定位与分割，利用人脸区域识别算法在所述RGB图像上进行分割，从输入的所述RGB图像中检测到人脸区域并返回人脸包围框的坐标，根据包围框坐标生成对应的人脸掩膜；

将人脸掩膜作用于所述深度图像上，根据所述RGB-D相机的参数从所述深度图像中恢复出点云数据，获得仅保留人脸区域的所述术中点云数据。

进一步的，根据人脸与所述RGB-D相机之间的距离对离群点进行去除。

S103：将所述术前点云数据以及所述术中点云数据分别输入到基于姿态辅助面部关键点检测网络进行关键点检测，以得到术前关键点点集以及术中关键点点集；所述关键点点集包括包含的各个关键点在当前空间坐标系下的三维坐标以及各个关键点准确性置信度；

具体的，所述基于姿态辅助面部关键点检测网络包括多层级点云特征提取网络以及姿态辅助网络；所述多层级点云特征提取网络用于从三维点云中提取不同感受野下的多层特征；所述姿态辅助网络共享部分所述多层级点云特征提取网络，用于对点云姿态进行估计并约束关键点检测。

所述多层级点云特征提取网络用于执行以下操作：

采用一系列级联的基于图卷积神经网络的网络层从输入的点云中提取多层级点云特征包括：

第i层点云特征为通过最远点采样策略从第i-1层点云中采样N个点，对每个点以半径为r的球体检测其邻居点，将邻居点的特征进行聚合生成特征向量更新至采样中心点；对不同层级依次采样得到多层级点云特征向量。

所述姿态辅助网络通过计算姿态偏差损失函数约束特征提取包括：

采用正面人脸的平均值作为标准正面人脸；

在标准正面脸上标注14或68个标识点作为标准标识点坐标；

网络估计出的当前帧人脸旋转矩阵作用到标准人脸14或68点点云上并标准化；

计算当前帧14或68点金标准与旋转后的标准人脸14或68点点云的均方误差。

所述姿态辅助部分网络损失函数的定义如下式：

L

式中，Loc

所述对点云姿态进行估计并约束关键点检测包括：

通过卷积回归每个点与目标关键点之间的偏移向量，生成回归矩阵，通过与输入点云的坐标和偏移量相加，获得预测位置实现；

通过卷积和Sigmoid生成置信度矩阵，其中每个向量代表该点是否是每个目标关键点的适当参考点；适当参考点意思是，预测的这个点在金标准点附近一个范围内，就认为是适当的。

损失函数被定义为分类损失L

L

L

式中，b

其中，g

S104：在所述术前关键点点集以及所述术中关键点点集中选择置信度高于置信度阈值的若干个一一对应的关键点构成关键点点对，利用SVD分解计算各个所述关键点点对之间的目标线性变换矩阵；所述目标线性变换矩阵包括旋转变换矩阵以及平移变换矩阵；

S105：利用所述旋转变换矩阵以及所述平移变换矩阵将所述术中点云数转换至患者术前CT影像重建后的三维空间。

本申请实施例提供的手术导航空间变换方法，采用通用RGB-D相机对术中患者面部点云进行非接触式采集，利用基于姿态辅助的面部关键点检测方法实现快速术前术中空间变换，解决了划取点采样导致的点云形变和操作耗时较长的问题，并在检测时通过姿态辅助模块提高检测精准度。

下面对本申请实施例提供的方法进行详细介绍。

术前点云采集：

术前患者面部点云由患者CT影像重建并降采样获得。术前点云数据由患者术前CT检查取得的CT影像经过分割、重建、降采样取得。具体的分隔、重建以及降采样均可以采用现有技术中的相应方法即可。

术中点云采集：使用RGB-D相机在术中多角度连续拍摄，获取术中相机坐标系下患者面部点云。术中，可以使用RGB-D相机从任意不同角度对准患者面部进行拍摄，RGB-D相机输出的数据包括RGB图像和与之对齐的深度图像。首先需要对采集到的数据进行面部定位与分割，利用公开的人脸区域识别算法在RGB图像上进行分割，从输入的RGB图像中检测到人脸区域并返回人脸包围框的坐标，根据包围框坐标生成对应的人脸掩膜。将人脸掩膜作用于与RGB图像对齐的深度图像上，根据相机参数从深度图像中恢复出点云数据，从而获得仅保留人脸区域点云。因RGB图像与点云为2D-3D对应，经过分割后的人脸区域点云可能包含部分人脸区域外的离群点，根据人脸与相机间距离对离群点进行去除。

跨模态关键点检测：利用训练好的面部关键点检测神经网络模型检测术前CT重建后面部点云和术中采集到的点云中的面部关键点。

首先，需要训练用于检测面部关键点的神经网络模型，包括以下步骤：

多层级点云特征提取：用于从三维点云中提取不同感受野下的多层特征，结构为基于图卷积神经网络的点云特征表示网络。

姿态辅助：姿态辅助模块共享部分点云特征提取网络，用于对点云姿态进行估计并约束关键点检测。

关键点预测：从多层级点云局部特征中进行关键点的坐标回归与置信度预测，并通过局部平均策略预测关键点的三维坐标。

将上述术前和术中采集到的异源面部点云输入训练好的基于姿态辅助面部关键点检测网络，获得包含14或68个面部关键点的点集，关键点点集不仅包含关键点在当前空间坐标系下的三维坐标(x,y,z)，还包括该关键点定位准确性置信度C。

如图2所示，关键点检测算法的具体流程包括：

归一化面部点云：

针对输入的面部点云数据，将点云中的点的坐标从原始坐标系转换到标准坐标系，通常是将点云中的点平移到均值为零的位置，将点云的尺度缩放到为1的单位尺度。

多层级点云特征提取：

采用一系列级联的基于图卷积神经网络的网络层从输入的点云中提取多层级点云特征。例如，第i层点云特征为通过最远点采样策略从第i-1层点云中采样N个点，对每个点以半径为r的球体检测其邻居点，将邻居点的特征进行聚合生成特征向量更新至采样中心点。对不同层级依次采样得到多层级点云特征向量。

姿态辅助：

姿态辅助网络与多层级点云特征提取网络共享部分网络结构。姿态辅助网络通过计算姿态偏差损失函数约束特征提取。

具体步骤为：

1、采用正面人脸的平均值作为标准正面人脸；

2、在标准正面脸上标注14或68个标识点作为标准标识点坐标；

3、网络估计出的当前帧人脸旋转矩阵作用到标准人脸14或68点点云上并标准化；

4、计算当前帧14或68点金标准与旋转后的标准人脸14或68点点云的均方误差。

姿态辅助部分网络损失函数的定义如式1：

L

其中，Loc

坐标回归与置信度预测：

对于提取后的多层级点云特征，通过两个分支实现对关键点建议位置进行定位预测和置信度预测。定位预测分支通过卷积回归每个点与目标关键点之间的偏移向量，生成回归矩阵，通过与输入点云的坐标和偏移量相加，可以获得预测位置。置信度预测分支通过卷积和Sigmoid生成置信度矩阵，其中每个向量代表该点是否是每个目标关键点的适当参考点。

整体网络的损失函数被定义为分类损失L

L

L

其中，b

其中，g

关键点预测结果：

由局部平均策略进行最后14或68个关键点的预测结果输出。

异源点对奇异值分解：

对术前术中不同空间坐标下的一一对应的面部关键点点对进行奇异值分解，获得术前术中空间坐标系的旋转平移矩阵，实现空间变换。在两个关键点点集中选择具有较高置信度的某几个关键点点对，按照矩阵形式表达，利用SVD分解计算点对之间的最佳线性变换矩阵。

术前术中空间变换：

由SVD分解计算得到的线性变换矩阵包括旋转变换矩阵和平移变换矩阵，利用该平移旋转矩阵将术中通过跟踪设备跟踪到的处于患者空间的观察点转换至患者术前CT影像重建后的三维空间。

总之，本申请提供的手术导航空间变换方法，通过非接触式RGB-D相机对术中患者面部进行采样，使得在术中获取的患者面部点云保持自然状态，从而保证与术前进行CT扫描时一致，避免了皮肤表面形变产生的采样误差，客观提高了术中数据的准确性，同时采样速度更快、数据量更大，对术中数据进行分析处理时具有更强的鲁棒性。

同时，在对术中患者面部点云进行关键点检测时，通过姿态辅助模块提高了关键点检测的精度，同时姿态信息的约束也使得关键点检测时具有良好的稳定性。基于关键点检测的术前术中空间变换速度快、精度高、可实时校正。

参见图3，本申请实施例还可以提供的一种手术导航空间变换系统，如图3所示，该系统可以包括跟踪设备、RGB-D相机、手术器械及计算机设备；所述RGB-D相机、所述手术器械及患者均与可由所述跟踪设备跟踪的标志物刚性连接；

所述跟踪设备用于跟踪连接至不同对象的所述标志物，所述RGB-D相机、所述手术器械以及所述患者均可由所述标志物跟踪器空间坐标；

所述RGB-D相机用于拍摄获取术中患者面部附近区域RGB图像与深度图像；

所述手术器械用于在术中供医生使用以获取医生感兴趣位置坐标；

所述计算机设备用于获取所述跟踪设备发送的数据，以便采用上述术导航空间变换方法对数据进行处理获取术前术中空间变换关系，以便通过所述空间变换关系实现关键点术前术中空间坐标变换用于手术导航。

导航系统由跟踪设备，RGB-D相机，手术器械及实现数据处理和图像显示的计算机设备组成。其中，RGB-D相机、手术器械、及患者均与可由跟踪设备跟踪的标志物刚性连接。跟踪设备采集到的数据由计算机进行处理。

跟踪设备：用于跟踪连接至不同对象的标志物，RGB-D相机、手术器械、患者均可由标志物跟踪器空间坐标，其所处的空间坐标系即为术中空间坐标系。

RGB-D相机：用于拍摄获取患者面部附近区域RGB与深度图像。通常带有固定支架，可由医生拖动并固定位置。术中，由医生拖动至不妨碍手术且可以拍摄到患者面部的位置，无需考虑拍摄到的患者面部朝向。

手术器械：连接跟踪标志物的手术器械在术中供医生使用以获取医生感兴趣位置坐标。

CT影像：由患者术前进行CT扫描获取，经过分割、重建以获取三维模型。

在RGB-D相机拍摄到患者面部区域后，自动配准算法将自动分割患者面部区域点云并检测关键点，在选择置信度较高关键点后，经过SVD分解即可计算术前术中空间变换关系。将该变换关系作用于手术器械在术中坐标，即可获得术前CT空间中该点坐标，实现手术导航。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加上必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。