一种模拟气管内插管术的方法及系统

技术领域

本发明属于手术仿真相关技术领域，更具体地，涉及一种模拟气管内插管术的方法及系统。

背景技术

气管插管是将一特制的气管内导管通过口腔或鼻腔，经声门置入气管或支气管内的方法，为呼吸道通畅、通气供氧、呼吸道吸引等提供最佳条件，是抢救呼吸功能障碍患者的重要措施。为了提高插管成功几率，通常需要提前进行模拟，手术仿真应需而生。临床医生传统练习与研究的对象主要为人造人体模型、尸体标本、动物与病人等。其中人造人体模型真实感不足，尸体标本有限且特性与活体有异，动物组织结构与人差异大，而以病人为练习与研究对象，增加了病人的风险，医生亦可能承担法律与道德风险。随着社会进步、患者维权意识增强，基于虚拟现实技术的手术仿真发展至成熟阶段不仅可解决上述问题，亦可重复操作演练，还可将手术数据与操作过程记录交流与评价等。基于虚拟/混合现实技术的虚拟手术技术可模拟真实临床环境，可用于医生培训、手术预演与辅助制定方案、手术导航与远程手术等，对于促进医疗水平的发展具有重要意义。

虚拟手术是指利用医学生物信息、计算机虚拟现实技术与机器人触觉技术等为医疗工作者提供一个虚拟且逼真的手术场景，医生可借助该场景进行手术训练、预演以及方案制定等积累经验，掌握技巧，以便在实际的手术操作过程中完成复杂的手术操作，为病患减少手术后的痛苦和手术风险。国外由于医用尸体的短缺以及对动物的保护，外科医生的训练手段相当有限，因而虚拟手术已经非常普遍，且已成为临床培训的主流方式。目前国内外科手术训练通常是在尸体、动物或人工合成物(如硅胶)等进行，费用昂贵且在医学伦理道德上越来越受到限制。相比之下，虚拟手术具有手术环境及器械响应可控，可重复演练等多项优点，成为未来外科培训的趋势。利用虚拟手术系统，医生可以在对病人实施复杂手术之前进行预演、对手术作出相应规划，或对病变缺损部位进行较精确的前期测量和估算，从而预见手术的复杂性。

运用虚拟现实/混合现实技术可以使医务工作者沉浸于虚拟的场景内，可以通过视、听、触觉感知并学习各种手术实际操作，预演并学习如何应付临床手术中的各类突发情况，使非熟练人员进行手术的风险性大大降低，对提高医学教育的效率和质量以及改善医学手术水平发展不平衡的现状有着特殊的意义。因此开发轻量级的虚拟现实手术仿真系统，拓展临床医生手术训练方式具有重要的现实意义。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种模拟气管内插管术的方法及系统，其中通过提供一种基于虚拟仿真人体模型的可视化可观察人体组织内部结构，并通过视觉和触觉提供实验沉浸感强的气管内插管术的模拟训练方法与系统，实现模拟气管内插管术的虚拟手术，有效规避现有技术中手术物资匮乏和手术风险，促进现有医学水平发展。

为实现上述目的，按照本发明，提供了一种模拟气管内插管术的方法，该方法包括下列步骤：

S1构建人体头部和颈部、喉镜和导管的三维网格化模型，以此获得人体三维仿真网格模型以及喉镜和导管的三维模型；

S2调整所述人体三维仿真网格模型的角度和位置，移动所述喉镜的三维模型使其进入所述人体三维仿真网格模型的口腔中直至使得口腔中的声门，移动所述导管的三维模型使其进入声门，然后将导管插入气管中，以此实现所述人体三维仿真网格模型气管的内插管，其中，在所述喉镜进入所述口腔的过程中，判断所述喉镜是否与口腔内的组织发生碰撞，所述导管进入所述口腔的过程中，判断所述导管是否与喉镜和口腔内的组织发生碰撞，当碰撞发生时，计算发生碰撞部位的组织的变形量和受到的力；

S3将碰撞部位组织的变形量和受到的力输出和呈现。

进一步优选地，在步骤S2中，判断所述喉镜是否与口腔内的组织发生碰撞时，以及判断所述导管是否与喉镜和口腔内的组织发生碰撞，需要分别将所述喉镜、口腔内部组织和导管进行简化，获得简化后的模型，然后计算简化后的模型在移动过程中是否发生碰撞，以此实现碰撞的判断。

进一步优选地，将所述喉镜简化按照下列步骤获得：

(1)以喉镜的手柄与镜片相交的交点为原点，手柄方向为Z轴方向建立三维坐标；

(2)对于喉镜的手柄，根据其长度将其简化为Z轴方向的线段，对于喉镜的镜片部分，采用其外轮廓作为其简化模型，以此获得喉镜的简化模型。

进一步优选地，将所述口腔内部组织简化按照下列步骤进行：

(1)在人体三维仿真网格模型上设定八个位置设置骨关节点，分别为：气管处、会厌谷与脊柱之间的中点、舌根处、下颚处、上颚处、眼睛和耳朵之间的中点和悬雍垂首尾两端；

(2)依次连接气管处、会厌谷与脊柱之间的中点、舌根处和下颚处的骨关节点，然后连接舌根处与上颚处的骨关节点，再连接会厌谷与脊柱之间的中点与眼睛和耳朵之间的中点的骨关节点，最后依次连接会厌谷与脊柱之间的中点和悬雍垂首尾两端的骨关节，以此获得六块简化的骨骼；

(3)将上述六块简化的骨骼采用NURBS曲线拟合，获得一条NURBS曲线，该曲线即为所述口腔内部组织简化后的模型。

进一步优选地，将所述导管简化按照下列步骤进行：在所述导管上选取多个节点，将多个节点依次连接即获得所述导管的简化模型。

进一步优选地，在步骤S2中，所述计算发生碰撞部位的组织的变形量按照下列表达式计算：

其中，Δx是人体三维仿真网格模型上发生碰撞部位处网格点x的位移，λ是拉格朗日乘子，

进一步优选地，所述计算发生碰撞部位受到的力按照下列表达是进行计算：

F＝k*d-b*v

其中，F是发生碰撞部位处受到的作用力，k是弹性系数，d是触觉装置的实际位置与碰撞检测处理完成时虚拟位置差向量，b是阻尼系数，v是喉镜或导管移动的速度矢量，图4所示为力反馈计算示意图。

进一步优选地，在步骤S3中，所述将碰撞部位组织的变形量和受到的力输出和呈现采用下列方式，对于碰撞部位组织的变形量，将其通过显示装置进行显示，对于受到的力，通过相应的力反馈装置传递给操作者。

按照本发明的另一个方面，提供了一种上述所述的方法应用的系统，该系统包括手术仿真系统主机、力触觉反馈装置和显示装置，其中：

所述手术仿真系统主机同时与所述显示装置和力触觉反馈装置连接，所述力触觉反馈装置上设置有手柄，用于控制所述喉镜和导管的移动，同时当手术仿真系统主机中计算发生碰撞过程中的力后，将该力反馈给力触觉反馈装置，该装置在手柄上产生相同大小的力，使得手柄操作者体验碰撞过程中的力；

所述显示装置用于显示整个内插管过程；

所述手术仿真系统主机中包括三维模型构建模块和碰撞检测模块，所述三维模型构建模块用于构建人体三维仿真网格模型、喉镜和导管的三维模型，并将其进行图形的渲染处理使得其更加逼真；所述碰撞检测模块用于检测在插管过程中导管、喉镜和口腔内部组织是否发生碰撞。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有下列有益效果：

1.本申请提出一种模拟气管内插管术的方法，通过CT扫描图像数据可准确获取病人器官数据信息，确保手术虚拟环境的准确性，受训者可在插入气管时，准确观察人体器官表面情况，有利于受训者获取适合的插入角度与位置，提升成功机率；

2.本发明提供的方法在碰撞检测过程中，将虚拟手术器械与虚拟人体器官模型进行简化，分别采用简化后的模型求解碰撞过程，一方面真实的还原了实际场景，另一方面也简化计算，此外，在计算碰撞的过程中还将整个过程分为多个阶段，分别构建软体组织变形与插入阶段的力反馈，同时力反馈可进行输出，使受训者在手术仿真操作过程中，准确感知当前操作反馈力大小，加深沉浸感；

3.本发明提供的方法中最终的输出是图像的显示和力的反馈，通过将手术仿真所产生的图形数据发送至头盔显示器，使得操作者可以清晰的看见手术的进展，同时还通过力的反馈真实的感知碰撞过程，从视觉和触觉两方面加深用户的沉浸感，使受训者获得更好的使用体验，从而增强了手术仿真效果。

附图说明

图1是本发明的一种模拟气管内插管术的方法及其系统流程图；

图2是本发明构建虚拟人体器官模型的流程图；

图3是本发明网格化后部分虚拟人体器官的位置动力学模型，其中，(a)是距离约束示意图；(b)体积约束中初始体积示意图；(c)体积约束中变形后体积的示意图；

图4是本发明虚拟人体器官与手术器械交互阶段反馈力的计算模型图；

图5是本发明用于模拟气管内插管术的系统应用流程；

图6是本发明用于模拟气管内插管术的系统虚拟场景图；

图7是本发明用于模拟气管内插管术的系统喉镜简化刚体模型；

图8是本发明用于模拟气管内插管术的系统头部变形骨骼框架设计，其中，(a)是插管前初始状态的骨骼框架设计图；(b)是插管状态下的骨骼框架设计图；

图9是本发明用于模拟气管内插管术的系统导管位置动力学模型，其中，(a)是导管结构示意图；(b)是导管简化后的模型示意图；

图10是本发明用于模拟气管内插管术的系统导管插管与曲体交互，其中，(a)是单向碰撞结构示意图；(b)是多向碰撞结构示意图；

图11是本发明用于模拟气管内插管术的系统导管插管算法流程。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，一种气管内插管术的方法，其步骤主要包括：

步骤1，将虚拟人体三维仿真网格模型组建成型；

步骤2，基于上述虚拟人体三维仿真网格模型，构建具有生物力学特征的虚拟人体组织，并对虚拟人体器官进行纹理渲染；

步骤3，判断虚拟手术器械(包括喉镜与导管)与虚拟人体三维仿真网格模型是否碰撞，基于虚拟人体器官在碰撞以及插入过程中对虚拟手术器械的反馈，对虚拟人体三维仿真网格模型产生力学变形并进行渲染显示输出视觉反馈，以模拟气管内插管术喉镜进入位置以及手术器械的准确位姿(显示插入路径，辅助检查与优化轨迹，规避风险)。

本发明通过对虚拟人体三维仿真网格模型进行逼真渲染，从而方便受训者在操作训练时，可直观查看区域虚拟人体器官结构，以准确找到插入点，提升手术的效率与成功率，并配合将虚拟手术器械与虚拟人体器官交互过程分为人体软组织变形、喉镜插入以及插管三个阶段。

其中，人体软组织变形阶段为虚拟手术器械接触虚拟人体器官表面至虚拟手术器械插入人体口腔气管之前，喉镜插入阶段为虚拟喉镜通过口腔进入人体口腔内部与舌头进行碰撞变形，插管阶段为导管进入口腔直至导管完成插管过程。然后基于此对软组织变形、喉镜插入以及导管插管阶段构建相应的力反馈方程，使受训者在手术仿真过程中，准确获知接触触碰与插入过程不同的力触觉感知，以增强沉浸感。

为了准确重建虚拟人体三维仿真网格模型，本发明步骤1中的人体器官三维模型是通过CT扫描数据在三维重建软件3D Slice中重构后编辑而成。

步骤2中的基于生物力学特征的虚拟人体三维仿真模型，包含距离与体积保持约束的位置动力学模型。下面具体介绍手术器械与人体三维仿真模型发生碰撞时的变形量计算过程，根据物体的位置动力学模型，柔性物体模型由N个质点与P个约束的集合定义。其中任意一个质点i都具有质量m

由于传统基于表面网格结构的模型，模拟软组织变形时稳定性较差。本发明在表面网格的基础上生成四面体网格，基于该网格构建位置动力学模型，采用距离与体积两种几何保持约束，其中距离保持约束模拟当两个点的距离在外力作用下发生变化时使其恢复到原始距离，体积保持约束用于保持四面体单元的体积不变，从而保持人体器官虚拟模型的体积不变，图3中(a)～(c)所示为距离与体积保持约束示意图。其中距离保持约束函数C

C

式中，d

体积保持约束函数C

式中，V

基于体积约束与距离约束模拟虚拟人体器官软组织在外力作用消失后形变恢复状况，对于每个点x的位置改变量△x可表示为

式中λ为拉格朗日乘子，

如图5所示，本申请采用上述方法的系统包括显示装置、力触觉反馈装置和手术仿真系统主机，该手术仿真系统中包括三维模型构建模块和碰撞检测模块，其中，如图2所示，三维模型构建模块的作用在于：生成手术操作相关人体器官三维虚拟的整体模型；使得人体器官三维虚拟模型具有生物力学特征的虚拟人体模型；以及将虚拟人体器官与虚拟手术器械模型进行纹理贴图并渲染模块；碰撞检测模块的作用在于：计算并判断检测虚拟手术器械与人体虚拟器官之间的连续碰撞，为虚拟器官柔性变形与力触觉反馈提供判断依据；并将求解的结果在显示装置中显示和力触觉反馈装置中呈现。两个力触觉反馈装置上各设置有一个手柄，分别用于控制所述喉镜和导管的移动，同时当手术仿真系统主机中计算发生碰撞过程中的力后，将该力反馈给力触觉反馈装置，该装置在手柄上产生相同大小的力，使得手柄操作者体验碰撞过程中的力；显示装置用于显示整个内插管过程。为进一步增强用户手术的沉浸感和仿真手术的感观感受，本发明中还设置有一视觉输出，与头盔显示器相连，使用时，通过系统获得人体虚拟器官变形信息与虚拟器械的位置信息，并将所得数据发送至Oculus头盔显示器，增强用户体验与沉浸感，以及手术的逼真度。

本发明的一种用于模拟气管内插管术的系统还包含一种用于控制虚拟手术器械输入输出并接受力学反馈的力触觉设备，优先为3D Systems touch设备，该设备能够感知用户手持末端笔状机械壁的位置与方向信息，同时系统可通过所连接计算机设备计算力触觉反馈，且向受训者的手施加作用力，从而实现力反馈交互。

如图6所示，本申请提出一种用于气管内插管术的方法，通过CT扫描图像数据可准确获取人体器官信息，确保仿真环境的准确性。通过对人体与手术器械分别建模并进行逼真渲染，有利于受训者通过系统的训练掌握气管内插管术的技能，提升手术成功机率。本申请将气管内插管术过程中，将整个过程分为四个阶段：调整头部位置至适合位置与角度；手术器械与多个虚拟人体器官碰撞交互；手术器械与人体虚拟器官交互获得手术所需视野；手术器械完成插管。每个阶段的力触觉反馈通过设备进行输出，使得受训者在过程中可准确感知交互作用力，增强真实感。具体的过程为：1)将病人头部后仰，双手将下颌向前、向上托起使得病人嘴张开，或以右手拇指对着下齿列并以食指对着上齿列，借旋转力量打开病人口腔；2)左手持喉镜手柄将喉镜片由右口角放入病人口中，再将舌头缓缓推向左侧直至看见悬雍垂；3)握住喉镜手柄推进喉镜片置于会厌与舌根交界处的会厌谷并用力向前上方提起，此时舌骨会厌韧带会自动翘起紧贴喉镜片并显示声门；4)右手持导管由右口角进入病人口腔，同时经过喉镜片与管壁间隙观察导管进入方向，准确轻巧地将导管尖端插入声门。然后将管芯拔出并将导管插入气管内。

使用本发明的一种用于模拟气管内插管术的系统时，首先设置触觉空间、可接触面、交互模式与几何模型，并定义虚拟手术环境与机械力。而后受训者可操控力反馈设备，移动手术器械在定义的虚拟人体组织模型上的可接触面上移动，透过虚拟人体组织表面观察气管，选择适合的切入点，继续操控力反馈设备移动手术器械向虚拟人体器官运动。同时检测手术器械与虚拟人体器官可接触面是否发生碰撞；如未发生碰撞，则继续控制力反馈设备移动手术器械向虚拟人体器官可接触面移动；如发生碰撞，则根据公式(6)计算当前位移量x，并将位移量以视觉形式反应在虚拟人体器官的弹性变形上，以增强受训者真实体验感。此外，依据喉镜插入与导管插入两个不同的触觉反馈力定义分别计算其大小并通过力触觉反馈装置输出，给受训者真实操作感。

在计算和判断碰撞的过程中，需将喉镜，导管以及人体三维仿真网格模型予以简化，采用简化模型计算碰撞过程，对于计算碰撞的过程，基于现有的方法即可以实现，在本发明中不予累述，下面将详细说明本发明中将喉镜，导管以及人体三维仿真网格模型进行简化的过程。

对于喉镜，由于喉镜三维模型网格与顶点数量较大，计算量较大，考虑到喉镜在整个插管过程中基本不产生变形，其可视为刚体，因此可对其进行如图7所示的简化建模，用于碰撞检测。

对于人体三维仿真网格模型的简化，如图8所示。该简化过程基于人体模型与解剖结构测量数据进行近似所得，总共将其简化为5块骨骼，骨骼0与骨骼1、2与5相连，其中骨骼1与2之间角度固定联动。0号骨骼的起点大致位于气管内声门下面一段距离，终点大致在会厌谷与脊柱中间部位，骨骼1终点大致位于耳朵与眼睛中间，骨骼2终点大致位于舌根处，骨骼3与4的终点大致位于上下颚的中间，骨骼5在终点大致位于悬雍垂尖端。每个骨骼能够影响人体头部变形的范围可由其权重分布来决定，权重的分布为连续分布。图8中的三个角度值由传感器监测交互过程中产生的角度形变获得并驱动骨骼框架运动，其中θ1为病人平躺时脖子与水平方向的夹角，θ2为病人头部方向与脖子方向形成的夹角，θ3为病人嘴巴张开的角度。喉镜插入病人口腔过程中，喉镜工具被视为不可变形的刚体同时与人体脸部、口腔、气管以及舌头进行交互并变形，其碰撞检测以及碰撞处理可由同一帧率中多次小量修正迭代求解得到。图8中(a)为病人平躺初始角度状态，图8中(b)为喉镜与人体器官交互使得达到插管条件时的角度状态。喉镜与人体三维仿真网格模型的交互流程包括以下：(1)医生转动病人头部，整个头部带动口腔与气管等模型变形，该变形由骨骼框架进行仿真；(2)骨骼框架带动的人体变形，使得部分器官模型顶点位置发生变化，位置动力学模型约束使得器官模型需要恢复其形状，通过多次迭代计算，形状可恢复稳定状态；(3)当喉镜与虚拟人体器官进行交互时，喉镜同时与脸部、牙齿、口腔、气管与舌头等多个物体同时发生碰撞，求解碰撞时需要进行惩罚修正，确保交互的稳定性。

对于导管而言，如图9中(a)和(b)所示，导管本身为软管可变形，为降低计算量以及简化病人口腔内部的虚拟交互模型，本发明引入NURBS曲线构建方法，由骨骼框架计算出对应的控制点位置，再由控制点与节点向量构建出对应的NURBS曲线作为人体模型口腔内部简化模型用于与导管的交互，其中控制点位置与骨骼关节点的位置关系公式描述如：

式中，x

针对导管插管过程中的碰撞，首先对导管模型建立位置动力学模型，在导管模型上取5个点作为骨骼框架的主要骨骼点与用于生成NURBS曲线的控制点，以及细分的骨骼与骨关节。基于位置动力学模型中的长度与角度约束导管模型，计算求解过程中从参考点开始，每次骨关节位置的变化都会引起各骨骼与所生成的NURBS曲线的变化，此种设计可使得导管成为可变形的且可接近初始形状的模型。

导管进入病人口腔之后，开始与内部进行交互，此时口腔内部可简化为以前文骨骼计算出的NURBS曲线为中心线的曲体。交互过程中存在多种交互情况，如图10所示。当导管的尖端仅存在单向碰撞时，此时同时有多个骨关节已经与气管壁发生碰撞，算法可自动将所有碰撞的骨骼点求解映射至曲体的边界面上，再基于位置动力学模型中的长度与角度约束求解调整各骨关节位置，同时由于虚拟位置与真实位置存在的差异，力反馈设备将推动手持导管沿着图中方向前进，直至所有碰撞求解完毕且导管形状恢复。当导管尖端存在多向碰撞时，由于碰撞检测处理使得骨关节沿着不同方向调整至曲体内表面，此时力反馈的方向可能存在不统一，需进行实时判断分析，具体算法流程如图11所示。骨骼引起的人体变形、手术器械(喉镜与导管)与人体器官碰撞产生的变形以及人体器官模型自身约束导致的变形求解完成之后，触觉设备的力反馈大小可通过手术器械的视觉位置与真实位置存在的差异即碰撞深度变形以及阻尼系数通过相应的表达式求得，图4为交互阶段力反馈力计算示意图。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。