一种利用混合现实技术的正畸托槽粘接方法

技术领域

本发明涉及正畸技术领域，尤其涉及一种用混合现实技术的正畸托槽粘接方法。

背景技术

对于固定正畸矫治技术，托槽粘接是最为重要临床的步骤之一，其准确性直接影响矫治效率及最终效果。

目前，托槽定位方法包括临床冠中心法、高度法、边缘嵴法等。目前的正畸粘接技术主要分为直接粘结技术与间接粘接技术。前者最为常用，是医师通过目测或使用托槽定位器、定位表，直接在口内定位粘贴托槽，但视野受限，精确度有限等等；而后者则是通过在数字或石膏模型上定位托槽，再通过转移托盘将托槽转移到口内牙冠进行粘接。

与直接粘接技术相比，间接粘接技术具有更高的精确度，但是，这种方法粘接的托槽操作需要制作个性化转移装置，操作流程繁杂。转移托盘仍存在制造误差，且托盘就位时存在软组织、粘接材料厚度、牙列后部就位空间或患者张口度受限、托盘受压不均匀等干扰。

混合现实（mixed reality，MR）技术是近年来出现的一种新兴技术，可以将数字化信息与现实环境混合，从而产生同时包含了物理实体和虚拟信息的新型可视化环境，实现虚拟、现实无缝对接和信息实时交互，本质上是增强现实（augmented reality, AR）和虚拟现实（virtual reality, VR）的结合。与传统增强现实相比，混合现实可通过HoloLens空间站等头戴式设备，将虚拟信息叠加投射于现实场景，实现精确导航。

在口腔医学领域，MR技术已经探索性应用于口腔颌面头颈肿瘤手术、口腔种植手术等，初步展现出了精准、安全微创、缩短手术时间等优势，但在正畸领域尚无应用。三维虚拟模型的显示可通过头戴式三维显示器（HMD）、原位透视融合显示系统等实现。

三维环境中的注册跟踪技术则是混合现实技术应用于手术导航的核心。目前，临床上使用的注册方法可分为基于标志点的患者－影像注册方法和无需标记的患者-影像注册方法。前者可通过人工标志物等实现，后者则可通过三维表面匹配方法等实现。

发明内容

本发明为了解决上述技术问题提供一种用混合现实技术的正畸托槽粘接方法。

本发明通过下述技术方案实现：

一种用混合现实技术的正畸托槽粘接方法，包括以下步骤：

S1，采集数据，建立具有完整的牙冠、牙根的排列关系以及带有咬合信息的三维数字化牙颌模型；

S2，在S1建立的三维数字化牙颌模型上进行虚拟托槽粘接，输出带有虚拟粘接托槽的三维数字化牙颌模型；

S3，将带有虚拟粘接托槽的三维数字化牙颌模型导入混合现实头戴式显示器；

S4，利用软件及光学跟踪设备，使用跟踪注册技术，使三维数字化牙颌模型的三维虚拟影像与口内现实配准；

S5，根据三维虚拟影像上的虚拟粘接托槽定位真实托槽的位置，然后完成真实托槽的粘接。

优选地，所述S1通过锥形束CT、口内三维扫描获得牙根、牙冠及咬合信息，结合工程软件建立包含牙冠、牙根的排列关系以及咬合信息的三维数字化牙颌模型。

其中，所述S4中使用的跟踪注册技术为基于识别图标志物的跟踪注册技术，所述S4之前还包括识别图安置；

所述识别图安置包括以下步骤：

a，用硅橡胶制作患者理想颌位咬合关系咬合板，咬合板为托槽粘接留出充足空间；

b，在咬合板上固定连接识别图标志物，所述识别图标志物可被MR软件识别；

c，进行常规牙列口扫，并将带有所述识别图标志物的咬合板信息一并采集；

所述S4包括：患者佩戴好带有识别图标志物的咬合板，识别图标志物代表待注册区域；混合现实头戴式显示器感应摄像头拍摄场景，采集识别图标志物上特征点，识别世界坐标信息，通过点对之间匹配关系，计算摄像机与真实场景之间的六自由度位置姿度信息，获取世界坐标系、摄像机坐标系、虚拟模型坐标系以及二维显示器坐标系之间的矩阵转换关系，使三维数字化牙颌模型的三维虚拟影像与患者口内实体牙列重叠。

或者，所述S4中使用的跟踪注册技术为基于无标记点云模型的跟踪注册技术或基于交互手势的跟踪注册技术。

进一步的，使用HoloLens作为混合现实头戴式显示器。

与现有技术相比，本发明具有以下有益效果：

1，定位准确：本发明通过口扫生成数字化牙颌模型，同时整合牙根影像，避免了传统取模过程造成的误差，且能显示完整牙冠与牙根信息；通过计算机软件，测算牙齿解剖形态，自动完成托槽虚拟定位，使定位方案兼具准确和便利性；同时，使用MR技术代替临床凭经验目测操作方法，也无需额外制作其他辅助粘接装置，利用三维虚拟影像直接重叠于患者口内牙列正确位置，使计算机软件生成的准确托槽定位位置可直接转移匹配至患者口内牙列相应位置，实现直观便捷的托槽定位粘接。

2，操作简便，降低托槽粘接操作的技术敏感性：利用MR技术，三维虚拟数字影像可直接重叠在患者口内相同位置，给医师提供粘接位置导航，降低了托槽粘接技术的技术敏感性，使低年资医师亦可准确定位托槽，避免因定位误差降低牙齿移动效率和效果。同时，此技术操作简便，无需间接粘接技术的额外双层转移托盘和其他3D打印辅助定位装置，避免了实验室和技工操作的时间财力消耗，也减少了椅旁操作步骤和时间。

3，本发明可克服传统间接粘接托盘的缺陷：使用转移托盘的传统间接粘接虽然精确度高，但仍存在制造误差，且托盘就位时存在软组织、粘接材料厚度、牙列后部就位空间或患者张口度受限等干扰；虽然不断有改良辅助装置问世，但仍存在装置就位不准确、完成粘接后辅助装置去除困难等问题；而本发明利用增强现实技术生成。

4，方便直观：本发明实现了虚拟托槽定位数字化牙颌模型与患者口内现实情况直接准确重叠，且利用注册跟踪技术，虚拟模型的位置和可根据病人体位和头戴设备的移动而移动，避免了多次手动重叠的繁琐与误差；同时，如HoloLens等头戴式设备的使用，使术者不必参考额外的电脑平面，避免了不停切换视野所造成的手眼协同问题。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例1

本实施例公开的用混合现实技术的正畸托槽粘接方法，步骤如下：

1，采集数据，建立数字化牙颌模型。

1.1，利用口内扫描仪对患者口内进行扫描，利用软件（如3Shape TRIOS，Copenhagen，Denmark）前期处理，自动除噪、填补空洞，上下颌咬合点拟合匹配，转化为与患者口内真实牙列比例1:1且具有咬合关系的三维数字化牙颌模型；

1.2，患者于治疗前接受影像学检查，拍摄全牙列锥形束CT，获取患者口内组织及三维牙根影像资料；

1.3，利用计算机技术将锥形束CT扫描获得的数据以DICOM标准格式导入患者的步骤1.1所得的三维数字化牙颌模型进行整合，经配准构建后，生成具有完整的牙冠、牙根的排列关系以及带有咬合信息的三维数字化牙颌模型。

2，完成虚拟托槽粘接，生成带有准确托槽定位的数字化牙颌模型。

2.1，在包括但不限于3Shape OrthoAnalyzer软件中测算牙体临床牙冠解剖数据，依据临床冠中心、边缘嵴、高度等指标确定托槽在牙面上的准确位置，实现虚拟托槽中心与牙面粘接位置中心点的拟合。

2.2，软件自动分析，生成虚拟托槽定位方案。

以临床冠中心法为例：医师应用与口扫软件配套的正畸分析软件（如3ShapeOrtho Analyzer2015），该软件可测量牙齿解剖数据，确定解剖点，确定牙冠临床冠长轴、临床冠中心点；按照厂家提供的托槽应用数据程序，将托槽与牙齿相应基于临床冠中心进行拟合，并进行适当调整，完成虚拟托槽粘接。

2.3，输出带有准确托槽定位的牙颌模型。

将带有虚拟定位托槽的牙齿复位为带有牙根信息的患者三维原始错合畸形模型，并输出。

如果要按照个性化托槽设计，步骤2.2的具体步骤如下：

2.21，利用数字化排牙软件将每颗牙数字化分离，确定解剖点，确定牙冠临床冠长轴、临床冠中心点，牙齿在计算机上进行三方向的移动、旋转等，其运动性能满足模拟排列牙的要求。根据生物美学理念，按照正常咬合六项标准排牙，同时注意牙根平行度，最终达成正确静止咬合；

2.22，利用虚拟托槽定位软件，按照厂家提供的托槽应用数据程序，将托槽与相应牙齿基于临床冠中心进行拟合，并进行适当微调，以满足弓丝平直化原则；

2.23，在软件中牙列复位为原始错合畸形模型，此时牙齿上已带有定位后的托槽，输出。

3，将带有虚拟粘接托槽的数字化牙颌模型导入混合现实头戴式显示器。

本实施方式中混合现实头戴式显示器选用HoloLens。当然也可选用其他类型的混合现实头戴式显示器，比如索尼、Virtual Research、Cybermind、SiliconMicroDisplay、爱视代、爱普生、卡尔蔡司等公司生产的头显设备。

HoloLens硬件：

微软HoloLens是一款基于Windows10的增强现实头戴设备（HMD），也是一款完全独立的头戴式计算机。它具有蓝牙和Wi-Fi连接功能，并由全息处理单元HPU供电，有2GB RAM和64GB固态存储，还配备了一个惯性测量单元、四个环境感知摄像机、混合现实捕捉、四个麦克风、一个环境光传感器和两个能够自动校准瞳孔距离的高清显示器。

其中，3D摄像机和环境感应摄像头主要用于识别用户的手势、提取识别物中的特征信息以及对周围的空间环境进行映射并将这些信息传输给全息处理器（HPU）确定自身的位置。惯性测量单元则可实时确定使用者头部的加速度和角速度。最终，HPU 结合惯性测量单元与摄像头提供的信息时时评估用户姿态，并将图像输出给全息显示器，最终将虚拟模型投射在空间环境中。

HoloLens软件：

本实施例使用开发版HoloLens，操作系统为Windows10。

软件主要功能为导入并在HoloLens中显示数字化牙颌模型、提供三维注册方法用于将虚拟模型和真实的器官叠加显示。

4，利用软件（如MR软件）及光学跟踪设备，使用跟踪注册技术进行注册与校准，使虚拟影像和口内现实准确对应。

目前常用的注册技术包括基于识别图标志物的注册技术、无标记注册技术、基于交互手势的注册技术等。

本实施例采用基于无标记点云模型的跟踪注册技术进行注册与校准。具体方法如下：

基于点云模型的注册技术是一种基于模型的无标记注册技术，它不需要在真实环境中放置标志物，也避免了基于自然特征的无标记技术中在缺少纹理环境中跟踪注册失败的问题。通过摄像机、RGB-D相机等方式在患者牙列实体拾取或恢复重建环境点云，同时在带有托槽定位的虚拟牙列三维模型上提取模型点云，然后将两组点云进行配准，计算出最优的空间变化矩阵。HoloLens混合现实系统可利用如最近迭代点（ICP）算法，对环境点云和模型点云进行配准，实时获取相机位姿矩阵，完成跟踪注册。具体而言，此技术还可分为粗匹配和精确配准两阶段。

在另一个实施例中也可采用基于交互手势的注册技术，具体方法如下：

HoloLens所具有的3D摄像机和环境感应摄像头可识别医师的手势。注册时，HoloLens的视野范围内识别特定手势，与虚拟模型进行交互，移动虚拟模型在世界坐标系下的位置使其与真实模型对齐，从而确定虚拟模型坐标系到摄像机坐标系的转换矩阵，实现三维虚拟模型和真实模型的叠加显示。

5，粘接托槽。

术者佩戴HoloLens后，带有虚拟托槽的三维数字化牙颌模型可直接重叠于术区，作为托槽定位引导，术者可根据三维数字化牙颌模型的三维虚拟影像上的虚拟托槽直接定位真实托槽的位置，酸蚀、冲洗、干燥、涂布粘接剂、定位托槽，去除多余粘接剂，完成托槽的粘接。

实施例2

本实施例公开的用混合现实技术的正畸托槽粘接方法，步骤如下：

1，采集数据，建立数字化牙颌模型。

1.1识别图安置：

1.11，用硅橡胶制作患者理想颌位咬合关系咬合板，咬合板为托槽粘接留出充足空间；

1.12，在咬合板上固定连接识别图标志物，所述识别图标志物可被MR软件识别；

1.13，利用口内扫描仪进行常规牙列口扫，并将带有所述识别图标志物的咬合板信息一并采集，用于步骤4中的识别图进行配准；

对患者口内进行扫描，利用软件（如3Shape TRIOS，Copenhagen，Denmark）前期处理，自动除噪、填补空洞，上下颌咬合点拟合匹配，转化为与患者口内真实牙列比例1:1且具有咬合关系的三维数字化牙颌模型；

1.2，患者于治疗前接受影像学检查，拍摄全牙列锥形束CT，获取患者口内组织及三维牙根影像资料；

1.3，利用计算机技术将锥形束CT扫描获得的数据以DICOM标准格式导入患者的步骤1.1所得的三维数字化牙颌模型进行整合，经配准构建后，生成具有完整的牙冠、牙根的排列关系以及带有咬合信息的三维数字化牙颌模型。

2，完成虚拟托槽定位，生成带有准确托槽定位的数字化牙颌模型。

3，将带有虚拟粘接托槽的数字化牙颌模型导入混合现实头戴式显示器HoloLens。

4，利用MR软件及光学跟踪设备，使用基于识别图标志物的跟踪注册技术进行注册与校准，使虚拟影像和口内现实准确对应。具体如下：

由通过基于识别图的识别技术完成三维注册过程，此技术可通过Vuforia插件实现。

粘接开始前，患者重新佩戴好带有识别图的咬合板，识别图代表待注册区域。利用SLAM算法，HoloLens环境感应摄像头拍摄场景，采集识别图上特征点，识别世界坐标信息，通过点对之间匹配关系，计算摄像机与真实场景之间的六自由度位置姿度信息，获取世界坐标系、HoloLens摄像机坐标系、虚拟模型坐标系以及二维显示器坐标系之间的矩阵转换关系，使虚拟数字化牙颌模型与患者口内实体牙列直接准确重叠，且病人体位或头戴式显示器的移动不会影响坐标系的初始对应关系。

5，粘接托槽。

术者佩戴HoloLens后，带有虚拟托槽的三维数字化牙颌模型可直接重叠于术区，作为托槽定位引导，术者可根据三维数字化牙颌模型的三维虚拟影像上的虚拟托槽直接定位真实托槽的位置，酸蚀、冲洗、干燥、涂布粘接剂、定位托槽，去除多余粘接剂，完成托槽的粘接。

本发明还可延伸应用于医患沟通、年轻医生进修培训等。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。