一种数字化口腔模型标志点识别方法、装置及电子设备

技术领域

本发明涉及图像领域，尤其是一种基于深度神经网络的数字化口腔模型标志点识别方法、装置及电子设备。

背景技术

三维数字化牙颌模型因其安全、高效等优点，已广泛应用于口腔正畸临床中。牙颌模型记录着患者上下颌牙、牙弓、基骨等信息，准确的测量和分析牙颌模型对医生辅助诊断和治疗至关重要。在测量和分析牙颌模型时，一个基本且关键的步骤是牙齿的特征点识别，比如：位于前磨牙和磨牙的尖点，位于中切牙、侧切牙和尖牙的切角点等。这些牙齿表面固有的特征点可以很好的帮助医生制定治疗方案，监测治疗效果。由于每个患者的需要标注几十个标记点，全部依赖医生手动定点费时又费力。在三维数字化模型上自动定位标志点是一个具有挑战性的问题，一方面由于定位精度要求高，通常需要达到0.5mm的准确度；另一方面由于牙齿的正常磨损或者牙齿修复等治疗，不同患者的牙齿形状具有差异。并且，数字化模型通过含有几十万甚至上百万个网格单元，处理和计算这些高分辨率的数字化模型对计算机算力要求十分巨大。

传统的研究多基于几何方法来识别特征点，Kumar等提出一种基于区域分割的特征点识别算法，利用曲率和高度混合的高度函数进行分水岭算法，将识别到的局部最值点当作牙齿的特征点。然而该方法对模型噪声较为敏感，易出现过划分和少划分问题，导致特征点识别不准确。褚玉伟等提出一种基于DBSCAN和K-Means混合聚类的牙齿特征自动识别算法，在识别上更加鲁棒，更加准确。但上述两种方法都是在有单颗牙齿先验的情况下，仅实现了有显著特征的磨牙尖点的识别，数量较少，无法满足临床诊断的需要。

发明内容

本发明提出了一种基于深度神经网络的数字化口腔模型标志点识别方法、装置及电子设备，通过将牙冠模型在任意角度视角下“拍摄”的2D渲染图进行热力图回归预测从而自动定位标志点。

本发明的技术方案为：一种基于深度神经网络的数字化口腔模型标志点识别方法，包括如下步骤：

步骤1、输入牙颌模型图像数据，对牙颌模型的牙冠进行分割，并识别出牙冠的牙位编号，所述牙颌模型包括牙龈和不同牙位的牙冠。

步骤2、基于单个牙冠的牙冠标志点自动识别，对每个分割好的牙冠，利用多视角图网络进行牙模标志点的自动识别，获得每个牙冠上的标志点。

进一步的，对牙颌模型的牙冠进行分割所采用的方式是从牙颌模型中提取点云属性信息作为神经网络模型的输入，采用点云实例分割网络对输入的点云做实例分割，从而实现每个牙冠的分割。

进一步的，所述步骤2具体包括：

将第一步骤已经分割好的牙冠文件，在随机视角下进行拍照获得多张不同视角下的视角图；以视角图作为多视角网络的输入，进行二维视角图的标志点预测；将预测的多张视角图对应的二位标志点映射回三位空间获得牙冠对应的三维标志点坐标。

根据另一方面，还提出一种基于深度神经网络的数字化口腔模型标志点识别装置，包括：

分割识别模块，采用点云分割网络对牙颌模型的牙冠进行分割，并识别出牙冠的牙位编号，所述牙颌模型包括牙龈和不同牙位的牙冠；

牙模标志点识别模块，基于单个牙冠的牙冠标志点自动识别，对每个分割好的牙冠，利用多视角图网络进行牙模标志点的自动识别，获得每个牙冠上的标志点。

根据另一方面，还提出一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如前所述的基于深度神经网络的数字化口腔模型标志点识别方法的步骤。

与现有方法相比：

本发明的方法没有在三维点云上进行标志点的预测，而是将三维数据映射为2维投影图像数据，用二维网络进行计算，相较与三维网络可以减少计算量和对算力的依赖。

本发明的方法不限制投影角度，可以根据计算需求在牙冠模型的任意角度投影任意组图像。对于结构相对简单的部分，比如前牙，可以采用较少数目的多角度投影视角图；对于结构较为复杂的磨牙，可以增加投影角度，提取更多角度下的图像特征，可以根据具体使用需求灵活的设置投影图数量和角度。

附图说明

图1：本发明的总体框图示意图；

图2：基于DeepGCN的实施实例的网络结构图；

图3：本发明利用多视角图网络进行牙模标志点的自动识别流程；

图4：本发明假设有多个虚拟相机对牙冠模型在任意多个角度下进行拍照示意图；

图5：多视角图网络结构；

图6：本发明的一个实施例的装置原理框图；

图7：本发明的一个实施例的电子设备原理框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。

根据本发明的实施例，提出一种基于深度神经网络的数字化口腔模型标志点识别方法，如图1、3所示，包括如下步骤：

步骤1、输入牙颌模型图像数据，对牙颌模型的牙冠进行分割，并识别出牙冠的牙位编号，所述牙颌模型包括牙龈和不同牙位的牙冠。

步骤2、基于单个牙冠的牙冠标志点自动识别，对每个分割好的牙冠，利用多视角图网络进行牙模标志点的自动识别，获得每个牙冠上的标志点。

具体的，如上所述，该方法采用两阶段方式，先进行牙齿分割，再进行特征点识别。

如步骤1所述，进行第一阶段的处理，输入牙颌模型图像数据，对牙颌模型的牙冠进行分割。在本发明的实施例中，可以采用多种图像分割方法对牙颌模型的牙冠进行分割，例如采用点云分割网络进行分割，采用水平集的方法进行分割，或者基于聚类的方法进行分割等等均可；优选的，对于输入的点云数据，采用点云分割网络进行分割；本发明中的牙颌模型包括牙龈和不同牙位的牙冠，此步骤的主要目的是将每个牙冠分割出来，并识别出牙冠的牙位编号，以用于第二阶段基于单个牙冠的牙冠标志点自动识别。具体采用的方式是从牙颌模型中提取点云属性信息作为神经网络模型的输入，比如顶点坐标信息、面片法向信息、曲率信息、面片中心坐标信息等；采用点云实例分割网络对输入的点云做实例分割，从而实现每个牙冠的分割。与现有方法大多使用浅层图卷积网络相比，该网络借鉴残差连接的思想加深了图卷积网络，而且避免了梯度消失的问题，这对于牙颌网格模型来说尤为重要，因为越深的图卷积网络对应着越大的感受野，只有捕捉到所有牙齿的感受野才能保证有利于牙齿分割的牙齿局部信息和全局信息都被完整的获取到。此外，与分割网络MeshSegNet相比，该网络无需事先进行大规模的矩阵计算，计算量明显减少。

在一个实施例中，如图2所示，采用DeepGCN深层网络对牙颌模型(部分牙颌模型含第三磨牙)进行实例分割获取每个牙冠。提取每个面片的三个顶点坐标、面片中心坐标以及面片法向量等共多个维度属性信息作为模型的输入。采用ResGCN结构作为反向传播层。ResGCN结构借鉴残差连接的思想加深了图卷积网络，而且避免了梯度消失的问题，这对于牙颌网格模型来说尤为重要，因为越深的图卷积网络对应着越大的感受野，只有捕捉到所有牙齿的感受野才能保证有利于牙齿分割的牙齿局部信息和全局信息都被完整的获取到。特征融合层采用1x1卷积链接全局最大池化层将ResGCN结构提取的特征进行融合。

预测层采用4个1x1卷积，最后一层的输出定义为17，即牙龈+16个牙位共17个类别(对于上牙颌模型为牙龈，T11-T18,T21-T28共17个类别；对于下牙颌模型为牙龈，T31-T38,T41-T48共17个类别)。

如步骤2所示，在第二阶段，根据第一阶段获得的牙齿分割结果，采用多视角卷积神经网络进行牙模标志点的识别。如图3所示，为利用多视角图网络进行牙冠标志点自动识别流程图。将第一步骤已经分割好的牙冠文件，在随机视角下进行拍照获得多张不同视角下的视角图；以视角图作为多视角网络的输入，进行二维视角图的标志点预测；将预测的多张视角图对应的二位标志点映射回三位空间获得牙冠对应的三维标志点坐标。

假设有多个虚拟相机按不同视角分布在牙冠模型的周围，这样可以获得不同的视角“拍摄”的图像，即为对应视角下牙冠的2D渲染视角图。将这些产生的二维视角图像作为二维标志点识别网络的训练数据，采用二维标志点识别网络对这些不同视角下的视角图进行标志点自动识别。然后将二维图片上识别的点根据生成视角图时的视角参数映射回牙冠上计算出对应的牙冠上三维标志点坐标。如图4所示，假设有多个虚拟相机对牙冠模型在任意多个角度下进行拍照，即可获取对应视角下渲染的视角图像；

根据本发明的一个实施例，采用三级hourglassnet堆叠网络作为主要的框架进行二维图片的标志点自动识别。如图5，为实施例的网络结构图，N为牙冠上标志点的数目。

1)设定每个牙冠采用60张视角图，即假设随机视角的60个相机分布在牙冠周围，每个相机可以获得一张牙冠的拍照图像，即为此视角下对应的牙冠的视角图；同时记录相机相对于牙冠文件的视角参数，用于后续步骤中将二维标志点坐标换算回三维标志点坐标。

2)将每一张图像输入二维图像标志点自动识别网络。图像首先通过通用的残差模块计算特征，然后连接三个堆叠的hourglass模块，最后通过上采样输出对应N个特征点的与输入图像一样大小的N张热力图。

3)对每张热力图取其峰值作为对应此视角下视角图的相应标志点的二维坐标(x,y)。

为了计算牙冠模型上三维标志点坐标，需要根据生成视角图的视角参数，即可将二维坐标(x,y)映射回三维空间计算出对应的牙冠标志点三维坐标(x,y,z)。由于采用的是多个视角(比如此处为60)，对牙冠上每一个三维标志点，在每个视角的视角图能得到对应的二维标志点坐标。对于牙冠上某一个标志点，通过多个视角下视角图的二维坐标映射回三维空间后计算的三维标志点坐标未必在同一位置，需要拟合得到最终的唯一的三维标志点坐标。

综上，本发明在这一阶段的具体做法是先将牙齿的三维网格模型进行随机视角二维投影，再将得到的一系列不同视角的二维投影图像分别送入到网络中，为每个视角的二维投影图像估计特征点位置，最后使用最小二乘法并进一步采用随机抽样一致性算法将不同视角得到的特征点位置拟合成最终的特征点位置。本发明所提出的方法在牙颌模型特征点识别方面达到了最佳性能，按牙位统计的平均精度为0.31mm，按特征点统计的平均精度为0.33mm。

根据本发明的另一个实施例，还提出一种基于深度神经网络的数字化口腔模型标志点识别装置，如图6所示，包括：

分割识别模块201，采用点云分割网络对牙颌模型的牙冠进行分割，并识别出牙冠的牙位编号，所述牙颌模型包括牙龈和不同牙位的牙冠；

牙模标志点识别模块202，基于单个牙冠的牙冠标志点自动识别，对每个分割好的牙冠，利用多视角图网络进行牙模标志点的自动识别，获得每个牙冠上的标志点。

所述分割识别模块201采用的方式是从牙颌模型中提取点云属性信息作为神经网络模型的输入，采用点云实例分割网络对输入的点云做实例分割，从而实现每个牙冠的分割。在本发明的实施例中，可以采用多种图像分割方法对牙颌模型的牙冠进行分割，例如采用点云分割网络进行分割，采用水平集的方法进行分割，或者基于聚类的方法进行分割等等均可；

进一步的，牙模标志点识别模块202，将第一步骤已经分割好的牙冠文件，在随机视角下进行拍照获得多张不同视角下的视角图；以视角图作为多视角网络的输入，进行二维视角图的标志点预测；将预测的多张视角图对应的二位标志点映射回三位空间获得牙冠对应的三维标志点坐标；

本发明实施例还提供了一种电子设备，如图7所示，该电子设备可以包括处理器301和存储器302，其中处理器301和存储器302可以通过总线或者其他方式连接，图7中通过总线连接为例。

处理器301可以为中央处理器(CentralProcessingUnit，CPU)。处理器301还可以为其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(Application SpecificIntegratedCircuit，ASIC)、现场可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器302作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的基于曲面重建的面神经展开方法对应的程序指令/模块。处理器301通过运行存储在存储器302中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的基于曲面重建的面神经展开方法。

存储器302可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器401所创建的数据等。此外，存储器302可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器302可选包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至处理器301。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器302中，当被所述处理器301执行时，执行如图1所示实施例中的一种基于深度神经网络的数字化口腔模型标志点识别方法。

上述电子设备具体细节可以对应参阅前面实施例中对应的相关描述和效果进行理解，此处不再赘述。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(FlashMemory)、硬盘(HardDiskDrive，缩写：HDD)或固态硬盘(Solid-StateDrive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。