基于深度学习网络的二阶段牙体点云补全方法及系统

技术领域

本发明涉及医学图像处理技术领域，具体地，涉及一种基于深度学习网络的二阶段牙体点云补全方法及系统。

背景技术

牙科成像可以使牙医更准确得发现、干预病灶区域，发现潜在问题，从而积极主动地进行牙科保健与修复。目前用于诊断的牙科成像技术主要有三种类型：传统计算机断层扫描CT、锥形束计算机断层扫描(Cone Beam Computred Tomography,CBCT)和口内扫描仪。但由于遮挡物和传感器分辨率的原因，口扫设备获取的扫描数据通常是不完整的。

对于这种受限的原始数据，我们需要对其进行完善来补偿原始数据的结构损失，提高数据质量，以便于后续临床应用。在PointNet和PointNet++使用深度学习网络实现了点云分割和点云分类之后，点云深度学习逐渐成为热门研究领域。与此同时，点云作为一种重要的三维数据，其在医学领域的应用也越来越广泛。但是，从激光雷达等设备中获取的点云往往有所缺失，这给点云的后续处理带来了一定的困难。点云补全(Point CloudCompletion)技术应运而生，它从缺失点云出发估计完整点云，从而获得更高质量的点云，达到修补的目的。

公开号为CN111383355A的中国发明专利，公开了一种三维点云补全方法、装置和计算机可读存储介质，该方法包括：获取目标房间对应的三维点云，其中，三维点云包括顶面点云、地面点云和摆放物品点云；基于顶面点云，生成顶面点云投射图像，以及基于地面点云和摆放物品点云，生成地面点云投射图像；从顶面点云投射图像和地面点云投射图像中，确定至少一个待补全点云区域；对于至少一个待补全点云区域中的每个待补全点云区域，基于该待补全点云区域的位置，利用该待补全点云区域周围的点云，对该待补全点云区域进行补全。本公开实施例可以提高对三维点云中的空洞补全的准确性，以及增加房屋模型的完整性和美观程度。

传统的点云补全方法基于一定物体基础结构的先验信息(如对称性信息或语义类信息等)，通过一定的先验信息对缺失点云进行修补。这类方法只能处理一些点云缺失率很低、结构特征十分明显的缺失点云。随着用于点云分析和生成的深度学习方法的进步，现今已经提出一些更加合理的3D点云补全工作，如LGAN-AE、PCN和3D-Capsule等。这些基于深度学习方法的点云补全工作以有缺失点云为输入，以完整点云为输出，可有效防止因离散化而导致的大量内存占用和伪影问题。但是，由于点云的无序性和不规则性，我们无法直接在点云上应用传统卷积，在不规则点云上进行深度学习仍面临许多挑战。比如，深度学习网络过于关注物体的整体特征而忽略了缺失区域的几何信息；网络会生成偏向于某类物体共性特征的点云，而失去某个物体的个体特征。

日益完善的点云采集设备可以快速从物体表面扫描获得大量点云数据,但是由于目前分析和生成点云的能力有限，大规模的点云数据使设备存储和计算处理效率低下，导致重建出的模型表面失真,整体效果模糊，同时也出现了重建后的点云分布不均匀、有孔洞等一系列问题。因此在实际应用中，实现高效的点云补全从而提高点云质量在口腔医学领域中具有很重要的临床意义与研究价值。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于深度学习网络的二阶段牙体点云补全方法及系统。

根据本发明提供的一种基于深度学习网络的二阶段牙体点云补全方法及系统，所述方案如下：

第一方面，提供了一种基于深度学习网络的二阶段牙体点云补全方法，所述方法包括：

步骤S1：基于CBCT数据与口扫数据构建初始三维牙体模型点云数据；

步骤S2：构建深度学习网络MSN，利用已有的训练集和测试集完成MSN的训练；

步骤S3：将步骤S1中获得的初始三维牙体模型点云数据输入到训练好的MSN中，得到补全后的完整牙体点云数据。

优选的，所述步骤S1包括：

步骤S1.1：通过激光扫描仪提取牙冠三维模型，并将牙冠三维模型转换为高分辨率的激光扫描第一三维牙模型点云数据；

步骤S1.2：通过锥形束计算机断层扫描仪获取CBCT数据，根据区域增长法从CBCT数据中提取出牙齿完整模型，并将牙齿完整模型转换为CBCT重建第二三维牙模型点云数据；

步骤S1.3：使用基于多视图融合的CBCT与激光扫描点云数据牙齿配准方法对上述第一三维牙模型点云数据和第二三维牙模型点云数据进行配准，得到初始三维牙体模型点云数据。

优选的，所述步骤S2包括：

步骤S2.1：搭建深度学习网络MSN：MSN网络以点云为输入，经过两阶段的处理实现点云补全：

第一阶段：变形预测阶段，网络呈现编码器-解码器结构，自动编码器通过提取全局特征向量(Generalized Feature Vector,GFV)来预测较为粗糙的完整点云，并利用膨胀惩罚来防止表面元素之间的重叠；

第二阶段：融合与精细阶段，我们将粗糙点云与输入点云融合；

步骤S2.2：构建联合损失函数并通过损失函数优化MSN：将膨胀惩罚损失函数L

步骤S2.3：采用已有的训练集和测试集训练并评估MSN网络：通过临床扫描得到牙列CBCT数据及其对应的口扫数据，将配准后得到的三维牙体模型点云数据作为金标准。

优选的，所述步骤S2.1中变形预测阶段具体包括：

采用图卷积编码器提取点云数据特征：

将输入点云X即激光扫描三维牙模型点云数据输入到图卷积编码器中，点云X位于欧几里得空间，且X中每个数据点x，x∈X的大小为1×3；

对于每个数据点x，取其周围的n个点作为该数据点的邻域Nx，大小为n×3，坐标定义为x

通过带有最大池化的点卷积操作，将Nx中n个邻域点相对于数据点x的坐标

其中，图卷积网络由修正线性单元ReLu激活函数和图卷积G-conv组成，ReLu激活函数将图卷积网络中每个神经元的输入映射到输出端；图卷积G-conv利用第τ层数据点x的特征值来计算第τ+1层数据点的特征值，其中，τ为G-conv图卷积的层数，取值范围为1～15，计算公式如下：

公式中

采用基于变形的解码器预测粗糙点云：解码器利用多层感知机学习从2D单位正方形到3D表面的映射，从而模拟2D正方形到3D表面的变形，生成K个表面surface

粗糙点云的正则化：将每次前向传递过程中由每个多层感知机生成的3D点视为一个顶点集，根据顶点间的欧几里德距离构建最小生成树T

选择T

最小生成树的边越长，表示两点距离越远，则与其他表面的点混合的概率越大，膨胀惩罚使得这些根节点沿着边向更紧凑的区域收缩，最终达到优化生成点云的目的，其公式表述如下：

其中，dis(u,v)为顶点u和v之间的欧几里得距离；N为局部区域采样点数；(u,v)∈T

由于构造树中点的运动能看作无穷小，即最小生成树中点的运动不变，因此膨胀惩罚函数L

优选的，所述步骤S2.1中融合与精细阶段对粗糙点云作进一步优化处理，具体包括：

将输入点云与粗糙点云融合后作最小密度采样：

最小密度采样算法采用高斯权值求和的方法来估计点的“密度”，从融合点云中采集密度最小的点，得到均匀分布的子点云，具体公式表述如下：

其中，p

对采样后得到的子点云作细化处理：将子点云输入到残差图卷积网络中，通过逐点的残差生成细粒度点云；

残差图卷积网络以图卷积编码器中的图卷积网络结构为基础，增加残差连接部分，将残差图卷积网络的输出结果与经过MDS算法采样得到的子点云逐点相加，最终生成可预测牙体完整形状的平滑点云；

由于输入点云数据比预测的粗糙点云数据更加可靠，因此在子点云的坐标上添加了一个二进制通道来区分每个点的来源，其中0代表来源于输入点云，1代表来源于粗糙点云。

优选的，所述步骤S2.2中，将膨胀惩罚损失函数L

计算损失函数L

其中，S

计算联合损失函数L：

L＝L

其中，S

第二方面，提供了一种基于深度学习网络的二阶段牙体点云补全系统，所述系统包括：

模块M1：基于CBCT数据与口扫数据构建初始三维牙体模型点云数据；

模块M2：构建深度学习网络MSN，利用已有的训练集和测试集完成MSN的训练；

模块M3：将模块M1中获得的初始三维牙体模型点云数据输入到训练好的MSN中，得到补全后的完整牙体点云数据。

优选的，所述模块M1包括：

模块M1.1：通过激光扫描仪提取牙冠三维模型，并将牙冠三维模型转换为高分辨率的激光扫描第一三维牙模型点云数据；

模块M1.2：通过锥形束计算机断层扫描仪获取CBCT数据，根据区域增长法从CBCT数据中提取出牙齿完整模型，并将牙齿完整模型转换为CBCT重建第二三维牙模型点云数据；

模块M1.3：使用基于多视图融合的CBCT与激光扫描点云数据牙齿配准方法对上述第一三维牙模型点云数据和第二三维牙模型点云数据进行配准，得到初始三维牙体模型点云数据。

优选的，所述模块M2包括：

模块M2.1：搭建深度学习网络MSN：MSN网络以点云为输入，经过两阶段的处理实现点云补全：

第一阶段：变形预测阶段，网络呈现编码器-解码器结构，自动编码器通过提取全局特征向量(Generalized Feature Vector,GFV)来预测较为粗糙的完整点云，并利用膨胀惩罚来防止表面元素之间的重叠；

第二阶段：融合与精细阶段，我们将粗糙点云与输入点云融合；

模块M2.2：构建联合损失函数并通过损失函数优化MSN：将膨胀惩罚损失函数L

模块M2.3：采用已有的训练集和测试集训练并评估MSN网络：通过临床扫描得到牙列CBCT数据及其对应的口扫数据，将配准后得到的三维牙体模型点云数据作为金标准。

优选的，所述模块M2.1中变形预测阶段具体包括：

模块M2.1.1：采用图卷积编码器提取点云数据特征：

将输入点云X即激光扫描三维牙模型点云数据输入到图卷积编码器中，点云X位于欧几里得空间，且X中每个数据点x，x∈X的大小为1×3；

对于每个数据点x，取其周围的n个点作为该数据点的邻域Nx，大小为n×3，坐标定义为x

通过带有最大池化的点卷积操作，将Nx中n个邻域点相对于数据点x的坐标

其中，图卷积网络由修正线性单元ReLu激活函数和图卷积G-conv组成，ReLu激活函数将图卷积网络中每个神经元的输入映射到输出端；图卷积G-conv利用第τ层数据点x的特征值来计算第τ+1层数据点的特征值，其中，τ为G-conv图卷积的层数，取值范围为1～15，计算公式如下：

公式中

模块M2.1.2：采用基于变形的解码器预测粗糙点云：解码器利用多层感知机学习从2D单位正方形到3D表面的映射，从而模拟2D正方形到3D表面的变形，生成K个表面surface

模块M2.1.3：粗糙点云的正则化：将每次前向传递过程中由每个多层感知机生成的3D点视为一个顶点集，根据顶点间的欧几里德距离构建最小生成树T

选择T

最小生成树的边越长，表示两点距离越远，则与其他表面的点混合的概率越大，膨胀惩罚使得这些根节点沿着边向更紧凑的区域收缩，最终达到优化生成点云的目的，其公式表述如下：

其中，dis(u,v)为顶点u和v之间的欧几里得距离；N为局部区域采样点数；(u,v)∈T

由于构造树中点的运动能看作无穷小，即最小生成树中点的运动不变，因此膨胀惩罚函数L

与现有技术相比，本发明具有如下的有益效果：

1、本发明采用基于变形与采样网络的方法，分两个阶段补全牙体点云数据，在第一阶段，该方法能够预测一个完整但粗粒度的点云；在第二阶段，通过采样算法将粗粒度预测点云与输入点云融合，能够得到均匀分布的细粒度预测点云；

2、本发明中的联合损失函数保证点在局部区域的集中分布，最小密度采样算法MDS保留已知牙体结构，预测结果可以有效避免分布不均、细节模糊或结构丢失等问题。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明的基于深度学习网络的二阶段牙体点云补全方法的流程图；

图2为本发明的基于深度学习网络的二阶段牙体点云补全方法的MSN深度学习网络结构图；

图3为本发明的基于深度学习网络的二阶段牙体点云补全方法的MSN深度学习网络中图卷积网络结构图；

图4为本发明的基于深度学习网络的二阶段牙体点云补全方法的MSN深度学习网络中基于变形的解码器的结构图；

图5为本发明的基于深度学习网络的二阶段牙体点云补全方法的MSN深度学习网络中残差图卷积网络结构图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

本发明实施例提供了一种基于深度学习网络的二阶段牙体点云补全方法，参照图1所示，首先步骤S1：基于CBCT数据与口扫数据构建初始三维牙体模型点云数据，具体地：

通过激光扫描仪(口扫设备)提取牙冠三维模型，并将牙冠三维模型转换为高分辨率的激光扫描第一三维牙模型点云数据；通过锥形束计算机断层扫描仪获取CBCT数据，根据区域增长法从CBCT数据中提取出牙齿完整模型，并将牙齿完整模型转换为CBCT重建第二三维牙模型点云数据；使用基于多视图融合的CBCT与激光扫描点云数据牙齿配准方法对上述第一三维牙模型点云数据和第二三维牙模型点云数据进行配准，得到初始三维牙体模型点云数据。

参照图2和图3所示，步骤S2：构建深度学习网络MSN，利用已有的训练集和测试集完成MSN的训练，具体如下：

搭建深度学习网络MSN：MSN网络以点云为输入，经过两阶段的处理实现点云补全：第一阶段：变形预测阶段，网络呈现编码器-解码器结构，自动编码器通过提取全局特征向量(Generalized Feature Vector,GFV)来预测较为粗糙的完整点云，并利用膨胀惩罚来防止表面元素之间的重叠。

第二阶段：融合与精细阶段，我们将粗糙点云与输入点云融合。通过最小密度采样算法(Minimum Density Sampling,MDS)得到融合点云的子点云，然后将其喂入残差网络中进行逐点的残差预测。同时利用跳跃连接将逐点残差预测结果与子点云相连，最终输出表面均匀分布的补全点云。

参照图3和图4所示，其中，在变形预测阶段中，采用图卷积编码器提取点云数据特征：

将输入点云X即激光扫描三维牙模型点云数据输入到图卷积编码器中，点云X位于欧几里得空间，且X中每个数据点x，x∈X的大小为1×3。对于每个数据点x，取其周围的n个点作为该数据点的邻域Nx，大小为n×3，坐标定义为x

图卷积网络由修正线性单元(Rectified Linear Unit,ReLU)激活函数和图卷积G-conv组成，ReLu激活函数将图卷积网络中每个神经元的输入映射到输出端；图卷积G-conv利用第τ层数据点x的特征值来计算第τ+1层数据点的特征值，其中，τ为G-conv图卷积的层数，取值范围为1～15，计算公式如下：

公式中

采用基于变形的解码器预测粗糙点云：解码器利用多层感知机(Multi-LayerPerceptron,MLP)学习从2D单位正方形到3D表面的映射，从而模拟2D正方形到3D表面的变形，生成K个表面surface

为使局部表面的生成更加容易，每个表面元素都应该集中在相对简单的局部区域。在每一次前向传递过程中，首先从单位正方形(局部区域)中随机采样N个点，N设置为128～512。将N个采样点的坐标与已得到的特征向量GFV连接，然后将它们作为输入传递给K个多层感知机，K设置为4～16。这样，每个采样的2D点都会在K个不同表面上生成对应的K个3D点，每次前向传递可以输出KN个3D点，最终实现2D到3D的连续映射。解码器在2D正方形上采样越密集，生成的3D表面越平滑。

粗糙点云的正则化：MLP的联合使用可能发生表面元素间的重叠与混合，这种现象一方面会导致预测的点云密度分布不均匀；另一方面会导致每个表面元素的膨胀区域和覆盖区域增大，使得2D局部区域变形，增加局部细节信息的捕捉难度。本发明引入膨胀惩罚项，只针对生成表面中稀疏分布的点进行正则化处理，保证不同表面在局部区域的紧凑性与集中性，防止不同表面间的相互覆盖、重叠。

具体来说，本发明将每次前向传递过程中由每个多层感知机生成的3D点视为一个顶点集，根据顶点间的欧几里德距离构建最小生成树T

选择T

最小生成树的边越长，表示两点距离越远，则与其他表面的点混合的概率越大，膨胀惩罚使得这些根节点沿着边向更紧凑的区域收缩，最终达到优化生成点云的目的，其公式表述如下：

其中，dis(u,v)为顶点u和v之间的欧几里得距离；N为局部区域采样点数；(u,v)∈T

由于构造树中点的运动可看作无穷小，即最小生成树中点的运动不变，因此膨胀惩罚函数L

其次，在融合与精细阶段中对粗糙点云作进一步优化处理，具体包括：

将输入点云与粗糙点云融合后作最小密度采样：

输入点云与粗糙点云的密度可能不同，直接融合可能会导致点云间重叠与合并的问题，使得融合点云分布不均。最小密度采样MDS算法采用高斯权值求和的方法来估计点的“密度”，从融合点云中采集密度最小的点，得到均匀分布的子点云，具体公式表述如下：

其中，p

参照图5所示，对采样后得到的子点云作细化处理：将子点云输入到残差图卷积网络中，通过逐点的残差生成细粒度点云。残差图卷积网络以图卷积编码器中的图卷积网络结构为基础，增加残差连接部分，将残差图卷积网络的输出结果与经过MDS算法采样得到的子点云逐点相加，最终生成可预测牙体完整形状的平滑点云。

由于输入点云数据比预测的粗糙点云数据更加可靠，因此在子点云的坐标上添加了一个二进制通道来区分每个点的来源，其中0代表来源于输入点云，1代表来源于粗糙点云。

构建联合损失函数并通过损失函数优化MSN：将膨胀惩罚损失函数L

将膨胀惩罚损失函数L

计算损失函数L

其中，S

计算联合损失函数L：

L＝L

其中，S

标准倒角距离(Chamfer Distance,CD)和推土机距离EMD作为评估补全点云数据与金标准之间相似度的指标，指标越小，性能越好；

采用标准化均匀系数(Normalized Uniformity Coefficient,NUC)度量补全点云分布的均匀性，指标越小，性能越好。

采用已有的训练集和测试集训练并评估MSN网络：通过临床扫描得到牙列CBCT数据及其对应的口扫数据，将配准后得到的三维牙体模型点云数据作为金标准。数据集中的一组数据由一名患者的激光扫描三维牙模型点云数据及其对应的三维牙体模型点云数据(金标准)组成，从中选取大部分作为训练集，占总数据的50％～90％，小部分作为测试集，占总数据的10％～50％。训练集用于训练MSN网络，网络训练完成后，由测试集评估MSN网络的泛化能力。

最后，步骤S3：将步骤S1中获得的初始三维牙体模型点云数据输入到训练好的MSN中，得到补全后的完整牙体点云数据。

本发明实施例提供了一种基于深度学习网络的二阶段牙体点云补全方法，本发明采用基于变形与采样网络(Morphing and Sampling Network,MSN)的方法，分两个阶段补全牙体点云数据。在第一阶段，该方法预测一个完整但粗粒度的点云；在第二阶段，通过采样算法将粗粒度预测点云与输入点云融合，得到均匀分布的细粒度预测点云。其中，联合损失函数保证点在局部区域的集中分布，最小密度采样算法MDS保留已知牙体结构，预测结果可以有效避免分布不均、细节模糊或结构丢失等问题。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。