一种口腔正畸效果预览图像生成方法及装置

技术领域

本发明涉及图像处理领域，尤其是涉及一种口腔正畸效果预览图像生成方法及装置。

背景技术

口腔正畸是矫正牙齿、改善牙齿外观和解除错颌畸形的过程，目的是排齐牙齿和恢复正常的咬合关系，主要适用于牙齿不齐但颌骨正常的情况。在正畸治疗过程中，拍摄不同角度的微笑照片和口内扩口照片可以帮助医生和患者了解治疗进程，比较治疗前后的变化和效果。通过观察正面微笑照片，医生可以更好地了解患者的牙齿问题和面部特征，制定更有效的治疗计划。正面微笑照片还可以清晰地显示患者的牙齿和面部轮廓，可以更准确地评估治疗效果，也便于医生及时调整治疗计划。此外，在牙齿矫正治疗前，患者可能因为不美观的牙齿而感到自卑，通过拍摄正面微笑照片，患者可以看到自己治疗前后的变化和进步，增强自信心，提高生活质量。然而，正面微笑照片通常由医生定期拍摄定期记录，即未进行正畸和正畸治疗刚开始的患者无法对预期的正畸治疗效果产生清晰的认知。因此，通过深度学习等技术，根据用户输入的正面微笑照片或口内扩口正面像以及正畸治疗过程的先验知识，对正畸后牙齿排列整齐的口腔图片和三维牙齿模型进行预测，对正畸患者的治疗和潜在正畸患者的决策有着指导意义。

发明内容

本发明的目的就是为了提供一种口腔正畸效果预览图像生成方法及装置。

本发明的目的可以通过以下技术方案来实现：

一种口腔正畸效果预览图像生成方法，包括：

步骤S1：基于口内扫描得到的数字化三维牙齿模型，建立三维牙齿模板；

步骤S2：构造用于对单张原始正面微笑照片的嘴部区域或正面口内扩口照片进行牙齿语义分割的语义分割模型，构建对口腔内部区域进行分割并提取具有牙位信息的二维牙齿轮廓的口腔内部区域分割模型；

步骤S3：获取用户的原始正面照片，依次利用语义分割模型和口腔内部区域分割模型对用户原始正面照片进行处理得到具有牙位信息的牙齿轮廓和口腔内部区域掩码，其中，所述正面照片为微笑照或扩口照；

步骤S4：迭代优化相机参数与牙齿模板参数优化轮廓匹配损失函数，将三维牙齿模板变形使其投影得到的对应牙位的牙齿轮廓拟合具有牙位信息的牙齿轮廓，以重建用户个性化的三维牙齿模型；

步骤S5：对用户个性化的三维牙齿模型进行排牙补齐，并将排牙后的个性化的三维牙齿模型在相同相机参数下的投影得到牙齿语义分割图；

步骤S6：将牙齿语义分割图、口腔内部区域掩码，以及用户的原始正面照片对应于所述口腔内部区域掩码的部分输入训练好的正面照片正畸效果预览模型，得到牙齿正畸后的正面微笑图或扩口照。

所述步骤S1包括：

步骤S11：获取多组数字化三维牙齿模型，并对各数字化三维牙齿模型进行切分、编号和补全操作得到具有牙位信息的三维牙齿模型；

步骤S12：根据每颗牙齿的重心将各三维牙齿模型的上下牙列分别按照对应的牙位进行对齐，并计算每个牙位对应的牙齿的平均重心；

步骤S13：使用一致性点飘移的点云配准算法将属于相同牙位的不同牙齿进行相似变换配准，记录牙齿位姿和对应点关系；

步骤S14：根据对应点关系建立各牙位单颗牙齿的统计形状模型，记录平均形状和平均位姿，并使用不同牙位牙齿的平均形状及其平均位姿建立三维牙齿模板。

所述切分的过程具体为分割牙龈和不同牙齿的三角面片网格，编号的过程具体为按照牙齿编号规范对切分得到的不同牙齿的三角面片网格进行标号，补全的过程具体为将牙齿三角面片网格的牙冠区域补全，使其变为水密的三角面片网格。

所述语义分割模型包括图像编码器、牙齿语义分割解码器、牙齿二值轮廓分割解码器、区域-轮廓融合模块，

所述图像编码器的输出端分别连接牙齿语义分割解码器和牙齿二值轮廓分割解码器的输入端，所述牙齿语义分割解码器和牙齿二值轮廓分割解码器的输出端堆叠后连接区域-轮廓融合模块的输入端，区域-轮廓融合模块的输出为牙齿语义分割图。

所述图像编码器、牙齿语义分割解码器和牙齿二值轮廓分割解码均为标准U-Net3+模型。

所述步骤S4具体包括：

步骤S41：基于原始正面照片的位置使用经验值初始化相机参数，使用不同牙位牙齿的平均形状和平均位姿初始化牙齿三维模板，初始化上下牙列的相对位置参数；

步骤S42：基于当前的相机参数和标准的小孔相机模型将当前牙齿模板参数的三维牙齿模板中的顶点投影并提取每颗牙齿的可见边缘轮廓点；

步骤S43：将投影得到的可见边缘轮廓点与具有牙齿编号信息的牙齿轮廓点进行对应点关系匹配；

步骤S44：优化对应点匹配损失和牙齿参数模型中牙齿形状和位姿的概率分布的负对数似然损失加权得到的目标函数，更新相机参数、牙齿模板参数和上下牙列的相对位置参数；

步骤S45：多次迭代步骤S42至步骤S44直至步骤S44中的目标函数收敛，其值趋于稳定，获得优化后的相机参数、牙齿模板参数和上下牙列的相对位置；

步骤S46：使用泊松表面重建算法对优化变形后的三维牙齿模板进行表面重建，获得以三角面片网格表示的三维牙齿模型。

所述步骤S5中排牙过程具体包括：根据当前牙齿状态和预期治疗周期模拟不同牙位牙齿在各个阶段的位置和姿态。

所述正面照片正畸效果预览模型为基于StyleGAN2图像风格迁移解码器的图像风格迁移类生成对抗网络。

所述步骤S6中，牙齿语义分割图和口腔内部区域掩码图经过通道堆叠后被输入到由6个卷积层和池化层依次串联组成的图像结构编码器，原始正面照片对应于所述口腔内部区域掩码的部分被输入到由6组不同尺度残差模块串联组成的图像风格编码器，该图像结构编码器与图像风格编码器的最终输出尺寸相同，二者的输出经过通道堆叠被输入到StyleGAN2图像风格迁移解码器，图像风格迁移类生成对抗网络的风格向量由图像风格编码器的不同尺度侧路输出经过残差连接和不同的卷积网络生成，通过神经网络权重调制和解调制算法注入到图像风格迁移解码器中，图像风格迁移解码器的输出为模拟正畸后的正面照片中的口腔内部区域。

一种口腔正畸效果预览图像生成装置，包括存储器、处理器，以及存储于所述存储器中的程序，所述处理器执行所述程序时实现如上述的方法。

与现有技术相比，本发明具有以下有益效果：能够在口腔正畸治疗阶段开始前，在无需用户的数字化三维牙齿模型的前提下，实现对用户正畸治疗后口腔内牙齿排列的预测和正面微笑照片或正面口内扩口照片的生成，可以帮助参与正畸的用户和医生提前预知正畸效果，辅助其他用户做出是否参与正畸治疗的决策。

附图说明

图1为本发明实施例中的方法流程图。

图2为语义分割模型的结构示意图。

图3为正面照片正畸效果预览模型的结构示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

一种口腔正畸效果预览图像生成方法，如图1所示，包括：

步骤S1：基于口内扫描得到的数字化三维牙齿模型，建立三维牙齿模板，该过程的主要内容是：根据多组已有的口腔扫描三维牙齿模型进行牙齿形状和牙列中牙齿位姿分布的统计学建模，构建不同牙位的牙齿统计形状模型描述牙齿形态的变化，构建参数化的三维牙齿模板，描述牙列中牙齿的尺寸和位姿分布。

具体的，步骤S1包括：

步骤S11：获取多组数字化三维牙齿模型，并对各数字化三维牙齿模型进行切分、编号和补全操作得到具有牙位信息的三维牙齿模型，具体的，收集一批不少于50例的数字化三维牙齿模型，每个三维模型由表示牙齿和牙龈的三角面片网格组成，并对其进行切分、编号和补全操作，获得具有牙位信息的三维牙齿模型。

具体地，在本实施例中共收集130例数字化三维模型，数字化三维牙齿模型可由口腔扫描仪获得，切分操作指分割属于牙龈和不同牙齿的三角面片网格，编号操作指按照牙齿编号规范对切分得到的不同牙齿的三角面片网格进行标号，补全是指将牙齿三角面片网格的牙冠区域补全，使其变为水密的三角面片网格，切分、编号和补全操作可由人工操作面片网格编辑软件手动完成。

步骤S12：根据每颗牙齿的重心将各三维牙齿模型的上下牙列分别按照对应的牙位进行对齐，并计算每个牙位对应的牙齿的平均重心；

具体地，在本实施例中，将前面获取的处理好的130例上牙列牙齿三维模型，根据编号计算每个牙位对应的牙齿三角面片网格顶点的重心，不考虑第三磨牙，对获得的重心求平均值，对获得的下牙列牙齿三维模型采用相同的操作。

步骤S13：使用一致性点飘移的点云配准算法将属于相同牙位的不同牙齿进行相似变换配准，记录牙齿位姿和对应点关系，并使用多元正态分布对牙齿尺寸和位姿进行概率建模；

具体地，使用多元正态分布对上下牙列所有牙齿的尺寸进行概率建模，使用多元正态分布分别对每个牙位牙齿的位姿，包括三自由度位置向量和三自由度的旋转向量，进行概率建模，使用样本均值和样本方差描述概率分布的均值和方差，对建立的多元正态分布的均值进行标准化，使得每个牙位牙齿尺寸均值为1，位置向量均值为[0,0,0]，旋转向量均值为[0,0,0]。

步骤S14：根据对应点关系建立各牙位单颗牙齿的统计形状模型，记录平均形状和平均位姿，并使用不同牙位牙齿的平均形状及其平均位姿建立三维牙齿模板。

具体地，该标准三维牙齿模板包括上牙列和下牙列的平均三维牙齿模型，该模板具有形变能力，其形变参数包括上下牙列的相对位姿、每个牙位牙齿的尺寸、位姿和形变参数，该模板中每个牙位的牙齿模型的点数量为1500，为不同牙位牙齿的统计形状模型保留其前10个形状分量。

切分的过程具体为分割牙龈和不同牙齿的三角面片网格，编号的过程具体为按照牙齿编号规范对切分得到的不同牙齿的三角面片网格进行标号，补全的过程具体为将牙齿三角面片网格的牙冠区域补全，使其变为水密的三角面片网格。

步骤S2：基于卷积神经网络构造用于对单张原始正面微笑照片的嘴部区域或正面口内扩口照片进行牙齿语义分割的语义分割模型，构建对口腔内部区域进行分割并提取具有牙位信息的二维牙齿轮廓的口腔内部区域分割模型；

语义分割模型包括图像编码器、牙齿语义分割解码器、牙齿二值轮廓分割解码器、区域-轮廓融合模块，

图像编码器的输出端分别连接牙齿语义分割解码器和牙齿二值轮廓分割解码器的输入端，牙齿语义分割解码器和牙齿二值轮廓分割解码器的输出端堆叠后连接区域-轮廓融合模块的输入端，区域-轮廓融合模块的输出为牙齿语义分割图。

图像编码器、牙齿语义分割解码器和牙齿二值轮廓分割解码均为标准U-Net3+模型。

语义分割模型和口腔内部区域分割模型的构建过程具体如下：

步骤S21：基于深度学习中的U-Net3+的网络结构、多尺度空洞空间卷积的池化金字塔模块和多任务学习的双分支结构设计正面照片牙齿语义分割模型，使用标准的U-Net网络作为口腔内部区域分割模型，并进行训练，保存在测试集上效果最好的模型。

具体地，如图2所示，正面照片牙齿语义分割模型的网络结构为一个标准U-Net3+的图像编码器的输出并联牙齿语义分割解码器和牙齿二值轮廓分割解码器再串联一个基于多尺度空洞空间卷积的区域-轮廓融合模块，其中解码器结构为标准U-Net3+的解码器，其输出堆叠后输入区域-轮廓融合模块，该模块的输出为牙齿语义分割图。正面照片牙齿语义分割模型的输入图片尺寸为(256,256,3)，输出的牙齿语义分割图尺寸为(256,256,33)，牙齿语义分割图采用独热编码，共33个类别，包括1个背景类和32个牙齿类别。

步骤S22：使用后处理算法对牙齿语义分割模型的输出进行调整，后处理算法包括根据经过膨胀运算的二值牙齿轮廓划分牙齿语义分割图的连通区域，统一同一个连通区域内的牙齿编号，提取不同牙位牙齿编号的最大连通区域，按照从图片中间到两侧的顺序整理连通区域的牙齿编号，修改多余连通区域的牙齿编号，使用腐蚀和膨胀等形态学算法对结果做平滑处理。

步骤S23：基于上下牙列牙齿区域的相对面积关系，判断患者牙齿咬合特点，若上牙列牙齿区域分割面积大于下牙列，则优先提取上牙列牙齿的可见轮廓，反之则优先提取下牙列的牙齿轮廓，提取轮廓时按照从中间到左右两侧的顺序，提取到的牙齿轮廓按照其牙齿编号进行分类。

步骤S3：获取用户的原始正面照片，依次利用语义分割模型和口腔内部区域分割模型对用户原始正面照片进行处理得到具有牙位信息的牙齿轮廓和口腔内部区域掩码，其中，正面照片为微笑照或扩口照；

步骤S4：迭代优化相机参数与牙齿模板参数优化轮廓匹配损失函数，将三维牙齿模板变形使其投影得到的对应牙位的牙齿轮廓拟合具有牙位信息的牙齿轮廓，以重建用户个性化的三维牙齿模型，具体包括：

步骤S41：基于原始正面照片的位置使用经验值初始化相机参数，使用不同牙位牙齿的平均形状和平均位姿初始化牙齿三维模板，初始化上下牙列的相对位置参数，使得三维模型呈现标准的正常咬合关系，具体地，上下牙列的相对位置初始相对旋转向量为[0,0,0]，相对位置关系为上牙列位于下牙列上方7mm处，前方2mm处，左右方向偏移量为0。

步骤S42：基于当前的相机参数和标准的小孔相机模型将当前牙齿模板参数的三维牙齿模板中的顶点投影并提取每颗牙齿的可见边缘轮廓点，具体地，相机参数包括相机全局位姿、相机焦距和相机主点，根据三维牙齿模型中每颗牙齿与相机平面的距离，判断每颗牙齿的投影点的前后位置关系，以此提取可见轮廓点，此相机模型暂未考虑镜头畸变的影响。

步骤S43：将投影得到的可见边缘轮廓点与具有牙齿编号信息的牙齿轮廓点进行对应点关系匹配，具体地，将步骤2-3)从照片中提取到的牙位τ的牙齿轮廓表示为像素坐标系中轮廓线上点的集合{c

其中：σ为一个超参数，由多次实验调整得到，具体值为0.3，n

步骤S44：优化对应点匹配损失和牙齿参数模型中牙齿形状和位姿的概率分布的负对数似然损失加权得到的目标函数，更新相机参数、牙齿模板参数和上下牙列的相对位置参数，具体地，待优化的损失函数记

其中，λ

其中，N为照片中分割得到的牙齿轮廓点的总数，T为照片中分割得到的牙齿类别数，s为照片中投影的所有牙齿的尺寸向量，p

步骤S45：多次迭代步骤S42至步骤S44直至步骤S44中的目标函数收敛，其值趋于稳定，获得优化后的相机参数、牙齿模板参数和上下牙列的相对位置，在三维重建优化过程中，先保持牙齿模板参数固定，迭代相机参数和上下牙列的相对位置10轮，之后同时优化所有参数20轮，通过显示推到确定优化函数的梯度，采用序列最小二乘法作为优化算法；

步骤S46：使用泊松表面重建算法对优化变形后的三维牙齿模板进行表面重建，获得以三角面片网格表示的三维牙齿模型，具体地，泊松表面重建所需的点云的法向量由该点邻域内30个点构成的平面的法线决定，具体方向规定为与牙齿点云重心指向点云的向量夹角为锐角的方向。

步骤S5：对用户个性化的三维牙齿模型进行排牙补齐，并将排牙后的个性化的三维牙齿模型在相同相机参数下的投影得到牙齿语义分割图，其中，排牙过程具体包括：根据当前牙齿状态和预期治疗周期模拟不同牙位牙齿在各个阶段的位置和姿态。

该过程使用自动化的排牙算法将重建的三维牙齿模型牙齿排齐，模拟牙齿正畸治疗过程，得到模拟排牙后的三维牙齿模型，具体地，自动化排牙算法源于正畸治疗过程中使用的排牙软件，根据当前牙齿状态和预期治疗周期模拟不同牙位牙齿在各个阶段的位置和姿态，该算法考虑患者牙弓曲线、矫治器对牙齿的作用力、牙齿位移量及牙齿间的相对位置关系，可以将矫治前的牙齿排列通过仿真预测预期矫治后的牙齿三维排列关系。

具体地，提取三维牙齿模型里上下牙列中切牙和侧切牙切缘的中点、尖牙的牙尖、前磨牙的颊尖和磨牙的近颊尖和远颊尖作为特征点，使用对称的Beta函数根据这些特征点分别拟合上下牙列的牙弓曲线，将重建的三维牙齿模型的各个牙齿的特征点平移至牙弓曲线对应位置，考虑碰撞关系，并使得牙齿排列尽可能紧密，各牙齿的旋转向量被调整为平均姿态，牙齿的尺寸和形状向量保持不变，同时使得各牙齿重心构成的平面与牙颌平面平行，其中，对称的Beta函数的表达式如下，

其中，x为特征点到牙列中线的距离，t为其牙弓曲线对应坐标，D和W为待拟合参数，将提取到的特征点坐标代入上式，使用最小二乘拟合得到D和W。

步骤S6：将牙齿语义分割图、口腔内部区域掩码，以及用户的原始正面照片对应于口腔内部区域掩码的部分输入训练好的正面照片正畸效果预览模型，得到牙齿正畸后的正面微笑图或扩口照，实现正畸效果预览的功能。

正面照片正畸效果预览模型为基于StyleGAN2图像风格迁移解码器的图像风格迁移类生成对抗网络，即：基于残差连接和编码器-解码器结构的StyleGAN2图像风格迁移类生成对抗网络，其结构如图3所示，并进行训练，保存在测试集上效果最好的模型，该模型输入为牙齿语义分割图、口腔内部区域掩码和正面微笑照片或口内扩口照片的口腔内部区域。

具体地，正面照片正畸效果预览模型的具体结构及流程为，牙齿语义分割图和口腔内部区域掩码经过通道堆叠后被输入到由6个卷积层和池化层依次串联组成的图像结构编码器，正面微笑照片或口内扩口照片的口腔内部区域被输入到由6组不同尺度残差模块串联组成的图像风格编码器，该图像结构编码器与图像风格编码器的最终输出尺寸相同，二者的输出经过通道堆叠被输入到StyleGAN2图像风格迁移解码器，图像风格迁移解码器的风格向量由图像风格编码器的不同尺度侧路输出经过残差连接和不同的卷积网络生成，通过神经网络权重调制和解调制算法注入到图像风格迁移解码器中，图像风格迁移解码器的输出为模拟正畸后的正面照片中的口腔内部区域。该模型输入的尺寸分别为，牙齿语义分割图(256,256,33)、口腔内部区域掩码(256,256,1)和正面微笑照片或口内扩口照片的口腔内部区域(256,256,3)。

基于上述正面照片正畸效果预览模型生成预览图像的路线具体包括：

步骤S61：构建正面照片正畸效果预览模型；

步骤S62：将自动化排牙算法模拟排齐的三维牙齿模型按照前述得到的相机参数进行投影，根据牙位信息对投影图进行编码，获得正畸后的牙齿语义分割图，具体地，根据每颗牙齿距离投影平面的相对位置关系考虑相互遮挡的情况。

步骤S63：将正面微笑照片的嘴部区域或正面口内扩口照片输入口腔内部区域分割模型，获得二值口腔内部区域掩码图，使用布尔运算根据该掩码提取对应的口腔内部区域彩色图片。

步骤S63：将得到的正畸后的牙齿语义分割图、口腔内部区域掩码以及对应的正畸前正面照片中对应的口腔内部区域输入正面照片正畸效果预览模型，输出模拟正畸后的正面照片中的口腔内部区域。

步骤S64：使用双三次插值算法将步骤S64：得到的模拟正畸后的正面照片中的口腔内部区域上采样，提升至原始图片的分辨率，并将其覆盖到原始正面照片中的对应位置，使用高斯滤波对图片拼接处的边界进行平滑处理，将处理后的图片作为正面照片正畸效果预览图，该预览图描述了模拟正畸治疗后用户的正面微笑照片中的牙齿排列情况。

上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。