一种基于人工智能的牙齿畸变检测预诊系统

技术领域

本发明涉及人工智能技术领域，具体涉及一种基于人工智能的牙齿畸变检测预诊系统。

背景技术

牙齿畸变是指上颌牙齿正中线与下颌牙齿正中线不对齐，下颌牙齿一侧向里倒造成的牙齿咬合不齐。牙齿畸变不仅影响牙齿外观，而且对于口腔功能的正常发挥、以及牙周组织健康及口腔卫生具有很大的影响。

在现有技术中对于牙齿畸变检测大多采用人为检测畸变程度或者采用机器视觉技术对比畸变治疗前后牙齿情况。对于牙齿的畸变程度检测并没有很好的检测系统。因为每个人的牙齿不同，畸变程度也不同，因此不能固定某种牙齿姿态作为标准牙齿姿态去判断牙齿畸变。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种基于人工智能的牙齿畸变检测预诊系统，所采用的技术方案具体如下：

本发明提出了一种基于人工智能的牙齿畸变检测预诊系统，所述系统包括：

图像获取模块，用于获取检测人员牙齿咬合状态时口腔的RGB图像和深度图像；

牙齿区域获取模块，用于根据所述RGB图像分割牙齿区域图像并对单个牙齿区域进行编号；

标准牙齿获取模块，用于构建每个上下对应编号的所述牙齿区域的特征矩阵，通过分析所述特征矩阵的相似度获取标准牙齿；

牙弓弯曲程度获取模块，用于处理所述深度图像获得三维点云；根据点云中牙根关键点及其周围多点拟合第一曲面，拟合多个所述牙根关键点得到第一曲线；所述第一曲面和第一曲线的曲率差值为第一曲率差值；以每个牙齿与所述标准牙齿的第一曲率差值的差值作为牙弓弯曲程度。

牙齿左右偏移量获取模块，用于获取每个牙齿到标准牙齿相应端部的实际距离，以及在所述第一曲线上距离相应端部最近的端部曲面点到标准牙齿相应端部的曲线距离，以所述实际距离和所述曲线距离的平均差值作为牙齿左右偏移量；所述端部包括牙尖关键点和牙根关键点；

牙齿前后偏移量获取模块，用于计算每颗牙齿的所述牙尖关键点和所述牙根关键点连线的斜率，以所述斜率和所述标准牙齿的斜率之差反映牙齿的前后偏移量；

牙齿畸变等级获取模块，用于分析所述牙弓弯曲程度、所述左右偏移量和所述前后偏移量得到牙齿畸变等级。

进一步地，所述牙齿畸变等级获取模块还包括分类器；所述分类器的输入为所述牙弓弯曲程度、所述左右偏移量和所述前后偏移量构成的特征向量，输出为所述牙齿畸变等级。

进一步地，所述牙齿区域获取模块包括嘴唇关键点获取模块和牙齿语义分割模块；

所述嘴唇关键点获取模块用于通过预先训练好的嘴唇关键点网络处理所述RGB图像，获得上嘴唇关键点和下嘴唇关键点；

所述牙齿语义分割模块用于在所述上嘴唇关键点和所述下嘴唇关键点间的距离达到预设距离阈值时通过预先训练好的语义分割网络处理所述RGB图像获得牙齿区域图像。

进一步地，所述标准牙齿获取模块还包括特征矩阵获取模块；

所述特征矩阵获取模块用于以所述牙齿区域的灰度平均值、灰度方差和区域面积作为所述特征矩阵。

进一步地，所述标准牙齿获取模块还包括相似度分析模块；

所述相似度分析模块用于利用所述特征矩阵间的夹角余弦分析所述相似度，当所述相似度达到预设标准相似阈值时，所述特征矩阵对应的编号牙齿为所述标准牙齿。

进一步地，所述标准牙齿获取模块还包括灰度检测模块；

所述灰度检测模块用于检测选取的所述标准牙齿的灰度值，若所述灰度值在设置的灰度区间内则认为所述标准牙齿选择正确。

进一步地，所述标准牙齿获取模块还包括标准牙齿筛选模块；

所述标准牙齿筛选模块用于若多个牙齿满足所述标准牙齿的条件，则选择中间区域满足条件的牙齿作为所述标准牙齿。

进一步地，所述牙弓弯曲程度获取模块还包括坐标拟合模块；

所述坐标拟合模块用于将选取的点坐标利用最小二乘法拟合得到二次曲面或曲线。

本发明具有如下有益效果：

1.本发明实施例根据深度图像中每颗牙齿的特征矩阵间的相关性选取标准牙齿。利用标准牙齿对作为基准计算其他牙齿相对于标准牙齿的偏移量。选取标准牙齿操作简单，针对不同人的牙齿可以灵活的选出合适的标准牙齿。

2.本发明实施例利用预先训练好的关键点检测网络检测上嘴唇和下嘴唇之间的距离，确保采集到的图像可以最大限度的展现待测人员牙齿区域，避免因为牙齿区域不完全造成误差。

3.本发明实施例通过牙齿弓形弯曲程度、左右偏移量和前后偏移量构建特征向量，利用SVM分类器对输入的特征向量进行分类，使得可以根据计算结果快速分析牙齿畸变程度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的一种基于人工智能的牙齿畸变检测预诊系统框图；

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于人工智能的牙齿畸变检测预诊系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种基于人工智能的牙齿畸变检测预诊系统的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种基于人工智能的牙齿畸变检测预诊系统框图，该系统包括：图像获取模块101、牙齿区域获取模块102、标准牙齿获取模块103、牙弓弯曲程度获取模块104、牙齿左右偏移量获取模块105、牙齿前后偏移量获取模块106和牙弓弯曲程度获取模块107。

图像获取模块101用于RGBD相机拍摄检测人员牙齿咬合状态时口腔图片，相机视角正视牙齿区域，视野可以覆盖牙齿的全部区域，利用人造光源主动布置主光，利用辅助光补充照明，获得RGB图像和深度图像。深度图像使用结构光深度相机获得。在拍摄深度图像时，深度相机光源设置为人眼不可见的伪随机散斑红外光点，每个伪随机散斑光点和它周围窗口内的点集在空间分布中的每个位置都是唯一且已知的。

牙齿区域获取模块102用于处理图像获取模块101采集的RGB图像，分割出牙齿区域图像并对单个牙齿区域进行编号。

优选的，牙齿区域获取模块102还包括嘴唇关键点获取模块和牙齿语义分割模块。

嘴唇关键点获取模块用于通过预先训练好的嘴唇关键点网络处理RGB图像，获得上嘴唇关键点和下嘴唇关键点。关键点网络具体包括：

1)将采集到的RGB图像作为关键点训练集图像，关键点训练集图像中应包括上嘴唇、下嘴唇和牙齿等图像信息。人为对关键点训练集图像打上标签获得标签数据集，利用高斯卷积核在选中的关键点位置进行高斯处理，得到高斯热斑，完成打标签过程。本发明实施例中选择的关键点为上嘴唇关键点和下嘴唇关键点两个关键点。

2)网络结构采用编码-解码结构，将关键点训练集图像和标签数据集输入进关键点编码器中进行下采样，利用卷积的方式完成特征提取得到特征图。关键点解码器对特征图进行上采样操作得到与输入图像等大的关键点热图。关键点热图中包含上嘴唇和下嘴唇的关键点信息。

3)处理关键点热图，利用Soft Argmax函数得到嘴唇关键点的坐标位置信息。

牙齿语义分割模块用于当上嘴唇关键点和下嘴唇关键点距离达到预设距离阈值时，通过预先训练好的语义分割网络处理所述RGB图像获得牙齿区域图像。

其中，d为上嘴唇关键点和下嘴唇关键点距离，(X

设置距离阈值T，若d>T，则认为选择的影像可以进行下一步检测。

语义分割网络具体包括：

1)制作标签数据，标签数据分为两类，一类为牙齿区域标注为1，另一类为其他标注为0。

2)采用交叉熵损失函数训练语义分割网络，语义分割网络输出为二值图的牙齿区域图像。

本发明实施例根据先验知识用28颗恒牙举例，上牙槽牙齿编号分别为1-14，下牙槽的牙齿编号分别为15-28。且按照(1,15)(2,16)…(14,28)等的编号上下对应。

标准牙齿获取模块103用于构建每个上下对应编号的牙齿区域的特征矩阵，通过分析特征矩阵相似度获取标准牙齿。特征矩阵包括牙齿区域的灰度平均值、灰度方差和区域面积。具体过程包括：

因为牙齿区域图像中的像素位置与原图的像素位置是对应的，所以根据深度图像计算二值图像中对应像素位置处的灰度值，根据灰度值计算每个牙齿区域的灰度值的平均值和方差，计算公式为：

其中，g

利用连通域分析计算每颗牙齿区域的面积，根据连通域大小表示每颗牙齿区域的面积S

标准牙齿获取模块103还包括相似度分析模块。相似度分析模块用于利用特征矩阵间的夹角余弦分析特征矩阵间的相似度。当相似度达到预设标准相似阈值时，特征矩阵对应的编号牙齿为标准牙齿。

标准牙齿获取模块103还包括灰度检测模块。灰度检测模块用于检测选取的标准牙齿的灰度值，当灰度值在设置的灰度区间内则认为所述标准牙齿选择正确。需要说明的，灰度区间根据相机距离牙齿的远近决定，当相机距离牙齿远时将灰度区间调小，当相机距离牙齿近时将灰度区间调大。因为相机视角关系，有的牙齿会因为视角变化或者牙齿遮挡在图像中区域变小，为了防止标准牙齿选择区域小的牙齿因此设置灰度区间。灰度区间还可以防止标准牙齿选择两个对应的牙齿都凸出的情况，避免误选情况发生。

标准牙齿获取模块103还包括标准牙齿筛选模块。标准牙齿筛选模块用于在多个牙齿满足标准牙齿的条件下，则选择中间区域满足条件的牙齿作为标准牙齿。

牙弓弯曲程度获取模块104处理深度图像获得三维信息，得到深度图像的三维点云及点云坐标。获得三维点云的计算公式为：

x

y

z

其中，(x

牙弓弯曲程度获取模块104在获得三维点云及点云坐标后，通过预先训练好的牙齿关键点提取网络提取牙齿的牙根关键点和牙尖关键点。以牙根关键点为中心在散乱的三维点云中中均匀的选取k个点，利用最小二乘法拟合二次曲面得到第一曲面。具体包括：

设拟合得到的第一曲面为z(x,y)＝ax

其中，(x

根据曲面方程可得牙根关键点处两个相互垂直的根基正交曲率k

牙弓弯曲程度获取模块104根据获得的牙根关键点通过最小二乘法拟合得到第一曲线，并获得第一曲线曲率。每个牙齿的牙根关键点距离第一曲面最近的曲面点上的第一曲面曲率与该牙根关键点对应的第一曲线曲率之差为第一曲率差值。以每个牙齿与标准牙齿的第一曲率差值的差值作为牙弓弯曲程度。

优选的，牙齿关键点提取网络采用编码-解码结构。牙齿关键点编码器对输入图像进行下采样，利用卷积方式完成特征提取得到特征图。牙齿关键点解码器对特征图不断进行上采样操作，得到与采集到的图像等大的牙齿关键点热图。牙齿关键点热图中包含牙根关键点和牙尖关键点。通过Soft Argmax函数可以得到关键点的位置信息。

牙齿左右偏移量获取模块105计算每个牙齿与标准牙齿相应端部的实际距离，该实际距离包括牙尖距离和牙根距离。具体包括：

其中，Δ

在第一曲面上，距离相应端部最近的曲面点为端部曲面点，端部曲面点具体包括：以牙尖关键点和牙根关键点与第一曲线上最近的曲面点作为牙尖曲面点和牙根曲面点。牙齿左右偏移量获取模块105计算端部曲面点到标准牙齿相应端部的曲面距离，即牙根曲面点到标准牙齿的牙根距离作为第二牙根距离。牙尖曲面点到标准牙齿的牙尖距离作为第二牙尖距离。具体包括：

其中，

以实际距离和曲面距离的平均差值作为牙齿左右偏移量，具体包括：

以第一牙根距离和第二牙根距离的差值和第一牙尖距离和第二牙尖距离的差值的平均值作为牙齿左右偏移量

牙齿前后偏移量获取模块106用于计算每颗牙齿的牙尖关键点和牙根关键点连线的斜率，以每颗牙齿的斜率和标准牙齿的斜率之差反映牙齿的前后偏移量。具体包括：

利用两点法计算牙尖关键点和牙根关键点连线的斜率：

其中，k

设上牙槽标准牙齿的斜率为k

d

当d

当待测牙齿为下牙槽时采取同样判定规则。

牙齿畸变等级获取模块用于分析牙弓弯曲程度、左右偏移量和前后偏移量输出牙齿畸变等级。

优选的，本发明实施例采用SVM分类器对牙齿畸变程度进行分类，输入为根据牙弓弯曲程度、左右偏移量和前后偏移量构建的特征向量，根据输入的特征向量对牙齿畸变程度分为四类，分别为轻度患者、重度患者、中重度患者和重度患者。

综上所述，本发明实施例通过基于牙齿图像中每个牙齿区域构建特征矩阵，计算特征矩阵间的相似度选取标准牙齿。利用标准牙齿作为基准通过三维点云的拟合计算每个牙齿与标准牙齿的差异，从而获得牙弓弯曲程度、牙齿左右偏移量和牙齿前后偏移量。最后根据分类器对获得的牙弓弯曲程度、牙齿左右偏移量和牙齿前后偏移量进行分析，获得牙齿畸变等级。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。