一种二维图像牙菌斑自动分割方法及系统

技术领域

本发明涉及计算机视觉和图像处理技术领域，更具体的说是涉及一种二维图像牙菌斑自动分割方法及系统。

背景技术

目前，牙菌斑是牙周病和龋病共同的主要致病因素。牙周病和龋病被称为菌斑病，牙菌斑广泛存在于牙齿表面，是未矿化的细菌性沉积物，牢固的粘附于牙面和修复体表面，由粘性基质和嵌入其中的细菌构成。随着牙菌斑在牙齿表面的不断累积，细菌及其代谢产物会对牙齿的各种成分造成影响，引起牙齿脱钙甚至造成龋齿。

传统方法检测牙菌斑，是通过医生的临床检查和探诊来鉴别病损组织的界限，但此方法非常依赖医生的经验，不同医生有着不同的主观评价标准，即使是同一个医生的诊断受不同环境和器械的影响也会有差异，国外现有的龋齿和牙菌斑检测设备，利用牙齿的荧光效应，采用定量光导荧光技术(quantitative light-induced fluorescence，QLF)，使用特殊摄像头接收反射的荧光图像，通过重建健康釉质的荧光获得荧光损失，计算实际表面和重建表面之间的百分比差异来确定荧光的减少，荧光降低超过5％的任何区域被视为病变，现有的龋齿和牙菌斑检测设备不仅昂贵，而且没有智能的诊断输出，只能作为辅助设备，要做出有效的诊断还需要人工干预。

因此，如何提供一种智能化的牙菌斑自动分割方法能够自动的划分出牙齿以及牙菌斑的区域是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种二维图像牙菌斑自动分割方法及系统，能够自动的划分出牙齿以及牙菌斑的区域，识别精度高，并且解决了模型收敛性差、边缘细节分割效果差的问题。

为了实现上述目的，本发明采用如下技术方案：一种二维图像牙菌斑自动分割方法，包括：

获取牙齿的二维图像信息；

根据二维图像的上下文信息进行编码；

将编码后的图像信息引入自注意力机制，获得自注意力图；

同时将编码后的图像信息提取图像特征并且对相似的特征进行聚类，获得数据的聚类特征图；

将所述自注意力图和所述聚类特征图相结合，获得最终的编码数据；

将所述编码数据输入到线性解码网络中，经所述线性解码网络处理后得到二维图像的分割掩码信息。

具体的，通过将所述二维图像的上下文信息输入到编码器中，所述编码器将三通道的图像信息编码成特定的数据。

其中，所述三通道为RGB图像信息，将原始二维图像的RGB图像信息使用卷积将其深度加深至32，并且大小减小至128*128进行编码。

具体的，所述获得自注意力图具体步骤如下：

将编码后的图像信息引入自注意力机制所构成的多头自注意力层；所述多头自注意力层的构建函数如下：

其中Q，K，V由输入的图像编码经过线性变换得到，d

其中，Q表示查询向量，K表示建向量，V表示值向量，Q，K，V都是根据二维图像的上下文信息通过线性变换得到的，可以作为数据的代表。

具体的，所述获得数据的聚类特征图具体步骤如下：

将编码后的图像信息输入卷积网络以及Kmeans所组成的聚类网络，用于提取图像特征并且对相似的特征进行聚类；

所述聚类网络的构建函数为：

其中c

具体的，所述自注意力图和所述聚类特征图相结合的构建函数为：

Output(A,C)＝Attention(A)+Cluster(C)；

其中，A表示被操作的注意力图，C表示被操作的聚类图，Output表示编码器最终输出的特征。此步骤将自注意力图与聚类特征图相结合，获得混合特征图。

具体的，所述线性解码网络由卷积层、线性层以及多层感知机构成；所述线性解码网络构建函数为：

其中，C表示数据的维度，Linear(C

其中，所述分割类别包括三类：背景、牙齿和牙菌斑；经过上述步骤，可以将编码器生成的特征图转化为最终的背景、牙齿、牙菌斑分割掩码。

具体的，所述线性解码器将合并大小尺度的特征信息，以做到全局的视野感知。

一种二维图像牙菌斑自动分割系统，包括：

图像获取模块，用于获取牙齿的二维图像；

编码器模块，用于获取所述二维图像的上下文信息，将从所述上下文信息中获得的自注意力图与聚类特征图组合，生成最终的编码数据；

解码器模块，用于将所述编码数据进行解码，最终获得所述二维图像的分割掩码信息；

生成模块，用于根据所述分割掩码信息生成具有图片语义信息的二维分割图像；

其中，所述编码器模块包括注意力模块和聚类模块；

所述注意力模块用于根据所述二维图像的上下文信息获取自注意力图；

所述聚类模块用于根据所述二维图像的上下文信息获取聚类特征图。

经由上述的技术方案可知，与现有技术相比，本发明提供了一种二维图像牙菌斑自动分割方法及系统，通过将输入图像的上下文信息进行编码并且送入由自注意力机制以及Kmeans聚类所组成的编码器模块。将编码后的图像上下文信息输入编码器模块之后会获得自注意力图以及聚类特征图，并将两者结合获得编码后的数据，编码器编码后的数据将会被送至由多层感知机构所组成的解码器中，解码器将编码后的数据通过卷积层以及全连接层之后，输出最终的分割掩码。将图像输入到网络中进行训练，直至训练收敛，最终得到完整的模型。本发明能够自动的划分出牙齿以及牙菌斑的区域，识别精度高，并且解决了模型收敛性差、边缘细节分割效果差的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明的方法流程示意图；

图2为本发明的实施例牙菌斑分割结果展示；

图3为本发明的系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种二维图像牙菌斑自动分割方法，如图1所示，包括：

获取牙齿的二维图像信息；

根据二维图像的上下文信息进行编码；

将编码后的图像信息引入自注意力机制，获得自注意力图；

同时将编码后的图像信息提取图像特征并且对相似的特征进行聚类，获得数据的聚类特征图；

将所述自注意力图和所述聚类特征图相结合，获得最终的编码数据；

将所述编码数据输入到线性解码网络中，经所述线性解码网络处理后得到二维图像的分割掩码信息。

具体的，通过将所述二维图像的上下文信息输入到编码器中，所述编码器将三通道的图像信息编码成特定的数据。

其中，所述三通道为RGB图像信息，将原始二维图像的RGB图像信息使用卷积将其深度加深至32，并且大小减小至128*128进行编码。

具体的，所述获得自注意力图具体步骤如下：

将编码后的图像信息引入自注意力机制所构成的多头自注意力层；所述多头自注意力层的构建函数如下：

其中Q，K，V由输入的图像编码经过线性变换得到，d

其中，Q表示查询向量，K表示建向量，V表示值向量，Q，K，V都是二维图像的上下文信息通过线性变换得到的，可以作为数据的代表。

具体的，所述聚类模块是由卷积网络以及Kmeans所组成的聚类网络，用于提取图像特征并且对相似的特征进行聚类；所述聚类网络的构建函数为：

其中c

具体的，所述自注意力图和所述聚类特征图相结合的构建函数为：

Output(A,C)＝Attention(A)+Cluster(C)；

其中，A表示被操作的注意力图，C表示被操作的聚类图，Output表示编码器最终输出的特征。将自注意力图与聚类特征图相结合，获得混合特征图。

具体的，所述线性解码网络由卷积层、线性层以及多层感知机构成；所述线性解码网络构建函数为：

其中，C表示数据的维度，Linear(C

其中，N

具体的，所述线性解码器将合并大小尺度的特征信息，以做到全局的视野感知。

为了以定量的方式将本发明所述的方法与其他高性能语义分割方法进行比较，我们展示了现有技术中最先进方法的性能：Segformer和SegNeXt，数据和结果见表1。

表1.二维图像牙菌斑自动分割的比较结果

由上表可知，本发明所述的一种二维图像牙菌斑自动分割方法中，对牙齿和牙菌斑的分割结果都高于现有技术中的分割方法，比如：Segformer和SegNeXt。

一种二维图像牙菌斑自动分割系统，如图3所示，包括：

图像获取模块，用于获取牙齿的二维图像；

编码器模块，用于获取所述二维图像的上下文信息，将从所述上下文信息中获得的自注意力图与聚类特征图组合，生成最终的编码数据；

解码器模块，用于将所述编码数据进行解码，最终获得所述二维图像的分割掩码信息；

生成模块，用于根据所述分割掩码信息生成具有图片语义信息的二维分割图像；

其中，所述编码器模块包括注意力模块和聚类模块；

所述注意力模块用于根据所述二维图像的上下文信息获取自注意力图；

所述聚类模块用于根据所述二维图像的上下文信息获取聚类特征图。

在本发明的一个实施例中，如图2所示，为本发明实施例中选取的6种不同拍摄角度和不同部位的牙齿图像；其中，第一横排为获取的原始牙齿二维图像信息，第二横排为基准信息，即真实的牙菌斑标记图像；第三横排为将原始牙齿图像采用现有技术中的SegFormer语义分割法检测到的牙菌斑标记信息，第四横排为采用本发明所述的一种二维图像牙菌斑自动分割方法检测到的牙菌斑信息；本发明实施例中，通过仅输入的牙齿图像，自动的划分出牙齿以及菌斑的区域，计算机程序被处理器执行时首先准备使用数码相机设备采集的牙菌斑照片，之后将原始的RGB牙菌斑图像输入到本程序之中、本程序将会自动执行，最终输出牙齿以及牙菌斑的分割结果，其中紫色为背景、绿色为牙齿、黄色为牙菌斑，箭头所指为牙菌斑所在区域。通过对比可以发现，相对于现有技术，本发明所述的二维图像牙菌斑自动分割方法可以更精确的检测到牙菌斑的分布范围，不会出现检测到的牙菌斑位置遗漏(语义分割法)的情况；能够更高效的为患者服务。

本发明提供了一种二维图像牙菌斑自动分割方法及系统，通过将输入图像的上下文信息进行编码并且送入由自注意力机制以及Kmeans聚类所组成的编码器模块。将编码后的图像上下文信息输入编码器模块之后会获得自注意力图以及聚类特征图，并将两者结合获得编码后的数据，编码器编码后的数据将会被送至由多层感知机构所组成的解码器中，解码器将编码后的数据通过卷积层以及全连接层之后，输出最终的分割掩码。将图像输入到网络中进行训练，直至训练收敛，最终得到完整的模型。本发明能够自动的划分出牙齿以及牙菌斑的区域，识别精度高，并且解决了模型收敛性差、边缘细节分割效果差的问题。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。