一种联合学习的牙周病图像分类方法及设备

技术领域

本发明涉及医学图像分类技术领域，具体涉及一种联合学习的牙周病图像分类方法及设备。

背景技术

牙周病是指发生在牙支持组织（牙周组织）的疾病，包括牙龈组织的牙龈病和波及深层牙周组织的牙周炎两大类。重度牙周炎已经成为世界上第六大慢性非传染性流行疾病。

传统的牙周病诊断需通常由牙周专科医生完成。在临床医学领域，正在开发大量的AI 模型，用于疾病风险的自动预测及疾病的诊断和预后的评估，因此将人工智能技术应用在牙周病图像分类中是一件非常有意义的事情。

现如今，对于牙周病图像检测，大多数研究仍集中于数据处理、牙周病预测和使用服务器上的分布式学习模型进行诊断。有学者基于联合学习框架并结合卷积神经网络（CNN），使用CNN的联邦预测模型，该模型基于对牙周病的一般建模和仿真条件的改进，牙周病分类数据的准确性可以达到90%以上，其准确性优于树模型单模型机、线性模型和神经网络。然而，这项研究仅结合卷积神经网络得出预测结果，因此预测结果较为单一准确率难以达到需求，并且没有解决数据不平衡和数据预处理的问题；同时，现有技术中，在对不平衡数据进行平衡操作时，没有对不平衡数据类型区分，导致正常类型的数据集也会被平衡扩充，导致数据集中正常类型的数据集过多，模型训练效果不好。

发明内容

本发明的目的在于提供一种联合学习的牙周病图像分类方法及设备，以解决现有技术中的仅结合卷积神经网络得出预测结果较为单一，以及数据平衡操作过程中没有对不平衡数据类型进行区分的问题。

为解决上述技术问题，本发明具体提供下述技术方案：

一种联合学习的牙周病图像分类方法，包括如下步骤：

S1：对牙周病图像进行预处理，得到最终数据集；

其中，获取所述最终数据集的具体步骤为：

S11：对牙周病图像感兴趣区域进行提取，得到第一数据集，并对所述第一数据集进行标记；

S12：从现有的正常牙齿图像数据集中选取图像，并使用掩模提取所述选取图像的感兴趣区域，作为第二数据集；

S13：将所述S11中的第一数据集和所述S12中的第二数据集进行收集、分类和重新排列，用以提取出所述第一数据集中的不平衡数据；

S14：使用SMOTE方法对所述不平衡数据进行数据平衡，得到第三数据集，将所述第三数据集和所述第二数据集合成作为最终数据集；

S2：构建联合学习模型，所述联合学习模型由生成对抗网络与人工神经网络和卷积神经网络通过加权平均获得；

S3：使用所述最终数据集对所述联合学习模型进行训练，得到牙周病图像的最终分类模型；

S4：将待预测图像输入至所述最终分类模型，得到模型输出的牙周病分类结果，用以确定牙齿是否存在牙周病，若存在牙周病，则输出其严重程度。

作为本发明的一种优选方案，在所述S11中，对所述第一数据集进行标记的方式为：

将所述第一数据集中的每条数据进行标注，其中，标注0表示牙齿正常，标注1表示良性牙周病，标注2表示恶性牙周病。

作为本发明的一种优选方案，在所述S12中，使用掩模提取所述选取图像的感兴趣区域是通过如下方式实现：

若感兴趣区域为598×598像素的初始大小，则直接提取；

若感兴趣区域小于598×598像素，则将感兴趣区域放大到598×598像素；

若感兴趣区域大于598×598像素，则将感兴趣区域缩小为598×598像素。

作为本发明的一种优选方案，在所述S14中，使用SMOTE方法对所述不平衡数据进行数据平衡的具体步骤为：

S141：对于任一个不平衡数据x

S142：从所述K个最近邻居中随机选择一个不平衡数据x

S143：根据所述相似性

S144：重复所述S141-S143，生成指定数量的合成样本作为第三数据集。

作为本发明的一种优选方法，在所述S2中，所述生成对抗网络、所述卷积神经网络和所述人工神经网络加权平均获得所述联合学习模型的具体公式为：

其中，

作为本发明的一种优选方案，在所述S3中，使用所述最终数据集对所述联合学习模型进行训练的具体步骤如下：

将所述最终数据集输入至所述联合学习模型中训练学习，并调节所述联合学习模型的权重

一种联合学习的牙周病图像分类设备，使用如上述的联合学习的牙周病图像分类方法，包括如下模块：

预处理模块：用于接收牙周病图像并进行预处理，得到数据集；

模型获取模块：与所述预处理模块连接，用于构建联合学习模型，所述联合学习模型由生成对抗网络与人工神经网络和卷积神经网络通过加权平均获得；

服务器端：与所述模型获取模块连接，用于运行联合学习模型；还与所述预处理模块连接，用于接收数据集，并根据所述数据集对所述联合学习模型进行训练，得到最终分类模型。

本发明与现有技术相比较具有如下有益效果：

（1）本发明将生成对抗网络与人工神经网络和卷积神经网络融合形成联合学习模型，并通过现有数据集中的牙周病图像与实时采集的牙周病图像进行预处理，得到最终数据集，通过最终数据集更新联合学习模型的权重得到最终的分类模型，由最终的分类模型对实时的牙周病图像进行分类；同时，本发明的联合学习模型得出的预测结果会具备三种神经网络的特性，相对单一神经网络得出的预测结果准确率更高。

（2）本发明先对实时牙周病图像数据集进行分析，用以提取出所述牙周病图像数据集中少数类别的不平衡数据，并使用SMOTE方法对少数类别的不平衡数据进行数据平衡，相较于现有技术中对疾病图像和正常图像统一进行平衡操作，使得各种类型的牙周病图像都具有一定数量的数据集，正常牙齿图像不会被扩充，从而使得模型可以充分学习各种类型的牙周病图像的特征，进而能更好的分类牙周病图像。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

图1为本发明实施例一的方法流程示意图；

图2为本发明实施例二的设备结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面首先结合附图对本申请所涉及的概念进行说明。在此需要指出的是，以下对各个概念的说明，仅为了使本申请的内容更加容易理解，并不表示对本申请保护范围的限定；同时，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

实施例一

如图1所示，本发明提供了一种联合学习的牙周病图像分类方法，包括如下步骤：

S1：获取用于联合学习模型训练的最终数据集。

其中，获取所述最终数据集的具体步骤包括：

S11：对牙周病图像感兴趣区域进行提取，得到第一数据集，并对所述第一数据集进行标记。

具体地，所述牙周病图像为X片图像；

在所述S11中，对所述第一数据集进行标记的方式为：

将所述第一数据集中的每条数据进行标注，其中，标注0表示牙齿正常，标注1表示良性牙周病，标注2表示恶性牙周病。

S12：从现有的牙齿图像数据集中选取图像，并使用掩模提取所述选取图像的感兴趣区域，作为第二数据集；

具体地，现有的牙齿数据集为Bitewing Radiology数据集。

在所述S12中，使用掩模提取所述选取图像的感兴趣区域是通过如下方式实现：

若感兴趣区域为598×598像素的初始大小，则直接提取；

若感兴趣区域小于598×598像素，则将感兴趣区域放大到598×598像素；

若感兴趣区域大于598×598像素，则将感兴趣区域缩小为598×598像素。

示例性地，为了增加数据样本，使用数据集数据增强，包括图像中ROI（感兴趣区域）的随机定位、随机水平翻转、随机垂直翻转和随机旋转。通过对牙齿图像进行了审查和更改，以去除诸如白色边界和覆盖文本之类的伪元素，但是，牙齿图像中仍存在许多可变大小的轮廓和白色阵列，导致患者的个人信息被来掩盖。为了去除轮廓，对牙齿图像每侧裁剪7%。由于提取的ROI与其大小成比例，而不是以固定的缩放比例，因此牙齿图像按1.8到3.2之间的随机因子缩小，然后分割为598×598像素。

S13：将所述S11中的第一数据集和所述S12中的第二数据集进行收集、分类和重新排列，用以提取出所述第一数据集中的不平衡数据。

具体地，不平衡数据指第一数据集中图像类别的数据远远少于其他图像类别的数据，即不平衡数据为少数类数据。

示例性地，在第一数据集中，指示牙周病中的牙龈炎的X光图像少，此时，采用第一数据集训练分类模型，可能会导致牙龈炎图像的特征不能被分类模型充分学习提取，进而使牙龈炎导致的牙周病的图像分类准确度不高，因此，需要对数据集中的不平衡类数据查找出来。

S14：使用SMOTE方法对所述不平衡数据进行数据平衡，得到第三数据集，将所述第三数据集和所述第二数据集合成作为最终数据集。

具体地，在数据集中正常的数据为多数类别，而不平衡数据在数据集中属于少数类别。

在所述S14中，使用SMOTE方法对所述不平衡数据进行数据平衡的具体步骤为：

S141：对于任一个不平衡数据x

S142：从所述K个最近邻居中随机选择一个不平衡数据x

S143：根据所述相似性

S144：重复所述S141-S143，生成指定数量的合成样本作为第三数据集。

现有技术在对不平衡数据进行数据平衡时，一般不会对不平衡数据的类型区分，即进行数据平衡操作，这会导致无牙周病的正常牙齿X光图像中的不平衡数据会大量的被扩充，进而使得对模型训练贡献较小的正常数据所占比重更大，导致模型训练过程中，牙周病的图像特征学习的比重降低，使得模型训练的准确度降低；

所以，本实施例，首先，对数据集进行分类，将牙周病图像作为第一数据集，将正常牙齿图像作为第二数据集，仅对第一数据集进行数据平衡操作，使得各种类型的牙周病图像都具有一定数量的数据集，正常牙齿图像不会被扩充，从而使得模型可以充分学习各种类型的牙周病图像的特征，进而能更好的分类牙周病图像。

S2：构建联合学习模型，所述联合学习模型由生成对抗网络与人工神经网络和卷积神经网络通过加权平均获得。

在所述S2中，所述生成对抗网络、所述卷积神经网络和所述人工神经网络加权平均获得所述联合学习模型的具体公式为：

其中，

示例性地，假设生成对抗网络、人工神经网络和卷积神经网络的权重排名是1、2、3，那么融合获得的联合学习模型中，对生成对抗网络、人工神经网络和卷积神经网络这三个模型赋予的权值分别是

S3：使用所述最终数据集对所述联合学习模型进行训练，得到牙周病图像的最终分类模型。

具体地，在所述S3中，使用最终数据集对所述联合学习模型进行训练的具体步骤如下：

将所述最终数据集输入至所述联合学习模型中训练学习，并调节所述联合学习模型的权重

S4：将待预测图像输入至所述最终分类模型，得到模型输出的牙周病分类结果，用以确定牙齿是否存在牙周病，若存在牙周病，则输出其严重程度。

具体地，最终分类模型输出的结果为0或1或2，对应步骤S11中表示是否存在牙周病，以及牙周病的严重程度。

本发明将生成对抗网络与人工神经网络和卷积神经网络融合形成联合学习模型，并通过现有数据集中的牙周病图像与实时采集的牙周病图像进行预处理，得到最终数据集，通过最终数据集更新联合学习模型的权重得到最终的分类模型，由最终的分类模型对实时的牙周病图像进行分类。

同时，本发明的联合学习模型得出的预测结果会具备三种神经网络的特性，相对单一神经网络得出的预测结果准确率更高。

本发明在得出最终数据集的过程中，先对实时牙周病图像数据集进行分析，用以提取出所述第一数据集中少数类别的不平衡数据，并使用SMOTE过采样法对少数类别的不平衡数据进行数据平衡，相较于现有技术中对疾病图像和正常图像统一进行平衡操作，使得各种类型的牙周病图像都具有一定数量的数据集，正常牙齿图像不会被扩充，从而使得模型可以充分学习各种类型的牙周病图像的特征，进而能更好的分类牙周病图像。

实施例二

如图2所示，一种联合学习的牙周病图像分类设备，使用如上述的联合学习的牙周病图像分类方法，包括如下模块：

预处理模块：用于接收牙周病图像并进行预处理，得到数据集；

模型获取模块：与所述预处理模块连接，用于构建联合学习模型，所述联合学习模型由生成对抗网络与人工神经网络和卷积神经网络通过加权平均获得；

服务器端：与所述模型获取模块连接，用于运行联合学习模型；还与所述预处理模块连接，用于接收数据集，并根据所述数据集对所述联合学习模型进行训练，得到最终分类模型。

实施例三

本实施例包括一种计算机可读存储介质，所述计算机可读存储介质上存储有数据处理程序，所述数据处理程序被处理器执行实施例一的一种联合学习的牙周病图像分类方法。

本领域技术人员应明白，本文的实施例可提供为方法、装置（设备）、或计算机程序产品。因此，本文可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘（DVD）或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或可以用于存储期望的信息并且可以被计算机访问的任何其他的介质等。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

本文是参照根据本文实施例的方法、装置（设备）和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

需要说明的是，本申请所用术语仅为了描述特定实施例，而非限制本申请范围。如本申请说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。术语“包括”、“包含”或其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法或设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或是还包括为这种过程、方法或设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法或设备中还存在另外的相同要素。

还需说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”等应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

以上所述的实施例及/或实施方式，仅是用以说明实现本发明技术的较佳实施例及/或实施方式，并非对本发明技术的实施方式作任何形式上的限制，任何本领域技术人员，在不脱离本发明内容所公开的技术手段的范围，当可作些许的更动或修改为其它等效的实施例，但仍应视为与本发明实质相同的技术或实施例。

本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。以上所述仅是本申请的优选实施方式，应当指出，由于文字表达的有限性，而客观上存在无限的具体结构，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以作出若干改进、润饰或变化，也可以将上述技术特征以适当的方式进行组合；这些改进润饰、变化或组合，或未经改进将发明的构思和技术方案直接应用于其他场合的，均应视为本申请的保护范围。