一种基于AI的舌诊图像多标签分类方法

技术领域

本发明属于图像处理技术领域，更具体地，涉及一种基于AI的舌诊图像多标签分类方法。

背景技术

舌诊是中医辨证的核心之一，通过观察人体的舌质、舌苔，医生可以了解人体脏腑的虚实，病性的寒热、病位的深浅。传统的中医医生辨识舌象依赖于肉眼观察，容易受到主观经验和客观环境（比如，光照、温度等）的影响。因此将舌象诊断进行客观化、标准化是当下的研究方向。通过现代数字技术将不同类别的舌质、舌苔的颜色通道进行量化，确定舌象的分类标准，不仅有助于开发新的舌象诊断仪帮助医生进行辅助诊断，更能为医生辨别舌象提供客观的诊断标准。

传统的舌诊客观化研究主要依赖于传统图像处理技术，然而传统图像处理技术容易受到光照，阴影等外部环境的影响，很难应用于复杂的日常环境。为了解决这个问题，我们采用深度学习技术来研究舌诊客观化，它是当今比较先进和实用的图像处理技术，通过训练，深度神经网络（深度学习）可以学习如何从舌像中分割出舌体，减少牙齿、脸颊等外部环境对后续处理的影响，也能学习如何分辨舌质与舌苔以辅助医生进行舌象诊断。深度学习技术具有较强的泛化能力和学习优化能力，因此能较好地应对复杂的日常环境。

进行舌诊客观化首先需要通过数字成像设备（比如：单反照相机，舌像采集仪等）从受试者采集舌像（舌象图像），在采集图像时通常使用照明设备（比如：LED，荧光光源等）代替日光进行照明以减少光照的影响。然后使用图像处理软件对舌像进行预处理、校正、除杂，以便后续的舌像识别研究。最后应用软件对舌像进行分析、诊断，将舌诊客观化标准化。

发明内容

为了解决上述技术问题，本发明提出了一种基于AI的舌诊图像多标签分类方法，包括如下步骤：

S1、将舌诊图像进行色彩通道投影，提取整个舌诊图像的双峰属性；

S2、根据双峰属性将舌诊图像分为多个舌象特征图，建立AI特征预测模型，输入多个舌象特征图对舌诊图像进行特征预测；

S3、根据舌诊图像的特征预测结果，对每一个舌诊图像进行标签分类。

进一步地，步骤S1包括如下步骤：

S11、确定动态阈值及投影的最佳色彩通道；

S12、将舌诊图像投影到最佳色彩通道上,提取整个舌诊图像的双峰属性。

进一步地，步骤S11包括：将舌诊图像投影到n个色彩通道,计算每个色彩通道的直方图；

对每个直方图查找最大峰值点P

在最大峰值点P

标记两峰间的最低点为峰谷点P

计算通道评价值V：

；

式中，S

比较n个色彩通道的V值，取最大V值对应的色彩通道为最佳投影通道，所述最佳投影通道的V值为动态确定的最终阈值。

进一步地，步骤S12中包括：将舌诊图像投影到最佳投影通道上，计算点集H

；

；

其中，T

计算两峰值点P

；

；

式中，（x

提取整个舌诊图像的双峰属性D：

。

进一步地，步骤S2包括：

S21、输入舌象特征图,指定颜色中心，计算不同像素颜色与颜色中心的相似度；

S22、对不同的相似度中舌诊图像分布范围进行压缩，分别得到R色温特征、 G色温特征和B色温特征；

S23、计算舌诊图像像素点的一阶特征矩、二阶特征矩和三阶特征矩，构成颜色矩特征矩阵；

S24、使用颜色矩特征矩阵作为数据集X，重复抽取样本m次,生成m份训练样本,得到训练集X=[X

S25、在X

S26、重复步骤S25,完成随机森林的训练，分别使用随机森林中的m棵决策树对样本进行预测,得到对应的特征向量。

进一步地，步骤S3中，对于一个给定的特征,计算所述给定的特征的舌诊图像占所有特征的舌诊图像的比例,查找特征比例最大的舌诊图像所属特征,进行分类标定。

相比于现有技术，本发明具有如下有益技术效果：

将舌诊图像进行色彩通道投影，提取整个舌诊图像的双峰属性；根据双峰属性将舌诊图像分为多个舌象特征图，建立AI特征预测模型，输入多个舌象特征图对舌诊图像进行特征预测；根据舌诊图像的特征预测结果，对每一个舌诊图像进行标签分类，提高了分类的准确性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的基于AI的舌诊图像多标签分类方法的流程图。

图2为本发明的将舌诊图像分为多个舌象特征图的示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本发明的具体实施例附图中，为了更好、更清楚的描述系统中的各元件的工作原理，表现所述装置中各部分的连接关系，只是明显区分了各元件之间的相对位置关系，并不能构成对元件或结构内的信号传输方向、连接顺序及各部分结构大小、尺寸、形状的限定。

如图1所示，为本发明的一种基于AI的舌诊图像多标签分类方法的流程图，该舌诊图像多标签分类方法包括如下步骤：

S1，将舌诊图像进行色彩通道投影，提取整个舌诊图像的双峰属性。

在色彩通道上动态确定阈值，精确度将随投影的色彩通道数的增加而提高，包括如下步骤：

S11,确定投影的最佳色彩通道和动态阈值。

投影的最佳色彩通道的选取直接影响到直方图的双峰特性的显著程度进而影响到动态阈值的选取，动态阈值的确定则决定了整个方法的准确度。根据双峰距离以及双峰覆盖面积来度量该投影通道适合与否，具体实现步骤如下:

①将舌诊图像投影到n个色彩通道,计算每个色彩通道的直方图。

具体实现采用H、S、V、R、G、B六个色彩通道,每幅直方图都采用256个色阶。

②对每个直方图查找最大峰值点P

③在P

④标记两峰间的最低点为峰谷点P

⑤计算该通道评价值V：

；

式中，S

⑥比较n个色彩通道的V值，取最大V值对应的色彩通道为最佳投影通道，所述最佳投影通道的T值为动态确定的最终阈值。

S12,将舌诊图像投影到最佳通道上,利用动态阈值进行二值化，提取整个舌象的区域的双峰属性。

将舌诊图像投影到最佳通道C上,利用动态阈值T进行二值化，通过计算两峰下覆盖的点集的平均空间位置可以确定舌苔和舌质对应的峰值，具体算法实现步骤如下：

①将舌诊图像投影到最佳投影通道C。

②计算点集H

；

；

其中，T

③计算两峰值点P

；

；

式中，（x

⑤提取整个舌诊图像的双峰属性D：

。

S2、根据双峰属性D将舌诊图像分为多个舌象特征图，建立AI特征预测模型，输入多个舌象特征图对舌诊图像进行特征预测。

建立AI特征预测模型；通过参数配置和设置评测指标建立初始模型；训练模型，基于PSI评测指标值是否满足预设指标条件；如满足指标条件，则生成模型集合；如不满足指标条件，则重新创建初始模型并继续训练模型；

如图2所示，根据双峰属性将舌诊图像分为多个舌象特征图。

S21、输入舌象特征图,指定颜色中心，计算不同像素颜色与颜色中心的相似度。

按从左到右,从上到下的顺序一次进行遍历,分别计算舌象特征图中每一个像素点与给定的颜色中心的相似度,取相似度最大的颜色中心作为颜色标签。

使用欧几里德距离来计算不同像素颜色的相似度S：

；

其中,L′、a′、b′分别为图像中像素点的颜色空间分量值,L、a、b分别为颜色中心的颜色空间分量值。

S22、对不同的相似度中舌诊图像分布范围进行压缩，分别得到R色温特征、 G色温特征和B色温特征。

颜色是舌质的一种整体表现形式,与舌诊图像的每一个像素点颜色密切相关,即与像素点的相似度相关。

通过对舌诊图像相似度样本进行统计, 在R色温中,舌质颜色主要分布在[20,170],在G色温中,舌质颜色主要分布在[0,110],在B色温中,舌质颜色主要分布在[10,130]。

在仅考虑舌质颜色主要分布范围时,3个色温特征仍然有众多个色度特征,本实施例以10个单位为基准对不同的色温特征中色度分布范围进行压缩,分别得到R色温特征的R

S23、计算舌诊图像像素点在颜色空间的不同阶特征矩：一阶特征矩、二阶特征矩和三阶特征矩。

特征矩为颜色特征表示方法,具有特征维度低,不需要对颜色空间进行量化的有点。同时,颜色信息主要集中分布在低阶矩中,因此,选择使用一阶特征矩、二阶特征矩和三阶特征矩来对舌质颜色进行描述。

其中一阶特征矩

(1)；

(2)；

(3)；

其中，A表示图像的像总数，即图像的面积，p

选择使用一阶特征矩、二阶特征矩和三阶特征矩来构成颜色矩特征矩阵F为：

；

S24、建立AI特征预测模型，进行特征预测。

构建AI特征预测模型，利用设定特征向量和数据参数对AI特征预测模型进行训练。

使用颜色矩特征矩阵F作为数据集X,把数据集X分为两部分：训练集 X

在X

重复上述步骤,完成随机森林的训练，分别使用随机森林中的m棵决策树对样本进行预测,得到对应的特征向量。

S3、根据舌诊图像的特征预测结果，对每一个舌诊图像进行标签分类。

首先计算每个特征的舌诊图像占所有特征的舌诊图像的比例,查找个特征的比例最大的舌诊图像。该特征的比例Ra为：

；k=1,2,…，M，q=1,2,…,C；

该公式中Y

对于一个给定的特征,可计算每一个舌诊图像对应于该特征的比例,然后从中选择一个特征的比例最大的舌诊图像对应的特征,进行分类标定。

优选地，以矩阵形式构建查找表,将所有舌诊图像进行分类。

当获得了所有可能的舌诊图像的标签后,一个有监督的分类器被用来对所有舌诊图像进行分类。查找表可视为一个常用的最简单同时也是速度最快的有监督分类器。在这个像素分类的过程中,最终的分类决策仅仅与舌诊图像类别的标签相关。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如，固态硬盘(solid state disk))等。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。