多维度口腔图像筛查方法

技术领域

本发明涉及口腔图像筛查领域，尤其是一种多维度口腔图像筛查方法。

背景技术

口腔细胞癌症是一种常见的恶性肿瘤，早期发现和治疗对于患者的生存率和生活质量有着重要的影响。图像筛查是一种快速、无创的检测方法，可以用于辅助医生诊断口腔癌。中国专利文献CN 111563887 A记载了基于视觉的口腔图像的智能分析方法与装置，但是该方案主要是基于常规视觉图像进行分析。而未能及于微观的组织和细胞图像。《基于深度学习的口腔癌图像识别研究》焦龙，记载了一种基于卷积神经网络进行口腔癌病理图像识别的方案，并介绍了各种不同模型，但是这些模型通常较为庞大，识别处理时间较长。且该模型均是基于优质图像数据训练得到，用于实际图像识别中时，由于临床图像采集较多不如意的图像，因此导致这些模型的实际应用效果不佳。进一步发现的技术问题在于，口腔上皮细胞呈多角形或长方形，大小约为20-30微米。细胞质内含有许多小的颗粒状物，称为细胞器，其中包括线粒体、内质网、高尔基体等。细胞膜外侧有许多糖蛋白分子，称为黏附分子，黏附分子起到与邻近细胞或组织相互作用的作用。此外，还可以看到一些未被染色的物质，可能是细胞核或细胞质碎片等。这些在图像识别过程中也会干扰模型的正常工作，导致识别准确率下降。而且口腔的范围较大，对不同位置组织进行取样，识别结果可能存在较大差异，临床中已经发现存在患者在口腔不同位置取样获得的结果完全不同的案例。以上这些技术难题，阻碍了口腔病理识别的发展，使早期发现口腔癌的难度增大。需要说明的，在背景技术中的记载，并不是对现有技术的承认，发明人提出新的技术问题，也是发明人创新贡献的一部分。

发明内容

本发明所要解决的技术问题是提供一种多维度口腔图像筛查方法，能够提高口腔图像筛查的准确率，能够辅助医师尽早发现口腔图像异常，采用的口腔扫描装置能够辅助提高识别口腔图像筛查的效率和准确率。

为解决上述技术问题，本发明所采用的技术方案是：一种多维度口腔图像筛查方法，包括以下方法：

S1、以拭子采集口腔黏膜，收集口腔上皮细胞样本；

S2、HE染色处理；

S3、将染色处理后的口腔上皮细胞样本涂布在玻片上；

S4、显微扫描口腔上皮细胞样本获得口腔上皮细胞图像；

S5、对口腔上皮细胞图像进行预处理，将大小调整为224 × 224 × 3的统一格式，并进行归一化处理；

S6、将处理好的口腔上皮细胞图像数据输入深度学习模型CNN；

S7、输出口腔上皮细胞的分类和识别结果。

优选的方案中，还包括采集口腔图像的步骤：

S01、以多光源方式采集口腔内图像；

S02、将多光源方式采集的图像输入深度学习识别模型；

S03、输出口腔异常位置评估；

S04、根据输出结果，在口腔异常位置的口腔黏膜进行拭子采集。

优选的方案中，步骤S01中，以口腔扫描装置以常规扫描的方式采集口腔内图像，采集过程中分别以蓝色激光和白光采集口腔内图像，获得荧光图像a和白光图像b。

优选的方案中，步骤S02中，将荧光图像a和白光图像b分别输入不同的识别模型A和识别模型B，输出结果输入决策树、随机森林树或梯度提升树模型输出口腔异常位置。

优选的方案中，步骤S01中，常规扫描的方式之后，还包括以指示性荧光剂漱口的步骤，再以口腔扫描装置采集口腔内图像，采集过程中以共聚激光光源扫描口腔内部，扫描激光激发的口腔组织学图像c。

优选的方案中，步骤S02中，将荧光图像a和白光图像b分别输入不同的识别模型A和识别模型B，将口腔组织学图像c输入识别模型C，输出结果输入决策树、随机森林树或梯度提升树模型输出口腔异常位置；

在漱口前，先以拭子采集口腔异常位置的口腔黏膜；

结合识别模型C的输出结果，选择拭子采集的样本。

优选的方案中，步骤S5中，包括图像预处理，将图像进行去噪处理，去噪处理采用支持向量机（SVM），以去除黏附分子和未被染色的物质杂质；

优选的方案中，步骤S6中的深度学习模型CNN采用轻量化CNN模型，采用5层架构:第1层为输入层；第2层为传输了EfficientNet—B0的卷积和池化层；第3层为全局平均池化层；第4层全连接层，拥有1024个神经元；第5层为具有s型激活函数的输出层；通过统计样本综述以及类别样本分布情况，将原有数据集随机分割为两类，其中80%作为训练集，剩余20%作为测试集，并利用训练集进行模型训练，测试集检验模型效果

深度学习模型CNN采用人工标记后的图像作为训练数据集进行训练，将当前输出结果经人工标记后，补入训练数据集进行扩充；

补入训练集的输出结果包括正反馈训练集，是深度学习模型CNN识别正确的结果；还包括负反馈训练集，是深度学习模型CNN识别错误的结果。

优选的方案中，口腔扫描装置，包括玻璃罩体，玻璃罩体内具有空腔，玻璃罩体沿长度方向延伸，在玻璃罩体的一端端面设有电机，电机的输出轴与杆体连接，杆体沿着玻璃罩体的长度方向布置，在杆体的表面设有图像采集头、蓝色激光光源和白光LED；

还设有主控装置，主控装置内设有存储器和或无线传输装置；

主控装置与电机、图像采集头、蓝色激光光源和白光LED电连接；

还设有电源，用于供电。

优选的方案中，在杆体上沿着长度方向还设有共聚激光光源，共聚激光光源为阵列的激光光源，沿长度方向为列，沿圆周方向为行，至少同一行中的多个激光聚焦同一个焦点。

本发明提供了一种多维度口腔图像筛查方法，通过采用人工智能辅助对口腔图像的识别，大幅降低了专业病理医师的劳动强度。进一步的，本发明采用轻量化的深度学习模型CNN提高了识别的效率。为克服轻量化模型准确率降低的问题，提前采用支持向量机（SVM），去除黏附分子和未被染色的物质杂质，进而确保了轻量化模型的准确率。在拭子采集前，通过多光源多模式的图像采集，结合多维度的人工智能图像识别，精确找出口腔异常位置，提高了拭子采集的准确率，进而提高了口腔图像筛查的准确率。尤其是共聚激光光源扫描方式，能够激发人体局部组织学图像，能够为早期头颈部细胞癌筛查提供有效帮助。本发明的口腔扫描装置，能够快速以多种模式采集口腔内图像，为后续的口腔病理组织图像的采集和识别提供指引。而且多维度的口腔图像还作为后续口腔病理组织图像识别的权重参数，进一步提高最终结果的准确性。本发明还将检测结果，经人工确认后，分别以正反馈数据集和负反馈数据集的方式对训练数据集进行扩充，以实现对训练数据集的迭代。

附图说明

下面结合附图和实施例对本发明作进一步说明：

图1为本发明的流程结构图。

图2为本发明的口腔图像扫描的流程结构图。

图3为本发明的口腔扫描装置的结构示意图。

图4为识别出异常的口腔上皮细胞图像。

图5为另一识别出异常的口腔上皮细胞图像。

图6为另一识别出异常的口腔上皮细胞图像。

图中：电机1，透明罩体2，图像采集头3，共聚激光光源4，蓝色激光光源5，白光LED6，杆体7。

具体实施方式

实施例1：

如图1中，一种多维度口腔图像筛查方法，包括以下方法：

S1、以拭子采集口腔黏膜，收集口腔上皮细胞样本；

S2、HE染色处理；

S3、将染色处理后的口腔上皮细胞样本涂布在玻片上；

S4、显微扫描口腔上皮细胞样本获得口腔上皮细胞图像；

S5、对口腔上皮细胞图像进行预处理，将大小调整为224 × 224 × 3的统一格式，并进行归一化处理；

S6、将处理好的口腔上皮细胞图像数据输入深度学习模型CNN；

S7、输出口腔上皮细胞的分类和识别结果。

如图2中，优选的方案中，还包括采集口腔图像的步骤：

S01、以多光源方式采集口腔内图像；

S02、将多光源方式采集的图像输入深度学习识别模型；

S03、输出口腔异常位置评估；

S04、根据输出结果，在口腔异常位置的口腔黏膜进行拭子采集。

优选的方案中，步骤S01中，以口腔扫描装置以常规扫描的方式采集口腔内图像，采集过程中分别以蓝色激光和白光采集口腔内图像，获得荧光图像a和白光图像b。蓝色激光的波长为415nm ~530nm。

优选的方案中，步骤S02中，将荧光图像a和白光图像b分别输入不同的识别模型A和识别模型B，输出结果输入决策树、随机森林树或梯度提升树模型输出口腔异常位置。针对不同光源图像，分别由不同的识别模型进行识别，然后将结果在决策树、随机森林树或梯度提升树模型根据权重获取输出结果，该输出结果指向口腔异常位置。由口腔异常位置指导拭子采集，能够大幅提高采集的命中率，早期发现口腔癌症线索。

优选的方案中，步骤S01中，常规扫描的方式之后，还包括以指示性荧光剂漱口的步骤，指示性荧光剂是指，再以口腔扫描装置采集口腔内图像，采集过程中以共聚激光光源扫描口腔内部，扫描激光激发的口腔组织学图像c。可选的，指示性荧光剂例如基于口腔鳞状细胞癌、舌鳞状细胞癌、咽鳞状细胞癌或喉鳞状细胞癌的靶向c-Met的物质为cMBP多肽类荧光显像剂，氨基酸序列为KSLSRHDHIHHHK。共聚激光光源的波长为和765~785nm激光光源。

口腔扫描装置的采集方式是分别将口腔扫描装置放入口腔左侧、右侧和舌底，然后口腔扫描装置自行采集图像。共聚激光光源启动时，有多个光源单元同时聚焦一个点，以激发指示性荧光剂的荧光图像。

优选的方案中，步骤S02中，将荧光图像a和白光图像b分别输入不同的识别模型A和识别模型B，将口腔组织学图像c输入识别模型C，输出结果输入决策树、随机森林树或梯度提升树模型输出口腔异常位置；

在漱口前，先以拭子采集口腔异常位置的口腔黏膜；

结合识别模型C的输出结果，选择拭子采集的样本。

优选的方案中，步骤S5中，包括图像预处理，将图像进行去噪处理，去噪处理采用支持向量机SVM，以去除黏附分子和未被染色的物质杂质；

优选的方案中，进行特征提取，口腔上皮细胞图像的特征值包括细胞形态、大小、核形状、胞质颜色和纹理，特征提取方法采用SIFT、SURF或ORB；

选取特征值中的多个进行特征融合，获得综合特征向量，特征融合方法包括简单加权平均法、主成分分析法(PCA)和线性判别分析法(LDA)。本方案采用了独立的特征提取和特征融合步骤，能够进一步减少CNN模型的运算量。而独立的特征提取和特征融合步骤由于采用单分支的结构，能够进一步提高特征提取和特征融合的效率。对于大批量的图像识别工况而言，效率提升显著。

优选的方案中，步骤S6中的深度学习模型CNN采用轻量化CNN模型，采用5层架构:第1层为输入层；第2层为传输了EfficientNet—B0的卷积和池化层；第3层为全局平均池化层；第4层全连接层，拥有1024个神经元，优选的，还具有整流线性单元，dropout层率为0.5；第5层为具有s型激活函数的输出层；由优化的轻量化CNN模型，本发明大幅提高了图像识别效率。

深度学习模型CNN采用人工标记后的图像作为训练数据集进行训练，将当前输出结果经人工标记后，补入训练数据集进行扩充；

补入训练集的输出结果包括正反馈训练集，是深度学习模型CNN识别正确的结果；还包括负反馈训练集，是深度学习模型CNN识别错误的结果。通过对训练数据集的迭代，进一步提高识别的准确率。如图4~6中，为识别出异常的口腔上皮细胞图像。

实施例2：

如图3中，一种用于上述的多维度口腔图像筛查方法的口腔扫描装置，包括玻璃罩体1，玻璃罩体1内具有空腔，玻璃罩体1沿长度方向延伸，在玻璃罩体1的一端端面设有电机1，电机1的输出轴与杆体7连接，杆体7沿着玻璃罩体1的长度方向布置，在杆体7的表面设有图像采集头3、蓝色激光光源5和白光LED6；优选的，所述的电机1为步进电机或伺服电机。

还设有主控装置，主控装置内设有存储器和或无线传输装置；

主控装置与电机1、图像采集头3、蓝色激光光源5和白光LED6电连接；

还设有电源，用于供电。

优选的方案中，在杆体7上沿着长度方向还设有共聚激光光源4，共聚激光光源4为阵列的激光光源，沿长度方向为列，沿圆周方向为行，至少同一行中的多个激光聚焦同一个焦点。

口腔扫描装置的采集方式是分别将口腔扫描装置放入口腔左侧、右侧和舌底，然后主控装置驱动电机1转动，相应的光源点亮，图像采集头3采集图像存储或通过无线传输装置传输至终端设备，例如电脑或手机中进行处理。共聚激光光源启动时，同一行中的多个激光聚焦同一个焦点，以激发指示性荧光剂的荧光图像。

建立口腔立体模型，口腔扫描装置根据预设位置扫描获得的图像，根据电机1的转角参数和位置参数贴图至口腔立体模型，然后以投影法获得平面图像。将平面图像输入对应的识别模型，用于获取口腔异常位置。本发明的口腔扫描装置使用方便，识别效果好。

优选的在透明罩体2内还设有加热装置，加热装置与主控装置电连接，以将口腔扫描装置加热至人体温度，以免在透明罩体2产生水汽影响视野。

上述的实施例仅为本发明的优选技术方案，而不应视为对于本发明的限制，本申请中的实施例及实施例中的特征在不冲突的情况下，可以相互任意组合。本发明的保护范围应以权利要求记载的技术方案，包括权利要求记载的技术方案中技术特征的等同替换方案为保护范围。即在此范围内的等同替换改进，也在本发明的保护范围之内。