小样本白光图像下声带白斑类型的分类方法

技术领域

本发明属于计算机科学与临床医学技术领域，具体涉及一种小样本白光图像下声带白斑类型的分类方法。

背景技术

准确的声带白斑疾病分类对于喉癌的早期发现至关重要。尽管深度学习方法已经被应用到白光图像中解决声带白斑疾病的分类问题，但受样本数量限制，其分类精度有限。本发明基于孪生深度网络的分类方法可以很好地解决小样本白光图像下的声带白斑疾病分类问题，有效提高声带白斑疾病的分类精度。

发明内容

本发明的目的是提供一种小样本白光图像下声带白斑类型的分类方法，解决了现有技术中存在的小样本下声带白斑图像分类精度较低的问题。

本发明所采用的技术方案是，小样本白光图像下声带白斑类型的分类方法，具体按照以下步骤实施：

步骤1、建立数据库，将数据库中的声带白斑图像随机分成训练集和测试集；

步骤2、对步骤1建立的训练集进行数据扩增，得到扩增后的训练集；

步骤3、对步骤2扩增后的训练集和步骤1建立的测试集分别进行预处理，得到归一化的训练集图像和测试集图像；

步骤4、构建孪生深度网络：从步骤3扩增后归一化的训练集图像中随机选取2张图像分别作为孪生深度网络的2个输入，训练、更新网络参数，从而得到孪生深度网络的模型；

步骤5、预测声带白光图像类别：将步骤3的测试集图像送入步骤4训练好的孪生深度网络模型的第一分支的输入端，该分支得到的输出结果即为预测的测试集中声带白光图像所属类别。

本发明的特点还在于，

步骤1具体按照以下步骤实施：

从M张图像中随机选取80％的图像作为训练集，20％的图像作为测试集，将M张图像的类别分为健康、炎症角化、轻度不典型增生、中度不典型增生、重度不典型增生、鳞状细胞癌6类，数值分别对应标记为0、1、2、3、4、5。

步骤2具体按照以下步骤实施：

依次采用中心裁剪、随机仿射、水平翻转、随机调整大小裁剪、随机旋转共5种方法，对步骤1训练集的0.8M张图像进行变换，得到4M张变换后的图像，从而扩增训练集，加上原有的0.8M张图象，训练集图像数量被扩增，得到4.8M张图像，其中，中心裁剪采用双线性插值方法，将每一张原始图像先调整到长700像素、宽700像素大小，再从调整后的图像的中心位置分别向上下左右取256像素长度，得到长512像素、宽512像素大小的图像，将采用中心裁剪方法后得到的图像扩充到训练集中；随机仿射，采用双线性插值方法，将原始图像随机旋转30°、放大1.2倍，扩充到训练集图像中；水平翻转，将原始图像全部水平翻转后扩充到训练集图像中；随机调整大小裁剪，采用双线性插值方法，随机调整原始图像的长宽比，改为0.75至1.33中的随机值，将采用随机调整大小裁剪方法后的图像扩充到训练集中；随机旋转，在-45°到45°之间随机选取角度，将原始图像旋转，扩充到训练集图像中。

步骤3具体按照以下步骤实施：

采用双线性插值方法，将步骤2的4.8M张训练图像和0.2M张测试图像寸调整到长256像素、宽256像素，然后进行预处理，得到归一化的图像

步骤1的数据库图像为彩色图像，由R、G、B分量构成，I

步骤4具体按照以下步骤实施：

步骤4.1、首先构建孪生深度网络的输入数据对(X

步骤4.2、构造孪生深度网络，采用DenseNet网络作为孪生深度网络的2个分支，这2个分支共享网络参数；

步骤4.3、构造孪生深度网络损失函数；

步骤4.4、设置学习率为0.0001，选择SGD作为优化器，使用反向传播和随机梯度下降法最小化损失函数，将步骤3的训练集图像训练1000次后得到训练好的网络参数，即孪生深度网络所有卷积核的权重，所有卷积核的权重即构成孪生深度网络模型。

步骤4.3具体按照以下步骤实施：

步骤4.3.1、计算孪生深度网络2个DenseNet分支各自的交叉熵：

其中，Y

步骤4.3.2、计算孪生深度网络2个DenseNet分支的对比损失：

其中，L为1或0，如果2个输入图像输入是同一类别，L为0，否则L为1，D为孪生深度网络输出之间的欧氏距离，G为孪生深度网络其中一个分支的输出，X

步骤4.3.3、计算孪生深度网络的损失函数L：

L＝L

本发明的有益效果是，在训练样本数量有限的情况下，将喉镜白光图像按照实际情况分为6类进行学习，构建孪生深度网络，可以自动、准确、高效地判断声带白光图像类别；构建的孪生深度网络，便于直接应用训练好的模型处理新的图像，能有效的缩短声带白斑类型的判断时间。

附图说明

图1是本发明小样本白光图像下声带白斑疾病的分类方法的流程示意图；

图2是本发明构建的孪生深度网络结构；

图3(a)为本发明小样本白光图像下声带白斑疾病的分类方法使用健康图像示例；

图3(b)为本发明小样本白光图像下声带白斑疾病的分类方法使用炎症角化图像示例；

图3(c)为本发明小样本白光图像下声带白斑疾病的分类方法使用轻度不典型增生图像示例；

图3(d)为本发明小样本白光图像下声带白斑疾病的分类方法使用中度不典型增生图像示例；

图3(e)为本发明小样本白光图像下声带白斑疾病的分类方法使用重度不典型增生图像示例；

图3(f)为本发明小样本白光图像下声带白斑疾病的分类方法使用鳞状细胞癌图像示例。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明小样本白光图像下声带白斑类型的分类方法，具体按照以下步骤实施：

步骤1、建立数据库，将数据库中的声带白斑图像随机分成训练集和测试集；

步骤1具体按照以下步骤实施：

从M张图像中随机选取80％的图像作为训练集，20％的图像作为测试集，将M张图像的类别分为健康、炎症角化、轻度不典型增生、中度不典型增生、重度不典型增生、鳞状细胞癌6类，数值分别对应标记为0、1、2、3、4、5。

步骤2、对步骤1建立的训练集进行数据扩增，得到扩增后的训练集；

步骤2具体按照以下步骤实施：

依次采用中心裁剪、随机仿射、水平翻转、随机调整大小裁剪、随机旋转共5种方法，对步骤1训练集的0.8M张图像进行变换，得到4M张变换后的图像，从而扩增训练集，加上原有的0.8M张图象，训练集图像数量被扩增，得到4.8M张图像，其中，中心裁剪采用双线性插值方法，将每一张原始图像先调整到长700像素、宽700像素大小，再从调整后的图像的中心位置分别向上下左右取256像素长度，得到长512像素、宽512像素大小的图像，将采用中心裁剪方法后得到的图像扩充到训练集中；随机仿射，采用双线性插值方法，将原始图像随机旋转30°、放大1.2倍，扩充到训练集图像中；水平翻转，将原始图像全部水平翻转后扩充到训练集图像中；随机调整大小裁剪，采用双线性插值方法，随机调整原始图像的长宽比，改为0.75至1.33中的随机值，将采用随机调整大小裁剪方法后的图像扩充到训练集中；随机旋转，在-45°到45°之间随机选取角度，将原始图像旋转，扩充到训练集图像中。

步骤3、对步骤2扩增后的训练集和步骤1建立的测试集分别进行预处理，得到归一化的训练集图像和测试集图像；

步骤3具体按照以下步骤实施：

采用双线性插值方法，将步骤2的4.8M张训练图像和0.2M张测试图像寸调整到长256像素、宽256像素，然后进行预处理，得到归一化的图像

步骤1的数据库图像为彩色图像，由R、G、B分量构成，I

步骤4、构建孪生深度网络：从步骤3扩增后归一化的训练集图像中随机选取2张图像分别作为孪生深度网络的2个输入，训练、更新网络参数，从而得到孪生深度网络的模型；

结合图2，步骤4具体按照以下步骤实施：

步骤4.1、首先构建孪生深度网络的输入数据对(X

步骤4.2、构造孪生深度网络，采用DenseNet网络(参考文献[1])作为孪生深度网络的2个分支，这2个分支共享网络参数；

步骤4.3、构造孪生深度网络损失函数；

步骤4.3具体按照以下步骤实施：

步骤4.3.1、计算孪生深度网络2个DenseNet分支各自的交叉熵：

其中，Y

步骤4.3.2、计算孪生深度网络2个DenseNet分支的对比损失：

其中，L为1或0，如果2个输入图像输入是同一类别，L为0，否则L为1，D为孪生深度网络输出之间的欧氏距离，G为孪生深度网络其中一个分支的输出，X

步骤4.3.3、计算孪生深度网络的损失函数L：

L＝L

步骤4.4、设置学习率为0.0001，选择SGD作为优化器，使用反向传播和随机梯度下降法最小化损失函数，将步骤3的训练集图像训练1000次后得到训练好的网络参数，即孪生深度网络所有卷积核的权重，所有卷积核的权重即构成孪生深度网络模型。

步骤5、预测声带白光图像类别：将步骤3的测试集图像送入步骤4训练好的孪生深度网络模型的第一分支的输入端，该分支得到的输出结果即为预测的测试集中声带白光图像所属类别。

本发明所使用的数据库来自于合作单位西安交通大学第二附属医院耳鼻喉头颈外科提供的声带白斑图像，共246张图像。

图2是本发明构建的孪生深度网络结构，首先构建2个并行的DenseNet网络分别提取各自输入图像的特征，然后分别计算网络各分支的交叉熵损失函数，以及两个分支输出的对比损失函数，二者求和作为本发明孪生深度网络的损失函数，根据反向传播和随机梯度下降法最小化该损失函数，利用训练数据集训练网络，生成孪生深度网络模型，用以预测声带白斑疾病类别。

图3(a)～图3(f)是本发明数据库中白光图像经过活检验证的分类结果，其中，图3(a)为健康声带图像示例，图3(b)为炎症角化图像示例，在声带上三角处有炎症现象；图3(c)为轻度不典型增生图像示例，在声带处有少量白斑现象；图3(d)为中度不典型增生图像示例，在声带处白斑现象较多；图3(e)为重度不典型增生图像示例，在声带出白斑现象较多且声带凹凸不平；图3(f)为鳞状细胞癌图像示例，声带处肿物明显。

本发明构建的孪生深度网络使用测试集验证声带白斑疾病判断的准确性。将步骤3的测试集图像送入神经网络，利用训练好的神经网络模型得到声带白光图像的类别，

表1是对步骤3的测试集图像分别应用DenseNet和本发明的神经网络，通过对比自动分类结果与步骤1的测试集图像真实类别，计算声带白斑图像的准确性，

表1 应用不同方法得到的声带白斑疾病判断的准确率

表1中DenseNet-201方法参考文献如下：

[1]G.Huang,Z.Liu,L.Van Der Maaten,and K.Q.Weinberger,“DenselyConnected Convolutional Networks,”in 2017IEEE Conference on Computer Visionand Pattern Recognition(CVPR),Jul.2017,pp.2261–2269.doi:10.1109/CVPR.2017.243.