一种融合样本内对照信息的宫颈异常细胞识别方法

技术领域

本发明涉及宫颈异常细胞识别。

背景技术

宫颈癌是严重危害妇女健康的恶性肿瘤，威胁着女性的生命。宫颈癌的潜伏期长、早期无症状难以被发现，宫颈上皮内瘤变3级和宫颈癌的发病平均年龄差异为10年，早期宫颈癌治愈率高达91.5％。因此，早发现早治疗是目前应对癌症唯一有效的手段。目前用于发现癌症的检查方法有肿瘤标记物检测、基因检测、影像学检查(B超、CT等)、内镜检查以及病理学检查等。其中只有病理学检查为目前具有确诊意义的检查手段。病理诊断包括细胞病理诊断和组织病理诊断，通过采集人体脱落细胞或组织制片染色，然后由病理医生在镜下观察寻找异常细胞后做出诊断。细胞病理诊断取材简单，应用广泛，又能做出定性诊断，特别适合早期诊断和筛查，值得大面积推广，现有通过基于图像处理的细胞病理学筛查是癌前筛查的最为广泛的检测方法。

近年来，随着以深度学习为代表的机器学习理论的发展，卷积神经网络以其强有效的特征提取能力取得了图像识别领域的革命性突破，被广泛应用于宫颈异常细胞识别等医疗影像分析领域。由于不同生理状态、不同年龄段的宫颈病理状态具有天然差异，宫颈细胞的形态、大小并不相同，加上采样、制片、染色等因素影响，宫颈细胞图像往往颜色多样、内容复杂。深度学习方法主要从宫颈细胞层面展开研究，极少考虑到宫颈细胞病理样本间的差异性，对宫颈异常细胞检测的影响。使用来自不同样本的宫颈异常细胞标注数据训练模型，将导致宫颈异常细胞分类标准模糊，精确率低，假阳性率高等问题。针对上述问题，提出了一种融合样本内对照信息的宫颈异常细胞识别方法。

发明内容

本发明的目的是为了解决细胞病理样本间的差异性导致宫颈异常细胞识别精确率低、假阳性率高的问题，从而提出一种融合样本内对照信息的宫颈异常细胞识别方法。

上述发明目的主要是通过以下技术方案实现的：

S1、准备宫颈异常细胞检测训练数据、宫颈正常中层鳞状上皮细胞检测训练数据和细胞核与细胞质分割训练数据；

首先，收集大量的诊断为阳性和阴性的宫颈细胞病理涂片，并使用扫描仪对涂片扫描，获得宫颈细胞病理涂片的全景图。然后，邀请病理医生对阳性样本全景图标注宫颈异常细胞，对阴性样本全景图标注正常中层鳞状上皮细胞；接着，根据病理医生的标注信息，从全景图中随机位置裁剪一定大小的图片，并保证每张图片中标注信息完整，阳性样本全景图中裁剪的图片和对应的标注信息作为宫颈异常细胞检测训练数据，阴性样本全景图中裁剪的图片和对应的标注信息作为宫颈正常中层鳞状上皮细胞检测训练数据；最后，从样本全景图中裁剪出医生标注的宫颈细胞图片，再使用LabelImg软件对所有宫颈细胞图片的细胞核和细胞质轮廓进行人工标注，标注完成后的数据作为细胞核和细胞质分割训练数据。

S2、训练宫颈异常细胞检测模型、宫颈正常中层鳞状上皮细胞检测模型、细胞核和细胞质分割模型；

检测模型结构与YOLO v5模型结构基本一致，主要由骨干网络、特征融合网络和检测网络组成，将骨干网络中的普通卷积层修改为可变形卷积层，可变形卷积层由可变形卷积、批量归一化和激活函数依次连接构成，通过可变形卷积层与跨阶段局部融合网络构成的残差块连接组成骨干网络；特征融合网络利用空间金字塔池化增加感受野，再利用路径聚合网络收集不同阶段的特征图并进行特征融合，最后使用CIoU损失函数进行精细化分类和回归；分别将宫颈异常细胞和正常中层鳞状上皮细胞检测训练数据输入检测网络中训练，得到宫颈异常细胞和正常鳞状上皮细胞检测模型；使用solo v2原始网络结构作为分割模型结构，将细胞核和细胞质分割训练数据输入分割网络中训练，得到细胞核和细胞质分割模型。

S3、准备融合样本内对照信息的宫颈异常细胞分类训练数据；

首先，将阳性样本全景图依次裁剪为一定大小的图片，并利用宫颈正常中层鳞状上皮细胞检测模型预测已裁剪出的图片，获得正常中层鳞状上皮细胞图片，同时将阳性样本中医生标注的异常细胞裁剪出来，获得异常细胞图片；然后，将每个样本的正常中层鳞状上皮细胞图片和异常细胞图片送入细胞核与细胞质分割模型，获得每个细胞图片的细胞核与细胞质轮廓信息；接着，通过轮廓信息计算细胞特征指标，包括细胞核面积、细胞核积分光密度、细胞核圆度和核质比，计算公式如下：

式中，A

Y

式中，Y

式中，R

式中，N

S4、构建并训练融合样本内对照信息的宫颈异常细胞分类模型；

首先，利用ResNet50网络结构作为宫颈细胞图像特征学习模块，利用两个全连接层作为样本内对照信息的非图像特征学习模块；然后，将图像特征学习模块输出的图像特征向量和非图像特征学习模块输出的非图像特征向量连接成为特征融合向量；接着，利用两个全连接层和Softmax作为分类头，获得宫颈异常细胞分类结果；最后，通过融合样本内对照信息的宫颈异常细胞分类训练数据训练得到宫颈异常细胞分类模型。

S5、利用已训练检测模型、分割模型和分类模型识别宫颈细胞病理全景图下宫颈异常细胞。

首先，将待识别的宫颈细胞病理全景图裁剪为一定大小的图片；然后，利用正、异常细胞检测模型分别预测已裁剪的图片，获得该样本的正常细胞图片集合和异常细胞图片集合；接着，利用分割模型对正、异常细胞图片集合中的每张细胞图片进行分割，获得每张细胞图片的细胞核与细胞质轮廓信息；然后，根据S3中所述通过轮廓信息计算细胞特征指标、无背景的异常细胞图片和对应的样本内对照特征指标内容，获得分类模型输入数据；最后，将无背景的异常细胞图片和对应的样本内对照特征输入分类模型，预测出异常细胞图片的类别信息。

发明效果

本发明提出了一种融合样本内对照信息的宫颈异常细胞识别方法。利用深度学习方法的宫颈异常细胞识别通常需要大量的训练数据，然而这些数据不可避免的使用不同样本的宫颈异常细胞参与模型训练，天然地缺失了单个样本内正、异常细胞内对照信息，导致宫颈异常细胞的识别精度不高，假阳性率高。本发明提出首先利用目标检测模型识别与定位全景图中正、异常细胞，然后利用分割模型预测出细胞核与细胞质的轮廓信息，获得单个样本内正、异常细胞内对照信息和无背景信息干扰的异常细胞图片，量化了宫颈细胞病理学诊断指标，最后利用融合样本内对照信息的宫颈异常细胞图片分类模型实现宫颈异常细胞分类，模拟医生对比样本内正常细胞的形态识别异常细胞，实现样本内宫颈正、异常细胞对照识别。实验表明，该方法有效降低了宫颈异常细胞识别的假阳性率，提高了样本检测准确率、敏感度和特异度，能够较好的辅助病理医生诊断，减少医生的工作量。

附图说明

图1算法主要流程示意图；

图2宫颈正、异常细胞检测模型结构图；

图3细胞核与细胞质分割效果图；

图4融合样本内对照信息的宫颈异常细胞分类模型结构图；

具体实施方法

具体实施方式一：

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明附图说明，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示为本发明提供的一种融合样本内对照信息的宫颈异常细胞识别方法，包含数据准备、模型训练和全景图下宫颈异常细胞识别。

所述数据准备与模型训练包含如下步骤：

S1、准备宫颈异常细胞检测训练数据、宫颈正常中层鳞状上皮细胞检测训练数据和细胞核与细胞质分割训练数据；

S2、训练宫颈异常细胞检测模型、宫颈正常中层鳞状上皮细胞检测模型、细胞核和细胞质分割模型；

S3、准备融合样本内对照信息的宫颈异常细胞分类训练数据；

S4、构建并训练融合样本内对照信息的宫颈异常细胞分类模型；

所述全景图下宫颈异常细胞识别包含如下步骤：

S5、利用已训练检测模型、分割模型和分类模型识别宫颈细胞病理全景图下宫颈异常细胞。

本发明实施例首先准备宫颈正异常细胞检测模型、细胞核与细胞质分割模型和异常细胞分类模型的训练数据，构建并训练检测、分割与分类模型；然后利用检测模型识别与定位全景图中正、异常细胞，利用分割模型预测出细胞核与细胞质的轮廓信息，获得单个样本内正、异常细胞内对照信息和无背景信息干扰的异常细胞图片；最后利用融合样本内对照信息的宫颈异常细胞图片分类模型实现宫颈异常细胞精细分类。

下面对本发明实施例进行详细的说明：

数据准备与模型训练包含步骤：

S1、准备宫颈异常细胞检测训练数据、宫颈正常中层鳞状上皮细胞检测训练数据和细胞核与细胞质分割训练数据；

首先，收集大量的诊断为阳性和阴性的宫颈细胞病理涂片，并使用扫描仪对涂片扫描，获得宫颈细胞病理涂片的全景图。然后，邀请病理医生对阳性样本全景图标注宫颈异常细胞，对阴性样本全景图标注正常中层鳞状上皮细胞；接着，根据病理医生的标注信息，从全景图中随机位置裁剪为1024×1024大小的图片，并保证每张图片中标注信息完整，阳性样本全景图中裁剪的图片和对应的标注信息作为宫颈异常细胞检测训练数据，阴性样本全景图中裁剪的图片和对应的标注信息作为宫颈正常中层鳞状上皮细胞检测训练数据；最后，从样本全景图中裁剪出医生标注的宫颈细胞图片，再使用LabelImg软件对所有宫颈细胞图片的细胞核和细胞质轮廓进行人工标注，标注完成后的数据作为细胞核和细胞质分割训练数据。

S2、训练宫颈异常细胞检测模型、宫颈正常中层鳞状上皮细胞检测模型、细胞核和细胞质分割模型；

检测模型结构与YOLO v5模型结构基本一致，如图2所示，主要由骨干网络、特征融合网络和检测网络组成，将骨干网络中的普通卷积层修改为可变形卷积层，可变形卷积层由可变形卷积、批量归一化和激活函数依次连接构成，通过可变形卷积层与跨阶段局部融合网络构成的残差块连接组成骨干网络；特征融合网络利用空间金字塔池化增加感受野，再利用路径聚合网络收集不同阶段的特征图并进行特征融合，最后使用CIoU损失函数进行精细化分类和回归；分别将宫颈异常细胞和正常中层鳞状上皮细胞检测训练数据输入检测网络中训练训练200轮，得到宫颈异常细胞和正常鳞状上皮细胞检测模型；使用solo v2原始网络结构作为分割模型结构，将细胞核和细胞质分割训练数据输入分割网络中训练200轮，得到细胞核和细胞质分割模型。

S3、准备融合样本内对照信息的宫颈异常细胞分类训练数据；

首先，将阳性样本全景图依次裁剪为1024×1024的图片，并利用宫颈正常中层鳞状上皮细胞检测模型预测已裁剪出的图片，获得正常中层鳞状上皮细胞图片，同时将阳性样本中医生标注的异常细胞裁剪出来，获得异常细胞图片；然后，将每个样本的正常中层鳞状上皮细胞图片和异常细胞图片送入细胞核与细胞质分割模型，获得每个细胞图片的细胞核与细胞质轮廓信息，分割效果如图3所示；接着，通过轮廓信息计算细胞特征指标，包括细胞核面积、细胞核积分光密度、细胞核圆度和核质比，计算公式如下：

式中，A

Y

式中，Y

式中，R

式中，N

S4、构建并训练融合样本内对照信息的宫颈异常细胞分类模型；

分类模型网络结构如图4所示，首先，利用ResNet50网络结构作为宫颈细胞图像特征学习模块，利用两个全连接层作为样本内对照信息的非图像特征学习模块；然后，将图像特征学习模块输出的图像特征向量和非图像特征学习模块输出的非图像特征向量连接成为特征融合向量；接着，利用两个全连接层和Softmax作为分类头，获得宫颈异常细胞分类结果；最后，通过融合样本内对照信息的宫颈异常细胞分类训练数据训练得到宫颈异常细胞分类模型。

全景图下宫颈异常细胞识别包含如下步骤：

S5、利用已训练检测模型、分割模型和分类模型识别宫颈细胞病理全景图下宫颈异常细胞。

首先，将待识别的宫颈细胞病理全景图裁剪为1024×1024的图片；然后，利用正、异常细胞检测模型分别预测已裁剪的图片，获得该样本的正常细胞图片集合和异常细胞图片集合；接着，利用分割模型对正、异常细胞图片集合中的每张细胞图片进行分割，获得每张细胞图片的细胞核与细胞质轮廓信息；然后，根据S3中所述通过轮廓信息计算细胞特征指标、无背景的异常细胞图片和对应的样本内对照特征指标内容，获得分类模型输入数据；最后，将无背景的异常细胞图片和对应的样本内对照特征输入分类模型，预测出异常细胞图片的类别信息。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明范围。