一种利用生成边界位置指导宫颈细胞分割的方法

技术领域

本发明属于图像处理技术领域，具体涉及一种利用生成边界位置指导宫颈细胞分割的方法。

背景技术

我国是宫颈癌的高发区，每年新发病例达到10万例左右，占世界新发病例的四分之一，且近十几年来，我国的发病年龄逐步年轻化，死亡率呈上升趋势。宫颈癌早期治愈率高达91.5％，定期进行宫颈癌普遍筛查，及时发现癌前病变并展开治疗是应对宫颈癌的有效手段。液基薄层细胞检测(Thinprep cytologic test,TCT)是目前国际上最先进的一种宫颈癌细胞学检查技术，对宫颈癌细胞的检出率为100％，同时还能发现部分癌前病变细胞。但该方法依赖于病理医生的镜下经验诊断，主观性较强；此外，病理医生长期作业容易产生视觉疲劳，造成10％-20％的误诊和漏诊。受经济和技术因素的限制，目前我国基层病理诊断水平较低，存在病理医生稀缺的痛点。基于以上现状，近年来人工智能、大数据技术被成功用于病理学中，智能辅助诊断系统就此诞生。智能辅助诊断系统的核心任务是检测异常癌变、病变细胞，异常细胞与正常细胞的区分主要参考细胞核的面积、异形程度和细胞质的纹理等指标特征。从技术实现层面分析，这些指标特征的计算依赖于细胞质与细胞核的分割效果，因此，细胞的精确分割有助于提高异常细胞检出率。

在宫颈细胞的精确分割任务中，存在的困难因素主要有：(1)部分细胞核与细胞浆或背景的颜色相近，边界区分不明显；(2)存在粘连或重叠细胞、中性粒、杂质、黏液附着在细胞上等复杂情况；(3)获取宫颈图像时受到光照不均、聚焦模糊的影响。针对上述问题，本文提出一种利用生成边界位置指导宫颈细胞分割的方法。Ce-GAN网络由改进的分水岭算法、GAN、Cenet网络组成。本文方法首先利用改进的分水岭算法获取细胞质粗糙轮廓；然后往GAN的损失函数中加入分割指标，利用GAN网络基于细胞质粗糙轮廓生成细胞质精细轮廓；最后由Cenet网络负责细胞核与细胞质的分割，将GAN生成的细胞质精细轮廓作为边界位置信息，引入Cenet网络的训练中，约束其分割出的细胞质轮廓边界。

发明内容

本发明的目的是实现宫颈细胞的精确分割，为此提供一种利用生成边界位置指导宫颈细胞分割的方法，Ce-GAN兼具分水岭算法、GAN网络、Cenet网络的优势，引入边界位置指导因子，用于约束细胞质边界的分割，达到将宫颈细胞图像准确分割为细胞核、细胞质、背景三类的目的，完成宫颈细胞图像的精确分割任务。

上述发明目的主要是通过以下技术方案实现的：

S1、采集宫颈细胞图像，标注细胞核位置与细胞质轮廓；

使用数字化全景扫描仪对宫颈细胞病理片进行扫描，获取到宫颈细胞全景图；裁剪全景图，获得宽高均相等的小图像；使用标注软件对每张小图像进行标注，获得细胞核位置与细胞质轮廓的标记文件；读取标记文件，通过编程为每一张小图像生成对应的掩膜图，掩模图包括两种：一种仅有细胞质和背景两类，另一种在前者基础上添加细胞核类。

S2、构建Ce-GAN网络结构；

Ce-GAN由粗分割模块、指导因子生成模块、细分割模块组成；其中，粗分割模块由改进后的分水岭算法构成，对输入的真实细胞图像进行二值化、去噪、分水岭、区域合并处理后，生成细胞质粗糙轮廓的二值图；指导因子生成模块由GAN网络构成，通过对该模块损失函数的修改，融入分割效果评价指标，完成从细胞质粗糙轮廓到细胞质精细轮廓的生成；细分割模块由Cenet网络构成，添加细胞质精细轮廓作为细胞质分割的边界约束条件，完成对宫颈细胞的细胞核、细胞质分割。

S3、使用Ce-GAN网络的粗分割模块对细胞图像进行初步分割；

Ce-GAN网络的粗分割模块对宫颈细胞具体识别过程描述如下：

S3-1输入宫颈细胞小图像；

S3-2利用从HSV颜色空间通道提取的信息，对宫颈细胞小图像进行二值化；

S3-3利用Canny算子提取细胞轮廓，结合开运算、闭运算、连通域算法等形态学方法对二值图去噪；

S3-4根据二值图，生成每个像素点关于前景(细胞区域)与背景(非细胞区域)的标注信息。

S3-5利用分水岭算法处理宫颈细胞小图像，获得多个区域；

S3-6计算每个区域的平均灰度值和每个区域之间的相邻关系；

S3-7对满足一定条件的区域进行合并，具体条件为：(a)两个区域间的平均灰度小于预设灰度阈值；(b)两个区域具有相邻关系；(c)两个区域同为前景标注或背景标注；

S3-8根据区域合并后的轮廓信息，生成并输出细胞质粗糙轮廓的二值图；

S4、制作Ce-GAN的数据集；

将同一张小图像的细胞质标注的真实轮廓掩模图与步骤S2获得的细胞质粗糙轮廓掩模图成对组合；对每组掩模图进行简易的数据增强，添加翻转、尺寸缩放、边缘锐化操作以扩充数据，作为Ce-GAN的数据集；按照一定比例将Ce-GAN的数据集划分为Ce-GAN的训练集、测试集。

S5、构造Ce-GAN网络指导因子生成模块的损失函数；

在Ce-GAN网络的损失计算时，加入常见的语义分割评价指标平均交并比(MeanIntersection over Union,MIoU)和豪斯多夫距离(Hausdorff distance)；其中，MIoU侧重于描述预测图像的内部填充情况，Hausdorff distance侧重于描述预测图像的分割边界情况；

交并比(Intersection over Union,IoU)将真实标注图像与模型预测图像看作两个集合，计算两个集合的交集和并集的比值，MIoU则是计算所有类的IoU平均值，计算公式如下：

其中，k+1是类别个数(包含空类)，p

Hausdorff distance常用于描述两组点集之间的相似程度，定义如下：

H(A,B)＝max(h(A,B),h(B,A)) (2)

其中，h(A,B)代表从点集A到点集B的单向Hausdorff距离，实现时首先计算点a

GAN的生成器和判别器单独交替迭代训练，它的损失函数需要考虑到生成器和判别器间的博弈过程，具体公式如下：

其中，

Ce-GAN的损失函数L

其中，Norm代表归一化操作。

S6、训练Ce-GAN的生成器模型，并利用Ce-GAN的生成器模型获得细胞质的边界位置；

将Ce-GAN训练集中的细胞质真实轮廓图与对应的细胞质粗糙轮廓图成组输入到Ce-GAN网络的指导因子生成模块中，循环训练；训练时，通过生成器完成从细胞质粗糙轮廓到细胞质精细轮廓的生成，通过判别器分辨并学习生成器生成的细胞质精细轮廓与细胞质真实标注轮廓之间的差异，通过Ce-GAN的loss损失函数指导模型训练，不断调节模型参数以达到最佳效果；最终获得Ce-GAN的生成器模型；将测试集中宫颈细胞质粗糙轮廓二值图输入到训练好的Ce-GAN的生成器模型中，生成对应的细胞质精细轮廓二值图，作为边界位置信息。

S7、引入边界位置信息作为Ce-GAN网络的细分割模块的指导因子，训练Ce-GAN网络的细分割模型，并使用细分割模型对宫颈细胞图像进行分割；

将Ce-GAN训练集中具有细胞核、细胞质、背景三类的标注轮廓图作为Ce-GAN网络的细分割模块的输入，同时，引入边界位置信息作为细分割模型的指导因子，约束该模型生成的细胞质轮廓边缘；

细分割模块的损失函数L

L

其中，L

基于L

发明效果

本发明的上述技术方案的有益效果如下：本发明提出一种利用生成边界位置指导宫颈细胞分割的方法，该方法兼并改进的分水岭算法、GAN网络、Cenet网络的优势，使用GAN网络生成的细胞质轮廓作为Cenet分割模型训练时的边界约束条件，将宫颈细胞图像分割为细胞核、细胞质、背景三类，使得分割结果更为精确。

附图说明

图1为Ce-GAN的分割流程图；

图2为Ce-GAN粗分割模块流程图；

图3为Ce-GAN指导因子生成模块损失结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提出一种利用生成边界位置指导宫颈细胞分割的方法，主要包含以下步骤：

S1.采集宫颈细胞图像，标注细胞核位置与细胞质轮廓；

S2.构建Ce-GAN网络结构；

S3.使用Ce-GAN网络的粗分割模块对细胞图像进行初步分割；

S4.制作Ce-GAN的数据集；

S5.构造Ce-GAN网络指导因子生成模块的损失函数；

S6.训练Ce-GAN的生成器模型，并利用生成器模型获得细胞质的边界位置；

S7.引入边界位置信息作为Ce-GAN网络的细分割模块的指导因子，训练Ce-GAN网络的细分割模型，并使用细分割模型对宫颈细胞图像进行分割。

本发明实施例中，首先从大量的宫颈细胞病理图像中选择大量的细胞数据，并对数据进行细胞核、细胞质的标注，制作相应的掩膜图。然后，使用Ce-GAN中的粗分割模块对宫颈细胞小图提取细胞质粗糙轮廓，使用Ce-GAN中的指导因子生成模块在细胞质粗糙轮廓的基础上生成细胞质精细轮廓，作为边界位置信息。最后，将边界位置信息引入到Ce-GAN的细分割模块中加以利用，使用细分割模型对宫颈细胞图像进行分割。根据任务特点和模型结构设计模型损失函数、引入边界位置信息，均可有效地改善模型的分割效果。

下面对本发明实施例进行详细的说明：

如图1所示，本发明的实现流程如下：

S1、采集宫颈细胞图像，标注细胞核位置与细胞质轮廓；

使用数字化全景扫描仪扫描100张宫颈细胞病理片，得到宫颈细胞的原始全景图。对全景图进行裁剪，获得宽高均为512的宫颈细胞小图像，从中挑选出具有代表性的10000张小图像作为标注对象，它们包括单细胞、重叠细胞、杂质、微生物感染等多种真实而复杂的情况。

使用标注软件Labelme对10000张小图像进行标注，获得每张小图像的标记文件，文件中含有该图像的细胞核位置、细胞质精细轮廓。通过编程读取标记文件，生成小图像对应的掩膜图，总共20000张。掩模图包括两种：第一种仅有细胞质和背景两类标记，共10000张，第二种具有细胞核、细胞质、背景三类标记，共10000张。

S2、构建Ce-GAN网络结构；

利用Pytorch框架实现Ce-GAN网络结构，网络融合了改进后的分水岭算法、修改损失函数的GAN网络、Cenet网络。

S3、使用Ce-GAN网络的粗分割模块对细胞图像进行初步分割；

粗分割模块的分割流程如图2所示，具体步骤描述如下：

S3-1使用HSV颜色空间通道依次读取10000张宫颈细胞小图像，从H、S、V三通道提取初步的轮廓信息，粗略区分前景(指细胞及其内部)与背景区域，获得宫颈细胞小图像对应的二值图。

S3-2使用Canny算子提取二值图中的细胞轮廓，使用形态学方法中的开运算、闭运算填补细胞轮廓内部的空洞、消除细胞轮廓的部分毛刺，使用形态学方法中的连通域算法消除面积较小的碎片区域，完成对二值图的去噪。

S3-3利用去噪后的二值图，对宫颈细胞小图像中每个像素点进行标注，若该像素点属于前景区域，则将前景/背景标注位置为1，若属于背景区域，则将前景/背景标注位置为0。

S3-4使用分水岭算法依次对10000张宫颈细胞小图像进行分割，调节分割阈值为0.5，获得分水岭分割区域图。

S3-5对每一张分水岭分割区域图中的每个区域进行计算，获得该区域的关键信息：(1)该区域的平均灰度值；(2)该区域与图中所有其他区域之间的距离关系，若为相邻区域，则将位置标志位置为1，反之置为0。

S3-6对满足一定条件的区域进行合并，具体条件为：(1)两个区域间的平均灰度小于预设灰度阈值，实验时将灰度阈值设置为整张图的平均灰度值；(2)两个区域具有相邻关系；(3)两个区域同为前/背景标注位的值相等。

S3-7根据区域合并后的轮廓信息，结合去噪后的二值图，生成细胞质粗糙轮廓的二值图并输出。

S4、制作Ce-GAN的数据集；

将同一张小图像的细胞质标注的真实轮廓掩模图与步骤S2获得的细胞质粗糙轮廓掩模图成对组合，获得10000组掩膜图。对每组掩模图进行简易的数据增强以扩充数据，具体操作包括：随机翻转、尺寸缩放、边缘锐化。经过数据增强后，原数据扩充一倍，作为Ce-GAN的数据集。按照4：1的比例，将Ce-GAN的数据集划分为训练集、测试集。

S5、构造Ce-GAN网络指导因子生成模块的损失函数；

Ce-GAN的指导因子生成模块的损失结构如图3所示。在Ce-GAN网络的损失计算时，加入常见的语义分割评价指标平均交并比(Mean Intersection over Union,MIoU)和豪斯多夫距离(Hausdorff distance)；其中，MIoU侧重于描述预测图像的内部填充情况，Hausdorff distance侧重于描述预测图像的分割边界情况；

交并比(Intersection over Union,IoU)将真实标注图像与模型预测图像看作两个集合，计算两个集合的交集和并集的比值，MIoU则是计算所有类的IoU平均值，计算公式如下：

其中，k+1是类别个数(包含空类)，p

Hausdorff distance常用于描述两组点集之间的相似程度，定义如下：

H(A,B)＝max(h(A,B),h(B,A)) (13)

其中，h(A,B)代表从点集A到点集B的单向Hausdorff距离，实现时首先计算点a

GAN的生成器和判别器是单独交替迭代训练，它的损失函数需要考虑到生成器和判别器间的博弈过程，具体公式如下：

其中，

Ce-GAN的损失函数L

其中，Norm代表归一化操作。

S6、训练Ce-GAN的生成器模型，并利用Ce-GAN的生成器模型获得细胞质的边界位置；

将Ce-GAN训练集输入到Ce-GAN网络的指导因子生成模块，循环训练。训练时，通过生成器完成从细胞质粗糙轮廓到细胞质精细轮廓的生成，通过判别器分辨并学习生成器生成的细胞质精细轮廓与细胞质真实标注轮廓之间的差异，通过Ce-GAN的loss损失函数指导模型训练，不断调节模型参数以达到最佳效果；最终获得Ce-GAN的生成器模型。

将测试集中宫颈细胞质粗糙轮廓二值图输入训练好的Ce-GAN的生成器模型中，生成对应的细胞质精细轮廓二值图，作为边界位置信息。

S7、引入边界位置信息作为Ce-GAN网络的细分割模块的指导因子，训练Ce-GAN网络的细分割模型，并使用细分割模型对宫颈细胞图像进行分割；

将Ce-GAN训练集中具有细胞核、细胞质、背景三类的标注轮廓图作为Ce-GAN网络的细分割模块的输入，同时，引入边界位置信息作为细分割模型的指导因子，约束该模型生成的细胞质轮廓边缘。

细分割模块的损失函数L

L

其中，L

基于L