基于深度学习的宫颈液基细胞检测与识别方法及系统

技术领域

本发明属于神经网络检测图像的技术领域，更具体地，涉及基于深度学习的宫颈液基细胞检测与识别方法及系统。

背景技术

宫颈癌作为最常见的妇科恶性肿瘤，其发病率与死亡率逐年呈现出上升趋势，并且趋向年轻化，严重困扰女性的生命健康，因此早期防治十分重要。目前宫颈液基薄层细胞检测，也称为TCT检测，是对女性宫颈癌筛查的一种重要手段。在子宫颈癌普查中及早发现异常宫颈细胞，能够增加及时治疗的机会。TCT检测是应用新柏式全自动细胞制片机制备成直径为2cm的薄层细胞图片，使用体积分数为95％的酒精对样本进行酒精湿固定，随后将其置于显微镜下进行镜检，以上皮内病变细胞为阴性，其余如鳞状细胞癌(SCC)、低度鳞状上皮内病变(LSIL)、不典型鳞状细胞病变(ASCH)、高度鳞状上皮内病变(HSIL)、不典型腺上皮(AGC)均为阳性。细胞学家在显微镜下筛查宫颈涂片是常规检查中广泛使用的常规方法，消耗了细胞学家大量的时间和精力。从技术上讲，细胞学家必须在由数万个细胞组成的样本中只发现少数异常和恶性细胞，此外，由于缺乏有经验和合格的细胞学家和细胞技术人员，以及他们的诊断经验、情绪、疲劳等因素的影响，人为因素可能会导致数据误解。计算机细胞学分析适当地满足了这一迫切需要，减轻了细胞学医生的工作量，降低了潜在的误诊率。因此，基于宫颈细胞学的自动化辅助筛查已成为必要。

中国发明专利CN112380900A公开了基于深度学习的子宫液基细胞数字图像分类方法及系统，该方法包括：传图模块、检测模块和阅片模块，传图模块用于将待识别的子宫颈液基细胞数字图像传输到检测模块；检测模块用于基于训练得到的Faster-RCNN模型，实现对子宫颈液基细胞数字图像中各类细胞的检测，得到检测结果；阅片模块用于查阅所述检测结果。

但在深度学习辅助宫颈细胞学检测中，有以下客观存在的难点。

由于涉及到医患隐私，公开的宫颈细胞数据集较少，且质量不均，细胞种类有限，而深度学习恰恰需要大量的数据；其次，宫颈癌变细胞十分复杂，在目前阶段，即使利用一些方法可以对病情下结论，但由于行业特殊性，还需要医师再次观察确认，而为医师提供较为准确的参考意见，节省再判断时间是重点，而现有技术检测速度较低，且存在较多漏检测和误检测的情况；在整张宫颈细胞图像中，存在较为复杂的成分，一般要采用图像预处理的方法才能较好地利用神经网络进行识别训练，但耗时较长，且预处理后图像变换不够平滑和自然。

发明内容

本发明旨在克服上述现有技术的至少一种缺陷，提供基于深度学习的宫颈液基细胞检测与识别方法及系统，以解决现有技术中存在漏检测和误检测的情况，并目标检测的准确性和鲁棒性不足。

本发明详细的技术方案如下：

为实现上述目的，本发明提供了基于深度学习的宫颈液基细胞检测与识别方法，包括以下步骤：

S1、采集宫颈液基细胞图像数据，并经裁剪生成子图像集；

S2、对宫颈液基细胞病理图像的子图像集使用矩形框作为边界框进行异常细胞标注；

将异常细胞标注的信息保存为txt格式，保存内容包括标注边界框的类别号和中心点坐标以及边界框的宽和高，将矩形框的中心点坐标、宽、高做归一化处理；

S3、将标注完成的数据进行数据增强处理得到数据集，再将数据集划分为训练集、验证集和测试集；

S4、通过数据集对改进的YOLOv5网络模型进行训练、验证和测试，得到训练好的改进的YOLOv5网络模型；

所述改进的YOLOv5网络模型包括骨干网络、特征融合模块和头部网络；在特征融合模块的上采样操作后添加可变形卷积ODConv模块；

S5、将待分析宫颈液基细胞病理图像输入训练好的改进的YOLOv5网络模型进行识别。

进一步地，所述改进的YOLOv5网络模型的特征融合模块的上采样方式采用改进的双线性插值方法，如图6所示，具体如下：

在边界框中获取四个相邻像素点Q

四个相邻像素点先在X轴上做一次线性变换，求出图像中的每一行像素的R点的插值像素值，R

四个相邻像素点所包围的内部区域的P点计算如下：

x为P点在X轴上的坐标值，P点表示求得的R1和R2两个像素点在Y轴上做一次线性变换得到的像素插值点，x

将上述内容汇总成要计算公式f(x，y)，得到P点(x，y)：

计算P点的位置分别与Q

式中的x、y分别为P点的横坐标值和纵坐标值，x

选取离P点距离最远的一个点Q记为D点，再进行一次线性插值；

点D与点P进行线性插值，公式为：

f(T)＝a f(D)+(1-a)f(P)(8)；

上述公式中，f(D)代表点D的像素值，f(P)代表点P的像素值，xd代表点D横坐标值，y

原始YOLOv5模型中默认采用的上采样方式为最近邻插值算法，当图片放大时，缺少的像素通过直接使用与之最近原有像素值生成，放大后的图像有严重的马赛克，缩小后的图像有严重的失真，故在本发明中使用改进的双线性插值方法来代替最近邻插值算法。

进一步地，在所述改进的YOLOv5网络模型的头部网络中采用改进的非极大值抑制算法抑制检测时冗余的边界框具体为：

S41：设定边界框的置信度阈值、IOU阈值；

S42：根据置信度降序排序边界框生成候选框列表；

S43：计算候选框列表的平均重叠度；

S44：判断平均重叠率是否大于额定重叠率，所述额定重叠率优选为0.5；

S45：当平均重叠度<0.5时，选取置信度最高的候选框A添加到输出列表，并将其从候选框列表中删除；

然后计算候选框A与候选框列表中的所有候选框的IOU值，删除大于IOU阈值的候选框；保留小于IOU阈值的候选框；

S46：当平均重叠度≥0.5时，选取置信度最高的框A添加到输出列表，并将其从候选框列表中删除；

然后计算候选框A与候选框列表中所有框的IOU值，对于大于IOU阈值的候选框，选择置信度高于置信度阈值的候选框，通过降低得分策略来降低它们的置信度并保留；保留小于IOU阈值的候选框；

在Soft-NMS中降低边界框得分的策略为：

S47：重复上述过程，直到所有的候选框都被处理完毕。

进一步地，所述计算平均重叠度具体为：

S431：计算选中的候选框与其他所有候选框的重叠面积；

S432：计算选中的候选框与其他所有候选框的重叠面积与选中的候选框自身面积的比例；

S433：将候选框列表中的所有候选框的重叠率加总，并除以候选框的总数，得到平均重叠率；

具体计算平均重叠率的公式如下：

其中，overlap_area表示目标候选框之间的重叠面积，box_area表示目标候选框的面积，N表示目标候选框的总数。

本实施例还提供了一种基于深度学习的宫颈液基细胞病理图像检测与识别系统，包括的功能模块有：医学图像裁剪模块、图像标注模块、划分数据模块、图像增强模块、网络训练模块、目标检测模块：

医学图像裁剪模块：将采集的宫颈液基细胞图像进行裁剪；

图像标注模块：在系统的图像标注窗口，对图像数据进行标注，通过上传图像到系统，选择标注文件存放文件目录，然后对图像进行标注，直到图像数据全部标注完成；

划分数据模块：在系统的划分数据集窗口，通过在系统中选择数据集对应的文件目录，以及标注文件所在的文件目录，对图像数据集进行数据集划分，随机划分为训练集、验证集、测试集。划分比例可以自定义，分别存储到不同的文件目录中；

图像增强模块：在系统的图像增强窗口，进行图像增强，在本发明系统能够选用的图像增强方式包含：内切圆旋转图像增强、图像四分增强、高斯滤波、图像旋转、以及灰度直方图均衡，选择图像上传到系统后，可以选择不同图像增强的方式查看图像增强后的效果；还可以进行批量数据增强，在窗口中选择图像存放的文件目录路径，然后选择图像标注存放的文件目录路径，选择增强后导出的图像文件目录以及导出的图像增强后的标注文件存储位置，根据增强方式进行批量图像增强，增强后的图像标注信息也会相应发生改变；

网络训练模块：在系统的检测窗口，对宫颈液基细胞病理图像进行检测，首先选择权重文件，权重文件有YOLOv5网络训练结束后得到，在系统的检测窗口导入权重文件；选择要检测的图片，选择后点击检测按钮，识别异常细胞种类，并且能够将病灶区域用矩形框进行框选，并且能够显示识别为该类异常细胞的概率，系统能够自动统计异常细胞的个数，并显示在系统显示页面；还可以选择批量检测，选择测试图像所在文件目录，选择导出检测图像文件存储目录，最后点击检测按钮，能够进行图像批量检测；

目标检测模块：将图像批量检测后，系统显示页面显示全部测试图像的异常细胞类别的个数，并自动进行统计。

与现有技术相比，本发明的有益效果为：

(1)本发明提供的基于深度学习的宫颈液基细胞病理图像检测与识别方法，改进非极大值抑制(NMS)算法，根据类别的重叠度来判断使用NMS或是Soft-NMS进行目标抑制，能够保留目标的多样性，使用NMS时，目标之间的重叠率较高，可以选择保留置信度最高的目标，减少冗杂的候选框；使用Soft-NMS时，通过降低重叠候选框的置信度来保留更多的目标，提高目标多样性；减少漏检测和误检测，根据类别的重叠率进行抑制可以帮助减少漏检测和误检测的情况；通过根据类别的重叠率选择合适的抑制方法，还可以提高目标检测的准确性和鲁棒性；能够根据不同的场景和目标特点进行调节和适应。

(2)本发明提供的基于深度学习的宫颈液基细胞病理图像检测与识别方法，采用基于改进的YOLOv5深度学习网络进行训练，YOLOv5深度学习网络在目标检测任务中表现出色，具有较高的准确性和检测速度，能够应用于各种不同的目标检测场景，在本发明中在原始YOLOv5深度学习网络中引入可变形卷积，从而提高了网络对本数据集的精度。

(3)本发明提供的基于深度学习的宫颈液基细胞检测与识别方法及系统，使用改进的双线性插值，用于模型训练过程中特征融合模块的图像上采样，可以平滑地放大特征，保持图像特征的细节，减少锯齿状或块状阴影，相比于最近邻插值和原始双线性插值，能够提供更平滑和自然的变换结果。

附图说明

图1是本发明所述方法的整体流程。

图2是本发明实施例1中所述系统模块图。

图3是本发明实施例1中改进的YOLOv5网络模型图。

图4是本发明实施例1中改进的非极大值抑制算法流程图。

图5是本发明实施例1中改进双线性插值方法效果图。

图6是本发明实施例1中改进的双线性插值方法取点图。

具体实施方式

下面结合附图与实施例对本公开做进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

实施例1

本实施例提供基于深度学习的宫颈液基细胞病理图像检测与识别方法，如图1所示：

S1、采集宫颈液基细胞图像数据，并经裁剪生成子图像集；

本发明针对宫颈液基病理图像进行分类识别，先进行数据的采集，联合医院及其他权威病理专家对宫颈细胞学数字病理图像进行人工异常细胞标记，生成用于人工智能深度学习的图像资源，宫颈液基细胞全视野病理数字切片图像像素一般在几万×几万的像素左右，切片过大不能直接送入模型进行训练，需要经过裁剪操作，将切片图像裁剪成为1000×1000像素大小的图像区域，宫颈液基细胞病理数字切片经裁剪生成子图像集。

S2、对宫颈液基细胞病理图像的子图像集使用矩形框作为边界框进行异常细胞标注；

对宫颈液基细胞病理图像进行标注，本发明系统中对六类异常细胞进行标注，分别为低度鳞状上皮内病变细胞(LSIL)、意义不明确的非典型鳞状上皮细胞(ASC-US)、高度鳞状上皮内病变(HSIL)、非典型性腺细胞(AGC-NOS)、子宫腺癌细胞(ADE)、线索细胞(BO)，使用矩形框对目标位置进行标记，将异常细胞标注的信息保存为txt格式，保存内容包括标注矩形框的类别号和中心点坐标以及矩形框的宽和高，将其中矩形框的中心点坐标、宽、高做归一化处理，文件名与图像名称一致。

S3、将标注完成的数据进行数据增强处理得到数据集，再将数据集划分为训练集、验证集和测试集：

本发明系统应用了宫颈液基细胞病理检测少样本图像数据增强方法，能够自动的增广标注完成的图像数据集，在原始数据集的图像数量基础上成倍数增长，增强后的图像能够满足深度学习网络的训练要求，并且能够提高网络模型对宫颈癌细胞的识别学习能力和泛化学习能力。

S4、通过数据集对改进的YOLOv5网络模型进行训练、验证和测试，得到训练好的改进的YOLOv5网络模型，如图3所示；

所述改进的YOLOv5网络模型包括骨干网络、特征融合模块和头部网络；所述骨干网络用于特征提取；所述特征融合模块用于融合不同尺度的特征，能够实现从不同的主干层对不同的检测层进行特征的参数聚合，得到预测的特征图；在所述头部网络，采用NMS进行非极大值抑制检测时冗余的框；

具体的，在特征融合模块的上采样操作后添加可变形卷积ODConv模块。

传统的卷积操作是通过在输入图像上滑动固定大小的卷积核，对每个位置的局部感受野进行加权求和。然而，在某些情况下，固定大小的卷积核无法很好地适应图像中的复杂形状和空间变化；

可变形卷积ODConv模块通过引入额外的可学习参数来对卷积核进行偏移，从而使卷积核的形状能够动态地适应输入图像的变化。可变形卷积ODConv模块将每个卷积核的采样点从原始位置偏移到新的位置，这些新位置由网络学习得到；

可变形卷积ODConv模块能够对局部特征进行形变建模；从而更好地捕捉目标的形状变化和细节信息。传统的卷积操作在感受野内只能进行固定位置的采样，而可变形卷积ODConv模块可以根据目标的具体形状进行灵活的采样，提高特征表示的能力。

进一步地，所述改进的YOLOv5网络模型的特征融合模块的上采样方式采用改进的双线性插值方法，如图6所示，具体如下：

在边界框中获取四个相邻像素点Q

四个相邻像素点先在X轴上做一次线性变换，求出图像中的每一行像素的R点的插值像素值，R

式中，x为P点在X轴上的坐标值，P点表示求得的R1和R2两个像素点在Y轴上做一次线性变换得到的像素插值点，x

该区域(在四个相邻像素点Q

将上述内容汇总成要计算公式f(x，y)，得到P点(x，y)：

通过P点的位置计算与Q

式中的x、y分别为P点的横坐标值和纵坐标值，x

选取离P点距离最远的一个点Q记为D点再进行一次线性插值；

点D与点P进行线性插值，公式为：

f(T)＝a f(D)+(1-a)f(P)(8)；

上述公式中，，f(D)代表点D的像素值，f(P)代表点P的像素值，x

在原始YOLOv5模型中默认采用的上采样方式为最近邻插值算法，当图片放大时，缺少的像素通过直接使用与之最近原有像素值生成，放大后的图像有严重的马赛克，缩小后的图像有严重的失真，在本发明中使用改进的双线性插值方式来代替最近邻插值算法；

相比普通的双线性插值，本发明改进的双线性插值算法具有以下优势，具体如图5所示：

可提供更高的插值质量，可以更准确地重构图像细节，减少伪影和锯齿状边缘的出现；传统的双线性插值方法在图像放大时可能会导致边缘模糊或丢失细节，而改进的双线性插值算法能够更好地保持边缘信息，减少图像放大时的边缘模糊问题，从而提高图像的视觉质量。

改进的双线性插值算法考虑更多的像素信息，以更好地估计目标像素的值；改进的双线性插值算法可以更好地保持图像的明亮度，相比传统的双线性插值采样明亮度能够提高2-3％。

传统的双线性插值方法可能在图像放大时产生锯齿状的边缘或伪影，这会影响图像的光滑性，改进的算法通过更复杂的插值计算，能够更准确地重构图像细节，减少锯齿状边缘的出现，使得图像光滑度能够提高30-40％。可变形卷积ODConv模块可以自适应地调整感受野的形状和采样点的位置，以适应目标的形变和位置变化，结合上述改进的上采样方式，可以在高分辨率特征图中进行更精细的形变建模，提升对目标形变的感知能力，这有助于改善目标检测模型对于不同尺度和形状变化目标的准确性和鲁棒性。

进一步地，在所述改进的YOLOv5网络模型的头部网络中采用改进的非极大值抑制算法抑制检测时冗余的边界框如图4所示，具体为：

S41：设定边界框的置信度阈值、IOU阈值；

S42：根据置信度降序排序边界框生成候选框列表；

S43：计算候选框列表的平均重叠度；

S44：判断平均重叠率是否大于额定重叠率，所述额定重叠率优选为0.5；

S45：当平均重叠度<0.5时，选取置信度最高的候选框A添加到输出列表，并将其从候选框列表中删除；

然后计算候选框A与候选框列表中的所有候选框的IOU值，删除大于IOU阈值的候选框；保留小于IOU阈值的候选框；

S46：当平均重叠度≥0.5时，选取置信度最高的框A添加到输出列表，并将其从候选框列表中删除；

然后计算候选框A与候选框列表中所有框的IOU值，对于大于IOU阈值的候选框，选择置信度高于置信度阈值的候选框，通过降低得分策略来降低它们的置信度并保留；保留小于IOU阈值的候选框；

对于重叠率高于预定义阈值的候选框，降低其得分；在Soft-NMS中降低边界框得分的策略为：

在上述公式中，S

S47：重复上述过程，直到所有的候选框都被处理完毕。

平均重叠率是一种常用的指标，用于衡量目标检测任务中目标之间的平均重叠程度。它计算目标边界框之间的重叠面积与目标边界框总面积的比例，并取平均值，进一步地，所述计算平均重叠度具体为：

S431：计算选中的候选框与其他所有候选框的重叠面积；

S432：计算选中的候选框与其他所有候选框的重叠面积与选中的候选框自身面积的比例；

S433：将候选框列表中的所有候选框的重叠率加总，并除以候选框的总数，得到平均重叠率；

具体计算平均重叠率的公式如下：

其中，overlap_area表示目标候选框之间的重叠面积，box_area表示目标候选框的面积，N表示目标候选框的总数。

S5、将待分析宫颈液基细胞病理图像输入训练好的改进的YOLOv5网络模型进行识别。

本实施例还提供了一种基于深度学习的宫颈液基细胞病理图像检测与识别系统，如图2所示，包括医学图像裁剪模块、图像标注模块、划分数据模块、图像增强模块、网络训练模块、目标检测模块：

医学图像裁剪模块：将采集的宫颈液基细胞图像进行裁剪。

图像标注模块：对图像数据进行标注，通过上传图像到系统，选择标注文件存放文件目录，然后对图像进行标注，直到图像数据全部标注完成。

数据划分模块：在系统的划分数据集窗口，通过在系统中选择数据集对应的文件目录，以及标注文件所在的文件目录，对图像数据集进行数据集划分，随机划分为训练集、验证集、测试集。划分比例可以自定义，分别存储到不同的文件目录中。

图像增强模块：在系统的图像增强窗口，进行图像增强，在本发明系统能够选用的图像增强方式包含：内切圆旋转图像增强、图像四分增强、高斯滤波、图像旋转、以及灰度直方图均衡。选择图像上传到系统后，可以选择不同图像增强的方式查看图像增强后的效果；还可以进行批量数据增强，在窗口中选择图像存放的文件目录路径，然后选择图像标注存放的文件目录路径，选择增强后导出的图像文件目录以及导出的图像增强后的标注文件存储位置。根据增强方式进行批量图像增强，增强后的图像标注信息也会相应发生改变。

网络训练模块：将训练集、验证集、测试集输入搭建的改进的YOLOv5网络模型进行模型训练。

目标检测模块：在系统的检测窗口首先选择权重文件，权重文件有YOLOv5网络训练结束后得到，在系统的检测窗口导入权重文件；选择要检测的图片，选择后点击检测按钮，识别异常细胞种类，并且能够将病灶区域用矩形框进行框选，并且能够显示识别为该类异常细胞的概率，系统能够自动统计异常细胞的个数，并显示在系统显示页面。还可以选择批量检测，选择测试图像所在文件目录，选择导出检测图像文件存储目录，最后点击检测按钮，能够进行图像批量检测，并通过系统显示页面显示全部测试图像的异常细胞类别的个数以及自动进行统计。

以下为本发明精度对比结果：

本发明与改进前原模型的精确度和平均精度均值对比图：

由上表可得出，本发明改进后的YOLOv5模型在宫颈液基异常细胞病理图像的检测中准确率和召回率均有提高，其中准确率提高了4.6％，召回率提升了0.7％。

显然，本发明的上述实施例仅仅是为清楚地说明本发明技术方案所作的举例，而并非是对本发明的具体实施方式的限定。凡在本发明权利要求书的精神和原则之内所做的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。