基于深度学习的癌细胞检测方法、系统及介质

技术领域

本发明涉及癌细胞检测方法，特别涉及一种基于深度学习的癌细胞检测方法、系统及介质。

背景技术

目前人工智能技术的理论研究日渐成熟，随着人工智能技术应用于生活、学习、工作等方面的普及，利用人工智能技术应用于医疗诊断与医疗服务是未来医疗技术发展的必然趋势。基于深度学习的癌细胞目标检测系统实现是人工智能+医疗应用于癌症诊断的核心环节。

癌细胞检测是从复杂的细胞图像中识别出是否含有癌细胞，对存在癌细胞的图像，给出癌细胞在图像中的具体位置信息及大小并进行准确标注，从而可以进一步去完成识别等工作。目前的目标检测网络在实际应用中存在模型权重参数过多、存储消耗大、速度与精度难以权衡等问题。本发明提出了一种改进的Yolov5轻量级目标检测网络，充分利用Yolov5在数据集上收敛速度快，模型可定制性强的优点，实现了癌细胞图像小目标检测的优良效果。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于深度学习的癌细胞检测方法，能够实现癌细胞图像小目标检测的优良效果。

本发明还提出一种基于深度学习的癌细胞检测系统。

本发明还提出一种实施上述方法的计算机可读存储介质。

根据本发明的第一方面实施例的基于深度学习的癌细胞检测方法，包括：S100、数据预处理，包括对非癌细胞图像和癌细胞图像添加类别及位置的数据标签，得到数据集；S200、基于Yolov5目标检测网络对所述数据集进行训练，得到检测模型；S300、基于所述检测模型对输入的癌细胞图像进行检测，输出检测结果。

根据本发明的一些实施例，所述步骤S100包括：对所述癌细胞图像进行数据增强，得到增强后的数据集。

根据本发明的一些实施例，所述对癌细胞图像进行数据增强步骤包括：S110、批量获取癌细胞图像；S120、对癌细胞图像进行特征提取；S130、对癌细胞图像进行随机缩放和/或随机裁剪和/或随机排布；S140、将步骤S120和步骤S130处理得到的图像进行数据集扩展后添加至训练集、测试集和验证集。

根据本发明的一些实施例，所述步骤S200包括：S210、进行自适应锚框计算，输出预测框并与真实框进行比对，计算两者差距，再反向更新，迭代网络参数；S220、通过Focus网络和CSP网络对癌细胞图像进行特征提取并确定癌细胞边界框；S230、通过FPN网络和PAN网络进行癌细胞图像分类预测；S340、通过计算GIoU_Loss值评估检测效果。

根据本发明的一些实施例，所述步骤S210包括：S211、对设置的所有bbox进行随机变换；S212、通过预设锚框值基于图框规则对bbox计算召回率；S213、若所述召回率小于预设的阈值，基于遗传算法和k-means算法重新计算锚框值，不断迭代保存召回率最高的锚框。

根据本发明的一些实施例，所述步骤S230包括：所述FPN网络基于bottom-up与top-down的结构实现从下到上不同维度的特征生成，从上到下对特征进行补充增强，并输出不同维度特征和CNN网络提取的特征之间的关联表达。

根据本发明的一些实施例，所述数据集划分为训练集、测试集和验证集，分别供检测模型进行训练、交叉验证以及性能测试。

根据本发明的一些实施例，所述方法还包括：进行性能评估，基于标准精度P和召回率R来计算平均检测精度指标AP。

根据本发明的第二方面实施例的基于深度学习的癌细胞检测系统，包括：数据增强模块，用于对癌细胞图像进行数据增强，得到增强后的数据集；数据预处理模块，用于对非癌细胞图像和所述增强后的数据集中的癌细胞图像添加类别及位置的数据标签，得到数据集；自适应锚框计算模块，用于对所述数据集进行自适应锚框计算，输出预测框并与真实框进行比对，计算两者差距，再反向更新，迭代网络参数；边界框确定模块，用于通过Focus网络和CSP网络对癌细胞图像进行特征提取并确定癌细胞边界框；分类预测模块，用于通过FPN网络和PAN网络进行癌细胞图像分类预测；检测效果评价模块，用于通过计算GIOU_Loss值检测效果，将期望的癌细胞检测结果输出。

本发明实施例至少具有如下有益效果：本发明以改进的Yolov5模型为主体，将多种尺度的特征进行融合实现检测，能够实现癌细胞图像小目标检测的优良效果。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的方法的流程示意图。

图2为本发明实施例的系统的模块示意框图。

图3为本发明实施例的系统的实现方案的示意图。

图4为本发明实施例的改进的Yolov5网络结构模型示意图。

图5为本发明实施例的癌细胞数据增强实现方案的示意图。

图6为本发明实施例的FPN实现癌细胞目标检测模型的示意图。

图7为本发明实施例的输出细胞检测结果示意图。

图8为本发明实施例的癌细胞目标检测结果的效果示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个及两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

参照图1，本发明实施例的方法包括以下步骤：

S100、数据预处理，包括对非癌细胞图像和癌细胞图像添加类别及位置的数据标签，得到数据集；

S200、基于Yolov5目标检测网络对数据集进行训练，得到检测模型；

S300、基于检测模型对输入的癌细胞图像进行检测，输出检测结果。

参照图2，本发明实施例的系统包括：数据增强模块，用于对癌细胞图像进行数据增强，得到增强后的数据集；数据预处理模块，用于对非癌细胞图像和增强后的数据集中的癌细胞图像添加类别及位置的数据标签，得到数据集；自适应锚框计算模块，用于对数据集进行自适应锚框计算，输出预测框并与真实框进行比对，计算两者差距，再反向更新，迭代网络参数；边界框确定模块，用于通过Focus网络和CSP网络对癌细胞图像进行特征提取并确定癌细胞边界框；分类预测模块，用于通过FPN网络和PAN网络进行癌细胞图像分类预测；检测效果评价模块，用于通过计算GIoU_Loss值检测效果，将期望的癌细胞检测结果输出。

参照图3，本发明实施例的癌细胞检测系统以改进的Yolov5模型为主体，将多种尺度的特征进行融合实现检测。该系统主要由癌细胞图像输入并进行癌细胞图像数据增强，在增强后的数据集基础上，对癌细胞图像和其他细胞图像添加类别及位置的数据标签，将其划分为训练集(Train Set)、测试集(Test Set)和验证集(Val Test)，分别供模型进行训练、交叉验证以及性能测试所使用。下来就是确定癌细胞目标锚框，通过Focus网络和CSP网络实现癌细胞分类并确定癌细胞边界框、通过FPN和PAN相结合实现预测，最后通过GIoU_Loss值检测效果评价指标，实现期望的癌细胞检测结果输出。

其中，本实施例采用的改进的Yolov5网络模型如图4所示。整个网络分为输入端、主干网、Neck、预测四个部分。在输入端采用了Mosaic数据增强、自适应锚框计算，对预测的正样本锚框进行了可视化；主干网络环节采用了Focus结构和CSP结构，可以实现不同大小不同复杂度的模型设计；Neck环节采用FPN+PAN结构；Prediction预测环节采用GIoU_Loss操作。

本实施例中，改进的yolov5模型主要体现在以下几方面：

1、FPN多尺度特征融合在癌细胞特征提取上的运用；

2、Mosaic数据增强，本方案使用的数据增强方法可以提升小目标的检测效果；

3、灵活配置了残差神经网络，利用残差神经网路随着网络深度的加深克服梯度消失和网络退化问题，使得信息前后向传播更加顺畅。

本改进的Yolov5目标识别检测网络主要具备以下创新点：

(1)通过灵活的配置参数，可以得到不同复杂度的模型；通过一些内置的超参优化策略，提升整体性能；

(2)采用了Mosaic增强，扩展癌细胞数据集，提升小物体目标检测性能；

(3)通过改进的残差神经网络有效提高癌细胞识别率；

(4)通过改进的特征金字塔网络和感知对抗网络进行癌细胞特征融合与映射，提高了癌细胞特征提取能力；

(5)通过GIoU_Loss损失值的判断与迭代更新，更好地判断检测结果输出性能。

参照图5，在一些实施例中，本发明的采用了数据增强的手段。数据增强是提升模型泛化能力的重要手段，是防止过拟合最简单有效的方法。因癌细胞目标检测训练集数据不够，标记新数据的成本较高，通过数据增强向训练数据添加转换或扰动来人工增加训练数据集。在Yolov5的输入端采用Mosaic数据增强方法，通过随机缩放、随机裁剪、随机排布的方式进行拼接，对癌细胞这类小目标的检测效果会更好，癌细胞数据增强操作流程如图5所示。

其中，本发明实施例采用了自适应锚框计算。在Yolov5算法中，针对不同的数据集都会有初始设定长宽的锚宽。在网络训练中，网络在初始锚框的基础上输出预测框，进而和真实框进行比对，计算两者差距，再反向更新，迭代网络参数。Yolov5在训练不同的数据集时，将计算初始框的值嵌入到代码中，每次训练时，自适应地计算不同训练集中的最佳锚框值。具体实现过程如下：

1、考虑到数据有进行随机增强，对数据设置的所有bbox进行随机变换；

2、利用预设锚框值基于图框规则对bbox计算最佳召回率。具体细节是：先利用n个bbox，shape＝nx2，和9个锚框计算wh比例值；取wh中的最小值；取9个锚框中最大的比例值；比例值大于阈值，则认为匹配，计算匹配比例即可。由于其计算过程是max(min())，故是最大可能召回率。

3、如果召回率大于0.98，则不用优化了，直接返回；如果小于0.98，则利用遗传算法+kmean重新计算锚框值；一直迭代保存召回率最高的锚框即可。

参照图6，本发明实施例采用多尺度预测FPN。特征金字塔网络FPN(featurepyramid network)采用bottom-up与top-down的结构，实现了低层特征和高层语义特征的融合，提高了特征映射的信息密度和分辨率，运用于癌细胞目标检测，提高了小目标物体的检测效果，区别于SSD，FPN每层都是独立预测的，其网络结构如图4所示。FPN的预测是在各个特征层上独立执行，让深层特征经过上采样与低层特征进行融合，再用3×3的卷积核卷积各个合并结果以消除上采样的混叠效应。FPN主要分为三步：1)从下到上不同维度的特征生成；2)从上到下对特征进行补充增强；3)输出不同维度特征和CNN网络提取的特征之间的关联表达。

本发明实施例中采用了感知对抗网络PAN。PAN(Perceptual AdversarialNetwork，PAN)，能持续地自动发现输出与真实图像之间差异，提高目标检测性能。感知损失(Perceptual Loss)是一种评估输出图像和真实图像之间差异的标准，一般使用训练好的图像分类网络提取输出图像和真实图像的高级特征(比如内容、纹理等)，通过缩小这些高级特征之间的差异，训练模型将输入图像转变为与真实图像拥有相同高级特征的输出。

本发明实施例通过计算GIoU_Loss值检测效果。损失函数是衡量深度学习的预测模型在预测期望结果方面重要的性能指标，本项目的损失函数GIoU_Loss(GeneralizedIntersection over Union)是为了克服IoU的梯度消失问题，提出来的一种边框预测损失计算方法，解决了IoU在两个候选框完全没有交集时，损失为0不可优化的状况。在目标检测领域，需要将预测边框与实际标注边框进行比对，计算损失来评价目标检测效果。GIoU_Loss损失函数的求解过程如下：

其中，输入的两个集合A和B是任意的两个物体，C是包围A和B的最小体积(或面积)，S是包含A和B的并集，Rn是有单独个体的集合，当A、B是什么形状，C就是什么形状。当预测边框和实际边框两个框重叠区域越大，损失越小，反之越大。

本发明实施例的目标检测模型首先使用特征提取网络获取不同尺度的特征图，然后在这些特征图的基础上，通过多层预测网络实现对不同尺度目标位置及类别的检测。为了满足癌细胞目标智能检测的需要，特征提取网络在结构和功能方面满足以下几点：

1)特征提取网络具有强大的非线性特征挖掘能力；

2)为实现模型运行的速度较快，网络结构的计算复杂度要相对较低；

3)模型鲁棒性要较强，不易在训练过程中出现梯度消失或梯度弥散等问题。

具体实现方式为，数据集选取官网公开的乳腺癌数据2000张，宫颈癌数据集2000张，从医院病理科获取的正常细胞图像2000张和正常细胞与癌细胞混合的细胞图像1000张，共7000张细胞图像，通过数据增强处理共得到12000张图像，随机选取80％用于训练，剩下的20％用于测试。在性能评估方面，使用标准精度P和召回率R来计算平均检测精度指标AP，同时F1值(F1—score)也是一个重要的参考指标。这些指标的定义如下：

式中，RecallRate表示召回率，PrecisionRate表示精确率。TP、FN、FP分别表示真阳性(ture positive)、假阴性(false negtive)和假阳性(false positive)样本。

如图7所示，图7为细胞检测结果输出，other表示血小板等其他组织，RBC为红细胞。

如图8所示，输出癌细胞目标检测结果。Cervical表示宫颈癌细胞，WBC表示白细胞，RBC表示红细胞。

尽管本文描述了具体实施方案，但是本领域中的普通技术人员将认识到，许多其它修改或另选的实施方案同样处于本公开的范围内。例如，结合特定设备或组件描述的功能和/或处理能力中的任一项可以由任何其它设备或部件来执行。另外，虽然已根据本公开的实施方案描述了各种例示性具体实施和架构，但是本领域中的普通技术人员将认识到，对本文所述的例示性具体实施和架构的许多其它修改也处于本公开的范围内。

上文参考根据示例性实施方案所述的系统、方法、系统和/或计算机程序产品的框图和流程图描述了本公开的某些方面。应当理解，框图和流程图中的一个或多个块以及框图和流程图中的块的组合可分别通过执行计算机可执行程序指令来实现。同样，根据一些实施方案，框图和流程图中的一些块可能无需按示出的顺序执行，或者可以无需全部执行。另外，超出框图和流程图中的块所示的那些部件和/或操作以外的附加部件和/或操作可存在于某些实施方案中。

因此，框图和流程图中的块支持用于执行指定功能的装置的组合、用于执行指定功能的元件或步骤的组合以及用于执行指定功能的程序指令装置。还应当理解，框图和流程图中的每个块以及框图和流程图中的块的组合可以由执行特定功能、元件或步骤的专用硬件计算机系统或者专用硬件和计算机指令的组合来实现。

上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。