一种用于对宫颈细胞图像进行分类的系统

技术领域

本公开实施例涉及图像识别技术领域，特别是涉及一种用于对基于流式细胞显微成像技术所获取的宫颈细胞图像进行分类的系统、电子设备及计算机可读存储介质。

背景技术

宫颈癌是常见的妇科恶性肿瘤，我国一年宫颈癌发病人数约为11万人，占全球的五分之一以上。适时地进行宫颈癌筛查，有利于控制宫颈癌发病人数，降低癌症的发病率和死亡率。

TCT检查是液基薄层细胞检查的简称，是宫颈癌筛查的基本方法之一。医生通过毛刷收集脱落的宫颈脱落细胞，加入细胞保存液中，再经过离心、染色制片处理后，在显微镜下观察细胞形态，对脱落的宫颈细胞进行分类识别，进而判断患者是否出现癌变。整个检查过程时间长，相当耗人力，在大规模检查下医生的工作量大。流式细胞仪检测速度快，可以高达上千个细胞每秒，但其检测得到的信息维度少，无法通过细胞体积形态等高维度信息来对细胞进行分类，因此精度不高，通常只能用作定量分析，常用于细胞的初筛。

尽管目前有些宫颈细胞分类算法实现显微镜图像的细胞分类，但是这种方式还是依赖于显微镜图像，需要制片和在显微镜下拍摄等操作。

为了解决上述宫颈脱落细胞识别问题，提出了一种改进的基于流式显微成像装置的宫颈细胞分类系统。

发明内容

考虑到以上问题而做出了本公开。本公开的一个目的是提供一种用于对宫颈细胞图像进行分类的系统、电子设备及计算机可读存储介质。

本公开的实施例提供了一种用于对宫颈细胞图像进行分类的系统，包括：流式显微成像装置，对包括脱落的宫颈细胞的待检测液体样本中的微粒进行图像采集，并获得仅包括单个微粒的一个或多个单微粒图像；筛选装置，利用基于第一级神经网络的预分类模型对所获取的一个或多个单微粒图像进行预分类，以从所述一个或多个单微粒图像中筛选出宫颈细胞图像；图像分割装置，利用基于第二级神经网络的图像分割模型对所述宫颈细胞图像进行图像分割，以将所述宫颈细胞图像分割为第一区域、第二区域和第三区域；以及分类装置，根据所分割的区域确定表征所述宫颈细胞的形态学特征的多个特征参数，并基于所述多个特征参数，利用基于第三级神经网络的分类模型来识别所述宫颈细胞的类别。

例如，根据本公开的实施例的系统，其中，所述待检测液体样本是通过以下步骤获得的：对待处理的原始液体进行离心操作，以获取所述待处理的原始液体中的多个微粒；将经过离心操作所获取的多个微粒的上清去除，并将去除了上清的多个微粒重悬于微粒固定液中；以及对经过重悬的细胞固定液进行移液处理以获得待检测液体样本，其中所述待检测液体样本中的所有微粒处于单微粒状态。

例如，根据本公开的实施例的系统，其中，所述流式显微成像装置包括光源、聚光透镜组、流式管道、显微物镜、筒镜、相机，所述流式显微成像装置通过控制待检测液体样本的流动来控制待检测液体样本中的微粒稳定地流过所述流式管道的中央；所述光源被配置为发射可见光光束；所述聚光透镜组被配置为聚集所述光束并将所述光束均匀地照射在所述流式管道上；所述显微物镜采用无限远物镜，对焦在所述流式管道中心，对流过的微粒进行成像；所述筒镜将无限远物镜的出射的光汇聚成像，调节筒镜的焦距可以调整成像的放大倍数；以及所述相机位于所述筒镜的后焦面，对所放大的像进行拍摄，以获得包括微粒的图像。

例如，根据本公开的实施例的系统，其中，利用流式显微成像装置对包括脱落的宫颈细胞的待检测液体样本中的微粒进行图像采集，并获得仅包括单个微粒的一个或多个单微粒图像包括：响应于微粒经过所述流式显微成像装置的流式管道，获取包括微粒的图像；确定所述包括微粒的图像中一个或多个微粒区域的定位；以及基于所述一个或多个微粒区域的定位，从所述包括微粒的图像中切割出仅包括单个微粒的一个或多个单微粒图像。

例如，根据本公开的实施例的系统，其中，确定所述包括微粒的图像中一个或多个微粒区域的定位包括：响应于没有微粒经过所述流式显微成像装置的流式管道，获取不包括微粒的图像；将所述包括微粒的图像与所述不包括微粒的图像的像素值逐像素相减，以获得残差图像；对所述残差图像进行二值化处理，以获得二值化后的残差图像；将所述二值化后的残差图像中像素值为1的区域确定为所述一个或多个微粒区域在所述残差图像中的定位；以及将所述包括微粒的图像中的与所述残差图像中的一个或多个微粒区域的定位相对应的像素区域确定为所述一个或多个微粒区域在所述包括微粒的图像中的定位。

例如，根据本公开的实施例的系统，其中，基于所述一个或多个微粒区域的定位，从所述包括微粒的图像中切割出仅包括单个微粒的一个或多个单微粒图像包括：基于所述一个或多个微粒区域在所述包括微粒的图像中的定位，在所述包括微粒的图像中确定围绕所述一个或多个微粒区域的一个或多个最小矩形区域，以及从所述包括微粒的图像中切割出所述一个或多个最小矩形区域，以作为所述一个或多个单微粒图像；或将所述一个或多个最小矩形区域向四周延伸预定数量的像素，并从所述包括微粒的图像中切割出一个或多个延伸后的矩形区域，以作为所述一个或多个单微粒图像；或以所述一个或多个微粒中的每一个微粒区域为中心，从所述包括微粒的图像中切割出大于每一个微粒区域且具有固定尺寸的区域，以作为所述一个或多个单微粒图像。

例如，根据本公开的实施例的系统，其中，所述第一级神经网络是预先训练好的基于神经网络的二分类模型，其被训练为对完整的宫颈细胞图像与杂质图像和/或破损细胞图像和/或成团细胞图像进行分类，并筛选出完整的宫颈细胞图像。

例如，根据本公开的实施例的系统，所述第二级神经网络是预先训练好的基于神经网络的图像分割模型，其中，利用基于所述第二级神经网络的图像分割模型对所述宫颈细胞图像进行图像分割，以将所述宫颈细胞图像分割为第一区域、第二区域和第三区域包括：将所述宫颈细胞图像中的第一区域中的每一个像素识别并标记为第一区域像素，所述第一区域为所述宫颈细胞图像的背景区域，将所述宫颈细胞图像中的第二区域中的每一个像素识别并标记为第二区域像素，所述第二区域为所述宫颈细胞图像的细胞区域；以及将所述宫颈细胞图像中的第三区域中的每一个像素识别并标记为第三区域像素，所述第三区域为所述宫颈细胞图像的细胞核区域。

例如，根据本公开的实施例的系统，其中，所述基于神经网络的图像分割模型是基于Unet的神经网络模型。

例如，根据本公开的实施例的系统，其中，所述第三级神经网络为预先训练好的全连接神经网络，所述第三级神经网络的输入层的神经元的数量等于基于所述图像分割所提取的特征参数的数量，所述全连接神经网络的输出层的神经元的数量等于细胞类别的数量，所述第三级神经网络被训练为根据基于所述图像分割所提取的特征参数识别宫颈细胞的类别。

例如，根据本公开的实施例的系统，其中，所述分类装置根据所分割的区域确定表征所述宫颈细胞的形态学特征的多个特征参数，并基于所述多个特征参数，利用基于第三级神经网络的分类模型来识别所述宫颈细胞的类别包括：基于所述宫颈细胞图像的图像分割后的第二区域和第三区域，计算表征所述宫颈细胞图像的多个特征参数；基于所述多个特征参数构造所述宫颈细胞图像的特征向量；将所述多个宫颈细胞图像的特征向量输入到所述第三级神经网络中以识别所述宫颈细胞的类别。

例如，根据本公开的实施例的系统，其中，所述宫颈细胞的类别包括正常细胞、低级病变细胞、高级病变细胞、角质病变细胞和非典型细胞中的一种或多种。

例如，根据本公开的实施例的系统，其中，所述多个特征参数包括关于第二区域的形态学特征的参数，包括指示细胞面积的第一参数、指示细胞直径的第二参数、指示细胞周长的第三参数、指示细胞圆度的第四参数；所述多个特征参数还包括关于第三区域的形态学特征的参数，包括指示细胞核面积的第五参数、指示细胞核直径的第六参数、指示细胞核周长的第七参数和指示细胞核圆度的第八参数。

例如，根据本公开的实施例的系统，其中，基于所述宫颈细胞图像的图像分割后的第二区域和第三区域，计算表征所述宫颈细胞图像的多个特征参数包括：计算所有第二区域像素的总数量，以作为所述第一参数；计算相距最远的两个第二区域像素之间的距离，以作为所述第二参数；计算所述第二区域边界上的第二区域像素的总数量，以作为所述第三参数；计算所述第一参数和第二参数之比，作为述第四参数；计算所有第三区域像素的总数量，以作为所述第五参数；计算相距最远的两个第三区域像素之间的距离，以作为所述第六参数；计算所述第三区域边界上的第三区域像素的总数量，以作为所述第七参数；以及计算所述第五参数和第六参数之比，作为所述第八参数。

本公开的实施例还提供了一种电子设备，包括存储器和处理器，其中，所述存储器上存储有处理器可读的程序代码，当处理器执行所述程序代码时，执行以下步骤：使得流式显微成像装置对包括脱落的宫颈细胞的待检测液体样本中的微粒进行图像采集，并获得仅包括单个微粒的一个或多个单微粒图像；利用基于第一级神经网络的预分类模型对所获取的一个或多个单微粒图像进行预分类，以从所述一个或多个单微粒图像中筛选出宫颈细胞图像；利用基于第二级神经网络的图像分割模型对所述宫颈细胞图像进行图像分割，以将所述宫颈细胞图像分割为第一区域、第二区域和第三区域；以及根据所分割的区域确定表征所述宫颈细胞的形态学特征的多个特征参数，并基于所述多个特征参数，利用基于第三级神经网络的分类模型来识别所述宫颈细胞的类别。

本公开的实施例还提供了一种计算机可读存储介质，其上存储有计算机可执行指令，所述计算机可执行指令用于执行以下步骤：使得流式显微成像装置对包括脱落的宫颈细胞的待检测液体样本中的微粒进行图像采集，并获得仅包括单个微粒的一个或多个单微粒图像；利用基于第一级神经网络的预分类模型对所获取的一个或多个单微粒图像进行预分类，以从所述一个或多个单微粒图像中筛选出宫颈细胞图像；利用基于第二级神经网络的图像分割模型对所述宫颈细胞图像进行图像分割，以将所述宫颈细胞图像分割为第一区域、第二区域和第三区域；以及根据所分割的区域确定表征所述宫颈细胞的形态学特征的多个特征参数，并基于所述多个特征参数，利用基于第三级神经网络的分类模型来识别所述宫颈细胞的类别。

与传统的显微镜拍摄方式不同，本申请利用流式显微成像装置来进行宫颈脱落细胞图像的采集，能够实现宫颈细胞图像的快速拍摄与切割，从而获得仅包括单个微粒的单微粒图像。在获得仅包括单个微粒的单微粒图像之后，进一步提出基于深度学习的预分类机制和图像分割机制，实现杂质的滤除和完整宫颈细胞的筛选以及宫颈细胞的图像区域的分割，以便于基于分割区域获取细胞形态学特征参数，实现宫颈细胞种类的快速识别与区分。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例的描述中所需要使用的附图作简单的介绍。下面描述中的附图仅仅是本公开的示例性实施例。

图1示出了根据本公开实施例的流式细胞显微成像装置的示意图；

图2示出了根据本公开实施例的用于对宫颈细胞图像进行分类的系统200；

图3示出了利用流式显微成像装置对包括脱落的宫颈细胞的待检测液体样本中的微粒进行图像采集，并获得仅包括单个微粒的一个或多个单微粒图像的步骤；

图4示出了UNet网络架构的示意图；

图5示出了基于图像分割模型对宫颈细胞进行三分类分割后得到的效果图；

图6的(a)示出了本公开实施例的第三级神经网络的一个示例性结构。

图6的(b)示出了基于训练好的第三级神经网路对宫颈脱落细胞样本图像进行分类后识别得到的五种类型的细胞图像；

图7示出了根据本公开一个实施例的用于对宫颈细胞进行分类的电子设备的示意性框图；以及

图8示出了根据本公开的实施例的用于对宫颈细胞进行分类的电子设备所执行的对宫颈细胞进行分类的步骤；

图9示出了根据本公开的实施例的用于对宫颈细胞进行分类的电子设备的架构；以及

图10示出了根据本公开的实施例的存储介质的示意图。

具体实施方式

下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述，显而易见地，所描述的实施例仅仅是本申请的部分实施例，而不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于本申请保护的范围。

本说明书中使用的术语是考虑到关于本公开的功能而在本领域中当前广泛使用的那些通用术语，但是这些术语可以根据本领域普通技术人员的意图、先例或本领域新技术而变化。此外，特定术语可以由申请人选择，并且在这种情况下，其详细含义将在本公开的详细描述中描述。因此，说明书中使用的术语不应理解为简单的名称，而是基于术语的含义和本公开的总体描述。

虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。

本申请中使用了流程图来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

下面通过几个示例或实施例对根据本公开至少一个实施例提供的用于对宫颈细胞图像进行分类的系统进行非限制性的说明，如下面所描述的，在不相互抵触的情况下这些具体示例或实施例中不同特征可以相互组合，从而得到新的示例或实施例，这些新的示例或实施例也都属于本公开保护的范围。

传统的TCT检测需取宫颈脱落细胞，经离心染色后，由医生在显微镜下观察细胞形态，再根据细胞形态对细胞进行分类。整个细胞识别过程依赖人力，耗时、效率低。为了解决整个宫颈脱落细胞的识别过程，本公开提出了一种用于对宫颈细胞图像进行分类的系统。

根据本公开实施例用于对宫颈细胞图像进行分类的系统包括流式显微成像装置，兼具拍摄和切割功能，能够快速对包含宫颈脱落细胞的待检测液体样本进行拍摄以获取包括一个或多个微粒(例如，细胞和杂质等)的图像，并实现微粒区域的切割，从而获得仅包括单个微粒的单微粒图像。在获得仅包括单个微粒的单微粒图像之后，利用基于深度学习的预分类模型，实现杂质、破碎细胞和成团难以区分细胞等和完整细胞的筛选。在此基础上，进一步基于图像分割模型获取单细胞图像中细胞的分割区域，以便于基于分割区域获取细胞形态学特征参数，以使得宫颈细胞分类模型能够仅基于所预先提取的少量形态学参数便可以实现宫颈细胞种类的快速识别与区分，而不用像传统细胞分类模型那样需要基于整个图像的所有特征进行识别与区分。

在进行分类识别之前，由医生用毛刷取患者的宫颈脱落细胞，加入细胞处理液中，对细胞做形态学处理(如染色、细胞形态固定等)，并经过离心、去上清等操作，去除杂质，得到细胞样本液。随后将待检测液体样本通过流式成像系统，对宫颈细胞进行采集。

例如，所述待检测液体样本是通过以下步骤获得的：对经过细胞形态学处理(如染色、细胞形态固定等)后的原始液体进行离心操作，以获取原始液体中的多个微粒；将经过离心操作所获取的多个微粒的上清去除，并将去除了上清的多个微粒重悬于微粒固定液中；以及对经过重悬的细胞固定液进行移液处理以获得待检测液体样本，其中所述待检测液体样本中的所有微粒处于单微粒状态。

例如，所述对待处理的原始液体进行离心操作可以包括：在预定温度的条件下，以预先设定的离心力，在预定时间内对待处理的原始液体进行离心操作。预定温度例如是室温温度。或者预定温度是18℃、20℃、23℃、25℃或28℃等任意合理的温度。预先设定的离心力例如是2000g、2500g、3000g或3500g等任意合理的数值。预定时间例如是5分钟、6分钟、7分钟、8分钟、9分钟、10分钟等任意合理时间长度。

例如，将去除了上清的多个细胞重悬于细胞固定液中可以包括：确定细胞固定液的实际体积；利用甲醇与乙酸按照预定比例混合制成所述实际体积的细胞固定液。细胞固定液的实际体积例如是3ml、4ml、5ml、6ml、8ml或10ml等任意合理的体积。预定比例为3比1、2比1、4比1或任意合理的比例。

例如，所述对经过重悬的细胞固定液进行移液处理以获得待检测液体可以包括：利用移液枪对对经过重悬的细胞固定液进行移液处理，以通过将多个细胞打散成单细胞状态来获得待检测液体。利用移液枪对对经过重悬的细胞固定液进行移液处理包括：利用移液枪对对经过重悬的细胞固定液进行吹打15次、20次、25次等。

图1示出了根据本公开实施例的流式细胞显微成像装置100。如图1所示，流式细胞显微成像装置100包括可以包括光源101、聚光透镜组102、流式管道103、显微物镜104、筒镜105、相机106。如本领域技术人员应该理解，除了上述组件以外，流式细胞显微成像装置100还可以包括其他组件，并不限于此。

如图1所示，聚光透镜组102、显微物镜104和筒镜105可以位于光束的路径上。

根据本公开的实施例，光源101可以被配置为发射可见光光束，以用于提供照明。可见光是指可见光波段的白光或单色光，例如，在0.4到0.8μm之间的光，包括激光。光源101可以是被配置为发射具有可调制的脉冲宽度和脉冲频率的脉冲激光的激光器。光源101还可以包括其他组件，例如，控制组件，被配置为根据流动微粒的流速以及图像采集模块(例如，相机)的图像采集帧率，分别确定激光器的脉冲宽度和脉冲频率，并根据确定的脉冲宽度和脉冲频率生成用于驱动激光器的控制信号和用于图像采集模块的与控制信号对应的同步触发信号；驱动组件，被配置为根据控制信号生成驱动电流，以驱动激光器以确定的脉冲宽度和脉冲频率发射脉冲激光。

根据本公开的实施例，包含微粒的待检测液体样本流可以在流式管道103内流动，通过控制样本流在流式管道103中的流动来使样本流中的微粒在流式管道103中心流过。

显微镜物镜104可以采用无限远物镜，并可以被配置为对焦在所述流式管道103中心，对流过的微粒进行成像。

根据本公开的实施例，聚光透镜组102可以被配置为聚集光束并将光束均匀地照射在流式管道103上。聚光透镜组102可以与光源101构成科勒(Kohler)照明。科勒照明可以使光源发出的同心光束变为多个平行光束，均匀地照射在目标对象(例如，这里的流式管道103，更具体地，流式管道103中的微粒)上，从而可以使得照明均匀且光效高，成像系统的成像效果更好。聚光透镜组102可以包括两个透镜，第一透镜靠近光源101布置，第二透镜在第一透镜之后(即，相比第一透镜更远离光源101)布置，第一透镜将来自光源101的光束聚集在第二透镜的前焦面。聚光透镜组102还可以包括更多透镜，只要可以使得来自光源101的光束均匀地出射。

根据本公开的实施例，显微物镜104可以被配置为聚焦到流式管道103的中心，收集穿过流式管道103中的微粒的光，其中显微物镜104的工作距离大于流式管道103的中心距离流式管道103的外表面的距离，并且显微物镜104的数值孔径(NA)是基于预定分辨率和光束的波长来确定的。

例如，显微物镜104可以包括一个或多个透镜。可选地，显微物镜104可以是无限远物镜，经过无限远物镜的光以平行光束射向无限远。将无限远物镜应用于显微物镜104能够更大程度的减弱像差对观察的影响。

筒镜105可以位于显微物镜104和像平面之间，并且可以被配置为与显微物镜104共同将微粒的像放大，并将经放大的微粒的像汇聚在像平面上。也就是说，显微物镜104和筒镜105一起具有放大功能，并且放大倍数可以基于显微物镜104和筒镜105的焦距来确定。

例如，筒镜105可以包括一个或多个透镜。筒镜105可以将无限远物镜出射的光汇聚起来，成像在有限远的像平面上。调节筒镜105的焦距可以调整成像的放大倍数。

相机106设置在像平面上，被配置为采集像平面上的经放大的微粒的图像。

如上参考图1所描述的根据本公开实施例的流式细胞显微成像装置100利用显微系统对流式管道中的细胞进行显微成像，并通过相机对流式管道中的液体进行连续拍摄。由于细胞浓度的不同，拍摄到的图像可能会出现无微粒的空图或者包含多个微粒等情况，此时需要处理单元利用图像处理算法将流式细胞显微成像装置获取的包含微粒的图像中的单个微粒识别并切割出来，以便于后续基于单细胞图像的分类或识别等任务。

因此，根据本公开实施例的流式细胞显微成像装置100还可以包括用于对包含多个微粒的图像进行切割以获得仅包括单微粒的图像的处理单元(未示出)，该处理单元可以以硬件、固件、和/或硬件和软件的组合来实现。例如，该处理单元例如可以具有如图9所示的架构。该处理单元可以与如图1所示的流式细胞显微成像装置集成一体，也可以与如图1所示的流式细胞显微成像装置物理分离并通过有线或无线连接进行通信。例如，该处理单元可以为单个服务器/服务器集群或单个/多个计算机设备。

基于流式细胞显微成像装置100获取和处理的包括单微粒的图像中通常还会包含一些杂质、破碎细胞或成团难以区分细胞等，这将影响最终的细胞识别与判断。

因此，在获取了仅包括单个微粒的单微粒图像以后，本公开的实施例提出基于深度学习的预分类模型，实现杂质、破碎细胞和成团难以区分细胞和完整宫颈细胞的区分与筛选。由于医生在识别宫颈脱落细胞种类时主要根据细胞的形态学特征作为细胞分类的依据。因此，本公开的实施例进一步提出基于图像分割的方式自动识别并分割出宫颈细胞不同区域，并在所分割的各个区域的基础上进行宫颈细胞形态学特征参数的提取，以便实现宫颈脱落细胞中细胞种类的快速识别与区分，而不用像传统的细胞分类模型那样，需要基于整张图像的特征参数来进行识别与区分。

图2示出了根据本公开实施例的用于对宫颈细胞图像进行分类的系统200。如图2所示，用于对宫颈细胞图像进行分类的系统200包括流式显微成像装置201、筛选装置202、图像分割装置203和分类装置204。如本领域技术人员应该理解，除了上述组件以外，系统200还可以包括其他组件或装置，本公开对此不作限制。

例如，这里的流式显微成像装置201是上面关于图1描述的流式细胞显微成像装置100的示例。

流式显微成像装置201被配置为对包括脱落的宫颈细胞的待检测液体样本中的微粒进行图像采集，并获得仅包括单个微粒的一个或多个单微粒图像。

作为一个示例，如图3所示，利用流式显微成像装置201对包括脱落的宫颈细胞的待检测液体样本中的微粒进行图像采集，并获得仅包括单个微粒的一个或多个单微粒图像可以包括如下步骤：

步骤S301，响应于微粒经过所述流式显微成像装置的流式管道，获取包括微粒的图像。

如上所述，尽管经过了细胞处理等操作，但在利用流式显微成像装置201进行细胞图像获取时，难免会拍摄到一些杂质、破碎细胞或成团难以区分细胞等，影响最终的细胞判断。例如，这里将杂质、破碎细胞、成团细胞和单个完整宫颈细胞统称为微粒。

为了后续细胞类别的准确判断，继续在下面的步骤S302-S303中实现对由流式显微成像装置201初步获取的包括微粒的图像进行微粒的定位和分割。例如，步骤S302-S303可以由上面描述的与流式显微成像装置集成或分离的处理单元执行。

步骤S302，确定所述包括微粒的图像中一个或多个微粒区域的定位。

例如，确定包括微粒的图像中一个或多个微粒区域的定位可以包括：响应于没有微粒经过流式显微成像装置的流式管道，获取不包括微粒的图像；将包括微粒的图像与不包括微粒的图像的像素值逐像素相减，以获得残差图像；对残差图像进行二值化处理，以获得二值化后的残差图像；将二值化后的残差图像中像素值为1的区域确定为一个或多个微粒区域在残差图像中的定位；以及将包括微粒的图像中的与残差图像中的一个或多个微粒区域的定位相对应的像素区域确定为一个或多个微粒区域在包括微粒的图像中的定位。

具体的，对残差图像进行二值化处理，以获得二值化后的残差图像可以包括：对残差图像进行二值化处理，将残差图像中的每一个像素与预定义的二值化阈值进行比较，当像素值大于或等于所述二值化阈值时，将残差图像中的对应像素值设置为1，当像素值小于二值化阈值时，将对应像素值设置为0。这里的二值化阈值可以基于实际情况进行合理设置。

进一步地，由于二值化残差图像可能存在噪点和细胞区域不准确等问题，因此，在将二值化后的残差图像中像素值为1的区域确定为一个或多个微粒区域在残差图像中的定位之前，还可以对二值化残差图像进行形态学处理，滤除背景中的噪点，而后填充前景区域。例如，这里的形态学处理为腐蚀膨胀算法，腐蚀在二值图像的基础上做“收缩”或“细化”操作，膨胀在二值图像的基础上做“加长”或“变粗”的操作。从而可以消除背景中的杂点，同时填补目标前景中的空洞。

步骤S303，基于所述一个或多个微粒区域的定位，从所述包括微粒的图像中切割出仅包括单个微粒的一个或多个单微粒图像。

在确定了每个微粒的区域位置后，将该微粒从包括微粒的图像中切割出来。

为了方便描述，这里将从包括微粒的图像中切割出来的包括微粒的区域部分定义为切割区域。所应理解的是，为了不破坏该微粒的完整性，切割出来的切割区域需大于微粒的区域。

例如，该切割区域可以是矩形区域，具体的，基于微粒区域在包括微粒的图像中的位置，在包括微粒的图像中确定围绕微粒区域的最小矩形区域，该最小矩形即以微粒的纵向两个端点的垂直距离作为矩形的一边长，以微粒横向两个端点的垂直距离作为第二边长，从而能够确保该最小矩形能够囊括微粒所在区域，从包括微粒的图像中分割出包含该微粒的最小矩形区域，即得到上述定义的切割区域。

例如，为保证分割区域的冗余性，该切割区域还可以是比上面的最小矩形区域略大的矩形区域。具体地，可以在得到上述最小矩形区域以后，将该最小矩形区域的四个边往四周扩展若干像素(例如，5个像素)，从包括微粒的图像中分割出该扩展后的区域作为切割区域。

例如，该切割区域还可以是比所有微粒区域都大的一个预先设定的具有固定边长(例如，固定的长和宽)的区域。具体地，当确定微粒区域以后，在包括微粒的图像中以该微粒区域为中心向四周延伸至该固定边长，从包括微粒的图像中分割出该延伸后的区域作为切割区域。应当理解，以这种方式得到的所有分割图像都具有固定的大小。

本领域技术人员应当理解，为了保证分割的细胞区域的完整性，还可以设定其余的合适的尺寸的区域作为切割区域，本公开在此不作限制。

随后，切割出来的切割区域可以作为仅包括单个微粒的单微粒图像输入到后续的装置中以实现最终的宫颈细胞分类。

经切割后的单微粒图像可以包括单个杂质的图像，单个成团宫颈细胞图像、单个破碎宫颈细胞图像和单个完整宫颈细胞图像。这些杂质、破碎细胞或成团细胞等将影响最终的细胞判断。因此，本公开提出预先利用筛选装置来将这些杂质、破碎细胞或成团细胞等影响细胞判断的图像筛选出来。

根据本公开实施例的用于对宫颈细胞图像进行分类的系统200利用筛选装置202将这些杂质剔除，并仅保留形态完整的宫颈细胞图像。

例如，筛选装置202可以利用基于第一级神经网络的预分类模型对所获取的一个或多个单微粒图像进行预分类，以从所述一个或多个单微粒图像中筛选出完整的宫颈细胞图像。

例如，这里的第一级神经网络是预先训练好的基于神经网络的二分类模型，其被训练为对完整的宫颈细胞图像与杂质图像、破损细胞图像和/或成团细胞图像等进行分类，并筛选出完整的宫颈细胞图像。

作为一个非限制性的示例，这里的第一级神经网络可以是基于MobileNet_v2的神经网络结构。例如，本公开的发明人在训练该基于MobileNet_v2的神经网络以对单微粒图像进行预分类时，将损失函数设置为交叉熵损失函数，优化器选择Adam，学习率设置为0.000001。网络的输入为经过归一化后的图像，网络最后输出层只包含两个神经元，即这是一个二分类的神经网络。提前人工挑选好完整宫颈细胞图像与杂质、成团或破碎的细胞图像，作为神经网络的数据集，不断训练网络模型。然后将训练好的模型用作未标注的新图像分类，在分类的结果里人为纠正错误，再将纠正后的数据集作为训练数据集的补充，反复训练-分类-补充数据集，最终数据集达到2万以上，模型实现在陌生数据集上96.7％的分类准确率。

如此，本公开实施例的用于对宫颈细胞图像进行分类的系统200利用筛选装置202可以对流式显微成像装置201拍摄并切割后得到的单微粒图像做预先分类，得到宫颈细胞图像和杂质图像，剔除杂质图像，保留宫颈细胞图像做下一步工作。

临床实践中，医生在对脱落的宫颈细胞种类进行分类时主要根据细胞的形态学特征作为宫颈细胞分类的依据。因此，本公开提出采用图像分割网络分割出细胞区域与细胞核区域，再根据这这些区域计算出表征细胞形态学特征的特征量，并以此为依据对细胞进行分类。

图像分割装置203利用基于第二级神经网络的图像分割模型对所述宫颈细胞图像进行图像分割，以将所述宫颈细胞图像分割为第一区域、第二区域和第三区域。

本文的图像分割是指机器自动从图像中分割出对象区域，并识别其中的内容。本文的图像分割是在像素级别上的分类，通过对每个像素进行密集的预测、推断来实现细粒度的推理，从而使每个像素都被标记为其所在的封闭对象区域的类别。属于同一类的像素都要被归为一类，因此图像分割是从像素级别来理解图像的。简单来说，分割的目标一般是将一张RGB图像(高度×宽度×3)或是灰度图(高度×宽度×1)作为输入，输出的是分割图，其中每一个像素包含了其类别的标签(高度×宽度×1)，分割图的分辨率与原始输入的分辨率相匹配。

例如，这里的第二级神经网络是预先训练好的基于神经网络的图像分割模型。

基于UNet的神经网络的模型是现今主流的图像分割模型之一。图4示出了UNet网络架构的示意图。从图4可以看出，UNet网络结构最主要的两个特点是：U型网络结构和跳层连接。UNet网络结构是一个对称的网络结构，包含左侧和右侧两条路径。左侧的路径可以视为一个编码器，也可以称为上采样处理路径，其包括五个卷积子模块，每个子模块包括两个卷积层和ReLU层，这里的卷积层结构统一为3×3的卷积核。每个子模块之后有一个通过最大池化实现的下采样层。卷积子模块用于提取特征，最大池化层用于降低维度，每次最大池化层之后输出的特征图像的分辨率变为一半。最后一个卷积子模块输出的特征图不经过最大池化，直接被输入到右侧的解码器。右侧的路径可以视为一个解码器，也可以称为下采样处理路径，包含与编码器基本对称的结构，对输入的特征图执行3×3的卷积和上采样，逐步修复物体的细节和空间维度。此外，网络中还用到了特征融合，如图4中的虚线箭头所示，通过跳层连接的方式将前面部分下采样网络的特征与后面上采样的特征进行了拼接和融合以获得更准确的上下文信息，达到更好的分割效果。图像分割模型最后输出目标对象的分割图，该分割图中的每个像素的像素值可以是表示其类别的标签。

本文以UNet为例实现对细胞区域的分割。当然，除了UNet之外，也可以采取任何合适的图像分割架构来对本公开实施例的单细胞图像进行分割，例如linknet、pspnet以及deeplab v3等，同时也可以根据实际情况对这些图像分割架构进行调整。

例如，利用基于所述第二级神经网络的图像分割模型对宫颈细胞图像进行图像分割，以将宫颈细胞图像分割为第一区域、第二区域和第三区域包括：将宫颈细胞图像中的第一区域中的每一个像素识别并标记为第一区域像素，将所述宫颈细胞图像中的第二区域中的每一个像素识别并标记为第二区域像素；以及将所述宫颈细胞图像中的第三区域中的每一个像素识别并标记为第三区域像素。

例如，所述第一区域为宫颈细胞图像的背景区域，所述第二区域为宫颈细胞图像的细胞区域，所述第三区域为宫颈细胞图像的细胞核区域。

例如，在三分类的情况下，图像分割模型在每一次的处理中将宫颈细胞图像分割为细胞核区域、细胞质区域和背景区域。如此，细胞区域则为细胞核区域与细胞质区域细胞的相加。

例如，也可以采取两次二分类的过程，其中，在一次处理中，将宫颈细胞图像分割为细胞核区域和背景区域，并在第二次处理中，将将宫颈细胞图像分割为细胞区域和背景区域。如此，可以基于这两次二分类过程识别并标记细胞核区域、细胞区域和背景区域。

图5示出了基于图像分割模型对宫颈细胞进行三分类分割后得到的效果图。如图5所示，最小的封闭圆部分为细胞核区域，围绕封闭圆的环形区域为细胞质区域，其余部分为背景区域。

宫颈脱落细胞里大致可以分为正常细胞(包括出现的上表层细胞、中表层细胞、基底细胞等)、低级病变细胞、高级病变细胞、角质型病变细胞和其他非典型细胞(炎症时出现的白细胞，未成熟细胞等)。正常细胞的细胞面积大，核面积与细胞面积之比小，若发生癌变，细胞核会变大，细胞发生收缩，核与细胞面积之比会增大，病变越严重越明显，而角质细胞出现细胞角化，形状不规则等现象。根据此分类原理，本公开提出基于宫颈细胞的形态学的特征提取出可以表征细胞的特征参数来进行细胞分类的依据，而不用像传统细胞分类模型那样需要基于整个图像的所有特征进行识别与区分。

基于此，本公开实施例的用于对宫颈细胞图像进行分类的系统200利用分类装置204根据所分割的区域确定表征宫颈细胞的形态学特征的多个特征参数，并基于该多个特征参数，利用基于第三级神经网络的分类模型来识别宫颈细胞的类别。

例如，在图像分割装置203分割出宫颈细胞图像中的细胞区域和细胞核区域以后，根据分割结果计算出可以表征细胞的特征参数，将这些参数组合后构成特征向量用以作为细胞分类的数据。

例如，所述多个特征参数包括关于细胞区域的形态学特征的参数，包括指示细胞面积A

例如，基于识别并标注的不同区域的像素，可以以如下方式计算上面表征细胞区域的形态学特征的八个参数：

细胞面积A

核面积A

细胞直径D

核直径D

细胞周长C

核周长C

细胞圆度O

核圆度O

图6的(a)示出了本公开实施例的第三级神经网络的一个示例性结构。如图6的(a)所示，第三级神经网络的一个示例性结构为全连接神经网络结构，从左右到右依次包括输入层、三个隐藏层和输出层，各层之间采用全连接结构。输入层为8个神经元，代表上面所计算的8个特征参数，中间3个隐藏层，第一隐藏层为16个神经元，第二隐藏层为32神经元，第三隐藏层为10个神经元，最后的输出层为5个神经元，代表5种细胞分类。

设计好网络结构后，人为标记细胞的种类并通过所提取的宫颈细胞的特征参数作为训练的标签和数据集。例如，数据集中的每个数据是针对一个宫颈细胞图像所提取的上述的8个特征参数依次级联所得到的8维向量，在训练时，将这8个参数并行地输入到输入层的8个神经元，作为输入数据。

具体地，该第三级神经网络训练过程大致如下：首先在输入层输入数据集，接着神经网络在隐藏层进行前向传播，最后计算输出层的输出，进而计算预先定义好的损失，接着进行误差反向传播，利用事先设置的优化方法来更新网络中的参数，如权值参数和阈值参数。接着反复进行上述迭代，达到最大迭代次数(num_epoch)或者损失值满足某条件之后训练停止，随后输入一些没有在训练集里的数据作为测试集验证，在经过多次训练验证和测试，最终在陌生数据集上表现为精确率和召回率满足预先设定的阈值，从而可以得到一个由大量数据训练完成的第三级神经网络。

例如，这里可以基于交叉熵损失函数来计算第三级神经网络的最终输出的分类预测值与真实的标签之间的损失。例如，优化约束算法可以采用随机最速下降法来优化网络参数。例如，学习率可以设置为0.0005。应当理解，还可以设置其他任何合适的网络参数，本公开在此不做限制。

最终可通过保存的训练好第三级神经网路模型对任意新的宫颈细胞特征参数进行细胞分类。例如，如图6的(b)所示，示出了基于训练好的第三级神经网路对宫颈脱落细胞样本图像进行分类后识别得到的五种类型的细胞图像。

与传统的基于图像的细胞分类方法不同，本公开实施例提出基于图像分割后获得的宫颈细胞形态学特征来提取用于分类模型识别的特征向量，所提取出的代表一张宫颈细胞的特征向量仅仅包括几个(例如，八个)参数，由于宫颈脱落细胞样本中所包含的细胞往往是成千上万的数量级别，这样的方式大大减少了待检测样本的细胞分类识别的速度，也大大减少了运算分类模型的计算机资源。

与传统的显微镜拍摄方式不同，根据本申请实施例的用于对宫颈细胞图像进行分类的系统利用流式显微成像装置来进行宫颈脱落细胞图像的采集，能够实现细胞图像的快速拍摄与切割，从而获得仅包括单个微粒的单微粒图像。在获得仅包括单个微粒的单微粒图像之后，进一步提出基于深度学习的预分类机制和图像分割机制，实现杂质的滤除和完整宫颈细胞的筛选以及宫颈细胞的图像区域的分割，以便于基于分割区域获取细胞形态学特征参数，实现宫颈细胞种类的快速识别与区分。

本公开的实施例还提供了一种用于对宫颈细胞进行分类的电子设备，图7示出了根据本公开一个实施例的用于对宫颈细胞进行分类的电子设备的示意性框图。

例如，如图7所示，用于对宫颈细胞进行分类的电子设备700可以包括一个或多个处理器701和一个或多个存储器702。一个或多个存储器702中存储有计算机可执行指令，该计算机可执行指令当由一个或多个处理器701执行时，可以执行以下步骤S801-S804(如图8所示)：

S801，使得流式显微成像装置对包括脱落的宫颈细胞的待检测液体样本中的微粒进行图像采集，并获得仅包括单个微粒的一个或多个单微粒图像。

S802，利用基于第一级神经网络的预分类模型对所获取的一个或多个单微粒图像进行预分类，以从所述一个或多个单微粒图像中筛选出宫颈细胞图像。

S803，利用基于第二级神经网络的图像分割模型对所述宫颈细胞图像进行图像分割，以将所述宫颈细胞图像分割为第一区域、第二区域和第三区域。

S804，根据所分割的区域确定表征所述宫颈细胞的形态学特征的多个特征参数，并基于所述多个特征参数，利用基于第三级神经网络的分类模型来识别所述宫颈细胞的类别。

一个或多个存储器702和一个或多个处理器701可以通过总线系统和/或其它形式的连接机构(未示出)互连。

例如，一个或多个存储器702和一个或多个处理器701可以设置在单机之中，也可以设置在服务器端，还可以设置在云端，以用于执行如上所述的对宫颈细胞图像进行分类的系统所执行的一个或多个步骤。

例如，一个或多个处理器701可以是中央处理单元(CPU)、数字信号处理器(DSP)或者具有数据处理能力和/或程序执行能力的其它形式的处理单元，例如现场可编程门阵列(FPGA)等；例如，中央处理单元(CPU)可以为X86或ARM架构等。一个或多个处理器701可以为通用处理器或专用处理器，可以控制用于对宫颈细胞进行分类的系统200中的组件以执行期望的功能。

例如，一个或多个存储器702可以包括一个或多个计算机程序产品的任意组合，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、闪存等。

此外，根据本申请实施例的电子设备可以借助于图9所示的架构900来实现。如图9所示，架构900可以包括总线901、一个或多个CPU 902、只读存储器(ROM)903、随机存取存储器(RAM)904、连接到网络的通信端口905、输入/输出组件906、硬盘907等。架构900中的存储设备，例如ROM 903或硬盘907可以存储本申请提供的方法的处理和/或通信使用的各种数据或文件以及CPU所执行的程序指令。架构900还可以包括用户界面。当然，图9所示的架构只是示例性的，在实现不同的设备时，根据实际需要，可以省略或添加图9示出的架构中的一个或至少两个组件。

本公开的实施例还提供了一种计算机可读存储介质。图10示出了根据本公开的实施例的存储介质的示意图1000。如图10所示，所述计算机可读存储介质1002上存储有计算机可执行指令1001。当所述计算机可执行指令1001由处理器运行时，可以执行参照以上描述的用于对宫颈细胞进行分类的系统所执行的功能。所述计算机可读存储介质包括但不限于例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。

本公开的实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备控制用于对宫颈细胞进行分类的系统200中的组件以执行期望的功能。

本领域技术人员能够理解，本公开所披露的内容可以出现多种变型和改进。例如，以上所描述的各种设备或组件可以通过硬件实现，也可以通过软件、固件、或者三者中的一些或全部的组合实现。

此外，虽然本公开对根据本公开的实施例的系统中的某些单元做出了各种引用，然而，任何数量的不同单元可以被使用并运行在客户端和/或服务器上。所述单元仅是说明性的，并且所述系统和方法的不同方面可以使用不同单元。

本领域普通技术人员可以理解上述方法中的全部或部分的步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本公开并不限制于任何特定形式的硬件和软件的结合。

除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本公开所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。

以上是对本公开的说明，而不应被认为是对其的限制。尽管描述了本公开的如果干示例性实施例，但本领域技术人员将容易地理解，在不背离本公开的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本公开范围内。应当理解，上面是对本公开的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本公开由权利要求书及其等效物限定。