一种细胞分割方法及系统

技术领域

本发明涉及生物医学图像处理技术领域，特别涉及一种细胞分割方法及系统。

背景技术

细胞分割方法是生物医学图像分析中的一个重要课题，其任务是描绘出图像中每个细胞的边缘。准确地分割图像中的细胞有助于医生和生物学家更好地进行图像分析。为了快速高效地进行细胞分割，研究人员提出了一系列自动分割细胞的模型，例如Stardist、Hover-Net等模型。

目前的细胞分割模型都是针对单一模态的图像数据，然而在实际应用中，待分割的图像数据集通常是多模态图像数据，由于不同模态图像的纹理，特征和细胞的形状、大小差异较大，使用现有细胞分割方法进行细胞分割很难获得令人满意的分割效果。

发明内容

为了解决多模态图像细胞分割效果差的问题，本发明提供了一种细胞分割方法及系统。

为了解决以上技术问题，本发明采用以下技术方案：

第一方面，本发明实施例提供一种细胞分割方法，包括如下步骤：

获取细胞图像；

对所述细胞图像进行分类得到细胞图像分类，所述细胞图像分类包括：第一类细胞图像和第二类细胞图像；

对已分类的细胞图像进行类型判断，若所述细胞图像为第一类细胞图像，则将其输入至训练得到的第一细胞分割模型，预测所述细胞图像得到每个像素点属于细胞的第一概率图及其到所属细胞核质心的水平及垂直的第一距离图；

调用分水岭算法对所述第一概率图和所述第一距离图进行后处理，得到第一类细胞图像分割预测；

若所述细胞图像为第二类细胞图像，则将其输入至训练得到的第二细胞分割模型，预测所述细胞图像得到每个像素点属于细胞的第二概率图及其在R个方向上到所属细胞边缘的第二距离图；

调用非极大值抑制方法对所述第二概率图和所述第二距离图进行后处理，得到第二类细胞图像分割预测。

在一些实施例中，所述细胞图像分类还包括：第三类细胞图像和第四类细胞图像；

所述细胞分割方法，还包括以下步骤：

若所述细胞图像为第三类细胞图像，则将其输入至训练得到的第三细胞分割模型，预测所述细胞图像得到每个像素点属于细胞的第三概率图及其在R个方向上到所属细胞边缘的第三距离图；

调用非极大值抑制方法对所述第三概率图和所述第三距离图进行后处理，得到第三类细胞图像分割预测；

若所述细胞图像为第四类细胞图像，则将其输入至训练得到的第四细胞分割模型，预测所述细胞图像得到每个像素点属于细胞的第四概率图及其在R个方向上到所属细胞边缘的第四距离图；

调用非极大值抑制方法对所述第四概率图和所述第四距离图进行后处理，得到第四类细胞图像分割预测。

在一些实施例中，所述细胞分割模型的训练方法包括如下步骤：

获取有细胞实例标签的多模态细胞图像；

对所述有细胞实例标签的多模态细胞图像进行分类得到多模态细胞图像分类，所述多模态细胞图像分类包括：有细胞实例标签的第一类细胞图像和有细胞实例标签的第二类细胞图像；

将所述有细胞实例标签的第一类细胞图像作为训练样本集训练所述第一细胞分割模型；

将所述有细胞实例标签的第二类细胞图像作为训练样本集训练所述第二细胞分割模型。

在一些实施例中，所述多模态细胞图像分类还包括：有细胞实例标签的第三类细胞图像和有细胞实例标签的第四类细胞图像；

所述细胞分割模型的训练方法，还包括如下步骤：

将所述有细胞实例标签的第三类细胞图像作为训练样本集训练所述第三细胞分割模型；

将所述有细胞实例标签的第四类细胞图像作为训练样本集训练所述第四细胞分割模型。

在一些实施例中，所述对所述细胞图像进行分类得到细胞图像分类，所述细胞图像分类包括：第一类细胞图像和第二类细胞图像包括：

将所述细胞图像中的RGB细胞图像从RGB色彩空间转换到HSV色彩空间，并将其中H小于预设值的RGB细胞图像标记为第一类细胞图像，以及其余细胞图像标记为第二类细胞图像。

在一些实施例中，所述对所述有细胞实例标签的多模态细胞图像进行分类得到多模态细胞图像分类，所述多模态细胞图像分类包括：有细胞实例标签的第一类细胞图像和有细胞实例标签的第二类细胞图像包括：

将所述有细胞实例标签的多模态细胞图像中的RGB多模态细胞图像从RGB色彩空间转换到HSV色彩空间，并将其中H小于预设值的RGB细胞图像标记为有细胞实例标签的第一类细胞图像，以及其余细胞图像标记为有细胞实例标签的第二类细胞图像。

在一些实施例中，所述对所述细胞图像进行分类得到细胞图像分类包括：

将所述细胞图像输入至训练得到的图像分类器，识别所述细胞图像得到细胞图像分类。

在一些实施例中，所述对所述有细胞实例标签的多模态细胞图像进行分类得到多模态细胞图像分类包括：

将所述有细胞实例标签的多模态细胞图像输入至训练得到的图像分类器，识别所述有细胞实例标签的多模态细胞图像得到多模态细胞图像分类。

在一些实施例中，所述图像分类器的训练方法包括如下步骤：

获取有细胞实例标签的多模态细胞图像；

将所述有细胞实例标签的多模态细胞图像中的RGB多模态细胞图像从RGB色彩空间转换到HSV色彩空间，并将其中H小于预设值的RGB细胞图像标记为第一类细胞图像；

将所述有细胞实例标签的多模态细胞图像中的单通道灰度细胞图像标记为第二类细胞图像，以及将其余的有细胞实例标签的多模态细胞图像按照细胞面积进行标记，其中最大细胞面积大于预设值的细胞图像标记为第三类细胞图像，最大细胞面积小于等于预设值的细胞图像标记为第四类细胞图像；

将所述第一类细胞图像、第二类细胞图像、第三类细胞图像和第四类细胞图像作为训练样本集训练所述图像分类器。

在一些实施例中，所述第一细胞分割模型是由Hover-Net模型的编码器和解码器分别被ConvNeXt模型的编码器和解码器替换而成。

在一些实施例中，所述第二细胞分割模型是由Stardist模型的编码器和解码器分别被ConvNeXt模型的编码器和解码器替换而成。

第二方面，本发明实施例提供一种细胞分割系统，包括：

细胞图像获取模块，用于获取细胞图像；

细胞图像分类模块，与所述细胞图像获取模块连接，用于接收所述细胞图像并对其进行分类得到细胞图像分类，所述细胞图像分类包括：第一类细胞图像和第二类细胞图像；

细胞图像类型判断模块，与所述细胞图像分类模块连接，用于接收已分类的细胞图像，并对其进行类型判断；

第一细胞分割模块，与所述细胞图像类型判断模块连接，用于接收所述第一类细胞图像，将其输入至训练得到的第一细胞分割模型，预测所述细胞图像得到每个像素点属于细胞的第一概率图及其到所属细胞核质心的水平及垂直的第一距离图；

调用分水岭算法对所述第一概率图和所述第一距离图进行后处理，得到第一类细胞图像分割预测；

第二细胞分割模块，与所述细胞图像类型判断模块连接，用于接收所述第二类细胞图像，将其输入至训练得到的第二细胞分割模型，预测所述细胞图像得到每个像素点属于细胞的第二概率图及其在R个方向上到所属细胞边缘的第二距离图；

调用非极大值抑制方法对所述第二概率图和所述第二距离图进行后处理，得到第二类细胞图像分割预测。

在一些实施例中，所述细胞图像分类还包括：第三类细胞图像和第四类细胞图像；

所述细胞分割系统，还包括：

第三细胞分割模块，与所述细胞图像类型判断模块连接，用于接收所述第三类细胞图像，将其输入至训练得到的第三细胞分割模型，预测所述细胞图像得到每个像素点属于细胞的第三概率图及其在R个方向上到所属细胞边缘的第三距离图；

调用非极大值抑制方法对所述第三概率图和所述第三距离图进行后处理，得到第三类细胞图像分割预测；

第四细胞分割模块，与所述细胞图像类型判断模块连接，用于接收所述第四类细胞图像，将其输入至训练得到的第四细胞分割模型，预测所述细胞图像得到每个像素点属于细胞的第四概率图及其在R个方向上到所属细胞边缘的第四距离图；

调用非极大值抑制方法对所述第四概率图和所述第四距离图进行后处理，得到第四类细胞图像分割预测。

本发明提供的一种细胞分割方法及系统，与现有技术相比，本发明取得的技术效果包括：

1.本发明基于不同模态细胞图像的特点，如颜色，纹理，特征和细胞的形状、大小等以及不同细胞分割模型的优势将细胞图像分成两类，并按细胞图像类型选取相应的细胞分割模型对其进行细胞分割，使多模态细胞图像的细胞分割更准确，并具有更好的泛化性能。

2.本发明将细胞图像分成四类，并按细胞图像类型选取相应的细胞分割模型对其进行细胞分割，进一步地提高细胞分割的准确率和泛化性能。

3.本发明使用图像分类器将细胞图像分成四类，节省了依据细胞大小将细胞图像分类的人工成本并提高了工作效率和图像分类的准确度。

4.本发明细胞分割模型由Hover-Net/Stardist模型的编码器和解码器分别被ConvNeXt模型的编码器和解码器替换而成，提高了细胞分割准确率和加快了预测速度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明细胞分割方法一流程图；

图2为本发明细胞分割模型的训练方法一流程图；

图3为本发明细胞图像分类结果示意图，其中，a为第一类细胞图像图，b为第二类细胞图像图，c为第三类细胞图像图，d为第四类细胞图像图；

图4为本发明细胞分割方法二流程图；

图5为本发明细胞分割模型的训练方法二流程图；

图6为本发明图像分类器的训练方法流程图；

图7a为本发明第一细胞分割模型框架图；

图7b为本发明第二细胞分割模型框架图；

图8为本发明细胞分割系统一结构示意图；

图9为本发明细胞分割系统二结构示意图；

图10为本发明实施例细胞分割准确率结果示意图。

具体实施方式

为了使本领域技术人员更好地理解本发明的方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的其他方案，都应当属于本发明的保护范围。

为了便于本领域人员理解本发明的实施例，以下对本发明涉及的技术术语做出解释。

Stardist模型通过U-net预测每个像素点属于细胞核的概率及其到所属细胞核边缘的距离，得到每个像素所在细胞核对应的星型多边形区域，进而得到细胞核的实例分割。

Hover-Net通过一个多分支U-net预测每个像素点属于细胞核的概率及其到所属细胞核质心的水平和垂直距离，进而得到细胞核实例分割。

实施例1

图1示出了本发明细胞分割方法一流程图，由图1可知一种细胞分割方法，包括如下步骤：

S1、获取细胞图像。

本发明所述的细胞分割方法可应用于计算机装置中，所述计算机装置可以为笔记本、个人电脑、服务器等计算机装置。

上述细胞图像可以是计算机装置采集到的图像，或者是接收到的来自于其他计算机装置发送的图像。

S2、对所述细胞图像进行分类得到细胞图像分类，所述细胞图像分类包括：第一类细胞图像和第二类细胞图像。

研究发现，按照如下方式对细胞图像进行分类有利于提高细胞分割的准确率和泛化性能，即将所述细胞图像中的RGB细胞图像从RGB色彩空间转换到HSV色彩空间，并将其中H小于预设值θ的RGB细胞图像标记为第一类细胞图像，以及其余细胞图像标记为第二类细胞图像，其中θ优选为0.5。

S3、对已分类的细胞图像进行类型判断。

S4、若所述细胞图像为第一类细胞图像，则将其输入至训练得到的第一细胞分割模型，预测所述细胞图像得到每个像素点属于细胞的第一概率图及其到所属细胞核质心的水平及垂直的第一距离图。

S5、调用分水岭算法对所述第一概率图和所述第一距离图进行后处理，得到第一类细胞图像分割预测。

如果细胞图像为第一类细胞图像，则调用第一细胞分割模型对其进行细胞分割。由于第一类细胞图像多为形状不规则的细胞，因此选取对形状不规则的细胞进行细胞分割有优势的细胞分割模型作为本实施例的第一细胞分割模型，例如Cellpose、HoverNet等模型，优选HoverNet模型。

S6、若所述细胞图像为第二类细胞图像，则将其输入至训练得到的第二细胞分割模型，预测所述细胞图像得到每个像素点属于细胞的第二概率图及其在R个方向上到所属细胞边缘的第二距离图；

S7、调用非极大值抑制方法对所述第二概率图和所述第二距离图进行后处理，得到第二类细胞图像分割预测。

如果细胞图像为第二类细胞图像，则调用第二细胞分割模型对其进行细胞分割。由于第二类细胞图像中细胞较为规则且基本为圆形细胞，因此选取对形较为规则且基本为圆形的细胞进行细胞分割有优势的细胞分割模型作为本实施例的第二细胞分割模型，例如Mask-RCNN、Stardist等模型，优选HoverNet模型。

如图2所示，本实施例的上述细胞分割模型的训练方法包括如下步骤：

S41、获取有细胞实例标签的多模态细胞图像。

通常获取有细胞实例标签的多模态细胞图像方式如下：由本领域专业人士手工对细胞图像进行标注或从专业机构购买。由于训练细胞分割模型的训练样本集需求的细胞图像数据量大，采用现有技术获取有细胞实例标签的多模态细胞图像的方式成本高，因此本发明优选地先采用现有技术获取部分有细胞实例标签的多模态细胞图像，将其作为训练样本集训练一个卷积神经网络模型，然后使用该卷积神经网络模型预测大量的无标签的多模态细胞图像，得到大量伪标签的多模态细胞图像，最后将上述有细胞实例标签的多模态细胞图像和伪标签的多模态细胞图像一块作为训练样本集训练后续的细胞分割模型，以增加训练样本集的细胞图像数量级和降低获取数据的成本，以及提高后续经训练获取的细胞分割模型的准确度和泛化性能。

S42、对所述有细胞实例标签的多模态细胞图像进行分类得到多模态细胞图像分类，所述多模态细胞图像分类包括：有细胞实例标签的第一类细胞图像和有细胞实例标签的第二类细胞图像。

基于上述同样的实验发现，将所述有细胞实例标签的多模态细胞图像或有细胞实例标签的多模态细胞图像和伪标签的多模态细胞图像的训练样本集中的RGB多模态细胞图像从RGB色彩空间转换到HSV色彩空间，并将其中H小于预设值θ的RGB细胞图像标记为有细胞实例标签的第一类细胞图像，以及其余细胞图像标记为有细胞实例标签的第二类细胞图像，其中θ优选为0.5。按照上述方式对细胞图像进行分类有利于提高后续经训练获得的细胞分割模型的准确率和泛化性能。

S43、将所述有细胞实例标签的第一类细胞图像作为训练样本集训练所述第一细胞分割模型。

所述第一细胞分割模型选为Cellpose、HoverNet等模型之一，优选HoverNet模型。

S44、将所述有细胞实例标签的第二类细胞图像作为训练样本集训练所述第二细胞分割模型。

所述第二细胞分割模型选为Mask-RCNN、Stardist等模型之一，优选HoverNet模型。

本实施例基于不同模态细胞图像的特点，如颜色，纹理，特征和细胞的形状、大小等以及不同细胞分割模型的优势将细胞图像分成两类，并按细胞图像类型选取相应的细胞分割模型对其进行细胞分割，使多模态细胞图像的细胞分割更准确，并具有更好的泛化性能。

实施例2

经过大量实验数据对比分析，发现进一步地细分上述细胞图像，并充分发挥各种细胞分割模型的优势，可进一步地提高细胞分割的准确率和泛化性能，因此本实施例在实施例1的基础上，进一步地细分细胞图像，即所述细胞图像分类还包括：第三类细胞图像和第四类细胞图像。

本实施例优选地将所述细胞图像输入至训练得到的图像分类器，识别所述细胞图像得到细胞图像分类。第一、二、三和四类细胞图像的识别准确率分别为84.51%, 99.48%,100%和98.89%，总体准确率为97.91%。图3为本实施例细胞图像分类结果示意图，其中a为第一类细胞图像图，b为第二类细胞图像图，c为第三类细胞图像图，d为第四类细胞图像图。

本实施例利用图像分类器对上述细胞图像进行分类，进一步地提高细胞分割方法的速度和准确率。

此时如图4所示，所述细胞分割方法，还包括以下步骤：

S8、若所述细胞图像为第三类细胞图像，则将其输入至训练得到的第三细胞分割模型，预测所述细胞图像得到每个像素点属于细胞的第三概率图及其在R个方向上到所属细胞边缘的第三距离图；

S9、调用非极大值抑制方法对所述第三概率图和所述第三距离图进行后处理，得到第三类细胞图像分割预测；

如果细胞图像为第三类细胞图像，则调用第三细胞分割模型对其进行细胞分割。由于第三类细胞图像中细胞较为规则且基本为圆形细胞，因此选取对形较为规则且基本为圆形的细胞进行细胞分割有优势的细胞分割模型作为本实施例的第三细胞分割模型，例如Mask-RCNN、Stardist等模型，优选HoverNet模型。

S10、若所述细胞图像为第四类细胞图像，则将其输入至训练得到的第四细胞分割模型，预测所述细胞图像得到每个像素点属于细胞的第四概率图及其在R个方向上到所属细胞边缘的第四距离图。

S11、调用非极大值抑制方法对所述第四概率图和所述第四距离图进行后处理，得到第四类细胞图像分割预测。

如果细胞图像为第四类细胞图像，则调用第四细胞分割模型对其进行细胞分割。由于第四类细胞图像中细胞较为规则且基本为圆形细胞，因此选取对形较为规则且基本为圆形的细胞进行细胞分割有优势的细胞分割模型作为本实施例的第四细胞分割模型，例如Mask-RCNN、Stardist等模型，优选HoverNet模型。

因此上述细胞分割模型的训练样本集中所述多模态细胞图像分类还包括：有细胞实例标签的第三类细胞图像和有细胞实例标签的第四类细胞图像。

本实施例优选地将所述有细胞实例标签的多模态细胞图像输入至训练得到的图像分类器，识别所述有细胞实例标签的多模态细胞图像得到多模态细胞图像分类。

本实施例利用图像分类器对上述有细胞实例标签的多模态细胞图像进行分类，进一步地提高细胞分割方法的速度和准确率。

如图5所示，本实施例的所述细胞分割模型的训练方法还包括如下步骤：

S45、将所述有细胞实例标签的第三类细胞图像作为训练样本集训练所述第三细胞分割模型。

所述第三细胞分割模型选为Mask-RCNN、Stardist等模型之一，优选HoverNet模型。

S46、将所述有细胞实例标签的第四类细胞图像作为训练样本集训练所述第四细胞分割模型。

所述第四细胞分割模型选为Mask-RCNN、Stardist等模型之一，优选HoverNet模型。

如图6所示，本实施例所述图像分类器的训练方法包括如下步骤：

S21、获取有细胞实例标签的多模态细胞图像。

通常获取有细胞实例标签的多模态细胞图像方式如下：由本领域专业人士手工对细胞图像进行标注或从专业机构购买。由于训练图像分类器的训练样本集需求的细胞图像数据量大，采用现有技术获取有细胞实例标签的多模态细胞图像的方式成本高，因此本发明优选地先采用现有技术获取部分有细胞实例标签的多模态细胞图像，将其作为训练样本集训练一个卷积神经网络模型，然后使用该卷积神经网络模型预测大量的无标签的多模态细胞图像，得到大量伪标签的多模态细胞图像，最后将上述有细胞实例标签的多模态细胞图像和伪标签的多模态细胞图像一块作为训练样本集训练后续的图像分类器，以增加训练样本集的细胞图像数量级和降低获取数据的成本，以及提高后续经训练获取的图像分类器的准确度和泛化性能。

S22、将所述有细胞实例标签的多模态细胞图像或有细胞实例标签的多模态细胞图像和伪标签的多模态细胞图像的训练样本集中的RGB多模态细胞图像从RGB色彩空间转换到HSV色彩空间，并将其中H小于预设值θ的RGB细胞图像标记为第一类细胞图像，其中θ优选为0.5。

将所述有细胞实例标签的多模态细胞图像或有细胞实例标签的多模态细胞图像和伪标签的多模态细胞图像的训练样本集中的单通道灰度细胞图像标记为第二类细胞图像，以及将其余的有细胞实例标签的多模态细胞图像或有细胞实例标签的多模态细胞图像和伪标签的多模态细胞图像的训练样本集中的细胞图像按照细胞面积进行标记，其中最大细胞面积大于预设值σ的细胞图像标记为第三类细胞图像，最大细胞面积小于等于预设值σ的细胞图像标记为第四类细胞图像，其中σ优选为0.9。

按照上述方式对细胞图像进行分类有利于提高后续经训练获得的图像分类器的准确率和泛化性能。

S23、将所述第一类细胞图像、第二类细胞图像、第三类细胞图像和第四类细胞图像作为训练样本集训练所述图像分类器。

本实施例使用图像分类器将细胞图像分成四类，节省了依据细胞大小将细胞图像分类的人工成本并提高了工作效率和图像分类的准确度。

本实施例将细胞图像分成四类，并按细胞图像类型选取相应的细胞分割模型对其进行细胞分割，进一步地提高了细胞分割的准确率和泛化性能。

实施例3

本实施例与实施例1基本相同，不同之处是细胞分割模型的不同。

本实施例第一细胞分割模型是由Hover-Net模型的编码器和解码器分别被ConvNeXt模型的编码器和解码器替换而成。

本实施例第二细胞分割模型是由Stardist模型的编码器和解码器分别被ConvNeXt模型的编码器和解码器替换而成。

ConvNeXt模型的ConvNeXt-small编码器由一个主干卷积层和四个ConvNeXt层级构成，四个层级中分别包含[3, 3, 27, 3]个ConvNext块；其解码器由四个Conv-Relv-BN块构成，每个Conv-Relv-BN块包括两个3×3卷积层，每个卷积层后连接一个ReLU激活函数和批标准化层。此时将改进的细胞分割模型，即第一、二细胞分割模型的主体结构记为ConvNeXt-Unet，因此本实施例第一细胞分割模型框架图如图7a所示，第二细胞分割模型框架图如图7b所示。

本实施例将高效的主干网络ConvNeXt-Unet与Hover-Net模型的CP预测头和HV预测头结合作为第一细胞分割模型，以及将高效的主干网络ConvNeXt-Unet与Stardist模型的距离预测头和概率预测头结合作为第二细胞分割模型，充分发挥各自的优势，进一步地提高细胞分割的准确度、泛化性能以及加快预测速度。

实施例4

本实施例与实施例2基本相同，不同之处是细胞分割模型的不同。

本实施例第一细胞分割模型是由Hover-Net模型的编码器和解码器分别被ConvNeXt模型的编码器和解码器替换而成。

本实施例第二细胞分割模型是由Stardist模型的编码器和解码器分别被ConvNeXt模型的编码器和解码器替换而成。

本实施例第三细胞分割模型是由Stardist模型的编码器和解码器分别被ConvNeXt模型的编码器和解码器替换而成。

本实施例第四细胞分割模型是由Stardist模型的编码器和解码器分别被ConvNeXt模型的编码器和解码器替换而成。

ConvNeXt模型的ConvNeXt-small编码器由一个主干卷积层和四个ConvNeXt层级构成，四个层级中分别包含[3, 3, 27, 3]个ConvNext块；其解码器由四个Conv-Relv-BN块构成，每个Conv-Relv-BN块包括两个3×3卷积层，每个卷积层后连接一个ReLU激活函数和批标准化层。此时将改进的细胞分割模型，即第一、二细胞分割模型的主体结构记为ConvNeXt-Unet，因此本实施例第一细胞分割模型框架图如图7a所示，第二、三、四细胞分割模型框架图相同，具体如图7b所示。

本实施例将高效的主干网络ConvNeXt-Unet与Hover-Net模型的CP预测头和HV预测头结合作为第一细胞分割模型，以及将高效的主干网络ConvNeXt-Unet与Stardist模型的距离预测头和概率预测头结合作为第二、三、四细胞分割模型，充分发挥各自的优势，进一步地提高细胞分割的准确度、泛化性能以及加快预测速度。

本实施例使用每类有细胞实例标签的细胞图像单独训练相应的细胞分割模型。对于第二、三、四类细胞图像，在全部有细胞实例标签的细胞图像数据上预训练第二、三、四细胞分割模型，再分别用每一类的数据进行模型精调，得到各自的细胞分割模型。

对于第一类，在全部有细胞实例标签的细胞图像数据上预训练第一细胞分割模型，再用该类数据进行模型精调。

在测试阶段，用图像分类器预测图像的类别，并根据其类别选取相应的细胞分割模型进行细胞分割，最后用验证集进行验证。具体细胞分割准确率结果如图10所示。其中第二、三、四细胞分割模型的框架一样，所以将该三个细胞分割模型用平均值进行表示，即表中p10表示第一细胞分割模型预训练的准确率结果、p20表示第二、三、四细胞分割模型预训练的准确率结果，p11表示第一细胞分割模型微调后的细胞分割准确率结果、p21表示第二、三、四细胞分割模型微调后的细胞分割准确率结果，f1、f2、f3、f4分别对应于第一、二、三、四类细胞图像单独分割准确率结果，f5表示多模态验证集的细胞分割准确率结果，ours表示本发明实施例最后的细胞分割准确率结果。

从图中可知验证集上的平均f5相比在所有图像上预训练分别有1.96%和5.81%的提高，说明了按类别在多模态细胞分割任务中的有效性。

其次，相较于微调的细胞分割模型，本发明最终的细胞分割方法在验证集上的细胞分割平均准确率分别有1.55%和1.91%的提高，证实了结合不同细胞分割模型来处理不同类别图像的有效性。

本实施例使用图像分类器将细胞图像分成四类，节省了依据细胞大小将细胞图像分类的人工成本并提高了工作效率和图像分类的准确度。

本实施例细胞分割模型由Hover-Net/Stardist模型的编码器和解码器分别被ConvNeXt模型的编码器和解码器替换而成，提高了细胞分割准确率和加快了预测速度。

实施例5

图8示出了本发明细胞分割系统一结构示意图，由图8可知一种细胞分割系统，包括：细胞图像获取模块510，细胞图像分类模块520，细胞图像类型判断模块530，第一细胞分割模块540，第二细胞分割模块550。

细胞图像获取模块510，用于获取细胞图像。

细胞图像获取模块510可使用采集图像的方式获取细胞图像，或者使用接收其他设备发送的图像获取细胞图像。

细胞图像分类模块520，与所述细胞图像获取模块510连接，用于接收所述细胞图像并对其进行分类得到细胞图像分类，所述细胞图像分类包括：第一类细胞图像，第二类细胞图像。

本实施例细胞图像分类模块520按照如下方式对细胞图像进行分类有利于提高细胞分割的准确率和泛化性能，即将所述细胞图像中的RGB细胞图像从RGB色彩空间转换到HSV色彩空间，并将其中H小于预设值θ的RGB细胞图像标记为第一类细胞图像，以及其余细胞图像标记为第二类细胞图像，其中θ优选为0.5。

细胞图像类型判断模块530，与所述细胞图像分类模块520连接，用于接收已分类的细胞图像，并对其进行类型判断。

第一细胞分割模块540，与所述细胞图像类型判断模块530连接，用于接收所述第一类细胞图像，将其输入至训练得到的第一细胞分割模型，预测所述细胞图像得到每个像素点属于细胞的第一概率图及其到所属细胞核质心的水平及垂直的第一距离图。

调用分水岭算法对所述第一概率图和所述第一距离图进行后处理，得到第一类细胞图像分割预测。

由于第一类细胞图像多为形状不规则的细胞，因此选取对形状不规则的细胞进行细胞分割有优势的细胞分割模型作为本实施例的第一细胞分割模型，例如Cellpose、HoverNet等模型，优选HoverNet模型。

第二细胞分割模块550，与所述细胞图像类型判断模块530连接，用于接收所述第二类细胞图像，将其输入至训练得到的第二细胞分割模型，预测所述细胞图像得到每个像素点属于细胞的第二概率图及其在R个方向上到所属细胞边缘的第二距离图；

调用非极大值抑制方法对所述第二概率图和所述第二距离图进行后处理，得到第二类细胞图像分割预测。

由于第二类细胞图像中细胞较为规则且基本为圆形细胞，因此选取对形较为规则且基本为圆形的细胞进行细胞分割有优势的细胞分割模型作为本实施例的第二细胞分割模型，例如Mask-RCNN、Stardist等模型，优选HoverNet模型。

实施例6

图9示出了本发明细胞分割系统二结构示意图，由图9可知本实施例细胞分割系统在实施例5的基础上，还包括：第三细胞分割模块560和第四细胞分割模块570。

本实施例细胞分割系统可将细胞图像进一步分类，如所述细胞图像分类还包括：第三类细胞图像，第四类细胞图像。

第三细胞分割模块560，与所述细胞图像类型判断模块530连接，用于接收所述第三类细胞图像，将其输入至训练得到的第三细胞分割模型，预测所述细胞图像得到每个像素点属于细胞的第三概率图及其在R个方向上到所属细胞边缘的第三距离图；

调用非极大值抑制方法对所述第三概率图和所述第三距离图进行后处理，得到第三类细胞图像分割预测；

由于第三类细胞图像中细胞较为规则且基本为圆形细胞，因此选取对形较为规则且基本为圆形的细胞进行细胞分割有优势的细胞分割模型作为本实施例的第三细胞分割模型，例如Mask-RCNN、Stardist等模型，优选HoverNet模型。

第四细胞分割模块570，与所述细胞图像类型判断模块530连接，用于接收所述第四类细胞图像，将其输入至训练得到的第四细胞分割模型，预测所述细胞图像得到每个像素点属于细胞的第四概率图及其在R个方向上到所属细胞边缘的第四距离图；

调用非极大值抑制方法对所述第四概率图和所述第四距离图进行后处理，得到第四类细胞图像分割预测。

由于第四类细胞图像中细胞较为规则且基本为圆形细胞，因此选取对形较为规则且基本为圆形的细胞进行细胞分割有优势的细胞分割模型作为本实施例的第四细胞分割模型，例如Mask-RCNN、Stardist等模型，优选HoverNet模型。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。