一种基于Unet和分水岭算法的细胞实例分割方法

技术领域

本发明涉及深度学习，具体涉及一种基于Unet和分水岭的细胞实例分割方法。

背景技术

图像分割算法已经发展了很多年，从最初的传统图像分割算法，到现在的基于深度学习的图像分割算法，图像分割算法已经取得了很大的进步，并且在各个领域都有着广泛的应用，尤其是在医疗图像领域，分割出病变的器官，对培养细胞进行分割计数已经得到了实际应用。一般来说针对细胞图像进行基于深度学习语义分割比较简单，用Unet就可以实现，不需要其他操作，但是要进行计数就要进行进一步的计数任务，就要进一步地把语义分割中粘连的细胞分割开来，也就是实例分割任务，图像分割的实例分割任务目前是图像中最难的一个任务，目前常用的方法是用Mask-RCNN直接进行实例分割，但Mask-RCNN主要针对自然图像，处理细胞图像的效果不是很好。所以目前还没有一种很好的针对于细胞图像的实例分割算法。

发明内容

本发明针对于细胞实例分割，提出一种基于Unet和分水岭算法的细胞实例分割算法，在Unet进行语义分割之后，结合分水岭算法，实现最后的实例分割。

本发明技术针对于细胞图像进行实例分割。语义分割结合分水岭进行实例分割是已经有的方案，但是如何结合分水岭直接决定了实例分割的效果，本发明主要是针对Unet结合分水岭这一算法细节进行设计的。其一是本发明用到了两个unet网络，分别负责细胞形态的语义分割，细胞核的语义分割。其二是针对需要标记的分水岭算法，需要指定注水点，未知区域这一特点。在本算法中，把细胞核当作每一个细胞区域的注水点，把去掉细胞核区域的其他细胞区域当作未知区域，再将原图用sobel算子梯度化，进行分水岭算法的分割。

这种方法可以结合Unet和分水岭的优点，巧妙地利用Unet分割精度高，分水岭可以分开粘连细胞的特点，完成最后高精度的细胞实例分割。

本发明的技术方案是这样实现的：

分三步，第一步，训练两个Unet网络，一个网络用于预测细胞形态，另一个网络用于预测细胞核，原图输入两个网络后分别生成细胞形态和细胞核两个掩码图像，此时的细胞形态掩码已经是做了语义分割操作，但是细胞形态掩码会有很多粘连的细胞；

第二步，通过原图，细胞形态，细胞核掩码，能生成一个有基于标记的分水岭分割结果，即得到分水岭掩码；

针对第二步的具体操作是：基于标记的分水岭算法需要：未知区域，注水点，梯度图。其中未知区域＝细胞区域-细胞核区域，注水点＝细胞核区域，梯度图＝原图经过sobel算子梯度化；未知区域用像素0标注，不同注水点用3、4、5…表示，背景用2表示，以上要素生成一个标记图，然后送入opencv分水岭函数中，即可生成分水岭掩码；

第三步，通过细胞形态掩码、细胞核掩码和分水岭掩码，结合膨胀算法分离粘连的细胞，生成最终的实例分割结果。

针对第三步的具体操作是：

1)找出粘连的细胞区域，未知区域掩码＝细胞形态掩码-细胞核掩码，根据未知区域掩码的轮廓参数，生成一个字典dic_，key是一个数字代表父轮廓，value是一个数组，代表子轮廓。如{0:[1],2:[3,4]}代表父轮廓0的子轮廓是1，父轮廓2有两个子轮廓3，4。其中value的长度共有两种情况，第一种一个细胞区域只有一个细胞核，如0:[1]，这代表0轮廓的细胞区域只有一个细胞核，说明此细胞区域没有粘连情况，不作处理。第二种情况一个细胞区域有两个及以上细胞核，如2:[3,4]，这代表2轮廓的细胞区域有两个细胞核，说明此细胞区域有粘连情况，需要做进一步的处理。

2)处理粘连的细胞区域，处理1)中确定的粘连区域，以两个细胞粘连情况举例，首先确定两个膨胀起始区域，然后在确定对应的禁止膨胀区，即一个膨胀区域膨胀后不可覆盖到其他细胞区域，不可超出当前细胞区域。然后两个膨胀区域交替膨胀，每次膨胀完之后要考虑对应的禁止区域，膨胀到禁止区域的要回退，在之后更新其他膨胀区域的禁止区域，直到两个膨胀区域填充满整个粘连区域，最后把这两个区域分别用不同的像素表示，就完成了两细胞粘连区域分离的操作，两个以上的粘连区域也是类似的操作。

本发明的有益效果是：

1)本发明提出的非端到端的细胞实例分割方法，结合了深度学习和传统图像分割算法的优点，不仅可以完成对不规则细胞的高精度实例分割，中间的过程还能反映出细胞的粘连程度。

2)本发明提出的分水岭膨胀到Unet cellmask的方法，既保证了粘连细胞可以分离开来，又保证了预测细胞的范围是一个正常的范围。

附图说明

图1是本实例分割算法整体流程图；

图2为数据集的原图；

图3为细胞形态掩码图；

图4为细胞核掩码图；

图5为分水岭掩码图；

图6为实例分割结果。

具体实施方式

下面结合附图和具体实施对本发明作进一步说明。

用于实施的硬件环境是:8vCPU/64G内存，GPU为NVIDIA K80，软件运行环境是CUDA9、python3.6、pytorch 1.0。

数据集来自cell tracking比赛的BF-C2DL-MUSC

如图1所示，第一步，训练阶段，如图2、图3所示，根据原图和细胞形态掩码训练一个Unet_cell网络用来预测细胞形态。

如图2、图4所示，根据原图和细胞核掩码训练一个Unet_Nucleus网络用来预测细胞形态。

第二步，生成分水岭掩码，首先生成原图梯度图，然后生成标记图，标记图指出了注水点，背景区域和未知区域，最后生成如图5所示的分水岭掩码；

第三步，由第一、第二步生成的细胞形态掩码，细胞核掩码，分水岭掩码，确定出粘连区域，然后处理粘连区域，最后生成实例分割结果，如图6所示。