一种基于深度学习的小鼠睾丸病理切片内多种组织的自动分割方法

技术领域

本发明涉及机器学习和图像处理领域，具体涉及一种基于深度学习的小鼠睾丸病理切片内多种组织的自动分割方法。

背景技术

在试图了解人类睾丸病理缺陷导致的不育的尝试中，由于哺乳动物的生精过程比较相似，早期的病变研究通常在小鼠等哺乳动物身上进行建模。当前病理医生对小鼠睾丸生精管分期工作主要还是依赖于人工的分析，根据精子发生过程中各类生殖细胞的形态、纹理、分布等基于图像的生物标志为基础来进行分期，这个工作非常耗时，而且方法还是较为复杂并且难以进行准确的分期辨认。再者，由于病理医生的经验往往会决定他的分期判断，因而人工分期具有很大的主观性。

近些年来，随着计算机图像算法的不断发展，计算机图像处理技术渗透到了生活的各个领域之中。在组织病理图像分析方面取得了一定的发展，计算机图像处理技术不仅能够提高组织病理学评估的效率、准确率和稳定性，还能够为诊断的一致性提供支持依据。组织病理图像数字化分析系统的发展以及在临床治疗中的渗透对目前的临床实践产生巨大的推动作用。应用数字病理技术对病理图像进行定量定性的分析，可以为病理医生的诊断提供了一个可靠客观的建议。目前，以人工的方式小鼠睾丸组织病理图像进行评估仍然是不可或缺的，但是为了提高分析病理图像的效率和减少人工出现的错误，自动地分割小鼠睾丸切片中的组织，建立小鼠生精管自动分期系统将会是一种非常有前景的解决方案，因为这可以为病理医生提供定量化的信息，辅助病理医生进行分析。数字扫描技术的大面积推广为计算机辅助系统提供坚实的数据基础，日新月异的高性能图像处理算法为计算机辅助系统的设计提供技术支持，这些都为分期系统成为现实提供可能。

小鼠睾丸横截面的全扫描病理图像包含数百个生精管。同时，每个生精管内还包含不同类型的组织区域，不同组织区域内还包含不同类型的生殖细胞。自动分割多类生殖细胞和多类组织区域是建立小鼠生精管自动分期系统的前提，然而这些因素都使得分割小鼠睾丸横截面上的组织区域和生殖细胞成为一项挑战。本文提出一种基于深度学习的小鼠睾丸横截面内多种组织的分割方法，包括：1)基于ResNet的小鼠生精管分割模型；2)基于Unet的生精管内多种生殖细胞和组织区域的分割模型。

发明内容

针对上述问题，本发明提供了一种基于深度学习的小鼠睾丸病理切片内多种组织的自动分割方法，本发明利用深度学习方法建立小鼠睾丸横截面病理图像分割模型。

本发明的主要解决的技术问题有：1)、自动分割小鼠睾丸横截面内的生精管；2)、在生精管分割完成后，继续自动分割生精小管内的多种生殖细胞和多种类组织区域。

本发明的技术方案是：一种基于深度学习的小鼠睾丸病理切片内多种组织的自动分割方法，具体步骤包括如下：

步骤(1.1)、小鼠睾丸横截面切片的预处理；

步骤(1.2)、基于深度残差网络的小鼠生精管分割模型的建立；

步骤(1.3)、基于Unet的小鼠生精管内多类生殖细胞和多类组织区域分割。

进一步的，在步骤(1.1)中，所述小鼠睾丸横截面切片预处理的具体步骤如下：

(1.1.1)、对待处理的图像进行颜色标准化处理；

(1.1.2)、对三个通道的每一个像素的灰度值进行如下线性变换运算；

(1.1.3)、将线性变换后在LAB颜色空间的图像还原为RGB颜色空间。

进一步的，在步骤(1.1.2)中，对三个通道的每一个像素的灰度值进行如下线性变换运算具体如下式所示：

在公式(1)-(3)中，

进一步的，在步骤(1.2)中，所述建立基于深度残差网络的小鼠生精管分割模型的具体步骤如下：

(2.1)、训练集构建；

(2.2)、分割模型训练；

(2.3)、生精管分割测试。

进一步的，在步骤(1.3)中，所述建立基于Unet的小鼠生精管内多类生殖细胞和多类组织区域分割的具体步骤如下：

(3.1)、训练集构建；

(3.2)、分割模型训练；

(3.3)、多类生殖细胞和多类组织分割测试。

本发明的有益效果是：1、首先运用ResNet结合滑动窗以及逐像素点分割的方法对小鼠睾丸横切面全扫描图像进行生精管分割；然后，运用Unet分别对生精管内多类细胞核和多类组织区域进行分割；

2、小鼠生精管自动分期系统的建立，不仅可以帮助病理学家进行分期，而且可以与小鼠基因数据结合起来，在未来的研究中探索新的综合分期标准。作为精子发生过程的活跃中心，生殖细胞的形态和在生精管内的分布为分期提供了非常有效的基础。因此，生精管内的生殖细胞和组织区域的自动分割是构建用于小鼠生精小管的自动分期系统的重要前提。在本文中，这三个分割任务是分析小鼠睾丸病理图像的首次尝试；本发明所述的方法取得了良好的性能，为建立精子发生分期系统提供了良好的基础；将来，技术人员将提取细胞核和区域的组织学特征，用于训练小鼠生精管自动分期分类器。

附图说明

图1是本发明的结构流程图；

图2是本发明中基于ResNet的小鼠睾丸横截面内生精管分割流程图；

图3是本发明中基于Unet的小鼠生精管内多类生殖细胞和多类组织区域分割流程图。

具体实施方式

为了更清楚地说明本发明的技术方案，下面结合附图对本发明的技术方案做进一步的详细说明：

如图1所述；一种基于深度学习的小鼠睾丸病理切片内多种组织的自动分割方法，具体步骤包括如下：

步骤(1.1)、小鼠睾丸横截面切片的预处理；具体情况如下：由于图像染色不均，染色批次效应等问题，在进行生精管分割之前，

首先、需要对待处理的图像进行颜色标准化处理；该方法预先选取一幅病理图像作为目标图像，其他的病理图像在颜色标准化之后都将与目标图像具有同的颜色分布；具体的操作方法：是将目标图像和待标准化病理图像进行颜色空间变换，由于LAB颜色空间与RGB颜色空间相比，更加接近人的视觉，因此采用颜色空间变换的方法把RGB颜色空间转换到LAB颜色空间；

接着、对三个通道的每一个像素的灰度值进行如下线性变换运算：其具体如下式所示：

在公式(1)-(3)中，

最后、将线性变换后在LAB颜色空间的图像还原为RGB颜色空间，便可以实现待标准化图像和目标图像具有一样的颜色分布。

步骤(1.2)、基于深度残差网络(ResNet)的小鼠生精管分割模型的建立；其具体步骤如下：

(2.1)、训练集构建：为了实现逐像素点分割的目标，所构建的训练集包括两种类型的图像块：生精管和背景；如图2(b)所示，生精管的边界以绿色标记，内部标记为红色，背景标记为黑色；随机选择红色像素点作为生精管图像块的中心像素点，中心像素点在绿色和黑色的图像块被随机选取作为背景；本发明选取的每一个图像块的大小为39×39；

(2.2)、分割模型训练：构建如图2(d)所示的ResNet-18模型，运用上一步中获得的训练集，训练该网络；

(2.3)、生精管分割测试：训练完成后，在对测试图像进行分割时，从每张图像左上角的第一个像素点开始，以此像素点作为中心像素点，取39×39的小块；然后，使用滑动窗的方法从左到右、从上到下，以便滑动窗的中心像素点遍历整幅图像；为了保证边缘像素也可以作为中心点取小块，对边缘边缘19个像素点以内的图像都进行了轴对称扩展；图2(e-j)展示了逐像素点分割测试图像的流程图，使用滑动窗方法(从左到右，从上到下)，从组织病理图像中有序地选取图像块送进已经训练好的ResNet模型进行分类；如果一个图像块被判断为生精管，则此小块在原图上所对应的像素点则被认为是生精管，最后找出图像分割后的生精管边界。

步骤(1.3)、建立基于Unet(深度卷积神经网络)的小鼠生精管内多类生殖细胞和多类组织区域分割；其具体操作步骤如下：

(3.1)、训练集构建：构建训练集做全像素预测，图3(b)为多类生殖细胞的标记，包含(c)圆形镜子、(d)精母细胞、(e)精原细胞、(f)背景；图3(i)为多类组织区域标记，包含长形精子区域、圆形精子区域、基底膜区域；

(3.2)、分割模型训练；构建如图3(g,m)所示的Unet模型，运用上一步获得的训练集，训练该网络；

(3.3)、多类生殖细胞和多类组织分割测试：与逐像素分割方法不同，全像素预测模型训练后，直接将图像送进训练好的Unet中即可得到分割结果，速度快，准确率高，如图3(h-i),(h-j)所示。

具体实施例：

1、首先，对所有的小鼠睾丸横截面病理图像进行颜色标注化；

2、然后，把一张小鼠睾丸横截面切片全扫描图像缩放致原始大小的1/400(长宽分别缩小20倍)，然后送深度卷积神经网络里进行逐像素点分割，得到小鼠生精管预分割结果。利用双线性插值法，把分割结果映射到原图大小；

3、由于在小鼠生精管分期的工作中，VII-VIII期是病理医生最难分辨的两个连续阶段，所以计初步对最难分辨的VII-VIII期进行图像分析；把Ⅶ-Ⅷ期分类出来的生精管提取出来，并利用Unet对其进行多类生殖细胞分割和多类组织区域分割。

最后，应当理解的是，本发明中所述实施例仅用以说明本发明实施例的原则；其他的变形也可能属于本发明的范围；相应地，本发明的实施例不限于本发明明确介绍和描述的实施例。