一种注意力机制和多尺度融合的白细胞分割方法

技术领域

本发明涉及白细胞图像处理领域，尤其是涉及一种注意力机制和多尺度融合的白细胞分割方法。

背景技术

在现代生活中，血常规检查是日常体检中十分重要的一部分。医生根据血液中的各项指标从而进行诊断。而在血液中，白细胞是非常重要的一类细胞。白细胞是人体重要的免疫细胞，发挥着清除病菌，维护机体稳定的作用。在临床的诊断中，医生通过显微镜观察染色后的血液涂片中的白细胞来做出判断。这种方法依赖于一生的主观经验，且工作效率不高，耗时耗力。

近些年来，对于深度学习的研究正如火如荼地进行，将深度学习方法应用到白细胞分割领域也成为了可能。作为深度学习中一类非常重要的结构，卷积神经网络具有强大的特征提取能力和信息表达能力。

随着图像处理技术的快速发展，将血液涂片扫描后生成血液涂片图像保存下来，计算机辅助诊断技术也能在白细胞分割领域中得以应用。然而，在血液图片图像中，由于不同类别的白细胞在体积，颗粒等信息方面存在差异，且在染色过程中容易受到杂质的干扰，此外，染色试剂，扫描设备的不同都给白细胞分割带来了一定的挑战，因此使用传统的分割方法难以达到要求，泛化性得不到保证。为此我们提出一种注意力机制和多尺度融合的白细胞分割方法及试验方法用于解决上述问题。

中国专利文献CN 112750132 A记载了基于双路径网络和通道注意的白细胞图像分割方法，包括：特征编码阶段：引入由ResNet和DenseNet组成的双路径网络DPN作为特征编码器，以提取多尺度图像白细胞特征；特征映射捕获阶段：通过通道注意模块增强双路径网络DPN的白细胞特征提取能力，即将特征编码阶段提取的白细胞特征输入通道注意模块，得到更新后的白细胞特征；特征解码阶段：基于更新后的白细胞特征，采用由卷积和反卷积组成的特征解码器重建白细胞特征图，以实现端到端的白细胞分割。但是该方法提取的白细胞特征十分太对，容易掺杂其他无关信息，实际操作中白细胞特征图十分模糊，并且容易形成白细胞区域较小的目标区域与背景区域之间不平衡的现象，导致难以区分白细胞所在的位置。使用存在缺陷，需要改进。

发明内容

本发明提供了一种注意力机制和多尺度融合的白细胞分割方法，解决现有技术的血液图像中，不同类别的白细胞在体积或颗粒的信息方面存在差异，在染色过程中受到杂质的干扰，染色试剂或扫描设备的不同导致白细胞难以分割的问题。

为解决上述技术问题，本发明所采用的技术方案是：一种注意力机制和多尺度融合的白细胞分割方法及试验方法，包括以下步骤：S1、收集血细胞样本，并进行染色，制作血细胞涂片，通过显微镜镜检，获取血液涂片图像及其对应的掩码图像；

S2、血液涂片图像及其对应的掩码图像作为初始数据集，将初始数据集划分为训练集和测试集；

S3、对训练集中的血液涂片图像及其对应的掩码图像进行数据增强操作；

S4、构建白细胞分割网络，并自定义网络损失函数；

S5、对S3中的训练集用网络模型进行训练，得出训练模型；

S6、用得到的训练模型对输入的血液涂片图像进行预测，识别出涂片中白细胞的所在位置。

优选方案中，步骤S3中血液涂片图像及其对应的掩码图像进行数据增强的操作采用三种数据增强方式的随机组合；

数据增强方式包括镜像翻转、平移变化、垂直翻转。

优选方案中，步骤S4中构建白细胞分割网络，并自定义网络损失函数的方法为：用基于编码器-解码器的思想构建白细胞分割网络，在编码器部分引入注意力机制，在编码器与解码器之间加入跳跃连接，在网络中间使用多尺度特征融合的方式。

优选方案中，编码器由四个下采样块构成，每个下采样块依次包含了两个卷积层，一个注意力模块和一个最大池化层；

解码器包括四个上采样块，每个下采样块依次包含了一个反卷积层和两个卷积层；

注意力机制包括一个全局平均池化层和两个全连接层，特征图经过全局平均池化层后，依次经过两个全连接层，生成的结果与输入的特征图进行点乘操作后生成新的特征图。

优选方案中，网络中间使用多尺度特征融合是指：

网络中间设有四个融合块，每个融合块包括一个卷积层、一个平均池化层和一个反卷积层，对四个融合块输出的特征图采用拼接的方式生成新的特征图，在四个融合块中池化使用的步长依次是2，4，8，16；

反卷积中的步长与池化的步长相对应。

优选方案中，步骤S5中对S3中的训练集用网络模型进行训练方式是：

A1、在步骤S3的训练集上使用步骤S4的网络模型进行训练，作为一次前向传播；

A2、根据自定义的损失函数计算预测值与真实值之间的误差，通过使用随机梯度下降算法来不断减小误差，作为一次后向传播；

A3、反复经过A1的前向传播和A2的后向传播后，当训练的轮数达到设置的迭代次数时，训练结束。

优选方案中，步骤S4中网络损失函数是指将Dice损失函数与交叉熵损失函数相加的和作为网络的损失函数；

Dice损失函数的表达式为：

式中，L

交叉熵函数的表达式为：

L

式中，L

网络损失函数表达式为：

Loss＝L

式中，Loss是网络损失函数。

优选方案中，步骤A2中根据自定义的损失函数计算预测值与真实值之间的误差中，采用Adam优化器对损失函数最小化。

本发明的有益效果为：本发明使用编码器-解码器结构的分割网络，并且在两部分加入了跳跃连接，编码器通过卷积和池化实现特征的提取，解码器通过反卷积恢复目标的位置信息，采用跳跃连接对特征进行融合，使得恢复目标的信息更加精细，在编码器部分加入注意力机制，使得网络能够更加关注血液涂片图像中白细胞区域的信息，忽略无关信息的影响。使用多尺度特征融合的方式，采用四个融合块结构，每个融合块提取了不同尺度下的特征，将提取的特征进行拼接，丰富了特征的多样性。使用自定义损失函数，采用了Dice损失函数与交叉熵损失函数的和作为网络的损失函数，既能缓解血液涂片图像中白细胞区域较小的带来目标区域与背景区域之间不平衡的现象，又能反映出预测输出与真实输出之间的差异。能够实现从血液图片图像中将白细胞分割出来，为后续对单个白细胞分类奠定基础。

附图说明

下面结合附图和实施例对本发明作进一步说明：

图1是本发明的实施例的流程图；

图2是本发明的血液图片图像及其对应的掩码图像；

图3是本发明分割网络中注意力模块结构图；

图4是本发明分割网络中融合模块结构图。

图5是本发明白细胞分割网络结构图。

具体实施方式

实施例1：

如图1-5中，一种注意力机制和多尺度融合的白细胞分割方法及试验方法，包括以下步骤：S1、收集血细胞样本，并进行染色，制作血细胞涂片，通过显微镜镜检，获取血液涂片图像及其对应的掩码图像；

S2、血液涂片图像及其对应的掩码图像作为初始数据集，将初始数据集划分为训练集和测试集；

S3、对训练集中的血液涂片图像及其对应的掩码图像进行数据增强操作；

S4、构建白细胞分割网络，并自定义网络损失函数；

S5、对S3中的训练集用网络模型进行训练，得出训练模型；

S6、用得到的训练模型对输入的血液涂片图像进行预测，识别出涂片中白细胞的所在位置。

优选方案中，步骤S3中血液涂片图像及其对应的掩码图像进行数据增强的操作采用三种数据增强方式的随机组合；

数据增强方式包括镜像翻转、平移变化、垂直翻转。

优选方案中，步骤S4中构建白细胞分割网络，并自定义网络损失函数的方法为：用基于编码器-解码器的思想构建白细胞分割网络，在编码器部分引入注意力机制，在编码器与解码器之间加入跳跃连接，在网络中间使用多尺度特征融合的方式。

优选方案中，编码器由四个下采样块构成，每个下采样块依次包含了两个卷积层，一个注意力模块和一个最大池化层；

解码器包括四个上采样块，每个下采样块依次包含了一个反卷积层和两个卷积层；

注意力机制包括一个全局平均池化层和两个全连接层，特征图经过全局平均池化层后，依次经过两个全连接层，生成的结果与输入的特征图进行点乘操作后生成新的特征图。

优选方案中，网络中间使用多尺度特征融合是指：

网络中间设有四个融合块，每个融合块包括一个卷积层、一个平均池化层和一个反卷积层，对四个融合块输出的特征图采用拼接的方式生成新的特征图，在四个融合块中池化使用的步长依次是2，4，8，16；

反卷积中的步长与池化的步长相对应。

优选方案中，步骤S5中对S3中的训练集用网络模型进行训练方式是：

A1、在步骤S3的训练集上使用步骤S4的网络模型进行训练，作为一次前向传播；

A2、根据自定义的损失函数计算预测值与真实值之间的误差，通过使用随机梯度下降算法来不断减小误差，作为一次后向传播；

A3、反复经过A1的前向传播和A2的后向传播后，当训练的轮数达到设置的迭代次数时，训练结束。

优选方案中，步骤S4中网络损失函数是指将Dice损失函数与交叉熵损失函数相加的和作为网络的损失函数；

Dice损失函数的表达式为：

式中，L

交叉熵函数的表达式为：

L

式中，L

网络损失函数表达式为：

Loss＝L

式中，Loss是网络损失函数。

优选方案中，步骤A2中根据自定义的损失函数计算预测值与真实值之间的误差中，采用Adam优化器对损失函数最小化。

上述的实施案例仅为本发明的优选技术方案，而不应视为对于本发明的限制，本发明的保护范围应以权利要求记载的技术方案，包括权利要求记载的技术方案中技术特征的等同替换方案为保护范围。即在此范围内的等同替换改进，也在本发明的保护范围之内。