一种血管精细化分割方法、装置、终端及存储介质

技术领域

本发明涉及图像分割的技术领域，特别是涉及一种血管精细化分割方法、装置、终端及存储介质。

背景技术

医学领域中对血管结构进行量化，提供描述血管系统生理健康状况的读数，但这种定量方法在临床前模型中应用较少，血管表型通常仅通过主观评估进行评估。

斑马鱼因其良好的生物学特征及与人类基因的高度同源性，成为研究活体血管结构的良好模型。在研究斑马鱼血管变化过程中需要对血管结构进行量化，这就要对斑马鱼不同血管区域进行精细化分割，精准的分割斑马鱼荧光图不同血管区域对后续工作的分析起着至关重要的作用。

早期对于斑马鱼血管分割的方法包括：基于图像序列的先验知识，利用边缘跟踪和曲线拟合来检测斑马鱼轮廓；基于Haar－like特征和改进AdaBoost级联分类器对血管识别；利用纹理信息和形态学操作将斑马鱼从背景中分割出来，但是上述方法都不涉及对于斑马鱼荧光血管的分割。近年来，随着深度学习的发展，基于深度学习的图像分割方法应用于医学图像分割领域，代表性模型有：U－Net、U－Net++和ResUnet++等，但是针对斑马鱼荧光血管分割的研究较少。

发明内容

本发明要解决的技术问题是：提供一种血管精细化分割方法、装置、终端及存储介质，分割出斑马鱼血管功能区精细化血管结构，实现对斑马鱼血管的精细化分割。

为了解决上述技术问题，本发明提供了一种血管精细化分割方法、装置、终端及存储介质，包括：

获取斑马鱼高内涵荧光图，对所述斑马鱼高内涵荧光图中对应的斑马鱼的血管功能区进行标注处理，生成粗标注图对应的粗分割数据集和细标注图对应的细分割数据集；

构建第一级网络模型和第二级网络模型，对所述第一级网络模型和所述第二级网络模型进行优化，将所述粗分割数据集输入到所述第一级网络模型中进行训练，生成粗分割模型，再将所述细分割数据集输入到所述第二级网络模型中进行训练，生成细分割模型；

将待分割的斑马鱼高内涵荧光图输入到所述粗分割模型中，生成所述斑马鱼高内涵荧光图对应的血管功能区的粗分割结果，将所述粗分割结果输入到所述细分割模型中，获取所述斑马鱼高内涵荧光图对应的血管精细化分割结果。

进一步地，所述生成粗标注图对应的粗分割数据集和细标注图对应的细分割数据集，具体为：

将所述斑马鱼高内涵荧光图、所述粗标注图和所述细标注图按预设比例随机划分为训练集、测试集和验证集；

对所述粗标注图和所述斑马鱼高内涵荧光图进行尺寸调整，生成所述粗标注图对应的粗分割数据集，其中，所述粗分割数据集包含所述斑马鱼高内涵荧光图和粗标注图；

对所述细标注图进行裁剪，得到所述细标注图的血管功能区域，并在所述斑马鱼高内涵荧光图中依照所述细标注图的血管功能区域裁剪出相应区域，得到所述斑马鱼高内涵荧光图中对应的血管功能区域，生成所述细标注图对应的细分割数据集，并将所述细分割数据集进行尺寸调整，其中，所述细分割数据集包括所述细标注图的血管功能区域和所述斑马鱼高内涵荧光图对应的血管功能区域。

进一步地，所述第一级网络模型和所述第二级网络模型为相同类型的网络模型。

进一步地，所述对所述第一级网络模型和所述第二级网络模型进行优化，具体为：

对所述第一级网络模型和所述第二级网络模型进行训练，设置所述第一级网络模型和所述第二级网络模型的初始学习率，学习衰减方式和训练轮数的参数；

根据预设公式计算所述第一级网络模型和所述第二级网络模型的损失函数；

采用预设的优化器的对所述参数和所述损失函数进行优化。

进一步地，本发明还提供一种血管精细化分割装置，包括：获取模块、模型生成模块和分割模块；

其中，所述获取模块用于获取斑马鱼高内涵荧光图，对所述斑马鱼高内涵荧光图中对应的斑马鱼的血管功能区进行标注处理，生成粗标注图对应的粗分割数据集和细标注图对应的细分割数据集；

所述模型生成模块用于构建第一级网络模型和第二级网络模型，对所述第一级网络模型和所述第二级网络模型进行优化，将所述粗分割数据集输入到所述第一级网络模型中进行训练，生成粗分割模型，再将所述细分割数据集输入到所述第二级网络模型中进行训练，生成细分割模型；

所述分割模块用于将待分割的斑马鱼高内涵荧光图输入到所述粗分割模型中，生成所述斑马鱼高内涵荧光图对应的血管功能区的粗分割结果，将所述粗分割结果输入到所述细分割模型中，获取所述斑马鱼高内涵荧光图对应的血管精细化分割结果。

进一步地，所述获取模块生成所述粗标注图对应的粗分割数据集和所述细标注图对应的细分割数据集，具体为：

将所述斑马鱼高内涵荧光图、所述粗标注图和所述细标注图按预设比例随机划分为训练集，测试集和验证集；

对所述粗标注图和所述斑马鱼高内涵荧光图进行尺寸调整，生成所述粗标注图对应的粗分割数据集，其中，所述粗分割数据集包含所述斑马鱼高内涵荧光图和粗标注图；

对所述细标注图进行裁剪，得到所述细标注图的血管功能区域，并在所述斑马鱼高内涵荧光图中依照所述细标注图的血管功能区域裁剪出相应区域，得到所述斑马鱼高内涵荧光图中对应的血管功能区域，生成所述细标注图对应的细分割数据集，并将所述细分割数据集进行尺寸调整，其中，所述细分割数据集包括所述细标注图的血管功能区域和所述斑马鱼高内涵荧光图对应的血管功能区域。

进一步地，所述模型生成模块构建第一级网络模型和第二级网络模型，其中，所述第一级网络模型和所述第二级网络模型为相同的网络模型。

进一步地，所述模型生成模块对所述第一级网络模型和所述第二级网络模型进行优化，具体为：

对所述第一级网络模型和所述第二级网络模型进行训练，设置所述第一级网络模型和所述第二级网络模型的初始学习率，学习衰减方式和训练轮数的参数；

根据预设公式计算所述第一级网络模型和所述第二级网络模型的损失函数；

采用预设的优化器的对所述参数和所述损失函数进行优化。

进一步地，本发明还提供一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任意一项所述的血管精细化分割方法。

进一步地，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述任意一项所述的血管精细化分割方法。

本发明实施例一种血管精细化分割方法、装置、终端及存储介质，与现有技术相比，具有如下有益效果：

本发明通过获取斑马鱼高内涵荧光图，能较大程度的获取斑马鱼血管区域结构的细节信息，并通过对斑马鱼的血管区域进行标注处理，进一步获取粗分割数据集和细分割数据集，用于训练二级级联结构的网络模型，第一阶段将粗分割数据集输入第一级网络模型进行训练，得到粗分割模型，使用粗分割模型可以分割出斑马鱼血管功能区域，接着将细分割数据集作为第二级网络模型的输入进行训练，得到精细化分割模型，根据精细化模型可以得到斑马鱼荧光图血管精细化分割结果。与现有技术相比，本发明提供一种血管精细化分割方法、装置、终端及存储介质，不需要对斑马鱼高内涵荧光图进行缩减，能较好的保存斑马鱼血管区域结构的细节信息，同时采用二级级联架构的方式，分割出斑马鱼血管功能区精细化血管结构，实现对斑马鱼血管的精细化分割。

附图说明

图1是本发明提供的一种血管精细化分割方法的一种实施例的流程示意图；

图2是本发明提供的一种血管精细化分割装置的一种实施例的结构示意图；

图3是本发明提供的一种血管精细化分割方法的一种实施例的斑马鱼高内涵荧光图对应的血管功能区域图；

图4是本发明提供的一种血管精细化分割方法的一种实施例的细标注图的血管功能区域示意图；

图5是本发明提供的一种血管精细化分割方法的一种实施例的分割网络模型结构示意图；

图6是本发明提供的一种血管精细化分割方法的一种实施例的分割结果图。

具体实施方式

下面将结合本发明中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

参见图1，图1是本发明提供的一种血管精细化分割方法的一种实施例的流程示意图，如图1所示，该方法包括步骤101－步骤103，具体如下：

步骤101：获取斑马鱼高内涵荧光图，对所述斑马鱼高内涵荧光图中对应的斑马鱼的血管功能区进行标注处理，生成粗标注图对应的粗分割数据集和细标注图对应的细分割数据集。

本实施例中，先通过显微镜拍摄获取斑马鱼的高内涵荧光图，对所述斑马鱼高内涵荧光图中对应的斑马鱼的血管功能区进行标注处理，生成原始数据集，其中，原始数据集包括斑马鱼高内涵荧光图、粗标注图和细标注图；粗标注图、细标注图片和斑马鱼高内涵荧光图的大小相同。本实施例中，对斑马鱼的血管功能区进行标注处理，使用现有的图像标注工具进行标注的。也就是在原图上，标注出血管区域，用白色标注出来，其他为背景，用黑色标注出来。

本实施例中，对原始数据集进行预处理，主要将原始数据集中的所述斑马鱼高内涵荧光图、所述粗标注图和所述细标注图按预设比例随机划分为训练集、测试集和验证集，其中，训练集、测试机和验证集的比例是7：2：1；对所述粗标注图和所述斑马鱼高内涵荧光图进行尺寸调整，生成所述粗标注图对应的粗分割数据集，其中，所述粗分割数据集包含所述斑马鱼高内涵荧光图和粗标注图；对所述细标注图进行裁剪，得到所述细标注图的血管功能区域，并在所述斑马鱼高内涵荧光图中依照所述细标注图的血管功能区域裁剪出相应区域，得到所述斑马鱼高内涵荧光图中对应的血管功能区域，生成所述细标注图对应的细分割数据集，并将所述细分割数据集进行尺寸调整，其中，所述细分割数据集包括所述细标注图的血管功能区域和所述斑马鱼高内涵荧光图对应的血管功能区域，本实施例中，斑马鱼高内涵荧光图对应的血管功能区域图如图3所示，细标注图的血管功能区域图如图4所示。

步骤102：构建第一级网络模型和第二级网络模型，对所述第一级网络模型和所述第二级网络模型进行优化，将所述粗分割数据集输入到所述第一级网络模型中进行训练，生成粗分割模型，再将所述细分割数据集输入到所述第二级网络模型中进行训练，生成细分割模型。

本实施例中，所述第一级网络模型和所述第二级网络模型为相同类型的图像分割网络模型。通过改进ResUnet++得到DO－ResUnet++为图像分割网络模型，如图5所示，主要改进为将ResUnet++网络中卷积层替换为深度过参数化卷积(DO－Conv，Deep Over－parameterizedConvolutional Layer)，DO－Conv是在普通的卷积层中添加额外的深度卷积操作，构成过参数化卷积，该方法可以使用更多的参数加快模型训练，同时模型可以取得更好的性能，并且在推理时DO－Conv可以转换成普通的卷积操作，在不增加网络推理计算量的前提下提高网络性能。

作为本实施例中的一种优选方案，改进后得到的DO－ResUnet++图像分割网络模型结构，其结构为编码器(Encoder)－解码器(Decoder)结构，其中编码器由一个主干卷积块和三个编码块构成，主干卷积块由DO－Conv、批量归一化(BN)、激活函数ReLU、DO－Conv构成，并且恒等映射将其输入与输出连接起来；编码块是残差单元结构，每个编码块由两个连续的3×3卷积块和恒等映射组成，每个卷积块包括BN、ReLU和DO－Conv，恒等映射连接了编码块的输入和输出，编码块的第一个卷积块使用步幅卷积，其中，步幅为2，将特征图的空间分辨率减小为一半，Squeeze and Excitation Units(SE注意力机制)添加在编码块之后，SE模块通过精确建模通道之间的相互依赖关系重新校准特征响应，从而提高网络的表达能力。SE模块与残差块堆叠在一起，提高了网络在不同数据集上的有效泛化能力，提高了网络的性能。编码器的输出经过空洞空间金字塔池化(ASPP)，其作为连接编码器和解码器的桥梁可以提供更多的上下文信息。图像分割网络的解码器由三个解码块和一个分割头(Segmentation Head)构成，解码块也使用残差结构，在每个残差单元之前，跳跃连接(skipconnection)操作将解码器的特征与其对应的编码器的特征图连接起来，并采用注意力机制增加特征图的有效性，接着对注意力模块的输出使用最近邻插值方法上采样，之后将其与对应的编码器特征图进行维度上的拼接操作，每个解码块包括卷积两个卷积块和特征映射，每个卷积块包括BN、ReLU、DO－Conv，特征映射将解码块的输入与输出连接起来，分割头由ASPP，1×1的卷积和sigmoid激活函数构成。

本实施例中，对所述第一级网络模型和所述第二级网络模型进行训练，设置所述第一级网络模型和所述第二级网络模型的初始学习率，学习衰减方式和训练轮数的参数。作为本实施例中的一种优选方案，设置所述第一级网络模型和所述第二级网络模型的初始学习率为0.01，学习率衰减方式为指数衰减，训练轮数为150epoch。

本实施例中，由于斑马鱼血管结构精细化分割中前景与背景极不平衡，使用DICE损失函数，能有效提升分割准确率。因此本实施例根据预设公式计算所述第一级网络模型和所述第二级网络模型的DICE损失函数，并采用预设的优化器的对所述参数和所述损失函数进行优化，预设的DICE损失函数计算公式如下所示：

其中，p

本实施例中，将经过步骤101预处理之后得到的粗分割数据集作为第一级网络模型的输入进行训练，得到粗分割模型；接着又将步骤101处理之后的细分割数据集作为第二级网络模型的输入进行训练，得到细分割模型。

步骤103：将待分割的斑马鱼高内涵荧光图输入到所述粗分割模型中，生成所述斑马鱼高内涵荧光图对应的血管功能区的粗分割结果，将所述粗分割结果输入到所述细分割模型中，获取所述斑马鱼高内涵荧光图对应的血管精细化分割结果。

本实施例中，将待分割斑马鱼高内涵荧光图输入粗分割模型中得到血管功能区粗分割结果，然后将其输入细分割模型中得到斑马鱼高内涵荧光图血管精细化分割结果。本实施例分割的功能区分别是肠下静脉丛(SIV)、体节间血管(ISV)、脑部大血管(macrovasculature)，分割结果如图6所示。

参见图2，图2是本发明提供的一种血管精细化分割装置的一种实施例的结构示意图，如图2所示，该结构包括获取模块201、模型生成模块202和分割模块203，具体如下：

其中，所述获取模块201用于获取斑马鱼高内涵荧光图，对所述斑马鱼高内涵荧光图中对应的斑马鱼的血管功能区进行标注处理，生成粗标注图对应的粗分割数据集和细标注图对应的细分割数据集。

本实施例中，先通过显微镜拍摄获取斑马鱼的高内涵荧光图，对所述斑马鱼高内涵荧光图中对应的斑马鱼的血管功能区进行标注处理，生成原始数据集，其中，原始数据集包括斑马鱼高内涵荧光图、粗标注图和细标注图；粗标注图、细标注图片和斑马鱼高内涵荧光图的大小相同。本实施例中，对斑马鱼的血管功能区进行标注处理，使用现有的图像标注工具进行标注的，也就是在原图上，标注出血管区域，用白色标注出来，其他为背景，用黑色标注出来。

本实施例中，对原始数据集进行预处理，主要将原始数据集中的所述斑马鱼高内涵荧光图、所述粗标注图和所述细标注图按预设比例随机划分为训练集、测试集和验证集，其中，训练集、测试机和验证集的比例是7：2：1；对所述粗标注图和所述斑马鱼高内涵荧光图进行尺寸调整，生成所述粗标注图对应的粗分割数据集，其中，所述粗分割数据集包含所述斑马鱼高内涵荧光图和粗标注图；对所述细标注图进行裁剪，得到所述细标注图的血管功能区域，并在所述斑马鱼高内涵荧光图中依照所述细标注图的血管功能区域裁剪出相应区域，得到所述斑马鱼高内涵荧光图中对应的血管功能区域，生成所述细标注图对应的细分割数据集，并将所述细分割数据集进行尺寸调整，其中，所述细分割数据集包括所述细标注图的血管功能区域和所述斑马鱼高内涵荧光图对应的血管功能区域，本实施例中，斑马鱼高内涵荧光图对应的血管功能区域图如图3所示，细标注图的血管功能区域图如图4所示。

所述模型生成模块202用于构建第一级网络模型和第二级网络模型，对所述第一级网络模型和所述第二级网络模型进行优化，将所述粗分割数据集输入到所述第一级网络模型中进行训练，生成粗分割模型，再将所述细分割数据集输入到所述第二级网络模型中进行训练，生成细分割模型。

本实施例中，所述第一级网络模型和所述第二级网络模型为相同类型的图像分割网络模型。通过改进ResUnet++得到DO－ResUnet++为图像分割网络模型，如图5所示，主要改进为将ResUnet++网络中卷积层替换为深度过参数化卷积(DO－Conv，Deep Over－parameterized Convolutional Layer)，DO－Conv是在普通的卷积层中添加额外的深度卷积操作，构成过参数化卷积，该方法可以使用更多的参数加快模型训练，同时模型可以取得更好的性能，并且在推理时DO－Conv可以转换成普通的卷积操作，在不增加网络推理计算量的前提下提高网络性能。

作为本实施例中的一种优选方案，改进后得到的DO－ResUnet++图像分割网络模型结构，其结构为编码器(Encoder)－解码器(Decoder)结构，其中编码器由一个主干卷积块和三个编码块构成，主干卷积块由DO－Conv、批量归一化(BN)、激活函数ReLU、DO－Conv构成，并且恒等映射将其输入与输出连接起来；编码块是残差单元结构，每个编码块由两个连续的3×3卷积块和恒等映射组成，每个卷积块包括BN、ReLU和DO－Conv，恒等映射连接了编码块的输入和输出，编码块的第一个卷积块使用步幅卷积，其中，步幅为2，将特征图的空间分辨率减小为一半，Squeeze and Excitation Units(SE注意力机制)添加在编码块之后，SE模块通过精确建模通道之间的相互依赖关系重新校准特征响应，从而提高网络的表达能力。SE模块与残差块堆叠在一起，提高了网络在不同数据集上的有效泛化能力，提高了网络的性能。编码器的输出经过空洞空间金字塔池化(ASPP)，其作为连接编码器和解码器的桥梁可以提供更多的上下文信息。图像分割网络的解码器由三个解码块和一个分割头(Segmentation Head)构成，解码块也使用残差结构，在每个残差单元之前，跳跃连接(skipconnection)操作将解码器的特征与其对应的编码器的特征图连接起来，并采用注意力机制增加特征图的有效性，接着对注意力模块的输出使用最近邻插值方法上采样，之后将其与对应的编码器特征图进行维度上的拼接操作，每个解码块包括卷积两个卷积块和特征映射，每个卷积块包括BN、ReLU、DO－Conv，特征映射将解码块的输入与输出连接起来，分割头由ASPP，1×1的卷积和sigmoid激活函数构成。

本实施例中，对所述第一级网络模型和所述第二级网络模型进行训练，设置所述第一级网络模型和所述第二级网络模型的初始学习率，学习衰减方式和训练轮数的参数。作为本实施例中的一种优选方案，设置所述第一级网络模型和所述第二级网络模型的初始学习率为0.01，学习率衰减方式为指数衰减，训练轮数为150epoch。

本实施例中，由于斑马鱼血管结构精细化分割中前景与背景极不平衡，使用DICE损失函数，能有效提升分割准确率。因此本实施例根据预设公式计算所述第一级网络模型和所述第二级网络模型的DICE损失函数，并采用预设的优化器的对所述参数和所述损失函数进行优化，预设的DICE损失函数计算公式如下所示：

其中，p

本实施例中，将经过获取模块201预处理之后得到的粗分割数据集作为第一级网络模型的输入进行训练，得到粗分割模型；接着又将获取模块201处理之后的细分割数据集作为第二级网络模型的输入进行训练，得到细分割模型。

所述分割模块203用于将待分割的斑马鱼高内涵荧光图输入到所述粗分割模型中，生成所述斑马鱼高内涵荧光图对应的血管功能区的粗分割结果，将所述粗分割结果输入到所述细分割模型中，获取所述斑马鱼高内涵荧光图对应的血管精细化分割结果。

本实施例中，将待分割斑马鱼高内涵荧光图输入粗分割模型中得到血管功能区粗分割结果，然后将其输入细分割模型中得到斑马鱼高内涵荧光图血管精细化分割结果。本实施例分割的功能区分别是肠下静脉丛(SIV)、体节间血管(ISV)、脑部大血管(macrovasculature)，分割结果如图6所示。

本实施例中，还提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述步骤101－步骤103中任意一项所述的血管精细化分割方法。

本实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述步骤101－步骤103中任意一项所述的血管精细化分割方法。

实施例2

本实施例提供的一种血管精细化分割方法与实施例1相比，不同点在于，步骤102中并不需要对第一级网络模型和第二级网络模型进行优化，在网络结构不变的情况下，采用级联的方式对斑马鱼高内涵荧光图分割，其分割结果会比现有技术中直接对斑马鱼血管进行分割的精度高，对细节处理更好。

同样的，本实施例提供的一种血管精细化分割装置与实施例1相比，不同点在于，模型生成模块202中并不需要对第一级网络模型和第二级网络模型进行优化，能直接通过级联的方式，将粗分割数据集作为第一级网络模型的输入进行训练，得到粗分割模型；接着又将获取模块201处理之后的细分割数据集作为第二级网络模型的输入进行训练，得到细分割模型。

综上，本发明一种血管精细化分割方法、装置、终端及存储介质，通过对斑马鱼的血管功能区进行标注处理，生成粗标注图对应的粗分割数据集和细标注图对应的细分割数据集；构建第一级网络模型和第二级网络模型，将粗分割数据集输入到第一级网络模型中进行训练，生成粗分割模型，再将细分割数据集输入到第二级网络模型中进行训练，生成细分割模型；将待分割的斑马鱼高内涵荧光图输入到粗分割模型中，生成斑马鱼高内涵荧光图对应的血管功能区的粗分割结果，将粗分割结果输入到细分割模型中，获取斑马鱼高内涵荧光图对应的血管精细化分割结果。本发明采用二级级联架构的方式，分割出斑马鱼血管功能区精细化血管结构，实现对斑马鱼血管的精细化分割。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本发明的保护范围。