一种胰腺图像分割模型的训练方法、图像分割方法和装置

技术领域

本发明涉及图像视觉技术领域，特别涉及一种胰腺图像分割模型的训练方法、图像分割方法和装置。

背景技术

图像分割作为医疗诊断的重要一环，医生在进行诊断之前，需要对诊断部位图像进行观察，并以此为基础进行下一步的诊断。因此准确的图像分割在减少医生的工作量的同时也对医生的后续诊断有较大的影响。在部分疾病的诊断流程中，我们首先通过机器对患者的腹部进行断层扫描以得到腹部的三维图像，再通过深度学习对给定图像进行的分割，最后将准确的分割结果提供给医生进行参考。这样以来，不仅可以大大的减少医生的工作强度，也可以减少疾病诊断中的误诊几率。

例如目前在胰腺图像分割中，常见的方法分为三类：第一类是2D方法，第二类是3D方法，第三类是2-3D融合方法。

2D方法中，常见的是利用UNET-2D及其改进模型进行胰腺分割。此种方法可以有效的提取输入图像的二维空间信息。但由于2D模型通常仅考虑单张图像特征，虽然可以有效提取单张图像的二维信息，但无法提取、利用胰腺图像中的三维信息。

3D方法中，常见的是利用UNET-3D及其改进模型进行胰腺分割，此种方法针对2D方法无法提取胰腺图像三维信息的问题，使用3D卷积替换2D卷积，使得3D方法可以提取、利用胰腺图像三维信息。但由于GPU显存的限制，使得3D方法只能使用较浅的网络结构，这一情况造成了虽然3D网络可以提取、利用胰腺图像的三维信息，但提取、利用的不够充分。

2-3D融合方法中，常见的方法有2-3D级联网络和2D网络特征指导3D网络分割这两种。

2-3D级联指网络指的是，将2D网络的分割结果同3D的输入数据进行合并，利用2D网络的分割结果中蕴含的胰腺全局结构信息(包含位置和形状)指导3D网络的训练。此种方法效果优于2D网络和3D网络，可以使得较浅的网络也可以有效的提取胰腺的三维信息，但存在以下问题：1)2D部分和3D部分是完全分离，两者之间没有联动。2)仅利用2D网络的分割结果，丢弃了2D网络提取的大部分有效的二维空间特征。

2D网络特征指导3D网络分割指的是，将2D网络的提取出的二维信息(其中包含了胰腺的二维位置信息、二维形状信息和大量的辅助分割信息)。这种方法有效的克服了2-3D网络级联方法中2D网络和3D网络完全分离、没有联动的问题。但此种方法存在：只在一个尺度上利用2D网络提取的二维信息去指导3D网络分割，对2D网络提取的丰富的多尺度二维信息利用的不够充分

综上，胰腺分割方法中主要存在下述问题：

1)2D分割方法无法利用胰腺的三维信息的问题。2)3D分割方法对三维信息提取不充分的问题。3)2-3D级联网络中2-3D部分完全隔离和丢失二维信息的问题。4)2D网络特征指导3D网络分割中不能充分利用多尺度二维信息的问题。

发明内容

针对现有技术中胰腺图像分割准确率较低的问题，本发明提出一种胰腺图像分割模型的训练方法、图像分割方法和装置，通过结合2-3D级联网络和2D网络特征指导3D网络分割两种方法得到2-3D网络分割模型，从而保证图像分割拥有一个较高的分割率，提高分割准确率。

为了实现上述目的，本发明提供以下技术方案：

一种胰腺图像自动分割模型的训练方法，具体包括以下步骤：

S1：构建2-3D网络分割模型，所述2-3D网络分割模型包括第一子模型、特征转换模型和第二子模型；

所述第一子模型用于将胰腺图像数据输出为2D分割结果和2D特征；所述特征转换模型用于将2D分割结果和胰腺图像数据结合转换为3D图像特征；所述第二子模型用于将3D图像特征和2D特征进行分割得到3D分割结果；

S2：获取胰腺CT图像数据集，并进行裁剪、缩放和HU值截断，截断范围为[-300,300]从而得到训练集；

S3：将训练集单独输入第一子模型进行优化训练，待第一子模型训练完成后，固定第一子模型使其对应参数不更新，再对特征转换模型和第二子模型进行优化训练；

S4：最后使用训练集对构建的2-3D网络分割模型整体进行优化训练。

优选的，所述第一子模型包括第一2D卷积层、2D下采样部分、2D上采样部分和第二2D卷积层；第二子模型包括第一3D卷积层、3D下采样部分、3D上采样部分和第二3D卷积层。

优选的，采用Adam优化器进行参数优化，训练所使用损失函数具体公式为：

公式(1)中，

本发明还提供一种胰腺图像自动分割方法，具体包括以下步骤：

获取胰腺图像，所述胰腺图像包括2D图像和3D图像，并对2D图像和3D图像进行裁剪、缩放和HU值截断，截断范围为[-300,300]；

将截断后的2D图像输入训练完成的2-3D网络分割模型的第一子模型，从而输出2D分割结果和2D特征；

将2D分割结果和3D图像数据进行结合得到3D图像特征，将3D图像特征和2D特征输入第二子模型，从而输出3D分割结果。

优选的，所述2D分割结果的形状为(N*16,1,128,128)，N代表图像的数量：

1)将(N*16,1,128,128)划分为N个(1，16,1,128,128)；

2)将N个(1，16,1,128,128)图像合并、转置并去除多余维度，从而变为(N,1,16,128,128)；

3)将(N,1,16,128,128)和3D图像数据进行合并，得到3D图像特征，其形状为(N,2,16,128,128)，以适应第二子模型的输入形状。

优选的，所述2D特征指导第二子模型分割,具体步骤包括如下：

1)将2D图像输入第一子模型从而输出2D分割结果和多尺度2D特征；所述多尺度2D特征包括ResBlockFeature4-2D、ResBlockFeature3-2D、ResBlockFeature2-2D、ResBlockFeature1-2D；

2)将2D分割结果和3D图像数据进行结合得到3D图像特征,并将3D图像特征输入第二子模型；

3)将3D图像特征与ResBlockFeature4-2D相加，输出特征ResBlockFeature1-3D；

4)将ResBlockFeature1-3D与ResBlockFeature3-2D相加，输出特征ResBlockFeature2-3D；

5)将ResBlockFeature2-3D同ResBlockFeature2-2D相加，输出特征ResBlockFeature3-3D；

6)将ResBlockFeature3-3D同ResBlockFeature1-2D相加，输出特征ResBlockFeature4-3D；

7)将ResBlockFeature4-3D输入第二子模型的3D上采样部分和第二3D卷积层，输出3D分割结果。

优选的，还包括以下步骤：

复制3D分割结果X得到Y；

对Y中单张图像进行连通域处理，每个图像保留最area＞100的连通域，从而排出噪点干扰；

从前到后扫描Y中的图像，若扫描图像的前后三张图像中有任意一张包含有胰腺，则不对其进行任何处理，否则将该张结果全部置为0，从而得到处理后的胰腺图像Y’；

获取胰腺图像Y’中第一维的start和end，表示仅有start-end张中才有胰腺，让start＝max(0,start-5),end＝min(n,end+5)，得到胰腺在图像中的范围；

根据得到的start和end对3D分割结果X进行处理，使得第一维不在(start，end)的图像结果置为0，得到图像X’；

再从前到后扫描X’中的图像，对其进行连通域处理，仅保留大小排名前二且area>15的连通域，得到图像X”，即为最终分割结果。

本发明还提供一种胰腺图像分割装置，包括：

图像接受单元，用于接收待分割的胰腺图像，所述胰腺图像包括2D图像和3D图像；

图像分割单元，包括2D图像分割单元和3D图像分割单元；2D图像分割单元，用于将2D图像进行分割得到2D分割结果和2D特征；3D图像分割单元用于将3D图像特征进行分割得到3D分割结果和3D特征；

分割图像输出单元，用于输出3D分割结果。

优选的，所述图像分割单元中还包括特征转换单元，用于将2D分割结果和3D图像转换成3D图像特征。

综上所述，由于采用了上述技术方案，与现有技术相比，本发明至少具有以下有益效果：

本发明通过将传统2D网络和3D网络进行有机的结合得到2-3D网络分割模型，从而保证胰腺分割拥有一个较高的分割准确率，为后续的医生诊断提供了可靠的信息。

附图说明：

图1为根据本发明示例性实施例的2-3D网络分割模型示意图。

图2为根据本发明示例性实施例的ConBlock-2D、ResBlock2D、ConBlock-3D和ResBlock3D结构示意图。

图3为根据本发明示例性实施例的2D-Convert结构示意图。

图4为根据本发明示例性实施例的2-3D网络分割模型训练流程示意图。

图5为根据本发明示例性实施例的胰腺图像分割流程示意图。

具体实施方式

下面结合实施例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

目前在胰腺图像分割中，常见的方法分为两类：第一类是2D方法，第二类是3D方法。2D方法无法有效的利用CT图像中给出的三维结构；3D方法在语义信息的提取上存在不足。因此本发明通过构建2-3D网络分割模型对胰腺图像进行分割。

如图1所示，2-3D网络分割模型包括第一子模型、第二子模型和特征转换模型。

第一子模型为一种2D深度学习分割模型，用于将2D输入图像分割得到2D分割结果和2D特征，包括第一2D卷积层、2D下采样部分、2D上采样部分和第二2D卷积层；特征转换模型包括多个2D-Convert层，用于将2D分割结果和3D输入图像结合得到3D图像特征；第二子模型为一种3D深度学习分割模型，用于将3D图像特征和2D特征进行分割得到3D分割结果，包括第一3D卷积层、3D下采样部分、3D上采样部分和第二3D卷积层。

第一2D卷积层包括ConBlock-2D-64；2D下采样部分包括ResBlock2D*3-64、ResBlock2D*4-128、ResBlock2D*6-256、ResBlock2D*3-512和ResBlock2D*2-1024以及对应的2D下采样网络层。第二2D卷积层包括ConBlock-2D-2，2D上采样部分包括ResBlock2D*2-512、ResBlock2D*2-256、ResBlock2D*2-128、ResBlock2D*2-64和对应的2D上采样网络层。每一个ResBlock是由对应特征卷积层、批处理归一化层、非线性变化层和残差连接组成。

例如ResBlock2D*2-1024，ResBlock2D表示ResBlock2D层，2D表示二维，*2表示ResBlock2D层的重复次数，1024表示ResBlock2D层的通道数。

第一3D卷积层包括ConBlock-3D-32；3D下采样部分包括ResBlock3D*2-32、ResBlock3D*2-64、ResBlock3D*2-128、ResBlock4-3D-256和对应的3D下采样网络层。第二3D卷积层包括ConBlock-3D-2；3D上采样部分ResBlock3D*2-128、ResBlock3D*2-64、ResBlock3D*2-32和对应的3D上采样网络层。

如图2所示，第一子模型中，ConBlock-2D由三个Conv2D+BN2D+Relu构成，ResBlock2D包括Conv2D+BN2D+Relu层、Conv2D+BN2D层和Relu层；第二子模型中，ConBlock-3D由三个Conv3D+BN3D+Relu构成，ResBlock3D包括Conv3D+BN3D+Relu层、Conv3D+BN3D层和Relu层。

本实施例中，2D或3D下采样网络层和2D或3D上采样网络层均由对应的特征卷积层、批处理归一化层、非线性变换层和残差连接组成。

本实施例中，如图3所示，特征转换模型包括多个2D-Convert层，将输入拆分成n个(split1,...,splitn)，之后进行合并转置，在经过ConvTranspose得到分辨率一致的图像，再经过Conv3D+BN3D得到通道数一致的图像。

如图4所示，本发明提供一种2-3D网络分割模型的训练方法，具体包括以下步骤：

S1，获取胰腺CT图像数据集并进行裁剪、缩放，再对HU值进行截断，截断范围为[-300,300]从而得到训练集。

本实施例中，胰腺CT图像数据集来自于公开的胰腺分割数据集：NIH胰腺分割数据集。数据集的格式是NII格式，其中包含了体数据的绝对位置、数据密度等信息，数据的形状为(n，512,512)，n表示样本图像的数量，选取其中的60套作为训练集，7套作为验证集，15套作为测试集。

根据NIH胰腺分割数据集统计胰腺在腹部的大致位置，获得相对的坐标(胰腺的位置是固定的)，将图像进行裁剪得到样本图像，即将(n,512,512)的图像裁剪为(n,256,256)，再缩放为(n,128,128)，以减少运行所需内存，提高运行速度。

截断处理的方法是根据常规胰腺的HU值(CT值)，使样本图像的像素值大于300的等于300，小于-300的等于-300，从而排除其他器官的干扰。

S2，将训练集输入第一子模型进行训练。

将2-3D网络分割模型中的第一子模型(即2D网络部分)单独剥离出来，形成一个2D网络。使用训练集对该网络进行训练，即使用Adam自适应优化算法对网络参数进行更新。第一子模型训练参数如下：BatchSize(批量尺寸)为12，学习率为0.0001，迭代次数为25000次。

损失函数采用交叉熵加Dice系数作为网络的损失函数。其中：

交叉熵损失函数

Dice损失函数

其中y

则第一子模型损失函数为：

S3，将训练集输入第二子模型进行训练和特征转换模型。

首先将训练好的第一子模型载入2-3D网络分割模型中，然后冻结第一子模型参数使其不进行更新，然后训练特征转换模型和第二子模型，使用Adam自适应优化算法对网络参数进行更新。第二子模型训练参数如下：BatchSize为2，学习率为0.0001，迭代次数为10000次。

S4，联合训练2-3D网络分割模型。

待第一子模型、特征转换模型和第二子模型训练完成后，将训练集输入2-3D网络分割模型整体，使第一子模型、特征转换模型和第二子模型的参数同时更新。

则2-3D网络分割模型总体损失函数L

其中

因为2D特征同3D特征相差较大，直接训练容易导致模型无法收敛，从而导致分割结果的精度较低。故而本分明采用模型分开训练的方式，提升了图像的分割精度。

如图5所示，本发明中，可将训练完成的2-3D网络分割模型用于胰腺图像分割，例如进行胰腺CT图像分割，具体包括以下步骤：

获取经过预处理的胰腺CT图像，包括2D图像和3D图像。

将2D图像输入训练完成的2-3D网络分割模型的第一子模型，提取得到胰腺CT图像的2D分割结果和2D特征。

本实施例中，第一子模型提取包括特征卷积操作、非线性变换操作和残差连接操作；即对输入至第一子模型的2D图像进行特征卷积操作，对经特征卷积操作处理的图像进行批处理归一化和非线性变换操作，再对经批处理归一化和非线性变换操作后的图像进行残差连接操作，提取胰腺CT图像的2D分割结果(例如胰腺的2D位置和2D形状)和2D特征(例如图像的语义信息和控件信息等)。

将2D分割结果和3D图像数据进行结合得到3D图像特征(包括胰腺的3D位置和3D形状)，作为第二子模型的输入。

本实施例中，为了描述具体的2D输出和3D输入合并的方式，2D分割结果的形状为：(N*16,1,128,128)，3D图像数据为(N,1,16,128,128),其中N代表图像的数量。其具体操作步骤如下：

1)将(N*16,1,128,128)划分为N个(1，16,1,128,128)；

2)将N个(1，16,1,128,128)图像合并、转置并去除多余维度，从而变为(N,1,16,128,128)；

3)将(N,1,16,128,128)同3D图像数据进行合并，得到3D图像特征，其形状为(N,2,16,128,128)，以适应第二子模型的输入形状。

本实施例中，第一子模型输出的2D特征用于指导第二子模型分割。为具体描述2D特征如何输入第二子模型，假设第一子模型的下采样部分由ResBlock1-2D、ResBlock2-2D、ResBlock3-2D和ResBlock4-2D四个下采样网络层组成，2D图像依次经过ResBlock1-2D、ResBlock2-2D、ResBlock3-2D和ResBlock4-2D，其中将由ResBlock1-2D输出并经过2D转换部分的特征命名为ResBlockFeature1-2D，同理命名ResBlockFeature2-2D、ResBlockFeature3-2D、ResBlockFeature4-2D。

假设第二子模型下采样部分由ResBlock1-3D、ResBlock2-3D、ResBlock3-3D和ResBlock4-3D四个下采样网络层组成，其中3D图像特征依次经过ResBlock1-3D、ResBlock2-3D、ResBlock3-3D和ResBlock4-3D，则ResBlock1-3D输出的特征命名为ResBlockFeature1-3D，其它输出命名ResBlockFeature2-3D、ResBlockFeature3-3D、ResBlockFeature4-3D。

2D特征指导第二子模型分割,其具体步骤包括如下：

1)将获得的胰腺CT的2D图像输入第一子模型第一2D卷积层连接的下采样层和上采样层，并获得来自ResBlock1-2D、ResBlock2-2D、ResBlock3-2D和ResBlock4-2D的多尺度2D特征。

2)将2D分割结果和3D图像数据进行结合得到3D图像特征,我们将该特征命名为：InputFeature。

3)将InputFeature同ResBlockFeature4-2D相加，将上述相加后的图像特征输入第二子模型的的ResBlock1-3D,获得特征ResBlockFeature1-3D。

4)将ResBlockFeature1-3D同ResBlockFeature3-2D相加，将上述相加后的图像特征输入第二子模型的ResBlock2-3D，获得特征ResBlockFeature2-3D。

5)将ResBlockFeature2-3D同ResBlockFeature2-2D相加，将上述相加后的图像特征输入第二子模型的ResBlock3-3D，获得特征ResBlockFeature3-3D。

6)将ResBlockFeature3-3D同ResBlockFeature1-2D相加，将上述相加后的图像特征输入第二子模型的ResBlock4-3D，获得特征ResBlockFeature4-3D。

7)将ResBlockFeature4-3D输入第二子模型3D上采样部分和第二3D卷积层，得到3D分割结果。

本实施例中，为了进一步提升胰腺图像的分割结果，还对3D分割结果进行后续处理，具体步骤如下：

3D分割结果图像的形式可以表示为X(m,128,128)，m表示3D分割图像的张数，复制X得到Y；

对Y中单张图像进行连通域处理，每个图像保留area＞100的最大连通域。此步骤的目的是排除噪点干扰。

从前到后扫描Y中的图像，若扫描图像的前后三张图像中有任意一张包含有胰腺，则不对其进行任何处理，否则将该张结果全部置为0，从而得到处理后的胰腺图像Y’。此步骤的目的是为了以防止误判。

例如2-3D网络分割模型输出为二值图(0，1)，0表示无胰腺，1表示有胰腺；则2-3D融合网络的分割结果表示为00010000111100000010，而胰腺是一个整体，即图像的输出1应是连续的，独立的输出1为误判应置0。

获取胰腺图像Y’中第一维的start和end，表示仅有start-end张图像中才包含有胰腺，用以表示胰腺在第一维中所处的位置。为保证分割结果的准确性，让start＝max(0,start-5),end＝min(n,end+5)，即在得到有胰腺的所在的大概位置后再进行扩展，保证胰腺在第一维上被完全包裹，这样不会造成遗漏，提高了准确率。

根据得到的start和end对3D分割结果X进行处理，使得第一维不在(start，end)的图像结果置为0，得到图像X’。再从前到后扫描X’中的图像，对其进行连通域处理，仅保留大小排名前二且area>15的连通域，得到图像X”，即为最终分割结果。

2-3D网络分割模型实验验证：

利用Dice系数评估模型的分割效果，具体结果见表1：

表1

表1中，2D Method和3DMethod是对照实验，其中上述2D Method是仅采用上述2-3D融合网络的2D部分网络结构的方法，其中上述3D Method是仅采用上述2-3D融合网络的3部分网络结构的方法。

为了证明本发明提出的2-3D融合网络的有效性，除了统一的预处理之外，表一所展示的三种方法，在训练中并没有采用包括上下翻转、旋转、添加高斯噪声等任意一种数据增强方式，也没有在训练过程中进行任何难例挖掘。在测试案例中也并没有使用任意后处理方法。

通过表1可在，使用本发明提出的2-3D网络分割模型对胰腺进行分割能有效的提高模型的分割效果。

本发明通过将传统2D网络和3D网络进行有机的结合得到2-3D网络分割模型，从而保证胰腺分割拥有一个较高的分割率，为后续的医生诊断提供了可靠的信息。

本实施例中，还提供一种图像分割装置，包括：

图像接受单元，用于接收待分割的胰腺CT图像，包括2D图像和3D图像；

图像分割单元，搭载有训练完成的2-3D网络分割模型，包括2D图像分割单元和3D图像分割单元；2D图像分割单元，用于将2D图像进行分割得到2D分割结果和2D特征；3D图像分割单元用于将3D图像特征进行分割得到3D分割结果和3D特征；

图像分割单元中，还包括特征转换单元，用于将2D分割结果、2D特征和3D图像转换成3D图像特征，以适应第二子模型的输入形状。

分割图像输出单元，用于输出3D分割结果。

本实施例中，还包括分割图像处理单元，用于对输出3D分割结果进行处理得到最终分割结果，进一步提高胰腺图像分割的准确性。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。