前列腺超声分割模型的训练方法、分割方法及装置

技术领域

本发明涉及图像处理技术领域，特别是一种前列腺超声分割模型的训练方法、分割方法及装置。

背景技术

前列腺癌的发病率正呈逐年上升的趋势，而前列腺超声是前列腺癌诊疗中最为广泛应用的成像方式。在前列腺融合穿刺、近距离放射治疗中，前列腺超声图像的精确分割对于穿刺策略、放疗剂量的选择尤为重要。但是医生手工进行分割费时费力，并且一致性欠佳。随着深度学习技术的发展，深度学习技术也逐渐应用到前列腺超声分割领域中。但是，由于前列腺图像超声的特性，深度学习在前列腺超声分割中还存在一些问题：

1.超声图像信噪比较低，超声波反射过程中会出现伪影；由于信号回落和遮挡，还会出现结构成像失败。这些问题导致前列腺和周围组织之间边界不清，极大地影响模型性能。

2.深度学习会将输入图片的所有信息进行计算，不会识别图像中的关键信息；而图像分割中，目标区域可能仅占图像的一小部份。复杂任务需要大量的输入信息和复杂的计算，部分权重地计算图像所有信息会影响模型的计算效率。

发明内容

针对上述缺陷，本发明的目的在于提出前列腺超声分割模型的训练方法、分割方法及装置，利用基于前列腺形状先验知识和注意力机制的深度学习方法进行前列腺超声分割，将形状先验知识和超声图像结合，有效提升图像分割的准确性。

为达此目的，本发明采用以下技术方案：

本发明第一方面公开了前列腺超声分割模型的训练方法，包括如下步骤：

获取每个患者成对的前列腺超声图像和Mask图；

对每个患者成对的前列腺超声图像和Mask图进行数据预处理，划分出训练集，并对上述训练集中每个患者成对的前列腺超声图像和Mask图进行数据增强处理；

将注意力机制结合到3D-UNet中构建前列腺超声分割模型，并根据上述训练集对前列腺超声分割模型进行训练；

根据上述训练集提取出前列腺轮廓的先验知识并构建损失函数；

根据上述损失函数调整前列腺超声分割模型的模型参数，获得优化后的前列腺超声分割模型。

作为一种可选的实施例，在本发明第一方面中，上述损失函数包括主动形状损失函数和均方损失函数，根据上述损失函数调整前列腺超声分割模型的模型参数包括如下步骤：

联合主动形状损失函数和均方损失函数；

以Adam算法为优化器，通过余弦退火重启动方法动态调整前列腺超声分割模型的学习率，以使损失函数反向传播迭代更新权重。

作为一种可选的实施例，在本发明第一方面中，上述训练集提取出前列腺轮廓的先验知识并构建损失函数包括如下步骤：

根据训练集中每个患者成对的前列腺超声图像和Mask图，对每个患者的前列腺轮廓进行提取，得到每个患者的前列腺轮廓的三维点云数据，将各个三维点云数据对应作为每个患者的训练样本X＝[x

根据每个训练样本的三维点云数据计算出所有训练样本的平均形状，平均形状的计算公式为：

公式(1)中，

将训练样本集中所有训练样本通过仿射变换配准到平均形状，并计算每个配准后的样本相较于平均形状的偏移量，偏移量的计算公式为：

公式(2)中，dX

根据上述偏移量计算出上述训练样本集的协方差矩阵，协方差矩阵的计算公式为：

公式(3)中，

对协方差矩阵进行奇异值分解，获得特征值和特征向量，计算公式为：

Sp

公式(4)中，λ

选取最大的前t个特征值表示训练样本的主要形状，得到样本形状向量的统计模型；其中，t满足：

公式(5)中，Ratio表示主要形状能解释原始模型中所有形变的比例；

其中，主要形状的表达式为：

公式(6)中，P是特征向量，B是特征向量对应的特征值；

则样本形状向量的统计模型为：

/>

公式(7)中，P

根据上述统计模型构建局部灰度模型计算每个特征点的局部特征，以用于调整迭代参数，获取目标的最佳匹配模型；其中，每个特征点的局部灰度模型的协方差矩阵为：

公式(8)中，g

通过计算马氏距离比较匹配过程中移动的特征点与移动后得到的新特征点之间的相似度，作为主动形状损失函数的评价指标，马氏距离越小，两个特征点的相似度越大；两个特征点马氏距离的计算公式为：

公式(9)中，g

在前列腺超声分割模型的训练过程中，通过计算预测点和Mask图对应点的误差获得主动形状损失函数，主动形状损失函数为：

公式(10)中，

在前列腺超声分割模型的训练过程中，通过计算模型预测值和样本真实值的方差获得均方损失函数，均方损失函数为：

公式(11)中，y

作为一种可选的实施例，在本发明第一方面中，上述结合有注意力机制的前列腺超声分割模型包括出初始化模块、第一编码模块、第二编码模块、第三编码模块、第四编码模块、第五编码模块、第一解码模块、第二解码模块、第三解码模块、第四解码模块、第五解码模块、第一注意力机制模块、第二注意力机制模块、第三注意力机制模块、第四注意力机制模块、第五注意力机制模块以及最终分割模块组成；

上述初始化模块的输出端连接至上述第一编码模块的输入端；上述第一编码模块的输出端连接至上述第二编码模块的输入端；上述第二编码模块的输出端连接至上述第三编码模块的输入端；上述第三编码模块的输出端连接至上述第四编码模块的输入端；上述第四编码模块的输出端连接至上述第五编码模块的输入端；上述第五编码模块的输出端与上述第四编码模块的输出端跳跃连接至上述第一注意力机制模块的输入端；上述第一注意力机制模块的输出端连接至上述第一解码模块的输入端；上述第一解码模块的输出端与上述第三编码模块的输出端跳跃连接至上述第二注意力机制模块的输入端；上述第二注意力机制模块的输出端连接至上述第二解码模块的输入端；上述第二解码模块的输出端与上述第二编码模块的输出端跳跃连接至上述第三注意力机制模块的输入端；上述第三注意力机制模块的输出端连接至上述第三解码模块的输入端；上述第三解码模块的输出端与上述第一编码模块的输出端跳跃连接至上述第四注意力机制模块的输入端；上述第四注意力机制模块的输出端连接至上述第四解码模块的输入端；上述第四解码模块的输出端与上述初始化模块的输出端跳跃连接至第五注意力机制模块的输入端，上述第五注意力机制模块的输出端连接至上述最终分割模块的输入端。

作为一种可选的实施例，在本发明第一方面中，上述第一注意力机制模块、第二注意力机制模块、第三注意力机制模块、第四注意力机制模块和第五注意力机制模块均包括第一并行支路、第二并行支路、第三并行支路和求和单元，上述第一并行支路用于输出通道注意力，上述第二并行支路用于输出空间注意力，上述第三并行支路用于输出原输入特征，上述第一并行支路、第二并行支路和第三并行支路的输出端分别连接至上述求和单元，上述求和单元用于将通道注意力、空间注意力和原输入特征相加。

作为一种可选的实施例，在本发明第一方面中，上述第一并行支路设有第一最大池化层、第一平均池化层、感知机结构、第一向量相加单元和第一Sigmoid激活函数单元，上述第一并行支路的输入端连接至上述第一最大池化层的输入端和上述第一平均池化层的输入端，上述第一最大池化层和上述第一平均池化层的输出端分别连接至上述感知机结构的输入端；上述感知机结构的输出端连接上述第一向量相加单元的输入端，上述第一向量相加单元用于将两个向量相加，上述第一向量单元的输出端连接上述第一Sigmoid激活函数单元的输入端，上述第一Sigmoid激活函数单元的输出端连接至上述第一并行支路的输出端。

作为一种可选的实施例，在本发明第一方面中，上述第二并行支路设有第二最大池化层、第二平均池化层、第二向量求和单元、卷积层以及第二Sigmoid激活函数单元；

上述第二支路的输入端连接至上述第二最大池化层和上述第二平均池化层的输入端，上述第二最大池化层和上述第二平均池化层的输入端连接至上述第二向量求和单元的输入端，上述第二向量求和单元用于将两个向量在通道上相加，上述通道求和单元的输出端连接至上述卷积层的输入端，上述卷积层的输出端连接至上述第二Sigmoid激活函数单元的输入端，上述第二Sigmoid激活函数单元的输出端连接至上述第二支路的输出端。

本发明公开了一种前列腺超声分割方法，包括：获取待分割处理的前列腺超声图像；将上述前列腺超声图像输入至本发明第一方面任意一项上述的前列腺超声分割模型的训练方法中得到的前列腺超声分割模型，以输出分割结果。

本发明第三方面公开了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，上述处理器执行上述程序时实现本发明第一方面和第二方面任一上述方法的步骤。

本发明第四方面公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明第一方面和第二方面任一上述方法的步骤。

本发明提供的技术方案可以包括以下有益效果：

在本发明通过结合前列腺形态先验知识作为损失函数，利用损失函数调整前列腺超声切割模型的模型参数，实现对前列腺超声切割模型进行校正和补偿，以克服超声图像边界模糊、结构成像失败等问题，提升分割精度。此外，前列腺超声切割模型还结合注意力机制提升前列腺区域的权重，减少任务复杂度，提升前列腺超声切割模型效率。

附图说明

图1是本发明的一个实施例的训练流程示意图；

图2是本发明的一个实施例的前列腺超声分割模型的结构示意图；

图3是本发明的一个实施例的注意力机制模块的结构示意图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

本发明第一方面公开了前列腺超声分割模型的训练方法，包括如下步骤：

步骤S1：获取每个患者成对的前列腺超声图像和Mask图。

步骤S2：对每个患者成对的前列腺超声图像和Mask图进行数据预处理，划分出训练集，并对上述训练集中每个患者成对的前列腺超声图像和Mask图进行数据增强处理。

步骤S3：将注意力机制结合到3D-UNet中构建前列腺超声分割模型，并根据上述训练集对前列腺超声分割模型进行训练。

步骤S4：根据上述训练集提取出前列腺轮廓的先验知识并构建损失函数。

步骤S5：根据上述损失函数调整前列腺超声分割模型的模型参数，获得优化后的前列腺超声分割模型。损失函数是评价预测值和真实值差距的指标，根据损失函数的结果，深度学习模型会反向传播更新参数，使损失不断降低。

其中，上述步骤S1包括如下步骤：

步骤S101：获取每个患者的前列腺超声图像。

步骤S102：使用ITK-SNAP软件对采集到的前列腺超声图像中前列腺区域进行人工分割，由2名具有五年以上前列腺超声诊断经验的影像科医生在超声图像中沿着前列腺边缘勾画轮廓，生成分割Mask图金标准。从而获取每个患者成对的前列腺超声图像和Mask图。

其中，上述步骤S2包括如下步骤：

步骤S201：数据清洗。数据清洗具体为将每个患者的成对数据进行检查，查看前列腺超声图像数据和Mask图分辨率是否一致、Mask图是否二值化(前列腺区域值为1，背景区域值为0)。将错误数据的患者编号输出，重新进行数据收集和标注工作。

步骤S202：数据重采样。数据重采样具体为分别读取成对图像数据和标注数据中Spacing、Direction、Origin等空间信息，以图像数据为基准，将标注数据的空间信息重采样到图像数据，保证成对图像数据和标注数据空间信息的一致性。

步骤S203：数据集分配。数据集分配具体为根据收集的数据量大小，将成对数据进行随机打乱，按80％、10％和10％的比例分成训练集、验证集和测试集。

其中，数据增强处理具体为：使用Trochio添加数据增强层，不同的层具备不同的数据增强作用，并且具有随机性。具体包括：在水平方向随机翻转图像。在垂直方向随机翻转图像。在顺时针-90度至90度之间，随机旋转图像。在-10％和10％的范围内，随机调整图像的对比度和亮度。由于数据增强具有随机性，深度学习每次训练时，同一张图片的增强效果都会不一样，能基于现有数据增加图片多样性，提升模型泛化能力。

在本发明中，通过结合前列腺形态先验知识作为损失函数，通过损失函数调整前列腺超声切割模型的模型参数，实现对前列腺超声切割模型进行校正和补偿，以克服超声图像边界模糊、结构成像失败等问题，提升分割精度。此外，前列腺超声切割模型还结合注意力机制提升前列腺区域的权重，减少任务复杂度，提升前列腺超声切割模型效率。

作为一种可选的实施例，上述损失函数包括主动形状损失函数和均方损失函数，根据上述损失函数调整前列腺超声分割模型的模型参数包括如下步骤：

步骤S501：联合主动形状损失函数和均方损失函数。

步骤S502：以Adam算法为优化器，通过余弦退火重启动方法动态调整前列腺超声分割模型的学习率，以使损失函数反向传播迭代更新权重。

作为一种可选的实施例，上述训练集提取出前列腺轮廓的先验知识并构建损失函数包括如下步骤：

步骤S401：根据训练集中每个患者成对的前列腺超声图像和Mask图，对每个患者的前列腺轮廓进行提取，得到每个患者的前列腺轮廓的三维点云数据，将各个三维点云数据对应作为每个患者的训练样本X＝[x

步骤S402：根据每个训练样本的三维点云数据计算出所有训练样本的平均形状，平均形状的计算公式为：

公式(1)中，

步骤S403：将训练样本集中所有训练样本通过仿射变换配准到平均形状，并计算每个配准后的样本相较于平均形状的偏移量，偏移量的计算公式为：

公式(2)中，dX

步骤S404：根据上述偏移量计算出上述训练样本集的协方差矩阵，协方差矩阵的计算公式为：

公式(3)中，

步骤S405：对协方差矩阵进行奇异值分解，获得特征值和特征向量，计算公式为：

Sp

公式(4)中，λ

步骤S406：选取最大的前t个特征值表示训练样本的主要形状，得到样本形状向量的统计模型。其中t需要满足：

Ratio表示主要形状能解释原始模型中所有形变的比例，一般该值在80％以上，本申请中该Ratio设置为90％，可以使用较少的变量表示出训练集中样本的主要形状。

主要形状的表达式为：

公式(6)中，P是特征向量，B是特征向量对应的特征值。

则样本形状向量的统计模型为：

公式(7)中，P

步骤S407：根据上述统计模型构建局部灰度模型计算每个特征点的局部特征，以用于调整迭代参数，获取目标的最佳匹配模型。其中，每个特征点的局部灰度模型的协方差矩阵为：

公式(8)中，g

步骤S408：通过计算马氏距离比较匹配过程中移动的特征点与移动后得到的新特征点之间的相似度，作为主动形状损失函数的评价指标。马氏距离越小，两个点的相似度越大，以此确定点的最佳位置。两个特征点马氏距离的计算公式为：

公式(9)中，g

步骤S409：在前列腺超声分割模型的训练过程中，通过计算预测点和金标准Mask对应点的误差获得主动形状损失函数，主动形状损失函数为：

公式(10)中，

步骤S410：在前列腺超声分割模型的训练过程中，通过计算模型预测值和样本真实值的方差获得均方损失函数，均方损失函数为：

公式(11)中，y

作为一种可选的实施例，上述结合有注意力机制的前列腺超声分割模型包括出初始化模块、第一编码模块、第二编码模块、第三编码模块、第四编码模块、第五编码模块、第一解码模块、第二解码模块、第三解码模块、第四解码模块、第五解码模块、第一注意力机制模块、第二注意力机制模块、第三注意力机制模块、第四注意力机制模块、第五注意力机制模块以及最终分割模块组成。

上述初始化模块的输出端连接至上述第一编码模块的输入端。上述第一编码模块的输出端连接至上述第二编码模块的输入端。上述第二编码模块的输出端连接至上述第三编码模块的输入端。上述第三编码模块的输出端连接至上述第四编码模块的输入端。上述第四编码模块的输出端连接至上述第五编码模块的输入端。上述第五编码模块的输出端与上述第四编码模块的输出端跳跃连接至上述第一注意力机制模块的输入端。上述第一注意力机制模块的输出端连接至上述第一解码模块的输入端。上述第一解码模块的输出端与上述第三编码模块的输出端跳跃连接至上述第二注意力机制模块的输入端。上述第二注意力机制模块的输出端连接至上述第二解码模块的输入端。上述第二解码模块的输出端与上述第二编码模块的输出端跳跃连接至上述第三注意力机制模块的输入端。上述第三注意力机制模块的输出端连接至上述第三解码模块的输入端。上述第三解码模块的输出端与上述第一编码模块的输出端跳跃连接至上述第四注意力机制模块的输入端。上述第四注意力机制模块的输出端连接至上述第四解码模块的输入端。上述第四解码模块的输出端与上述初始化模块的输出端跳跃连接至第五注意力机制模块的输入端，上述第五注意力机制模块的输出端连接至上述最终分割模块的输入端。

具体地，在本实施例中，输入前列腺超声分割模型的图像是大小为N×C×D×H×W的五维向量，其中N是批量大小，C是图像通道数，D是图像深度，H是图像高度，W是图像宽度。参照图2所示，输入的图像经初始化模块转换成通道为16的五维向量，然后依次经过第一编码模块、第二编码模块、第三编码模块、第四编码模块以及第五编码模块。第五编码模块的输出和第四编码模块的输入通过跳跃连接进入第一注意力模块，第一注意力模块的输出作为第一解码模块的输入。第一解码模块的输出和第三编码模块的输出通过跳跃连接输入第二注意力模块，第二注意力模块的输出作为第二解码模块的输入。第二解码模块的输出和第二编码模块的输出通过跳跃连接输入第三注意力模块，第三注意力模块的输出作为第三解码模块的输入。第三解码模块的输出和第一编码模块的输出通过跳跃连接输入第四注意力模块，第四注意力模块的输出作为第四解码模块的输入。第四解码模块的输出和初始化模块的输出通过跳跃连接输入第五注意力模块，第五注意力模块的输出作为第五解码模块的输入。第五解码模块的输出经过最终分割模块，输出模型的分割结果。

第一编码模块、第二编码模块、第三编码模块、第四编码模块和第五编码模块的结构均相同，分别由1个最大池化层(卷积核为2×2×2，滑动步长为2，填充参数为0)和2个卷积层(卷积核大小为3×3×3，滑动步长为1，填充参数为1，激活函数为ReLU函数，归一化操作为组归一化)组成。第一编码模块、第二编码模块、第三编码模块、第四编码模块、第五编码模块分别输出通道数为32、64、128、256、512的五维向量。

第一解码模块、第二解码模块、第三解码模块、第四解码模块和第五解码模块的结构均相同，分别由2个卷积层(卷积核大小为3×3×3，滑动步长为1，填充参数为1，激活函数为ReLU函数，归一化操作为组归一化)组成。第一解码模块、第二解码模块、第三解码模块、第四解码模块、第五解码模块分别输出通道数为256、128、64、32、16的五维向量。

最终分割模块由1个卷积层和sigmoid函数组成，卷积层的卷积核大小为1×1×1，滑动步长为1。最终分割模块用于将第五解码模块的输出转换成2通道的五维向量，即模型预测每个像素属于背景或者前列腺的概率。

本申请在3D-UNet的基础上，于跳跃连接之后增加注意力机制模块，使模型更加增加前列腺目标区域的权重，提升模型的效率。

作为一种可选的实施例，上述第一注意力机制模块、第二注意力机制模块、第三注意力机制模块、第四注意力机制模块和第五注意力机制模块均包括第一并行支路、第二并行支路、第三并行支路和求和单元，上述第一并行支路用于输出通道注意力，上述第二并行支路用于输出空间注意力，上述第三并行支路用于输出原输入特征，上述第一并行支路、第二并行支路和第三并行支路的输出端分别连接至上述求和单元，上述求和单元用于将通道注意力、空间注意力和原输入特征相加。

作为一种可选的实施例，上述第一并行支路设有第一最大池化层、第一平均池化层、感知机结构、第一向量相加单元和第一Sigmoid激活函数单元，上述第一并行支路的输入端连接至上述第一最大池化层的输入端和上述第一平均池化层的输入端，上述第一最大池化层和上述第一平均池化层的输出端分别连接至上述感知机结构的输入端。上述感知机结构的输出端连接上述第一向量相加单元的输入端，上述第一向量相加单元用于将两个向量相加，上述第一向量单元的输出端连接上述第一Sigmoid激活函数单元的输入端，上述第一Sigmoid激活函数单元的输出端连接至上述第一并行支路的输出端。

在本实施例中，第一并行支路将输入的特征先通过第一最大池化层和第一平均池化层，得到经第一最大池化层处理后的向量

M

其中，M

作为一种可选的实施例，上述第二并行支路设有第二最大池化层、第二平均池化层、第二向量求和单元、卷积层以及第二Sigmoid激活函数单元。

上述第二支路的输入端连接至上述第二最大池化层和上述第二平均池化层的输入端，上述第二最大池化层和上述第二平均池化层的输入端连接至上述第二向量求和单元的输入端，上述第二向量求和单元用于将两个向量在通道上相加，上述通道求和单元的输出端连接至上述卷积层的输入端，上述卷积层的输出端连接至上述第二Sigmoid激活函数单元的输入端，上述第二Sigmoid激活函数单元的输出端连接至上述第二支路的输出端。

在本实施例中，第二并行支路将输入的特征先通过第二最大池化层和第二平均池化层，得到经第二最大池化层处理后的向量

M

在公式(13)中，M

本发明第二方面公开了一种前列腺超声分割方法，包括：

步骤A1：获取待分割处理的前列腺超声图像。

步骤A2：将上述前列腺超声图像输入至本发明第一方面公开的任意一项上述的前列腺超声分割模型的训练方法中得到的前列腺超声分割模型，以输出分割结果。

本发明第三方面还公开了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，上述处理器执行上述程序时实现如本发明第一方面和第二方面任一项上述方法的步骤。

本发明第四方面还公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明第一方面和第二方面任一项上述方法的步骤。

通过以上的实施例的具体描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上结合具体实施例描述了本发明的技术原理。这些描述只是为了解释本发明的原理，而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些方式都将落入本发明的保护范围之内。