基于深度学习的膝骨关节核磁共振图像自动分割方法

技术领域

本发明涉及医学图像分割领域，具体是一种基于深度学习的膝骨关节核磁共振图像自动分割方法。

背景技术

骨关节炎(OA)是一种严重影响患者生活质量的关节退行性疾病，由于肥胖、事故、竞技以及老龄化等因素导致的膝骨关节炎(KOA)在临床最为常见，主要表现为膝关节疼痛和活动受限。膝骨关节炎是全世界最常见的疾病，其导致的关节改变是不可逆的，也尚无可逆转骨性关节炎损伤的治疗方法，需要依据医生体格检查、影像学报告进行综合判断。

临床研究中，KOA病情的诊断和严重程度评估主要基于对患者关节软骨的形态进行放射学检查的结果。膝关节软骨量化的一般工作流程为：MRI采集、预处理、手动或自动软骨表面分割、软骨定量测量(体积和厚度)、OA分级。核磁共振成像中能够以较高解剖分辨率生成区分关节内软组织结构(包括软组织、软骨、韧带以及半月板)的图像，用于发现膝关节内，特别是关节软骨的局部性结构变化。但是由于膝骨关节的复杂结构形态以及核磁共振成像的性质，从核磁共振图像中获得准确且可重复的定量测量是一项繁重的工作。在临床上操作人员手动分割每个维度(冠状面、矢状面和横断面)的膝关节MR图像中需要的组织边界可能需要4-6小时；其次，由于临床医生的知识和经验，分割结果可能带有主观意识，结果难以复现。此外，使用软骨分割软件的操作员通常需要扩展培训，这将需要花费更多的时间和金钱。

传统分割策略主要是基于区域内强度、纹理均匀性和相似性的图像分割方法。这种分割方法主要分为区域生长、基于边缘和活动轮廓模型，这些组合方法通过提取连接区域，并将像素分组为基于预定义相似性准则的更大区域。例如区域生长方法是用户通过手动设置分割的初始化点(称为种子点)，来提取连接到初始种子点的所有像素区域，并根据相似性标准将其合并，其过程是将种子点手动设置在软骨中心，通过合并相邻像素并将其分类为多个区域来扩展种子区域。基于边缘的算法是依据图像强度的梯度大小区分各种纹理特征。基于边缘的分割算法大多与其他方法结合使用，通常包括三个步骤：预处理、边缘检测和后处理。该方法的一个缺陷是图像强度轮廓和阈值设置的机制复杂，因为软骨结构间和相邻结构之间(比如股骨和股骨软骨之间)的对比度相似；由于会出现软骨缺损和边界不连续，无法找到合适的阈值，导致基于强度梯度的边缘检测算法无法普遍适用于膝骨关节炎患者。

卷积神经网络(CNN)的方法能够完成像素级预测，并包含丰富的信息，例如位置和大小。卷积神经网络利用空间归纳偏置学习视觉特征，能够更好学习感兴趣区域的局部特征表示，无需任何传统的高计算量空间结构建模。但编码器-解码器架构这类模型存在两个局限：第一，标准卷积仅能从邻域像素收集信息，缺乏提取明确全局依赖性特征的能力；第二，卷积核的大小和形状往往是固定的，因此它们不能灵活适应输入的图像或其他内容，无论是在单个切片(片内切片)内还是相邻切片(片间切片)之间不足以编码远程交互信息。对于医学图像分割任务目标位置敏感的特殊性，一些欠分割或者过分割的区域都在目标周围，往往需要高分辨率特征。

发明内容

针对现有技术的不足，本发明拟解决的技术问题是，提供一种基于深度学习的膝骨关节核磁共振图像自动分割方法。

本发明解决所述技术问题的技术方案是，提供一种基于深度学习的膝骨关节核磁共振图像自动分割方法，其特征在于，该方法包括以下步骤：

步骤1、利用有标签的膝骨关节核磁共振图像Image组成数据集，再将数据集划分为训练集、验证集和测试集；

搭建图像分割模型M，用于膝骨关节分割；所述图像分割模型M由连续的Stem模块、Layer1残差模块、Transition-Stage并联多尺度结构、大卷积注意力模块和Final Layer模块组成；Stem模块和大卷积注意力模块之间添加跳跃连接；

步骤2、从训练集和验证集中取出标签大小为C

步骤3、将步骤2得到的特征图X

步骤4、将步骤3得到的特征图X

步骤5、将步骤4得到的融合特征张量X

步骤6、将步骤5得到的特征图X

步骤7、采用DiceCE损失函数

步骤8、重复步骤2～步骤7直到图像分割模型M收敛，得到训练好的图像分割模型M；

步骤9、将测试集中待分割的膝骨关节图像送入训练好的图像分割模型M，得到最终分割结果Pred，完成膝骨关节核磁共振图像的分割。

与现有技术相比，本发明的有益效果在于：

(1)本发明将有标签的图像作为输入，通过简单而有效的CNN方案提取膝骨关节部位的股骨、股骨软骨、胫骨、胫骨内软骨和胫骨外软骨分割预测图，计算相似性系数并生成3D分割结果可视化视图，辅助医生观察膝骨组织形态，测量软骨组织厚度，并进一步用于评估软骨损伤程度，为临床诊断、手术规划和预后评估提供重要支撑。

(2)本发明的图像分割网络通过搭建分层并联的网络结构，利用多层次结构参数直接从原始数据中学习特征表示，而无需手工制作特征提取技术。网络在保持学习高分辨率特征的同时，进行多尺度特征的聚合，融合了空间注意力和通道注意力，使得网络能够对细小组织结构的分割保持图像高分辨率以更好地学习局部特征，并结合大卷积注意力模块使用卷积注意力机制建模全局信息，高效地提取图像中高阶特征和总体信息。

(3)本发明的图像分割网络由卷积模块组成，采用了深度卷积、深度膨胀卷积和通道卷积来构建纯卷积注意力，有效地减少了网络参数，并且提高了训练效率。注意力模块通过集成全局和局部语义信息，能够增强局部区域分割性能，使模型产生更鲁棒的分割结果。

(4)对原始膝骨关节核磁共振图像进行一系列预处理，包括随机翻转、随机旋转和随机采样，这些数据增强方式可防止网络模型对少量样本数据的过度拟合，并增强网络模型对各种病例样本的泛化学习能力。

(5)本发明一定程度上提高了多目标分割的精度，可实现端到端3D自动分割功能，并且有效缩短了单个病例的分割时间，具有结果可重复、再优化的特点，能够有效缓解临床实践中的数据标注时间长和结果带有操作人员主观意识的难题。本发明提出的方法可以广泛地应用在类别不均衡的医学数据中，提高对细小组织区域分割的精度。

附图说明

图1为本发明的图像分割模型的系统结构图；

图2为本发明的图像分割模型的第一个Transition-Stage模块的结构图；

图3为本发明的图像分割模型的第三个Transition-Stage模块的Stage结构与大卷积注意力模块的结构图；

图4为本发明的大卷积注意力模块的结构图。

具体实施方式

下面给出本发明的具体实施例。具体实施例仅用于进一步详细说明本发明，不限制本发明权利要求的保护范围。

本发明提供了一种基于深度学习的膝骨关节核磁共振图像自动分割方法(简称方法)，其特征在于，该方法包括以下步骤：

步骤1、利用有标签的膝骨关节核磁共振图像Image组成数据集，再将数据集划分为训练集、验证集和测试集；

搭建图像分割模型M，用于膝骨关节分割；所述图像分割模型M由连续的Stem模块、Layer1残差模块、Transition-Stage并联多尺度结构、大卷积注意力模块和Final Layer模块组成；Stem模块和大卷积注意力模块之间添加跳跃连接；

优选地，步骤1中，数据集按照7:2:1的比例划分为训练集、验证集和测试集。

优选地，步骤1中，组建数据集的过程中，先对有标签的膝骨关节核磁共振图像Image进行数据预处理来进行图像增强，从而增加训练的数据量，并提高模型的鲁棒性；数据预处理包括随机裁剪、随机翻转和随机旋转，具体方法如下：

对于有标签的膝骨关节核磁共振图像Image和其对应的标签Label，沿着图像的x、y、z坐标方向以P

步骤2、从训练集和验证集中取出标签大小为C

优选地，步骤2中，所述Stem模块由连接的第一卷积层和第二卷积层构成，如式(1)所述：

Stem＝ReLU(BN(Conv

其中，第一卷积层的卷积核大小filter为3×3×3，步长stride为1，填充padding为0，通道数C为32；第二卷积层的卷积核大小filter为3×3×3，步长stride为2，填充padding为0，通道数C为32。

C代表输入通道数，H代表空间高度，W代表空间宽度，D代表空间深度；

步骤3、将步骤2得到的特征图X

优选地，步骤3中，Layer1残差模块由3个连续堆叠的Bottleneck模块组成，用于调整通道个数；每个Bottleneck模块均由两个相同卷积层构成，每个卷积层的卷积核大小filter为3×3×3，步长stride为1，通道数C为32，如式(2)所示；

BottleneckBlock＝2×ReLU(BN(Conv(X)))(2)

步骤4、将步骤3得到的特征图X

优选地，步骤4中，每通过一个Transition结构都会增加一个尺度分支。Transition结构完成对同层特征的直接复制，对跨层特征下采样的操作。

优选地，步骤4中，Stage结构包含3个卷积特征提取模块，并对不同尺度的特征进行上采样和下采样操作，进行跨层的特征元素相加，完成空间注意力和通道注意力特征学习。Stage结构并行分支可以很好地保存各尺度的特征图，并进行了空间和通道特征融合，使得图像分割模型M具有更好的泛化能力。

优选地，步骤4的具体操作为：特征图X

优选地，步骤4中，第一个Transition-Stage模块的Transition结构包括两个并行的卷积层；第一行卷积层的卷积核大小filter为3×3×3，步长stride为1，通道数C为32；第二行卷积层的卷积核大小filter为3×3×3，步长stride为2，通道数C为64：

Down

Down

第二Transition结构包括三个并行的特征层，即下采样2倍、4倍和8倍尺度的特征层；首先将下采样2倍和4倍特征图直接复制，下采样8倍的特征图是由下采样4倍的特征图经过一个卷积核大小filter为3×3×3、步长stride＝2、通道数C为128的卷积层得到：

Down

第三Transition结构包括四个并行的卷积层，即下采样2倍、4倍、8倍和16倍尺度的特征层；首先将下采样2倍、4倍和8倍尺度的特征图直接复制，下采样16倍的特征图是由下采样8倍的特征图经过一个卷积核大小filter为3×3×3、步长stride＝2、通道数C为256的卷积层得到。

Down

优选地，步骤4中，Stage结构对于每个尺度分支首先经过三个BasicBlock卷积模块进行特征提取，然后融合不同尺度上的特征信息；对于每个尺度分支上的输出都是由所有分支上的输出进行融合后得到的；

每个BasicBlock卷积模块均由两个卷积层构成，如式(8)所示：

BasicBlock＝2×ReLU(BN(Conv(X)))(8)

优选地，步骤4中，所有上采样通过一个卷积核大小filter为1×1×1的卷积层和BatchNorm函数层，最后采用trilinear插值算法通过Upsample直接放大n倍得到上采样后的结果，如式(9)所示：

Up

步骤5、将步骤4得到的融合特征张量X

优选地，步骤5中，大卷积注意力模块由连续的一个深度卷积层、一个深度膨胀卷积层和一个通道卷积层构成，如式(10)所述；

Attention(X)＝X+Gelu(Conv

LKA(X)＝X*Conv

其中，深度卷积层的卷积核大小filter为5×5×5，步长stride为1，填充padding为2，通道数C为32；深度膨胀卷积层的卷积核大小filter为7×7×7，步长stride为1，填充padding为9，膨胀系数dilation为3，通道数C为32；通道卷积层的卷积核大小filter为1×1×1，通道数C为32。

步骤6、将步骤5得到的特征图X

优选地，步骤6中，Final Layer模块为一个卷积层；卷积层的卷积核大小filter为1×1×1，步长stride为1，填充padding为0，通道数为目标类别数的卷积组成。

步骤7、采用DiceCE损失函数

优选地，步骤7中，DiceCE损失函数

式(11)中，

优选地，步骤7中，评价指标为Dice系数和ASD(Average surface distance，平均表面距离)；

Dice系数的定义如式(12)所示：

式(12)中，P代表模型给出的预测结果(Prediction)，G表示正确的标签结果(Ground truth)，smooth的值为1，用于避免计算公式中的分母为0；

ASD的定义如式(13)所示：

式(13)中，S(P)代表P集合中的表面体素集合，d(v,S(P))表示任意体素v到S(P)的最短距离，其中‖·‖代表欧式距离，然后计算平均对称表面距离。

步骤8、重复步骤2～步骤7直到图像分割模型M收敛，得到训练好的图像分割模型M并生成并保存3D分割结果图，辅助医生分析组织形态；

步骤9、将测试集中待分割的膝骨关节图像送入训练好的图像分割模型M，得到最终分割结果Pred，完成膝骨关节核磁共振图像的分割，从而完成骨骼、软骨组织的定量测量和病情分级，辅助医生进行骨关节炎的诊断。

实施例1

本发明以OAI-ZIB数据集为例，利用本发明的模型和现有模型进行膝骨关节组织进行分割，各种模型的实验结果参见表1。

表1各种方法的实验结果对比

从表1可知，利用多尺度并联网络和大卷积注意力模块提取图像中的特征，能够更好地区分不同类别特征之间的复杂边界，同时保证了特征提取的完整性，高效地提取图像中的高阶特征以及总体信息，可以有效地提高3D医学图像分割精度，并且缩短了单个病例分割的时间。

医生可利用分割网络自动分割患者核磁共振图像并保存3D结果，可进一步定量观察、测量膝骨关节组织，达到辅助分析骨关节炎的目的。

本发明未述及之处适用于现有技术。