基于深度对比学习的半监督膝关节炎辅助分析方法

技术领域

本发明涉及医学图像分割领域，具体是一种基于深度对比学习的半监督膝关节炎辅助分析方法。

背景技术

骨关节炎是一种严重影响患者生活质量的关节退行性疾病，是全球疼痛和残疾的主要原因。在医学诊断中，骨关节炎最为常见的致病因素主要有肥胖、事故、竞技以及老龄化，其主要表现为膝关节疼痛和活动受限。此外，骨关节炎会导致关节软骨和软骨下骨发生形态学变化，且这一过程是不可逆的，也尚无可逆转骨性关节炎损伤的治疗方法，需要依据医生体格检查、影像学报告进行综合判断。

临床研究中，膝骨关节炎的诊断和严重程度评估主要基于放射学检查结果。在MR图像中可以生成关节内软组织结构的2D和3D图像，通常用于发现膝关节内，特别是关节软骨的结构变化。因此，MR图像通常作为一种展示病变发展进程的主要方式，也用于评估治疗方法的有效性。由于膝骨关节的结构和形态以及MR成像的性质，从MR扫描中获得准确且可重复的定量测量是一项繁重的工作。其次，无论专业人员能力如何，人工标注的过程都是相当复杂和耗时的，单个膝关节MR的人工标注可能动辄数小时以上，且标注结果还会带有个人主观意识的影响。

传统分割策略通常是基于一些图像标准来执行的，例如区域的强度变化、纹理的同质性等，并且通常将数据和关于被分割对象的先验知识结合起来进行图像分割。传统分割丰富主要有区域生长、基于边缘和活动轮廓模型等，它们提取连接区域，并将像素分组为基于预定义相似性准则的更大区域，最终得到分割结果。所谓的相似性准则也就是图像强度、图像纹理等同质性条件。这些传统分割方法需要继承形状和外观变化等高级知识，需要一定程度的用户交互，因此是一种半自动的图像分割方案。

在提供大量标注数据的情况下，使用深度学习方法，特别是以卷积网络(CNNs)为主的神经网络模型，在核磁共振图像自动分割任务上已经取得了令人满意的精确度。卷积网络能够利用卷积核对图像特征进行提取，并使用先编码，再解码的方式完成端到端的目标区域自动分割。卷积神经网络利用空间归纳偏置学习视觉特征，能够更好学习图像特征表示。在医学图像分割领域广泛应用的卷积网络模型有U-Net、V-Net等，它们使用编码器-解码器结构以最大化利用卷积网络的语义特征提取能力，并使用跳跃连接(SkipConnection)将纹理、边缘等低级语义信息保留下来，从而得到卓越的图像分割性能。然而，MR图像会受到成像方式、扫描仪器、空间分辨率的影响，而表现出不同的特征分布。通常在实际临床诊治过程中使用的MR图像与公开数据集中的MR图像存在较大的分布差异，因此不能将在公开数据集上预先训练好的模型直接用于辅助诊断，而重新训练网络模型又缺乏充足的，相似特征分布的标注数据。所以这类全监督的深度学习方法难以应用到实际临床治疗中。

目前，医学图像处理领域普遍面临着带标注医学图像匮乏的问题，而无标注数据相对来说更容易获得，因此利用无标注数据帮助少量的有标注数据进行模型训练成为了更合适的选择。常见的半监督学习方法通常有生成伪标注、引入扰动等方法。Self-Training、Co-Training等方法通过生成伪标注的方式扩充标注数据，这类方法将初步得到的预测结果根据事先设定的置信度阈值进行伪标注选举，然后将高置信度的预测结果作为有标注数据来帮助后续的模型训练，但这类方法会引入过多的人为因素，可能会导致模型不能更好地捕获无标注信息，影响模型的分割精度，不能很好地满足膝关节诊断所需的要求。引入扰动的方法通过一致性损失来对模型进行辅助优化，例如CPS、Cross Teaching同时训练多个分割模型，并将不同分割模型的预测结果作为其余分割模型的分割目标以计算一致性损失。这类方法认为，虽然不同的分割模型得到的预测结果各不相同，但这些分割模型的目标都是得到更精确的图像分割结果，因此可以使用交叉学习的方式促使分割模型进行相互学习，进而得到更高的模型精度。但这类方法通常只对模型进行整体上的优化，没有注意模型隐藏层正则化的重要性，不能很好将损失传递到模型的隐藏层，导致了模型学习能力的下降，得到的分割结果远远达不到辅助临床诊断所期望的标准。

总之，目前存在的基于深度学习的全监督膝关节自动分割方法尽管在公开数据集上表现尚佳，但忽略了临床诊断过程中有标注图像缺少的问题，在实际应用过程中存在极大阻力。而半监督膝关节自动分割方法虽然考虑到了上述问题，但没有充分利用无标注图像中的无监督信息来进行网络隐藏层的优化，降低了膝关节磁共振图像分割精度，不能很好地满足辅助膝关节炎诊断的所要求的准确性。

发明内容

针对现有技术的不足，本发明拟解决的技术问题是，提供一种基于深度对比学习的半监督膝关节炎辅助分析方法。

本发明解决所述技术问题的技术方案是，提供一种基于深度对比学习的半监督膝关节炎辅助分析方法，其特征在于，该方法包括以下步骤：

步骤1、搭建用于膝关节磁共振图像分割的分割模型MoV-Net，分割模型MoV-Net在原本的V-Net网络基础上增加了辅助输出头，用于输出隐藏层特征图地编码向量；

分割模型MoV-Net由一个编码器Encoder和一个解码器Decoder以及辅助输出头H

步骤2、利用至多五个的带有标注的膝关节磁共振图像D

步骤3、利用基于余弦相似度的相似度计算方法，计算隐藏层特征编码向量v

步骤4、计算有标注数据d

步骤5、利用有监督损失L

与现有技术相比，本发明的有益效果在于：

(1)本发明将有标注图像和无标注图像作为输入，通过简单而有效的CNN正则化方案提取膝骨关节部位的股骨、股骨软骨、胫骨和胫骨软骨分割预测图，计算相似性系数并生成3D分割结果可视化视图，辅助医生观察膝关节组织形态，测量软骨组织厚度，并用于评估软骨损伤程度，为临床诊断、手术规划和预后评估提供重要支撑。

(2)本发明通过辅助输出头将分割模型的隐藏层透明化，将分割模型在解码过程中产生的隐藏层特征图重新编码提取高级语义特征，并映射到编码向量空间，进而利用损失函数进行监督。解决了传统深度学习中深层网络面临的梯度爆炸和梯度丢失问题，同时加快了模型的训练速度，从而更加充分地训练分割模型。

(3)本发明设计了两种不同的数据增强方式，弱数据增强只应用随机翻转；强数据增强应用随机翻转、随机旋转、对比度调整、随机擦除和高斯噪声，使用两种不同的数据增强方式能够让分割模型提前适应实际应用场景下可能遇到的扰动，增强分割模型网络模型对各种病例样本的泛化学习能力。

(4)本发明将对比学习引入到半监督语义分割，所述方案主要利用两种不同的数据增强方式构建的正、负样本对以及基于距离的对比损失函数来实现。通过计算正、负样本对在分割模型中的隐藏层特征编码向量之间的相似性系数，得到相似性矩阵并计算无监督对比损失，从而捕获特征之间的相似性，更好地利用无标注数据中丰富的语义信息来优化分割模型。

(5)本发明方法属于半监督学习，可以有效地利用专家标注的金标准数据和丰富的无标注数据，解决临床实践中的数据标注时间长、带有主观意识等人工标注的难题。在实际应用过程中，本发明方法取得的性能接近于全监督学习分割性能并且优于其他本监督学习方法所取得的性能，可实现端到端自动分割功能，具有结果可重复、再优化的特点。

附图说明

图1为本发明的分割模型的总体框架图；

图2为本发明的编码块的具体结构图；

图3为本发明的解码块的具体结构图；

图4为本发明的辅助输出头的具体结构图；

图5为本发明的图像数据增强流程图；

图6为本发明的正负样本对的示意图；

图7为本发明的分割模型的二维预测结果示意图；

图8为本发明的分割模型的三维预测结果示意图。

具体实施方式

下面给出本发明的具体实施例。具体实施例仅用于进一步详细说明本发明，不限制本发明权利要求的保护范围。

本发明提供了一种基于深度对比学习的半监督膝关节炎辅助分析方法(简称方法)，其特征在于，该方法包括以下步骤：

步骤1、搭建用于膝关节磁共振图像分割的分割模型MoV-Net，分割模型MoV-Net在原本的V-Net网络基础上增加了辅助输出头，用于输出隐藏层特征图地编码向量；

步骤1中，分割模型MoV-Net由一个编码器Encoder和一个解码器Decoder以及辅助输出头H

优选地，步骤1中，编码器Encoder由编码块E

优选地，步骤1中，解码器Decoder由解码块D

优选地，步骤1中，辅助输出头H

重编码块由两个Relu激活函数层、两个BatchNorm层、一个卷积核大小为3×3×3，步长为2，填充为1的下采样卷积层、一个卷积核大小为3×3×3，步长为1，填充为1的普通卷积层以及两个线性层组成。

步骤2、利用至多五个的带有标注的膝关节磁共振图像D

优选地，步骤2中，数据增强方式具体细节如下：

对于弱数据增强方式ξ

对于强数据增强方式ξ

优选地，步骤2中，隐藏层特征编码向量组和预测分割图的获取过程具体为：

(2.1)从训练集D

(2.2)将尺寸为H×W×D×C的输入图像x送入编码器的编码块E

(2.3)将尺寸为H/2×W/2×D/2×16的编码特征图F″

(2.4)将尺寸为H/4×W/4×D/4×32的编码特征图F″

(2.5)将尺寸为H/8×W/8×D/8×64的编码特征图F″

(2.6)将尺寸为H/16×W/16×D/16×128的编码特征图F″

(2.7)将尺寸为H/16×W/16×D/16×256的编码特征图F′

(2.8)将尺寸为H/8×W/8×D/8×128的编码特征图F″′

(2.9)将尺寸为H/4×W/4×D/4×64的编码特征图F″′

(2.10)将尺寸为H/2×W/2×D/2×32的编码特征图F″′

(2.11)将尺寸为H×W×D×16的编码特征图F″

(2.12)将尺寸为H/2×W/2×D/2×32的编码特征图F′

(2.13)将尺寸为H/4×W/4×D/4×64的编码特征图F′

(2.14)将尺寸为H/8×W/8×D/8×128的编码特征图F′

(2.15)将尺寸为H/16×W/16×D/16×256的编码特征图F

步骤3、利用基于余弦相似度的相似度计算方法，计算隐藏层特征编码向量v

优选地，步骤3中，相似度系数C

以隐藏层特征编码向量v

式(1)中，v

优选地，步骤3中，相似度系数C

以隐藏层特征编码向量v

优选地，步骤3中，相似度系数矩阵Mat

以隐藏层特征编码向量v

步骤4、计算有标注数据d

优选地，步骤4中，总损失函数L包含监督损失L

L＝L

式(2)中，L

式(3)中，k表示预设的权重值，也就是最终期望达到的权重；t表示一个0到1之间的小数，且随着迭代逐渐变大；使用λ能够让分割模型在训练初期学习更加重要的有监督损失；

L

式(4)中

式(5)和式(6)中，

L

/>

式(7)中，

步骤5、利用有监督损失L

优选地，步骤5的具体细节如下：利用损失函数L进行分割模型权重更新，并且随着网络的迭代，损失函数L的值会进一步缩小，同时，每经过两次网络的迭代，将验证集D

实施例1

本发明在OAI-ZIB数据集上，使用本发明方法与现有的部分全监督、半监督方法分别训练得到分割模型，并在测试集上进行分割精度评估，各方法的模型分割精度参见表1。

表1各方法性能比较

从表1可知，本发明使用辅助输出头将分割模型隐藏层透明化，并利用对比学习提取输入数据中的无监督语义信息，能够提高模型地特征分辨能力。相比于全监督方法，本发明在股骨、胫骨分割上取得了相近的分割精度，而仅仅需要极为少量的标注数据。相比于半监督方法，本发明在各分割目标上均有卓越的表现，特别是股骨、股骨软骨的分割精度超越了所对比的所有半监督方法。

在实际诊疗过程中，医生只需标注极少量的膝关节磁共振图像，利用本发明所述方法训练分割模型，从而得到较高准确率的预测结果。除此之外，医生能够通过预测结果生成3D建模，从而准确高效地辅助膝关节炎的研判，并制定针对性的治疗方案。

本发明未述及之处适用于现有技术。