一种基于多模态子空间聚类的医学图像分割方法及装置

技术领域

本发明涉及医学图像分割技术领域，具体涉及一种基于多模态子空间聚类的医学图像分割方法及装置。

背景技术

医学磁共振(MR)图像凭借高对比度、高分辨率、多方位等优点，广泛应用于临床医学诊断和研究。为了有效提取图像中的关键信息，图像分割成为了医学图像处理中必不可少的环节。但是，医学图像数据常具有较高的维度及多种不同属性(模态)的异构特征，其中高维数据一般含有较多的冗余特征，采用现有的阈值图像分割法、边缘检测图像分割法、区域图像分割等传统图像分割的方法，直接对其分割不仅耗时且往往难以取得好的分割效果，甚至还可能出现过度分割的情况；且医学图像中存在灰度不均匀性和复杂噪声等缺陷会掩盖数据的内在结构信息，给数据内在信息的挖掘造成一定的困难，进而影响分割精度。

因此目前出现了很多基于聚类方法的图像分割法。其中最热门的基于子空间聚类的方法，子空间聚类，又称为子空间分割，假设数据分布于若干个低维子空间，子空间聚类就是将数据按某种方式分类到其所属的子空间的过程。近年来，诸多子空间聚类方法相继被提出。特别是基于稀疏子空间聚类和低秩表示的方法，得到了广泛的应用。这些方法利用了子空间联合中的无噪声数据是自表示的，即每个数据点可以表示为其他数据点的系数线性组合。尽管子空间聚类在最近的发展中取得了巨大的成功，但由于实际数据不一定符合线性子空间模型，因此在实际应用中的适用性非常有限。随着多视图学习已成为模式识别和机器学习等领域的重点内容，以及深度框架的兴起，深度学习方法取得了广泛的成功，多视图深度子空间聚类也成为了研究的热点，Yang等提出了一种典型的相关分析网络，Benton等提出了深度广义CAA方法，同时学习从每个视图到共享空间的非线性映射。Abavisani等在他们的基础上提出了一种基于CNNs的无监督多模态子空间聚方法，该框架由多模态编码器、自表示层和多模态编码器三个主要阶段组成。这类基于深度子空间聚类的方法可以很好的解决子空间聚类方法中存在的一些问题。但是在没有标记的情况下进行特征学习，由于缺乏有效的监督很难用这种方法学习良好的特征表示。

因此，针对现有检测设备采集到的复杂数据，如何有效挖掘其内在信息以提高分割精度是医学图像处理领域亟待解决的问题之一。

发明内容

本发明所要解决的技术问题是医学图像数据常具有较高的维度及多种不同属性(模态)的异构特征，其中高维数据一般含有较多的冗余特征，采用现有的阈值图像分割法、边缘检测图像分割法、区域图像分割等传统图像分割的方法，直接对其分割不仅耗时且往往难以取得好的分割效果，甚至还可能出现过度分割的情况；且医学图像中存在灰度不均匀性和复杂噪声等缺陷会掩盖数据的内在结构信息，给数据内在信息的挖掘造成一定的困难，进而影响分割精度。另外，很多基于聚类方法的图像分割法也存在分割精度不高等问题。

本发明目的在于提供一种基于多模态子空间聚类的医学图像分割方法及装置，解决上述这些复杂医学图像分割存在的问题，且复杂医学图像分割效果佳，精度高。

本发明方法借鉴了深度学习与标签传播的思想，实现对多模态数据的深度映射与核传播，构建多模态相关特征子空间学习模型及其算法，突破关键理论与技术，丰富多模态学习的理论体系。我们的目标是同时实现特征学习和子空间聚类，在多模态学习子空间聚类的基础上，提出一种端到端可训练的自监督卷积子空间聚类的框架网络，该框架是一种自动编码为基础的、自表示模块和谱聚类模块组成联合优化框架。本发明还将引入一种双重自我监督，利用谱聚类输出来监督学习模块，和自表示的训练将多模态编码模块的特征提取、自表示模块和亲和学习、谱聚类的数据分割集成到一个联合优化框架中。可以有效的提升图像分割的准确率。

自监督学习的出发点是考虑在缺少标签或者完全没有标签的情况下，依然学习到能够表示原始图片的良好有意义的特征。第一类自监督任务——数据恢复任务中，能够通过学习到的特征还原生成原始数据的特征。第二类基于数据变换的任务——对于样本X，对其做任意变换T(i)：X→Y，则自监督任务的目标是能够对生成的估计出其变换的参数i.我们所用到的就是第二类于数据变换的任务的自监督学习。

模态：每一种信息的来源或者形式，都可以称为一种模态。例如，人有听觉，视觉，嗅觉；信息的媒介，有语音、视频、文字等；多种多样的传感器，如雷达、红外、加速度计等。以上的每一种都可以称为一种模态。同时，模态也可以有非常广泛的定义，比如我们可以把两种不同的语言当做是两种模态，甚至在两种不同情况下采集到的数据集，亦可认为是两种模态。多模态机器学习是指通过机器学习的方法实现处理和理解多模态信息的能力。

稀疏子空间聚类是一种基于谱聚类(谱聚类可以理解为将高维空间的数据映射到低维，然后在低维空间用其它聚类算法进行聚类)的数据聚类框架，高维数据通常分布于若干个低维子空间的并上，因此高维数据在适当字典的表示具有稀疏性。稀疏子空间聚类利用高维数据的稀疏表示系数构造相似度矩阵，然后利用普聚类方法得到数据的子空间聚类结果。其核心就是设计能够揭示高维数据子空间结构的表示模型，使得到的表示系数及由此构造的相似度矩阵有助于精确的子空间聚类。

本发明通过下述技术方案实现：

第一方面，本发明提供了基于自监督多模态深度子空间聚类的医学图像分割方法，该方法包括以下步骤：

步骤1：获取原始医学图像，并进行预处理；

步骤2：通过卷积神经网络对步骤1预处理后的原始医学图像进行卷积和池化，转化为原始医学图像的线性特征矩阵；

步骤3：构建基于自监督多模态深度子空间聚类方法模型，并进行模型训练；使用训练好的基于自监督多模态深度子空间聚类方法模型，对步骤2获得的原始医学图像的线性特征矩阵进行聚类，得到聚类后的医学特征数据；

步骤4：将步骤3聚类后的医学特征数据，通过卷积神经网络的反卷积和上采样，处理至与原始医学图像相同的像素，得到分割后的医学图像。

本发明构建基于自监督多模态深度子空间聚类方法模型，利用子空间聚类结果中有用的自监督信息指导特征学习，细化自表示模型。受深度多模态子空间聚类算法的启发，拟在自动编码网络的基础上，在对每个模态的数据进行特征提取后进行特征融合；然后通过自表示层的引入学习自表示系数；特别地，我们将引入一种双重自我监督，将多模态编码模块的特征提取、自表示模型的亲和学习、谱聚类的数据分割集成到一个联合优化框架中。通过训练可以得出表示系数Θ(即自表示层权重参数)，然后对其使用谱聚类算法这样可以得到相应的医学图像分割的结果。

本发明方法设计思想的分析推导过程：

本发明中利用到自监督学习、多模态学习与子空间聚类的方法相结合。传统的深度子空间是为了找到稀疏或低秩矩阵C，然后计算出亲和度矩阵W，进而分割出我们需要的数据。具体地，利用深度学习的方法寻求一组隐式的低维子空间，用于拟合未标注的高维数据，并根据相应的结构关系划分这些子空间。令X＝[x

然而，利用子空间聚类面对的一个问题就是找到稀疏或低秩矩阵C。稀疏子空间聚类(SSC)和基于低秩表示的子空间聚类(LRR)算法利用了子空间并集中的无噪声数据，换句话说，假设每个数据点可以表示为其他数据点的线性组合。

其中||C||

本发明为了解决现有复杂医学图像分割方法中在没有标记的情况下进行特征学习，由于缺乏有效的监督很难用这种方法学习良好的特征表示，尽而影响复杂医学图像分割效果不佳，精度不高。因此，本发明引入优化自监督，通过公式去训练稀疏或低秩矩阵C，后续介绍了多模态之后这边的C也会被Θ替换。

其中自表示层的自监督是利用谱聚类产生的标签信息，本发明将谱聚类作为网络的一个模块，向自表示模型提供反馈。此方法可以有效的将细化自监督的作用。

强制自表示矩阵C只有当第i个和第j个数据点具有相同的标签时，C

聚类网络通过使用编码器，编码器类型网络将数据嵌入到潜在空间来探索自表示。图3给出了单模态子空间聚类的DSC方法的概述。该方法优化了类似于公式(2)的目标，使用嵌入在网络内的可训练密集层来近似矩阵C。

然而，基于以上单模态子空间聚类的方法，往往医学图像数据呈现多样性，单一模态数据情况比较少，本发明是利用不同形式提供的补充信息来提高识别性能，因此本发明引入的多模态深度子空间学习的概念。对于多模态学习本发马宁的设计方法是利用不同形式提供的补充信息来提高识别性能，通过利用多模态之间的互补性，剔除模态间的冗余从而学习到更好的特征表示。在缺乏标注数据、样本存在大量噪声以及数据收集质量不可靠时，可通过不同模态间的知识迁移提高质量较差模态的性能。本发明所提出的基于自监督多模态深度子空间聚类方法模型的框架主要包括三个阶段：多模态编码器(图4所示)，自表示层，多模态解码器。首先通过多模态编码器实现空间融合，然后将融合的表示送到自表示层，所述自表示层利用联合表示的自我表达性质，自表示层的输出产生的联合表示反馈到多模态解码器，自表示层输出的联合表示结果输入到多模态解码器，从联合潜在表示中重建不同的模态。其中所提到的空间融合方法来自于不同模态的补充信息的联合表示。联合表示与每种模态具有空间对应关系。图5显示了空间融合的视觉示例，其中五种不同的模态被组合产生融合结果Y。使用空间融合的方法在多模态学习应用中特别流行。将这种空间融合的方法应用于本发明的自监督多模态深度子空间聚类问题上。

本发明在以上分析的基础上将自表示层的参数表示为Θ

s.t.diag(Θs)＝0, (3)

其中ZΘ

本发明将多模态和子空间聚类结合，将C换成上述本发明训练好的Θ

共享的Θ

基于自监督多模态深度子空间聚类方法模型：利用深度网络训练(图7所示)方法将图像的模态特征表示到多模态子空间聚类中，在对图像进行分割，提取出所需要的医学图像位置。将多模态学习结合特征学习和子空间聚类的联合优化框架。从子空间聚类结果中提取有用的自监督信息可以指导特诊学习和改进自表示的模型，将多模态特征集成到子空间聚类中，形成端到端可训练框架。本发明提出了一种同时用于多模态学习、特征学习和子空间聚类的端到端可训练框架算法，称为基于自监督多模态深度子空间聚类方法模型。利用自我监督机制，结合多模态学习和子空间聚类的方法，有效的提升了医学图像分割的精确性。

进一步地，步骤2中的所述线性特征矩阵的表示公式为：

X＝[x

式中，R

进一步地，步骤3中所述基于自监督多模态深度子空间聚类方法模型的框架包括多模态编码器、自表示层、多模态解码器，首先通过多模态编码器实现空间融合，然后将融合的表示送到自表示层，所述自表示层利用联合表示的自我表达性质，自表示层的输出产生的联合表示反馈到多模态解码器，自表示层输出的联合表示结果输入到多模态解码器，从联合潜在表示中重建不同的模态。

进一步地，基于所述基于自监督多模态深度子空间聚类方法模型的框架，步骤3中所述基于自监督多模态深度子空间聚类方法模型的构建及训练步骤如下：

步骤31：将所述线性特征矩阵通过多模态深度子空间聚类得到亲和度矩阵

步骤32：采用自监督机器学习指导特征学习，对模型进行不断迭代训练，训练出共同的Θ

步骤33：通过以下损失函数来训练模型网络，不断的优化Θ

s.t.diag(Θs)＝0

其中ZΘ

进一步地，所述卷积神经网络包括由低到高的多层网络，每层网络均包括卷积和池化，所述步骤2包括以下子步骤：

所述卷积神经网络的低层网络，使用M卷积核进行卷积运算，通过池化提取到简单共性特征数据，在所述卷积神经网络的高层网络，使用N卷积核进行卷积运算，通过池化提取到复杂共性特征数据，所述M卷积核的数量少于所述N卷积核的数量；

所述卷积神经网络的每一层网络卷积和池化的对象，为上一层网络所得的共性特征数据，所述卷积神经网络的最低层网络卷积和池化的对象，为原图像；

所述卷积神经网络的最高层网络卷积和池化得到的共性特征数据形成线性矩阵，所述线性矩阵为原图像的线性特征矩阵。

进一步地，步骤4所述卷积神经网络的反卷积的卷积层数与步骤2中所述卷积的卷积层数相同。

第二方面，本发明还提供了一种医学图像分割装置，包括：

输入模块：用于输入获取的原始医学图像；

预处理模块：用于对所述输入单元输入的原始医学图像进行预处理，并传送至处理单元；

处理模块：包括第一处理单元、第二处理单元和第三处理单元；

所述第一处理单元，用于通过卷积神经网络对所述预处理模块预处理后的原始医学图像进行卷积和池化，转化为原始医学图像的线性特征矩阵；

第二处理单元，用于构建基于自监督多模态深度子空间聚类方法模型，并进行模型训练；使用训练好的基于自监督多模态深度子空间聚类方法模型，对所述第一处理单元获得的原始医学图像的线性特征矩阵进行聚类，得到聚类后的医学特征数据；

第三处理单元，用于将所述第二处理单元聚类后的医学特征数据，通过卷积神经网络的反卷积和上采样，处理至与原始医学图像相同的像素，得到分割后的医学图像；

输出模块，用于所述第三处理单元分割后的医学图像。

第三方面，本发明还提供了一种医学图像分割设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现所述医学图像分割方法的步骤。

第四方面，本发明还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述医学图像分割方法的步骤。

本发明与现有技术相比，具有如下的优点和有益效果：

1、本发明构建基于自监督多模态深度子空间聚类方法模型，利用子空间聚类结果中有用的自监督信息指导特征学习，细化自表示模型；拟在自动编码网络的基础上，在对每个模态的数据进行特征提取后进行特征融合；然后通过自表示层的引入学习自表示系数；特别地，我们将引入一种双重自我监督，将多模态编码模块的特征提取、自表示模型的亲和学习、谱聚类的数据分割集成到一个联合优化框架中。通过训练可以得出表示系数Θ(即自表示层权重参数)，然后对其使用谱聚类算法这样可以得到相应的医学图像分割的结果。

2、本发明方法针对复杂医学图像分割效果佳，精度高；尤其在动脉粥样硬化斑块的医学图像实施本发明方法，通过本发明方法对动脉粥样硬化斑块图像进行分割，所得的斑块轮廓曲线直接作为水平集函数的初始化零水平集函数进行演化，分割结果平均结构性度量经过计算为93.70％，证明本发明方法对医学图像分割的使用性较高。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1为本发明基于自监督多模态深度子空间聚类的医学图像分割方法流程图。

图2为本发明构建的基于自监督多模态深度子空间聚类方法模型的框架图。

图3为现有技术中单模态子空间聚类的DSC方法图。

图4为本发明自编码器示意图。

图5为本发明空间融合示例。

图6为本发明不同空间融合结构的深度多模态子空间聚类网络示意图。

图7为本发明深度网络学习算法训练过程图。

图8为本发明实施例分割结果图一。

图9为本发明实施例分割结果图二。

图10为本发明实施例分割结果图像。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

在以下描述中，为了提供对本发明的透彻理解阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的结构、电路、材料或方法。

在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特性被包含在本发明至少一个实施例中。因此，在整个说明书的各个地方出现的短语“一个实施例”、“实施例”、“一个示例”或“示例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和、或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外，本领域普通技术人员应当理解，在此提供的示图都是为了说明的目的，并且示图不一定是按比例绘制的。这里使用的术语“和/或”包括一个或多个相关列出的项目的任何和所有组合。

在本发明的描述中，需要理解的是，术语“前”、“后”、“左”、“右”、“上”、“下”、“竖直”、“水平”、“高”、“低”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制。

实施例1

如图1至图10所示，本发明基于自监督多模态深度子空间聚类的医学图像分割方法，该分割方法框架如图2所示，本发明构建基于自监督多模态深度子空间聚类方法模型，利用子空间聚类结果中有用的自监督信息指导特征学习，细化自表示模型。受深度多模态子空间聚类算法的启发，拟在自动编码网络的基础上，在对每个模态的数据进行特征提取后进行特征融合；然后通过自表示层的引入学习自表示系数；特别地，我们将引入一种双重自我监督，将多模态编码模块的特征提取、自表示模型的亲和学习、谱聚类的数据分割集成到一个联合优化框架中。通过训练可以得出表示系数Θ(即自表示层权重参数)，然后对其使用谱聚类算法这样可以得到相应的医学图像分割的结果。

该方法包括以下步骤：

步骤1：获取原始医学图像，并进行预处理；

步骤2：通过卷积神经网络对步骤1预处理后的原始医学图像进行卷积和池化，转化为原始医学图像的线性特征矩阵；

步骤3：构建基于自监督多模态深度子空间聚类方法模型，并进行模型训练；使用训练好的基于自监督多模态深度子空间聚类方法模型，对步骤2获得的原始医学图像的线性特征矩阵进行谱聚类，得到聚类后的医学特征数据；

步骤4：将步骤3聚类后的医学特征数据，通过卷积神经网络的反卷积和上采样，处理至与原始医学图像相同的像素，得到分割后的医学图像。

具体地，步骤2中的所述线性特征矩阵的表示公式为：

X＝[x

式中，R

具体地，步骤3中所述基于自监督多模态深度子空间聚类方法模型的框架包括多模态编码器、自表示层、多模态解码器，首先通过多模态编码器实现空间融合，然后将融合的表示送到自表示层，所述自表示层利用联合表示的自我表达性质，自表示层的输出产生的联合表示反馈到多模态解码器，自表示层输出的联合表示结果输入到多模态解码器，从联合潜在表示中重建不同的模态。

具体地，基于所述基于自监督多模态深度子空间聚类方法模型的框架，步骤3中所述基于自监督多模态深度子空间聚类方法模型的构建及训练步骤如下：

步骤31：将所述线性特征矩阵通过多模态深度子空间聚类得到亲和度矩阵

步骤32：采用自监督机器学习指导特征学习，对模型进行不断迭代训练，训练出共同的Θ

步骤33：通过以下损失函数来训练模型网络，不断的优化Θ

s.t.diag(Θs)＝0

其中ZΘ

具体地，所述卷积神经网络包括由低到高的多层网络，每层网络均包括卷积和池化，所述步骤2包括以下子步骤：

所述卷积神经网络的低层网络，使用M卷积核进行卷积运算，通过池化提取到简单共性特征数据，在所述卷积神经网络的高层网络，使用N卷积核进行卷积运算，通过池化提取到复杂共性特征数据，所述M卷积核的数量少于所述N卷积核的数量；

所述卷积神经网络的每一层网络卷积和池化的对象，为上一层网络所得的共性特征数据，所述卷积神经网络的最低层网络卷积和池化的对象，为原图像；

所述卷积神经网络的最高层网络卷积和池化得到的共性特征数据形成线性矩阵，所述线性矩阵为原图像的线性特征矩阵。

具体地，步骤4所述卷积神经网络的反卷积的卷积层数与步骤2中所述卷积的卷积层数相同。

本发明实施时，以动脉粥样硬化斑块的医学图像为实施对象，通过本发明方法对动脉粥样硬化斑块图像进行分割，所得的斑块轮廓曲线直接作为水平集函数的初始化零水平集函数进行演化，分割结果如图8、图9所示，分割结果平均结构性度量经过计算为93.70％，证明本发明方法对医学图像分割的使用性较高。

如图10所示，通过构建基于自监督多模态深度子空间聚类方法模型分割出的动脉粥样硬化斑块的医学图像，经过实验分析得出斑块所在候选区域的平均灰度值均在0.5以上。对比传统的分割结果，本发明方法不仅消除了动脉粥样硬化斑块图片的噪声，而且斑块定位图像清晰还原了其根本形状。

实施例2

如图1至图10所示，本实施例与实施例1的区别在于，本实施例提供了一种医学图像分割装置，包括：

输入模块：用于输入获取的原始医学图像；

预处理模块：用于对所述输入单元输入的原始医学图像进行预处理，并传送至处理单元；

处理模块：包括第一处理单元、第二处理单元和第三处理单元；

所述第一处理单元，用于通过卷积神经网络对所述预处理模块预处理后的原始医学图像进行卷积和池化，转化为原始医学图像的线性特征矩阵；

第二处理单元，用于构建基于自监督多模态深度子空间聚类方法模型，并进行模型训练；使用训练好的基于自监督多模态深度子空间聚类方法模型，对所述第一处理单元获得的原始医学图像的线性特征矩阵进行聚类，得到聚类后的医学特征数据；

第三处理单元，用于将所述第二处理单元聚类后的医学特征数据，通过卷积神经网络的反卷积和上采样，处理至与原始医学图像相同的像素，得到分割后的医学图像；

输出模块，用于所述第三处理单元分割后的医学图像。

具体地，各个模块执行的过程均按照实施例1中的详细流程执行，此处不再一一赘述。

实施例3

如图1至图10所示，本实施例与实施例1的区别在于，本实施例提供了一种医学图像分割设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现实施例1所述医学图像分割方法的步骤。

实施例4

如图1至图10所示，本实施例与实施例1的区别在于，本实施例提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现实施例1所述医学图像分割方法的步骤。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。