一种基于超图学习的弱监督组织病理学全切片图像分析方法

技术领域

本发明属于组织病理学全切片图像分析技术领域，具体涉及一种基于超图学习的弱监督组织病理学全切片图像分析方法。

背景技术

传统的组织病理学全切片图像分析为专业的病理医生在显微镜下查看全切片图像，找到一些感兴趣视野后，用病理学专业知识对视野下的组织形态进行分析，最终得出切片级别的病变诊断结论。此传统方法存在诸多问题，医院出于对诊断精度的考量，医生每天阅片的数量是有限的，而随着癌症筛查的推广，病理医生缺口正在增大，医生的阅片压力大；同时，病理学全切片分析的正确率和阅片医生的经验有很大关系，也会受到当时阅片医生的主观看法及身体疲劳状态的影响。而随着计算机技术的发展，结合计算机与人工智能方法辅助医生进行病理全切片的分析将成为趋势，将有助于缓解病理医生的工作压力，提高诊断质量，有着广阔的应用前景。

近年来，随着切片扫描仪技术、计算机硬件和人工智能算法的不断发展改进，深度学习在图像处理方面的发展，尤其是识别与分类上，越发高效，图卷积神经网络在图像处理方面的应用也越发广泛，同时由于其构图策略的灵活性以及高效性，它在病理图像分类中也展现出了强大的竞争力。使用基于图卷积神经网络的深度学习方法进行医学病理图像分类，不仅能减轻医学工作者的负担，也能提高诊断效率，提高广大人民的医疗健康水平。

然而，目前深度学习相关的病理图像分析的主流方法是基于完全监督的，需要专业的病理医生对海量的病理图像数据进行细粒度的标注，费时费力，同时样本的类别也极度不平衡，很大一部分的样本是阴性的，对于最终分析结果的贡献十分有限。

发明内容

本发明的目的就在于提供一种基于超图学习的弱监督组织病理学全切片图像分析方法，以期能快速准确的实现组织病理学全切片图像分类以及局部组织区域的病变概率可视化，并克服病理全切片图像详细标注信息的难获取等问题。

本发明通过以下技术方案来实现上述目的：

一种基于超图学习的弱监督组织病理学全切片图像分析方法，包括如下步骤：

步骤1、获取带有图像类别标签的组织病理学全切片图像数据集D并进行预处理得到分块后的全切片图像B

步骤2、训练基于自监督学习的分块图像编码器f，并将所述全切片图像B

步骤3、根据所述编码后的全切片图像B

步骤4、建立深度网络模型，将所述超图模型

步骤5、将所述

作为本发明的进一步优化方案，步骤1中具体包括：

步骤1.1、获取带有图像类别标签的组织病理学图像数据集：

D＝{(B

步骤1.2、将获取的全切片图像数据集按照不重叠滑窗法划分为若干固定尺寸的分块图像，并在去除没有组织出现的背景分块图像后得到分块后的全切片样本图像

作为本发明的进一步优化方案，超图模型中超边

作为本发明的进一步优化方案，步骤4中，所述深度网络模型由掩码模块、节点特征学习模块、训练时超图增强模块以及切片级别特征聚合模块组成。

作为本发明的进一步优化方案，所述掩码模块在网络训练时有p％概率启用，启用时随机对样本超图模型中的r

作为本发明的进一步优化方案，所述节点特征学习模块由两个超图卷积层和两个线性层组成；样本超图模型

作为本发明的进一步优化方案，所述训练时超图增强模块包含一个超图卷积层和一个线性层，训练时超图增强模块仅会在掩码模块启用时同步启用，对输入

作为本发明的进一步优化方案，所述切片级别特征聚合模块包含一个层数可调节的多头注意力模块、一个层归一化模块还有两个线性层；

切片级别特征聚合模块的输入在处理前与参数向量T

切片级别的分类特征和切片局部区域病变概率的预测特征输入全连接层组成的多层感知机分类器中分类，得到切片级别的预测P

作为本发明的进一步优化方案，步骤5中，将所述损失值加权所述超图模型

利用式(1)、式(2)以及式(3)所示的损失函数分别得到掩码节点重建损失值

其中运算符||·||表示矩阵范数，

其中

本发明的有益效果在于：

(1)本发明能够使用切片级别的粗粒度标注信息实现组织病理学全切片图像分类以及细胞分类，不依赖细粒度的病变区域标注信息，提高了网络模型在实际应用场景中分析的高效性与有效性；

(2)本发明利用超图模型，实现对单张组织学病理全切片图像的有效建模，结合特征空间和几何空间等多个视角，解决了其他基于深度学习的全切片分析方法中尺度单一的问题，能够更好地表达全切片的特征表示，提高分类准确率；

(3)本发明设计了独特的训练时超图增强模块及其配套的掩码模块，能够在样本数量受限的情况下提升深度网络的学习能力，和超图卷积网络相结合后，可以提升方法的分类准确率和泛化能力；

(4)本发明利用自注意力(Self Attention)机制建立超图节点(即分块图像)之前的长距离信息通路，使得节点之间的交流更加高效，同时让网络模型可以自适应地关注病变区域，最终获得更具辨识度的全切片分类特征及分块图像预测特征，不仅能为医生提供全切片级别的类别预测结果，而且可以可视化地标识全切片中病变概率较高的局部组织区域，提高了临床应用价值。

附图说明

图1为本发明中分析方法的流程图；

图2为本发明的超图学习弱监督网络模型图；

图3为本发明的组织病理学全切片图像训练样本图。

具体实施方式

下面结合附图对本申请作进一步详细描述，有必要在此指出的是，以下具体实施方式只用于对本申请进行进一步的说明，不能理解为对本申请保护范围的限制，该领域的技术人员可以根据上述申请内容对本申请作出一些非本质的改进和调整。

实施例1

如图1-3所示，本实施方式中提出一种基于超图学习的弱监督组织病理学全切片图像分析方法，主要利用超图结构建模全切片图像各分块图像之间的关系，结合超图卷积网络，构建图像间的信息通路，再结合使用自注意力机制进行超图节点间全局的信息融合，实现组织病理学全切片图像的分类和局部组织区域的病变概率可视化，包括如下步骤：

步骤1、获取带有图像类别标签的组织病理学全切片图像数据集D并进行预处理得到分块后的全切片图像B

步骤1.1：获取带有图像类别标签的组织病理学图像数据集：

D＝{(B

步骤1.2、将获取的全切片图像数据集按照不重叠滑窗法划分为若干固定尺寸的分块图像，并在去除没有组织出现的背景分块图像后得到分块后的全切片样本图像

结合图3，本实施例中使用的数据针对肺癌中的非小细胞癌，其包含三类全切片图像：550张阴性(Neg)、467张肺腺癌(LUAD)、477张肺鳞癌(LUSC)，由全切片划分成的分块图像大小为256×256，所有数据的标签均有专业的病理医生确认，所有数据的70％作为训练集，30％数据用于测试。

步骤2、训练基于自监督学习的分块图像编码器f，并将所述全切片图像B

步骤3、根据所述编码后的全切片图像B

建立全切片图像样本数据集的超图模型

步骤3.1、建立特征空间上的超边：对数据集D中所有全切片样本中所有的分块图像特征进行全局KMeans聚类，将特征空间分为K＝100个子空间，对每个全切片图像样本来说，所有落在同一个特征子空间内的分块节点视为由同一个超边连接，称此类超边为特征超边

步骤3.2、建立几何空间相关的超边：对每个全切片图像样本来说，首先基于以下公式计算每个分块节点相对于其他节点的基于分块所在位置的中心坐标的相似度，基于这个度量对每个分块节点进行分层聚类(Hierarchical clustering)，最终落在同一个聚类簇中分块节点视为由同一个超边相连，称此类超边为空间超边

k(I

步骤3.3、超边堆叠：将上述建立的两类超边堆叠，结合超图节点的定义，共同组成了全切片图像样本的超图模型。

步骤4、建立深度网络模型，所述深度网络模型由掩码模块、节点特征学习模块、训练时超图增强模块、切片级别特征聚合模块共四个模块组成；将所述超图模型

步骤4.1、所述掩码模块在网络训练时有p％概率启用，启用时随机对样本超图模型中的r

本实施例中p＝0.75，r

步骤4.2、节点特征学习模块由两个超图卷积层和两个线性层组成；样本超图模型

步骤4.3、训练时超图增强模块包含一个超图卷积层和一个线性层，训练时超图增强模块仅会在掩码模块启用时同步启用，对输入

步骤4.4、切片级别特征聚合模块包含一个层数可调节的多头注意力模块、一个层归一化模块还有两个线性层；切片级别特征聚合模块的输入在处理前与参数向量T

MultiHead(Q,K,V)＝Concat(head

Q＝XW

X＝Concat(V”,T

其中W

步骤5、将所述

步骤5中，将所述损失值加权所述超图模型

利用式(1)、式(2)以及式(3)所示的损失函数分别得到掩码重建超图增强损失值

其中运算符||·||表示矩阵范数，

其中

本实施例中，分块图像的伪标签沿用它所属的全切片标签，即y

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。