一种基于超像素分割与图卷积的数字病理图像分类方法及系统

技术领域

本发明计算机辅助诊断技术领域，尤其涉及一种基于超像素分割与图卷积的数字病理图像分类方法及系统。

背景技术

规范统一的病理报告为临床医生提供了充足的信息，但是对于病理指标的形态学评估给病理医生增加了工作量。由于病理活检技术的成熟和规范，病理活检样本诊断数量不断攀升，诊断结果会受到疲劳、主观经验等因素的影响。近年来，数字病理扫描技术和人工智能(AI)的快速发展给病理形态学诊断提供了巨大潜能。具体而言是利用深度卷积神经网络(CNN)提取病理图像中的高维特征，实现对病理图像的预测分类。

然而病理医生的诊断主要是根据病理图像中异常细胞的形态、结构以及空间分布等因素给出最终的病理分析结果。而传统的CNN是处理具有像素值的结构化二维阵列图像，这种结构化的二维阵列形式的数据难以表达组织病理学中细胞之间以及腺体之间的关系和组织学特征，也忽略了微观细胞之间的空间关系，会丢失一些提高模型性能的关键特征信息。

由于数字病理图像具有极高的分辨率和复杂而丰富的组织学特征，因此如何有效的构建数字病理图的图结构，从而利用图卷积网络提高数字病理图像的分类准确率是目前主要的挑战。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于超像素分割与图卷积的数字病理图像分类方法及系统，该方法将超像素分割和图结构相结合，以构建基于数字病理图像的图结构，从而利用图卷积神经网络实现对数字病理图像的分类预测，提高了病理图像分类的准确率。

根据本发明的一个方面，本发明提供了一种基于超像素分割与图卷积的数字病理图像分类方法，所述方法包括以下步骤：

S1：使用简单线性迭代聚类算法SLIC对数字病理图像进行超像素分割，获得超像素的分割区域；

S2：将每个超像素区域作为图结构中的节点，以超像素区域是否共边作为节点之间分配边的依据，构建基于数字病理图像的图结构；

S3：将构建的所述图结构的数据按照预设的比例随机分为训练集、验证集和测试集，通过训练、验证和测试图卷积神经网络，获得最佳的预测模型；

S4：基于所述预测模型，对所述数字病理图像进行分类。

优选地，所述步骤S1包括：

S11：初始化种子点，即初始化聚类中心，设定需要分割的超像素数量；

S12：在种子点n×n邻域内根据像素点梯度值重新选择种子点，以避免种子点落在梯度较大的边缘上；

S13：在每个种子点周围的邻域内为每个像素点分配类标签，确定像素点所属的聚类中心；

S14：进行距离度量，对于每个检索到的像素点分别计算它到该种子点之间的距离。

优选地，所述步骤S2包括：

S21：利用SLIC算法对数字病理图像进行超像素分割，获得超像素分割区域；

S22：将每个超像素分割区域作为图结构中的节点，节点数量为n；

S23：利用CNN网络对每个分割区域进行低维度编码，作为每个节点的特征信息，节点的特征维度为d；

S24：在超像素分割后的数字病理图像上，将每个分割区域是否共边作为节点之间分配边的依据，从而建立图结构的邻接矩阵A；所述的图结构定义为图G(A,F)，其中A∈{0，1}

优选地，所述步骤S3包括：

利用图池化构建一个多尺度的图卷积神经网络，在每个尺度上通过图卷积提取特征信息，在各个网络层的两个连续尺度之间使用特征交叉层，在中间层进行融合多尺度特征；对每个尺度上输出的图结构进行节点特征合并，从而获得在对应尺度上整图的特征信息；所述图卷积神经网络的具体公式如下：

其中σ为激活函数，

优选地，所述步骤S4包括：通过MLP层和软投票机制获得最终的分类结果。

优选地，所述利用图池化构建一个多尺度的图卷积神经网络，包括：

通过计算图结构中相邻节点的特征之间的相似度值进行节点合并，从而获得不同尺度的图结构，所述相似度值是根据特征之间的欧式距离确定的，经过图池化后获得一组新的邻接矩阵A′和节点特征矩阵F′。

所述在各个网络层的两个连续尺度之间使用特征交叉层，包括：

记录图池化之后的节点在原始节点矩阵F中的位置索引，从而根据位置索引将不同尺度下对应的节点特征进行特征值相加，实现相邻尺度的信息交互。

优选地，所述通过MLP层和软投票机制获得最终的分类结果，包括：

对每个尺度上输出的节点特征矩阵分别进行全局最大值池化和全局平均值池化，然后将两组池化结果进行拼接，作为MLP层的输入数据；所述MLP层由全连接层和Softmax函数组成,通过Softmax函数获得各个尺度下的类别预测概率；

对不同尺度下的类别预测概率进行加权平均，从而输出概率值最大的分类类别。

根据本发明的另一个方面，本发明还提供了一种基于超像素分割与图卷积的数字病理图像分类系统，所述系统包括：

分割模块，用于使用简单线性迭代聚类算法SLIC对数字病理图像进行超像素分割，获得超像素的分割区域；

构建模块，用于将每个超像素区域作为图结构中的节点，以超像素区域是否共边作为节点之间分配边的依据，构建基于数字病理图像的图结构；

训练模块，用于将构建的所述图结构的数据按照预设的比例随机分为训练集、验证集和测试集，通过训练、验证和测试图卷积神经网络，获得最佳的预测模型；

分类模块，用于基于所述预测模型，对所述数字病理图像进行分类。

优选地，所述分割模块还用于：

初始化种子点，即初始化聚类中心，设定需要分割的超像素数量；

在种子点n×n邻域内根据像素点梯度值重新选择种子点，以避免种子点落在梯度较大的边缘上；

在每个种子点周围的邻域内为每个像素点分配类标签，确定像素点所属的聚类中心；

进行距离度量，对于每个检索到的像素点分别计算它到该种子点之间的距离。

优选地，所述构建模块还用于：

利用SLIC算法对数字病理图像进行超像素分割，获得超像素分割区域；

将每个超像素分割区域作为图结构中的节点，节点数量为n；

利用CNN网络对每个分割区域进行低维度编码，作为每个节点的特征信息，节点的特征维度为d；

在超像素分割后的数字病理图像上，将每个分割区域是否共边作为节点之间分配边的依据，从而建立图结构的邻接矩阵A；所述的图结构定义为图G(A，F)，其中A∈{0，1}

有益效果：本发明可直接对极高分辨率的数字病理图像构建其图结构的表达形式，从而利用图卷积神经网络对整个数字病理图像的图结构进行学习，避免了因内存限制而无法直接对整张数字病理图像进行特征提取，同时利用了多尺度和特征交叉的方法提高了分类的准确率。

通过参照以下附图及对本发明的具体实施方式的详细描述，本发明的特征及优点将会变得清楚。

附图说明

图1是基于超像素分割与图卷积的数字病理图像分类方法的流程图；

图2为本发明图卷积神经网络结构示意图；

图3为本发明图池化结构示意图；

图4为本发明合并节点特征的示意图；

图5为本发明利用SLIC算法对数字病理图像进行超像素分割后的结果图；

图6为本发明利用超像素分割区域所构建的图结构的结果示意图；

图7是基于超像素分割与图卷积的数字病理图像分类系统结构示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

图1是基于超像素分割与图卷积的数字病理图像分类方法的流程图。如图1所示，本发明提供了一种基于超像素分割与图卷积的数字病理图像分类方法，所述方法包括以下步骤：

S1：使用简单线性迭代聚类算法SLIC对数字病理图像进行超像素分割，获得超像素的分割区域。

具体地，步骤S1包括：

S11：初始化种子点，即初始化聚类中心，设定需要分割的超像素数量；

S12：在种子点n×n邻域内根据像素点梯度值重新选择种子点，以避免种子点落在梯度较大的边缘上；

S13：在每个种子点周围的邻域内为每个像素点分配类标签，确定像素点所属的聚类中心；

S14：进行距离度量，对于每个检索到的像素点分别计算它到该种子点之间的距离。

其中，进行距离度量包括颜色和空间距离。

所述SLIC算法中的步骤S11的种子数量，即需要分割的超像素数量，其特征作为一个超参数，根据实际的数字病理图像进行人工设定。

S2：将每个超像素区域作为图结构中的节点，以超像素区域是否共边作为节点之间分配边的依据，构建基于数字病理图像的图结构。

具体地，步骤S2包括：

S21：利用SLIC算法对数字病理图像进行超像素分割，获得超像素分割区域；

S22：将每个超像素分割区域作为图结构中的节点，节点数量为n；

S23：利用CNN网络对每个分割区域进行低维度编码，作为每个节点的特征信息，节点的特征维度为d；

S24：在超像素分割后的数字病理图像上，将每个分割区域是否共边作为节点之间分配边的依据，从而建立图结构的邻接矩阵A；所述的图结构定义为图G(A,F)，其中A∈{0，1}

图5为本发明利用SLIC算法对数字病理图像进行超像素分割后的结果图。其中所述基于超像素分割区域构建数字病理图像图结构中的步骤S21中所述的利用SLIC算法获取的分割区域，分割后的超像素区域为不规则区域，因此需计算每个分割区域的外接矩形，将每个分割区域的外接矩形作为CNN网络的输入。

如图2所示，所述步骤S23中的CNN网络，使用经过在ImageNet上预训练后的ResNet50作为骨干网络对分割区域进行特征编码，具体为：将每个分割区域的外接矩形作为预训练后ResNet50的输入，将ResNet50模型输出之前的Softmax函数去掉，使其直接输出逻辑值，并将1×1000个类别输出替换为1×1024的特征向量，从而完成对WSI中每个分割区域的特征编码。

S3：将构建的所述图结构的数据按照预设的比例随机分为训练集、验证集和测试集，通过训练、验证和测试图卷积神经网络，获得最佳的预测模型。

优选地，所述步骤S3包括：

利用图池化构建一个多尺度的图卷积神经网络，在每个尺度上通过图卷积提取特征信息，在各个网络层的两个连续尺度之间使用特征交叉层，在中间层进行融合多尺度特征；对每个尺度上输出的图结构进行节点特征合并，从而获得在对应尺度上整图的特征信息；所述图卷积神经网络的具体公式如下：

其中σ为激活函数，

具体地，利用图池化设计了一个多尺度的图卷积神经网络，如图3所示，在每个尺度上通过图卷积来提取特征信息，为了进一步增强跨尺度的信息交流，在各个网络层的两个连续尺度之间使用特征交叉层，从而允许多尺度特征在中间层进行融合。

之后，参考图4，对每个尺度上输出的图结构进行节点特征合并，从而获得在对应尺度上整图的特征信息。

上述步骤3)中所述的图卷积神经网络，定义Z＝GCN(A,F)表示多次迭代的过程，其中A为邻接矩阵，F为初始输入的节点特征矩阵。

优选地，所述利用图池化构建一个多尺度的图卷积神经网络，包括：

通过计算图结构中相邻节点的特征之间的相似度值进行节点合并，从而获得不同尺度的图结构，所述相似度值是根据特征之间的欧式距离确定的，经过图池化后获得一组新的邻接矩阵A′和节点特征矩阵F′。其中，相似度的阈值作为超参数根据实际情况进行人工设定。

所述在各个网络层的两个连续尺度之间使用特征交叉层，包括：

记录图池化之后的节点在原始节点矩阵F中的位置索引，从而根据位置索引将不同尺度下对应的节点特征进行特征值相加，实现相邻尺度的信息交互。

S4：基于所述预测模型，对所述数字病理图像进行分类。

优选地，所述步骤S4包括：通过MLP层和软投票机制获得最终的分类结果。

优选地，所述通过MLP层和软投票机制获得最终的分类结果，包括：

对每个尺度上输出的节点特征矩阵分别进行全局最大值池化和全局平均值池化，然后将两组池化结果进行拼接，作为MLP层的输入数据；所述MLP层由全连接层和Softmax函数组成,通过Softmax函数获得各个尺度下的类别预测概率。

具体地，在每一个尺度下，将其全局最大值池化的结果和全局平均值池化的结果在横向拼接，以形成一维特征向量，并将其作为MLP层的输入；所述的MLP层为多层感知机，其由多个隐藏层和Softmax函数组成，其中每个隐藏层由全连接层和激活函数组成，隐藏层的输出通过Softmax函数后即可获得该尺度下的类别预测概率。

上述步骤中所述的软投票机制具体为：对不同尺度下的类别预测概率进行加权平均，从而输出概率值最大的分类类别。

本实施例可直接对极高分辨率的数字病理图像构建其图结构的表达形式，从而利用图卷积神经网络对整个数字病理图像的图结构进行学习，避免了因内存限制而无法直接对整张数字病理图像进行特征提取，同时利用了多尺度和特征交叉的方法提高了分类的准确率。

实施例2

图7是基于超像素分割与图卷积的数字病理图像分类系统结构示意图。如图7所示，本发明还提供了一种基于超像素分割与图卷积的数字病理图像分类系统，所述系统包括：

分割模块，用于使用简单线性迭代聚类算法SLIC对数字病理图像进行超像素分割，获得超像素的分割区域；

构建模块，用于将每个超像素区域作为图结构中的节点，以超像素区域是否共边作为节点之间分配边的依据，构建基于数字病理图像的图结构；

训练模块，用于将构建的所述图结构的数据按照预设的比例随机分为训练集、验证集和测试集，通过训练、验证和测试图卷积神经网络，获得最佳的预测模型；

分类模块，用于基于所述预测模型，对所述数字病理图像进行分类。

优选地，所述分割模块还用于：

初始化种子点，即初始化聚类中心，设定需要分割的超像素数量；

在种子点n×n邻域内根据像素点梯度值重新选择种子点，以避免种子点落在梯度较大的边缘上；

在每个种子点周围的邻域内为每个像素点分配类标签，确定像素点所属的聚类中心；

进行距离度量，对于每个检索到的像素点分别计算它到该种子点之间的距离。

优选地，所述构建模块还用于：

利用SLIC算法对数字病理图像进行超像素分割，获得超像素分割区域；

将每个超像素分割区域作为图结构中的节点，节点数量为n；

利用CNN网络对每个分割区域进行低维度编码，作为每个节点的特征信息，节点的特征维度为d；

在超像素分割后的数字病理图像上，将每个分割区域是否共边作为节点之间分配边的依据，从而建立图结构的邻接矩阵A；所述的图结构定义为图G(A,F)，其中A∈{0，1}

本发明实施例2中各个模块所执行的方法步骤的具体实施过程与实施例1中的各个步骤的实施过程相同，在此不再赘述。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。