基于宽型金字塔的HER2图像分类方法及系统

技术领域

本发明涉及图像分类技术领域，具体涉及基于宽型金字塔的HER2图像分类方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

人类表皮生长因子受体(HER2)基因扩增或高蛋白表达通常出现在乳腺癌患者中，也被称为HER2阳性乳腺癌。因此，HER2表达水平可用于乳腺癌的诊断。

HER2的表达水平通常通过免疫组织化学(IHC)或荧光原位杂交(FISH)来确定。临床医生和病理学家建议优先采用免疫组织化学(IHC)研究来衡量乳腺癌的严重程度。IHC筛选分析活检组织切片中细胞和细胞表面的蛋白，即根据浸润性癌细胞膜染色的程度和比例，给乳腺组织样品分配不同的HER2分数。

随着计算机技术的不断发展，数字化的图片有效的辅助了病理学家和医护人员对HER2分数的判断。数字切片扫描仪以数字化、快速、准确、高效的方式处理典型的病理图像。数字化切片的定量图像分析(QIA)减少了人为错误，提高了诊断的准确性，减少了病理医生的工作量，是评分系统标准化。

随着数字病理学中图像分析的出现以及人工智能的发展，已经可以通过计算机技术实现对HER2的IHC图像的客观判别，以机器为主导的方法大大降低病理医师人工识别的分辨难度和主观性差异，提高癌症分析与诊断的效率和准确率，从而造福人类。

到目前为止，已经存在利用机器学习算法来评估HER2图像的方法，但是大部分方法操作过于复杂，需要过多的人工干预，并且这些方法的准确率和计算成本都达不到标准。

发明内容

本发明为了解决上述问题，提出了基于宽型金字塔的HER2图像分类方法及系统，利用从宽度扩展的深度学习框架，不需要人工干预的情况下可自行对HER2分数进行判定。

根据一些实施例，本发明采用如下技术方案：

基于宽型金字塔的HER2图像分类方法，包括：

采集待分类HER2的IHC图像数据，并进行预处理；

读取预处理后的IHC图像，将图像数字化，转化为RGB颜色空间的三维数值；

获取图像的图像数字化信息，将获得的图像数字化信息输入至宽型金字塔神经网络，获取图像的多尺度特征图；

再将图像的特征图输入分类器判断输入的IHC图像的类别。

根据另一些实施例，本发明采用如下技术方案：

基于宽型金字塔的HER2图像分类系统，其特征在于，包括：

图像采集与预处理模块，其被配置为：采集待分类HER2的IHC图像数据，并进行预处理；

图像读取模块，其被配置为：读取预处理后的IHC图像，将图像数字化，转化为RGB颜色空间的三维数值；

图像特征提取模块，其被配置为：获取图像的图像数字化信息，将获得的图像数字化信息输入至宽型金字塔神经网络，获取图像的多尺度特征图；

分类模块，其被配置为：输入获得的特征图，采用分类器判断输入的HER2的IHC图像的类别。

根据另一些实施例，本发明采用如下技术方案：

一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的基于宽型金字塔的HER2图像分类方法。

根据另一些实施例，本发明采用如下技术方案：

一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的基于宽型金字塔的HER2图像分类方法。

与现有技术相比，本发明的有益效果为：

本发明以深度学习的方法为基础，极大的降低了人工成本，依靠对模型框架的设计搭建，使计算机自行在多次的训练学习中学会HER2分数区分的标准。从而使计算机在不需要人工干预的情况下可自行对HER2分数进行判定。并且本发明可将每张HER2图像的分数判定时间压缩到0.55秒，极大的提高了效率。

本发明搭建的深度学习框架特点是从宽度角度进行扩展，宽度角度进行扩展的神经网络可以提取更多尺度的特征信息，对图像特征的充分提取和学习使得对HER2分数的识别准确率达到了95.75％。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为实施例一的基于宽型金字塔神经网络的HER2图像分类系统的框架图；

图2为实施例一的HER2四个不同分数类别的IHC图像；

图3为实施例一的图像预处理前后的HER2图像和其颜色直方图的示意图

图4为实施例一的宽型金字塔神经网络的架构图；

图5为实施例一的宽型金字塔(WP)模块的运行示意图；

图6为实施例一的图像预处理前后的训练结果示意图；

图7为实施例一的多个模型对HER2分数分类的验证准确率对比图；

图8为实施例一的多个模型的针对HER2自动评分的准确率和训练参数量对比图。

图9为实施例一的宽型金字塔网络针对HER2分数分类的ROC曲线图。

具体实施方式：

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例1

本发明的一种实施例中提供了一种基于宽型金字塔的HER2图像分类方法，如图1所示，具体步骤包括：

步骤1：采集待分类HER2的IHC图像数据，并进行预处理；

步骤2：读取预处理后的IHC图像，将图像数字化，转化为RGB颜色空间的三维数值；

步骤3：获取图像的图像数字化信息，将获得的图像数字化信息输入至宽型金字塔神经网络，获取图像的多尺度特征图；

步骤4：再将图像的特征图输入分类器判断输入的IHC图像的类别。

进一步的，图像预处理主要是对图像进行裁剪(或缩放)和降噪处理。由于后续的图像读取对图像大小有限制，所以需要提前对图像进行裁剪或缩放处理，将图像调整到合适的大小。

降噪处理是图像预处理的核心部分，对图像合理的降噪有助于后续工序中图像特征提取的准确性，可以有效提高HER2分数分类的准确率。由于HER2分数取决于细胞膜染色程度，且所呈现的染色颜色为棕黄色。因此，降噪处理方法是：首先，将HER2图像从RGB颜色空间转移到HSV颜色空间，然后调整H，S，V分量的范围值，以保持所需要的颜色。每个像素点的HSV分量必须符合以下所有范围：0≤H≤36，28≤S≤255，0≤V≤255，将不匹配的像素点分量设置为0。最后，将图像传输回RGB颜色空间。这个过程有效地抑制了其它噪声的干扰，并增强了棕黄色颜色特征。

在步骤2中，读取预处理后的IHC图像，将图像数字化，转化为RGB颜色空间的三维数值；通过计算机读取图像，将图像数字化，即转化成RGB颜色空间的三维数值，由于计算机特性以及人为规定，图像RGB三个分量范围皆为0到255，为了方便后续工序的计算，在读取图像的同时，对图像每个像素点的三个RGB分量值进行归一化处理，归一化方法为图像各像素点的分量值除以127.5，然后再减去1。即图像的归一化范围为[-1,1]。

步骤3中，获取图像的图像数字化信息，将获得的图像数字化信息输入至宽型金字塔神经网络，获取图像的多尺度特征图。宽度扩展的神经网络可以多尺度提取图像信息，适合HER2的分数分类，对于HER2的IHC图像，由于每个细胞的膜染色程度不同，且不同染色的细胞在整个图像中分布不均匀，在单个尺度上提取图像特征时会忽略大量的细节信息，本发明设计了以宽型金字塔(WP)结构为主体的特征提取模块，用来获取图像的多尺度特征图。

图像特征提取模块的整体结构细节为：

第一层由两个大小为3×3的卷积层和一个大小为3×3最大池化层组成，其目的是在保证感受野的同时尽可能减少训练参数，模型的第二层是常规卷积层加上最大池化层，第三层开始是宽金字塔(WP)结构。在连续三层WP之后，直接使用一个平均大小为6×6的平均池化层。连续三层WP后输出的特征图已经足够抽象，因此应尽可能保留特征图上的信息。所以在这个位置使用平均池化层。

WP结构并行使用不同大小的卷积核，增加了专注于提取背景信息的平均池化层和注重提取纹理信息的最大池化层，使模型可以提取更多的图像特征信息，WP结构中的卷积核核池化层的步长设为2，加快特征图像的提取速速，降低了模型的深度和计算成本，避免了过拟合现象。

WP结构细节如下：WP在同一层并行使用7×7、5×5、3×3大小的卷积层,同时并行使用了3×3尺寸的最大池化层和3×3大小的平均池化层。卷积层和池化层的步长为2，并且有零填充操作，这保证了WP结构中各层输出特征图的大小一致。最后，在通道维度上连接WP结构各层的输出特征图。

在步骤4中，进行分类时，依据前面所提取的图像特征信息判定图像的HER2分数，使用一层神经元个数为1024的全连接层，并在运行时对全连接层的神经元节点进行随机丢弃处理，随机丢弃率设置为0.3。在全连接层后使用softmax层，即归一化指数函数。它将多个神经元的输出，映射到(0,1)区间内，可以看成概率来理解，从而来进行多分类。

作为一种实施例，本发明训练的过程包括：

S1：对待分类HER2的IHC图像进行预处理；

S2：读取预处理后的HER2图像；

S3：将读取的HER2图像信息输入宽型金字塔神经网络，得到HER2图像的多尺度特征图；

S4：基于多尺度特征图，采用分类器得到HER2图像所属类别；

S5：基于模型的判断结果和真实结果，优化模型的特征提取模型和分类模块；

S6：重复步骤S3，S4和S5，直到结果最优。

优化和迭代的过程为：

模型都使用了交叉熵损失函数(Adam优化器)。初始学习率设置为0.0003，学习率不衰减，其余参数为系统默认值。由于各模型收敛速度不一致，所有模型训练100次，最后保留验证精度最高的迭代对应的神经元权值。

交叉熵损失函数具体表示见下式(1)和(2)。x表示输入样本，

测概率，y

在使用的数据集中，得分为0的HER2图像来自斯坦福大学组织微阵列数据库，其他3种HER2图像来自项目中的真实数据。图2显示的是HER2四个不同分数的IHC图像。构建的数据集共有1064张图像，其中HER2得分为0的图像337张，1+得分为331张，2+得分为329张，3+得分为267张。然后将数据按6:2:2的比例分为训练集、验证集和测试集。

在HER2图像的形成、成像、扫描、传输、裁剪等过程中，均处在复杂的或者容易改变原图像的情况中，所有的HER2图像均不同程度地被可见或不可见的噪声干扰(例如颜色，饱和度，光线等)，导致图像质量的下降。图像噪声则会干扰和影响计算机对图像特征的提取和判断，会影响到最后的分类结果。合适的图像预处理方法则可以针对性去除噪声，同时对数据进行预处理可以起到突出图像特征的作用，提高网络模型的训练速度和精度，从而提升特征提取和识别的鲁棒性。

因此将划分好的训练集和验证集图像从RGB颜色空间转移到HSV颜色空间，然后调整H、S、V分量的范围值以保持所需的颜色(每个像素分量必须符合以下所有范围:0≤H≤36,28≤S≤255,0≤V≤255。将不匹配的像素分量设为0)，最后将图像传输回RGB颜色空间。这个过程有效地消除了任何干扰，只留下我们需要的棕黄色像素。图3中的图像描述了预处理前的图像和预处理后的图像。显然，处理后的图像不仅消除了干扰，而且最大限度地保留了所需的棕黄色特征。

分批次读取训练集验证集图像，由于RGB三个分量范围皆为0到255。为了方便后续工序的计算，在读取图像的同时，对图像每个像素点的三个RGB分量值进行归一化处理。归一化方法为图像各像素点的分量值除以127.5，然后再减去1。即图像的归一化范围为[-1,1]。

特征提取模块和分类模块构成整个深度网络框架。我们称其为宽型金字塔神经网络模型(WPNet)。WPNet模型的具体结构见图4。该模型由多个3×3卷积核、1×1卷积核、WP结构、3×3max池化层、6×6平均池化层和全连接层组成。卷积层使用的激活函数均为ReLU函数，模型最后使用softmax层。

可以在多尺度上提取图像信息的宽度网络适合于HER2分类。对于HER2的IHC图像，由于每个细胞的膜染色程度不同，不同染色的细胞在整个图像中分布不均，若单尺度提取图像特征则会忽略大量的细节信息。

宽金字塔(WP)结构是WPNet模型的核心结构。图5呈现的是详细的WP结构以及经过WP结构的特征图样例。WP结构并行使用的不同大小的卷积核足以覆盖不同尺度的特征。最大池化层侧重于提取纹理信息，平均池化层侧重于提取背景信息。因此，WP结构还使用了最大池化层和平均池化层并行的方式，使得在这种结构之后可以输出更多不同比例尺的特征地图，网络可以自由选择更好的特征。

当模型架构确认之后，使用图形处理器进行模型的权重训练。可以通过训练准确率变化曲线和验证准确率变化曲线，以及训练损失变化曲线和验证损失变化曲线调整模型的超参数(通常已被实验人员调到最优)。经过多次迭代训练，得到的权重值已达到最适合于HER2的分数识别。

模型测试流程，其过程为：载入使用训练好的权重，并使用测试集进行模型的性能测试。整个测试过程与训练过程大致相同，除了测试过程是直接获得分类结果，无需进行迭代。最后，通过对比和相关评价指标来确认模型的有效性。

在实验中，评价网络模型对HER2病理图像的分类效果，可以通过评价使用验证集时的准确率变化趋势，以及测试时的其他的评价指标来判断。使用的评价指标有准确率(Accuracy)、精准率(Precision)、查全率(Recall)和F1值(F1 Score)。其中准确率的计算公式为：

其中，TP代表真正例，即被正确预测为正例的个数；FN代表假负例，即被错误预测为负例的个数；FP代表假正例，即被错预测为正例的个数；TN代表真负例，即被正确预测为负例的个数。

精准率的计算公式为：

召回率的计算公式为：

F1值的计算公式为：

通过对比实验验证图像预处理方法的有效性。使用提出的模型WPNet对预处理前后的图像数据集进行训练。图6比较了图像预处理前后的训练效果。可见，经过预处理的图像训练效果要好于未经处理的图像训练效果，而且效果也更加稳定。

为了验证WPNet的有效性，将该方法与其他方法进行了比较。所有模型都运行在相同的环境中，使用相同的数据集。对Alexnet、Vgg16、Resnet50、GoogLeNet和提出的模型WPNet进行了比较。图7和图8显示了这些网络模型的训练效果比较。从表1和图7可以清楚地看出，我们的模型的性能优于其他经典网络模型。WPNet不仅收敛更快，而且所达到的验证准确率也更高更稳定。图8则说明WPNet在测试时的准确率更高以及其计算成本更低。

表1

根据每个测试样本属于正样本的概率从大到小进行排序。使用这个概率值作为阈值。每个阈值产生一组FPR和TPR，它们是曲线上的点。通过连接这些不同的点，可以计算出完整的ROC曲线。AUC定义为ROC曲线下被坐标轴包围的区域

为了证明WPNet在医学领域仍然是一种优秀的分类器，计算它的ROC曲线和AUC值。将初始学习速率设置为0.0005，将衰减速率设置为0.02，其余设置保持不变。考虑到实际意义，在绘制ROC曲线时，设定了2+分数类别作为正例，1+分数类别作为反例。这一曲线可以有效地反映WPNet模型识别HER2分数的能力。图9显示了ROC曲线，根据该曲线计算的AUC为99.37％。99.37％的AUC表明WPNet在医学领域也是一个很好的分类器。

实施例2

本发明的一种实施例中提供了一种基于宽型金字塔的HER2图像分类系统，包括：

图像采集与预处理模块，其被配置为：采集待分类HER2的IHC图像数据，并进行预处理；

图像读取模块，其被配置为：读取预处理后的IHC图像，将图像数字化，转化为RGB颜色空间的三维数值；

图像特征提取模块，其被配置为：获取图像的图像数字化信息，将获得的图像数字化信息输入至宽型金字塔神经网络，获取图像的多尺度特征图；

分类模块，其被配置为：输入获得的特征图，采用分类器判断输入的HER2的IHC图像的类别。

如图1所示，该图像分类系统生效前，需要进行一次权重训练，即令计算机通过自我学习，从而总结出HER2分数的区别标准。

假设神经元的输入是向量

假设t是真实输出，损失函数是g函数，x

Δw

w

理想状态，训练到最优时，损失近似为0，即g(t，y)近似等于0，这时候的权重几乎趋于稳定。这时也表示机器的自我学习已达到最优。

最后训练好的权重则需要载入到网络模型中，再通过使用新的图像数据集进行性能测试，合格后该HER2图像分类系统即可使用。具体包括模型训练流程和模型测试流程。两个流程均包括图像预处理模块、图像读取模块、图像特征提取模块、和分类模块。

模型训练流程，其过程为：对附有标签的HER2图像进行预处理，读取预处理后的图像并进行归一化，通过不同的权重提取图像的特征信息，以提取到的图像特征判断图像类别，计算结果误差，根据误差更新权重，即优化特征提取模块。通过不断迭代，来不断优化图像特征提取的准确性，直到达到最优结果。宽金字塔结构并行使用不同大小的卷积核以及并行使用最大池化层和平均池化层，并采用零填充操作。

以下是实验的相关设置:

1)实验环境

所有模型都是在两个GPU的集群环境下进行训练。GPU为GeForce RTX 2080Ti，计算能力为7.5，显卡内存为12GB。所有实验都使用了TensorFlow框架下的Keras深度学习库。

2)优化和迭代

模型都使用了交叉熵损失函数(Adam优化器)。初始学习率设置为0.0003，学习率不衰减，其余参数为系统默认值。由于各模型收敛速度不一致，所有模型训练100次，最后保留验证精度最高的迭代对应的神经元权值。

交叉熵损失函数具体表示见下式。x表示输入样本，

/>

在使用的数据集中，得分为0的HER2图像来自斯坦福大学组织微阵列数据库，其他3种HER2图像来自项目中的真实数据。图2显示的是HER2四个不同分数的IHC图像。构建的数据集共有1064张图像，其中HER2得分为0的图像337张，1+得分为331张，2+得分为329张，3+得分为267张。然后将数据按6:2:2的比例分为训练集、验证集和测试集。

在HER2图像的形成、成像、扫描、传输、裁剪等过程中，均处在复杂的或者容易改变原图像的情况中，所有的HER2图像均不同程度地被可见或不可见的噪声干扰(例如颜色，饱和度，光线等)，导致图像质量的下降。图像噪声则会干扰和影响计算机对图像特征的提取和判断，会影响到最后的分类结果。合适的图像预处理方法则可以针对性去除噪声，同时对数据进行预处理可以起到突出图像特征的作用，提高网络模型的训练速度和精度，从而提升特征提取和识别的鲁棒性。

因此将划分好的训练集和验证集图像从RGB颜色空间转移到HSV颜色空间，然后调整H、S、V分量的范围值以保持所需的颜色(每个像素分量必须符合以下所有范围:0≤H≤36,28≤S≤255,0≤V≤255。将不匹配的像素分量设为0)，最后将图像传输回RGB颜色空间。这个过程有效地消除了任何干扰，只留下我们需要的棕黄色像素。图3中的图像描述了预处理前的图像和预处理后的图像。显然，处理后的图像不仅消除了干扰，而且最大限度地保留了所需的棕黄色特征。

分批次读取训练集验证集图像，由于RGB三个分量范围皆为0到255。为了方便后续工序的计算，在读取图像的同时，对图像每个像素点的三个RGB分量值进行归一化处理。归一化方法为图像各像素点的分量值除以127.5，然后再减去1。即图像的归一化范围为[-1,1]。

特征提取模块和分类模块构成整个深度网络框架。我们称其为宽型金字塔神经网络模型(WPNet)。WPNet模型的具体结构见图4。该模型由多个3×3卷积核、1×1卷积核、WP结构、3×3max池化层、6×6平均池化层和全连接层组成。卷积层使用的激活函数均为ReLU函数，模型最后使用softmax层。

可以在多尺度上提取图像信息的宽度网络适合于HER2分类。对于HER2的IHC图像，由于每个细胞的膜染色程度不同，不同染色的细胞在整个图像中分布不均，若单尺度提取图像特征则会忽略大量的细节信息。

宽金字塔(WP)结构是WPNet模型的核心结构。图5呈现的是详细的WP结构以及经过WP结构的特征图样例。WP结构并行使用的不同大小的卷积核足以覆盖不同尺度的特征。最大池化层侧重于提取纹理信息，平均池化层侧重于提取背景信息。因此，WP结构还使用了最大池化层和平均池化层并行的方式，使得在这种结构之后可以输出更多不同比例尺的特征地图，网络可以自由选择更好的特征。

当模型架构确认之后，使用图形处理器进行模型的权重训练。可以通过训练准确率变化曲线和验证准确率变化曲线，以及训练损失变化曲线和验证损失变化曲线调整模型的超参数(通常已被实验人员调到最优)。经过多次迭代训练，得到的权重值已达到最适合于HER2的分数识别。

模型测试流程，其过程为：载入使用训练好的权重，并使用测试集进行模型的性能测试。整个测试过程与训练过程大致相同，除了测试过程是直接获得分类结果，无需进行迭代。最后，通过对比和相关评价指标来确认模型的有效性。

实施例3

本发明的一种实施例中提供了一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的基于宽型金字塔的HER2图像分类方法步骤。

实施例4

本发明的一种实施例中提供了一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的基于宽型金字塔的HER2图像分类方法步骤。

其中，在网络模型的训练过程推荐使用GPU，这是由于网络模型训练过程计算量庞大，计算较为复杂，又涉及到图像，使用GPU可以大大加快训练过程。需特别注意的是，使用GPU时，需使用针对性的运行框架，例如：TensorFlow框架的GPU版本。

其余计算机指令处理过程则不限定处理器类型。本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以包括只读存储器(ROM)和随机存取存储器(RAM)，并向处理器提供指令和数据。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。

以上实施例2、3以及4执行所述实施例1中记载的方法的所有步骤。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。