胃癌病理图像智能辅助诊断系统

技术领域

本发明涉及人工智能、医疗诊断、深度学习、辅助诊断系统。

背景技术

癌症，现已成为中国高发疾病之一。根据有关数据研究发现，截止2020年，我国恶性肿瘤新发病例457万人，死亡病例300万人。正如《健康中国行动(2019～2030年)》发布，癌症患者承受着沉重的疾病负担，存在着巨大的未满足需求。在中国，每10分钟就有55人死于癌症；全球约有50％的胃癌、肝癌和食道癌病例来自中国。其中胃癌新发病例约有48万，占10.8％，位列前三。胃肠道癌占中国癌症相关死亡人数的45％。由于胃壁和结肠壁分为五层，早期胃癌几乎不会发生转移，直接局部切除病灶部位就有很大希望痊愈。胃癌的预后与诊断时机密切相关，早期胃癌患者，手术治疗后的5年生存率可超过90％。中晚期胃癌5年生存率仍低于30％～50％。美国癌症协会数据显示，最早期胃癌(一期第一阶段)的5年存活率可达71％，最晚期胃癌(四期)的5年存活率只有4％，且治疗效果差、费用高，给患者家庭及社会带来沉重的经济及心理负担。因此，早发现早治疗是目前应对胃癌唯一有效的手段。目前，胃癌筛查手段主要有胃镜活检和血清学筛查。胃镜活检取样然后做病理诊断是确诊胃癌的金标准，然而传统的病理诊断完全依赖于医生“手动操作、肉眼观察”的人工阅片，存在两大痛点：(1)病理医生对胃癌的诊断准确率普遍较低，存在大量的误诊和漏诊；(2)病理诊断的工作量大，且病理医生严重缺乏。近年来，人工智能、大数据技术被成功用于病理学中，病理自动阅片技术应运而生。目前市面上的设备基本完成了病理样本的自动化扫描，支持数字化和病理数据的互联网共享、质控、存档和远程诊断，但在辅助诊断或自动诊断方面还不成熟，无法实现大面积推广。

自动阅片技术尚有两个关键问题急需解决。首先是样本的阴阳性判别，胃镜活检样本中存在不同的病变情况，包括增生性息肉、黏膜组织慢性炎、肠化、低分化癌、腺癌等情况，各类目标数目不均衡，各种病变程度的病变区域更是稀缺。因此阳性样本识别率较低，无法满足医生的需求。第二个问题是分级诊断，不仅要回答是否有病，而且要确定组织病理学分级，这是病理医生的迫切需求。一方面为医生制定治疗方案提供依据，另一方面评估治疗方案的效果。目前胃癌组织学分级诊断没有统一的标准，描述性的诊断指标无法形成量化的标准。另一方面异常细胞通常是由正常细胞变异形成，与正常上皮细胞有相似之处，尤其是在病变早期。准确区分不同级别的异常细胞具有挑战。只有这两个问题得到有效的解决，自动阅片技术才能真正地走向应用，助力癌症的提前发现。

发明内容

本发明是为了解决现有技术并没有解决的胃镜活检样本阴阳性判别和组织病理学分级诊断这两个问题。

胃癌病理图像智能辅助诊断系统包括：

信息采集模块、病理切片图像获取模块、病理切片图像预处理模块、阴阳性样本判别模块、分级诊断模块，报告生成模块；

所述信息采集模块用于信息录入人员在诊断系统中依次录入患者基本信息、切片信息；

所述病理切片图像获取模块使用数字病理全切片扫描仪将病理切片扫描为病理切片数字影像，并将病理切片数字影像传递给所述病理切片图像预处理模块；

所述病理切片图像预处理模块用于对患者的病理切片图像进行染色风格标准化处理；

所述阴阳性样本判别模块用于对染色风格标准化后的病理切片图像进行阴阳性判别，实现样本初筛；

所述分级诊断模块用于对获得的阳性样本做分级诊断，并生成分级诊断报告；

所述报告生成模块用于医生查看分级诊断报告进行人工复核并确诊，给出最终诊断结论，通过报告生成模块生成最终诊断报告。

进一步地，所述的胃癌病理图像智能辅助诊断系统，其特征在于：所述信息采集模块用于信息录入人员在诊断系统中依次录入患者基本信息、切片信息；具体为：

所述患者基本信息包括：患者的年龄、遗传病史、曾用治疗药物；

所述切片信息包括：切片编号、切片类型、染色方法、采样时间。

进一步地，所述的胃癌病理图像智能辅助诊断系统，其特征在于：所述病理切片图像获取模块使用数字病理全切片扫描仪将病理切片扫描为病理切片数字影像，并将病理切片数字影像传递给所述病理切片图像预处理模块。

进一步地，所述的胃癌病理图像智能辅助诊断系统，其特征在于：所述病理切片预处理模块用于对患者的病理切片图像进行染色风格标准化处理；实现步骤如下：

步骤一、分类模型实现不同风格图像的识别，训练时利用全连接层输出的特征做归一化处理获得一个权重矩阵；

步骤二、利用得到的权重矩阵对生成器的第二个卷积层加权，引入类别信息引导图像的生成；

步骤三、用训练好的组织图像多风格标准化模型实现病理切片图像的标准化。

进一步地，所述的胃癌病理图像智能辅助诊断系统，其特征在于：所述阴阳性样本判别模块用于对染色风格标准化后的病理切片图像进行阴阳性判别，实现样本初筛；该方案提出了一种WSI多实例学习方法，通过自蒸馏MAE进行预训练以获取更好的特征表示输入下游任务中；在下游多实例学习任务中，用Transformer来建模多示例学习中实例之间的位置关系和上下文信息；具体过程为：

(1)将进行过染色风格标准化处理后的病理切片数字影像切分成固定大小的图块；

(2)将切分好的图块作为输入进行自蒸馏，提取出有利于下游多实例学习分类任务的好的表示；

(3)在多实例学习任务中建模实例之间的关系；

(4)通过Transformer编解码器和分类器输出阴阳性判别结果，实现样本初筛；

进一步地，所述的胃癌病理图像智能辅助诊断系统，其特征在于：所述分级诊断模块用于对获得的阳性样本做分级诊断，并生成分级诊断报告；实现步骤如下：

S1、基于阳性WSI的每个图块进行分类，输出WSI图像的分型结果，实现组织学分型；

S2、在WSI图块分型结果上进一步分割可疑目标，定位病灶区域；

S3、利用WSI的分型结果，完成分级诊断，生成分级诊断报告；

进一步地，所述的胃癌病理图像智能辅助诊断系统，其特征在于：所述报告生成模块用于医生查看分级诊断报告进行人工复核并确诊，生成最终的诊断报告；实现步骤如下：

医生对分级诊断报告进行核对，给出最终诊断结论，通过报告生成模块生成最终诊断报告。

本发明的有益效果为：

本发明提出胃癌病理图像智能辅助诊断系统，总技术方案如图1所示，该系统硬件部分由数字病理全切片扫描仪、高性能服务器及普通服务器集群组成，软件部分由信息采集模块、病理切片图像获取模块、病理切片图像预处理模块、阴阳性样本判别模块、分级诊断模块，报告生成模块组成。该系统采集并处理病人信息与病理切片图像、对病理切片图像进行染色风格标准化处理、阴阳性样本判别处理实现样本初筛、生成分级诊断报告、经医生复核后生成最终分析报告、不断优化诊断时使用的深度学习模型，在胃镜活检样本阴阳性判别、实现组织病理学分级诊断方面表现突出，实现了辅助病理诊断。

本发明以辅助病理诊断为目的，采用深度学习相关算法以解决胃镜活检样本阴阳性判别和组织病理学分级诊断这两个问题为目标，开发多个软件模块，采用多种深度学习算法。以此为基础、软硬件结合建立一套完整的智能病理图像诊断系统。

附图说明

图1为本发明模型框架图。

具体实施方式

具体实施方式一：本实施方式基于胃癌病理图像智能辅助诊断系统，其特征在于，包括：硬件部分：数字病理全切片扫描仪、高清数码摄像机、数码摄像机适配器、4台GPU服务器；软件部分：信息采集模块、病理切片图像获取模块、病理切片图像预处理模块、阴阳性样本判别模块、分级诊断模块，报告生成模块；

所述信息采集模块用于信息录入人员在诊断系统中依次录入患者基本信息、切片信息；

所述病理切片图像获取模块使用数字病理全切片扫描仪将病理切片扫描为病理切片数字影像，并将病理切片数字影像传递给所述病理切片图像预处理模块。；

所述病理切片图像预处理模块用于对患者的病理切片图像进行染色风格标准化处理；

所述阴阳性样本判别模块用于对染色风格标准化后的病理切片图像进行阴阳性判别，实现样本初筛；

所述分级诊断模块用于对获得的阳性样本做分级诊断，并生成分级诊断报告；

所述报告生成模块用于医生查看分级诊断报告进行人工复核并确诊，给出最终诊断结论，通过报告生成模块生成最终诊断报告。

具体实施方式二：本实施方式与具体实施方式一不同的是，所述信息采集模块用于信息录入人员在诊断系统中依次录入患者基本信息、胃癌切片信息；具体为：

所述患者基本信息包括：患者的年龄、遗传病史、月经史、曾用治疗药物；

所述胃癌切片信息包括：切片编号、胃癌切片类型、染色方法、采样时间。

其它步骤及参数与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一或二不同的是，所述病理切片图像获取模块使用数字病理全切片扫描仪将病理切片扫描为病理切片数字影像，并将病理切片数字影像传递给所述病理切片图像预处理模块。

其它步骤及参数与具体实施方式一或二相同。

具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，所述病理切片预处理模块用于对患者的胃癌病理切片图像进行染色风格标准化处理；实现步骤如下：

步骤一、分类模型实现不同风格图像的识别，训练时利用全连接层输出的特征做归一化处理获得一个权重矩阵；该网络基于CycleGAN框架，生成器部分由三个1*1的卷积层和一个分类模型组成。1*1卷积只能学习到图像的颜色信息，避免在生成的图像中引入不存在的纹理。

步骤二、利用得到的权重矩阵对生成器的第二个卷积层加权，引入类别信息引导图像的生成；

步骤三、用训练好的组织图像多风格标准化模型实现病理切片图像的标准化。

其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式五：本实施方式与具体实施方式一至四之一不同的是，所述阴阳性样本判别模块用于对染色风格标准化后的病理切片图像进行阴阳性判别，实现样本初筛；该方案提出了一种WSI多实例学习方法，通过自蒸馏MAE进行预训练以获取更好的特征表示输入下游任务中。在下游多实例学习任务中，用Transformer来建模多示例学习中实例之间的位置关系和上下文信息。具体过程为：

(1)将进行过染色风格标准化处理后的病理切片数字影像切分成固定大小的图块；

(2)将切分好的图块作为输入进行自蒸馏，提取出有利于下游多实例学习分类任务的好的表示；在WSI图像的多实例学习中，借鉴DT-MIL，将Transformer引入MIL的包嵌入。使用可变形Transformer编码器、Transformer解码器和卷积层来构建一个完全可训练的包嵌入模块，以生成高级表示。利用这些高级表示，可以完成阴阳性分类或者诊断任务。

(3)在多实例学习任务中建模实例之间的关系；

(4)通过Transformer编解码器和分类器输出阴阳性判别结果，实现样本初筛；

其它步骤及参数与具体实施方式一至四之一相同。

具体实施方式六：本实施方式与具体实施方式一至五之一不同的是，所述分级诊断模块用于对获得的阳性样本做分级诊断，并生成分级诊断报告；实现步骤如下：

S1、基于阳性WSI的每个图块进行分类，输出WSI图像的分型结果，实现组织学分型；具体为：

采用基于自适应颜色反卷积的组织病理图像分类网络，该网络通过在残差块(ResBlock)的基础上增加了空间注意力机制和染色注意力机制来构建空间染色注意力模块。网络输入端引入染色注意力机制，将输入的图块级的组织病理图像通过ACD模块生成苏木精通道图像和伊红图像作为注意力引导图。该注意力引导图强化了组织病理图像的染色区域特征，使网络重点关注染色区域。SSANet采用resnet作为网络主干，首先使用自适应颜色反卷积提取染色分离图像，然后在训练期间利用染色分离图像激活空间染色注意力机制，最后使用线性分类器进行分类，输出组织病理图像分型结果。

S2、在WSI图块分型结果上进一步分割可疑目标，定位病灶区域；具体为：

分割可疑目标采用ConInst模型基础上引入门控机制和单像素重构分支。主干网络输出的特征图经过注意力门机制，在传入目标检测头中，由于该网络的目标检测是针对每一个像素都进行预测目标框，所以从主干网络输出的特征图的每一个像素需要融合更多的信息，并且关注重点信息，加入注意力门机制可以很好的解决这一问题。该网络的实例分割由两个分支结果融合而成，第一个分支是从门控机制输出的特征图与目标检测头中的控制器生成的条件卷积核进行卷积操作，该分支根据全局信息生成实例。第二个分支是单像素重构的分割分支，将实例信息融合到一个像素当中，再进行反卷积操作，将单个像素变为32*32大小的特征图，为了将特征信息融合到单个像素中，我们这里利用多尺度的空洞卷积操作，增大感受野，该分支指利用局部信息生成实例。最后将两个分支的分割结果进行融合，得到最终分割结果。

定位病灶区域采用带有Tok-MLP的UNet网络以最小的复杂度和参数有效地对特征进行建模。在特征提取方面，采用RGB分支用于提取原始图像的特征表示，同时应用颜色分解方法从RGB颜色空间中提取Hematoxylin成分，引入H分支实现更精确的轮廓感知。最后，采用渐进式密集特征聚合模块(PDFA)逐步合并和学习来自不同图像域的特征。将原始特征和苏木精感知轮廓特征融合在一起，以预测最终的分割结果。在编码器的结果中连接两个全连接层实现组织学分型辅助病灶分割任务。由于RGB颜色空间中的原始图像包含原始信息，可以为分割任务提供最丰富的语义信息。因此，该分支的直接输出使用二进制交叉熵损失，以在执行分割时获得最精确的像素级特征。H分支中输入的苏木精成分直接反映H&E染色的整个图像中苏木精的浓度，突出显示细胞的轮廓信息，使用Dice损失，使模型专注于学习轮廓边缘特征。最后，在分类分支中，使用提出的平滑截断(SmoothTruncated)损失来抑制异常值的干扰，总目标函数是三个分支损失的加权总和。

S3、利用WSI的分型结果，完成分级诊断，生成分级诊断报告；该部分包括有丝分裂检测和细胞核分割，并综合来自细胞的诊断指标、病变级别和目标检测的统计数据等实现分级诊断，指导患者预后。具体为：

基于多任务和困难样本挖掘的有丝分裂检测方法。该方法首先将图像输入到以ResNet-50为主干的特征金字塔网络(Featurepyramidnetwork,FPN)以提取不同尺寸的特征，以解决有丝分裂细胞大小不一难以检测的问题。随后将提取的特征图输入到区域建议网络(Regionproposalnetwork,RPN)，该网络在多尺度特征的每个位置上使用滑动窗口子网络来生成多尺度和宽高比的对象建议。最后将对象建议分别经过ROIPool与psROIPool输入到多任务预测模块，该模块包括目标检测、实例分割以及分类三个分支。实力分割和目标检测分支以ROIPool后的特征图为输入进行实例分割与检测。分类分支综合ROIPool与psROIPool的特征图做出预测，为了避免两个不同全连接层对最终分类的一项，我们将两个分支预测概率结果相加得到预测结果。同时我们使用困难样本挖掘技术减少假阳性预测以解决正常细胞与有丝分裂细胞过于相似的问题。

基于先验知识和Transformer的胃癌危险度分级方法。该方法首先以ResNet-50作为骨干网络提取图块的特征图；其次使用基于定位计数的全卷积神经网络计算癌细胞密度作为诊断指标的一部分；随后将得到的癌细胞密度、以及其它模块得到的有丝分裂计数、核异形程度等信息编码为特征向量并与特征图拼接输入到基于Transformer的分类网络中，进行胃癌的危险度分级预测，危险度分级预测过程如图1所示。使用基于定位计数的全卷积神经网络得到癌细胞密度并计算其它相关诊断指标与特征图进行拼接，可以使模型做出预测时充分考虑患者其它诊断指标，提升信息利用率，增强模型的鲁棒性。将多个图块特征图输入Transformer中可以捕获图块间的上下文联系，进一步提升模型的分类效果。

其它步骤及参数与具体实施方式一至五之一相同。

具体实施方式七：本实施方式与具体实施方式一至六之一不同的是，报告生成模块用于医生查看分级诊断报告进行人工复核并确诊，生成最终的诊断报告；实现步骤如下：

医生对分级诊断报告进行核对，给出最终诊断结论，通过报告生成模块生成最终诊断报告。

其它步骤及参数与具体实施方式一至六之一相同。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。