基于图像处理的胃癌病灶识别方法、装置、设备和存储介质

技术领域

本发明涉及图像处理技术领域，具体为基于图像处理的胃癌病灶识别方法、装置、设备和存储介质。

背景技术

近些年，随着病理数字化的不断加深以及深度学习等技术的兴起，使用计算机辅助病理诊断或进行疾病图像的筛查也变得日渐成熟。目前已有一些分割算法可以对癌变区域进行识别，但由于组织病理图像的复杂性，其精度很难保证，并且无法对于癌变区域的恶性程度做进一步的判读。

在胃癌病理的诊断中，腺体的形态结构对于评估癌变的恶性程度至关重要，由于部分腺管在组织中分布比较密集，一般的语义分割算法在分割腺管时，很多独立单个的腺体会连到一起，这对腺体的定量分析会造成很大影响，从而会降低了算法最终精度。

发明内容

针对现有技术中存在的病理图像识别精度不高和恶性程度无法判读问题，本发明提供一种基于图像处理的胃癌病灶识别方法、装置、设备和存储介质。

本发明是通过以下技术方案来实现：

基于图像处理的胃癌病灶识别方法，包括，

在待识别病理切片的数字图像上，将包含病灶的区域按照胃癌分型进行病灶等级的标注，得到标注图像；

将所述标注图像通过预训练的改进型U-net语义分割模型进行识别，分别得到分割的病灶结果和分割的轮廓结果；

将所述轮廓结果覆盖叠加在所述病灶结果上，统一轮廓内同一连通域中的病灶等级，得到腺体分离且标注病灶等级的胃癌病灶识别结果；

其中，所述的改进型U-net语义分割模型包括一个接入输入的下采样卷积和两个并行输出的上采样卷积；所述下采样卷积和第一上采样卷积进行分割腺体病灶的特征提取，得到分割的病灶结果；所述下采样卷积和第二上采样卷积进行分割腺体轮廓的特征提取，得到分割的轮廓结果。

优选的，所述的改进型U-net语义分割模型，还包括残差网络模块和注意力模块；所述下采样卷积和上采样卷积的每个卷积层中依次设置有所述残差网络模块和所述注意力模块。

进一步，所述下采样卷积和第一上采样卷积进行分割腺体病灶的特征提取时，所述第一上采样卷积中的所述残差网络模块与所述第一上采样卷积中的所述残差网络模块对应跳层连接；

所述下采样卷积和第二上采样卷积进行分割腺体轮廓的特征提取时，所述第一上采样卷积中的所述残差网络模块与所述第二上采样卷积中的所述残差网络模块对应跳层连接；

所述对应跳层连接的层级处理的图像大小相同。

优选的，所述在待识别病理切片的数字图像上，将包含病灶的区域按照胃癌分型进行病灶等级的标注之前，还包括通过扫描得到待识别病理切片的数字图像；所述数字图像采用.svs、.kfb、.ndpi和.tif格式中的任意一种。

优选的，所述将包含病灶的区域按照胃癌分型进行病灶等级的标注，具体为采用胃癌病理WHO分型对包含病灶的区域进行病灶等级的标注。

优选的，所述得到标注图像后，所述将所述标注图像通过预训练的改进型U-net语义分割模型进行识别前，还包括对标注图像的数据整理；

对标注图像进行切分，保留含有组织区域的图像，得到有效图像；

将有效图像进行掩码后分为训练集和测试集，完成对标注图像的数据整理；所述训练集和所述测试集用于所述预训练的改进型U-net语义分割模型的训练和测试。

优选的，所述预训练的改进型U-net语义分割模型进行预训练时，包括，

将两个上采样卷积的其中一个各卷积层冻结，对另一个各上采样卷积中的各卷积层进行特征提取和分割对象的训练，待所述改进型U-net语义分割模型收敛；

将已训练好的上采样卷积冻结，对未训练的上采样卷积中的各卷积层进行特征提取和分割对象的训练，直至所述改进型U-net语义分割模型收敛，完成所述预训练。

优选的，所述统一轮廓内同一连通域中的病灶等级，包括，

统计轮廓内同一连通域中各病灶等级所占的像素值；

将同一连通域中的所有像素值改为占比最多的一类，得到所述占比最多像素值对应的病灶等级，作为所述轮廓内同一连通域的病灶等级。

优选的，所述得到腺体分离且标注病灶等级的胃癌病灶识别结果后，还包括，

将一张待识别病理切片的剩余数字图像进行相同操作的识别，分别得到对应的胃癌病灶识别结果；

统计所述待识别病理切片的所述数字图像中，各类等级病灶的数量和面积信息，得到所述待识别病理切片的所属胃癌病灶类型。

基于图像处理的胃癌病灶识别装置，包括，

标注模块，用于在待识别病理切片的数字图像上，将包含病灶的区域按照胃癌分型进行病灶等级的标注，得到标注图像；

分割模块，用于将所述标注图像通过预训练的改进型U-net语义分割模型进行识别，分别得到分割的病灶结果和分割的轮廓结果；

识别模块，用于将所述轮廓结果覆盖叠加在所述病灶结果上，统一轮廓内同一连通域中的病灶等级，得到腺体分离且标注病灶等级的基于图像处理的胃癌病灶识别结果；

所述分割模块中所述的改进型U-net语义分割模型配置为包括一个接入输入的下采样卷积和两个并行输出的上采样卷积；所述下采样卷积和第一上采样卷积进行分割腺体病灶的特征提取，得到分割的病灶结果；所述下采样卷积和第二上采样卷积进行分割腺体轮廓的特征提取，得到分割的轮廓结果。

一种计算机设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上任一项所述的基于图像处理的胃癌病灶识别方法。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述的基于图像处理的胃癌病灶识别方法。

与现有技术相比，本发明具有以下有益的技术效果：

本发明提供的基于图像处理的胃癌病灶识别方法，基于病理切片的数字图像，首先通过对其中包含病灶的区域进行病灶等级的标注，使其在后续的识别和结果输出中，能够附加病灶等级的标注信息；通过预训练的改进型U-net语义分割模型得到分割的病灶结果，得到对病灶的识别，通过预训练的改进型U-net语义分割模型得到分割的轮廓结果，得到对腺体的识别，提取出病灶位置；将两个结果叠加后得到由轮廓结果保证分离腺体的识别，由病灶结果中附加的标注保证的病灶等级的识别；再通过统一轮廓内同一连通域中的病灶等级，使得同一轮廓内标识的一个腺体有确定的病灶等级，进一步对病灶区域进行分级，对于不同类型的病变腺体能有很好的区分，从而得到腺体分离且标注病灶等级的胃癌病灶识别结果，提升整体的识别精度。同时本发明所述方法中的都是基于改进型U-net语义分割模型结构上的创新，基本不会增加太多额外的操作，保证方法的高效运行，计算量基本保持一致。

附图说明

图1为本发明实施例中所述的胃癌灶识别方法流程图。

图2a为本发明实施例中所述的标注图像。

图2b为本发明实施例中所述的分割的病灶结果图像。

图2c为本发明实施例中所述的分割的轮廓结果图像。

图2d为本发明实施例中所述的胃癌病灶识别结果图像。

图3为本发明实施例中所述的改进型U-net语义分割模型结构。

图4为本发明实施例中所述的resent模块的结构示意图。

图5为本发明实施例中所述的se模块的结构示意图。

图6为本发明实施例中所述的胃癌灶识别装置的结构框图。

具体实施方式

下面结合具体的实施例对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

在本发明中，“模块”、“装置”、“系统”等指应用于计算机的相关实体，如硬件、硬件和软件的组合、软件或执行中的软件等。详细地说，例如，元件可以、但不限于是运行于处理器的过程、处理器、对象、可执行元件、执行线程、程序和/或计算机。还有，运行于服务器上的应用程序或脚本程序、服务器都可以是元件。一个或多个元件可在执行的过程和/或线程中，并且元件可以在一台计算机上本地化和/或分布在两台或多台计算机之间，并可以由各种计算机可读介质运行。元件还可以根据具有一个或多个数据包的信号，例如，来自一个与本地系统、分布式系统中另一元件交互的，和/或在因特网的网络通过信号与其它系统交互的数据的信号通过本地和/或远程过程来进行通信。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”，不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本发明提供的胃癌灶识别方法，是一种可以基于数字病理图像有效识别胃癌恶性程度的方法，其不仅可以提取出病灶位置，而且可以进一步对病灶区域进行分级，同时对于不同类型的病变腺体能有很好的区分，在基本不增加运算量的情况下能够极大的提升胃癌灶识别的整体精度。

具体的，如图1所示，本发明基于图像处理的胃癌病灶识别方法，包括，

步骤101，在待识别病理切片的数字图像上，将包含病灶的区域按照胃癌分型进行病灶等级的标注，得到标注图像，如图2a所示；

其中，在待识别病理切片的数字图像上，实则是包含了病灶区域和非病灶的正常组织区域，对于这两者的区分是十分明显的，于此同时按照现有技术中对病灶的标记方法和胃癌病理分类所采用的胃癌分型进行标记，可以采用人工标记，也可以采用训练好的神经网络模型标记，还可以是两者结合先通过神经网络模型标记再通过人工进行校正，都能够得到附加病灶等级的标注图像，本步骤的目的在于将病灶等级作为病灶区域的特征，在后续的操作中能够保留到最后的结果输出中，使得在识别胃癌病灶的同时可以进一步实现对病灶区域的分级。

步骤102，将所述标注图像通过预训练的改进型U-net语义分割模型进行识别，分别得到分割的病灶结果和分割的轮廓结果；

其中，所述的改进型U-net语义分割模型包括一个接入输入的下采样卷积和两个并行输出的上采样卷积；所述下采样卷积和第一上采样卷积进行分割腺体病灶的特征提取，得到分割的病灶结果，如图2b所示；所述下采样卷积和第二上采样卷积进行分割腺体轮廓的特征提取，得到分割的轮廓结果，如图2c所示；

现有的U-net语义分割模型，是基于小样本的高精度医学影像语义分割模型，其作为一个图像语义分割网络，主要用于对医学图像进行处理能够在提供的较少样本下，分析得到较为理想的结果输出；U-Net的整个流程为U型，包括一个下采样卷积过程，一个上采样卷积过程，针对细胞的识别进行输出，但是现有实际情况中，由于部分腺管在组织中分布比较密集，在进行U-net语义分割算法在分割腺体时，输出单一的分割腺体结果中会很多独立单个的腺体会连到一起，这对腺体的定量分析会造成很大影响。

而本发明中通过两个上采样卷积过程，分别针对病灶进行识别作为一路输出，该输出不区分轮廓，针对腺体轮廓进行识别作为一路输出，该输出不对病灶进行区分；从而在整个识别过程中能够针对各自输出的特征进行高效的集中处理，得到各自精确的识别结果。

步骤103，将所述轮廓结果覆盖叠加在所述病灶结果上，统一轮廓内同一连通域中的病灶等级，得到腺体分离且标注病灶等级的胃癌病灶识别结果，如图2d所示。

其中，通过轮廓结果识别的腺体框定到病灶结果上，得到对应的各个腺体中的病灶区域，再将框定的同一连通区域即同一腺体中的多个病灶等级统一成一个主流的病灶等级作为该腺体的病灶等级，从而不仅识别了腺体而且完成了病灶等级的区分；所述轮廓结果覆盖叠加在所述病灶结果时，按照图像坐标进行叠加，在相同坐标位置对像素进行相乘处理，从而得到叠加后的图像，不仅能够区分腺体，而且能过做到病灶等级的标记。由于加入了预测腺管轮廓的分支，该分支可以用于预测胃癌病理中的腺管轮廓，可以分离原有腺体分割结果中相连的腺体，从而改善腺体的分割效果，提升分割精度。

本发明一选实例中，在上述步骤的基础上进一步的对改进型U-net语义分割模型进行提升，将其下采样卷积和上采样卷积的每个卷积层中依次设置残差网络模块和注意力模块。最终得到的优化后的模型如图3所示，其中，将标注图像作为改进型U-net语义分割模型的输入，通过卷积运算分别经过下采样卷积中的四个卷积层进行特征定位，再分别通过两个上采样卷积中的四个卷积层进行分类还原，最后输出得到病灶结果和轮廓结果。

也就是将每层的卷积操作改进为通过残差网络模块(resnet模块)更好的拟合分类函数以获得更高的分类精度，提升特征提取能力；并且通过注意力模块(se模块)，提高特征通道之间的关系，提升整个模型的进度，提升分割精度；在resnet模块后紧接着加入se模块，se模块可以通过自主学习的方式获取每个特征通道的重要程度，然后依照这个重要程度去提升有用的特征并抑制用处不大的特征，有助于提升整个模型的精度；然后在下采样卷积过程和上采样卷积过程中将特征图进行跳层连接(skip connection)，将浅层的定位信息和高层的像素分类判定信息进行融合，从而得到更佳的结果。

具体的上述resnet模块，如图4所示，常规残差网络模块(plain residualblock)：由2个3×3卷积层堆叠而成，多个残差网络模块的堆叠形成的网络，称为残差网络；残差网络中的近路连接(shortcut)，直接通过简单的恒等映射完成，不需要复杂的变换门和携带门，因此不需要引入额外的参数，减小了计算负担。其表达式如下，

y＝F(x)+x；

其中，y为输出，x为输入，F(x)为残差函数；最终的输出为通过近路连接输入的x与通过残差运算得到的F(x)的加操作之和；在输出之后以及2个3×3卷积层之间都设置有激活函数层(relu层)。

上述的se模块，其结构图如图5所示，每个卷积操作实际上是在输入的空间维度(宽高，HxW)和通道维度(channels)上面进行的乘加操作。se模块从特征的Channel维度上面着手，形成注意力机制；通过提取通道的重要程度，对结果比较好的、有利于计算的和与标签更加类似的，则提高权重；通道对应的是特征图(map)的数量，从而提升了目标特征图的数量，得到的权重通过卷积和全局采样最终影响结果，影响模型的整体精度。

具体的跳层连接，在下采样卷积和第一上采样卷积进行分割腺体病灶的特征提取时，所述第一上采样卷积中的所述残差网络模块与所述第一上采样卷积中的所述残差网络模块对应跳层连接；在下采样卷积和第二上采样卷积进行分割腺体轮廓的特征提取时，所述第一上采样卷积中的所述残差网络模块与所述第二上采样卷积中的所述残差网络模块对应跳层连接；所述对应跳层连接的层级处理的图像大小相同；通过残差网络模块中的skip connection一方面可以补充经过多个卷积层后损失的信息，另一方面也可以在加深网络层的同时减少梯度消失的问题，从而提升特征提能力。

本发明一选实例中，在待识别病理切片的数字图像上，将包含病灶的区域按照胃癌分型进行病灶等级的标注之前，还包括通过扫描得到待识别病理切片的数字图像；所述数字图像采用.svs、.kfb、.ndpi和.tif格式中的任意一种。本优选实例中，增加数据获取的步骤，具体的通过使用扫描仪或其他扫描设备，扫描病理切片获取整个切片的数字图像，这些数字图像可以是不同的扫描格式，也可以是相同的扫描格式，例如上述的四种格式中的任意一种均可。

本发明一选实例中，在上述的将包含病灶的区域按照胃癌分型进行病灶等级的标注，具体为采用胃癌病理WHO分型对包含病灶的区域进行病灶等级的标注。执行数据标注的步骤，主要是将待识别病理切片的整个数字图像上包含病灶的区域按照低级别、高级别和癌三类进行精细的标注。标注时，首先通过像素级别的分割算法，将各个像素对应的图像区域进行分割，将同一级别的相邻区域进行标记，从而实现针对腺管的低级别和高级别区域标注，以及针对癌症的区域标记。

本发明一选实例中，在得到标注图像后，所述将所述标注图像通过预训练的改进型U-net语义分割模型进行识别前，还包括对标注图像的数据整理；对标注图像进行切分，保留含有组织区域的图像，得到有效图像；将有效图像进行掩码后分为训练集和测试集，完成对标注图像的数据整理；所述训练集和所述测试集用于所述预训练的改进型U-net语义分割模型的训练和测试。其中，由于扫描得到的病理切片的数字图像非常大，所含像素数超过10亿，无法直接导入预训练的改进型U-net语义分割模型训练，所以需要对已有原始的病理切片的数字图像进行切分，只保留含有组织区域的图像，并且生成对应掩码(mask)，将所有数据分为训练集和测试集以供后续模型训练和测试使用。

本发明一选实例中，预训练的改进型U-net语义分割模型进行预训练时，包括，将两个上采样卷积的其中一个各卷积层冻结，对另一个各上采样卷积中的各卷积层进行特征提取和分割对象的训练，待所述改进型U-net语义分割模型收敛；将已训练好的上采样卷积冻结，对未训练的上采样卷积中的各卷积层进行特征提取和分割对象的训练，直至所述改进型U-net语义分割模型收敛，完成所述预训练。

本优选实例中的预训练即为模型推断，将训练集中的图像输入模型中，在训练时先将分割轮廓的分支各层冻结，只训练特征提取和分割病灶的分支，即图3中的上半部分，待模型收敛；再将已训练好的特征提取和分割病灶的分支冻结，只训练分割轮廓的分支，即图3中的下半部分，直至最终模型收敛。从而可以得到两个输出，一个是分割病灶的结果，一个是分割轮廓的结果，再利用测试集测试符合要求后，完成模型的预训练，进行正式的胃癌病灶识别。

本发明一选实例中，统一轮廓内同一连通域中的病灶等级，包括，统计轮廓内同一连通域中各病灶等级所占的像素值；将同一连通域中的所有像素值改为占比最多的一类，得到所述占比最多像素值对应的病灶等级，作为所述轮廓内同一连通域的病灶等级。

具体的，就是结合分割的病灶结果和分割的轮廓结果的两个输出，将轮廓结果覆盖至病灶结果上，并且将同一连通域中的像素值改为占比最多的一类，目的是为了将一个轮廓里面存在的多个标签即类别，统一成一个类别，这样就可以使原本病灶结果中相连的腺体分离，并且每个腺体对应一种类别即低级别，高级别或癌；在两个结果进行覆盖时，按照图像坐标进行叠加，通过相乘的关系实现图像的运算。

本发明一选实例中，在得到腺体分离且标注病灶等级的胃癌病灶识别结果后，还包括，将一张待识别病理切片的剩余数字图像进行相同操作的识别，分别得到对应的胃癌病灶识别结果；统计所述待识别病理切片的所述数字图像中，各类等级病灶的数量和面积信息，得到所述待识别病理切片的所属胃癌病灶类型。

通过统计分析的步骤，统计一张病理切片上所有数字图像通过模型识别的各类病灶数量和面积等信息，得出最终该病理切片的所属类型，是否存在胃癌病灶，以及对应的严重程度的等级，为医生提供参考。

本发明所述的方法不仅可以根据胃癌组织病理图像自动定位病灶位置，并将病灶区域精确地识别数来，而且可以判断病灶的恶性程度，为医生平时阅片提供帮助；通过加入resnet模块，se模块和分割轮廓的分支操作，不仅可以有效提升模型的特征提取能力，而且可以有效分离相邻腺体，改善识别结果，提升算法整体的精度；该方法的所有改动都是模型结构上的改动，基本不会增加太多额外的操作，这样可以保证算法的高效运行，计算量基本保持一致；不仅提升了精度增强了识别质量，而且不增加运算量保证了识别的速度。

本发明还提供基于图像处理的胃癌病灶识别装置，与上述的识别方法对应，进行基于图像处理的胃癌病灶识别的执行，如图6所示，其包括，

标注模块601，用于在待识别病理切片的数字图像上，将包含病灶的区域按照胃癌分型进行病灶等级的标注，得到标注图像；

分割模块602，用于将所述标注图像通过预训练的改进型U-net语义分割模型进行识别，分别得到分割的病灶结果和分割的轮廓结果；

识别模块603，用于将所述轮廓结果覆盖叠加在所述病灶结果上，统一轮廓内同一连通域中的病灶等级，得到腺体分离且标注病灶等级的胃癌病灶识别结果；

所述分割模块602中所述的改进型U-net语义分割模型配置为包括一个接入输入的下采样卷积和两个并行输出的上采样卷积；所述下采样卷积和第一上采样卷积进行分割腺体病灶的特征提取，得到分割的病灶结果；所述下采样卷积和第二上采样卷积进行分割腺体轮廓的特征提取，得到分割的轮廓结果。

本发明还提供一种计算机设备，包括存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如上述的基于图像处理的胃癌病灶识别方法的步骤。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的基于图像处理的胃癌病灶识别方法的步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。

由技术常识可知，本发明可以通过其它的不脱离其精神实质或必要特征的实施方案来实现。因此，上述公开的实施方案，就各方面而言，都只是举例说明，并不是仅有的。所有在本发明范围内或在等同于本发明的范围内的改变均被本发明包含。