一种适用于移动应用的小巧医学影像病灶分割方法

技术领域

本发明属于医疗图像处理领域，尤其涉及了一种适用于移动应用的小巧医学影像病灶分割方法。

背景技术

全卷神经网络(FCN)的出现为语义分割打开了新的大门，所使用的上采样方法和并联跳跃结构一度成为语义分割的主流。在FCN之后，Unet网络结构利用网络集成、测试时间扩充、数据对称性开发和低质量注释的增强等方法对医学影像进行精确分割。在此之后，对于医学图像分割的模型大都是类似Unet模型的解码器-编码器的结构。尽管越来越多的模型医学图像分割的准确度上不断提高，但同时也带来了模型计算复杂度不断提高，模型的参数量越来越大，运算速度慢，运行消耗内存巨大等问题，使得模型难以在移动应用平台上部署。

专利标题，基于轻量级全卷积神经网络的医学图像分割方法，申请号为CN111489364A，申请日期为2020.04.08；专利首先对数据集进行灰度化、归一化、对比度受限自适应直方图均衡、伽马校正等预处理；然后，对训练集进行随机的提取patch和测试集顺序提取patch图以完成数据增强；接着，搭建由收缩路径(左侧)和扩张路径(右侧)组成的全卷积神经网络架构，针对图像数量较少的数据集设计留一法训练方法；最后，通过通道稀疏正则化训练、裁剪比例因子小于设定阈值的通道以及微调裁剪后的网络完成BN通道模型裁剪，得到轻量级全卷积神经网络。

专利标题，一种基于深度学习的医学图像分割方法，申请号CN 112150428A，申请日期为2020.09.18；专利,先在编码器和解码器阶段使用新型的卷积模块，其次再设计一个包含注意力机制的残差瓶颈结构，用在跳层连接上，一方面减少编码器和解码器之间的语义差异，另一方面是使得神经网络在训练过程中能更加注意要分割的目标区域，从而能够提取更加精细的语义特征；其方法简单，能够更好的识别模糊的边界，分割出来的图像效果更加连贯，抵抗噪声干扰能力强，具有很强的泛化能力。

发明内容

为了克服已有技术的不足，本发明提供了一种适用于移动应用的医学影像病灶分割方法，用以克服现有技术在进行病灶区域分割时，运算复杂、参数量庞大，难以部署在移动终端上等问题。

本发明解决其技术问题所采用的技术方案是：

一种适用于移动应用的小巧医学影像病灶分割方法，所述适用于移动应用的小巧医学影像病灶分割方法包括以下步骤：

步骤S1、将医学影像样本输入已构建且训练后的第一网络中，得到第一特征图列表Feats

步骤S2、将医学影像样本输入已构建的第二网络中，得到第二特征图列表Feats

步骤S3、将第一特征图列表Feats

步骤S4、将第一特征图列表Feats

步骤S5、将病灶分割标签Label

步骤S6、将L

步骤S7、将待检测医学影像输入至已训练完成的第二网络中，得到病灶分割结果。

进一步，所述步骤S1中，所述第一网络包括一个编码器和一个解码器；

所述第一网络的编码器由一个7×7的二维卷积操作和四个残差模块

所述第一网络的解码器由四个卷积块

再进一步，将医学影像样本输入已构建且训练后的第一网络中，得到第一特征图列表Feats

步骤1.1、将医学影像样本经过第一网络的编码器的3×3的二维卷积操作，得到特征图

步骤1.2、特征图

步骤1.3、特征图

步骤1.4、特征图

步骤1.5、特征图

步骤1.6、特征图

步骤1.7、特征图

步骤1.8、特征图

步骤1.9、特征图

步骤1.10、将特征图

再进一步，所述步骤S2中，所述第二网络包括一个编码器、一个解码器和一个卷积块

将医学影像样本输入已构建的第二网络中，得到第二特征图列表Feats

步骤2.1、将原始样本经过第二网络的编码器的卷积块

步骤2.2、特征图

步骤2.3)特征图

步骤2.4)特征图

步骤2.5、特征图

步骤2.6、将特征图

步骤2.7、将特征图

步骤2.8、将特征图

步骤2.9、将特征图

步骤2.10、将特征图

所述步骤S3中，将第一特征图列表Feats

步骤3.1、计算Feats

从Feats

步骤3.2、从Feats

步骤3.3、循环结束后将总体深度特征提炼损失L′

所述步骤S4中，将第一特征图列表Feats

步骤4.1、将从Feats

步骤4.2、将边缘信息标签Label

步骤4.2.1、将Label

步骤4.2.2、将

步骤4.3、将特征图

步骤4.4、将边缘注意特征图

步骤4.4.1、随机初始化隶属度矩阵U＝[u

步骤4.4.2、开始迭代，在第k步迭代时，计算质心C

其中，u

步骤4.4.3、根据第k步迭代得到的质心，更新隶属度矩阵U，更新的公式如下：

其中，||*||可以是任意表示距离的度量；

步骤4.4.4、当满足迭代终止条件时，停止迭代，否则继续按照步骤4.4.2和步骤4.4.3中的步骤迭代，迭代的终止条件如下：

其中ε为是误差阈值；

步骤4.5、

步骤4.6、将

所述图卷积网络，包括两个1×1的一维卷积操作和一个ReLU函数的激活操作；

步骤4.7、将

步骤4.8、将从Feats

步骤4.9、将特征图

步骤4.10、将边缘注意特征图

步骤4.11、将边缘注意特征投影矩阵

步骤4.12、将

步骤4.13、将边缘特征图

所述步骤S5中，将病灶分割标签Label

将疾病分割标签Label

所述步骤S6中，将L

步骤6.1、将L

L

步骤6.2、将L

本发明的适用于移动应用的医学影像病灶分割方法，首先对第一网络进行预训练，得到准确率较高，边缘细节丰富的分割网络；然后将原始样本输入至第一网络和第二网络，在第二网络训练的同时从而获得第一网络中间层的特征，进行特征精炼，学习中间层知识，另外根据第一网络的分割特征图和软化后的边缘标签经过边缘锚点采样，借助图卷积网络推理出抽象的高级边缘语义信息，指导第二网络准确分割病灶轮廓。本申请先获取病灶分割准确但是参数量庞大的第一网络，再获取分割准确率较低但结构紧凑的第二网络，通过特征精炼和边缘信息推理，将高维的语义信息和抽象的边缘信息传递到第二网络，可使第二网络对病灶轮廓的分割更加准确，进而提升最终分割的性能；最终得到的第二网络。

本发明的有益效果主要表现在：分割精确度高，体积小，特别适合部署在移动应用中。

附图说明

图1是本申请适用于移动应用的小巧医学影像病灶分割方法流程图；

图2是本申请适用于移动应用的小巧医学影像病灶分割方法流程框图；

图3是本申请的第一网络结构示意图；

图4是本申请的第二网络结构示意图；

图5是本申请深度特征提取模块示意图；

图6是本申请卷积块结构示意图；

图7是本申请图卷积示意图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图7，一种适用于移动应用的小巧医学影像病灶分割方法，包括以下步骤：

步骤S1、将医学图像样本输入已构建且训练后的第一网络中，得到第一特征图列表Feats

本申请的第一网络包括一个编码器和一个解码器，编码器用来提取病灶区域的丰富特征，解码器用来把来自不同尺度特征图中的高级语义与低级语义结合。

具体的，如图3所示，所述第一网络中的编码器由一个7×7的二维卷积操作和四个残差模块

所述第一网络中的解码器由四个卷积块

具体的，所述将原始样本输入已构建且训练后的第一网络中，得到第一特征图列表Feats

步骤1.1、将医学影像样本经过第一网络的编码器的3×3的二维卷积操作，得到特征图

步骤1.2、特征图

步骤1.3、特征图

步骤1.4、特征图

步骤1.5、特征图

步骤1.6、特征图

步骤1.7、特征图

步骤1.8、特征图

步骤1.9、特征图

步骤1.10、将特征图

步骤S2、将原始样本输入已构建的第二网络中，得到第二特征图列表Feats

如图4所示，本申请第二网络包括一个编码器、一个解码器和一个卷积块

步骤2.1、将原始样本经过第二网络的编码器的卷积块

步骤2.2、特征图

步骤2.3)特征图

步骤2.4)特征图

步骤2.5、特征图

步骤2.6、将特征图

步骤2.7、将特征图

步骤2.8、将特征图

步骤2.9、将特征图

步骤2.10、将特征图

步骤S3、将第一特征图列表Feats

本申请深度特征提炼损失L

本申请将第一特征图列表Feats

步骤3.1、计算Feats

从Feats

步骤3.2、从Feats

步骤3.3、循环结束后将总体深度特征提炼损失L′

本申请进行深度特征提炼的网络结构如图5所示，对于第一特征图列表中的特征图，需要经过margin ReLU函数，对于第二特征图列表中的特征图需要经过卷积核大小为1×1的卷积核进行图像大小转换。

步骤S4、将第一特征图列表Feats

本申请边缘提炼损失L

具体的，所述将第一特征图列表Feats

步骤4.1、将从Feats

步骤4.2、将边缘信息标签Label

步骤4.2.1、将Label

步骤4.2.2、将

步骤4.3、将特征图

步骤4.4、将边缘注意特征图

步骤4.4.1、随机初始化隶属度矩阵U＝[u

步骤4.4.2、开始迭代，在第k步迭代时，计算质心C

其中，u

步骤4.4.3、根据第k步迭代得到的质心，更新隶属度矩阵U，更新的公式如下：

其中，||*||可以是任意表示距离的度量；

步骤4.4.4、当满足迭代终止条件时，停止迭代，否则继续按照步骤4.4.2和步骤4.4.3中的步骤迭代，迭代的终止条件如下：

其中ε为是误差阈值；

步骤4.5、

步骤4.6、将

所述图卷积网络，包括两个1×1的一维卷积操作和一个ReLU函数的激活操作；

步骤4.7、将

步骤4.8、将从Feats

步骤4.9、将特征图

步骤4.10、将边缘注意特征图

步骤4.11、将边缘注意特征投影矩阵

步骤4.12、将

步骤4.13、将边缘特征图

本申请进行边缘信息推理的结构如图5所示，对于第一特征图列表中的特征图，在生成投影矩阵的过程中需要和软化后的标签进行哈达玛积的运算，而对于第二特征矩图列表中的特征图，在生成投影矩阵这一构成中，不需要和软化标签部分进行运算，直接进行边缘锚点下采样操作。

步骤S5、将病灶分割标签Label

将疾病分割标签Label

步骤S6、将L

具体的，过程如下：

步骤6.1、将L

L

步骤6.2、将L

步骤S7、在训练出第二网络后，将待检测医学图像输入至已训练完成的第二网络中，得到病灶分割结果。

本申请在第一网络中，利用编码器提取病灶的丰富特征，将提取到的特征输入到将来自不同尺度特征图中的高级语义与低级语义结合的解码器中，得到病灶分割准确率较高的第一网络。然后将医学图像输入至第二网络和训练好的第一网络，对第一网络中间层的特征图进行特征精炼，指导第二网络学习中间层特征，同时根据第一网络的分割特征图和软化后的边缘标签经过边缘锚点采样，借助图卷积推理出抽象的高级边缘语义信息，指导第二网络准确分割病灶轮廓。本申请先获取病灶分割准确但是参数量庞大的第一网络，再获取分割准确率一般但结构紧凑的第二网络，通过特征精炼和边缘信息推理，将高维的语义信息和抽象的边缘信息传递到第二网络，可使第二网络对病灶轮廓的分割更加准确，进而提升最终分割的性能。最后获取的第二网络，不仅分割精度高，而且结构紧凑、参数冗余量少、计算的速度快、占用内存小，适合部署在对内存和处理性能有要求的移动设备上。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列举，仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例所陈述的具体形式，本发明的保护范围也及于本领域的普通技术人员根据本发明构思所能想到的等同技术手段。