医学图像分割方法及装置、存储介质和终端

技术领域

本发明涉及医学图像分割技术领域，尤其涉及一种医学图像分割方法及装置、存储介质和终端。

背景技术

医学图像分割是一项很有意义的工作，它提供了器官区域的形状轮廓和范围，可以帮助医生在许多领域做出更好的临床决策，如血管检测、腺体疾病分割等。与普通的RGB图像不同，医学图像通常噪声大、对比度弱、边界模糊，难以提取鉴别特征。

近年来，卷积神经网络(Convolutional Neural Networks,CNN)因其出色的判别特征提取而受到越来越多的研究关注。例如将基于CNN结构设计的U-Net及其变体结构应用于医学图像分割取得了出色的效果，但其在医学图像分割的实际应用过程中仍然面临着巨大的挑战。例如首先现有U-Net及其变体结构易受到噪声影响；其次现有U-Net及其变体浅层特征图和深层特征图之间存在较大的语义鸿沟，导致信息丢失；最后U-Net及其变体结构有数百万个参数，这使得它们很难嵌入到微硬件中，且当减小参数量时，这些模型难以保持稳定的检测效果。

发明内容

本发明所要解决的技术问题是现有U-Net及其变体在医学图像处理过程中，容易收到噪声影响，浅层特征图和深层特征图存在较大语义鸿沟，导致信息丢失，且参数较多，难以嵌入微硬件中。

为了解决上述技术问题，本发明提供了一种医学图像分割方法，包括：

获取待分割医学图像；

将所述待分割医学图像输入至医学图像分割模型，以使得所述医学图像分割模型输出所述待分割医学图像的分割结果；

其中，所述医学图像分割模型包括多个连接的图像分割子网络，所有所述图像分割子网络结构相同；

所述图像分割子网络包括：

多个平行设置的Inception，用于从医学图像中提取多个通道的特征图；

编码器结构，用于对多通道特征图进行编码，以获取编码后的特征图；

解码器结构，用于对编码后的特征图进行解码，以获取拼接后的特征图，所述解码器结构与所述编码器结构通过密集的跳连接方式连接；

解码器层，用于将所述拼接后的特征图转换为2通道特征图。

优选地，所述编码器结构包括三个编码层级，每个编码层级均包括一个编码器层和一个池化层，每个所述编码器层均包括依次连接的卷积、批量归一化和Mish激活函数。

优选地，所述解码器结构包括三个解码层级，每个解码层级均包括一个解码器层和一个上采样算子，每个所述解码器层均包括依次连接的特征图拼接、卷积、批量归一化和Mish激活函数。

优选地，所述特征图拼接为将输入的特征图与来自所述编码器结构中的第一个编码器层输出的特征图和来自所述编码器结构中的第二个编码器层输出的特征图进行深度维度的拼接。

优选地，所述图像分割子网络还包括拼接层，所述拼接层用于将多个平行设置的Inception从医学图像中提取的多个通道的特征图拼接为多通道特征图。

优选地，所述多通道特征图为20通道特征图。

优选地，多个所述图像分割子网络之间通过串联、并联或串并联结合的方式连接。

为了解决上述技术问题，本发明还提供了一种医学图像分割装置，包括医学图像获取模块和图像分割模块；

所述医学图像获取模块，用于获取待分割医学图像；

所述图像分割模块，用于将所述待分割医学图像输入至医学图像分割模型，以使得所述医学图像分割模型输出所述待分割医学图像的分割结果；

其中，所述医学图像分割模型包括多个连接的图像分割子网络，所有所述图像分割子网络结构相同；

所述图像分割子网络包括：

多个平行设置的Inception，用于从医学图像中提取多个通道的特征图；

编码器结构，用于对多通道特征图进行编码，以获取编码后的特征图；

解码器结构，用于对编码后的特征图进行解码，以获取拼接后的特征图，所述解码器结构与所述编码器结构通过密集的跳连接方式连接；

解码器层，用于将所述拼接后的特征图转换为2通道特征图。

为了解决上述技术问题，本发明还提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述医学图像分割方法。

为了解决上述技术问题，本发明还提供了一种终端，包括：处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行所述医学图像分割方法。

与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：

应用本发明实施例提供的医学图像分割方法，通过在图像分割子网络中设置多个平行的Inception，以实现对待分割医学图像进行多通道特征图的提取；通过设置编码器结构和解码器结构实现对多通道特征图进行级联，且编码器和解码器之间形成轻量级、密集的跳连接(skip connection)减少了医学图像浅层特征和深层特征之间的语义损失；最后作为输出设计的解码器层也可减少低特征图和高特征图之间较大的语义差距。本发明方法提供了一个高效、且较现有方法更强大的医学图像分割结构，在保持精度的前提下，降低结构的参数量，并能够嵌入到神经网络中进行使用。

本发明的其它特征和优点将在随后的说明书中阐述，并且部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

图1示出了本发明实施例一医学图像分割方法的流程示意图；

图2示出了本发明实施例一中图像分割子网络的结构及密集跳连接的示意图；

图3示出了本发明实施例二医学图像分割装置的结构示意图；

图4示出了本发明实施例四终端的结构示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

近年来，卷积神经网络(Convolutional Neural Networks,CNN)因其出色的判别特征提取而受到越来越多的研究关注。例如将基于CNN结构设计的U-Net及其变体结构应用于医学图像分割取得了出色的效果，但其在医学图像分割的实际应用过程中仍然面临着巨大的挑战。例如首先现有U-Net及其变体结构易受到噪声影响；其次现有U-Net及其变体浅层特征图和深层特征图之间存在较大的语义鸿沟，导致信息丢失；最后U-Net及其变体结构有数百万个参数，这使得它们很难嵌入到微硬件中，且当减小参数量时，这些模型难以保持稳定的检测效果。

实施例一

为解决现有技术中存在的技术问题，本发明实施例提供了一种医学图像分割方法。

图1示出了本发明实施例一医学图像分割方法的流程示意图；参考图1所示，本发明实施例医学图像分割方法的包括如下步骤。

步骤S101，获取待分割医学图像。

具体地，通过下载或其他合理方式获取待进行图像分割的医学图像，并将待进行图像分割的医学图像设定为待分割医学图像。待分割医学图像可以为视网膜眼底图像或腺体分割图像等。其中视网膜眼底图像可从RITE数据集中选取，可以对视网膜眼底图像上的动脉和静脉进行分割或分类进行比较研究；腺体分割图像可以从GLAS数据集中选取，GLAS数据集中包含有不同腺体组织的染色载玻片图像。步骤S102，将待分割医学图像输入至医学图像分割模型，以使得医学图像分割模型输出待分割医学图像的分割结果。

具体地，医学图像分割模型包括多个连接的图像分割子网络(也可称为EU-Net)，且多个图像分割子网络可通过串联连接，或通过并联连接，或通过串并联结合的方式连接。需要说明的是，医学图像分割模型也可仅包含一个图像分割子网络，但分割精度弱于多个图像分割子网络所形成的医学图像分割模型。具体医学图像分割模型中图像分割子网络的具体个数和连接方式可基于实际情况进行设定，且各个图像分割子网络之间的串联、并联方式也采用现有神经网络之间常用的串联、并联方式，在此不对其进行过多限制。

本实施例中的图像分割子网络结构具体包括：输入端，用于实现医学图像的输入；多个平行设置的Inception，用于从医学图像中提取多个通道的特征图；编码器结构，用于对多通道特征图进行编码，以获取编码后的特征图；解码器结构，用于对编码后的特征图进行解码，以获取拼接后的特征图；以及设置于末端的解码器层，用于将拼接后的特征图转换为2通道特征图。

进一步地，本实施例中的Inception是经典模型GoogLeNet中最核心的子网络结构，GoogLeNet是Google团队提出的一种可实现图像分类的神经网络模型。Inception结构的核心思想是通过多个卷积核提取图像不同尺度的信息，最后进行融合，以得到图像更好的表征。

优选地，本实施例所采用的Inception结构具体可以为：每个Inception中包含1*1，3*3，5*5三种尺度的卷积操作，以提取不同尺度的信息。优选地，采用5个平行的Inception结构通过卷积运算可分别从医学图像中提取2、3、4、5和6个通道的特征图，然后再通过拼接层将多个通道的特征图深度维度上拼接成多通道特征图。优选地，多通道特征图可为20通道特征图。Inception结构还可设置为其他合适结构，在此不对其进行过多限制。

图2示出了本发明实施例一中图像分割子网络的结构及密集跳连接的示意图；参考图2所示，编码器结构包括三个编码层级，每个编码层级均包括一个编码器层和一个池化层。池化层即为最大池化算子，以用于降低编码器层输出的特征图的尺寸。三个编码层级的数据依次传递。优选地，每个编码器层均设置为包括依次连接的卷积、批量归一化和Mish激活函数。

参考图2所示，解码器结构包括三个解码层级，每个解码层级均包括一个解码器层和一个上采样算子。上采样算子是用于提高解码器输出的特征图的尺寸，与池化层作用相反。三个解码层级之间的数据也为依次传输过程。设置每个解码器层均包括依次连接的特征图拼接、卷积、批量归一化和Mish激活函数。其中特征图拼接过程为将输入的特征图与来自编码器结构中的第一个编码器层输出的特征图和第二个编码器层输出的特征图进行深度维度的拼接，即实现将不同特征图在深度维度上进行拼接，使特征图的深度维度增大，并将不同特征信息组合在一起。密集跳连接的编码器-解码器结构可减少浅层特征图和深层特征图之间的语义损失，且可减少网络复杂度的同时保持和提高分割精度。

其中卷积操作主要是对输入图像中特定类型的特征进行响应，以得到新的包含更深语义信息的特征图，同时也可实现对特征图的尺寸控制。批量归一化(BatchNormalization)是在使用神经网络中常用的技巧，能够使每层网络的数据分布更均匀，加速网络学习速度，同时提高网络学习稳定性。Mish激活函数是常用技巧之一，用于增加神经网络模型的非线性变化。

上述编码器-解码器结构中，不同尺寸的特征图借助池化和上采样操作实现尺寸匹配。密集跳连接则可有效防止语义信息和梯度信息的丢失。

为了减少低特征图和高特征图之间较大的语义差距，在编码器-解码器结构的末端还附加设置有一个解码器层，该解码器层可将拼接后的特征图转换为2个通道的特征图。该解码器层结构与上述解码器结构中解码器层的结构相同，且同样需实现特征图拼接过程中将输入的特征图与来自编码器结构中的第一个编码器层输出的特征图和第二个编码器层输出的特征图进行深度维度的拼接，即有效防止语义信息和梯度信息的丢失。需要说明的是，当图像分割子网络结构为医学图像分割模型的最终输出子网络时，设置于末端的解码器层输出的2通道特征图即作为2通道分割结果。

在上述医学图像分割方法实施过程中，医学图像分割模型是事先经过深度训练所得。具体医学图像分割模型训练过程如下：获取训练数据集，基于训练数据集对医学图像分割模型进行训练(未进行训练的)，基于训练数据集中的训练数据的标签计算交叉熵损失函数，并基于交叉熵损失函数值对医学图像分割模型中的参数进行调整。重复训练，直到获取的交叉熵损失函数达到收敛状态，以得到训练完成的医学图像分割模型。具体交叉熵损失函数达到收敛的标准可基于实际情况进行设定，本申请在此不对其进行过多的描述。需要说明的是，医学图像分割模型的训练数据集可采用网络公开的数据集或现实模拟数据集进行训练。例如可采用GLAS数据集等。需要说明的是，训练数据集中作为训练数据的医学图像的类型与待分割医学图像类型需保持一致。

获取训练完成的医学图像分割模型后，即可将待分割医学图像输入至该医学图像分割模型中，医学图像分割模型对待分割医学图像进行分割，以输出待分割医学图像的分割结果。

为了对本发明实施例医学图像分割方法进行进一步阐述，本实施例以GLAS数据集为例进行验证。即分别通过本发明实施例医学图像分割方法以及U-Net、U-Net++和KiU-Net等以往优秀的基于深度学习的方法对GLAS数据集中数据进行分割，以得到对应的分割结果。如下表1示出了上述各方法的分割结果。根据表1可以清楚的看到，采用本实施例医学图像分割方法获取的分割结果，在比其他分割模型使用更少的参数量的基础上，实现了更好的医学图像分割性能。

表1

本发明实施例提供的医学图像分割方法，通过在图像分割子网络中设置多个平行的Inception，以实现对待分割医学图像进行多通道特征图的提取；通过设置编码器结构和解码器结构实现对多通道特征图进行级联，且编码器和解码器之间形成轻量级、密集的跳连接，减少了医学图像浅层特征和深层特征之间的语义损失；最后作为输出设计的解码器层也可减少低特征图和高特征图之间较大的语义差距。本发明方法提供了一个高效、且较现有方法更强大的医学图像分割结构，在保持精度的前提下，降低结构的参数量，并能够嵌入到神经网络中进行使用。

实施例二

为解决现有技术中存在的技术问题，本发明实施例提供了一种医学图像分割装置。

图3示出了本发明实施例二医学图像分割装置的结构示意图；参考图3所示，本发明实施例医学图像分割装置包括医学图像获取模块和图像分割模块。

医学图像获取模块用于获取待分割医学图像。

图像分割模块用于将待分割医学图像输入至医学图像分割模型，以使得医学图像分割模型输出待分割医学图像的分割结果。

其中，医学图像分割模型包括多个连接的图像分割子网络，所有图像分割子网络结构相同；

图像分割子网络包括：

多个平行设置的Inception，用于从医学图像中提取多个通道的特征图；

编码器结构，用于对多通道特征图进行编码，以获取编码后的特征图；

解码器结构，用于对编码后的特征图进行解码，以获取拼接后的特征图，解码器结构与所述编码器结构通过密集的跳连接方式连接；

解码器层，用于将拼接后的特征图转换为2通道特征图。

本发明实施例提供的医学图像分割装置，通过在图像分割子网络中设置多个平行的Inception，以实现对待分割医学图像进行多通道特征图的提取；通过设置编码器结构和解码器结构实现对多通道特征图进行级联，且编码器和解码器之间形成轻量级、密集的跳连接，减少了医学图像浅层特征和深层特征之间的语义损失；最后作为输出设计的解码器层也可减少低特征图和高特征图之间较大的语义差距。本发明装置提供了一个高效、且较现有方法更强大的医学图像分割结构，在保持精度的前提下，降低结构的参数量，并能够嵌入到神经网络中进行使用。

实施例三

为解决现有技术中存在的上述技术问题，本发明实施例还提供了一种存储介质，其存储有计算机程序，该计算机程序被处理器执行时可实现实施例一中医学图像分割方法中的所有步骤。

医学图像分割方法的具体步骤以及应用本发明实施例提供的可读存储介质获取的有益效果均与实施例一相同，在此不在对其进行赘述。

需要说明的是：存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

实施例四

为解决现有技术中存在的上述技术问题，本发明实施例还提供了一种终端。

图4示出了本发明实施例四终端结构示意图，参照图4，本实施例终端包括相互连接的处理器及存储器；存储器用于存储计算机程序，处理器用于执行存储器存储的计算机程序，以使终端执行时可实现实施例一医学图像分割方法中的所有步骤。

医学图像分割方法的具体步骤以及应用本发明实施例提供的终端获取的有益效果均与实施例一相同，在此不在对其进行赘述。

需要说明的是，存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。同理处理器也可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的保护范围，仍须以所附的权利要求书所界定的范围为准。