鼻咽癌图像分割方法、设备及介质

技术领域

本申请实施例涉及但不限于图像处理领域，尤其涉及鼻咽癌图像分割方法、设备及介质。

背景技术

目前的应用于医学图像处理的图像分割网络框架包括2.5D的卷积神经网络、端到端的深度反卷积神经网络、将金字塔一致性正则化和不确定性校正方案结合的半监督学习网络等，但它们均没有考虑鼻咽癌医学图像的局部区域信息，并且无法在包含丰富上下文信息的未标记数据的潜在特征上实现一致性，从而忽略了局部区域信息和特征级正则化的应用，未能充分发挥出模型的鲁棒性能以及网络的表示能力。

发明内容

以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

本申请的目的在于至少一定程度上解决相关技术中存在的技术问题之一，本申请实施例提供了鼻咽癌图像分割方法、设备及介质，通过关注局部区域信息和特征级正则化的应用，提升鲁棒性。

本申请的第一方面的实施例，一种鼻咽癌图像分割方法，包括：

获取第一图像和第二图像，所述第一图像为具有标签的鼻咽癌医学图像，所述第二图像为无标签的鼻咽癌医学图像；

将所述第一图像输入至分割网络框架进行训练，得到经训练的分割网络框架，所述分割网络框架包括第一模型和第二模型，所述第一模型和所述第二模型为具有相同架构和不同参数的并行分割网络模型；

对所述第二图像进行旋转得到第三图像；

将所述第二图像和所述第三图像输入至经训练的分割网络框架，框架的编码器输出所述第二图像的第二潜在特征和所述第三图像的第三潜在特征，框架输出所述第二图像的第二预测结果对和所述第三图像的第三预测结果对；

根据所述第二预测结果对进行阈值处理得到伪标签对；

根据所述第二预测结果对、所述伪标签对、局部区域的高度和宽度得到局部区域骰子损失值；

根据所述第二预测结果对、所述伪标签对、所述局部区域骰子损失值得到局部区域置信度损失值；

根据所述第二潜在特征和所述第三潜在特征得到用于对齐所述第一模型和所述第二模型之间的特征的跨模型一致性损失值；

对所述第二潜在特征进行旋转得到第四潜在特征，根据所述第三潜在特征和所述第四潜在特征得到用于使所述第一模型和所述第二模型的结构信息相互作用的差异化一致性损失值；

根据所述局部区域骰子损失值、所述局部区域置信度损失值、所述跨模型一致性损失值和所述差异化一致性损失值得到总损失值；

根据所述总损失值调整所述分割网络框架的参数，得到目标分割网络框架；

将待处理的鼻咽癌医学图像输入至所述目标分割网络框架进行图像分割，得到图像分割结果。

根据本申请的第一方面的某些实施例，所述根据所述第二预测结果对进行阈值处理得到伪标签对，包括：

比较所述第二预测结果对和第一阈值得到确定像素属于前景的前景值或确定像素属于背景的背景值；

通过指示函数根据所述前景值或所述背景值得到伪标签对。

根据本申请的第一方面的某些实施例，所述根据所述第二预测结果对、所述伪标签对、局部区域的高度和宽度得到局部区域骰子损失值，通过以下公式表示：

其中，/>

根据本申请的第一方面的某些实施例，所述根据所述第二预测结果对、所述伪标签对、所述局部区域骰子损失值得到局部区域置信度损失值，通过以下公式表示：

根据本申请的第一方面的某些实施例，所述根据所述第二潜在特征和所述第三潜在特征得到用于对齐所述第一模型和所述第二模型之间的特征的跨模型一致性损失值，通过以下公式表示：

根据本申请的第一方面的某些实施例，所述根据所述第三潜在特征和所述第四潜在特征得到用于使所述第一模型和所述第二模型的结构信息相互作用的差异化一致性损失值，通过以下公式表示：

根据本申请的第一方面的某些实施例，所述根据所述局部区域骰子损失值、所述局部区域置信度损失值、所述跨模型一致性损失值和所述差异化一致性损失值得到总损失值，包括：

根据所述局部区域骰子损失值和所述局部区域置信度损失值得到局部区域的第一子损失值；

根据所述跨模型一致性损失值、所述差异化一致性损失值和用于平衡不同一致性正则化项的权重系数得到一致性正则化的第二子损失值；

根据分割网络框架的监督损失值、所述第一子损失值和所述第二子损失值得到总损失值。

根据本申请的第一方面的某些实施例，所述根据所述局部区域骰子损失值、所述局部区域置信度损失值、所述跨模型一致性损失值和所述差异化一致性损失值得到总损失值，通过以下公式表示：L

本申请的第三方面的实施例，一种计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如上所述的鼻咽癌图像分割方法。

上述方案至少具有以下的有益效果：将第一图像输入至分割网络框架进行训练，得到经训练的分割网络框架；对第二图像进行旋转得到第三图像；将第二图像和第三图像输入至经训练的分割网络框架，框架的编码器输出第二图像的第二潜在特征和第三图像的第三潜在特征，框架输出第二图像的第二预测结果对和第三图像的第三预测结果对；根据第二预测结果对进行阈值处理得到伪标签对；根据第二预测结果对、伪标签对、局部区域的高度和宽度得到局部区域骰子损失值；根据第二预测结果对、伪标签对、局部区域骰子损失值得到局部区域置信度损失值；根据第二潜在特征和第三潜在特征得到用于对齐第一模型和第二模型之间的特征的跨模型一致性损失值；对第二潜在特征进行旋转得到第四潜在特征，根据第三潜在特征和第四潜在特征得到用于使第一模型和第二模型的结构信息相互作用的差异化一致性损失值；根据局部区域骰子损失值、局部区域置信度损失值、跨模型一致性损失值和差异化一致性损失值得到总损失值；根据总损失值调整分割网络框架的参数，得到目标分割网络框架；将待处理的鼻咽癌医学图像输入至目标分割网络框架进行图像分割，得到图像分割结果；减少了伪标签噪声的影响，并通过引入局部区域约束提高了网络的局部区域感知能力；将两个网络之间不同类型的潜在特征关联，以进一步增强模型的表示能力；提高网络的有效性和鲁棒性。

附图说明

附图用来提供对本申请技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。

图1是本申请的实施例所提供的鼻咽癌图像分割方法的步骤图；

图2是步骤S500的子步骤图；

图3是分割网络框架的结构图；

图4是伪标签和对应的真实标签的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书、权利要求书或上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

下面结合附图，对本申请实施例作进一步阐述。

本申请的实施例，提供了一种鼻咽癌图像分割方法。

参照图1和图3，鼻咽癌图像分割方法，包括但不限于以下步骤：

步骤S100，获取第一图像和第二图像；

步骤S200，将第一图像输入至分割网络框架进行训练，得到经训练的分割网络框架；

步骤S300，对第二图像进行旋转得到第三图像；

步骤S400，将第二图像和第三图像输入至经训练的分割网络框架，框架的编码器输出第二图像的第二潜在特征和第三图像的第三潜在特征，框架输出第二图像的第二预测结果对和第三图像的第三预测结果对；

步骤S500，根据第二预测结果对进行阈值处理得到伪标签对；

步骤S600，根据第二预测结果对、伪标签对、局部区域的高度和宽度得到局部区域骰子损失值；

步骤S700，根据第二预测结果对、伪标签对、局部区域骰子损失值得到局部区域置信度损失值；

步骤S800，根据第二潜在特征和第三潜在特征得到用于对齐第一模型和第二模型之间的特征的跨模型一致性损失值；

步骤S900，对第二潜在特征进行旋转得到第四潜在特征，根据第三潜在特征和第四潜在特征得到用于使第一模型和第二模型的结构信息相互作用的差异化一致性损失值；

步骤S1000，根据局部区域骰子损失值、局部区域置信度损失值、跨模型一致性损失值和差异化一致性损失值得到总损失值；

步骤S1100，根据总损失值调整分割网络框架的参数，得到目标分割网络框架；

步骤S1200，将待处理的鼻咽癌医学图像输入至目标分割网络框架进行图像分割，得到图像分割结果。

对于步骤S100，一方面，可以通过医学影像设备获取鼻咽癌医学图像，对部分鼻咽癌医学图像进行人工标签得到第一图像；另一方面，可以通过大型图像数据库获取第一图像和第二图像。鼻咽癌医学图像为CT图像。其中，第一图像为具有标签的鼻咽癌医学图像，第二图像为无标签的鼻咽癌医学图像。

例如，有M个样本带有标签，N个样本无标签，定义标签样本为

通过有标签的鼻咽癌医学图像和无标签的鼻咽癌医学图像实现对鼻咽癌图像分割网络的半监督学习。

对2D切片沿Z轴方向共提取1355张NPC原发肿瘤区域切片。在预处理中，将所有切片的HU值裁剪到[-200,700]的范围内，这是为了增加原发NPC肿瘤与周围组织的对比。为了缓解不同切片之间的强度差异过大的副作用，采用公式

将每个2D切片的分辨率调整为256×256，并将所有像素的强度归一化为[0,1]。

对于步骤S200，将第一图像输入至分割网络框架进行训练，得到经训练的分割网络框架。

分割网络框架包括第一模型和第二模型，第一模型和第二模型为具有相同架构和不同参数的并行分割网络模型。

第一模型包含有编码器和解码器，使用

同样地，第二模型也包含有编码器和解码器，使用

对于第一图像的前向传播，将第一图像

对于第二图像的前向传播过程，其包括步骤S300、步骤S400和步骤S500。

对于步骤S300，在第二图像

对于步骤S400，第二图像

第三图像经过第一模型的编码器，得到第三图像的第三潜在特征

第二图像经过第一模型得到输出

参照图2，对于步骤S500，根据第二预测结果对进行阈值处理得到伪标签对，包括但不限于以下步骤：

步骤S510，比较第二预测结果对和第一阈值得到确定像素属于前景的前景值或确定像素属于背景的背景值；

步骤S520，通过指示函数根据前景值或背景值得到伪标签对。

参照图4，左侧为伪标签，右侧为伪标签对应的真实标签，伪标签中的方框区域为噪声区域。

创建伪标签

考虑到分割目标的位置特征，对伪监督损失引入局部区域约束。具体来说，该损失包括局部区域骰子损失值和局部区域置信度损失值，局部区域骰子损失值即局部区域DiceLoss，局部区域置信度损失值即局部区域Confidence Loss。

对于步骤S600，伪标签中存在一些噪声，这些噪声对网络的学习有副作用。如果直接使用由噪声伪标签计算的Dice Loss来优化模型，将会给CPS网络引入潜在的误差，从而影响分割性能。考虑到原发NPC肿瘤通常位于CT切片的中心，使用局部运算取代标准的全局运算来计算Dice Loss，在半监督环境中纳入更精确的信息，并将注意力集中在中心区域，中心区域包括整体前景区域和部分背景区域。

根据第二预测结果对、伪标签对、局部区域的高度和宽度得到局部区域骰子损失值，通过以下公式表示：

h为从原始切片中央裁剪的局部区域的高度，等于

w为从原始切片中央裁剪的局部区域的宽度，等于

S是控制局部区域面积的超参，它的值大于2。

ε为常数项，设定为1×10

对于步骤S700，BCE损失通常用于跨像素预测任务。但是对于CPS学习来说，预测的目标(即其它模型的输出)可能是不可靠的和有噪声的，从而降低分割性能。使用局部区域Dice构造重新加权因子，然后将它们与BCE损失相乘。

根据第二预测结果对、伪标签对、局部区域骰子损失值得到局部区域置信度损失值，通过以下公式表示：

局部区域dice的值越高，表示局部区域预测与伪标签的重叠越大，即分割结果的确定性越高。由此可见，伪标签的置信度与其对BCE损失的贡献成正比，使得信息更可靠地流向网络。

综上，根据局部区域骰子损失值和局部区域置信度损失值得到局部区域的第一子损失值，即局部区域约束下的整体CPS损失表示为:L

L

与全局区域Dice Loss相比，局部区域Dice Loss对局部界内的点产生更大的梯度，即增加了局部边界内各点损失的权重，促进了局部上下文的学习。

可以将局部区域Dice Loss方程重写为:

L

其中，p

同理，相对于预测p′∈[0,1],全局Dice Loss的梯度为:

其中，p′

当p

定义f(p

当p

当p

所有前景像素都包含在局部边界内，

综上，局部区域Dice Loss比全局区域Dice Loss对局部边界内的点产生更大的梯度，这使得网络更加关注局部区域。

对于步骤S800，根据第二潜在特征和第三潜在特征得到用于对齐第一模型和第二模型之间的特征的跨模型一致性损失值，通过以下公式表示：

对齐两个模型的未转换特征(或转换特征)可以丰富每个网络的学习表征。

对于步骤S900，由于卷积通常不是旋转等变的，因此未变换的特征和变换后的特征是不一致的。与未变换特征和变换特征不同，变换微分特征包含了分割目标的结构信息。通过差分一致性，以促进变换微分特征的一致性，这有助于网络学习结构知识。

通过旋转函数对第二潜在特征进行旋转得到第四潜在特征，得到

通过

根据第三潜在特征和第四潜在特征得到用于使第一模型和第二模型的结构信息相互作用的差异化一致性损失值，通过以下公式表示：

差异化一致性的目的是将

根据跨模型一致性损失值、差异化一致性损失值和用于平衡不同一致性正则化项的权重系数得到一致性正则化的第二子损失值通过以下公式表示：L

根据分割网络框架的监督损失值、第一子损失值和第二子损失值得到总损失值，通过以下公式表示：L

对于步骤S1100，根据总损失值调整分割网络框架的参数，得到目标分割网络框架。

对于步骤S1200，将待处理的鼻咽癌医学图像输入至目标分割网络框架进行图像分割，得到图像分割结果。

半监督分割方法在Pytorch平台和NVIDIA 2080Ti上实现。在每个网络中，将卷积层的核大小和步长设置为3和1，分别使用最大池化层和反卷积层进行下采样和上采样。两个模型的优化器都是Adam，其中

使用了5个最常用的指标来评估原发性NPC肿瘤分割，包括Dice similaritycoefficient(DSC)、Jaccard Index(JI)、Recall(Re)、Precision(Pre)和HausdorffDistance(HD)。DSC、JI、Re、Pre和HD的公式如下:

通过内部NPC数据集、公开NPC数据集和PROMISE12数据集进行测试。

内部NPC数据集的测试结果参照表1。

表1内部NPC数据集的测试结果对照表

公开NPC数据集的测试结果参照表2。

表2公开NPC数据集的测试结果对照表

PROMISE12数据集的测试结果参照表3。

表3 PROMISE12数据集的测试结果对照表

由此可见，本鼻咽癌图像分割方法具有良好的特征表示能力和良好的鲁棒性。

本申请的实施例，提供一种电子设备。电子设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上的鼻咽癌图像分割方法。

该电子设备可以为包括电脑等任意智能终端。

总体而言，对于电子设备的硬件结构，处理器可以采用通用的CPU(CentralProcessingUnit，中央处理器)、微处理器、应用专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案。

存储器可以采用只读存储器(ReadOnlyMemory，ROM)、静态存储设备、动态存储设备或者随机存取存储器(RandomAccessMemory，RAM)等形式实现。存储器可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器中，并由处理器来调用执行本申请实施例的方法。

输入/输出接口用于实现信息输入及输出。

通信接口用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线在设备的各个组件(例如处理器、存储器、输入/输出接口和通信接口)之间传输信息。处理器、存储器、输入/输出接口和通信接口通过总线实现彼此之间在设备内部的通信连接。

本申请的实施例，提供了一种计算机可读存储介质。计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于执行如上的鼻咽癌图像分割方法。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。尽管已经示出和描述了本申请的实施方式，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。

以上是对本申请的较佳实施进行了具体说明，但本申请并不限于实施例，熟悉本领域的技术人员在不违背本申请精神的前提下可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。