基于改进UNet++的特征对齐舌像分割方法及系统

技术领域

本发明涉及图像处理技术领域，具体涉及基于改进UNet++的特征对齐舌像分割方法及系统。

背景技术

中医“四诊”分为望、闻、问、切，舌诊作为望诊重要部分，是中医问诊的重要依据。随者互联网的发展，互联+医疗的诊疗方案发展速度加快，并且取得了可喜的性能。其中舌像识别作为非侵入性检测，可以有效的减轻人体的痛苦，在辅助检测方面具有很大的意义。

作为舌像识别的基础，舌像分割的准确度影响着舌像识别的准确度。在发展初期，基于颜色分解和阈值技术的分割方法有着很高的分割效率，可以对舌像装置采集的舌像进行准确分割。由于复杂的背景以及噪声干扰，深度学习图像分割方法也成为了舌像分割的重要方法。

申请号“CN201710498517.1”、名称为“一种基于深度卷积神经网络的中医舌头图像自动分割方法”的专利公开文本提供了一种卷积神经网络结构，该方法包含离线训练阶段和在线分割阶段，该方法可以同时适用于封闭式和开放式的舌像采集环境，可以有效提高中医舌图像自动分割的精确度和鲁棒性。

申请号“CN202011347107.5”、名称为“一种舌像分割方法、装置及存储介质”所述的技术方案在对舌体进行分割时，对于每个目标舌体图像输入训练后的二分类语义分割模型，最后输出图像的背景和舌体区域。

然而，基于深度学习的分割方法中，分割的准确度很大取决于大量的原始舌像，以及舌像的分割标签，经典的深度学习网络分割的准确性依赖于标准设备拍摄的数据集，对于一些普通设备拍摄的数据集，例如手机，手持相机拍摄的舌像进行舌体分割时，其分割的准确度将达不到理想的结果。另外，当数据集数量较少时，普通的深度学习神经网络的舌体分割准确度也会很大程度下降。

申请号“CN201710498517.1”与申请号“CN202011347107.5”的专利公开文本中提出的编码网络与解码网络中，没有考虑特征下采样以及上采样过程中，高级特征与低级特征之间的关系，容易造成图像的特征错位问题，并且在分割结果中，舌体边缘有很多尖锐部分，与真实舌体不符；进而造成舌像分割的准确度不高问题。

发明内容

本发明所要解决的技术问题是现有舌像分割方法中编码网络与解码网络中，没有考虑特征下采样以及上采样过程中的高级特征与低级特征之间的关系，容易造成图像的特征错位问题，并且在分割结果中，舌体边缘有很多尖锐部分，与真实舌体不符；进而造成舌像分割的准确度不高问题。

本发明目的在于提供基于改进UNet++的特征对齐舌像分割方法及系统，本发明提出将特征对齐网络应用于Unet++网络架构中，将不同的特征对齐模块添加到不同深度的下采样过程，依次来监督下采样过程中特征的偏移，解决舌像分割过程中的特征不对齐，充分的提高舌像分割的准确度，最后将网络的分割结果通过形态处理层进行优化。

本发明通过下述技术方案实现：

第一方面，本发明提供了基于改进UNet++的特征对齐舌像分割方法，该方法包括：

获取原始舌头图像，并对原始舌头图像进行标记和预处理；

根据预处理后的舌头图像，构建特征对齐舌像分割模型并进行模型训练，得到训练好的特征对齐舌像分割模型；

通过形态处理对所述特征对齐舌像分割模型进行优化，得到优化后的舌头图像分割模型；

采用优化后的舌头图像分割模型，将待分割舌头图像进行分割处理，得到分割结果。

进一步地，对原始舌头图像进行标记和预处理，包括：

对原始舌头图像进行标记，通过特征标记软件标记出舌体区域，输出原始舌头图像的掩码图像；以及分别将原始舌头图像与对应的掩码图像划分为训练集与测试集；

对原始舌头图像进行图像增强预处理，图像增强预处理包括加噪处理、图像对比度与亮度改变处理和直方图均衡化处理。

进一步地，加噪处理是对原始舌头图像的训练集中舌头图像添加椒盐噪声，得到加噪处理后的舌头图像；加噪处理具体包括以下步骤：

步骤A，输入一幅图像并自定义信噪比SNR(信噪比SNR的取值范围在[0,1]之间)；

步骤B，计算图像像素点个数SP，得到椒盐噪声的像素点数目NP＝SP*(1-SNR)；

步骤C，随机获取待加噪的每个像素位置img[i,j]；

步骤D，随机生成[0,1]之间的一个浮点数；

步骤E，判定浮点数是否大于0.5，若大于0.5则指定像素值为255，小于0.5则指定像素值为0；

步骤F，重复步骤C至步骤E三个步骤完成NP个像素加粗样式；

步骤G，输出加噪以后的舌头图像。

进一步地，特征对齐舌像分割模型是将特征对齐网络融入UNet++网络中，将预处理后的舌头图像I∈3×H×W输入UNet++网络的卷积块VGG块中，得到舌像特征X(0,0)，其中H表示输入特征舌像图的高度，W表示输入特征舌像图的宽度；将不同的特征对齐模块添加到不同深度的下采样过程中，根据不同的特征对齐模块依次来监督下采样过程中舌像特征X(0,0)的偏移；

其中，卷积块VGG块，分别对不同大小的输入舌像特征图像执行两次操作，操作包括卷积操作、池化操作和激活Relu操作；

特征对齐模块对齐融合下采样层的低级特征和上采样层的高级特征，得到对齐融合后的舌像特征。

进一步地，下采样层的执行过程为：

特征对齐舌像分割模型中整个网络包括两条路径：Unet++图像分割路径和特征对齐路径；Unet++图像分割路径：从水平角度来看，该路径是以相同的分辨率组合来自当前特征节点的所有先前节点的多尺度特征；从垂直角度来看，该路径从当前特征节点的前一个节点整合不同分辨率的多尺度特征，并且在使用过程中，可以动态改变UNet++网络的深度，使其能够在对于精确度较小影响的情况下，实现分割效率的提高；

特征对齐路径：该路径保持舌像特征X(0,0)的空间信息，即第二条路径没有下采样或者下采样操作；该路径自上而下产生一系列分辨率和通道数设置为与X(0,0)相同的舌像特征{A1,A2,…,Ai-1,Ai}，舌像特征Ai是从舌像特征Ai-1结合来自Unet++图像分割路径的舌像特征X(i,j)以获得，舌像特征X(i,j)通过上采样层操作输出一个与舌像特征Ai-1分辨率相同的特征图Ai’；将舌像特征Ai-1与特征图Ai’这两个高级舌像特征图连接在一起，并通过1x1卷积层、批归一化层BN层、激活层Relu及第一3x3卷积层生成大小为H×W×2的第一偏移矩阵Δ

其中，三维矩阵Δ表示将位置(h，w)的像素移动的方向和距离。第二偏移矩阵Δ

进一步地，融合第一偏移矩阵Δ

A

式中，A

u(,)对齐函数的表达式为：

式中，Δ

进一步地，上采样层的执行过程为：

UNet++网络上采样操作输出的低级特征X(i,j)，通过在特征对齐模块FA中的上采样层操作输出一个与高级特征Bi+1分辨率相同的特征图Bi’；将两个高级特征图Bi+1与Bi’连接在一起，并通过1x1卷积层、批归一化层BN层、激活层Relu及第三3x3卷积层生成大小为H×W×2的第三偏移矩阵Δ

其中，三维矩阵Δ表示将位置(h，w)的像素移动的方向和距离；第四偏移矩阵Δ

进一步地，形态处理对特征对齐舌像分割模型进行优化，包括：

将特征对齐舌像分割模型的分割结果，通过形态重建方法去除分割结果的中心舌体外的噪声，得到形态重建后的图像；

通过开运算去除形态重建后的图像的舌头图像区域的外部噪声，得到开运算后的图像；

通过闭运算将开运算后的图像进行光滑处理，得到最终输出结果图像。

第二方面，本发明又提供了基于改进UNet++的特征对齐舌像分割系统，该系统支持所述的基于改进UNet++的特征对齐舌像分割方法；该系统包括：

获取单元，用于获取原始舌头图像；

标记和预处理单元，用于对所述原始舌头图像进行标记和预处理；

分割模型构建单元，用于根据预处理后的舌头图像，构建特征对齐舌像分割模型并进行模型训练，得到训练好的特征对齐舌像分割模型；

形态处理单元，用于通过形态处理对所述特征对齐舌像分割模型进行优化，得到优化后的舌头图像分割模型；

分割单元，用于采用优化后的舌头图像分割模型，将待分割舌头图像进行分割处理，得到分割结果。

进一步地，特征对齐舌像分割模型是将特征对齐网络融入UNet++网络中，将预处理后的舌头图像I∈3×H×W输入UNet++网络的卷积块VGG块中，得到舌像特征X(0,0)，其中H表示输入特征舌像图的高度，W表示输入特征舌像图的宽度；将不同的特征对齐模块添加到不同深度的下采样过程中，根据不同的特征对齐模块依次来监督下采样过程中舌像特征X(0,0)的偏移；

其中，卷积块VGG块，用于分别对不同大小的输入舌像特征图像执行两次操作，操作包括卷积操作、池化操作和激活Relu操作；

特征对齐模块，用于对齐融合下采样层的低级特征和上采样层的高级特征，得到对齐融合后的舌像特征。

本发明与现有技术相比，具有如下的优点和有益效果：

本发明基于改进UNet++的特征对齐舌像分割方法及系统，将特征对齐网络应用于Unet++网络架构中，将不同的特征对齐模块添加到不同深度的下采样过程，依次来监督下采样过程中特征的偏移，最后将整个网络的输出结果通过形态处理层进行优化。因此，本发明可以有效的避免人为的去设置神经网络层的深度，聚合不同尺度的舌像语义特征，组成了一个高度灵活的融合方案，并且能够监督下采样过程中的特征的偏移，最后能够对输出图像的形态进行处理，解决舌像分割过程中的特征不对齐，充分的提高舌像分割的准确度。本发明实现简单，分割效率较高，达到了应用的要求。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1为本发明基于改进UNet++的特征对齐舌像分割方法流程图。

图2为本发明FAUNet++网络流程图。

图3为本发明FAUnet++网络结构图。

图4为本发明VGG网络架构图。

图5为本发明特征对齐模块FA示意图。

图6为本发明基于改进UNet++的特征对齐舌像分割系统结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

现有舌像分割方法中编码网络与解码网络中，没有考虑特征下采样以及上采样过程中的高级特征与低级特征之间的关系，容易造成图像的特征错位问题，并且在分割结果中，舌体边缘有很多尖锐部分，与真实舌体不符；进而造成舌像分割的准确度不高问题。

本发明提供基于改进UNet++的特征对齐舌像分割方法及系统，本发明提出将特征对齐网络应用于Unet++网络架构中，将不同的特征对齐模块添加到不同深度的下采样过程，依次来监督下采样过程中特征的偏移，解决舌像分割过程中的特征不对齐，充分的提高舌像分割的准确度，最后将分割结果通过形态处理层进行优化。

本发明提出的FAUNet++网络结构，如图3所示：1.在现有Unet++的基础上添加特征对齐模块，解决了下采样操作和上下文信息融合导致的特征聚合过程中的错位问题，自动根据分割任务选择合适的网络深度去执行分割任务，共享编码阶段学习参数，提高分割性能。2.使用形态处理单元处理网络输出结果，去除特征对齐舌像分割模型分割结果中的噪声以及边缘不平滑问题，充分提高图像分割的准确度。

实施例1

如图1和图2所示，本发明基于改进UNet++的特征对齐舌像分割方法，该方法包括：

步骤1，获取原始舌头图像，并对原始舌头图像进行标记和预处理；具体包括：

步骤11，对原始舌头图像进行标记，通过特征标记软件标记出舌体区域，输出原始舌头图像的掩码图像；以及分别将原始舌头图像与对应的掩码图像划分为训练集与测试集；具体地，标记可以采用手工标记，将普通设备拍摄的舌头图像训练集通过特征标记软件标记出舌体区域。

步骤12，对原始舌头图像进行图像增强预处理，图像增强预处理包括加噪处理、图像对比度与亮度改变处理和直方图均衡化处理。

具体地，加噪处理：对原始舌头图像的训练集中舌头图像添加椒盐噪声，得到加噪处理后的舌头图像；加噪处理具体包括以下步骤：

步骤A，输入一幅图像并自定义信噪比SNR(信噪比SNR的取值范围在[0,1]之间)；

步骤B，计算图像像素点个数SP，得到椒盐噪声的像素点数目NP＝SP*(1-SNR)；

步骤C，随机获取待加噪的每个像素位置img[i,j]；

步骤D，随机生成[0,1]之间的一个浮点数；

步骤E，判定浮点数是否大于0.5，若大于0.5则指定像素值为255，小于0.5则指定像素值为0；

步骤F，重复步骤C至步骤E三个步骤完成NP个像素加粗样式；

步骤G，输出加噪以后的舌头图像。

具体地，图像对比度与亮度改变处理：调整图像对比度，进行颜色的变化，模拟不同场景图像，变换过程如下：

g(i,j)＝αf(i,j)+β (1)

f(i,j)表示输入像素值，g(i,j)表示输出像素值，其中α>0,β是增益变量，α主要是控制对比度的强弱，值大于1，表示对比度强，值小于1表示对比度弱。β表示亮度的强弱，值越大，亮度越高。

具体地，直方图均衡化处理：将图像的直方图分布通过累积分布函数变成近似均匀分布，从而增强图像的对比度。为了将原图像的亮度范围进行扩展，需要一个映射函数，将原图像的像素值均衡映射到新直方图中。采用累积分布函数能够实现直方图均衡化，因为图像由一个个像素点组成，所以图像直方图均衡化是通过离散形式的累积分布函数求解的，直方图均衡化过程中，将原始图像的直方图转化为规定的直方图的形式，映射方法是：

其中，S

最后根据映射关系，将每个灰度集的像素进行图像变换得到均衡化图像。

步骤2，根据预处理后的舌头图像，构建特征对齐舌像分割模型并进行模型训练，得到训练好的特征对齐舌像分割模型；

本发明创造性地设计了特征对齐舌像分割模型，特征对齐舌像分割模型是将特征对齐网络融入UNet++网络中，即将特征对齐模块(FAM)融入Unet++模型中。Unet++模型引入了一个内置的深度可变的U-Net集合，从而提高了对各种尺寸图像的分割性能，并且Unet++重新设计了UNet中的残差连接skip connections，从而在解码器中实现了灵活的特征融合。具体而言，在分割过程中，从水平角度来看，以相同的分辨率组合来自当前节点的所有先前节点的多尺度特征；从垂直角度来看，从当前节点的前一个节点整合不同分辨率的多尺度特征。最后在使用过程中，可以动态的改变网络的深度，使其能够在对于精确度较小影响的情况下，实现分割效率的提高。其中，每个处理模块为卷积块VGG块(如图4所示)，卷积块VGG块，分别对不同大小的输入特征图像执行两次卷积操作、池化操作和激活Relu操作。特征对齐模块对齐融合下采样层的低级特征和上采样层的高级特征，得到对齐融合后的舌像特征。

具体地，下采样层的执行过程为：

本发明方案中，将预处理后的舌头图像I∈3×H×W输入UNet++网络的卷积块VGG块中，得到舌像特征X(0,0)，其中H表示输入特征舌像图的高度，W表示输入特征舌像图的宽度；特征对齐舌像分割模型中整个网络包括两条路径：Unet++图像分割路径和特征对齐路径；Unet++图像分割路径：从水平角度来看，该路径是以相同的分辨率组合来自当前特征节点的所有先前节点的多尺度特征；从垂直角度来看，该路径从当前特征节点的前一个节点整合不同分辨率的多尺度特征，并且在使用过程中，可以动态改变UNet++网络的深度，使其能够在对于精确度较小影响的情况下，实现分割效率的提高；

特征对齐路径：该路径保持舌像特征X(0,0)的空间信息，即第二条路径没有下采样或者下采样操作；具体来说，该路径自上而下产生一系列分辨率和通道数设置为与X(0,0)相同的舌像特征{A1,A2,A3,A4}，舌像特征Ai是从舌像特征Ai-1结合来自Unet++图像分割路径的舌像特征X(i,j)以获得，具体流程如图5所示。舌像特征X(i,j)通过上采样层操作输出一个与舌像特征Ai-1分辨率相同的特征图Ai’；将舌像特征Ai-1与特征图Ai’这两个高级舌像特征图连接在一起，并通过1x1卷积层、批归一化层BN层、激活层Relu及第一3x3卷积层生成大小为H×W×2的第一偏移矩阵Δ

其中，三维矩阵Δ表示将位置(h，w)的像素移动的方向和距离。第二偏移矩阵Δ

具体地，融合第一偏移矩阵Δ

A

式中，A

u(,)对齐函数的表达式为：

式中，Δ

具体地，上采样层的执行过程为：

UNet++网络上采样操作输出的低级特征X(i,j)，通过在特征对齐模块FA中的上采样层操作输出一个与高级特征Bi+1分辨率相同的特征图Bi’；将两个高级特征图Bi+1与Bi’连接在一起，并通过1x1卷积层、批归一化层BN层、激活层Relu及第三3x3卷积层生成大小为H×W×2的第三偏移矩阵Δ

其中，三维矩阵Δ表示将位置(h，w)的像素移动的方向和距离；第四偏移矩阵Δ

以上技术方案，本发明下采样过程的Ai模块层与上采样过程中的Bi模块层始终保持着原始输入图像的空间信息，下采样过程中的舌像特征与上采样过程中的舌像特征分别通过特征对齐融合成了{A1，A2，A3，A4}与{B1，B2，B3}。随着网络层数的加深，该路径中的语义信息逐渐丰富，最终由UNet++输出模块与特征对齐路径共同输出分割结果。

另外，特征对齐舌像分割模型的结果损失函数采用BCEDiceLoss，其中Diceloss如公式(5)，BCEloss如公式(6)：

其中，Z表示分割结果图像，Y表示标记图像

L

z

最后总损失为dice损失与BCE损失的加权和，a，β为自定义权重参数。

L

设置模型训练参数，选择Adam优化算法进行梯度更新，根据测试集选择最高的精确度的模型进行保存。

步骤3，通过形态处理对所述特征对齐舌像分割模型进行优化，得到优化后的舌头图像分割模型；

考虑到FAUnet++模型输出的分割图像可能存在噪音及舌头粗糙，并且里面有一些小“洞”，将分割结果输入形态处理单元进行处理，具体步骤如下：

(a)将特征对齐舌像分割模型的分割结果，通过形态重建方法去除分割结果的中心舌体外的噪声，得到形态重建后的图像；

形态重建是一种应用形态变换的方法，通过标记图像保持模板图像中定义的关键区域，具体过程如下：

第一步，首先计算通过FAUnet++分割后的图像I的反向图像R，以将孔区域切换为前景，将非孔区域切换为背景，公式如下：

R＝1–I (5)

接下来，对R进行边缘检测，其中每个像素属于由点集E组成的边缘。然后，将不属于边缘的像素设置为零，得到图像L：

将L用于形态重建的标记图像,同时，以R作为模板图像，基于R和L，对图像R进行形态重建，生成孔洞图像H：

H＝MR(R,L,s,t) (7)

其中MR代表形态重建，s是结构元素的大小，t是控制迭代重建操作的容忍度。MR算法过程如下所示：

输入:模板图像R,大小为m×n的标记图像L,结构元素的大小s，容忍度t＝50；

1、初始化结构组件

2、令p为迭代次数，且L

L

3、直到

最后，将图像I和图像H重叠，得到填充孔后的图像F，填充孔后的图像F即为形态重建后的图像：

F＝I+H (8)

(b)通过开运算去除形态重建后的图像的舌头图像区域的外部噪声，得到开运算后的图像O；

(c)通过闭运算将开运算后的图像O进行光滑处理，得到最终输出结果图像C。

步骤4，采用优化后的舌头图像分割模型，将待分割舌头图像进行分割处理，得到分割结果。

具体地，将拍摄的待分割单张图像或者多张图像读入，加载已保存的优化后的舌头图像分割模型，将待分割图像送入特征对齐舌像分割模型，输出掩码图，通过形态处理层对掩码图进行处理，得到最终结果。

与现有技术相比，本发明基于改进UNet++的特征对齐舌像分割方法可以有效的避免人为的去设置神经网络层的深度，聚合不同尺度的舌像语义特征，组成了一个高度灵活的融合方案，并且能够监督下采样过程中的特征的偏移，解决舌像分割过程中的特征不对齐，充分的提高舌像分割的准确度，最后能够对输出图像的形态进行处理，对分割结果进行优化。本发明实现简单，分割效率较高，达到了应用的要求。

实施例2

如图6所示，本实施例与实施例1的区别在于，本实施例又提供了基于改进UNet++的特征对齐舌像分割系统，该系统支持实施例1所述的基于改进UNet++的特征对齐舌像分割方法；该系统包括：

获取单元，用于获取原始舌头图像；

标记和预处理单元，用于对所述原始舌头图像进行标记和预处理；

分割模型构建单元，用于根据预处理后的舌头图像，构建特征对齐舌像分割模型并进行模型训练，得到训练好的特征对齐舌像分割模型；

形态处理单元，用于通过形态处理对所述特征对齐舌像分割模型进行优化，得到优化后的舌头图像分割模型；

分割单元，用于采用优化后的舌头图像分割模型，将待分割舌头图像进行分割处理，得到分割结果。

作为进一步地实施，特征对齐舌像分割模型是将特征对齐网络融入UNet++网络中，将预处理后的舌头图像I∈3×H×W输入UNet++网络的卷积块VGG块中，得到舌像特征X(0,0)，其中H表示输入特征舌像图的高度，W表示输入特征舌像图的宽度；将不同的特征对齐模块添加到不同深度的下采样过程中，根据不同的特征对齐模块依次来监督下采样过程中舌像特征X(0,0)的偏移；

其中，卷积块VGG块，用于分别对不同大小的输入舌像特征图像执行两次操作，操作包括卷积操作、池化操作和激活Relu操作；

特征对齐模块，用于对齐融合下采样层的低级特征和上采样层的高级特征，得到对齐融合后的舌像特征。

各个单元的执行过程按照实施例1所述的基于改进UNet++的特征对齐舌像分割方法流程步骤执行即可，此实施例中不再一一赘述。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。