基于U形深度监督模型的图像分割模型建立方法及应用

技术领域

本申请涉及医学图像处理技术领域，具体涉及一种基于U形深度监督模型的图像分割模型建立方法及应用。

背景技术

近年来，由于大数据处理能力和算力的不断提升，深度学习技术被应用到各行各业。并在自然图像领域展现了强大的数据特征提取能力。随着医疗智能化的趋势，深度学习技术被广泛应用于智慧医疗领域。其中，医学影像自动分割就是实现医疗智能化的重要部分。

以往病理图像需要专业医生勾画出：肿瘤靶区、临床靶区和紧密器官定位等，耗费大量时间和精力，造成的诊疗时间长，工作量大，分割效率低，分割图像不精确的问题。

发明内容

本申请实施例的目的在于提供一种基于U形深度监督模型的图像分割模型建立方法及应用，用以解决现有技术中的传统图像分割方法造成的诊疗时间长，工作量大，分割效率低，分割图像不精确的问题。

为实现上述目的，本申请实施例提供一种基于U形深度监督模型的图像分割模型建立方法，包括：获取用于训练的数据集，对所述数据集中的图像进行预处理；

对预处理后的所述数据集，使用正则化方法进行数据样本增强；

构建所述图像分割模型，包括：选取下采样编码器作为所述图像分割模型的主干网络，用于提取特征，选取解码器用于上采样过程，以把提取的抽象的特征解码还原到原图尺寸；

利用进行预处理和数据样本增强后的所述数据集对所述图像分割模型进行训练和修改，以输出分割图像的掩码信息，在训练结束后，将所述图像分割模型作为所建立的基于U形深度监督模型的图像分割模型。

可选地，所述对所述数据集中的图像进行预处理，包括：

筛查去除所述数据集中的脏数据和冗余数据，以及对所述数据集中的数据样本做标准化处理；

其中，所述标准化处理包括基于光谱的标准化，包括利用稀疏矩阵分解思想，将原始图像通过非负矩阵分解，得到两个染料矩阵，保存图片结构的同时，标准化颜色。

可选地，所述使用正则化方法进行数据样本增强，包括：

利用Cutout算法通过随机遮挡图像块区域，提高所述图像分割模型的泛化性能；

和/或，利用Cutmix算法随机裁剪Patch，替换为同组数据中的patch，帮助模型专注难以区分的像素。

可选地，所述选取下采样编码器作为所述图像分割模型的主干网络，包括：

使用ResNet34作为所述主干网络提取特征，通过四个残差块完成4次下采样操作，每次下采样均添加跳跃短连接。

可选地，所述利用进行预处理和数据样本增强后的所述数据集对所述图像分割模型进行训练和修改，包括：

针对所述数据集，修改作为特征提取网络的所述主干网络，去除部分池化层，更改数据维度大小，获取更多的先验信息和浅层特征。

可选地，还包括：

构建基于多分类的交叉熵损失函数，用于预测类别；

构建基于二分类的BCEWithLogitsLoss，用于预测语义分割像素级二分类；

利用自适应梯度下降优化器，通过梯度下降法一步步迭代求解，从而得到最小损失函数和最佳模型参数值。

可选地，还包括进行数据样本增强方式形态变换，具体包括：

设定角度生成旋转矩阵，通过仿射变换旋转90度、180度、270度；水平翻转、垂直翻转；数据平移，设定平移矩阵，在垂直和水平方向做平移。

为实现上述目的，本申请还提供一种基于U形深度监督模型的图像分割方法，包括：将待分割的图像输入包含数据生成器的模型预测模块，依据图像分割模型输入大小进行缩放和/或标准化操作，得到预测数据，将所述预测数据输入由上述任一项所述的基于U形深度监督模型的图像分割模型建立方法所建立的所述图像分割模型，得到分割图像的掩码信息。

为实现上述目的，本申请还提供一种基于U形深度监督模型的图像分割模型建立装置，包括：存储器；以及

与所述存储器连接的处理器，所述处理器被配置成：执行如上述任一项所述的基于U形深度监督模型的图像分割模型建立方法的步骤。

为实现上述目的，本申请还提供一种计算机存储介质，其上存储有计算机程序，其中所述计算机程序被机器执行时实现如上所述的方法的步骤。

本申请实施例具有如下优点：

本申请实施例提供一种基于U形深度监督模型的图像分割模型建立方法，包括：获取用于训练的数据集，对所述数据集中的图像进行预处理；对预处理后的所述数据集，使用正则化方法进行数据样本增强；构建所述图像分割模型，包括：选取下采样编码器作为所述图像分割模型的主干网络，用于提取特征，选取解码器用于上采样过程，以把提取的抽象的特征解码还原到原图尺寸；利用进行预处理和数据样本增强后的所述数据集对所述图像分割模型进行训练和修改，以输出分割图像的掩码信息，在训练结束后，将所述图像分割模型作为所建立的基于U形深度监督模型的图像分割模型。

通过上述方法，实现医学图像自动分割，可以缩短诊断时间，提高医务人员工作效率。解决传统图像分割方法造成的诊疗时间长，工作量大，分割效率低，分割图像不精确的问题。

附图说明

为了更清楚地说明本申请的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引申获得其它的实施附图。

图1为本申请实施例提供的一种基于U形深度监督模型的图像分割模型建立方法的流程图；

图2为本申请实施例提供的一种基于U形深度监督模型的图像分割模型建立方法的残差块示意图；

图3为本申请实施例提供的一种基于U形深度监督模型的图像分割模型建立方法的图像分割模型示意图；

图4为本申请实施例提供的一种基于U形深度监督模型的图像分割模型建立方法的收敛效果示意图；

图5为本申请实施例提供的一种基于U形深度监督模型的图像分割模型建立方法的预测结果示意图；

图6为本申请实施例提供的一种基于U形深度监督模型的图像分割模型建立装置的模块框图。

具体实施方式

以下由特定的具体实施例说明本申请的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本申请的其他优点及功效，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

此外，下面所描述的本申请不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

本申请涉及计算机视觉和人工智能医疗技术领域，包括编码器结合残差网络和深度监督，有效的融合低层次特征、深层次特征、形态学信息等。利用原图多通道输入，结合纹理色彩信息，达到医学图像像素级分割的效果。

U形深度监督模型即Unet++使用深度监督，参数过多，多用于数据量较少的医学图像分割，可更换Encoder骨干网络进行试验，保证精度情况下，对比参数量；深度监督和跳跃连接融合不同感受野特征，仅融合下层特征，缺少上下层关联，造成Decoder细粒度特征不够精细，分割结果存在丢失边缘信息的情况，对图像的分辨率和对比度要求较高，后期可加入上层位置信息，减少池化层对比试验。

本申请基于Unet++针对医学病理图像分割任务的特点，对原始Unet++进行结构改进，使得模型更适合该分割任务。使用短连接和跳跃连接替换密集连接，不再是仅仅融合同一尺度的特征，另外Decoder上采样可以感知不同感受野目标，这对于医学图像不同部位的不同病灶(形态、大小、位置均不同)的分割效果更有实际意义。同时训练内嵌的不同深度的Unet引发了Unet之间的协同训练，获得更好的性能。由于本模型使用深度监督网络，在深度监督过程中，每个子网络的输出已经是图像分割的结果，如果前面的子网络分割效果足够好，就可以停止计算后面的子网络，此过程称为剪枝操作。需要注意的是，预测部分只会前向传播，没有后向传播，而训练过程的反向传播损失是相互促进，剪枝会影响训练效果。所以剪枝操作只在预测进行，加快推理速度。

本申请一实施例提供一种基于U形深度监督模型的图像分割模型建立方法，参考图1，图1为本申请的一实施方式中提供的一种基于U形深度监督模型的图像分割模型建立方法的流程图，应当理解的是，该方法还可以包括未示出的附加框和/或可以省略所示出的框，本申请的范围在此方面不受限制。

在步骤101处，获取用于训练的数据集，对所述数据集中的图像进行预处理。

在一些实施例中，所述对所述数据集中的图像进行预处理，包括：

筛查去除所述数据集中的脏数据和冗余数据，以及对所述数据集中的数据样本做标准化处理；

其中，所述标准化处理包括基于光谱的标准化，包括利用稀疏矩阵分解思想，将原始图像通过非负矩阵分解，得到两个染料矩阵，保存图片结构的同时，标准化颜色。

具体地，图像预处理：观察数据集，总结数据样本规律，筛查去除脏数据和冗余数据。对所有数据样本做标准化处理，包括高斯滤波处理、染色标准化处理等。

在一些实施例中，提供一种基于光谱的标准化方法(Vahadane)，此方法包括以下步骤：

由于制作过程、扫描机器、染色方式不同，导致切片的颜色结构有差异，需要一定的颜色标准化手段处理数据。而传统的灰度直方图标准化方法会丢失原数据部分颜色和结构信息，颜色归一化方法会丢失空间结构信息。本方法利用稀疏矩阵分解思想，将原始图像通过非负矩阵分解，得到两个染料矩阵，保存图片结构的同时，标准化颜色，计算量在可接受范围。

在步骤102处，对预处理后的所述数据集，使用正则化方法进行数据样本增强。

在一些实施例中，所述使用正则化方法进行数据样本增强，包括：

利用Cutout算法通过随机遮挡图像块区域，提高所述图像分割模型的泛化性能；

和/或，利用Cutmix算法随机裁剪Patch，替换为同组数据中的patch，帮助模型专注难以区分的像素。

具体地，数据样本增强(使用正则化方法进行)：1、Cutout算法是一种正则化方法，利用Cutout算法通过随机遮挡图像块(Patch)区域，提高模型的泛化性能；2、利用Cutmix算法随机裁剪Patch，替换为同组数据中的patch，帮助模型专注难以区分的像素。由于使用Onehot编码的标签(Label)，并采用分类交叉熵损失函数，所以两种增强方法不影响计算效果，不仅能增强模型定位能力，扩充样本多样性，而且训练和推理代价保持不变。

在一些实施例中，基于图像形态学变换的数据增强方法，包括以下步骤：

1、鉴于医学图像的旋转对称性、分割标注与原图对照性、数据量稀缺等特性，观察数据形态颜色，总结数据特性。统计各类别数据量，根据数据量设计不同的增强方式。

2、增强方式Cutout：原图随机选择Patch区域，替换该区域像素值为随机值，相当于随机遮挡图像的内容，是一种正则化方法，致力于提高模型的鲁棒性和泛化性能，防止过拟合。该方法是一种独立于参数学习的过程。

3、增强方式形态变换：设定角度生成旋转矩阵，通过仿射变换旋转90度、180度、270度；水平翻转、垂直翻转；数据平移，设定平移矩阵，在垂直和水平方向做平移。

4、增强方式CutMix，随机裁剪Patch块，使用数据集中其他数据的区域像素填充，掩码做同样操作，分类结果按比例混合。公式如下：

其中x

在步骤103处，构建所述图像分割模型，包括：选取下采样编码器作为所述图像分割模型的主干网络，用于提取特征，选取解码器用于上采样过程，以把提取的抽象的特征解码还原到原图尺寸。

在步骤104处，利用进行预处理和数据样本增强后的所述数据集对所述图像分割模型进行训练和修改，以输出分割图像的掩码信息，在训练结束后，将所述图像分割模型作为所建立的基于U形深度监督模型的图像分割模型。

在一些实施例中，所述选取下采样编码器作为所述图像分割模型的主干网络，包括：

使用ResNet34作为所述主干网络提取特征，通过四个残差块完成4次下采样操作，每次下采样均添加跳跃短连接。

具体地，选取下采样编码器的主干网络：本申请使用ResNet34作为主干网络提取特征，通过四个残差块完成4次下采样操作，每次下采样均添加跳跃短连接，弥补下采样丢失的部分细节特征。通过密集连接的方式，每一层都尽可能多的保存细节信息和全局信息，将所有特征共享至最后一层。

在一些实施例中，针对本数据集，修改特征提取网络(选取下采样编码器的主干网络)，由于每一层都经过卷积、池化、激活；多次卷积和池化操作将增大感受野并丢失部分细节特征，本实施例去除部分池化层，更改数据维度大小，获取更多的先验信息和浅层特征。

解码器即上采样过程，同样分为四层上采样，编码器使用短连接方式拼接特征，得到特征映射后在解码子网接收。每一层上采样均将来自同级特征块的上一个卷积层输出与相应低级别的特征块的上采样输出融合拼接。四次上采样最终得出原图尺寸大小。

在一些实施例中，还包括：

构建基于多分类的交叉熵损失函数，用于预测类别；

构建基于二分类的BCEWithLogitsLoss，用于预测语义分割像素级二分类；

利用自适应梯度下降优化器，通过梯度下降法一步步迭代求解，从而得到最小损失函数和最佳模型参数值。

具体地，提供基于多分类交叉熵损失函数用于预测类别，基于二分类的BCEWithLogitsLoss用于预测语义分割像素级二分类，包括以下步骤：

1、交叉熵损失公式如下：

其中y

2、BCEWithLogitsLoss为sigmoid+BCELoss，公式如下：

其中y为真实值，y(hat)为预测值。

提供一种自适应梯度下降优化器Adam，通过梯度下降法一步步迭代求解，从而得到最小损失函数和最佳模型参数值。包括以下步骤：

1、设置较小初始学习率、动量参数，另外添加权重衰减偏置为5E-5，等待模型稳定，适当添加学习率，防止模型震荡。

2、根据指标(loss和accuracy)衰减学习率，采用ReduceLROnPlateau设置学习率衰减倍数、冷却时间、学习率下限，监测loss不再下降时调整学习率。

3、采用PA-Score像素分类准确率作为评价指标，计算混淆矩阵，如下公式：

PA＝(TP+TN)/(TP+TN+FP+FN)

其中TP表示真阳性，TN表示真阴性，FP表示假阳性，TP表示假阴性。

采用Dice系数相似度度量，计算相似度混淆矩阵，公式如下：

Dice＝2TP/(2TP+FP+FN)。

进一步的，综上所述，本申请提供的一种基于U形网络(U形深度监督模型)的编码-解码结构，添加残差块与特征融合，包括以下步骤：

1、U形网络编码器实质上是降采样的过程，通过降采样实现对输入图像通道的特征提取，包括增加对输入图像的一些小扰动的鲁棒性、减少过拟合风险、降低运算量、增加感受野的大小。采用ResNet残差网络作为主干，利用残差块的特性，浅层结构提取简单特征，如：边界、颜色等。经过多次卷积并且随着感受野增大，深层结构提取更为抽象的特征。残差块示意图参考2所示：其中主线与正常网络相同，右边的连线为跳过部分网络层，直接与某一层输出结果拼接，保留原始输入信息和深层特征信息。

2、U形网络解码器实质上是上采样的过程，上采样的作用在于把抽象的特征解码还原到原图尺寸。

3、采用跳跃短连接，参考图3所示：图3(a)中左侧黑框部分Backbone为编码器下采样提取特征过程，右侧对应的部分为解码上采样过程。中心虚线为跳跃连接部分，融合浅层与深层特征。图3(b)为跳跃连接示意图。图3(c)为U形网络基本结构块，从下向上依次为：一层下采样、二层下采样、三层下采样、四层下采样。

4、跳跃连接可抓取不同层次的特征，并通过叠加方式融合，使得特征图尺度差异性更小，融合公式如下：

其中(i,j)表示第i层第j个卷积层；H表示卷积操作和激活函数；U表示上采样；[]表示拼接操作。

5、收敛效果参考图4：其中左侧为橙色线条表示预测曲线，蓝色线条表示训练曲线。由图得出没有过拟合现象，模型稳定无震荡反应。

6、预测结果参考图5：左侧为测试样本，右侧为预测掩码。

以IOU交并比为评价指标，具有密集连接的Unet++对比基线U形结构，在cellnuclei数据集训练时达到92.63的精度水平。参考下表表1：

表1：

本申请一实施例还提供一种基于U形深度监督模型的图像分割方法，包括：将待分割的图像输入包含数据生成器的模型预测模块，依据图像分割模型输入大小进行缩放和/或标准化操作，得到预测数据，将所述预测数据输入如上所述的基于U形深度监督模型的图像分割模型建立方法所建立的所述图像分割模型，得到分割图像的掩码信息。

具体地，模型预测模块，包含数据生成器，依据模型输入大小进行缩放、标准化等操作。预测数据喂入模型，缩放至原图大小并经过sigmoid处理，将数据映射到0-1之间，利用阈值法以0.5为界限分为背景类和正类，得到分割图像的掩码信息。

具体实现方法参考前述方法实施例，此处不再赘述。

通过上述方法，本申请提供数据预处理方法包括：基于光谱颜色标准化、随机遮挡和随机裁剪；提供两个计算损失方法，其一用于计算整体分类，其二用于计算像素级分类；提供一种基于U形深度监督模型的分割方法，其优点在于加入跳跃连接层，融合浅层和细粒度特征。同时网络放弃使用全连接层，保证图像的空间结构信息。

从而实现医学图像自动分割，可以缩短诊断时间，提高医务人员工作效率。解决传统图像分割方法造成的诊疗时间长，工作量大，分割效率低，分割图像不精确的问题。

图6为本申请实施例提供的一种基于U形深度监督模型的图像分割模型建立装置的模块框图。该装置包括：

存储器201；以及与所述存储器201连接的处理器202，所述处理器202被配置成：获取用于训练的数据集，对所述数据集中的图像进行预处理；

对预处理后的所述数据集，使用正则化方法进行数据样本增强；

构建所述图像分割模型，包括：选取下采样编码器作为所述图像分割模型的主干网络，用于提取特征，选取解码器用于上采样过程，以把提取的抽象的特征解码还原到原图尺寸；

利用进行预处理和数据样本增强后的所述数据集对所述图像分割模型进行训练和修改，以输出分割图像的掩码信息，在训练结束后，将所述图像分割模型作为所建立的基于U形深度监督模型的图像分割模型。

在一些实施例中，所述处理器202还被配置成：所述对所述数据集中的图像进行预处理，包括：

筛查去除所述数据集中的脏数据和冗余数据，以及对所述数据集中的数据样本做标准化处理；

其中，所述标准化处理包括基于光谱的标准化，包括利用稀疏矩阵分解思想，将原始图像通过非负矩阵分解，得到两个染料矩阵，保存图片结构的同时，标准化颜色。

在一些实施例中，所述处理器202还被配置成：所述使用正则化方法进行数据样本增强，包括：

利用Cutout算法通过随机遮挡图像块区域，提高所述图像分割模型的泛化性能；

和/或，利用Cutmix算法随机裁剪Patch，替换为同组数据中的patch，帮助模型专注难以区分的像素。

在一些实施例中，所述处理器202还被配置成：所述选取下采样编码器作为所述图像分割模型的主干网络，包括：

使用ResNet34作为所述主干网络提取特征，通过四个残差块完成4次下采样操作，每次下采样均添加跳跃短连接。

在一些实施例中，所述处理器202还被配置成：所述利用进行预处理和数据样本增强后的所述数据集对所述图像分割模型进行训练和修改，包括：

针对所述数据集，修改作为特征提取网络的所述主干网络，去除部分池化层，更改数据维度大小，获取更多的先验信息和浅层特征。

在一些实施例中，所述处理器202还被配置成：还包括：

构建基于多分类的交叉熵损失函数，用于预测类别；

构建基于二分类的BCEWithLogitsLoss，用于预测语义分割像素级二分类；

利用自适应梯度下降优化器，通过梯度下降法一步步迭代求解，从而得到最小损失函数和最佳模型参数值。

在一些实施例中，所述处理器202还被配置成：还包括进行数据样本增强方式形态变换，具体包括：

设定角度生成旋转矩阵，通过仿射变换旋转90度、180度、270度；水平翻转、垂直翻转；数据平移，设定平移矩阵，在垂直和水平方向做平移。

具体实现方法参考前述方法实施例，此处不再赘述。

本申请可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本申请的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本申请的各个方面。

这里参照根据本申请实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

注意，除非另有直接说明，否则本说明书(包含任何所附权利要求、摘要和附图)中所揭示的所有特征皆可由用于达到相同、等效或类似目的的可替代特征来替换。因此，除非另有明确说明，否则所公开的每一个特征仅是一组等效或类似特征的一个示例。在使用到的情况下，进一步地、较优地、更进一步地和更优地是在前述实施例基础上进行另一实施例阐述的简单起头，该进一步地、较优地、更进一步地或更优地后带的内容与前述实施例的结合作为另一实施例的完整构成。在同一实施例后带的若干个进一步地、较优地、更进一步地或更优地设置之间可任意组合的组成又一实施例。

虽然，上文中已经用一般性说明及具体实施例对本申请作了详尽的描述，但在本申请基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本申请精神的基础上所做的这些修改或改进，均属于本申请要求保护的范围。