一种训练生成对抗网络的方法和装置

技术领域

本申请涉及图像处理领域，尤其涉及一种训练生成对抗网络的方法和装置。

背景技术

随着多光谱成像技术的发展，多光谱相机的应用市场越来越广，例如，将多光谱相机集成在各类中小型多旋翼、直升机、固定翼无人机平台，用于农情监测、资源调查、灾害评估、目标识别等领域。由于多光谱相机拍摄的多光谱图像光谱信息不足，图像数据丢失严重，需要对多光谱图像中丢失的光谱信息进行恢复以获得高分辨率的图像，其中，多光谱图像即马赛克图像，对多光谱图像的恢复过程即解马赛克的过程，解马赛克过程得到的结果即解马赛克图像。

近年来，生成对抗网络(Generative Adversarial Networks,GAN)广泛应用于图像处理领域，例如，利用GAN的生成器生成图像，并利用GAN的判别器对生成器生成的图像进行判别，确定该图像是否为目标图像；随后利用判别器输出的结果训练生成器，最终使得生成器能够生成正确的目标图像。GAN的这一无监督学习特性可以用于图像恢复，但是GAN的判别器输出的结果是输入数据整体为真的概率值，无法体现图像的局部特征，不适用于高分辨率的图像恢复。因此，如何利用GAN来恢复多光谱图像中丢失的光谱信息是当前需要解决的问题。

发明内容

本申请提供了一种训练生成对抗网络的方法和装置，能够恢复多光谱马赛克图像中丢失的光谱信息以获得高分辨率的多光谱图像。

第一方面，一种训练生成对抗网络的方法，包括：

获取原始多通道光谱图像合成的马赛克图像；

构造生成器并利用所述生成器处理所述马赛克图像，生成解马赛克图像；

构造判别器并利用所述判别器处理所述原始多通道光谱图像以及所述解马赛克图像，生成判别矩阵，所述判别矩阵中的N个元素用于判别所述原始多通道光谱图像以及所述解马赛克图像中N个块的真伪，所述N为大于1的正整数；

根据所述判别矩阵确定所述生成器以及所述判别器的损失函数；

根据所述损失函数交替训练所述生成器和所述判别器。

上述方法可以由电子设备或者电子设备中的芯片执行。其中，生成器可以用于对输入的马赛克图像进行恢复处理生成解马赛克图像。在应用前，需要构造生成器和判别器；利用生成器生成解马赛克图像；利用判别器处理所述原始多通道光谱图像和所述解马赛克图像，生成判别矩阵，所述判别矩阵中的N个元素用于判别所述原始多通道光谱图像和所述解马赛克图像中N个块的真伪，所述N为大于1的正整数；根据所述判别矩阵确定损失函数并根据所述损失函数交替训练生成器和判别器，提升生成器生成解马赛克图像的准确性。具体的，首先固定生成器的参数训练判别器，再固定判别器的参数训练生成器，如此交替即完成一次完整的训练。而在每一次训练过程中，判别器对输入图像的N个块分别进行判断，并输出每一块的判别结果，通过对每个块的判别，实现了局部图像特征的提取和表征，有助于更高效的训练生成器，使得生成器能够生成更高分辨率的多光谱图像数据。

可选地，所述生成器包括降采样模块、上采样模块、注意力模块、卷积模块和sigmoid函数模块，

所述降采样模块用于对所述马赛克图像进行降采样处理，

所述上采样模块用于对所述降采样处理的结果进行上采样处理，

所述注意力模块用于确定所述上采样模块的输出结果的权重，

所述卷积模块用于融合所述上采样模块的输出结果，

所述sigmoid函数模块用于基于所述卷积层的输出结果生成所述解马赛克图像。

可选地，所述降采样模块包括M个尺度的降采样层，所述上采样模块包括M个尺度的上采样层，所述注意力模块包括M个尺度的注意力子模块，所述M为大于1的正整数，所述M个尺度包括第一尺度和第二尺度，其中，

所述上采样模块中第一尺度的上采样层用于：根据所述上采样模块中第二尺度的上采样层的输出结果、以及所述降采样模块中第一尺度的降采样层的输出结果输出第二尺度的上采样结果；

所述第一尺度的注意力子模块用于：根据所述降采样模块中第一尺度的降采样层的输出结果确定所述上采样模块中第一尺度的上采样层的输出结果的权重。

所述生成器包括降采样模块、上采样模块、注意力模块、卷积层和sigmoid函数。所述降采样模块包括M个尺度的降采样层，所述M为大于1的正整数，所述M个尺度包括第一尺度和第二尺度，每个尺度的降采样层用于对所述马赛克图像进行降采样处理。所述上采样模块包括M个尺度的上采样层，每个尺度的上采样层用于对所述降采样处理的结果进行上采样处理。所述降采样模块和上采样模块的卷积层之间增加了所述注意力模块。所述注意力模块包括M个尺度的注意力子模块，每个尺度的注意力子模块用于将降采样模块输出结果的权重向上采样模块传递，以保留各层级的细节信息。所述卷积层对上采样模块的输出结果进行融合得到各个通道的图像。所述sigmoid函数用于将卷积层的输出结果进行处理，生成各个通道的解马赛克图像。

可选地，所述生成器的损失函数与所述原始多通道光谱图像和所述解马赛克图像的平方差函数正相关，并且，

所述生成器的损失函数与交叉熵函数正相关，所述交叉熵函数为基于所述判别器对所述解马赛克图像的判别结果确定的函数。

可选地，所述判别器的损失函数与第一交叉熵函数正相关，所述第一交叉熵函数为基于所述判别器对所述解马赛克图像的判别结果确定的函数；

所述判别器的损失函数与第二交叉熵函数正相关，所述第二交叉熵函数为基于所述判别器对所述原始多通道光谱图像的判别结果确定的函数。

第二方面，提供了训练生成对抗网络的装置，包括用于执行第一方面中任一种方法的模块。

第三方面，提供了一种训练生成对抗网络的设备，包括处理器和存储器，该存储器用于存储计算机程序，该处理器用于从存储器中调用并运行该计算机程序，使得该设备执行第一方面中任一种方法。

第四方面，提供了一种计算机可读介质，所述计算机可读介质存储有程序代码，所述程序代码包括用于执行第一方面中任一种方法的指令。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提供的图像处理系统的示意图；

图2是本申请一实施例提供的训练生成对抗网络的方法流程示意图；

图3是本申请一实施例提供的生成器结构示意图；

图4是本申请又一实施例提供的残差块结构示意图；

图5是本申请又一实施例提供的注意力子模块结构示意图；

图6是本申请一实施例提供的训练生成对抗网络的装置示意图；

图7是本申请一实施例提供的训练生成对抗网络的设备示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”判别所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为判别或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

本申请实施例提供的训练生成对抗网络的方法可以应用于服务器、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)等电子设备上，本申请实施例对电子设备的具体类型不作任何限制。

下面将结合附图详细描述本申请提供的训练生成对抗网络的方法。下文以多光谱相机拍摄的多光谱图像为例进行示例性说明，并不构成对本申请应用场景的任何限制。

图1是一种适用于本申请的图像处理系统的示意图。

该图像处理系统(即，GAN)包括生成器(generator)和判别器(discriminator)，生成器用于基于输入的信息生成图像，例如，将马赛克图像输入生成器后，生成器对马赛克图像进行降采样和上采样，随后生成解马赛克图像，其中，马赛克图像是原始图像(如多光谱图像)经过重新采样后生成的图像。

生成器的目的是生成尽可能真实的图像，判别器的目的是为了判断出输入图像的真假，根据判别器的判别结果训练生成器和判别器，直至生成器能够生成准确的解马赛克图像，即直到生成器生成的解马赛克图像和原始图像的相似度满足要求为止。

通常情况下，GAN的判别器输出的结果是输入数据整体为真的概率值，无法体现图像的局部特征，不适用于高分辨率的图像恢复。而多光谱图像往往是高分辨率的图像，基于一个概率值对生成对抗网络模型进行训练得到的结果难以保证生成器生成高分辨率的多光谱图像，容易造成局部数据的丢失。下面，将详细介绍本申请提供的一种适用于多光谱图像的生成对抗网络训练方法。

如图2所示，训练生成对抗网络的方法可以由电子设备或者电子设备中的芯片执行，该方法包括：

S201，获取原始多通道光谱图像合成的马赛克图像。

可选地，可以根据光谱图像数据及多光谱滤光阵列(MSFA，Multi-spectralfilter array)相机光谱响应函数生成原始多通道光谱图像，记为原始图像。

例如，已知光谱图像数据I(x，y，λ)，MSFA相机光谱响应函数为S

I

再根据MSFA排布模式对k通道的光谱图像数据(即，原始多通道光谱图像数据)进行重新采样，并将采样结果合成马赛克图像，其中，每个原始多通道光谱图像(即，原始图像)对应一个马赛克图像。将原始图像和原始图像对应的马赛克图像作为一组网络训练数据对生成对抗网络模型进行训练。在训练过程中，可以使用多组网络训练数据训练生成对抗网络模型，即，可以使用多个原始图像以及与该多个原始图像对应的马赛克图像训练生成器以及判别器。在训练过程中，电子设备可以控制生成对抗网络模型执行下列步骤。

S202，构造生成器并利用所述生成器处理所述马赛克图像，生成解马赛克图像(即多通道光谱图像)。

作为一个可选的实施方式，如图3所示，构造能够解马赛克图像的生成器300，电子设备将马赛克图像输入生成器300。生成器300对该马赛克图像进行解马赛克并生成解马赛克图像(即多通道光谱图像)。生成器300包括降采样模块301(即编码器(Encoder))，上采样模块303(即解码器(Decoder))，注意力模块302，卷积层304和sigmoid函数305。降采样模块301包括M个尺度的降采样层，所述M为大于1的正整数，例如，降采样模块301包括4个尺度的降采样层，分别为降采样层3011、降采样层3012、降采样层3013和降采样层3014。每个降采样层可以包括一个残差块，所述残差块包括卷积层、批量归一池化(BatchNorm，BN)和修正线性单元(Rectified Linear Unit,Relu)，如图4所示。

降采样模块301的输出结果分为三部分，第一部分作为拼接层306的输入，第二部分作为注意力模块302的输入，第三部分作为上采样模块303的输入。

上采样模块303包括M个尺度的上采样层，例如，上采样模块303包括4个尺度的上采样层，该4个尺度的上采样层分别为上采样层3031、上采样层3032、上采样层3033和上采样层3034，每个上采样层包括双线性上采样层和残差块，残差块的结构如图4所示。

注意力模块302包括M个尺度的注意力子模块，例如，注意力模块302包括4个尺度的注意力子模块，分别为注意力子模块3021、注意力子模块3022、注意力子模块3023、注意力子模块3024。每个注意力子模块包括卷积层、批量归一池化(BN)层和Tanh激活函数，如图5所示。注意力模块302用于对降采样模块301中每个降采样层输出特征施加权重与每上采样模块303输出的特征相乘，以保留各层级的细节信息以及针对性的加强数据编辑能能力，即在生成器中各卷积层处理马赛克图像时，对同一通道的光谱数据施加相同的权重，不同通道的光谱数据施加不同的权重，以提高生成的多光谱图像的准确性。

示例性地，拼接层306的输出结果作为上采样层3031的第一输入，降采样层3014的输出结果作为上采样层3031的第二输入，上采样层3031对第一输入和第二输入进行处理得到第一输出结果。第一输出结果与注意力子模块3024的输出结果相乘得到第二输出结果。第二输出结果作为上采样层3032的第一输入，降采样层3013的输出结果作为上采样层3032的第二输入，上采样层3032对第一输入和第二输入进行处理得到第三输出结果。其中，当上采样层3032为第一尺度的上采样层时，上采样层3031为第二尺度的上采样层，注意力子模块3024为第二尺度的注意力子模块，降采样层3013为第一尺度的降采样层，降采样层3014为第二尺度的降采样层。

以此类推，卷积层304处理的输入数据为上采样层3034的输出结果和注意力子模块3021的输出结果做卷积运算后的结果，卷积层304对输入数据进行融合得到与通道数对应的特征(例如，各个通道的图像)，sigmoid函数305对卷积层304的输出结果进行处理，使得像素灰度值处于0～1之间，得到各个通道的解马赛克图像。

S203，构造判别器并利用所述判别器处理所述原始多通道光谱图像以及所述解马赛克图像生成判别矩阵，所述判别矩阵中的N个元素用于判别所述原始多通道光谱图像以及所述解马赛克图像中N个块的真伪，所述N为大于1的正整数。

可选地，构造判别器以利用所述判别器对解马赛克图像和原始图像进行判别，根据判别结果训练判别器以及生成器。所述判别器可以使用分类网络模型，例如，视觉几何组(Visual Geometry Group,VGG)模型、残差神经网络(Residual Neural Network，ResNet)模型、Inception模型等。所述判别器用于对解马赛克图像进行真伪判别，并且所述判别器可以判断解马赛克图像中N个块的真伪。

示例性地，所述判别器为VGG模型，且VGG模型包括多个采样卷积层。所述卷积层包括卷积(Conv)、批量归一池化(BN)层、Sigmoid激活函数和Maxpool最大化操作。VGG模型的结构，如表1所示。

表1

VGG模型的处理过程如下：

输入为一张256×256×9的解马赛克图像，其中，256×256为解马赛克图像的尺寸，9为解马赛克图像的通道数。所述256×256×9的解马赛克图像经过卷积层Conv11的处理后输出尺寸为256×256×64的图像数据，该图像数据经过卷积层Conv12的处理后输出尺寸为256×256×64的图像数据，该图像数据经过Maxpool1操作输出尺寸为128×128×64的图像数据，64为通道数。

随后，64通道的图像数据被依次处理为128通道的图像数据、256通道的图像数据和512通道的图像数据，其中，512通道的图像数据的尺寸为8×8，该图像数据在最后不使用全卷积操作来输出全图的判别结果，而是经过普通卷积(Conv6)处理后生成一个8×8的张量(即，判别矩阵)，再通过sigmoid函数的卷积层对该张量进行处理，得到该张量中每个元素对应的图像区域为真的概率值。该概率值的取值区间为[0,1]，元素的概率值越接近于0，该元素对应的图像块为真的概率越小；元素的概率值越接近于1，该元素对应的图像块为真的概率越大。上述方法相当于将解马赛克图像划分为64个图像块，单独计算每个图像块为真的概率并输出判别结果。

确定判别矩阵后，电子设备可以执行下列步骤，以便于对生成对抗网络进行训练。

S204，根据所述判别矩阵确定所述生成器以及所述判别器的损失函数。

如前所述，原始图像gt合成的马赛克图像输入生成器后输出解马赛克图像pred，原始图像gt和解马赛克图像pred分别输入判别器后输出判别结果(判别矩阵)σ(D(gt)以及σ(D(pred)，基于σ(D(gt)以及σ(D(pred)可以构造交叉熵函数L

首先利用交叉熵函数构造生成器的损失函数lossG，如下：

lossG＝L

其中，L

而基于交叉熵函数L

lossD＝L

L

S205，根据所述损失函数交替训练所述生成器和所述判别器。

随机初始化生成器、判别器的网络参数。设置生成器和判别器模型内的参数为随机数。此处，损失函数包括生成器的损失函数(生成损失函数，lossG)和判别器的损失函数(判别损失函数，lossG)，根据生成损失函数和判别损失函数交替训练生成器和判别器，以实现lossG和lossD的最小化。

交替训练过程中，首先训练判别器，此时固定生成器参数，即选择一张马赛克图像输入生成器中生成解马赛克图像，分别将马赛克图像对应的原始图像和生成的解马赛克图像输入到判别器中得出判别结果，根据判别结果计算判别损失函数值并根据判别损失函数值利用随机梯度下降法进行反向传播，更新判别器的参数。接下来训练生成器，此时固定判别器参数，另选择一张马赛克图像输入生成器中生成解马赛克图像，将解马赛克图像输入判别器中得到判别结果，根据判别结果计算生成损失函数并根据生成损失函数值利用随机梯度下降法进行反向传播，更新生成器的参数。如此交替即完成一次完整训练，接下来再重复上述训练过程完成下一次完整的训练，不断重复，直至训练结束。

在每一次完整训练完成后，都可以向生成器输入测试图像(马赛克图像)并输出生成结果，然后基于结构相似性、峰值信噪比或其它方法验证生成器输出的结果(解马赛克图像)与原始图像(多光谱图像)是否相同。若相同，则说明生成对抗网络模型已经训练成功，无需再进行训练；若不同，则需要对生成对抗网络模型继续进行训练并更新网络参数，直至得到性能良好的生成对抗网络模型参数。可以理解的是，也可以选择每完成一定次数的训练后验证一次，该次数不做具体的限制。

上文详细介绍了本申请提供的训练生成对抗网络的方法的示例。可以理解的是，相应的装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请可以根据上述方法示例对训练生成对抗网络的装置进行功能单元的划分，例如，可以将各个功能划分为各个功能单元，也可以将两个或两个以上的功能集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

图6是本申请提供的一种训练生成对抗网络的装置的结构示意图。该装置600包括输入模块601和处理模块602。

所述输入模块601用于：获取原始多通道光谱图像合成的马赛克图像。

所述处理模块602用于：构造生成器并利用所述生成器处理所述马赛克图像，生成解马赛克图像；构造判别器并利用所述判别器处理所述原始多通道光谱图像和所述解马赛克图像，生成判别矩阵，所述判别矩阵中的N个元素用于判别所述原始多通道光谱图像和所述解马赛克图像中N个块的真伪，所述N为大于1的正整数；根据所述判别矩阵确定所述生成器以及所述判别器的损失函数；根据所述损失函数交替训练所述生成器和所述判别器。

装置600执行训练生成对抗网络的方法的具体方式以及产生的有益效果可以参见方法实施例中的相关描述。

图7示出了本申请提供了一种训练生成对抗网络的方法的设备结构示意图。图7中的虚线表示该单元或该模块为可选的。设备700可用于实现上述方法实施例中描述的方法。设备700可以是电子设备，例如，服务器、芯片等。

设备700包括一个或多个处理器701，该一个或多个处理器701可支持设备700实现图2所对应方法实施例中的方法。处理器701可以是通用处理器或者专用处理器。例如，处理器701可以是中央处理器(central processing unit，CPU)。CPU可以用于对设备700进行控制，执行软件程序，处理软件程序的数据。设备700还可以包括通信单元705，用以实现信号的输入(接收)和输出(发送)。

例如，设备700可以是芯片，通信单元705可以是该芯片的输入和/或输出电路，或者，通信单元705可以是该芯片的通信接口，该芯片可以作为电子设备的组成部分。

又例如，设备700可以是电子设备，通信单元705可以是该电子设备的收发器，或者，通信单元705可以是该电子设备的收发电路。

设备700中可以包括一个或多个存储器702，其上存有程序704，程序704可被处理器701运行，生成指令703，使得处理器701根据指令703执行上述方法实施例中描述的方法。可选地，存储器702中还可以存储有数据(如待测芯片的ID)。可选地，处理器701还可以读取存储器702中存储的数据，该数据可以与程序704存储在相同的存储地址，该数据也可以与程序704存储在不同的存储地址。

处理器701和存储器702可以单独设置，也可以集成在一起，例如，集成在电子设备的系统级芯片(system on chip，SOC)上。

处理器701执行训练生成对抗网络的方法的具体方式可以参见方法实施例中的相关描述。

应理解，上述方法实施例的各步骤可以通过处理器701中的硬件形式的逻辑电路或者软件形式的指令完成。处理器701可以是CPU、数字信号处理器(digitalsignalprocessor,DSP)、现场可编程门阵列(field programmable gate array，FPGA)或者其它可编程逻辑器件，例如，分立门、晶体管逻辑器件或分立硬件组件。

本申请还提供了一种计算机程序产品，该计算机程序产品被处理器701执行时实现本申请中任一方法实施例所述的方法。

该计算机程序产品可以存储在存储器702中，例如是程序704，程序704经过预处理、编译、汇编和链接等处理过程最终被转换为能够被处理器701执行的可执行目标文件。

本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机执行时实现本申请中任一方法实施例所述的方法。该计算机程序可以是高级语言程序，也可以是可执行目标程序。

该计算机可读存储介质例如是存储器702。存储器702可以是易失性存储器或非易失性存储器，或者，存储器702可以同时包括易失性存储器和非易失性存储器。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmableROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(randomaccess memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamicRAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(directrambus RAM,DRRAM)。

本领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和设备的具体工作过程以及产生的技术效果，可以参考前述方法实施例中对应的过程和技术效果，在此不再赘述。

在本申请所提供的几个实施例中，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的方法实施例的一些特征可以忽略，或不执行。以上所描述的装置实施例仅仅是示意性的，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，多个单元或组件可以结合或者可以集成到另一个系统。另外，各单元之间的耦合或各个组件之间的耦合可以是直接耦合，也可以是间接耦合，上述耦合包括电的、机械的或其它形式的连接。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制。尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。