一种图像生成方法、终端设备及存储介质

技术领域

本申请涉及图像处理领域，尤其涉及一种图像生成方法、终端设备及存储介质。

背景技术

随着人工智能(Artificial Intelligence，AI)技术在医学领域的应用与发展，在进行医学类人工智能研究时，通常需要大量的医学图像进行研究，然而，医学图像因包含隐私、伦理等方面的问题而难以获得。

特异性皮炎皮损图像具有形态清晰、纹理特征明显、边界范围清楚、可多种病灶相结合等特征，能够通过图像生成技术生成符合医学要求的医用图像，而现有技术中，在生成特异性皮炎皮损图像时，通常需要数万张皮炎皮损图像作为样本进行训练，而目前现有的特异性皮炎皮损样本图像因包含敏感信息不易获取，导致在当前医学类AI研究中能够使用的特异性皮炎皮损图像数量较少。

发明内容

有鉴于此，本申请实施例期望提供一种图像生成方法、终端设备及存储介质，能够利用少量样本高效生成大量的细节清晰且符合医学要求的特异性皮炎皮损图像。

为达到上述目的，本申请的技术方案是这样实现的：

第一方面，本申请实施例提供一种图像生成方法，所述方法包括：

将随机向量输入到生成器中，依次通过全连接层、重构reshape层和卷积层，得到第一特征图；对所述第一特征图经双路径连接块DPB的处理后执行多次上采样，得到多个第二特征图；

将所述多个第二特征图和样本皮炎皮损图像依次输入到生成对抗网络的判别器中，依次通过卷积层、DPB的处理后执行多次最大池化，得到第三特征图，并经全连接层对所述第三特征图进行处理，得到判决结果；

利用所述判决结果和预设损失函数，对所述生成器进行训练，得到训练后的生成器；以利用所述训练后的生成器生成目标皮炎皮损图像。

第二方面，本申请实施例提供一种终端设备，所述终端设备包括：

输入单元，用于将随机向量输入生成器中，依次通过全连接层、重构reshape层和卷积层，得到第一特征图；对所述第一特征图经双路径连接块DPB的处理后执行多次上采样，得到多个第二特征图；将所述多个第二特征图和样本皮炎皮损图像依次输入到生成对抗网络的判别器中，依次通过卷积层、DPB的处理后执行多次最大池化，得到第三特征图，并经全连接层对所述第三特征图进行处理，得到判决结果；

训练单元，用于利用所述判决结果和预设损失函数，对所述生成器进行训练，得到训练后的生成器；

生成单元，用于利用所述训练后的生成器生成目标皮炎皮损图像。

第三方面，本申请实施例提供一种终端设备，所述终端设备包括：处理器、存储器及通信总线；处理器执行存储器存储的运行程序时实现上述图像生成方法。

第四方面，本申请实施例提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述图像生成方法。

本申请实施例提供一种图像生成方法、终端设备及存储介质，该方法包括：将随机向量输入到生成器中，依次通过全连接层、重构reshape层和卷积层，得到第一特征图；对第一特征图经双路径连接块DPB的处理后执行多次上采样，得到多个第二特征图；将多个第二特征图和样本皮炎皮损图像依次输入到生成对抗网络的判别器中，依次通过卷积层、DPB的处理后执行多次最大池化，得到第三特征图，并经全连接层对所述第三特征图进行处理，得到判决结果；利用判决结果和预设损失函数，对生成器进行训练，得到训练后的生成器；以利用所述训练后的生成器生成目标皮炎皮损图像。采用上述实现方案，在图像生成的过程中，在生成器中将随机向量依次输入到全连接层、reshape层及卷积层得到第一特征图之后，将第一特征图经过DPB处理，DPB中采用分组卷积降低参数数量，有效提高模型的训练速度，且生成器和判别器中都是用双路径网络DPN作为骨干网络进行特征提取，能够有效学习到皮炎皮损图像的特征，提高生成图像的真实性，从而能够利用现有较少的样本数高效生成大量的细节清晰且符合医学要求的特异性皮炎皮损图像。

附图说明

图1为本申请实施例提供的一种图像生成方法流程图一；

图2为本申请实施例提供的双路径连接块DPB实现过程示意图；

图3为本申请实施例提供的分组卷积实现过程示意图；

图4为本申请实施例提供的利用自注意力机制对特征图进行处理实现过程示意图；

图5为本申请实施例提供的一种图像生成方法流程图二

图6为本申请实施例提供的一种终端设备1结构示意图一；

图7为本申请实施例提供的一种终端设备1结构示意图二。

具体实施方式

为了能够更加详尽地了解本申请实施例的特点及技术内容，下面结合说明书附图及具体实施例对本申请的技术方案做进一步的详细阐述，所附附图仅供参考说明之用，并非用来限定本申请实施例。

除非另有定义，本文所使用的所有技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。还需要指出，本申请实施例所涉及的术语“第一/第二/第三”仅是用于区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一/第二/第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述以外的顺序实施例。

目前，现有技术中，在进行图像生成时，采用现有技术中的GAN网络及其改进的GAN网络对图像生成时，仍然存在以下问题：

(1)当前使用的GAN网络通常需要大量样本进行训练，要生成512*512大小且细节清晰、符合医学要求的特异性皮炎皮损图像时，通常需要数万张图像作为样本进行GAN网络训练。

(2)当前使用的GAN网络中，生成器和判别器通常都是使用残差网络ResNet作为骨干网络进行特征提取，而利用ResNet网络在进行特征提取的过程中是对之前层级中已提取的特征进行复用，导致提取的特征中冗余度较高，而且ResNet网络结构参数过多，模型参数过多，导致训练时间过长。

(3)通常对特异性皮炎皮损图像进行拍摄时，大多都是在光亮充足的地方进行拍摄，会造成拍摄的特异性皮炎皮损图像中会出现高光等干扰，利用拍摄的具有高光等干扰因素的特异性皮炎皮损图像直接输入网络进行图像生成时，会将特异性皮炎皮损图像上的高光干扰用到后续的生成图像中，导致生成的图像真实性较低。

(4)对于特异性皮炎皮损图片来说，其纹理特征为皮损区域的颜色、纹路等，而其结构和几何特征为皮损区域的形状，当前使用的GAN网络在训练过程中能够学习到样本皮炎皮损图像的纹理特征，但是不容易学习到特异性皮炎皮损图像特定的结构和几何特征，利用当前使用的GAN网络在经过多轮训练后容易只学习到特异性皮炎皮损病灶区域的纹理特征而忽视特定的结构和几何特征，造成生成的皮炎皮损图像容易与周围皮肤脱节，不符合医学要求。

(5)当前使用的GAN网络通常直接使用普通分类网络作为判别器，例如，SoftMax分类器，而普通分类网络在进行真假判别时，无法拉开真假特异性皮炎皮损图像特征之间的距离，造成模型鲁棒性较差、模型坍塌、生成图像质量差等问题。

(6)当前使用的GAN网络通常直接对模型进行训练，并未对模型进行优化，造成训练过程时间较长，效率低。

为解决上述问题，本申请实施例提供一种图像生成方法，如图1所示，图像生成方法主要包括以下步骤：

S101、将随机向量输入到生成器中，依次通过全连接层、重构reshape层和卷积层，得到第一特征图；对第一特征图经双路径连接块DPB的处理后执行多次上采样，得到多个第二特征图。

在本申请实施例中，通过向生成对抗网络的生成器中输入随机向量，将输入生成器中的随机向量依次通过生成器中的全连接层、reshape层之后，再经过32个3*3的卷积核，使得到的特征图大小变换为16*16*32。

需要说明的是，随机向量可以是输入的噪声数据，具体地可以根据实际情况进行选择，本申请不做具体的限定。

在本申请实施例中，生成对抗网络GAN是一种无监督的深度学习模型，利用计算机生成数据，生成对抗网络通过生成模型和判别模型的互相博弈学习，最后产生接近真实图像的输出。生成对抗网络GAN主要由两部分构成：生成器和判别器，生成器是用于输入一个噪声或样本数据，输出一张图像，目的是让判别器对输入的图像判断不出输入图片的真假，判别器用于对输入的一张图像进行判别，判断输入的图像的真假，目的是尽可能找出生成器生成的假的图像。生成器和判别器就构成了一个动态对抗的过程，在进行生成对抗的过程中，生成器生成的图像越来越接近真实图像，而判别器鉴别图像的水平也越来越高。理想的状态下，生成器可以生成“以假乱真”的图像，而判别器难以判定生成器生成的图像究竟是不是真实的图像，在对GAN训练完成后，就能够得到一个理想的生成模型，可以用来生成“以假乱真”的图像。

在本申请实施例中，在得到大小为16*16*32特征图之后，再将得到的大小为16*16*32特征图经过两个双路径连接块(Dual Path Block，DPB)处理后，将经过DPB处理后的特征图再经过5次上采样，得到5个上采样后的特征图，特征图的大小扩大为原来的32倍为512*512，可以将5次上采样后的得到的特征图命名为G1、G2、G3、G4、G5。

需要说明的是，经过上采样后的特征图的命名方式可以根据实际情况进行选择，在本申请中不做具体的限定。

需要说明的是，在本申请实施例中，利用双路径网络(Dual Path Networks，DPN)作为生成器的主干网路进行特征提取，DPN网络主要是将深度网络DenseNet中的稠密块dense block和残差网络ResNet中的Resblock的优点结合起来形成双路径连接块DPB。

需要说明的是，双路径连接块DPB的结构及实现原理如图2所示，将x作为DPB网络结构的输入，一方面将输入的x经过两个卷积层和激活函数Relu进行处理之后得到卷积后的函数F(x)，并取F(x)的前d个特征图输入到加法器中，其中，F(x)的前d个特征图可以表示为F(x)[:d]，d是超参数，超参数d用于决定要利用的新特征的数量。另一方面，将输入的x经过残差学习处理得到x的前d个特征图x[:d]，并将x[:d]输入到加法器中之后，在加法器中对x[d:]与F(x)[d:]进行计算，将得到的x[d:]与F(x)[d:]之和再进行拼接处理后输入到级联器中。再一方面，将输入的x经过两个卷积层及激活函数ReLU处理后得到卷积后的函数F(x)，再经过密集连接处理得到F(x)[d:]，将得到的F(x)[d:]输入到级联器中。之后将输入的x经过密集连接处理得到x[d:]后直接输入到级联器中进行计算，最后在修正线性单元(Rectified linear unit，ReLU)处理之前，通过级联器进行级联后的输出为：y＝G([x[:d]F(x)[:d],F(x)[d:]+x[d:]])。

需要说明的是，其中，G是线性修正单元ReLU的激活函数，F是卷积层函数，x是双路径连接块的输入。在ReLU之前包含3个部分：第一部分是原始输入x的密集连接部分x[:d]，第二部分是卷积后的密集连接部分F(x)[:d]，第三部分是利用加法器对原始输入x的残差连接部分x[d:]与卷积后的残差部分F(x)[d:]相加之和。

在本申请实施例中，在双路径连接块DPB中，对3*3卷积核所在的卷积层执行分组卷积操作，如图3所示，将卷积层的输入维度分为8组，每组只有输入通道数的1/8，此时只需要使用输入通道数的1/8个卷积核来对每组进行卷积，然后再在通道维度上进行拼接，使得该卷积层的参数数量减少为不分组卷积数量的1/8。

需要说明的是，使用分组卷积能够大幅降低参数数量，提高训练速度，并且在同样的网络结构下，采用分组卷积的效果比未分组的卷积的效果有明显的的提升。

S102、将多个第二特征图和样本皮炎皮损图像依次输入到生成对抗网络的判别器中，依次通过卷积层、DPB的处理后执行多次最大池化，得到第三特征图，并经全连接层对第三特征图进行处理，得到判决结果。

在本申请实施例中，在得到经过生成对抗网络GAN生成器得到的多个大小为512*512的特征图之后，并获取到样本皮炎皮损图像，将经过生成器得到的多个大小为512*512的特征图和获取到的样本皮炎皮损图像输入到判别器中，依次经过32个3*3的卷积核之后，其特征图大小变换为512*512*32，再经过两次DPB处理后进行5次最大池化处理，经最大池化处理后的后的特征图的尺寸变化为16*16*32，将最大池化后的特征图可以命名为D1，D2，D3，D4，D5，最后将得到的特征图经全连接层进行处理。

需要说明的是，获取样本皮炎皮损图像可以是从现有数据库中进行选取，也可以为对皮炎皮损图像进行拍摄，具体地，可以根据实际情况进行选择，在本申请中不做具体的限定。

需要说明的是，生成对抗网络判别器中使用DPN作为骨干网络，进行DPB处理时所采用的方式同生成器中的DPB的方式相同，在这里不再赘述。

在本申请实施例中，经过全连接层对所得到的特征图进行组合，输出到输出层，经过分类网络进行判断，可以得到生成器生成的皮炎皮损图像与样本皮炎皮损图像相比，可以得到可以为真，也可以为假的两种判决结果。

在本申请另一实施例中，为了解决现有技术中，通常使用简单的分类网络，例如softmax分类器，作为GAN网络的判别器，普通的分类网络是把输入判别器的图像分为两类标签，一类是原始图像，一类是生成图像，针对两类图像进行训练使判别器能够将输入的图像正确分成两类，但是对皮炎皮损图像进行分类和对常规的图像进行分类任务不同的是，生成的特异性皮炎皮损和皮炎皮损样本图像之间的区别不在于某些比较明显的特征，通常还需要医学经验来进行判断，因此在判断生成的特异性皮炎皮损图像是否能够应用于医学研究所要提取的特征图的区分度要明显高于对常规图像进行分类的要求，因此，本申请中使用基于对比学习的判别器，替代普通的分类网络，对生成的特异性皮炎皮损图像进行分类。

在本申请实施例中，全连接层包括多层感知器，利用多层感知器，对第三特征图进行处理，得到第三特征图对应的特征向量；计算每两个特征向量之间的余弦距离；并根据每两个特征向量之间的余弦距离确定生成图像对应的第一余弦距离和以及样本图像对应的第二余弦距离和；将第一余弦距离和与第一预设阈值进行比较，得到第一比较结果；将第二余弦距离和与第二预设阈值进行比较，得到第二比较结果；将第一比较结果和第二比较结果确定为判决结果。

在本申请实施例中，将2N张图像作为判别器骨干网络的输入，其中，2N张图像包含N张皮炎皮损样本图像，N张生成图像，在判别器的骨干网络后添加一个具有一个隐藏层的多层感知器，输入判别器中的图像经过骨干网络进行计算后，输入的2N张图片，最后会产生2N张特征图，并使最后的输出成为128维的特征向量。

在本申请实施例中，在得到输出为128维的特征向量后，对每个特征向量进行正则化处理，使其变为单位向量，每个特征向量落在了一个半径为1的超球面上，得到的特征向量可以表示为{z

在本申请实施例中，在得到2N张特征图对应的特征向量之后，利用余弦距离计算每两个特征向量之间的余弦距离，并确定出N张生成图像对应的第一余弦距离和以及N张皮炎皮损样本图像对应的第二余弦距离和，通过将N张生成图像对应的第一余弦距离和与第一预设阈值进行比较以及将N张皮炎皮损样本图像对应的第二余弦距离和与第二预设阈值进行比较，得到比较结果，将比较结果确定为判决器的判决结果，比较结果可以是属于同类图像，则判定结果为真；比较结果为属于不同类图像，则判定结果为假。

需要说明的是，余弦距离总和越大的为同类图像，而余弦距离总和越小的为不同类图像。

需要说明的是，第一预设阈值和第二预设阈值可以根据实际情况进行选择，本申请中不做具体的限定。

示例性地，对于任意一张输入图像i：

在计算出每两个特征向量之间的余弦距离之后，计算出N张生成图像对应的余弦距离之和，以及N张皮炎皮损样本图像对应的余弦距离之和，利用计算的预选距离分别与预设的第一预设阈值和第二预设距离阈值进行比较，在余弦距离之和大于预设距离时，确定输入的图像为相同种类的图像；在余弦距离小于预设距离之和小于预设距离时，确定输入的图像为不同种类的图像。

需要说明的是，在训练完成后进行推理时，多层感知器会被单一线性层取代。

S103、利用判决结果和预设损失函数，对生成器进行训练，得到训练后的生成器；以利用训练后的生成器生成目标皮炎皮损图像。

在本申请实施例中，在得到判决结果之后，通过给GAN的生成器一个随机输入，通过损失函数判断判别器的输出与真实数据之间的差异程度，根据损失函数，对生成器的参数进行不断的优化，得到优化后的生成器。

在本申请实施例中，判别器中所使用的损失函数可以用以下公式(1)和公式(2)表示：

需要说明的是，在本申请实施例中，损失函数表达的含义是：对于任意输入图片i：与输入图片i属于同类的所有其它输入图片的特征向量，与输入图片i的特征向量的余弦距离的总和，越大越好；与输入图片i不属于同类的所有其它输入图片的特征向量，与输入图片i的特征向量的余弦距离的总和，越小越好。

需要说明的是，本申请实施例中所使用的损失函数和其他损失函数相比，本申请中的对比损失针对于不同程度的图像损坏都能保持相对稳定的平均损失误差，可以完全抑制由少量样本图像增强而引发的图像损坏。

在本申请实施例中，在利用损失函数对生成器训练完成之后，此时，需达到生成器生成的目标皮炎皮损图像判别器已经无法判断出真假，利用此时训练好的生成器实现对目标皮炎皮损图像的生成。

需要说明的是，本申请中使用Nvidia 16GB显存的GPU进行训练，并对整个Gan网络进行了Ristretto固定点浮点数量化，将参数转化为8bit，模型体积减小到四分之一大小，效率提升8倍左右。在进行5000轮训练后，生成512*512的图像，最终达到高效生成大量细节清晰并符合医学要求的特异性皮炎皮损图像的需求。

在本申请实施例中，使用基于对比学习的判别器，从网络训练的目的和结果来看，让相同种类图像的特征向量接近，让不同种类的特征向量远离，将整个判别器网络可以类比为一个超球面，使不同种类的特征向不同的点进行聚类，从而在区分的结果上极大程度增加了图像的区分度，在数据量较少的情况下也可以达到很高的准确率，表现出很好的鲁棒性，相较于传统的分类网络而言，传统的分类网络可以类似一个超平面，并没有将不同类别的特征之间拉开较大的距离，特征的区分度明显小于采用对比学习下的判别器。

可以理解的是，在本申请实施例提供的一种图像生成方法中，在图像生成的过程中，在生成器中将随机向量依次输入到全连接层、reshape层及卷积层得到第一特征图之后，将第一特征图经过DPB处理，DPB中采用分组卷积的降低参数数量，有效提高模型的训练速度，且生成器和判别器中都是用双路径网络DPN作为生成器和判别器的骨干网络进行特征提取，能够有效学习到皮炎皮损图像的特征，提高生成图像的真实性，从而能够利用现有较少的样本数高效生成大量的细节清晰且符合医学要求的特异性皮炎皮损图像。

可选地，得到多个第二特征图之后；将多个第二特征图和样本皮炎皮损图像数据依次输入到生成对抗网络的判别器中之前，还可以依次将每一个第二特征图分别输入多个预设卷积中，得到多个第三特征图；通过对多个第三特征图进行融合和筛选处理，将每一个第二特征图对应转换为一个包含目标特征数据的第二特征图；目标特征数据为表征病灶区域和正常皮肤区域之间的相接区域的特征数据。

在本申请实施例中，利用自注意力机制模块对得到的多个第二特征图进行处理，如图4所示，预设三个8*1的卷积核，分别为q卷积，k卷积和v卷积，以特征图G1为例，将大小为c*w*h的特征图G1依次输入到预设的三个卷积核q卷积，k卷积和v卷积中，经过三次卷积处理后，得到经过对每个通道经过8次不同的特征提取的三份大小为(8*c)*w*h的三维特征图，分别记为q1、k1、v1。

在本申请实施例中，在得到大小为(8*c)*w*h的三维特征图q1、k1、v1之后，经过reshape层处理，将大小为三维的(8*c)*w*h特征图q1、k1、v1转换为大小为(8*c)*(w*h)的二维特征图q1、k1、v1，并对转换后的特征图k1进行矩阵转置，对二维特征图q1和转置后的k1进行点乘，并经过归一化指数函数softmax分类器和归一化层Normalization进行归一化处理，获得(w*h)*(w*h)大小的矩阵a1。

在本申请实施例中，在获得(w*h)*(w*h)大小的矩阵a1之后，将转换的二维特征图v1与a1进行点乘运算，得到大小为(8*c)*(w*h)的矩阵v2，将得到的大小为(8*c)*(w*h)的矩阵v2进行reshape处理，得到大小为(8*c)*w*h的三维特征图V3；对得到的V3进行降维卷积处理，得到经自注意力机制处理后的大小为c*w*h的三维特征图，得到的大小为c*w*h的三维特征图包含目标特征数据，目标特征数据为病灶区域和正常皮肤区域之间相接区域的目标特征区域。

需要说明的是，在本申请实施例中，对得到的第二特征图G2、G3、G4、G5进行处理，得到包含病灶区域和正常皮肤区域之间相接区域特征数据的第二特征图，可以利用对特征图G1进行处理的方式，具体的实现过程在这里不再赘述。

在本申请实施例中，在得到包含病灶区域和正常皮肤区域之间相接区域特征数据的第二特征图之后，将多个第二特征图和皮炎皮损图像数据依次输入到生成对抗网络的判别器中还可以是将多个包含目标特征数据的第二特征图和皮炎皮损图像数据依次输入到生成对抗网络的判别器中。

在本申请实施例中，将多个包含目标特征数据的第二特征图和皮炎皮损图像数据依次输入到生成对抗网络的判别器中，依次通过卷积层、DPB的处理后执行多次最大池化，得到第三特征图，并经全连接层对第三特征图进行处理，得到判决结果，具体的实现过程和上述步骤S102的实现过程相同，在这里不再赘述。

在本申请实施例中，利用自注意力机制对得到的第二特征图G1、G2、G3、G4、G5依次进行处理，在对网络体积大小和训练时间没有明显影响的情况下，有效提升了生成图像的整体效果。

在本申请实施例中，采用的自注意力机制能够利用图像中所有位置像素的数据信息，通过直接计算图像中任意两个像素点之间的关系，快速获取到图像的全局几何特征，有效学习到整个图像的结构和整体特征；并且，自注意力机制中使用了多种卷积核，可以使每个像素处的多种特征之间进行结合再进行筛选，从多种全局特征中获得整张图像中最显著、相关性最大的特征，可以在训练过程中向图像相关性最大的特征方向进行训练，其中采用的多种卷积和能够更好地提取病灶区域和正常皮肤区域相接的区域特征，有效提高生成图像的真实性；利用自注意力机制还能够利用较远的图像区域信息，每个位置都能够结合与该位置相似或相关区域的信息，确保生成的图片的区域一致性。

可选地，将多个第二特征图和样本皮炎皮损图像依次输入到生成对抗网络的判别器中之前，还可以对初始样本皮炎皮损图像进行图像分割，得到初始样本皮炎皮损图像对应的第一图像区域和第二图像区域；其中，第一图像区域为包括皮炎皮损图像数据的区域，第二图像区域为不包括皮炎皮损图像数据的区域；利用预定义高光分量系数，剔除第一图像区域内的镜面反射分量，得到去高光后的第一图像区域；利用预定义漫反射分量系数，确定出第二图像区域内的漫反射分量；并根据漫反射分量生成去高光后的第二图像区域；利用去高光后的第一图像区域和去高光后的第二图像区域，生成皮炎皮损图像数据。

在本申请实施例中，获取的皮炎皮损样本图像通常都是在光亮下由手机或其他器材进行拍摄的，拍摄的皮炎皮损图像上大多存在高光区域，利用存在高光区域的皮炎皮损图像进行训练，会对训练或后续的研究造成影响，如果直接使用携带有高光区域的皮炎皮损图像进行图像生成，则拍摄的图像上的高光区域会在生成的图像中继续存在，因而，在对网络进行训练时，为了避免一些干扰因素对生成图像的影响，需要对皮炎皮损样本图像进行去高光预处理操作。

在本申请实施例中，在对初始皮炎皮损样本图像进行去高光预处理时，首先需要对初始样本皮炎皮损图像进行图像分割，得到初始样本皮炎皮损图像对应的第一图像区域和第二图像区域。

在本申请实施例中，对初始样本皮炎皮损图像进行图像分割可以为从初始皮炎皮损图像中定位病灶区域，以病灶区域为中心，从初始皮炎皮损图像数据中截取第一皮炎皮损图像；将第一皮炎皮损图像分离成RGB三通道图像数据，根据RGB三通道图像数据生成图像掩码，并利用图像掩码将初始皮炎皮损图像数据划分为第一图像区域和第二图像区域。

在本申请实施例中，首先从初始的皮炎皮损图像中定位病灶区域定位出病灶区域，以病灶区域为中心，截取大小为512*512的像素大小的第一皮炎皮损图像。

需要说明的是，为了避免输入判别器中的皮炎皮损样本图像发生形变而导致图像的病灶区域也发生形变的问题，需要先将皮炎皮损样本图像转换为大小为512*512的图像。

在本申请实施例中，在得到第一皮炎皮损图像之后，将得到的第一皮炎皮损图像经过R、G、B三通道进行图像分离，得到每一个通道各自对应的一个图像，将得到的三个通道对应的三张图像针对图像的纹理分别使用多种不同大小、不同参数的不同滤波器对每张图像进行滤波，得到滤波后图像；将所有滤波后图像进行平均值计算，并对图像进行最大类间方差法求取阈值，对图像进行分割后得到掩码mask1，使用掩码mask1对初始皮炎皮损图像进行处理，能够较好的将皮炎皮损区域和非皮炎皮损区域分割出来，得到第一图像区域和第二图像区域。

需要说明的是，第一图像区域可以为包括皮炎皮损图像数据的区域，第二图像区域为不包括皮炎皮损图像数据的区域；第一图像区域还可以为不包括皮炎皮损图像数据的区域，第二图像区域为包括皮炎皮损图像数据的区域，具体地，可以根据实际情况进行选择，在这里不做具体的限定。

需要说明的是，在对初始样本皮炎皮损图像进行图像分割时，可以利用除本申请以外的其他的图像分割的方法，具体地，可以根据实际情况进行选择，本申请中不做具体的限定。

在本申请实施例中，在对初始样本皮炎皮损图像区域分割得到第一图像区域和第二图像区域后，分别对第一图像区域和第二图像区域进行去高光处理。

在本申请实施例中，示例性地，假设第一图像区域为皮炎皮损图像数据区域，第二图像区域为不包括皮炎皮损图像数据的区域。在对包括皮炎皮损区域的第一图像区域进行去高光处理时，通常情况下，皮炎皮损区域高光的镜面反射分量较大，因而，对于第一图像区域需要去除区域内的镜面反射分量，首先利用公式(3)、公式(4)和公式(5)计算皮炎皮损区域中所有像素的最大色度值Amax和最小色度值Amin，计算公式如下：

Ai(x)＝Ci(x)/(R+G+B)(3)

Amax(x)＝max(Ai(x))(4)

Amin(x)＝min(Ai(x)) (5)

其中，Ci(x)属于x处像素的{R，G，B}值，Ai(x)为像素色度值。

在本申请实施例中，在计算出最大色度值Amax和最小色度值Amin之后，定义C(x)为max(R(x),G(x),B(x))，即x处像素三通道中最大的像素值；定义高光分量系数为G(x)，定义Gi(x)为三通道每个通道的x像素位置的高光分量系数，利用公式(6)、公式(7)和公式(8)计算出皮炎皮损图像区域中x像素处的高光分量，计算公式如下：

Gi(x)＝(Ai(x)-Amin(x))/(1-3*Amin(x)) (6)

G(x)＝max(Gi(x)) (7)

GV(x)＝(G(x)*(R(x)+G(x)+B(x))-C(x))/(3*G(x)-1)(8)

在本申请实施例中，在计算出x像素处的高光分量之后，对皮炎皮损图像区域中的x像素处的三通道中的像素值利用Ci(x)-GV(x)的值进行替换，再将三通道图像进行合并，得到去高光处理后的包含皮炎皮损图像区域的第一图像区域。

在本申请实施例中，对不包括皮炎皮损图像数据的区域的第二图像区域进行去高光处理时，通常对于不包括皮炎皮损图像数据区域的高光，镜面反射分量较小，需要保留第二图像区域内部的漫反射分量，首先，利用上述公式(3)、公式(4)、公式(5)计算出不包括皮炎皮损图像数据区域的第二图像区域的最大色度值和最小的色度值，再计算出第二图像区域的最大色度值和最小色度值之后，定义漫反射分量系数为B(x)，利用公式(9)、公式(10)、公式(11)计算出不包含皮炎皮损图像区域的第二图像区域中x像素处的漫反射分量，计算公式如下：

Bi(x)＝1-(Amax(x)-Ai(x))/(3*Amax(x)-1) (9)

B(x)＝max(Bi(x)) (10)

BV(x)＝(max(B(x)*(R(x)+G(x)+B(x)),Ci(x)))/(3*B(x)-1)(11)

其中，Bi(x)为x像素处的漫反射分量。

在本申请实施例中，在计算出第二图像区域中x像素处的漫反射分量之后，可以用漫反射分量值替代第二图像区域的中x像素处对应的三通道的像素值，再将三通道合并得到去高光处理后的第二图像区域。

在本申请实施例中，在对第一图像区域和第二图像区域分别进行去高光处理后，得到去高光处理后初始皮炎皮损图像，利用去高光处理后的初始皮炎皮损图像进行皮炎皮损图像的生成。

可选地，得到多个第二特征图之后，将多个第二特征图和样本皮炎皮损图像数据依次输入到生成对抗网络的判别器中之前，还可以将多个第二特征图和样本皮炎皮损图像数据按照预设角度进行图像偏移，得到偏移后的图像数据；和/或，将多个第二特征图和样本皮炎皮损图像数据进行图像裁剪，得到裁剪后的图像数据；和/或，将多个第二特征图和样本皮炎皮损图像数据按照预设旋转角度进行图像旋转，得到旋转后的图像数据；和/或，将多个第二特征图和样本皮炎皮损图像数据进行带阻滤波处理，得到滤波后的图像数据。

在本申请实施例中，在图像数据量不足的情况下，通常都会进行图像数据增强以增加图像数据。

在本申请实施例中，在对图像进行数据增强时，将输入判别器中的多个第二特征图和皮炎皮损图像数据可以以偏移发生概率为0.25，偏移距离为整个图像的最短边的(0,0.1)范围内的随机值进行八个不同的预设角度进行偏移，得到偏移后的图像数据。

需要说明的是，八个不同的预设角度可以为0°、45°、90°、135°、180°、225°、270°、315°。

需要说明的是，预设角度、偏移发生概率、以及偏移距离可以根据实际情况进行选择，在本申请中不做具体的限定。

在本申请的再一实施例中，对图像进行数据增强时，将输入判别器中的多个第二特征图和皮炎皮损图像数据可以以裁剪发生概率为0.25，裁剪长度为整张图像最短边的(0，0.1)范围内的随机值，在四个不同的方向上对图像边缘分别进行裁剪，得到裁剪后的图像数据。

需要说明的是，四个不同的方向可以为0°、90°、180°、270°。

需要说明的是，裁剪发生概率、裁剪长度、裁剪方向可以根据实际情况进行选择，在本申请中的不做具体的限定。

在本申请的另一实施例中，对图像进行数据增强时，将输入判别器中的多个第二特征图和皮炎皮损图像数据可以以旋转发生概率为0.25，旋转角度为(0，15度)范围内的随机值向左或向右旋转若干角度，得到旋转后的图像数据。

需要说明的是，旋转的方向可以为向左、向右，也可以为其他的旋转方向，本申请中不做具体的限定。

需要说明的是，旋转发生概率、旋转角度可以根据实际情况进行选择，在本申请中的不做具体的限定。

在本申请的又一实施例中，对图像进行数据增强时，以滤波发生概率为0.25，将输入判别器中的多个第二特征图和皮炎皮损图像数据可以进行带阻滤波处理，首先将图像进行傅里叶变换，将半径从图像边长的0.23倍到图像边长的0.55倍范围的圆环区域设置为带阻，对图像进行带阻滤波并进行傅里叶反变换，在上述参数的带阻滤波器的作用下，图像可以有效保留病灶相关的纹理、颜色相关信息，得到滤波后的图像数据。

需要说明的是，滤波发生概率以及对带阻的范围的设置可以根据实际情况进行选择，本申请中的不做具体的限定。

需要说明的是，上述对图像增强的方法可以单独对图像进行处理，也可以进行组合后对图像进行处理，具体地可以根据实际情况进行选择，本申请中的不做具体的限定。

在本申请实施例中，在得到多个特征图和皮炎皮损图像数据对应的增强后的图像数据之后，将多个第二特征图和皮炎皮损图像数据、和/或偏移后的图像数据、和/或裁剪后的图像数据、和/或旋转后的图像数据、和/或滤波后的图像数据，依次输入到生成对抗网络的判别器中。

在本申请实施例中，将将多个第二特征图和皮炎皮损图像数据、和/或偏移后的图像数据、和/或裁剪后的图像数据、和/或旋转后的图像数据、和/或滤波后的图像数据，依次输入到生成对抗网络的判别器中之后，可以通过上述步骤S102进行处理，在这里不再赘述。

在本申请实施例中，通过对输入到判别器中的多个第二特征图和样本皮炎皮损图像数据都进行图像偏移和/或图像裁剪和/或图像旋转和/或带阻滤波处理，可以克服现有技术中，仅仅针对输入到判别器中的皮炎皮损图像进行光照、饱和度、对比度调整增加图像数据，训练的判别器将会将皮炎皮损图像的增强部分判别为真实信息，导致生成器的训练方向出现偏差的问题。

在本申请实施例中，使用较低概率的数据增强方法可以在不改变图像中病灶形态、病灶纹理、病灶和皮肤相接区域形态等关键信息的情况下，能够增加图像数据的数量，丰富生成皮炎皮损图像的细节，有效缓解初始皮炎皮损样本图像数据量不足的问题。

基于上述实施例，在本申请提供的一种图像生成方法，如图5所示，具体包括以下步骤：

步骤1、将随机向量输入到生成对抗网络的生成器中；

步骤2、将生成对抗网络生成器生成的特征图经过自注意力机制进行处理，得到处理后生成的特征图；

步骤3、将步骤2中处理后生成的特征图和样本皮炎皮损图像进行图像增强；

步骤4、将进行图像增强后的生成的特征图和样本皮炎皮损图像输入到判别器中进行判断；

步骤5、根据判别结果和损失函数对生成器进行训练，得到训练后的生成器；

步骤6、利用训练后的生成器生成目标皮炎皮损图像。

基于本申请中的上述实施例，能够达到以下技术效果：

(1)本申请中通过深度学习来进行特异性皮炎皮损图像的图像生成，并保证了使用少量样本生成大量符合医学要求并且分辨率高的皮损图像，解决了当前医学类AI研究中特异性皮炎皮损图像缺少的问题。

(2)本申请中采用DPN网络架构作为生成器和判别器的骨干网络来进行特征提取，该网络架构使用了dual path block，结合了dense block和res block的优点，更容易探索新特征。解决现有技术中通常使用ResNet作为骨干网络作为生成器和判别器的骨干网络来进行特征提取，但残差通道不善于探索新特征，同时模型参数数量过多。

(3)在dual path block中，使用分组卷积大幅降低参数数量，提高了训练速度，而且同样的网络结构下，这种分组卷积的效果是好于未分组的卷积的效果的，提高了特征提取的丰富程度的同时，减少了模型参数数量，提高了模型训练速度。

(4)本申请使用自注意力机制。首先，该机制能够利用所有位置的信息，通过直接计算图像中任意两个像素点之间的关系，快速地获取图像的全局几何特征，有效学习到整个图像的结构和整体特征；此外，该机制使用了多种卷积核，尤其是多种卷积核可以更好提取病灶区和正常皮肤相接区域的特征，可以引导向相关性最大的特征方向进行训练；同时，该机制能够利用较远的区域的信息，每个位置能够结合与该位置相似或相关区域的信息，确保生成的图片的区域一致性。最后，该机制与融合了dense block和res block的优点的DPN结构相结合，进一步提升了骨干网络进行有效特征提取的能力，有效提升了生成图像的质量和真实性。解决通常生成器都使用普通的反卷积网络来进行从输入向量到图像的生成，但是通常当前使用的生成器在训练过程中，很容易学习到样本的纹理特征，而不容易学习到特定的结构和几何特征，造成生成的图像质量较差。

(5)本申请对特异性皮炎真实皮损图像使用了针对不同区域特点进行的去高光处理方法，该方法能够在不影响病灶和其他皮肤区域的条件下有效去除高光区域，减少甚至去除了高光对图像的影响，使得高光干扰不会流入生成图像中，提高了生成图像的质量。解决通常进行特异性皮炎皮损图像的拍摄时，都是在光亮较强的地方拍摄，这样会造成图像出现高光干扰。现有一些针对皮肤病图像的计算机辅助诊断技术的预处理方法通常时简单进行颜色的归一化、均衡化，这样的预处理方法并不能很好去除高光之类的干扰信息，反而会将有用信息和干扰信息混淆，反而降低了真实图像的质量。

(6)本申请不仅对进入判别器的真实图像进行数据增强，同时也对进入判别器的生成图像进行同样的数据增强。这样可以避免判别器在训练过程中将真实图像的增强部分判别为真实信息，导致生成器的训练方向出现偏差；在特异性皮炎皮损图像上使用带阻滤波器进行增强，在不改变图像中病灶形态、病灶纹理、病灶和皮肤相接形态等关键信息的情况下，扩增了非病灶区皮肤的形态；而低概率的增强可以在不会破坏图像的本质的基础上，即增加了数据数量，又丰富了生成图像的细节，有效缓解原始样本量不足的问题。

(7)本申请使用基于对比学习的判别器，在损失函数中使用余弦距离来计算向量之间的距离。从网络训练的目的和结果来看，跟分类网络也是有区别的。让同类的特征向量接近，异类特征向量远离，整个网络可以类似一个超球面而使不同类型的特征向不同的点聚类，大大增加了区分度，在数据量较少的情况下也可以达到很高的准确率，表现出很好的鲁棒性。解决通常都使用简单的分类网络作为判别器，但传统的分类网络的目的是分类，可以类似一个超平面，并没有将不同类别的特征之间拉开距离这样的约束，不同类别之间的区分度明显较小，对于特征不像分类任务那样具象的真假判别任务并不契合。

(8)本申请使用Ristretto固定点浮点数量化模型，减小了模型大小，提高了训练效率。

基于上述实施例，本申请的另一实施例中提供一种终端设备1，如图6所示，该终端设备1包括：

输入单元10，用于将随机向量输入生成器中，依次通过全连接层、重构reshape层和卷积层，得到第一特征图；对第一特征图经双路径连接块DPB的处理后执行多次上采样，得到多个第二特征图；将多个第二特征图和样本皮炎皮损图像依次输入到生成对抗网络的判别器中，依次通过卷积层、DPB的处理后执行多次最大池化，得到第三特征图，并经全连接层对第三特征图进行处理，得到判决结果。

训练单元11，用于利用判决结果和预设损失函数，对生成器进行训练，得到训练后的生成器。

生成单元12，用于利用训练后的生成器生成目标皮炎皮损图像。

可选地，所述输入单元10，还用于依次将每一个第二特征图分别输入多个预设卷积中，得到多个第三特征图。

可选地，终端设备1还可以包括：转换单元，

转换单元，用于通过对所述多个第三特征图进行融合和筛选处理，将每一个第二特征图对应转换为一个包含目标特征数据的第二特征图；所述目标特征数据为表征病灶区域和正常皮肤区域之间的相接区域的特征数据。

可选地，所述输入单元10，还用于将多个包含目标特征数据的第二特征图和所述皮炎皮损图像数据依次输入到所述生成对抗网络的判别器中。

可选地，终端设备1还可以包括：分割单元，

分割单元，用于对初始样本皮炎皮损图像进行图像分割，得到初始样本皮炎皮损图像对应的第一图像区域和第二图像区域；第一图像区域为包括皮炎皮损图像数据的区域，第二图像区域为不包括皮炎皮损图像数据的区域。

可选地，终端设备1还可以包括：剔除单元，

剔除单元，用于利用预定义高光分量系数，剔除所述第一图像区域内的镜面反射分量，得到去高光后的第一图像区域。

可选地，终端设备1还可以包括：确定单元，

确定单元，用于利用预定义漫反射分量系数，确定出第二图像区域内的漫反射分量。

可选地，所述生成单元12，还用于根据漫反射分量生成去高光后的第二图像区域；利用去高光后的第一图像区域和去高光后的第二图像区域，生成皮炎皮损图像数据。

可选地，终端设备1还可以包括：定位单元，

定位单元，用于从初始样本皮炎皮损图像中定位病灶区域。

可选地，终端设备1还可以包括：截取单元，

截取单元，用于以病灶区域为中心，从初始样本皮炎皮损图像数据中截取第一皮炎皮损图像。

可选地，终端设备1还可以包括：分离单元，

分离单元，用于将第一皮炎皮损图像分离成RGB三通道图像数据。

可选地，所述生成单元12，还用于根据RGB三通道图像数据生成图像掩码。

可选地，终端设备1还可以包括：划分单元，

划分单元，用于利用图像掩码将初始样本皮炎皮损图像数据划分为第一图像区域和第二图像区域。

可选地，终端设备1还可以包括：偏移单元，

偏移单元，用于将多个第二特征图和样本皮炎皮损图像数据按照预设角度进行图像偏移，得到偏移后的图像数据。

可选地，终端设备1还可以包括：裁剪单元，

裁剪单元，用于将多个第二特征图和样本皮炎皮损图像数据进行图像裁剪，得到裁剪后的图像数据。

可选地，终端设备1还可以包括：旋转单元，

旋转单元，用于将多个第二特征图和样本皮炎皮损图像数据按照预设旋转角度进行图像旋转，得到旋转后的图像数据。

可选地，终端设备1还可以包括：滤波单元，

滤波单元，用于将多个第二特征图和样本皮炎皮损图像数据进行带阻滤波处理，得到滤波后的图像数据。

可选地，输入单元10，还用于将多个第二特征图和样本皮炎皮损图像数据、和/或偏移后的图像数据、和/或裁剪后的图像数据、和/或旋转后的图像数据、和/或滤波后的图像数据，依次输入到生成对抗网络的判别器中。

可选地，终端设备1还可以包括：处理单元，

处理单元，用于利用多层感知器，对第三特征图进行处理，得到第三特征图对应的特征向量。

可选地，终端设备1还可以包括：计算单元，

计算单元，用于计算每两个特征向量之间的余弦距离。

可选地，所述确定单元，还用于根据每两个特征向量之间的余弦距离确定生成图像对应的第一余弦距离和以及样本图像对应的第二余弦距离和。

可选地，终端设备1还可以包括：比较单元，

比较单元，用于将第一余弦距离和与第一预设阈值进行比较，得到第一比较结果；将第二余弦距离和与第二预设阈值进行比较，得到第二比较结果。

可选地，所述确定单元，还用于将第一比较结果和第二比较结果确定为判决结果。

本申请实施例提供的一种终端设备，将随机向量输入到生成器中，依次通过全连接层、重构reshape层和卷积层，得到第一特征图；对第一特征图经双路径连接块DPB的处理后执行多次上采样，得到多个第二特征图；将多个第二特征图和样本皮炎皮损图像依次输入到生成对抗网络的判别器中，依次通过卷积层、DPB的处理后执行多次最大池化，得到第三特征图，并经全连接层对第三特征图进行处理，得到判决结果；利用判决结果和预设损失函数，对生成器进行训练，得到训练后的生成器；以利用训练后的生成器生成目标皮炎皮损图像。由此可见，本申请实施例提出的一种终端设备，在图像生成的过程中，在生成器中将随机向量依次输入到全连接层、reshape层及卷积层得到第一特征图之后，将第一特征图经过DPB处理，DPB中采用分组卷积的降低参数数量，有效提高模型的训练速度，且生成器和判别器中都是用双路径网络DPN作为生成器和判别器的骨干网络进行特征提取，能够有效学习到皮炎皮损图像的特征，提高生成图像的真实性，从而能够利用现有较少的样本数高效生成大量的细节清晰且符合医学要求的特异性皮炎皮损图像。

图7为本申请实施例提供的另一种终端设备1的组成结构示意图，在实际应用中，基于上述实施例的同一公开构思下，如图7所示，本实施例的终端设备1包括处理器13、存储器14和通信总线15。

在具体的实施例过程中，上述输入单元10、训练单元11、生成单元12、转换单元、分割单元、剔除单元、确定单元、定位单元、截取单元、分离单元、划分单元、偏移单元、裁剪单元、旋转单元、滤波单元、处理单元、计算单元、比较单元可由位于终端设备1上的处理器13实现，上述处理器13可以为特定用途集成电路(ASIC，Application Specific IntegratedCircuit)、数字信号处理器(DSP，Digital Signal Processor)、数字信号处理图像处理装置(DSPD，Digital Signal Processing Device)、可编程逻辑图像处理装置(PLD，Programmable Logic Device)、现场可编程门阵列(FPGA，Field Programmable GateArray)、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本实施例不作具体限定。

在本申请实施例中，上述通信总线15用于实现处理器13和存储器14之间的连接通信；上述处理器13执行存储器14中存储的运行程序时实现如下的图像生成方法：

将随机向量输入到生成器中，依次通过全连接层、重构reshape层和卷积层，得到第一特征图；对第一特征图经双路径连接块DPB的处理后执行多次上采样，得到多个第二特征图；将多个第二特征图和样本皮炎皮损图像依次输入到生成对抗网络的判别器中，依次通过卷积层、DPB的处理后执行多次最大池化，得到第三特征图，并经全连接层对所述第三特征图进行处理，得到判决结果；利用判决结果和预设损失函数，对生成器进行训练，得到训练后的生成器；以利用训练后的生成器生成目标皮炎皮损图像。

进一步地，上述处理器13，还用于依次将每一个第二特征图分别输入多个预设卷积中，得到多个第三特征图；通过对多个第三特征图进行融合和筛选处理，将每一个第二特征图对应转换为一个包含目标特征数据的第二特征图；目标特征数据为表征病灶区域和正常皮肤区域之间的相接区域的特征数据。

进一步地，上述处理器13，还用于将多个包含目标特征数据的第二特征图和所述皮炎皮损图像数据依次输入到所述生成对抗网络的判别器中。

进一步地，上述处理器13，还用于对初始样本皮炎皮损图像进行图像分割，得到初始样本皮炎皮损图像对应的第一图像区域和第二图像区域；第一图像区域为包括皮炎皮损图像数据的区域，第二图像区域为不包括皮炎皮损图像数据的区域；利用预定义高光分量系数，剔除第一图像区域内的镜面反射分量，得到去高光后的第一图像区域；利用预定义漫反射分量系数，确定出第二图像区域内的漫反射分量；并根据漫反射分量生成去高光后的第二图像区域；利用去高光后的第一图像区域和去高光后的第二图像区域，生成皮炎皮损图像数据。

进一步地，上述处理器13，还用于从初始样本皮炎皮损图像中定位病灶区域；以病灶区域为中心，从初始样本皮炎皮损图像数据中截取第一皮炎皮损图像；将第一皮炎皮损图像分离成RGB三通道图像数据；根据RGB三通道图像数据生成图像掩码，并利用图像掩码将初始样本皮炎皮损图像数据划分为第一图像区域和第二图像区域。

进一步地，上述处理器13，还用于将多个第二特征图和样本皮炎皮损图像数据按照预设角度进行图像偏移，得到偏移后的图像数据；和/或，将多个第二特征图和样本皮炎皮损图像数据进行图像裁剪，得到裁剪后的图像数据；和/或，将多个第二特征图和样本皮炎皮损图像数据按照预设旋转角度进行图像旋转，得到旋转后的图像数据；和/或，将多个第二特征图和样本皮炎皮损图像数据进行带阻滤波处理，得到滤波后的图像数据。

进一步地，上述处理器13，还用于将多个第二特征图和样本皮炎皮损图像数据、和/或偏移后的图像数据、和/或裁剪后的图像数据、和/或旋转后的图像数据、和/或滤波后的图像数据，依次输入到生成对抗网络的判别器中。

进一步地，上述处理器13，还用于利用多层感知器，对第三特征图进行处理，得到第三特征图对应的特征向量；计算每两个特征向量之间的余弦距离；并根据每两个特征向量之间的余弦距离确定生成图像对应的第一余弦距离和以及样本图像对应的第二余弦距离和；将第一余弦距离和与第一预设阈值进行比较，得到第一比较结果；将第二余弦距离和与第二预设阈值进行比较，得到第二比较结果；将第一比较结果和第二比较结果确定为判决结果。

基于上述实施例，本申请实施例提供一种存储介质，其上存储有计算机程序，上述计算机可读存储介质存储有一个或者多个程序，上述一个或者多个程序可被一个或者多个处理器执行，应用于终端设备中，该计算机程序实现如上述的数据处理方法。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台图像显示设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本公开各个实施例所述的方法。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。