人脸图像处理方法、装置及电子设备

技术领域

本申请属于图像处理技术领域，具体涉及一种人脸图像处理方法、装置及电子设备。

背景技术

目前，绝大多数用户对手机自拍的效果越来越关注，不仅仅追求美白美颜，对于脸上一些局部的细节美感也特别在意，比如对于自己的眉毛希望紧凑整齐，同时不希望改变自己原有的眉型。

在实现本申请过程中，发明人发现现有技术中至少存在如下问题：

现有的修眉的处理方法主要是需要用户手动利用各种美图软件人工对眉毛进行编辑，修除眉毛旁边的杂毛，这种人工修整眉毛的方法，费时费力，对用户不友好。

发明内容

本申请实施例的目的是提供一种控制方法、装置及电子设备，能够解决现有技术中用户手动利用各种美图软件，对眉毛进行编辑，修除眉毛旁边的杂毛方式，费时费力，对用户不友好的问题。

为了解决上述技术问题，本申请是这样实现的：

第一方面，本申请实施例提供了一种人脸图像处理方法，包括：

确定第一人脸图像中的眉毛区域；

对所述眉毛区域中的杂毛区域进行边缘检测，获得杂毛掩膜图像；

在所述第一人脸图像中去除所述杂毛掩膜图像，得到第二人脸图像；

将所述第二人脸图像输入至皮肤生成器模型，以在所述第二人脸图像中所述杂毛掩膜图像的位置生成皮肤纹理，得到目标修正图像。第二方面，本申请实施例提供了一种人脸图像处理装置，包括：

第一确定模块，用于获确定第一人脸图像中的眉毛区域；

检测模块，用于对所述眉毛区域中的杂毛区域进行边缘检测，获得杂毛掩膜图像；

第一处理模块，用于在所述第一人脸图像中去除所述杂毛掩膜图像，得到第二人脸图像；

第二处理模块，用于将所述第二人脸图像输入至皮肤生成器模型，以在所述第二人脸图像中所述杂毛掩膜图像的位置生成皮肤纹理，得到目标修正图像。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。

在本申请实施例中，通过获取第一人脸图像中的眉毛区域，解析所述眉毛区域中的杂毛区域，获得杂毛掩膜图像；进一步在所述第一人脸图像中去除所述杂毛掩膜图像，得到第二人脸图像；将所述第二人脸图像输入至皮肤生成器模型，以在所述第二人脸图像中所述杂毛掩膜图像的位置生成皮肤纹理，得到目标修正图像。本申请能够智能的对人脸图像中的眉毛进行修整，智能地去除杂眉，并生成真实的皮肤纹理，达到无涂抹感的效果，便捷用户使用的同时，有利于提升眉毛的整体美感。

附图说明

图1是本申请实施例的控制方法流程示意图；

图2是本申请实施例的杂毛掩膜图像的示意图；

图3是本申请实施例的第一人脸样本集中的真实人脸图像的示意图；

图4是本申请实施例的第二人脸样本集中的人脸图像的示意图；

图5是本申请实施例的生成对抗网络的架构图；

图6是本申请实施例的杂毛检测模板的示意图；

图7是本申请实施例的人脸图像处理装置的框图；

图8是本申请实施例的电子设备的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的控制方法进行详细地说明。

如图1所示，本申请实施例提供一种人脸图像处理方法，包括以下步骤：

步骤11：确定第一人脸图像中的眉毛区域；

该步骤中，电子设备上显示有第一人脸图像；接收第一输入，响应于第一输入，获取第一人脸图像中的眉毛区域。具体的，可基于眉毛特征点的位置，获取归一化的眉毛图像区域。

示例性的，以电子设备为手机为例，考虑手机上网络速度的因素，采用基于mobilenetV2模块的深度网络技术，获取眉毛特征点。mobilenetV2模块可通过分离卷积和逆残差结构，在保持精度的同时能够提升网络的运行速度。

步骤12：对所述眉毛区域中的杂毛区域进行边缘检测，获得杂毛掩膜图像；

掩膜是由0和1组成的一个二进制图像，如图2所示，其示出了杂毛掩膜图像的示意图，图2中，白色部分为杂毛区域，其像素值为1，黑色部分的像素值为0。

步骤13：在所述第一人脸图像中去除所述杂毛掩膜图像，得到第二人脸图像；

该步骤中，在所述第一人脸图像中去除所述杂毛掩膜图像，即将第一人脸图像中对应的杂毛区域变成黑色，从而去除杂毛，得到第二人脸图像。

步骤14：将所述第二人脸图像输入至皮肤生成器模型，以在所述第二人脸图像中所述杂毛掩膜图像的位置生成皮肤纹理，得到目标修正图像。

具体的，将所述第二人脸图像作为基于生成对抗网络模型训练的皮肤生成器模型的输入，运行所述皮肤生成器模型，在所述第二人脸图像中去除所述杂毛掩膜图像的位置生成真实的皮肤纹理；通过基于生成对抗网络模型训练的皮肤生成器模型能够将第二人脸图像中缺失的杂毛区域对应生成真实的皮肤纹理。进一步将所述皮肤生成器模型的输出作为所述第一人脸图像的目标修正图像。

上述实施例中，通过获取第一人脸图像中的眉毛区域，解析所述眉毛区域中的杂毛区域，获得杂毛掩膜图像；进一步在所述第一人脸图像中去除所述杂毛掩膜图像，得到第二人脸图像；将所述第二人脸图像输入至皮肤生成器模型，以在所述第二人脸图像中所述杂毛掩膜图像的位置生成皮肤纹理，得到目标修正图像。能够实现智能的对人脸图像中的眉毛进行修整，智能地去除杂眉，并生成真实的皮肤纹理，达到无涂抹感的效果，便捷用户使用的同时，有利于提升眉毛的整体美感。

在一实施例中，所述皮肤生成器模型是基于生成对抗网络模型训练得到的，基于生成对抗网络模型训练所述皮肤生成器模型的步骤，包括：

获取第一人脸样本集；

通过在所述第一人脸样本集中的各张人脸图像中随机生成掩膜图像线条，模拟真实的杂毛区域皮肤缺损，获得第二人脸样本集；

将所述第二人脸样本集输入至所述生成对抗网络模型的生成器模型，得到修复缺损皮肤后的生成样本集；

将所述生成样本集和所述第一人脸样本集输入至所述生成对抗网络模型的判别器模型，得到判别结果；

利用所述判别结果更新所述生成器模型，并继续将所述第二人脸样本集输入至所述生成器模型，得到修复缺损皮肤后的生成样本集，进行迭代训练；

在所述判别结果满足迭代训练结束条件后，将更新后的所述生成器模型作为所述皮肤生成器模型。

需要说明的是，如果直接检测出杂毛获取大量的训练图片集，然后利用卷积神经网络CNN进行有监督训练是无法达到目的，因为杂毛检测到的图像区域本身就是有杂毛存在，即网络的训练样本集是无法获取的，这样CNN网络是无法学习到去除杂毛再生成纹理的目的。

该实施例中，使用一种无监督的训练方式去获取训练集，即收集一定量的(如约5万张)的高清图片集合(第一人脸样本集)，获取方式包括搜索公开数据库以及网页爬图等方式，这种无标签的图片获取很方便。

示例性的，如图3中，其示出的是第一人脸样本集中的其中一张完整的真实人脸图像的示意图，如图4中，其示出的是在图3所示的真实人脸图像中随机生成掩膜图像线条，模拟真实的杂毛区域皮肤缺损，所得到的人脸图像的示意图；其中，掩膜图像线条为与杂毛相似的黑色线条。图3与图4组成一训练数据对，生成对抗网络模型的生成器网络模型学习的是如何将图4中的黑色线条缺失部分进行皮肤填充，从而输出真实的皮肤区域。

需要指出，生成对抗网络模型包括生成器网络模型和判别器网络模型，生成器网络模型用于根据输入数据生成一张尽可能真实的假图片，判别器网络模型用于判别出输入的一张图片属于真实图片还是假图片。生成对抗网络训练是指由生成器网络模型生成一张图片去欺骗判别器网络模型，然后判别器网络模型去判断这张图片以及对应的真实图片是真是假，在这两个模型训练的过程中，使得两个模型的能力越来越强，最终达到稳态的过程。

在一实施例中，所述生成器网络模型是基于U-Net网络结构加跳层连接的方式构建的。

该实施例中，由于不仅需要生成高层的语义特征细节，还需要生成人脸皮肤底层的纹理信息，所以基于U-Net网络结构加上跳层连接的方式设计生成对抗网络的生成器网络模型，将底层网络提取的信息与上层卷积提取的信息进行拼接，极大提升网络的学习效果。

U-Net网络结构是一个包含下采样和上采样的网络结构。其中，下采样用来逐渐展现环境信息，而上采样的过程是结合下采样各层信息和上采样的输入信息来还原细节信息，并且逐步还原图像精度。

如图5中，对第二人脸样本集中的图像B进行卷积，将卷积输出结果进行空洞卷积，将空洞卷积输出结果再进行反卷积，最终生成一张假图片A’。其中这里，下采样是通过卷积实现的，上采样是通过反卷积实现的，进一步通过跳层连接将上采样和下采样的两个特征连接在一起。

在一实施例中，所述判别器网络模型是基于光谱归一化构建的。

该实施例中，使用基于光谱归一化(SN)的判别器网络，能够提升网络训练的稳定性。

如图5中，将生成器网络模型生成的图片A’和第一人脸样本集中的原始图像A，输入至判别器网络模型中，进行真假判别，输出的判别结果用于更新生成器网络模型。

在一实施例中，所述对所述眉毛区域中的杂毛区域进行边缘检测，获得杂毛掩膜图像的步骤之前，还包括：

在检测到所述眉毛区域中存在画眉区域的情况下，根据画眉区域确定杂毛区域，且确定的所述杂毛区域为与所述画眉区域不重叠的区域。

该实施例中，对于已经画过的眉形区域，若其周围存在杂毛眉，由于其与所述杂毛区域为不重叠的区域，就算通过皮肤生成器网络模型也不会对眉毛产生误伤或者其他操作；若其周围不存在杂眉，则杂毛掩膜图像是全黑的，通过皮肤生成器网络模型也不会对眉毛产生误伤或者其他操作。因此，该实施例不会对已画眉形造成损伤。

在一实施例中，上述步骤12包括：

根据预先确定的杂毛检测模板，解析所述眉毛区域的杂毛区域；

利用canny算子对所述杂毛区域进行边缘检测，确定所述杂毛掩膜图像。

示例性的，如图6所示，其示出了杂毛检测模板的示意图，其可通过大量实验对比分析获得，通过该模板即可明确保护哪里和检测哪里。其中，图6中的白色区域即为杂毛检测区域，斜纹区域为需要保护的区域，白色区域中的杂毛具有明显的边缘信息，通过canny算子对所述杂毛区域进行边缘检测，确定所述杂毛掩膜图像，从而实现对杂毛的自动检测，得到如图2所示的杂毛掩膜图像。

在一实施例中，步骤13包括：

通过将所述杂毛掩膜图像的像素值取反，得到第一目标图像；

将所述第一目标图像与所述第一人脸图像相乘，得到第二人脸图像；所述第二人脸图像为在所述第一人脸图像中去除了所述杂毛掩膜图像后的人脸图像。

该实施例中，杂毛掩膜图像中的杂毛区域的像素值为1，通过取反后，使杂毛区域的像素值为0，这样，将第一目标图像与第一人脸图像相乘，即可得到杂毛部分对应为黑色缺损图像的第二人脸图像。

上述实施例中，在皮肤生成器网络模型训练完成之后，在实际使用的推理阶段，只需要通过杂毛自动检测模块首先检测出杂毛掩膜mask图像，然后与原始输入图片经常相乘后，再输入给训练好的皮肤生成器网络模型中，就可以去找除杂毛的同时生成真实的皮肤纹理，通过该方案能够实现智能地对眉毛进行修剪，无需人工操作；不仅可以去找眉毛旁边的无用杂毛，还可以生成真实的皮肤纹理；且没有任何误伤，对于已经画眉的女生此时杂毛检测掩膜Mask是全黑的，就算通过皮肤生成器模型也不会对眉毛产生误伤或者其他操作。

需要说明的是，本申请实施例提供的人脸图像处理方法，执行主体可以为人脸图像处理装置，或者该人脸图像处理装置中的用于执行加载人脸图像处理的方法的控制模块。本申请实施例中以人脸图像处理装置执行加载人脸图像处理的方法为例，说明本申请实施例提供的人脸图像处理的方法。

如图7所示，本发明实施例还提供了一种人脸图像处理装置700，包括：

第一确定模块701，用于确定第一人脸图像中的眉毛区域；

检测模块702，用于对所述眉毛区域中的杂毛区域进行边缘检测，获得杂毛掩膜图像；

第一处理模块703，用于在所述第一人脸图像中去除所述杂毛掩膜图像，得到第二人脸图像；

第二处理模块704，用于将所述第二人脸图像输入至皮肤生成器模型，以在所述第二人脸图像中所述杂毛掩膜图像的位置生成皮肤纹理，得到目标修正图像。

可选的，所述皮肤生成器模型是基于生成对抗网络模型训练得到的，人脸图像处理装置700还包括：

第二获取模块，用于获取第一人脸样本集；

第三获取模块，用于通过在所述第一人脸样本集中的各张人脸图像中随机生成掩膜图像线条，模拟真实的杂毛区域皮肤缺损，获得第二人脸样本集；

生成模块，用于将所述第二人脸样本集输入至所述生成对抗网络模型的生成器网络模型，得到修复缺损皮肤后的生成样本集；

判别模块，用于将所述生成样本集和所述第一人脸样本集输入至所述生成对抗网络模型的判别器模型，得到判别结果；

训练更新模块，用于利用所述判别结果更新所述生成器网络模型，并继续将所述第二人脸样本集输入至所述生成器网络模型，得到修复缺损皮肤后的生成样本集，进行迭代训练；

第三处理模块，用于在所述判别结果满足迭代训练结束条件后，将更新后的所述生成器网络模型作为所述皮肤生成器模型。

可选的，所述生成器网络模型是基于U-Net网络结构加跳层连接的方式构建的。

可选的，装置700还包括：

第二确定模块，用于在检测到所述眉毛区域中存在画眉区域的情况下，根据画眉区域确定杂毛区域，且确定的所述杂毛区域为与所述画眉区域不重叠的区域。

可选的，所述判别器网络模型是基于光谱归一化构建的。

可选的，所述检测模块702包括：

第一检测子模块，用于根据预先确定的杂毛检测模板，解析所述眉毛区域的杂毛区域；

第二检测子模块，用于利用canny算子对所述杂毛区域进行边缘检测，确定所述杂毛掩膜图像。

可选的，所述第一处理模块703包括：

第一处理子模块，用于通过将所述杂毛掩膜图像的像素值取反，得到第一目标图像；

第二处理子模块，用于将所述第一目标图像与所述第一人脸图像相乘，得到第二人脸图像；所述第二人脸图像为在所述第一人脸图像中去除了所述杂毛掩膜图像后的人脸图像。

本申请实施例中的人脸图像处理装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的人脸图像处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为iOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的人脸图像处理装置能够实现图1的方法实施例中-人脸图像处理装置实现的各个过程，为避免重复，这里不再赘述。

本申请实施例中的人脸图像处理装置700，通过通过获取第一人脸图像中的眉毛区域，解析所述眉毛区域中的杂毛区域，获得杂毛掩膜图像；进一步在所述第一人脸图像中去除所述杂毛掩膜图像，得到第二人脸图像；将所述第二人脸图像输入至皮肤生成器模型，以在所述第二人脸图像中所述杂毛掩膜图像的位置生成皮肤纹理，得到目标修正图像。能够实现智能的对人脸图像中的眉毛进行修整，智能地去除杂眉，并生成真实的皮肤纹理，达到无涂抹感的效果，便捷用户使用的同时，有利于提升眉毛的整体美感。

可选的，本申请实施例还提供一种电子设备，包括处理器810，存储器809，存储在存储器809上并可在所述处理器810上运行的程序或指令，该程序或指令被处理器810执行时实现上述折叠式电子设备的控制方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要注意的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

图8为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备800包括但不限于：射频单元801、网络模块802、音频输出单元803、输入单元804、传感器805、显示单元806、用户输入单元807、接口单元808、存储器809、以及处理器810等部件。

本领域技术人员可以理解，电子设备800还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器810逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图8中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，处理器810，用于确定第一人脸图像中的眉毛区域；

对所述眉毛区域中的杂毛区域进行边缘检测，获得杂毛掩膜图像；

在所述第一人脸图像中去除所述杂毛掩膜图像，得到第二人脸图像；

将所述第二人脸图像输入至皮肤生成器模型，以在所述第二人脸图像中所述杂毛掩膜图像的位置生成皮肤纹理，得到目标修正图像。

本申请实施例中的电子设备800，通过获取第一人脸图像中的眉毛区域，解析所述眉毛区域中的杂毛区域，获得杂毛掩膜图像；进一步在所述第一人脸图像中去除所述杂毛掩膜图像，得到第二人脸图像；将所述第二人脸图像输入至皮肤生成器模型，以在所述第二人脸图像中所述杂毛掩膜图像的位置生成皮肤纹理，得到目标修正图像。能够实现智能的对人脸图像中的眉毛进行修整，智能地去除杂眉，并生成真实的皮肤纹理，达到无涂抹感的效果，便捷用户使用的同时，有利于提升眉毛的整体美感。

可选的，处理器810，还用于获取第一人脸样本集；

通过在所述第一人脸样本集中的各张人脸图像中随机生成掩膜图像线条，模拟真实的杂毛区域皮肤缺损，获得第二人脸样本集；

将所述第二人脸样本集输入至所述生成对抗网络模型的生成器模型，得到修复缺损皮肤后的生成样本集；

将所述生成样本集和所述第一人脸样本集输入至所述生成对抗网络模型的判别器模型，得到判别结果；

利用所述判别结果更新所述生成器模型，并继续将所述第二人脸样本集输入至所述生成器模型，得到修复缺损皮肤后的生成样本集，进行迭代训练；

在所述判别结果满足迭代训练结束条件后，将更新后的所述生成器模型作为所述皮肤生成器模型。

可选的，所述生成器网络模型是基于U-Net网络结构加跳层连接的方式构建的。

可选的，处理器810，还用于在检测到所述眉毛区域中存在画眉区域的情况下，根据画眉区域确定杂毛区域，且确定的所述杂毛区域为与所述画眉区域不重叠的区域。

可选的，所述判别器网络模型是基于光谱归一化构建的。

可选的，处理器810，还用于根据预先确定的杂毛检测模板，解析所述眉毛区域的杂毛区域；

利用canny算子对所述杂毛区域进行边缘检测，确定所述杂毛掩膜图像。

可选的，处理器810，还用于通过将所述杂毛掩膜图像的像素值取反，得到第一目标图像；

将所述第一目标图像与所述第一人脸图像相乘，得到第二人脸图像；所述第二人脸图像为在所述第一人脸图像中去除了所述杂毛掩膜图像后的人脸图像。

应理解的是，本申请实施例中，输入单元804可以包括图形处理器(GraphicsProcessing Unit，GPU)8041和麦克风8042，图形处理器8041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元806可包括显示面板8061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板8061。用户输入单元807包括触控面板8071以及其他输入设备8072。触控面板8071，也称为触摸屏。触控面板8071可包括触摸检测装置和触摸控制器两个部分。其他输入设备8072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器809可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器810可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器810中。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述人脸图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述人脸图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。