虚拟美妆方法、装置和电子设备

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种虚拟美妆方法、装置和电子设备。

背景技术

随着计算机视觉技术的发展，虚拟美妆逐渐成为一种新的美妆方式，在虚拟美妆过程中，需要将美妆产品颜色与待美妆图像颜色进行叠加，以得到带有美妆效果的美妆图像。

由于，不同图像采集设备的参数设置存在区别，使得不同图像采集设备采集到的待美妆图像有明显色差，致使在不同图像采集设备上进行虚拟美妆得到的美妆图像的美妆效果存在较大差异，影响了虚拟美妆的真实性。

发明内容

有鉴于此，本发明的目的在于提供一种虚拟美妆方法、装置和电子设备，以提升虚拟试妆的真实性。

第一方面，本发明实施例提供了一种虚拟美妆方法，其中，上述方法包括：对待美妆的人脸图像进行白平衡处理，得到人脸优化图像；获取人脸优化图像中的人脸目标部位；根据与人脸目标部位对应的美妆模板对人脸优化图像中的人脸目标部位进行美妆处理，得到人脸目标部位带有美妆效果的人脸美妆图像。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，上述方法还包括：对人脸美妆图像进行白平衡逆变换处理，得到人脸美妆结果图像。

结合上述实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，对待美妆的人脸图像进行白平衡处理，得到人脸优化图像的步骤，包括：根据待美妆的人脸图像中每个像素点对应各个颜色通道的颜色值，计算各个颜色通道对应的颜色通道均值；对颜色通道均值求平均，得到总均值；基于总均值和各个颜色通道对应的颜色通道均值，计算各个颜色通道对应的校正系数；根据校正系数对人脸图像中的像素点进行校正，得到人脸优化图像。

结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，根据校正系数对人脸图像中的像素点进行校正，得到人脸优化图像的步骤，包括：根据校正系数对人脸图像中的每个像素点进行第一校正处理，得到每个像素点在各个颜色通道上的校正颜色值；检查校正颜色值中的最大值是否大于预设阈值；如果是，基于预设的校正方式对校正颜色值进行第二校正处理，得到人脸优化图像；如果否，根据每个像素点在各个颜色通道对应的颜色校正值直接获得人脸优化图像；其中，人脸优化图像中的像素点在各个颜色通道对应的校正颜色值均小于或等于预设阈值。

结合第一方面的第三种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，根据校正系数对人脸图像中的每个像素点进行第一校正处理，得到该像素点在该颜色通道上的校正颜色值的步骤，包括：对于人脸图像中的每个像素点，均将人脸图像中的每个像素点对应各个颜色通道的颜色值，分别乘以该颜色通道对应的校正系数，得到该像素点在该颜色通道上的校正颜色值。

结合第一方面的第三种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，基于预设的校正方式对校正颜色值进行第二校正处理的步骤包括：将大于预设阈值的校正颜色值修改为预设阈值，或者，将校正颜色值从0至最大值区间映射为0至预设阈值区间。

结合上述实施方式，本发明实施例提供了第一方面的第六种可能的实施方式，其中，获取人脸优化图像中的人脸目标部位的步骤包括：检测人脸优化图像中人脸目标部位的第一边缘关键点，将第一边缘关键点包围的部位作为人脸目标部位；根据与人脸目标部位对应的美妆模板对人脸优化图像中的人脸目标部位进行美妆处理，得到人脸目标部位带有美妆效果的人脸美妆图像的步骤，包括：根据检测到的第一边缘关键点调整人脸目标部位的美妆模板，以使调整后的美妆模板适配于人脸优化图像中的人脸目标部位；将人脸优化图像与调整后的美妆模板进行图像融合，得到人脸美妆图像。

结合第一方面的第六种可能的实施方式，本发明实施例提供了第一方面的第七种可能的实施方式，其中，检测人脸优化图像中人脸目标部位的第一边缘关键点的步骤，包括：将人脸优化图像输入人脸关键点检测模型，进行人脸关键点检测，得到人脸优化图像中的人脸关键点；根据人脸关键点从人脸优化图像中截取与人脸目标部位对应的目标部位图像；对目标部位图像进行边缘点检测，得到人脸目标部位的第一边缘关键点。

结合第一方面的第六种可能的实施方式，本发明实施例提供了第一方面的第八种可能的实施方式，其中，根据检测到的第一边缘关键点调整人脸目标部位的美妆模板的步骤，包括：获取人脸目标部位的美妆模板对应的第二边缘关键点；对美妆模板进行变换处理，以使第一边缘关键点与第二边缘关键点对齐；其中，变换处理包括以下至少之一：放大变换、平移变换、旋转变换和缩小变换。

结合第一方面的第六种可能的实施方式，本发明实施例提供了第一方面的第九种可能的实施方式，其中，将人脸优化图像与调整后的美妆模板进行图像融合的步骤，包括：基于检测到的第一边缘关键点，获取人脸优化图像中人脸目标部位包含的第一像素点集合；其中，第一像素点集合包括多个第一像素点；获取调整后的美妆模板包含的第二像素点集合；其中，第二像素点集合包括多个第二像素点；在美妆模板上查找与第一像素点对应的第二像素点；对于每个第一像素点的每个颜色通道，均基于该第一像素点和第一像素点对应的第二像素点在该颜色通道的颜色值，计算融合颜色值。

结合第一方面的第九种可能的实施方式，本发明实施例提供了第一方面的第十种可能的实施方式，其中，基于该第一像素点和第一像素点对应的第二像素点在该颜色通道的颜色值，计算融合颜色值的步骤，包括：

通过以下颜色融合公式计算融合颜色值：

结合第一方面的第九种可能的实施方式，本发明实施例提供了第一方面的第十一种可能的实施方式，其中，将人脸优化图像与调整后的美妆模板进行图像融合的步骤，还包括：基于融合颜色值和第一像素点在该颜色通道的颜色值进行透明度融合，得到第一像素点在该颜色通道的美妆颜色值。

结合第一方面的第十一种可能的实施方式，本发明实施例提供了第一方面的第十二种可能的实施方式，其中，基于融合颜色值和第一像素点在该颜色通道的颜色值进行透明度融合，得到第一像素点在该颜色通道的美妆颜色值的步骤，还包括：通过以下透明度变换公式确定美妆颜色值：T＝k*C+(1-k)*A；其中，k为预设透明度系数，T为第一像素点在该颜色通道的美妆颜色值。

结合上述实施方式，本发明实施例提供了第一方面的第十三种可能的实施方式，其中，对人脸美妆图像进行白平衡逆变换处理的步骤，包括：对于人脸美妆图像中的每个像素点，均将人脸美妆图像中的每个像素点对应各个颜色通道的颜色值，分别除以该颜色通道对应的校正系数。

第二方面，本发明实施例还提供一种虚拟美妆装置，其中，上述装置包括：第一处理模块，用于对待美妆的人脸图像进行白平衡处理，得到人脸优化图像；目标部位获取模块，用于获取人脸优化图像中的人脸目标部位；第二处理模块，根据与人脸目标部位对应的美妆模板对人脸优化图像中的人脸目标部位进行美妆处理，得到人脸目标部位带有美妆效果的人脸美妆图像。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，上述装置还包括：逆处理模块，用于对人脸美妆图像进行白平衡逆变换处理，得到人脸美妆结果图像。

第三方面，本发明实施例还提供一种电子设备，其中，该电子设备包括：图像采集设备、处理设备和存储装置；图像采集设备，用于获取待检测图像；存储装置上存储有计算机程序，计算机程序在被处理设备运行时执行上述的虚拟美妆方法。

第四方面，本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其中，计算机程序被处理设备运行时执行上述的虚拟美妆方法的步骤。

本发明实施例带来了以下有益效果：

本申请实施例提供一种虚拟美妆方法、装置和电子设备，其中，通过对待美妆的人脸图像进行白平衡处理，得到人脸优化图像，再获取人脸优化图像中的人脸目标部位；根据与人脸目标部位对应的美妆模板对人脸优化图像中的人脸目标部位进行美妆处理，得到人脸目标部位带有美妆效果的人脸美妆图像。这种虚拟美妆技术中，采用白平衡处理优化人脸图像，而白平衡处理主要是调整人脸图像的颜色，这样能够使该虚拟美妆技术应用于不同的设备采集到的人脸图像时，减少不同设备采集到的图像间的色差，进而保证人脸优化图像与美妆模板进行美妆处理得到的人脸美妆图像的美妆效果大致相同，有效缓解了在不同图像采集设备上进行虚拟美妆得到的美妆效果存在较大差异性的问题，从而提升了虚拟美妆的真实性。

本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种电子设备的结构示意图；

图2为本发明实施例提供的一种虚拟美妆方法的流程图；

图3为本发明实施例提供的另一种虚拟美妆方法的流程图；

图4为本发明实施例提供的另一种虚拟美妆方法的流程图；

图5为本发明实施例提供的一种第一边缘关键点的点位示意图；

图6为本发明实施例提供的另一种虚拟美妆方法的流程图；

图7为本发明实施例提供的另一种虚拟美妆方法的流程图；

图8为本发明实施例提供的一种虚拟美妆装置的结构示意图；

图9为本发明实施例提供的另一种虚拟美妆装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

考虑到不同的图像采集设备采集到的图像有明显的颜色差异，致使在不同设备上对同一张人脸进行虚拟美妆时，美妆效果存在较大差异，为了减小这种差异性，提升虚拟美妆的真实性，本发明实施例提供了一种虚拟美妆方法、装置和电子设备，通过引入白平衡处理进行人脸图像优化，在优化的基础上进行后续虚拟美妆操作，以改善美妆效果。下面通过实施例进行描述。

如图1所示的一种电子设备的结构示意图，电子设备100包括一个或多个处理设备102、一个或多个存储装置104、输入装置106、输出装置108以及一个或多个图像采集设备110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，电子设备也可以具有其他组件和结构。

处理设备102可以为服务器、智能终端，或者是包含中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元的设备，可以对电子设备100中的其它组件的数据进行处理，还可以控制电子设备100中的其它组件以执行虚拟美妆的功能。

存储装置104可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理设备102可以运行程序指令，以实现下文的本发明实施例中(由处理设备实现)的客户端功能以及/或者其它期望的功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据，例如应用程序使用和/或产生的各种数据等。

输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

图像采集设备110可以获取待检测图像，并且将采集到的图像存储在存储装置104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的虚拟美妆方法、装置和电子设备中的各器件可以集成设置，也可以分散设置，诸如将处理设备102、存储装置104、输入装置106和输出装置108集成设置于一体，而将图像采集设备110设置于可以采集到图像的指定位置。当上述电子设备中的各器件集成设置时，该电子设备可以被实现为诸如相机、智能手机、平板电脑、计算机、车载终端等智能终端。

本实施例提供了一种虚拟美妆方法，其中，参见图2所示的一种虚拟美妆方法的流程图，该方法具体包括如下步骤：

步骤S202，对待美妆的人脸图像进行白平衡处理，得到人脸优化图像；

上述待美妆的人脸图像可通过具有图像采集功能的电子设备(例如、手机、平板电脑等)采集得到，在实际使用时，由于电子设备的操作系统(安卓系统、苹果系统)不同或者采集图像的摄像头的自动白平衡参数设置存在区别，致使不同电子设备采集到的待美妆的人脸图像在颜色上存在明显差异。

为了减小不同电子设备采集的待美妆的人脸图像在颜色上的差异性，在本实施例中，可基于灰度世界方法、基于完美全反射理论方法、或动态阈值方法对电子设备采集到的待美妆的人脸图像进行白平衡处理，以使不同电子设备采集的人脸图像经白平衡处理后得到的人脸优化图像在整体颜色上较为相近。其中，白平衡处理方法可以根据实际需要进行选取，在此不进行限定。

步骤S204，获取人脸优化图像中的人脸目标部位；

该人脸目标部位可以理解为待美妆的面部部位，通常，该人脸指定部位包括以下至少之一：眼部、眉部、脸颊部、唇部等面部部位，在此不进行限定。

步骤S206，根据与人脸目标部位对应的美妆模板对人脸优化图像中的人脸目标部位进行美妆处理，得到人脸目标部位带有美妆效果的人脸美妆图像。

上述颜色融合具体可以采用图像覆盖的方式，或者图像融合的方式，其中，图像覆盖的方式具体为：可直接将美妆模板中人脸目标部位的图像覆盖到人脸优化图像中人脸目标部位的图像前景中，以得到人脸目标部位带有美妆效果的人脸美妆图像；图像融合的方式具体为：将人脸优化图像和美妆模板中需美妆的人脸目标部位进行颜色融合，以得到带有美妆效果的人脸美妆图像，在本实施例中不限于上述两种美妆处理方式，可以根据实际需要进行美妆处理，因此，对于美妆处理的方式不进行限定。

本申请实施例提供一种虚拟美妆方法，其中，通过对待美妆的人脸图像进行白平衡处理，得到人脸优化图像，再获取人脸优化图像中的人脸目标部位；根据与人脸目标部位对应的美妆模板对人脸优化图像中的人脸目标部位进行美妆处理，得到人脸目标部位带有美妆效果的人脸美妆图像。这种虚拟美妆技术中，采用白平衡处理优化人脸图像，而白平衡处理主要是调整人脸图像的颜色，这样能够使该虚拟美妆技术应用于不同的设备采集到的人脸图像时，减少不同设备采集到的图像间的色差，进而保证人脸优化图像与美妆模板进行美妆处理得到的人脸美妆图像的美妆效果大致相同，有效缓解了在不同图像采集设备上进行虚拟美妆得到的美妆效果存在较大差异性的问题，从而提升了虚拟美妆的真实性。

本实施例提供了另一种虚拟美妆方法，该方法在上述实施例的基础上实现；本实施例重点描述使用基于灰度世界方法对待美妆的人脸图像进行白平衡处理的具体实施方式。如图3所示的另一种虚拟美妆方法的流程图，本实施例中的虚拟美妆方法包括如下步骤：

步骤S302，根据待美妆的人脸图像中每个像素点对应各个颜色通道的颜色值，计算各个颜色通道对应的颜色通道均值；

在计算各个颜色通道对应的颜色通道均值时，首先，需要统计该待美妆的人脸图像中每个像素点分别对应的三色通道的颜色值，然后，计算每个颜色通道对应的颜色值的总和，最后，利用该颜色值的总和除以像素点总数，以得到每个颜色通道的均值，由于彩色图像的颜色通道有R、G、B三色通道，因此，R、G、B三色通道得到的颜色通道均值分别为R

步骤S304，对该颜色通道均值求平均，得到总均值；

通过以下求平均公式计算总均值：

步骤S306，基于上述总均值和各个颜色通道对应的颜色通道均值，计算各个颜色通道对应的校正系数；

利用上述总均值分别除以各个颜色通道对应的颜色通道均值，以得到各个颜色通道对应的校正系数；其中，R颜色通道对应的校正系数为：

步骤S308，根据校正系数对人脸图像中的像素点进行校正，得到人脸优化图像；

利用上述得到的各个颜色通道的校正系数，对人脸图像中的像素点对应的各个颜色通道的颜色值进行校正，以得到人脸优化图像。

在本实施例中，上述步骤S308可通过步骤A1至步骤A4实现：

步骤A1，根据校正系数对人脸图像中的每个像素点进行第一校正处理，得到每个像素点在各个颜色通道上的校正颜色值；

具体地，对于人脸图像中的每个像素点，均将人脸图像中的每个像素点对应各个颜色通道的颜色值，分别乘以该颜色通道对应的校正系数，得到该像素点在该颜色通道上的校正颜色值；通过下式计算每个像素点的校正颜色值：

其中，R

步骤A2，检查校正颜色值中的最大值是否大于预设阈值；

在本实施例中，上述预设阈值可设定为255，上述预设阈值可根据实际需要进行设置，在此不进行限定。

据上式校正后的颜色值的结果可能存在溢出现象，即校正颜色值大于255，因此，需要检查得到的校正颜色值中的最大值是否大于255；如果是，则执行步骤A3，如果否，则执行步骤A4。

步骤A3，基于预设的校正方式对校正颜色值进行第二校正处理，得到人脸优化图像；

在本实施例中，预设的校正方式有两种，一种修改超过阈值的方式，另一种是区间映射方式，具体地，对校正颜色值进行第二校正处理的过程为：将大于预设阈值的校正颜色值修改为预设阈值(例如：255)，或者，将校正颜色值从0至最大值区间映射为0至预设阈值(例如255)区间。在实际使用时，还可以利用其它校正方式对校正颜色值进行第二校正处理，在此不进行限定。

比如修改超过阈值的方式可以具体为：像素点M的三色通道的颜色值经校正后得到的R

或者区间映射方式可以具体为：按照区间缩小比例(255/校正颜色值中的最大值)，同比例缩小校正颜色值以将校正颜色值从0至最大值区间映射为0至255区间，具体为：将各个颜色通道的校正颜色值乘以该缩小比例，得到三色通道的最终校正颜色值R

由于修改最大值的方式得到的整体图像画面偏白，而区间映射的方法得到的整体图像偏暗，鉴于颜色偏暗会影响虚拟美妆效果，通常，可选用修改最大值的方式解决上述校正结果溢出问题。

步骤A4，根据每个像素点在各个颜色通道对应的颜色校正值直接获得人脸优化图像；其中，人脸优化图像中的像素点在各个颜色通道对应的校正颜色值均小于或等于预设阈值。

如果通过第一次校正处理后的每个像素点对应各个颜色通道的校正颜色值均小于或等于预设阈值(例如：255)，则可以将第一次校正处理后的人脸图像作为人脸优化图像。

除了基于灰度世界方法对待美妆的人脸图像进行白平衡处理之外，还可利用基于完美全反射理论方法或动态阈值方法等实现对图像的白平衡处理，在此不进行一一阐述。

步骤S310，获取人脸优化图像中的人脸目标部位；

步骤S312，根据与人脸目标部位对应的美妆模板对人脸优化图像中的人脸目标部位进行美妆处理，得到人脸目标部位带有美妆效果的人脸美妆图像；

步骤S314，对人脸美妆图像进行白平衡逆变换处理，得到人脸美妆结果图像。

在实际使用时，需要应用各个颜色通道对应的校正系数对人脸美妆图像中的每个像素点进行白平衡逆变换处理，以得到人脸美妆真实图像。

具体白平衡逆变换处理过程为：对于人脸美妆图像中的每个像素点，均将人脸美妆图像中的每个像素点对应各个颜色通道的最终校正颜色值，分别除以该颜色通道对应的校正系数，得到该像素点在该颜色通道上的逆变换颜色值；通过下式计算每个像素点的逆变换颜色值：

其中，R

在进行白平衡逆变换处理使用的校正系数与上述计算出的校正系数K

本发明实施例提供的上述虚拟美妆方法，能够基于待美妆的人脸图像的像素点的颜色值计算出各个颜色通道对应的校正系数，基于该校正系数对人脸图像中的像素点进行校正，致使不同电子设备采集到的待美妆的人脸图像经校正得到人脸优化图像在整体颜色上较为相近，可有利于美妆处理，得到美妆效果相似的人脸美妆图像，提高了虚拟美妆的真实性，并且，还可对人脸美妆图像进行白平衡逆变换处理，以使得到的人脸美妆真实图像与待美妆的人脸图像的光线效果相近。

本实施例提供了另一种虚拟美妆方法，该方法在上述实施例的基础上实现；本实施例重点描述获取人脸优化图像中的人脸目标部位的具体实施方式。如图4所示的另一种虚拟美妆方法的流程图，本实施例中的虚拟美妆方法包括如下步骤：

步骤S402，对待美妆的人脸图像进行白平衡处理，得到人脸优化图像；

步骤S404，检测人脸优化图像中人脸目标部位的第一边缘关键点，将第一边缘关键点包围的部位作为人脸目标部位；

为了能够在人脸优化图像中表示出人脸目标部位的具体位置，通常，可利用人脸目标部位区域边缘上的密集点(即第一边缘关键点)来进行表示，为了便于理解，图5示出了一种第一边缘关键点的点位示意图，以人脸目标部位为唇部为例进行说明，如图5所示，利用多个第一边缘关键点将唇部区域进行了精确圈定，图5中以12个点作为距离说明，在实际使用时，但不限于上述12个点，并且，可按照箭头方向对每个第一边缘关键点进行顺序数字标号，以用该数字标号作为第一边缘关键点的唯一标识。其中，第一边缘关键点对应的标识可以用数字进行表示或用字母进行表示，在此不进行限定。

步骤S406，根据检测到的第一边缘关键点调整人脸目标部位的美妆模板，以使调整后的美妆模板适配于人脸优化图像中的人脸目标部位；

上述美妆模板上人脸目标部位同样也用标注有数字标号的第二边缘关键点进行了精确定位，在实际使用时，可将数字标号相同的人脸优化图像中第一边缘关键点和美妆模板中第二边缘关键点确定为相对应的边缘关键点，比如，人脸优化图像中数字标号为0的第一边缘关键点与美妆模板中数字标号为0的第二边缘关键点相对应，人脸优化图像中数字标号为1的第一边缘关键点与美妆模板中数字标号为1的第二边缘关键点相对应，在此不进行一一列举。

通常，在根据检测到的第一边缘关键点对美妆模板人脸目标部位进行调整时，可调整美妆模板上人脸目标部位(唇部)的第二边缘关键点的位置，使其与人脸优化图像中相对应的第一边缘关键点的位置一一对应，以使美妆模板中人脸目标部位与人脸优化图像中人脸目标部位完全对齐，以便于进行下述的图像融合。

步骤S408，将人脸优化图像与调整后的美妆模板进行图像融合，得到人脸美妆图像。

通常，上述图像融合可以是直接将美妆模板中人脸目标部位的图像覆盖到人脸优化图像中人脸目标部位的图像前景中，以得到带有美妆效果的人脸美妆图像，这种图像融合方式只使用了美妆模板上的颜色，致使虚拟美妆的美妆效果比较假，因此，在本实施例中可将人脸优化图像和美妆模板中需上妆的人脸目标部位进行颜色融合，以达到真实的美妆效果。

本申请实施例提供的虚拟美妆方法，其中，通过对待美妆的人脸图像进行白平衡处理，得到人脸优化图像，再基于人脸优化图像中人脸目标部位的第一边缘关键点，对该人脸目标部位的美妆模板进行调整，使得调整后的美妆模板适配于人脸优化图像中的人脸目标部位，在此基础上将人脸优化图像与调整后的美妆模板进行图像融合，得到人脸目标部位带有美妆效果的人脸美妆图像。这种虚拟美妆技术中，采用白平衡处理优化人脸图像，而白平衡处理主要是调整人脸图像的颜色，这样能够使该虚拟美妆技术应用于不同的设备采集到的人脸图像时，减少不同设备采集到的图像间的色差，进而保证人脸优化图像与美妆模板进行图像融合得到的人脸美妆图像的美妆效果大致相同，有效缓解了在不同图像采集设备上进行虚拟美妆得到的美妆效果存在较大差异性的问题，从而提升了虚拟美妆的真实性。

本实施例提供了另一种虚拟美妆方法，该方法在上述实施例的基础上实现；本实施例重点描述检测人脸优化图像中人脸目标部位的第一边缘关键点的具体实施方式。如图6所示的另一种虚拟美妆方法的流程图，本实施例中的虚拟美妆方法包括如下步骤：

步骤S602，对待美妆的人脸图像进行白平衡处理，得到人脸优化图像；

步骤S604，将该人脸优化图像输入人脸关键点检测模型，进行人脸关键点检测，得到人脸优化图像中的人脸关键点；

上述人脸关键点检测模型为预先训练好的网络模型，是基于人脸优化图像对神经网络模型进行训练得到的检测模型，在本实施例中，应用该人脸关键点检测模型对人脸优化图像进行检测时，若训练出的人脸关键点检测模型为81点检测模型，则经该检测模型对人脸优化图像进行检测时，可得到人脸优化图像中的人脸关键点，其中，得到的人脸关键点可以在上述人脸优化图像中进行标注显示也可以不进行标注显示，在此不进行限定。

步骤S606，根据人脸关键点从人脸优化图像中截取与人脸目标部位对应的目标部位图像；

在实际使用时，由于经上述人脸关键点检测模型得到的人脸优化图像中的人脸关键点可能包括除待美妆的人脸目标部位之外的其他人脸部位，比如，面部轮廓的人脸关键点，这些人脸关键点包围的人脸部位不需进行美妆，因此，可将基于人脸关键点表示出的人脸目标部位从人脸优化图像中进行截图得到包含人脸目标部位的目标部位图像。

步骤S608，对目标部位图像进行边缘点检测，得到人脸目标部位的第一边缘关键点；

在本实施例中，可通过深度学习算法，进一步对目标部位图像进行边缘点检测以得到用一系列带有标识((例如数字标号))的密集点(第一边缘关键点)构成的区域边缘线将人脸目标部位进行圈定，通过该区域边缘线能够标注出人脸目标部位在人脸优化图像中的精确位置区域。实际使用时，可以通过标识快速获取边缘点对应的坐标点，该坐标点代表人脸目标部位在人脸优化图像中的实际位置。

步骤S610，根据检测到的第一边缘关键点调整人脸目标部位的美妆模板，以使调整后的美妆模板适配于人脸优化图像中的人脸目标部位；

上述步骤S610具体可通过步骤A1至步骤A2实现：

步骤A1，获取人脸目标部位的美妆模板对应的第二边缘关键点；

同样地，美妆模板上人脸目标部位的第二边缘关键点的获取过程同上述人脸优化图像中人脸目标部位的第一边缘关键点的获取过程，所以，在此不对美妆模板上人脸目标部位的边缘关键点进行赘述。

其中，获取到的美妆模板上人脸目标部位的第二边缘关键点同样也具有唯一标识(例如数字标号)，在实际应用时，可将数字标号相同的人脸优化图像中第一边缘关键点和美妆模板中第二边缘关键点确定为相对应的边缘关键点。

步骤A2，对美妆模板进行变换处理，以使第一边缘关键点与第二边缘关键点对齐；

在进行调整美妆模板人脸目标部位时，可对美妆模板上人脸目标部位(唇部)的第二边缘关键点进行变换处理，使变换处理后的第二边缘关键点与人脸优化图像中相对应的第一边缘关键点的位置一一对齐，通常，该变换处理为对美妆模板上的第二边缘关键点执行至少以下变换之一：放大变换、平移变换、旋转变换和缩小变换，以使美妆模板中人脸目标部位与人脸优化图像中人脸目标部位完全对齐，以便于进行下述的图像融合。

步骤S612，将人脸优化图像与调整后的美妆模板进行图像融合，得到人脸美妆图像。

本发明实施例提供的上述虚拟美妆方法，能够先利用预先训练好的人脸关键点检测模型对人脸优化图像进行检测，得到人脸优化图像中的人脸关键点，对人脸关键点从人脸优化图像中截取与人脸目标部位对应的目标部位图像；对目标部位图像进行边缘点检测，得到人脸目标部位的第一边缘关键点，通过该边缘点检测可确定出人脸目标部位在人脸优化图像中的精准位置区域，基于人脸优化图像中人脸目标部位的第一边缘关键点对美妆模板的人脸目标部位进行调整，使两者的人脸目标部位相对齐，有利于后续的图像融合，以得到美妆效果较好的人脸美妆图像。

本实施例提供了另一种虚拟美妆方法，该方法在上述实施例的基础上实现；本实施例重点描述人脸优化图像与调整后的美妆模板进行图像融合的具体实施方式。如图7所示的另一种虚拟美妆方法的流程图，本实施例中的虚拟美妆方法包括如下步骤：

步骤S702，对待美妆的人脸图像进行白平衡处理，得到人脸优化图像；

步骤S704，将该人脸优化图像输入人脸关键点检测模型，进行人脸关键点检测，得到人脸优化图像中的人脸关键点；

步骤S706，根据人脸关键点从人脸优化图像中截取与人脸目标部位对应的目标部位图像；

步骤S708，对目标部位图像进行边缘点检测，得到人脸目标部位的第一边缘关键点；

步骤S710，根据检测到的第一边缘关键点调整人脸目标部位的美妆模板，以使调整后的美妆模板适配于人脸优化图像中的人脸目标部位；

步骤S712，基于检测到的第一边缘关键点，获取人脸优化图像中人脸目标部位包含的第一像素点集合；其中，第一像素点集合包含多个第一像素点；

基于上述实施例描述可知，可通过检测到的第一边缘关键点较精确的确定出人脸目标部位的部位区域，上述第一像素点集合中的每个第一像素点均为该人脸目标部位对应部位区域包含的像素点，其中，该第一像素点集合中的每个第一像素点的颜色均是由R、G、B三色通道的颜色进行表示的。

步骤S714，获取调整后的美妆模板包含的第二像素点集合；其中，第二像素点集合包括多个第二像素点；

在获取第二像素点集合前需要确定出调整后的人脸目标部位在美妆模板中精确的部位区域，因此，同样需要利用获取上述人脸优化图像中人脸目标部位的边缘点检测方法来获取调整后的美妆模板中人脸目标部位的第二边缘关键点，基于该第二边缘关键点可较精确的确定出调整后的人脸目标部位在美妆模板上的部位区域。

上述第二像素点集合中的每个第二像素点均为该调整后的美妆模板上人脸目标部位对应部位区域包含的像素点，其中，该第二像素点集合中的每个第二像素点的颜色同样是由R、G、B三色通道的颜色来进行表示的。

步骤S716，在美妆模板上查找与第一像素点对应的第二像素点；

由于上述步骤S710中根据检测到的第一边缘关键点对人脸目标部位的美妆模板进行调整，致使调整后的美妆模板中人脸目标部位与人脸优化图像中的人脸目标部位相对其，因此，可在美妆模板上将人脸目标部位中与第一像素点位置相同的第二像素点确定为是与第一像素点对应的第二像素点。

步骤S718，对于每个第一像素点的每个颜色通道，均基于该第一像素点和第一像素点对应的第二像素点在该颜色通道的颜色值，计算融合颜色值；

本实施例中，通过以下颜色融合公式计算融合颜色值：

其中，A为第一像素点在该颜色通道的颜色值，B为第一像素点对应的第二像素点在该颜色通道的颜色值，D为预设阈值，如128，C为第一像素点在该颜色通道对应的融合颜色值。

通过上述公式，对人脸优化图像的人脸目标部位进行颜色融合，可以使产生变化的颜色主要是人脸目标部位中亮度处于中间亮度区间的像素点，而人脸目标部位中较亮色以及较暗色的像素点的颜色基本保持不变。

具体来说，当第一像素点在该颜色通道的颜色值A小于等于预设阈值时，则使用正片叠底的方法即上述公式

步骤S720，基于融合颜色值和第一像素点在该颜色通道的颜色值进行透明度融合，得到第一像素点在该颜色通道的美妆颜色值。

通常，可对上述融合颜色值进行透明度的变化，以模拟美妆时的厚涂与薄涂，在本实施例中，可通过以下透明度变换公式确定美妆颜色值：T＝k*C+(1-k)*A；其中，k为预设透明度系数，T为第一像素点在该颜色通道的美妆颜色值。

本发明实施例提供的上述虚拟美妆方法，采用白平衡处理优化人脸图像，而白平衡处理主要是调整人脸图像的颜色，这样能够使该虚拟美妆技术应用于不同的设备采集到的人脸图像时，减少不同设备采集到的图像间的色差，进而保证白平衡处理得到的人脸优化图像与调整后的美妆模板进行图像融合得到的人脸美妆图像的颜色是基于人脸优化图像和美妆模板的颜色值进行的，致使得到的人脸美妆图像的美妆效果接近于现实美妆效果，进一步，还可以对图像融合得到的融合颜色值仅透明度变换以模拟现实美妆的厚涂和薄涂，使的美妆效果更加真实自然。

对应于上述虚拟美妆方法实施例，本发明实施例提供了一种虚拟美妆装置，其中，上述装置应用于电子设备，图8示出了一种虚拟美妆装置的结构示意图，如图8所示，该装置包括：

第一处理模块802，用于对待美妆的人脸图像进行白平衡处理，得到人脸优化图像；

目标部位获取模块804，用于获取人脸优化图像中的人脸目标部位；

第二处理模块806，根据与人脸目标部位对应的美妆模板对人脸优化图像中的人脸目标部位进行美妆处理，得到人脸目标部位带有美妆效果的人脸美妆图像。

本申请实施例提供一种虚拟美妆装置，其中，通过对待美妆的人脸图像进行白平衡处理，得到人脸优化图像，再获取人脸优化图像中的人脸目标部位；根据与人脸目标部位对应的美妆模板对人脸优化图像中的人脸目标部位进行美妆处理，得到人脸目标部位带有美妆效果的人脸美妆图像。这种虚拟美妆技术中，采用白平衡处理优化人脸图像，而白平衡处理主要是调整人脸图像的颜色，这样能够使该虚拟美妆技术应用于不同的设备采集到的人脸图像时，减少不同设备采集到的图像间的色差，进而保证人脸优化图像与美妆模板进行美妆处理得到的人脸美妆图像的美妆效果大致相同，有效缓解了在不同图像采集设备上进行虚拟美妆得到的美妆效果存在较大差异性的问题，从而提升了虚拟美妆的真实性。

基于上述虚拟美妆装置，本发明实施例还提供了另一种虚拟美妆装置，参见图9所示的虚拟美妆装置的结构示意图，该虚拟美妆装置包括图8所示的结构之外，还包括与第二处理模块806连接的逆处理模块902，用于对人脸美妆图像进行白平衡逆变换处理，得到人脸美妆结果图像。

上述第一处理模块802还用于，根据待美妆的人脸图像中每个像素点对应各个颜色通道的颜色值，计算各个颜色通道对应的颜色通道均值；对颜色通道均值求平均，得到总均值；基于总均值和各个颜色通道对应的颜色通道均值，计算各个颜色通道对应的校正系数；根据校正系数对人脸图像中的像素点进行校正，得到人脸优化图像。

上述第一处理模块802还用于，根据校正系数对人脸图像中的每个像素点进行第一校正处理，得到每个像素点在各个颜色通道上的校正颜色值；检查校正颜色值中的最大值是否大于预设阈值；如果是，基于预设的校正方式对校正颜色值进行第二校正处理，得到人脸优化图像；如果否，根据每个像素点在各个颜色通道对应的颜色校正值直接获得人脸优化图像；其中，人脸优化图像中的像素点在各个颜色通道对应的校正颜色值均小于或等于预设阈值。

上述第一处理模块802还用于，对于人脸图像中的每个像素点，均将人脸图像中的每个像素点对应各个颜色通道的颜色值，分别乘以该颜色通道对应的校正系数，得到该像素点在该颜色通道上的校正颜色值。

上述第一处理模块802还用于，将大于预设阈值的校正颜色值修改为预设阈值，或者，将校正颜色值从0至最大值区间映射为0至预设阈值区间。

上述目标部位获取模块804还用于，检测人脸优化图像中人脸目标部位的第一边缘关键点，将第一边缘关键点包围的部位作为人脸目标部位。

上述第二处理模块806还用于，根据检测到的第一边缘关键点调整人脸目标部位的美妆模板，以使调整后的美妆模板适配于人脸优化图像中的人脸目标部位；将人脸优化图像与调整后的美妆模板进行图像融合，得到人脸美妆图像。

上述目标部位获取模块804还用于，将人脸优化图像输入人脸关键点检测模型，进行人脸关键点检测，得到人脸优化图像中的人脸关键点；根据人脸关键点从人脸优化图像中截取与人脸目标部位对应的目标部位图像；对目标部位图像进行边缘点检测，得到人脸目标部位的第一边缘关键点。

上述第二处理模块806还用于，获取人脸目标部位的美妆模板对应的第二边缘关键点；对美妆模板进行变换处理，以使第一边缘关键点与第二边缘关键点对齐；其中，变换处理包括以下至少之一：放大变换、平移变换、旋转变换和缩小变换。

上述第二处理模块806还用于，基于检测到的第一边缘关键点，获取人脸优化图像中人脸目标部位包含的第一像素点集合；其中，第一像素点集合包括多个第一像素点；获取调整后的美妆模板包含的第二像素点集合；其中，第二像素点集合包括多个第二像素点；在美妆模板上查找与第一像素点对应的第二像素点；对于每个第一像素点的每个颜色通道，均基于该第一像素点和第一像素点对应的第二像素点在该颜色通道的颜色值，计算融合颜色值。

上述第二处理模块806还用于，通过以下颜色融合公式计算融合颜色值：

上述第二处理模块806还用于，基于融合颜色值和第一像素点在该颜色通道的颜色值进行透明度融合，得到第一像素点在该颜色通道的美妆颜色值。

上述第二处理模块806还用于，通过以下透明度变换公式确定美妆颜色值：T＝k*C+(1-k)*A；其中，k为预设透明度系数，T为第一像素点在该颜色通道的美妆颜色值。

上述逆处理模块902还用于，对于人脸美妆图像中的每个像素点，均将人脸美妆图像中的每个像素点对应各个颜色通道的颜色值，分别除以该颜色通道对应的校正系数。

本发明实施例提供的虚拟美妆装置，与上述实施例提供的虚拟美妆方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

本实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理设备运行时执行上述方法的步骤。

本发明实施例所提供的拟美妆方法、装置和电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的电子设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。