风格图像生成方法、模型训练方法、装置和设备

技术领域

本公开涉及图像处理技术领域，尤其涉及一种风格图像生成方法、模型训练方法、装置和设备。

背景技术

目前，随着视频交互应用的功能逐渐丰富化，图像风格转换成为了一种新的趣味性玩法。图像风格转换是指将一幅或者多幅图像进行风格转换，生成符合用户需求的风格图像。

以漫画风格转换为例，即将用户图像转换为具有漫画风格的图像，现有的漫画风格图像生成方案中，通常由于模型训练效果的限制，导致模型输出的漫画风格图像展示效果欠佳。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开实施例提供了一种风格图像生成方法、模型训练方法、装置和设备。

第一方面，本公开实施例提供了一种风格图像生成方法，包括：

获取原始人脸图像；

利用预先训练的风格图像生成模型，得到与所述原始人脸图像对应的目标风格图像；

其中，所述风格图像生成模型基于分别与第一属性对应的第一原始人脸样本图像和第一风格人脸样本图像、以及分别与第二属性对应的第二原始人脸样本图像和第二风格人脸样本图像训练得到；

所述第一风格人脸样本图像基于第一人脸图像生成模型针对所述第一原始人脸样本图像的第一输出图像得到，所述第一人脸图像生成模型基于分别与所述第一属性对应的第三原始人脸样本图像和标准风格人脸样本图像训练得到；

所述第二风格人脸样本图像基于第二人脸图像生成模型针对所述第二原始人脸样本图像的第二输出图像得到，所述第二人脸图像生成模型基于分别与所述第二属性对应的第四原始人脸样本图像和标准风格人脸样本图像训练得到；

所述第一属性或者所述第二属性用于区分样本图像上人脸的特征。

第二方面，本公开实施例还提供了一种风格图像生成模型训练方法，包括：

基于分别与第一属性对应的第三原始人脸样本图像和标准风格人脸样本图像，训练得到第一人脸图像生成模型；

将与所述第一属性对应的第一原始人脸样本图像作为所述第一人脸图像生成模型的输入，得到第一输出图像，并基于所述第一输出图像得到与所述第一属性对应的第一风格人脸样本图像；

基于分别与第二属性对应的第四原始人脸样本图像和标准风格人脸样本图像，训练得到第二人脸图像生成模型；

将与所述第二属性对应的第二原始人脸样本图像作为所述第二人脸图像生成模型的输入，得到第二输出图像，并基于所述第二输出图像得到与所述第二属性对应的第二风格人脸样本图像；

基于所述第一原始人脸样本图像和所述第一风格人脸样本图像、以及所述第二原始人脸样本图像和所述第二风格人脸样本图像，训练得到风格图像生成模型；所述风格图像生成模型用于得到与原始人脸图像对应的目标风格图像。

第三方面，本公开实施例还提供了一种风格图像生成装置，包括：

原始人脸图像获取模块，用于获取原始人脸图像；

目标风格图像生成模块，用于利用预先训练的风格图像生成模型，得到与所述原始人脸图像对应的目标风格图像；

其中，所述风格图像生成模型基于分别与第一属性对应的第一原始人脸样本图像和第一风格人脸样本图像、以及分别与第二属性对应的第二原始人脸样本图像和第二风格人脸样本图像训练得到；

所述第一风格人脸样本图像基于第一人脸图像生成模型针对所述第一原始人脸样本图像的第一输出图像得到，所述第一人脸图像生成模型基于分别与所述第一属性对应的第三原始人脸样本图像和标准风格人脸样本图像训练得到；

所述第二风格人脸样本图像基于第二人脸图像生成模型针对所述第二原始人脸样本图像的第二输出图像得到，所述第二人脸图像生成模型基于分别与所述第二属性对应的第四原始人脸样本图像和标准风格人脸样本图像训练得到；

所述第一属性或者所述第二属性用于区分样本图像上人脸的特征。

第四方面，本公开实施例还提供了一种风格图像生成模型训练装置，包括：

第一模型训练模块，用于基于分别与第一属性对应的第三原始人脸样本图像和标准风格人脸样本图像，训练得到第一人脸图像生成模型；

第一样本图像生成模块，用于将与所述第一属性对应的第一原始人脸样本图像作为所述第一人脸图像生成模型的输入，得到第一输出图像，并基于所述第一输出图像得到与所述第一属性对应的第一风格人脸样本图像；

第二模型训练模块，用于基于分别与第二属性对应的第四原始人脸样本图像和标准风格人脸样本图像，训练得到第二人脸图像生成模型；

第二样本图像生成模块，用于将与所述第二属性对应的第二原始人脸样本图像作为所述第二人脸图像生成模型的输入，得到第二输出图像，并基于所述第二输出图像得到与所述第二属性对应的第二风格人脸样本图像；

第三模型训练模块，用于基于所述第一原始人脸样本图像和所述第一风格人脸样本图像、以及所述第二原始人脸样本图像和所述第二风格人脸样本图像，训练得到风格图像生成模型；所述风格图像生成模型用于得到与原始人脸图像对应的目标风格图像。

第五方面，本公开实施例还提供了一种电子设备，包括存储器和处理器，其中：所述存储器中存储有计算机程序，当所述计算机程序被所述处理器执行时，使得电子设备实现本公开实施例提供的任一所述的风格图像生成方法或者风格图像生成模型训练方法。

第六方面，本公开实施例还提供了一种计算机可读存储介质，所述存储介质中存储有计算机程序，当所述计算机程序被计算设备执行时，使得所述计算设备实现本公开实施例提供的任一所述的风格图像生成方法或者风格图像生成模型训练方法。

本公开实施例提供的技术方案与现有技术相比至少具有如下优点：在本公开实施例中，预先有针对性地获取不同属性的训练样本集，并将不同属性的训练样本集进行混合后用于风格图像生成模型的训练中，由于模型训练过程中使用的训练样本集中包括了不同属性的样本图像，训练样本集具有较高的质量，优化了风格图像生成模型的训练效果，保证了风格图像生成模型对不同属性的待处理原始人脸图像的通用性，相比于针对不同属性的训练样本集分别单独进行模型训练的情况，本公开实施例提高了风格图像生成模型的训练效率，并且在风格图像生成过程中提高了风格图像生成效率，省去了风格图像生成之前的对原始人脸图像的属性检测操作；同时，较高的模型训练效果，确保了利用风格图像生成模型得到的风格图像具有较高的展示效果，解决了现有方案中生成的风格图像展示效果欠佳的问题。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例提供的一种风格图像生成方法的流程图；

图2为本公开实施例提供的一种风格图像生成模型的训练架构的示意图；

图3为本公开实施例提供的一种关于嘴部调整的处理架构示意图；

图4为本公开实施例提供的一种风格图像生成模型训练方法的流程图；

图5为本公开实施例提供的一种风格图像生成装置的结构示意图；

图6为本公开实施例提供的一种风格图像生成模型训练装置的结构示意图；

图7为本公开实施例提供的一种电子设备的结构示意图。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。

图1为本公开实施例提供的一种风格图像生成方法的流程图，可以适用于如何生成风格图像的情况，该风格图像可以是任意风格的图像，例如漫画风格图像、混血风格人脸图像等，具体例如将原始人脸图像转换为带有特定地区的漫画风格的漫画图像等。本公开实施例提供的风格图像生成方法可以由风格图像生成装置执行，该装置可以采用软件和/或硬件实现，并可集成在任意具有计算能力的电子设备上，例如移动终端、平板电脑、笔记本电脑、台式机等终端。

并且，风格图像生成装置可以采用独立的应用程序或者公众平台上集成的小程序的形式实现，还可以作为具有风格图像生成功能的应用程序或者小程序中集成的功能模块实现，该应用程序或者小程序可以包括但不限于视频交互类应用程序或者视频交互类小程序等。

如图1所示，本公开实施例提供的风格图像生成方法可以包括：

S101、获取原始人脸图像。

其中，原始人脸图像是指未进行风格转换、且包括人脸区域的图像。电子设备可以根据用户的图像拍摄操作、图像选择操作、或者图像上传操作获取原始人脸图像。

此外，考虑输入风格图像生成模型的图像需要满足模型输入要求的图像条件，例如图像尺寸、人脸区域在图像中的位置等，原始人脸图像还可以是电子设备对用户图像进行预设处理后得到的、满足前述图像条件的图像。示例性的，电子设备可以首先获取用户图像，利用人脸检测技术，检测出用户图像上的人脸区域并对人脸区域进行抠图处理，得到目标人脸图像；然后对目标人脸图像进行人脸对齐处理，例如旋转、平移、缩放、裁剪等，最终得到符合前述图像条件的原始人脸图像。

S102、利用预先训练的风格图像生成模型，得到与原始人脸图像对应的目标风格图像。

其中，风格图像生成模型基于分别与第一属性对应的第一原始人脸样本图像和第一风格人脸样本图像(可以称为第一属性下的训练样本集)、以及分别与第二属性对应的第二原始人脸样本图像和第二风格人脸样本图像(可以称为第二属性下的训练样本集)训练得到；

第一风格人脸样本图像基于第一人脸图像生成模型针对第一原始人脸样本图像的第一输出图像得到，第一人脸图像生成模型基于分别与第一属性对应的第三原始人脸样本图像和标准风格人脸样本图像训练得到；第三原始人脸样本图像和第一原始人脸样本图像可以是相同的样本图像，也可以是不同的样本图像，本公开实施例不作限定；

第二风格人脸样本图像基于第二人脸图像生成模型针对第二原始人脸样本图像的第二输出图像得到，第二人脸图像生成模型基于分别与第二属性对应的第四原始人脸样本图像和标准风格人脸样本图像训练得到；第四原始人脸样本图像和第二原始人脸样本图像可以是相同的样本图像，也可以是不同的样本图像，本公开实施例不作限定。

前述提及的标准风格人脸样本图像可以是美工技术人员进行绘制的风格图像，也可以是利用开源的图像数据库进行搜索得到的风格图像。标准风格人脸样本图像的具体风格与模型训练需求有关，例如可以是标准漫画风格人脸样本图像、标准混血风格人脸样本图像等。

第一属性或者第二属性用于区分样本图像上人脸的特征，即不同的属性对应不同的人脸特征，属性的区分即在于实现对训练样本的细化以及分类获取。本公开实施例中所提及的属性可以从地域、民族、肤色或者性别等维度进行区分，例如第一属性可以包括第一地域属性、第一民族属性、第一肤色属性或者第一性别属性，相应的，第二属性可以包括第二地域属性、第二民族属性、第二肤色属性或者第二性别属性等。示例性的，第一属性是指亚洲区域的人脸属性，则第二属性可以是指欧美区域的人脸属性；第一属性是指黄种人属性，则第二属性可以是指白种人属性等；第一属性是指男性，则第二属性可以是指女性等。

在风格图像生成模型的训练过程中，模型能够学习不同属性的原始人脸样本图像和风格人脸样本图像之间的图像特征映射关系，进而可以用于得到与原始人脸图像对应的目标风格图像。在得到与原始人脸图像对应的目标风格图像之后，本公开实施例提供的风格图像生成方法还可以包括：按照原始人脸图像(或者用户图像)上人脸区域的位置，将目标风格图像上的人脸区域和原始人脸图像(或者用户图像)上的背景区域进行融合，得到保持有原始人脸图像(或者用户图像)的背景特征的风格图像，并展示给用户，从而实现除了人脸区域发生风格转换外，原始人脸图像(或者用户图像)上的剩余图像特征均未发生变化。

图2为本公开实施例提供的一种风格图像生成模型的训练架构的示意图，具体以第一属性为第一性别属性，第二属性为第二性别属性为例，对风格图像生成模型的训练过程进行示例性说明，不应理解为对本公开实施例的具体限定。如图2所示，首先建立训练样本集，包括第一性别属性的训练样本集和第二性别属性的训练样本集，每个训练样本集中分别包括与各自属性对应的原始人脸样本图像和标准风格人脸样本图像，然后利用第一性别属性的训练样本集训练得到第一人脸图像生成模型，利用第二性别属性的训练样本集训练得到第二人脸图像生成模型；示例性的，第一性别属性的训练样本集可以是针对男性的训练样本集，训练得到的第一人脸图像生成模型(如图2中显示的男性版大模型)具有生成男性风格人脸样本图像的功能，第二性别属性的训练样本集可以是针对女性的训练样本集，训练得到的第二人脸图像生成模型(如图2中显示的女性版大模型)具有生成女性风格人脸样本图像的功能。

在得到第一人脸图像生成模型和第二人脸图像生成模型之后，可以用于生成不同性别的成对训练样本图像，示例性的如图2所示，利用男性版大模型生成男性成对训练样本图像，其中包括均属于男性的第一原始人脸样本图像和对应的第一风格人脸样本图像，利用女性版大模型生成女性成对训练样本图像，其中包括均属于女性的第二原始人脸样本图像和对应的第二风格人脸样本图像。然后将不同性别属性的成对训练样本图像进行混合，用于训练得到风格图像生成模型，如图2中显示的实时版模型。

需要说明的是，第一人脸图像生成模型和第二人脸图像生成模型分别用于生成风格人脸样本图像，为保证样本图像生成质量，通常第一人脸图像生成模型和第二人脸图像生成模型涉及的计算量较大、模型空间占用量较大，而风格图像生成模型由于需要下发至终端设备中运行，适配不同性能的终端，例如下发至用户终端中进行实时地风格图像生成，因此，在风格图像生成模型的训练过程中，会对风格图像生成模型涉及的计算量、模型空间占用量进行有效的控制，尽量确保模型可以达到实时运行的效果。

进一步的，为了提高不同属性的成对训练样本图像的质量，还可以在得到第一风格人脸样本图像和第二风格人脸样本图像的过程中，分别对第一人脸图像生成模型和第二人脸图像生成模型的输出图像进行脸部特征处理，从而得到最终的第一风格人脸样本图像和第二风格人脸样本图像。即可选的，第一风格人脸样本图像是通过对第一输出图像上的人脸进行脸部特征处理得到；第二风格人脸样本图像是通过对第二输出图像上的人脸进行脸部特征处理得到。脸部特征处理可以是针对模型输出图像上人脸的任意特征处理，可以包括但不限于嘴部调整和脸型调整等。

以第一人脸图像生成模型或第二人脸图像生成模型的输出图像为带有特定地区的漫画风格的漫画风格人脸图像为例，部分漫画风格的漫画人物的嘴唇有一定的厚度，直接利用第一人脸图像生成模型或者第二人脸图像生成模型生成的漫画风格人脸图像上，嘴部区域可能会存在大量的崩坏现象(例如上下嘴唇不能实现平滑连接、上下嘴唇错位或变形等)，最终影响样本图像的脸部展示效果，导致样本图像质量较低，因此，对该漫画风格人脸图像进行脸部特征处理十分必要。将脸部特征优化过的风格人脸样本图像用于风格图像生成模型的训练过程中，有助于进一步提高模型训练效果。

示例性的，脸部特征处理包括嘴部调整；相应的，第一风格人脸样本图像是利用与第一输出图像上人脸的嘴部状态匹配的第一候选嘴部素材，对第一输出图像上人脸的嘴部进行替换得到；第二风格人脸样本图像是利用与第二输出图像上人脸的嘴部状态匹配的第二候选嘴部素材，对第二输出图像上人脸的嘴部进行替换得到。

进一步的，第一风格人脸样本图像是基于预先确定的嘴部位置，将第一目标嘴部素材叠加在第一残缺图像上得到；其中，第一残缺图像是将预先确定的第一皮肤素材(例如与第一输出图像上人脸肤色相同)覆盖第一输出图像上的嘴部得到；第一目标嘴部素材是通过对第一候选嘴部素材上的口腔区域进行非刚性形变处理(具体可以采用现有技术中任意可用的非刚性形变算法实现)，以及对第一候选嘴部素材上的嘴唇区域进行刚性形变处理(具体可以采用现有技术中任意可用的刚性形变算法实现)得到；

第二风格人脸样本图像是基于预先确定的嘴部位置，将第二目标嘴部素材叠加在第二残缺图像上得到；其中，第二残缺图像是将预先确定的第二皮肤素材(例如与第二输出图像上人脸肤色相同)覆盖第二输出图像上的嘴部得到；第二目标嘴部素材是通过对第二候选嘴部素材上的口腔区域进行非刚性形变处理，以及对第二候选嘴部素材上的嘴唇区域进行刚性形变处理得到。

进一步的，第一目标嘴部素材是通过对位于第一候选嘴部素材上口腔区域的网格进行非刚性形变处理，以及对位于第一候选嘴部素材上嘴唇区域的网格进行刚性形变处理得到；

第二目标嘴部素材是通过对位于第二候选嘴部素材上口腔区域的网格进行非刚性形变处理，以及对位于第二候选嘴部素材上嘴唇区域的网格进行刚性形变处理得到。

可选的，脸部特征处理包括脸型调整；其中，第一风格人脸样本图像是基于与第一属性对应的目标脸型，对第一输出图像上的人脸进行脸型调整得到；例如，以第一属性为男性，目标脸型可以是长方脸为例，针对展示的脸部较长的第一输出图像，可以将图像上的脸部变短，展示更加美观的脸部；

第二风格人脸样本图像是基于与第二属性对应的目标脸型，对第二输出图像上的人脸进行脸型调整得到；例如，以第二属性为女性，目标脸型可以是瓜子脸为例，针对展示的脸部较圆的第二输出图像，可以对图像上的脸部进行瘦脸处理，展示更加美观的脸部。

以嘴部调整为例，图3为本公开实施例提供的一种关于嘴部调整的处理架构示意图，用于对本公开实施例进行示例性说明，不应理解为对本公开实施例的具体限定，并且图3以第一属性和第二属性分别为不同的性别属性，具体以第一人脸图像生成模型或者第二人脸图像生成模型的输出图像为女性的风格人脸图像(例如女性漫画风格人脸图像)为例进行示例性说明。

如图3所示，首先可以利用关键点检测技术，确定女性漫画风格人脸图像上的嘴部区域，并对女性漫画风格人脸图像上展示的嘴部状态进行检测，得到检测结果；在女性嘴部素材中，确定与检测结果匹配的候选嘴部素材，例如，检测结果为嘴部呈现张大的状态，则在女性嘴部素材库中匹配同样处于张大状态的候选嘴部素材，检测结果为嘴部微微张开的状态，则在女性嘴部素材库中匹配同样处于微微张开状态的候选嘴部素材；然后，可以利用预先确定的皮肤素材(例如与该女性漫画风格人脸图像上脸部相同的皮肤素材)覆盖女性漫画风格人脸图像上的嘴部，得到残缺图像，例如可以按照女性漫画风格人脸图像上嘴部关键点的映射，采用样条形变技术，将皮肤素材贴到女性漫画风格人脸图像上的嘴部，实现对女性漫画风格人脸图像上嘴部的完全覆盖，确保不会影响重新贴嘴的展示效果。

其次，可以确定候选嘴部素材上口腔轮廓的关键点；将口腔轮廓的关键点作为固定点，对候选嘴部素材进行网格化处理，例如三角网格化处理；基于网格化处理得到的网格节点与口腔轮廓的关键点的位置关系，确定位于候选嘴部素材上口腔区域的第一网格节点和位于候选嘴部素材上嘴唇区域的第二网格节点，示例性的，可以对各个固定点按照顺时针进行排序，然后用镭射法确定网格化处理得到的网格节点是否在固定点围成的多变边形中，从而确定各个网格节点的位置是否在候选嘴部素材的口腔内部，实现将各个网格节点区分为第一网格节点和第二网格节点；进而对第一网格节点确定的网格进行非刚性形变处理，即对口腔内部进行非刚性形变处理，例如可以采用薄板样条差值算法进行形变处理，并对第二网格节点确定的网格进行刚性形变处理，即对嘴唇区域进行刚性形变处理(例如保持嘴部形状、厚度不变)，得到与目标处理图像上的脸部匹配的目标嘴部素材；最后，基于预先确定的嘴部位置，将目标嘴部素材叠加在残缺图像上，得到嘴部调整后的女性漫画风格人脸图像，即可以用于训练得到风格图像生成模型的风格人脸样本图像。

通过对候选嘴部素材上的口腔区域和嘴唇区域采用不同的形变处理方式，可以确保人物处于张嘴状态时嘴唇厚度不会发生变化，可以使得漫画风格人脸图像上展示较好的嘴部效果。

针对男性漫画风格人脸图像，可以参考上述处理过程，得到嘴部调整后的男性漫画风格人脸图像，作为可以用于训练得到风格图像生成模型的风格人脸样本图像，在此不再赘述。

在本公开实施例中，预先有针对性地获取不同属性的训练样本集，并将不同属性的训练样本集进行混合后用于风格图像生成模型的训练中，由于模型训练过程中使用的训练样本集中包括了不同属性的样本图像，训练样本集具有较高的质量，优化了风格图像生成模型的训练效果，保证了风格图像生成模型对不同属性的待处理原始人脸图像的通用性，相比于针对不同属性的训练样本集分别单独进行模型训练的情况，本公开实施例提高了风格图像生成模型的训练效率，并且在风格图像生成过程中提高了风格图像生成效率，省去了风格图像生成之前的对原始人脸图像的属性检测操作；同时，较高的模型训练效果，确保了利用风格图像生成模型得到的风格图像具有较高的展示效果，解决了现有方案中生成的风格图像展示效果欠佳的问题。

图4为本公开实施例提供的一种风格图像生成模型训练方法的流程图，该方法可以由风格图像生成模型训练装置执行，该装置可以采用软件和/或硬件实现，并可集成在任意具有计算能力的电子设备上，例如服务器等。

本公开实施例提供的风格图像生成模型训练方法与本公开实施例提供的风格图像生成方法属于相同的发明构思，以下实施例中未详细描述的内容，可以参考上述实施例中的描述。

如图4所示，本公开实施例提供的风格图像生成模型训练方法可以包括：

S201、基于分别与第一属性对应的第三原始人脸样本图像和标准风格人脸样本图像，训练得到第一人脸图像生成模型。

S202、将与第一属性对应的第一原始人脸样本图像作为第一人脸图像生成模型的输入，得到第一输出图像，并基于第一输出图像得到与第一属性对应的第一风格人脸样本图像。

S203、基于分别与第二属性对应的第四原始人脸样本图像和标准风格人脸样本图像，训练得到第二人脸图像生成模型。

S204、将与第二属性对应的第二原始人脸样本图像作为第二人脸图像生成模型的输入，得到第二输出图像，并基于第二输出图像得到与第二属性对应的第二风格人脸样本图像。

S205、基于第一原始人脸样本图像和第一风格人脸样本图像、以及第二原始人脸样本图像和第二风格人脸样本图像，训练得到风格图像生成模型；风格图像生成模型用于得到与原始人脸图像对应的目标风格图像。

其中，第一人脸图像生成模型和第二人脸图像生成模型分别用于得到不同属性的风格人脸样本图像。第一人脸图像生成模型和第二人脸图像生成模型可以基于生成对抗网络(GAN，Generative Adversarial Networks)模型、循环生成对抗网络(CycleGAN)模型等任意支持非配对训练的模型实现，即样本数据可以不是成对训练样本数据；风格图像生成模型可以基于条件生成对抗网络(CGAN，Conditional Generative AdversarialNetworks)模型等任意支持配对训练的模型实现，即样本数据需要是成对训练样本数据。关于模型实现的具体实现原理可以参考现有技术。

此外，在得到第一人脸图像生成模型或者第二人脸图像生成模型的过程中，还可以将分别与第一属性对应的第三原始人脸样本图像和标准风格人脸样本图像、以及分别与第二属性对应的第四原始人脸样本图像和标准风格人脸样本图像进行伽马(gamma)矫正后，再用于模型训练。通过伽马矫正可以提高样本图像的亮度，例如提高脸部区域的亮度，进而利用高质量的样本图像有助于提高模型训练效果。

可选的，基于第一输出图像得到与第一属性对应的第一风格人脸样本图像，包括：

对第一输出图像上的人脸进行脸部特征处理，得到与第一属性对应的第一风格人脸样本图像；

基于第二输出图像得到与第二属性对应的第二风格人脸样本图像，包括：

对第二输出图像上的人脸进行脸部特征处理，得到与第二属性对应的第二风格人脸样本图像。

通过脸部特征处理，提高了不同属性的成对训练样本图像的质量，进一步优化了风格图像生成模型的训练效果。

可选的，脸部特征处理包括嘴部调整；第一风格人脸样本图像或者第二风格人脸样本图像的生成过程包括：

对目标输出图像上展示的嘴部状态进行检测，得到检测结果；目标输出图像包括第一输出图像或者第二输出图像；

在与目标输出图像对应的属性下的嘴部素材中，确定与检测结果匹配的候选嘴部素材；

利用候选嘴部素材对目标输出图像上人脸的嘴部进行替换，得到目标风格人脸样本图像；目标风格人脸样本图像包括第一风格人脸样本图像或者第二风格人脸样本图像。关于嘴部替换的实现，可以利用任意可用的图像处理技术实现，本公开实施例不作具体限定。

通过对第一人脸图像生成模型或者第二人脸图像生成模型的输出图像上人脸的嘴部进行替换，优化了风格人脸样本图像上的嘴部展示效果，避免了嘴部崩坏对整个脸部展示效果的影响。

可选的，利用候选嘴部素材对目标输出图像上人脸的嘴部进行替换，得到目标风格人脸样本图像，包括：

利用预先确定的与目标输出图像对应的皮肤素材，覆盖目标输出图像上的嘴部，得到与目标输出图像对应的残缺图像；

对候选嘴部素材上的口腔区域进行非刚性形变处理，并对候选嘴部素材上的嘴唇区域进行刚性形变处理，得到与目标输出图像上的脸部匹配的目标嘴部素材；

基于预先确定的嘴部位置，将目标嘴部素材叠加在残缺图像上，得到目标风格人脸样本图像。

可选的，对候选嘴部素材上的口腔区域进行非刚性形变处理，并对候选嘴部素材上的嘴唇区域进行刚性形变处理，得到与目标输出图像上的脸部匹配的目标嘴部素材，包括：

确定候选嘴部素材上口腔轮廓的关键点；

将口腔轮廓的关键点作为固定点，对候选嘴部素材进行网格化处理；例如进行三角网格化处理；

基于网格化处理得到的网格节点与口腔轮廓的关键点的位置关系，确定位于候选嘴部素材上口腔区域的第一网格节点和位于候选嘴部素材上嘴唇区域的第二网格节点；

对第一网格节点确定的网格进行非刚性形变处理，并对第二网格节点确定的网格进行刚性形变处理，得到与目标输出图像上的脸部匹配的目标嘴部素材。

通过对候选嘴部素材上的口腔区域和嘴唇区域采用不同的形变处理方式，可以确保人物处于张嘴状态时嘴唇厚度不会发生变化，可以使得漫画风格人脸图像上展示较好的嘴部效果。

可选的，脸部特征处理包括脸型调整；第一风格人脸样本图像或者第二风格人脸样本图像的生成过程包括：

基于目标输出图像对应的属性，确定目标脸型；目标输出图像包括第一输出图像或者第二输出图像；

基于目标脸型对目标输出图像上的脸部进行脸型调整，得到目标风格人脸样本图像；目标风格人脸样本图像包括第一风格人脸样本图像或者第二风格人脸样本图像。

通过脸型调整，同样可以提高第一风格人脸样本图像或者第二风格人脸样本图像上的脸部展示效果，例如使得男性漫画人物的脸型更加有棱角，女性漫画人物的脸型更加柔和等，进而实现对样本图像的优化。

根据样本图像的优化需求，还可以通过对第一人脸图像生成模型或者第二人脸图像生成模型的输出图像进行添加滤镜、美白、增加妆容等处理后，得到第一风格人脸样本图像或者第二风格人脸样本图像，进一步优化样本图像上人物的展示效果。

在本公开实施例中，预先有针对性地获取不同属性的训练样本集，并将不同属性的训练样本集进行混合后用于风格图像生成模型的训练中，由于模型训练过程中使用的训练样本集中包括了不同属性的样本图像，训练样本集具有较高的质量，优化了风格图像生成模型的训练效果，保证了风格图像生成模型对不同属性的待处理原始人脸图像的通用性，相比于针对不同属性的训练样本集分别单独进行模型训练的情况，本公开实施例提高了风格图像生成模型的训练效率，确保了利用风格图像生成模型得到的风格图像具有较高的展示效果，解决了现有方案中生成的风格图像展示效果欠佳的问题。

图5为本公开实施例提供的一种风格图像生成装置的结构示意图，该装置可以采用软件和/或硬件实现，并可集成在任意具有计算能力的电子设备上，例如移动终端、平板电脑、笔记本电脑、台式机等终端。

如图5所示，本公开实施例提供的风格图像生成装置300可以包括原始人脸图像获取模块301和目标风格图像生成模块302，其中：

原始人脸图像获取模块301，用于获取原始人脸图像；

目标风格图像生成模块302，用于利用预先训练的风格图像生成模型，得到与原始人脸图像对应的目标风格图像；

其中，风格图像生成模型基于分别与第一属性对应的第一原始人脸样本图像和第一风格人脸样本图像、以及分别与第二属性对应的第二原始人脸样本图像和第二风格人脸样本图像训练得到；

第一风格人脸样本图像基于第一人脸图像生成模型针对第一原始人脸样本图像的第一输出图像得到，第一人脸图像生成模型基于分别与第一属性对应的第三原始人脸样本图像和标准风格人脸样本图像训练得到；

第二风格人脸样本图像基于第二人脸图像生成模型针对第二原始人脸样本图像的第二输出图像得到，第二人脸图像生成模型基于分别与第二属性对应的第四原始人脸样本图像和标准风格人脸样本图像训练得到；

第一属性或者第二属性用于区分样本图像上人脸的特征。

可选的，第一风格人脸样本图像是通过对第一输出图像上的人脸进行脸部特征处理得到；

第二风格人脸样本图像是通过对第二输出图像上的人脸进行脸部特征处理得到。

可选的，脸部特征处理包括嘴部调整；

其中，第一风格人脸样本图像是利用与第一输出图像上人脸的嘴部状态匹配的第一候选嘴部素材，对第一输出图像上人脸的嘴部进行替换得到；

第二风格人脸样本图像是利用与第二输出图像上人脸的嘴部状态匹配的第二候选嘴部素材，对第二输出图像上人脸的嘴部进行替换得到。

可选的，第一风格人脸样本图像是基于预先确定的嘴部位置，将第一目标嘴部素材叠加在第一残缺图像上得到；

其中，第一残缺图像是将预先确定的第一皮肤素材覆盖第一输出图像上的嘴部得到；第一目标嘴部素材是通过对第一候选嘴部素材上的口腔区域进行非刚性形变处理，以及对第一候选嘴部素材上的嘴唇区域进行刚性形变处理得到；

第二风格人脸样本图像是基于预先确定的嘴部位置，将第二目标嘴部素材叠加在第二残缺图像上得到；

其中，第二残缺图像是将预先确定的第二皮肤素材覆盖第二输出图像上的嘴部得到；第二目标嘴部素材是通过对第二候选嘴部素材上的口腔区域进行非刚性形变处理，以及对第二候选嘴部素材上的嘴唇区域进行刚性形变处理得到。

可选的，第一目标嘴部素材是通过对位于第一候选嘴部素材上口腔区域的网格进行非刚性形变处理，以及对位于第一候选嘴部素材上嘴唇区域的网格进行刚性形变处理得到；

第二目标嘴部素材是通过对位于第二候选嘴部素材上口腔区域的网格进行非刚性形变处理，以及对位于第二候选嘴部素材上嘴唇区域的网格进行刚性形变处理得到。

可选的，脸部特征处理包括脸型调整；

其中，第一风格人脸样本图像是基于与第一属性对应的目标脸型，对第一输出图像上的人脸进行脸型调整得到；

第二风格人脸样本图像是基于与第二属性对应的目标脸型，对第二输出图像上的人脸进行脸型调整得到。

本公开实施例所提供的风格图像生成装置可执行本公开实施例所提供的任意风格图像生成方法，具备执行方法相应的功能模块和有益效果。本公开装置实施例中未详尽描述的内容可以参考本公开任意方法实施例中的描述。

图6为本公开实施例提供的一种风格图像生成模型训练装置的结构示意图，该装置可以采用软件和/或硬件实现，并可集成在任意具有计算能力的电子设备上，例如服务器等。

如图6所示，本公开实施例提供的风格图像生成模型训练装置400可以包括第一模型训练模块401、第一样本图像生成模块402、第二模型训练模块403、第二样本图像生成模块404和第三模型训练模块405，其中：

第一模型训练模块401，用于基于分别与第一属性对应的第三原始人脸样本图像和标准风格人脸样本图像，训练得到第一人脸图像生成模型；

第一样本图像生成模块402，用于将与第一属性对应的第一原始人脸样本图像作为第一人脸图像生成模型的输入，得到第一输出图像，并基于第一输出图像得到与第一属性对应的第一风格人脸样本图像；

第二模型训练模块403，用于基于分别与第二属性对应的第四原始人脸样本图像和标准风格人脸样本图像，训练得到第二人脸图像生成模型；

第二样本图像生成模块404，用于将与第二属性对应的第二原始人脸样本图像作为第二人脸图像生成模型的输入，得到第二输出图像，并基于第二输出图像得到与第二属性对应的第二风格人脸样本图像；

第三模型训练模块405，用于基于第一原始人脸样本图像和第一风格人脸样本图像、以及第二原始人脸样本图像和第二风格人脸样本图像，训练得到风格图像生成模型；风格图像生成模型用于得到与原始人脸图像对应的目标风格图像。

可选的，第一样本图像生成模块402包括：

第一输出图像生成单元，用于将与第一属性对应的第一原始人脸样本图像作为第一人脸图像生成模型的输入，得到第一输出图像；

第一样本图像生成单元，用于对第一输出图像上的人脸进行脸部特征处理，得到与第一属性对应的第一风格人脸样本图像；

第二样本图像生成模块404包括：

第二输出图像生成单元，用于将与第二属性对应的第二原始人脸样本图像作为第二人脸图像生成模型的输入，得到第二输出图像；

第二样本图像生成单元，用于对第二输出图像上的人脸进行脸部特征处理，得到与第二属性对应的第二风格人脸样本图像。

可选的，脸部特征处理包括嘴部调整；第一样本图像生成单元或者第二样本图像生成单元包括：

嘴部状态检测子单元，用于对目标输出图像上展示的嘴部状态进行检测，得到检测结果；目标输出图像包括第一输出图像或者第二输出图像；

候选嘴部素材确定子单元，用于在与目标输出图像对应的属性下的嘴部素材中，确定与检测结果匹配的候选嘴部素材；

风格样本图像生成子单元，用于利用候选嘴部素材对目标输出图像上人脸的嘴部进行替换，得到目标风格人脸样本图像；目标风格人脸样本图像包括第一风格人脸样本图像或者第二风格人脸样本图像。

可选的，风格样本图像生成子单元包括：

残缺图像生成子单元，用于利用预先确定的与目标输出图像对应的皮肤素材，覆盖目标输出图像上的嘴部，得到与目标输出图像对应的残缺图像；

目标嘴部素材确定子单元，用于对候选嘴部素材上的口腔区域进行非刚性形变处理，并对候选嘴部素材上的嘴唇区域进行刚性形变处理，得到与目标输出图像上的脸部匹配的目标嘴部素材；

嘴部素材叠加子单元，用于基于预先确定的嘴部位置，将目标嘴部素材叠加在残缺图像上，得到目标风格人脸样本图像。

可选的，目标嘴部素材确定子单元包括：

关键点确定子单元，用于确定候选嘴部素材上口腔轮廓的关键点；

网格化处理子单元，用于将口腔轮廓的关键点作为固定点，对候选嘴部素材进行网格化处理；

网格节点区分子单元，用于基于网格化处理得到的网格节点与口腔轮廓的关键点的位置关系，确定位于候选嘴部素材上口腔区域的第一网格节点和位于候选嘴部素材上嘴唇区域的第二网格节点；

嘴部素材形变子单元，用于对第一网格节点确定的网格进行非刚性形变处理，并对第二网格节点确定的网格进行刚性形变处理，得到与目标输出图像上的脸部匹配的目标嘴部素材。

可选的，脸部特征处理包括脸型调整；第一样本图像生成单元或者第二样本图像生成单元包括：

目标脸型确定子单元，用于基于目标输出图像对应的属性，确定目标脸型；目标输出图像包括第一输出图像或者第二输出图像；

脸型调整子单元，用于基于目标脸型对目标输出图像上的脸部进行脸型调整，得到目标风格人脸样本图像；目标风格人脸样本图像包括第一风格人脸样本图像或者第二风格人脸样本图像。

本公开实施例所提供的风格图像生成模型训练装置可执行本公开实施例所提供的任意风格图像生成模型训练方法，具备执行方法相应的功能模块和有益效果。本公开装置实施例中未详尽描述的内容可以参考本公开任意方法实施例中的描述。

图7为本公开实施例提供的一种电子设备的结构示意图，用于对实现本公开实施例提供的风格图像生成方法或者风格图像生成模型训练方法的电子设备进行示例性说明。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机、智能家居设备、可穿戴电子设备、服务器等等的固定终端。图7示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和占用范围带来任何限制。

如图7所示，电子设备500包括一个或多个处理器501和存储器502。

处理器501可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备500中的其他组件以执行期望的功能。

存储器502可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器501可以运行程序指令，以实现本公开实施例提供的风格图像生成方法或者风格图像生成模型训练方法，还可以实现其他期望的功能。在计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。应当理解，电子设备500可以执行本公开方法实施例提供的任意可选实施方案。

在一个示例中，电子设备500还可以包括：输入装置503和输出装置504，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

此外，该输入装置503还可以包括例如键盘、鼠标等等。

该输出装置504可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置504可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图7中仅示出了该电子设备500中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备500还可以包括任何其他适当的组件。

除了上述方法和设备以外，本公开实施例还提供一种计算机程序产品，其包括计算机程序或计算机程序指令，计算机程序或计算机程序指令在被计算设备执行时使得计算设备实现本公开实施例所提供的任意风格图像生成方法或者风格图像生成模型训练方法。

计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户电子设备上执行、部分地在用户电子设备上执行、作为一个独立的软件包执行、部分在用户电子设备上且部分在远程电子设备上执行、或者完全在远程电子设备上执行。

此外，本公开实施例还可以提供一种计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被计算设备执行时使得计算设备实现本公开实施例所提供的任意风格图像生成方法或者风格图像生成模型训练方法。应当理解，计算机程序指令在被计算设备执行时，可以使得计算设备实现本公开方法实施例提供的任意可选实施方案。

计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。