掌桥专利:专业的专利平台
掌桥专利
首页

美颜特效数据确定和模型训练方法、装置、设备和介质

文献发布时间:2023-06-19 18:58:26


美颜特效数据确定和模型训练方法、装置、设备和介质

技术领域

本公开涉及计算机技术领域,尤其涉及一种美颜特效数据确定方法、美颜特效数据确定装置、美颜特效数据预测模型训练方法、美颜特效数据预测模型训练装置、电子设备和计算机可读存储介质。

背景技术

美颜是拍摄照片、拍摄视频,或者直播过程中的常用人像美化工具,用户在拍摄照片、拍摄视频或者直播过程中,可以利用美颜特效去除面部瑕疵、放大面部特点以提升画面中人物的面部表现,进而为用户带来更好的拍摄体验。

相关技术中,用户可以选择的各种美颜素材,或者由美颜素材组成的美颜套系进行美颜,以获得美化后的拍摄内容。

但是,这种直接根据美颜素材或者美颜套系进行美颜的方法,通常需要用户对美颜素材的美化强度调整,或者在多种美颜套系中选择套系以进行拍摄,势必导致用户的操作成本增加。

发明内容

本公开提供一种美颜特效数据确定和模型训练方法、装置、设备和介质,可以自动化的为用户确定美颜特效数据,且提高确定的美颜特效数据和待处理画面的匹配度。本公开的技术方案如下:

根据本公开实施例的第一方面,提供一种美颜特效数据确定方法,包括:

获取待处理画面的画面特征数据,所述画面特征数据包括人脸特征数据和场景特征数据;

根据所述画面特征数据确定与所述待处理画面匹配的第一美颜素材数据,所述第一美颜素材数据包括第一美颜素材,以及所述第一美颜素材的美化强度值;

根据所述第一美颜素材数据生成目标美颜套系,并将所述目标美颜套系确定为与所述待处理画面对应的美颜特效数据。

根据本公开实施例的第二方面,提供一种美颜特效数据预测模型训练方法,包括:

采集样本画面的样本画面特征数据和样本标签,所述样本画面特征数据包括样本人脸特征数据和样本场景特征数据,所述样本标签包括样本美颜套系、样本美颜素材和样本美化强度值,所述样本美颜套系为拍摄所述样本画面时使用的美颜套系,所述样本美颜素材为拍摄所述样本画面时,在所述样本美颜套系中调整过的美颜素材,所述样本美化强度值为拍摄所述样本画面时,所述样本美颜素材的美化强度值;

根据所述样本画面特征数据和所述样本标签,对待训练的美颜特效数据预测模型进行迭代训练,直至所述待训练的美颜特效数据预测模型收敛,确定所述待训练的美颜特效数据预测模型训练完毕。

根据本公开实施例的第三方面,提供一种美颜特效数据确定装置,包括:

获取模块,被配置为获取待处理画面的画面特征数据,所述画面特征数据包括人脸特征数据和场景特征数据;

第一确定模块,被配置为根据所述画面特征数据确定与所述待处理画面匹配的第一美颜素材数据,所述第一美颜素材数据包括第一美颜素材,以及所述第一美颜素材的美化强度值;

第二确定模块,被配置为根据所述第一美颜素材数据生成目标美颜套系,并将所述目标美颜套系确定为与所述待处理画面对应的美颜特效数据。

根据本公开实施例的第四方面,提供一种美颜特效数据预测模型训练装置,包括:

采集模块,被配置为采集样本画面的样本画面特征数据和样本标签,所述样本画面特征数据包括样本人脸特征数据和样本场景特征数据,所述样本标签包括样本美颜套系、样本美颜素材和样本美化强度值,所述样本美颜套系为拍摄所述样本画面时使用的美颜套系,所述样本美颜素材为拍摄所述样本画面时,在所述样本美颜套系中调整过的美颜素材,所述样本美化强度值为拍摄所述样本画面时,所述样本美颜素材的美化强度值;

训练模块,被配置为根据所述样本画面特征数据和所述样本标签,对待训练的美颜特效数据预测模型进行迭代训练,直至所述待训练的美颜特效数据预测模型收敛,确定所述待训练的美颜特效数据预测模型训练完毕。

根据本公开实施例的第五方面,提供一种电子设备,包括:

处理器;

用于存储所述处理器可执行指令的存储器;

其中,所述处理器被配置为执行所述指令,以实现如第一方面所述的美颜特效数据确定方法,或者,所述处理器被配置为执行所述指令,以实现如第二方面所述的美颜特效数据预测模型训练方法。

根据本公开实施例的第六方面,提供一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如第一方面所述的美颜特效数据确定方法,或者,所述处理器被配置为执行所述指令,以实现如第二方面所述的美颜特效数据预测模型训练方法。

本公开的实施例提供的技术方案至少带来以下有益效果:

本公开实施例提供的美颜特效数据确定和模型训练方法、装置、设备和介质,一方面,在确定与待处理画面匹配的美颜特效数据的过程中,考虑到了待处理画面中的人脸特征和场景特征,可以提升确定的美颜特效数据和用户人脸以及当前场景的贴合度;另一方面,可以根据待处理画面的画面特征数据,直接确定拍摄时需要使用的第一美颜素材,以及第一美颜素材的美化强度值,省去了用户筛选美颜素材和调整美颜素材的美化强度值的流程,降低了用户的操作成本,提升了用户的使用体验。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种美颜特效数据确定系统的示意性架构图;

图2是根据一示例性实施例示出的一种美颜特效数据确定方法的流程图;

图3是根据一示例性实施例示出的一种美颜特效数据预测模型的结构示意图;

图4是根据一示例性实施例示出的一种美颜特效数据预测模型训练方法的流程图;

图5是根据一示例性实施例示出的另一种美颜特效数据预测模型训练方法的流程图;

图6是根据一示例性实施例示出的一种美颜套系预测子模型的结构示意图;

图7是根据一示例性实施例示出的一种美颜素材预测子模型的结构示意图;

图8是根据一示例性实施例示出的一种美颜素材预测子模型的结构示意图;

图9是根据一示例性实施例示出的又一种美颜特效数据预测模型训练方法的流程图;

图10是根据一示例性实施例示出的再一种美颜特效数据预测模型训练方法的流程图;

图11是根据一示例性实施例示出的一种美颜特效数据确定装置的框图;

图12是根据一示例性实施例示出的一种美颜特效数据预测模型训练装置的框图;

图13是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

相关技术中,在用户需要拍摄内容的时候,可以从拍摄工具提供的各种美颜素材中选择需要使用的目标素材进行美颜。或者,为了便于用户使用,拍摄工具服务方可以将不同的美颜素材组合成不同的美颜套系,供用户直接选择美颜套系进行美颜;其中,美颜素材为最小美化单元,例如,磨皮、瘦脸、去除黑眼圈、亮眼、白牙、面部立体、大眼、瘦鼻、清晰、美白、鼻影或者削脸等。

但是,直接将各种美颜素材提供给用户的方式,通常需要用户手动选择目标美颜素材,并设置美颜素材的美化强度值,用户的操作成本高,且拍摄工具通常会将常用的美颜素材优先展示供用户选择,导致大量美颜素材的曝光率和使用率较低,无法发挥应有的美化价值;而为用户提供美颜套系的方式,美颜套系是拍摄工具服务方根据经验确定的,通常符合大多数的场景,但是可能与各个用户特征和用户偏好差异较大,导致美化效果与用户期望差异较大,或者,美化结果不符合审美。

鉴于上述问题,本公开的示例性实施方式提供一种美颜特效数据确定方法,该美颜特效数据确定方法的应用场景包括但不限于:在直播过程中,可以获取待处理画面的画面特征数据,其中,画面特征数据包括人脸特征数据和场景特征数据;并根据画面特征数据确定与待处理画面匹配的第一美颜素材数据,其中,第一美颜素材数据包括第一美颜素材,以及第一美颜素材的美化强度值;进一步的,根据第一美颜素材数据生成目标美颜套系,并将目标美颜套系确定为与待处理画面对应的美颜特效数据。可以实现根据待拍摄场景中的人脸特征和场景特征,确定与待处理画面匹配的美颜特效数据,使得确定的美颜特效数据更符合用户的面部特点,以及用户所处场景的场景特点,提升最终得到的拍摄画面的美观度。

为了实现上述美颜特效数据确定方法,本公开的示例性实施方式提供一种美颜特效数据确定系统。图1示出了该美颜特效数据确定系统的示意性架构图。如图1所示,美颜特效数据确定系统100可以包括服务器110与终端设备120。其中,服务器110为拍摄工具服务方部署的后台服务器,拍摄工具服务方可以为具有拍摄功能的短视频应用的服务方、相机应用的服务方、购物应用的服务方或者直播应用的服务方等。终端设备120是安装有拍摄工具(例如,短视频应用、相机应用、购物应用或者直播应用)的终端设备,更具体地,终端设备可以是如智能手机、个人电脑或者平板电脑等。服务器110与终端设备120可以通过网络建立连接,实现美颜特效数据确定。

应当理解,服务器110可以是一台服务器,也可以是多台服务器形成的集群,本公开对于服务器110的具体架构不做限定。

在一种可选的实施方式中,本公开实施例提供的美颜特效数据确定方法可以应用于终端设备120中,则终端设备120可以获取待处理画面的画面特征数据,进一步的,终端设备120可以根据画面特征数据确定与待处理画面匹配的第一美颜素材数据;根据第一美颜素材数据生成目标美颜套系,以及将目标美颜套系确定为与待处理画面对应的美颜特效数据,并根据目标美颜套系显示预览拍摄画面。

在一种可选的实施方式中,本公开实施例提供的美颜特效数据确定方法可以应用于服务器110中,则终端设备120可以在获取待处理画面的画面特征数据,并根据画面特征数据生成美颜特效数据获取请求,以及将美颜特效数据获取请求发送至服务器110,服务器110可以解析美颜特效数据获取请求,得到画面特征数据;进一步的,服务器110可以根据画面特征数据确定与待处理画面匹配的第一美颜素材数据;根据第一美颜素材数据生成目标美颜套系,以及将目标美颜套系确定为与待处理画面对应的美颜特效数据,并将目标美颜套系发送至终端设备120,其中,终端设备120接收到目标美颜套系后,可以根据目标美颜套系显示预览拍摄画面。

可以理解的是,终端设备120在显示预览拍摄画面的过程中,在接收到用户的拍摄操作后,根据目标美颜套系拍摄内容,其中,待处理画面可以基于拍摄场景确定,本公开实施例对此不作限定,例如,直播场景中采集到的直播画面,或者,照片拍摄场景中采集到的画面,或者,视频拍摄场景中采集到的视频画面。

图2是根据一示例性实施例示出的一种美颜特效数据确定方法的流程图,本公开实施例以美颜特效数据确定方法应用于服务器中为例,对美颜特效数据确定方法进行说明,如图2所示,包括以下步骤:

步骤S201,获取待处理画面的画面特征数据;

在本公开实施例中,画面特征数据包括人脸特征数据和场景特征数据。

步骤S202,根据画面特征数据确定与待处理画面匹配的第一美颜素材数据;

在本公开实施例中,第一美颜素材数据包括第一美颜素材,以及第一美颜素材的美化强度值。

步骤S203,根据第一美颜素材数据生成目标美颜套系,并将目标美颜套系确定为与待处理画面对应的美颜特效数据。

综上所述,本公开实施例提供的美颜特效数据确定方法,一方面,在确定与待处理画面匹配的美颜特效数据的过程中,考虑到了待处理画面中的人脸特征和场景特征,可以提升确定的美颜特效数据和用户人脸以及当前场景的贴合度;另一方面,可以根据待处理画面的画面特征数据,直接确定拍摄时需要使用的第一美颜素材,以及第一美颜素材的美化强度值,省去了用户筛选美颜素材和调整美颜素材的美化强度值的流程,降低了用户的操作成本,提升了用户的使用体验。

下面对图2中的每个步骤进行具体说明:

在步骤S201中,服务器可以获取待处理画面的画面特征数据。

在本公开实施例中,画面特征数据可以包括人脸特征数据和场景特征数据,人脸特征数据用于表征待处理画面中人脸的特征信息,例如,人脸轮廓特征、五官特征、肤色特征、年龄和/或性别等;场景特征数据用于表征待处理画面中的环境特征,例如,户外、室内、白天、夜晚和/或场地等。

在一种可选的实施方式中,待处理画面可以为实时采集到的画面,则用户使用的终端设备可以响应于用户对摄像头的启用操作,控制摄像头采集待处理画面,并对待处理画面进行识别得到画面特征数据,进一步的,终端设备根据画面特征数据生成美颜特效数据获取请求,并将美颜特效数据获取请求发送至服务器。

在一种可选的实施方式中,为了得到更精准的识别结果,终端设备响应于用户对摄像头的启用操作,控制摄像头采集待处理画面,并对待处理画面进行识别得到画面特征数据的过程可以包括:响应于对摄像头的启用操作采集多帧画面,并对多帧画面分别进行识别得到多个待处理画面特征数据;并对多个待处理画面特征数据进行聚类,得到待处理画面的画面特征数据。

在一种可选的实施方式中,为了保护用户隐私,可以对人脸特征数据进行隐私保护处理,例如,对人脸特征数据中的年龄,确定年龄所处年龄段,将年龄段的标识确定为人脸特征数据,例如,可以将年龄分为多个年龄段,并按照年龄段包含年龄值由小及大的顺序,将多个年龄段标记为婴幼儿、青少年、青壮年、中年和老年等。

在一种可选的实施方式中,待处理画面可以为历史拍摄内容的画面,则用户使用的终端设备可以响应于对历史拍摄内容的加载操作,获取历史拍摄内容得到待处理画面,并对待处理画面进行识别得到画面特征数据,进一步的,终端设备可以根据画面特征数据生成美颜特效数据获取请求,并将美颜特效数据获取请求发送至服务器;其中,历史拍摄内容可以为先前拍摄的照片,直播视频或者非直播视频。

可以理解的是,服务器获取与待处理画面对应的画面特征数据的过程可以包括:服务器接收到终端设备发送的美颜特效数据获取请求后,可以解析美颜特效数据获取请求,得到与待处理画面对应的画面特征数据。

在步骤S202中,服务器可以根据画面特征数据确定与待处理画面匹配的第一美颜素材数据。

在本公开实施例中,第一美颜素材数据包括第一美颜素材,以及第一美颜素材的美化强度值,其中,美化强度值用于表征美化程度,例如,第一美颜素材为瘦脸,第一美颜素材的美化强度值用于表征瘦脸的程度强弱。

在一种可选的实施方式中,美颜素材的数量通常比较庞大,直接在海量的美颜素材中确定与待处理画面匹配的第一美颜素材数据,需要耗费一定的时间与数据处理资源,则服务器根据画面特征数据确定与待处理画面匹配的第一美颜素材数据的过程可以包括:根据画面特征数据确定与待处理画面匹配的第二候选美颜套系;根据画面特征数据从第二候选美颜套系的多个美颜素材数据中,确定与待处理画面匹配的第一美颜素材和第一美颜素材的美化强度值,其中,第二候选美颜套系包括多个美颜素材,第二候选美颜套系可以为本公开实施例提供的美颜特效数据确定方法出现之前,拍摄工具服务方为了提供美颜处理服务构建的美颜套系中的任一个。可以先根据画面特征数据确定与画面特征匹配的已构建美颜套系,并在已构建美颜套系中确定与待处理画面匹配的第一美颜素材数据,可以在确定第一美颜素材数据的过程中,减少数据资源和时间的消耗,提高确定第一美颜素材数据的效率。

其中,服务器根据画面特征数据确定与待处理画面匹配的第二候选美颜套系,以及根据画面特征数据从第二候选美颜套系的多个美颜素材数据中,确定与待处理画面匹配的第一美颜素材和第一美颜素材的美化强度值的过程,可以基于预先训练的美颜特效数据预测模型实现;如图3所示,美颜特效数据预测模型包括美颜套系预测子模型301,美颜素材预测子模型302和美化强度值预测子模型303;其中,美颜套系预测子模型,用于根据画面特数据预测与待处理画面匹配的第二候选美颜套系;美颜素材预测子模型,用于根据画面特数据和第二候选美颜套系,在第二候选美颜套系的多个美颜素材数据中,确定与待处理画面匹配的第一美颜素材;美化强度值预测子模型,用于根据画面特征数据和第二候选美颜套系,确定与待处理画面匹配的第一美颜素材的美化强度值。

可以理解的是,在本公开实施例中,美颜特效数据预测模型之所以包括美颜套系预测子模型,是因为拍摄工具服务方通常提供有海量的美颜素材,直接让美颜特效数据预测模型学习为不同画面确定不同的美颜素材数据,会存在模型训练难度大,且预测过程对时间和数据处理资源消耗较大的情况;而在美颜特效数据预测模型中加入美颜套系预测子模型,可以使美颜特效数据预测模型学习在不同画面下用户可能选择的第二候选美颜套系,并在第二候选美颜套系的多个美颜素材数据中,选择与待处理画面匹配第一美颜素材,以及第一美颜素材的美化强度值。其中,在用户可能选择的第二候选美颜套系中,选择与待处理画面匹配第一美颜素材,以及第一美颜素材的美化强度值,得到与待处理画面匹配的目标美颜套系,可以使美颜特效数据预测模型利用第二候选美颜套系,学习预测与待处理画面匹配的目标美颜套系,使得本公开实施例提供的美颜特效数据确定方法,可以根据待处理画面的画面特征数据,确定与待处理画面匹配的目标美颜套系,无需人工设计美颜套系,提高为用户拍摄时提供的美颜特效数据与用户特征和场景特征的匹配度,并提高确定美颜特效数据的效率。

在一种可选的实施方式中,如图4所示,服务器可以通过以下方式训练美颜特效数据预测模型,包括:

步骤S401,服务器可以采集样本画面的样本画面特征数据和样本标签;

在本公开实施例中,样本画面特征数据包括样本人脸特征数据和样本场景特征数据,样本标签包括样本美颜套系、样本美颜素材和样本美化强度值,样本美颜套系为拍摄样本画面时使用的美颜套系,样本美颜素材为拍摄样本画面时,在样本美颜套系中调整过的美颜素材,样本美化强度值为拍摄样本画面时,样本美颜素材的美化强度值;样本画面可以为包括样本图像或样本视频,其中,样本视频可以为样本直播视频。

在一种可选的实施方式中,服务器采集样本画面的样本画面特征数据和样本标签的过程可以包括:在用户拍摄信息数据库中,确定历史时段的多个单位时间内发生过拍摄行为的至少一个样本用户账户,并采集与每个样本用户账户关联的每个样本画面的样本画面特征数据和和样本标签;其中,历史时段为模型训练时间之间的时段,单位时间可以基于实际需要确定,本公开实施例对此不作限定,例如,单位时间可以是每天或者每两天;样本用户账户为使用过拍摄工具的任一用户账户。

步骤S402,根据样本画面特征数据和样本标签,对待训练的美颜特效数据预测模型进行迭代训练,直至待训练的美颜特效数据预测模型收敛,确定待训练的美颜特效数据预测模型训练完毕;

在本公开实施例中,可以通过样本人脸特征数据和样本场景特征数据,训练美颜特效数据预测模型,使美颜特效数据预测模型学习画面中人脸特征以及场景特征,与画面匹配的美颜素材和美颜素材的美化强度值之间的关系,以用于确定与待处理画面匹配的第一美颜素材数据,可以使美颜特效数据预测模型确定与待处理画面更匹配的第一美颜素材数据。

需要说明的是,在本公开实施例中,美颜特效数据预测模型的模型结构可以为任一种机器学习模型的网络模型结构,本公开实施例对此不作限定。在一种可选的实施方式中,美颜特效数据预测模型的模型结构可以如图3所示,则如图5所示,服务器根据样本画面特征数据和样本标签,对待训练的美颜特效数据预测模型进行迭代训练的过程包括:

步骤S501,将样本画面特征数据输入待训练的美颜套系预测子模型,得到与样本画面匹配的预测美颜套系,并基于预测美颜套系和样本美颜套系,调整待训练的美颜套系预测子模型的模型参数;

在本公开实施例中,美颜套系预测子模型的模型结构可以为任一种机器学习模型的模型结构,本公开实施例对此不作限定。可选的,如图6所示,美颜套系预测子模型可以包括第一特征交叉模块601,第一特征处理模块602和第一特征提取模块603,其中,第一特征交叉模块可以为因子分解网络模块(Factorization Machine,FM),第一特征处理模块可以为注意力机制网络模块(Squeeze-and-Excitation,SE),第一特征提取模块可以为多门控混合专家(Multi-gate Mixture-of-Experts,MMOE)网络,第一特征提取模块可以包括多个专家网络,以及与美颜套系预测任务关联的一个门网络。

需要说明的是,在如图6所示的美颜套系预测子模型中,专家网络的数量可以基于实际需要确定,本公开实施例对此不作限定;如图6所示,第一特征提取模块中的专家网络(Em)可以包括6个;在MMOE网络中,门网络的数量通常与预测任务中的任务数量有关,由于美颜套系确定任务中包括预测美颜套系一个任务,则第一特征提取模块中的门网络(Gm)可以包括1个。

在一种可选的实施方式中,美颜套系预测子模型的模型结构如图6所示,则将样本画面特征数据输入待训练的美颜套系预测子模型,得到与样本画面匹配的预测美颜套系的过程可以包括:通过第一特征交叉模块,对样本画面特征数据进行特征交叉处理,得到第一样本特征数据集合,其中,第一样本特征数据集合包括样本画面特征数据,以及样本画面特征数据的组合数据;进一步的,通过第一特征处理模块,将第一样本特征数据集合进行特征提取得到预设数量特征通道的第二样本特征数据,并根据每个特征通道的第二样本特征数据确定每个特征通道的第一样本特征权重,以及根据与每个特征通道关联的第二样本特征数据和第一样本特征权重,得到第一样本加权特征数据;接着,通过第一特征提取模块,将第一样本加权特征数据分别输入多个专家网络得到多个第三样本特征数据,以及将第一样本加权特征数据输入与美颜套系预测任务关联的门网络,得到在美颜套系预测任务中每个第三样本特征数据的第一样本权重值,并根据多个第三样本特征数据,以及每个第三样本特征数据的第一样本权重值,得到第二样本加权特征数据;最后,基于第一样本特征数据集合和第二样本加权特征数据进行候选美颜套系预测,得到与样本画面匹配的预测美颜套系。可以先将样本画面特征数据进行特征交叉处理,以得到更丰富的样本画面特征数据,再将交叉后的样本特征数据经过两次的特征提取得到样本加权特征,以获得美颜套系预测子模型在美颜套系预测过程中需要重点关注的特征,最后结合交叉特征和提取到的样本加权特征得到预测美颜套系,可以使美颜套系预测子模型更精准的预测美颜套系。

在一种可选的实施方式中,基于预测美颜套系和样本美颜套系,调整待训练的美颜套系预测子模型的模型参数可以包括:根据预测美颜套系、样本美颜套系和第一损失函数确定第一损失函数值;若确定第一损失函数值大于第一预设阈值,则调整待训练的美颜套系预测子模型的模型参数,其中,第一损失函数可以为任一用于调整模型参数的损失函数,本公开实施例对此不作限定;可选的,第一损失函数为基于对正负样本进行权重调整的损失函数。示例的,第一损失函数可以为基于焦点损失(focal loss)的交叉熵损失函数;第一预设阈值可以基于实际需要确定,本公开实施例对此不作限定;在美颜特效数据预测模型的训练过程中,可以利用基于对正负样本进行权重调整的损失函数,对于美颜套系预测子模型的收敛情况进行评估,可以解决样本不均衡的情况,以进一步提升训练得到的美颜套系预测子模型在实际应用中确定的预测结果的精准度。

步骤S502,根据预测美颜套系确定样本候选美颜套系;

在一种可选的实施方式中,根据预测美颜套系确定样本候选美颜套系的过程可以包括:将预测美颜套系确定为样本候选美颜套系,可以在美颜特效数据预测模型的训练过程中,便于根据预测美颜套系和样本画面特征数据训练美颜素材预测子模型和美化强度值预测子模型。

在一种可选的实施方式中,根据预测美颜套系确定样本候选美颜套系的过程可以包括:基于计划采样策略(Scheduled Sampling)在预测美颜套系和样本美颜套系中,选取样本美颜套系作为样本候选美颜套系,其中,计划采样策略中的样本候选美颜套系选取规则可以基于实际需要确定,本公开实施例对此不作限定;示例的,计划采样策略可以包括:在每一轮迭代训练之后,在预测美颜套系和样本美颜套系中选取样本候选美颜套系时,可以将预测美颜套系的采样概率增加10%。可以基于计划采样策略选取样本候选美颜套系,通过逐渐增加预测美颜套系在确定样本候选美颜套系中的概率,使美颜素材预测子模型以及美化强度值预测子模型学习,将通过样本美颜套系确定美颜素材和美颜素材的强度值,迁移至通过预测美颜套系确定美颜素材和美颜素材的强度值,防止美颜特效数据预测模型的应用过程中,由于缺少样本美颜套系造成的预测结果不准确的问题,进一步提升训练得到的美颜特效数据预测模型的预测结果的精准度。

步骤S503,将样本画面特征数据和样本候选美颜套系,输入待训练的美颜素材预测子模型,得到与样本画面匹配的预测美颜素材,并基于预测美颜素材和样本美颜素材,调整待训练的美颜素材预测子模型的模型参数;

在本公开实施例中,美颜素材预测子模型的模型结构可以为任一种机器学习模型的模型结构,本公开实施例对此不作限定。可选的,如图7所示,美颜素材预测子模型可以包括第二特征交叉模块701,第二特征处理模块702和第二特征提取模块703,其中,第二特征交叉模块可以为因子分解网络模块(Factorization Machine,FM),第二特征处理模块可以为注意力机制网络模块(Squeeze-and-Excitation,SE),第二特征提取模块可以为多门控混合专家网络(Multi-gate Mixture-of-Experts,MMOE),第二特征提取模块可以包括多个专家网络,以及与多个美颜素材预测任务分别关联的门网络。

需要说明的是,在如图7所示的美颜素材预测子模型中,专家网络的数量可以基于实际需要确定,本公开实施例对此不作限定;如图7所示,第二特征提取模块中的专家网络(E’m)可以包括6个;在MMOE网络中,门网络的数量通常与预测任务中的任务数量有关,由于美颜过程中需要多个美颜素材协同完成,则美颜素材确定任务中包括多个美颜素材预测任务,门网络的数量也包括多个;示例的,第二特征提取模块中的门网络(G’m)可以包括18个。

在一种可选的实施方式中,美颜素材预测子模型的模型结构如图7所示,则将样本画面特征数据和样本候选美颜套系,输入待训练的美颜素材预测子模型,得到与样本画面匹配的预测美颜素材的过程可以包括:通过第二特征交叉模块,对样本目标特征数据进行交叉处理,得到第二样本特征数据集合,其中,样本目标特征数据包括样本候选美颜套系和样本画面特征数据,第二特征数据集合包括样本目标特征数据,以及样本目标特征数据的组合数据;进一步的,通过第二特征处理模块,将第二样本特征数据集合进行特征提取得到预设数量特征通道的第四样本特征数据,并根据每个特征通道的第四样本特征数据,确定每个特征通道的第二样本特征权重,以及根据与每个特征通道关联的第四样本特征数据和第二样本特征权重,得到第三样本加权特征数据;接着,通过第二特征提取模块,将第三样本加权特征数据分别输入多个专家网络得到多个第五样本特征数据,以及将第三样本加权特征数据输入与多个美颜素材预测任务分别关联的门网络,得到在每个美颜素材预测任务中每个第五样本特征数据的第二样本权重值,并根据多个第五样本特征数据,以及在每个美颜素材预测任务中每个第五样本特征数据的第二样本权重值,得到第四样本加权特征数据;最后,基于第二样本特征数据集合和第四样本加权特征数据进行美颜素材预测,在样本候选美颜套系的多个美颜素材数据中,确定与样本画面匹配的预测美颜素材。可以先将样本画面特征数据以及样本候选美颜套系进行特征交叉处理,以得到更丰富的特征数据,再将交叉后的样本特征数据经过两次的特征提取得到样本加权特征,以获得美颜素材预测子模型在美颜素材预测过程中需要重点关注的特征,最后结合交叉特征和提取到的样本加权特征得到预测美颜素材,可以使美颜素材预测子模型更精准的预测美颜素材。

在一种可选的实施方式中,基于预测美颜素材和样本美颜素材,调整待训练的美颜素材预测子模型的模型参数的过程可以包括:根据预测美颜素材、样本美颜素材和第二损失函数确定第二损失函数值;若确定第二损失函数值大于第二预设阈值,则调整待训练的美颜素材预测子模型的模型参数。其中,第二损失函数可以为任一用于调整模型参数的损失函数,本公开实施例对此不作限定;可选的,第二损失函数为基于对正负样本进行权重调整的损失函数;示例的,第二损失函数可以为基于焦点损失(focal loss)的对数损失函数(log loss);第二预设阈值可以基于实际需要确定,本公开实施例对此不作限定;在美颜特效数据预测模型的训练过程中,可以利用基于对正负样本进行权重调整的损失函数,对于美颜素材预测子模型的收敛情况进行评估,可以解决样本不均衡的情况,以提升训练得到的美颜素材预测子模型在实际应用中确定的预测结果的精准度。

步骤S504,将样本画面特征数据和样本候选美颜套系,输入待训练的美化强度值预测子模型,得到与样本画面匹配的预测美颜素材的预测美化强度值,并基于预测美化强度值和样本美化强度值,调整待训练的美化强度值预测子模型的模型参数;

在本公开实施例中,美化强度值预测子模型的模型结构可以为任一种机器学习模型的模型结构,本公开实施例对此不作限定。可选的,如图8所示,美化强度值预测子模型可以包括第三特征交叉模块801,第三特征处理模块802、第三特征提取模块803和掩蔽层804,其中,第三特征交叉模块可以为因子分解网络模块(Factorization Machine,FM),第三特征处理模块可以为注意力机制网络模块(Squeeze-and-Excitation,SE),第三特征提取模块可以为多门控混合专家网络(Multi-gate Mixture-of-Experts,MMOE),第三特征提取模块可以包括多个专家网络,以及与多个美颜素材的美化强度值预测任务分别关联的门网络。

需要说明的是,在如图8所示的美化强度值预测子模型中,专家网络的数量可以基于实际需要确定,本公开实施例对此不作限定;如图8所示,第三特征提取模块中的专家网络(E’’m)可以包括6个;在MMOE网络中,门网络的数量通常与预测任务中的任务数量有关,由于美颜过程中需要多个美颜素材协同完成,则美颜素材的美化强度值确定任务中包括多个美颜素材的美化强度值预测任务,门网络的数量也包括多个;示例的,第三特征提取模块中的门网络(G’’m)可以包括18个。

在一种可选的实施方式中,将样本画面特征数据和样本候选美颜套系,输入待训练的美化强度值预测子模型,得到与样本画面匹配的预测美颜素材的预测美化强度值的过程可以包括:通过第三特征交叉模块,对样本目标特征数据进行交叉处理,得到第二样本特征数据集合,其中,样本目标特征数据包括样本候选美颜套系和样本画面特征数据,第二特征数据集合包括样本目标特征数据,以及样本目标特征数据的组合数据;进一步的,通过第三特征处理模块,将第二样本特征数据集合进行特征提取得到预设数量特征通道的第六样本特征数据,并根据每个特征通道的第六样本特征数据,确定每个特征通道的第三样本特征权重,以及根据与每个特征通道关联的第六样本特征数据和第三样本特征权重,得到第五样本加权特征数据;接着,通过第三特征提取模块,将第五样本加权特征数据分别输入多个专家网络得到多个第七样本特征数据,以及将第五样本加权特征数据输入与多个美颜素材的美化强度值预测任务分别关联的门网络,得到在每个美颜素材的美化强度值预测任务中每个第七样本特征数据的第三样本权重值,并根据多个第七样本特征数据,以及在每个美颜素材的美化强度值预测任务中每个第七样本特征数据的第三样本权重值,得到第六样本加权特征数据;再接着,将第二样本特征数据集合和第六样本加权特征数据输入掩蔽层,以根据第四样本特征数据集合中的样本候选美颜套系,将第六样本加权特征数据中样本候选美颜套系中不包含的样本美颜素材的特征数据进行掩蔽,得到更新后的第六样本加权特征数据;最后,根据第二样本特征数据集合和更新后的第六样本加权特征数据进行美化强度值预测,得到与样本画面匹配的预测美颜素材的预测美化强度值。可以先将样本画面特征数据以及样本候选美颜套系进行特征交叉处理,以得到更丰富的特征数据,再将交叉后的特征数据经过两次的特征提取得到样本加权特征,以获得美化强度值预测子模型在美化强度值预测过程中需要重点关注的特征,并对加权特征数据中候选美颜套系中不包含的样本美颜素材的特征数据进行掩蔽,以消除候选美颜套系中不包含的样本美颜素材的特征数据对预测美颜素材的美化强度值的影响,最后结合交叉特征和消除影响后的样本加权特征得到预测美化强度值,可以美化强度值预测子模型预测的美化强度值的精准度。

在一种可选的实施方式中,服务器基于预测美化强度值和样本美化强度值,调整待训练的美化强度值预测子模型的模型参数的过程可以包括:根据预测美化强度值、样本美化强度值和第三损失函数确定第三损失函数值;若确定第三损失函数值大于第三预设阈值,则调整待训练的美化强度值预测子模型的模型参数。其中,第三损失函数可以为任一用于调整模型参数的损失函数,本公开实施例对此不作限定;可选的,第三损失函数为基于掩蔽(mask)加权的均方误差(mean-square error, MSE)损失函数;第三预设阈值可以基于实际需要确定,本公开实施例对此不作限定。

步骤S505,重复上述过程,直至待训练的美颜套系预测子模型、待训练的美颜素材预测子模型,以及待训练的美化强度值预测子模型收敛,确定待训练的美颜特效数据预测模型收敛。

需要说明的是,在本公开实施例中,对于美颜套系预测子模型,当第一损失函数值小于或者等于第一预设阈值时,可以确定美颜套系预测子模型收敛;对于美颜素材预测子模型,当第二损失函数值小于或者等于第二预设阈值时,可以确定美颜素材预测子模型收敛;对于美化强度值预测子模型,当第三损失函数值小于或者等于第三预设阈值时,可以确定美化强度值预测子模型收敛。

可以理解的是,在如图3所示的美颜特效数据预测模型被训练完成后,在一种可选的实施方式中,根据画面特征数据确定与待处理画面匹配的第二候选美颜套系的过程可以包括:对画面特征数据进行特征交叉处理,得到第三特征数据集合,其中,第三特征数据集合包括画面特征数据,以及画面特征数据的组合数据;接着,将第三特征数据集合进行特征提取得到预设数量特征通道的第八特征数据,并根据每个特征通道的第八特征数据确定每个特征通道的第四特征权重,以及根据与每个特征通道关联的第八特征数据和第四特征权重,得到第七加权特征数据;进一步的,将第七加权特征数据分别输入多个专家网络得到多个第九特征数据,以及将第七加权特征数据输入与美颜套系预测任务关联的门网络,得到在美颜套系预测任务中每个第九特征数据的第四权重值,并根据多个第九特征数据,以及每个第九特征数据的第四权重值,得到第八加权特征数据;最后,基于第三特征数据集合和第八加权特征数据进行候选美颜套系预测,得到与待处理画面匹配的第二候选美颜套系。可以先将画面特征数据进行特征交叉处理,以得到更丰富的特征数据,再将交叉后的特征数据经过两次的特征提取得到加权特征,以获得模型在第二候选美颜套系预测过程中需要重点关注的特征,最后结合交叉特征和加权特征得到第二候选美颜套系,可以提升确定的第二候选美颜套系的精准度。

在一种可选的实施方式中,服务器根据画面特征数据从第二候选美颜套系的多个美颜素材数据中,确定与待处理画面匹配的第一美颜素材的过程可以包括:对第二目标特征数据进行交叉处理,得到第四特征数据集合,其中,第二目标特征数据包括第二候选美颜套系和画面特征数据,第四特征数据集合包括第二目标特征数据,以及第二目标特征数据的组合数据;接着,将第四特征数据集合进行特征提取得到预设数量特征通道的第十特征数据,并根据每个特征通道的第十特征数据确定每个特征通道的第五特征权重,以及根据与每个特征通道关联的第十特征数据和第五特征权重,得到第九加权特征数据;进一步的,将第九加权特征数据分别输入多个专家网络得到多个第十一特征数据,以及将第九加权特征数据输入与多个美颜素材预测任务分别关联的门网络,得到在每个美颜素材预测任务中每个第十一特征数据的第五权重值,并根据多个第十一特征数据,以及在每个美颜素材预测任务中每个第十一特征数据的第五权重值,得到第十加权特征数据;最后,基于第四特征数据集合和第十加权特征数据进行美颜素材预测,在第二候选美颜套系的多个美颜素材数据中,确定与待处理画面匹配的第一美颜素材。可以先将画面特征数据进行特征交叉处理,以得到更丰富的特征数据,再将交叉后的特征数据经过两次的特征提取得到加权特征,以获得模型在第一美颜素材确定过程中需要重点关注的特征,最后结合交叉特征和加权特征得到第一美颜素材,可以提升确定的第一美颜素材的精准度。

在一种可选的实施方式中,服务器根据画面特征数据从第二候选美颜套系的多个美颜素材数据中,确定与待处理画面匹配的第一美颜素材的美化强度值的过程可以包括:对第二目标特征数据进行交叉处理,得到第四特征数据集合,其中,第二目标特征数据包括第二候选美颜套系和画面特征数据,第四特征数据集合包括第二目标特征数据,以及第二目标特征数据的组合数据;接着,将第四特征数据集合进行特征提取得到预设数量特征通道的第十二特征数据,并根据每个特征通道的第十二特征数据确定每个特征通道的第六特征权重,以及根据与每个特征通道关联的第十二特征数据和第六特征权重,得到第十一加权特征数据;进一步的,将第十一加权特征数据分别输入多个专家网络得到多个第十三特征数据,以及将第十一加权特征数据输入与多个美颜素材的美化强度值预测任务分别关联的门网络,得到在每个美颜素材的美化强度值预测任务中每个第十三特征数据的第六权重值,并根据多个第十三特征数据,以及在每个美颜素材的美化强度值预测任务中每个第十三特征数据的第六权重值,得到第十二加权特征数据;更进一步的,将第四特征数据集合和第十二加权特征数据输入掩蔽层,以根据第四特征数据集合中的第二候选美颜套系,将第十二加权特征数据中第二候选美颜套系中不包含美颜素材的特征数据进行掩蔽,得到更新后的第十二加权特征数据;最后,根据第四特征数据集合和更新后的第十二加权特征数据进行美化强度值预测,得到与待处理画面匹配的第一美颜素材的美化强度值。可以先将画面特征数据进行特征交叉处理,以得到更丰富的特征数据,再将交叉后的特征数据经过两次的特征提取得到加权特征,以获得模型在第一美颜素材的美化强度值确定过程中需要重点关注的特征,最后结合交叉特征和加权特征得到第一美颜素材的美化强度值,可以提升确定的第一美颜素材的美化强度值精准度。

在一种可选的实施方式中,为了进一步提升确定的美颜特效数据的精准度,可以将用户历史行为数据考虑进来,以确定美颜特效数据,其中,用户历史行为数据用户表征用户的美颜特效数据使用特征。待处理画面为目标用户账户的待处理画面,目标用户账户为利用拍摄工具进行内容拍摄的任一用户账户,则服务器根据画面特征数据确定与待处理画面匹配的第一美颜素材数据的过程可以包括:根据画面特征数据,以及与目标用户账户关联的用户历史行为数据,确定与待处理画面匹配的第一美颜素材数据,其中,用户历史行为数据包括目标用户账户使用过的历史美颜套系,以及与历史美颜套系关联的第二美颜素材数据中的至少一种;可以理解的是,与历史美颜套系关联的第二美颜素材数据包括历史美颜套系包含的历史美颜素材,和/或历史美颜素材的历史美化强度值。在确定与待处理画面匹配的美颜特效数据的过程中,考虑到了待处理画面中的人脸特征、场景特征以及用户的美颜特效数据使用行为特征,在提升确定的美颜特效数据和用户人脸以及当前场景的匹配度的基础上,进一步提升确定的美颜特效数据与用户的美颜特殊数据使用习惯或者偏好的适配度,提升用户对确定的美颜特效数据的满意度。

在一种可选的实施方式中,与目标用户账户关联的用户历史行为数据还包括:与目标用户账户关联的美颜套系展示量、美颜套系点击量、美颜套系使用量、被展示美颜套系的点击率和被点击美颜套的使用率中的至少一个;其中,美颜套系展示量、美颜套系点击量、美颜套系使用量、被展示美颜套系的点击率和被点击美颜套的使用率为,与样本目标用户账户关联的第一预设时长的统计量,第一预设时长可以为当前时刻之前的一定时长。例如,一周,十天或者一个月等,本公开实施例对此不作限定。在确定与待处理画面匹配的美颜特效数据的过程中,在考虑到待处理画面中的人脸特征、场景特征以及用户的美颜特效数据使用行为特征的基础上,进一步考虑用户与美颜套系的互动行为确定美颜特效数据,更进一步提升确定的美颜特效数据与用户的美颜特殊数据使用习惯或者偏好的适配度,提升用户对确定的美颜特效数据的满意度。

在一种可选的实施方式中,美颜素材的数量通常比较庞大,直接在海量的美颜素材中确定与待处理画面匹配的第一美颜素材数据,需要耗费一定的时间与数据处理资源,则服务器根据画面特征数据,以及与目标用户账户关联的用户历史行为数据,确定与待处理画面匹配的第一美颜素材数据的过程可以包括:根据待处理特征数据确定与待处理画面匹配的第一候选美颜套系;根据待处理特征数据从第一候选美颜套系的多个美颜素材数据中,确定与待处理画面匹配的第一美颜素材和第一美颜素材的美化强度值。其中,待处理特征数据包括画面特征数据和用户历史行为数据,第一候选美颜套系包括多个美颜素材;第一候选美颜套系可以为本公开实施例提供的美颜特效数据确定方法出现之前,拍摄工具服务方为了提供美颜处理服务构建的美颜套系中的任一个。可以先根据画面特征数据和用户历史行为数据确定与画面特征匹配的已构建美颜套系,并在已构建美颜套系中确定与待处理画面匹配的第一美颜素材数据,可以在确定第一美颜素材数据的过程中,减小耗时和数据资源的消耗,提高确定第一美颜素材数据的效率;由与确定第一美颜素材数据的过程中还考虑到了用户历史行为数据,可以提升确定的第一美颜素材数据和用户的美颜特效数据使用偏好和习惯的适配度,提升用户满意度。

其中,服务器根据待处理特征数据确定与待处理画面匹配的第一候选美颜套系;根据待处理特征数据从第一候选美颜套系的多个美颜素材数据中,确定与待处理画面匹配的第一美颜素材和第一美颜素材的美化强度值的过程,可以基于预先训练的美颜特效数据预测模型实现,美颜特效数据预测模型的模型结构可以如图3所示。在一种可选的实施方式中,如图9所示,服务器可以通过以下方式训练美颜特效数据预测模型,包括:

步骤S901,服务器可以采集样本画面的样本画面特征数据和样本标签,以及采集与样本目标用户账户关联的样本用户历史行为数据;

在本公开实施例中,样本目标用户账户为样本画面的用户账户,样本用户历史行为数据用于表征样本用户的样本美颜特效数据使用特征;样本用户历史行为数据可以包括:样本目标用户账户使用过的样本历史美颜套系,以及与样本历史美颜套系关联的样本美颜素材数据中的至少一种,与样本历史美颜套系关联的样本美颜素材数据可以包括:样本历史美颜套系包含的样本美颜素材和/或样本美颜素材的样本美化强度值;样本用户历史行为数据还可以包括:与样本目标用户账户关联的样本美颜套系展示量、样本美颜套系点击量、样本美颜套系使用量、样本被展示美颜套系的样本点击率和样本被点击美颜套的样本使用率中的至少一个;其中,样本美颜套系展示量、样本美颜套系点击量、样本美颜套系使用量、样本被展示美颜套系的样本点击率或样本被点击美颜套的样本使用率为,与样本目标用户账户关联的第二预设时长的统计量,第二预设时长可以为样本采样时刻之前的一定时长。例如,一周,十天或者一个月等,本公开实施例对此不作限定。

在一种可选的实施方式中,服务器采集样本画面的样本画面特征数据和样本标签的过程可以参考上述步骤S401,本公开实施例对此不做赘述;服务器采集与样本目标用户账户关联的样本用户历史行为数据的过程可以包括:在用户拍摄信息数据库中,采集与样本目标用户账户关联的样本用户历史行为数据。

步骤S902,服务器可以根据样本画面特征数据和样本标签,以及与样本目标用户账户关联的样本用户历史行为数据,对待训练的美颜特效数据预测模型进行迭代训练。

在本公开实施例中,可以通过样本人脸特征数据、样本场景特征数据以及用户行为数据,训练美颜特效数据预测模型,使美颜特效数据预测模型学习画面中人脸特征、场景特征以及用户行为,与画面匹配的美颜素材和美颜素材的美化强度值之间的关系,以更精准的确定与待处理画面匹配的第一美颜素材数据;由于将用户行为数据对确定美颜特效数据的影响因素考虑进来,进一步提升确定的第一美颜素材数据与用户的美颜特效数据使用习惯与偏好的适配度。

需要说明的是,在本公开实施例中,美颜特效数据预测模型的模型结构可以为任一种机器学习模型的网络模型结构,本公开实施例对此不作限定。在美颜特效数据预测模型的模型结构如图3所示的情况下,如图10所示,服务器根据样本画面特征数据和样本标签,以及与样本目标用户账户关联的样本用户历史行为数据,对待训练的美颜特效数据预测模型进行迭代训练的过程可以包括:

步骤S1001,将样本画面特征数据和样本用户历史行为数据输入待训练的美颜套系预测子模型,得到与样本画面匹配的预测美颜套系,并基于预测美颜套系和样本美颜套系,调整待训练的美颜套系预测子模型的模型参数;

步骤S1002,根据预测美颜套系确定样本候选美颜套系;

步骤S1003,将样本画面特征数据、样本用户历史行为数据和样本候选美颜套系,输入待训练的美颜素材预测子模型,得到与样本画面匹配的预测美颜素材,并基于预测美颜素材和样本美颜素材,调整待训练的美颜素材预测子模型的模型参数;

步骤S1004,将样本画面特征数据、样本用户历史行为数据和样本候选美颜套系,输入待训练的美化强度值预测子模型,得到与样本画面匹配的预测美颜素材的预测美化强度值,并基于预测美化强度值和样本美化强度值,调整待训练的美化强度值预测子模型的模型参数;

步骤S1005,重复上述过程,直至待训练的美颜套系预测子模型、待训练的美颜素材预测子模型,以及待训练的美化强度值预测子模型收敛,确定待训练的美颜特效数据预测模型收敛。

需要说明的是,在本公开实施例中,步骤S1001的具体实现过程可以参考上述步骤S501的具体实现过程,步骤S1002的具体实现过程可以参考上述步骤S502的具体实现过程,步骤S1003的具体实现过程可以参考上述步骤S503的具体实现过程,以及步骤S1004的具体实现过程可以参考上述步骤S504的具体实现过程,本公开实施例对此不作赘述。

可以理解的是,在如图3所示的美颜特效数据预测模型被训练完成后,在一种可选的实施方式中,服务器根据待处理特征数据确定与待处理画面匹配的第一候选美颜套系的过程可以包括:对待处理特征数据进行特征交叉处理,得到第一特征数据集合,其中,第一特征数据集合包括待处理特征数据,以及待处理特征数据的组合数据;接着,将第一特征数据集合进行特征提取得到预设数量特征通道的第二特征数据,并根据每个特征通道的第二特征数据确定每个特征通道的第一特征权重,以及根据与每个特征通道关联的第二特征数据和第一特征权重,得到第一加权特征数据;进一步的,将第一加权特征数据分别输入多个专家网络得到多个第三特征数据,以及将第一加权特征数据输入与美颜套系预测任务关联的门网络,得到在美颜套系预测任务中每个第三特征数据的第一权重值,并根据多个第三特征数据,以及每个第三特征数据的第一权重值,得到第二加权特征数据;最后,基于第一特征数据集合和第二加权特征数据进行候选美颜套系预测,得到与待处理画面匹配的第一候选美颜套系。可以先将画面特征数据和用户历史行为数据以及进行特征交叉处理,以得到更丰富的特征数据,再将交叉后的特征数据经过两次的特征提取得到加权特征,以获得模型在第一候选美颜套系确定过程中需要重点关注的特征,最后结合交叉特征和加权特征得到第一候选美颜套系,在提升确定的第一候选美颜套系与待处理画面的匹配度的同时,由于确定第一候选美颜套系的过程中考虑到了用户历史行为数据,可以提升确定的第一候选美颜套系和用户的美颜套系使用偏好和习惯的适配度。

在一种可选的实施方式中,根据待处理特征数据从第一候选美颜套系的多个美颜素材数据中,确定与待处理画面匹配的第一美颜素材的过程可以包括:对第一目标特征数据进行交叉处理,得到第二特征数据集合,其中,第一目标特征数据包括第一候选美颜套系和待处理特征数据,第二特征数据集合包括第一目标特征数据,以及第一目标特征数据的组合数据;接着,将第二特征数据集合进行特征提取得到预设数量特征通道的第四特征数据,并根据每个特征通道的第四特征数据确定每个特征通道的第二特征权重,以及根据与每个特征通道关联的第四特征数据和第二特征权重,得到第三加权特征数据;进一步的,将第三加权特征数据分别输入多个专家网络得到多个第五特征数据,以及将第三加权特征数据输入与多个美颜素材预测任务分别关联的门网络,得到在每个美颜素材预测任务中每个第五特征数据的第二权重值,并根据多个第五特征数据,以及在每个美颜素材预测任务中每个第五特征数据的第二权重值,得到第四加权特征数据;最后,基于第二特征数据集合和第四加权特征数据进行美颜素材预测,在第一候选美颜套系的多个美颜素材数据中,确定与待处理画面匹配的第一美颜素材。可以先将画面特征数据、用户历史行为数据以及第一候选美颜套系进行特征交叉处理,以得到更丰富的特征数据,再将交叉后的特征数据经过两次的特征提取得到加权特征,以获得模型在第一美颜素材确定过程中需要重点关注的特征,最后结合交叉特征和加权特征得到第一美颜素材,在提升确定的第一美颜素材与待处理画面的匹配度的同时,由于考虑到了用户历史行为数据,可以提升确定的第一美颜素材和用户的美颜素材使用偏好和习惯的适配度。

在一种可选的实施方式中,服务器根据待处理特征数据从第一候选美颜套系的多个美颜素材数据中,确定与待处理画面匹配的第一美颜素材的美化强度值的过程可以包括:对第一目标特征数据进行交叉处理,得到第二特征数据集合,其中,第一目标特征数据包括第一候选美颜套系和待处理特征数据,第二特征数据集合包括第一目标特征数据,以及第一目标特征数据的组合数据;接着,将第二特征数据集合进行特征提取得到预设数量特征通道的第六特征数据,并根据每个特征通道的第六特征数据确定每个特征通道的第三特征权重,以及根据与每个特征通道关联的第六特征数据和第三特征权重,得到第五加权特征数据;进一步的,将第五加权特征数据分别输入多个专家网络得到多个第七特征数据,以及将第五加权特征数据输入与多个美颜素材的美化强度值预测任务分别关联的门网络,得到在每个美颜素材的美化强度值预测任务中每个第七特征数据的第三权重值,并根据多个第七特征数据,以及在每个美颜素材的美化强度值预测任务中每个第七特征数据的第三权重值,得到第六加权特征数据;更进一步的,将第二特征数据集合和第六加权特征数据输入掩蔽层,以根据第二特征数据集合中的第一候选美颜套系,将第六加权特征数据中第一候选美颜套系中不包含美颜素材的加权特征数据进行掩蔽,得到更新后的第六加权特征数据;最后,根据第二特征数据集合和更新后的第六加权特征数据进行美化强度值预测,得到与待处理画面匹配的第一美颜素材的美化强度值。可以先将先将画面特征数据、用户历史行为数据以及第一候选美颜套系进行特征交叉处理,以得到更丰富的特征数据,再将交叉后的特征数据经过两次的特征提取得到加权特征,以获得模型在美化强度值预测过程中需要重点关注的特征,并对加权特征数据中第一候选美颜套系中不包含的美颜素材的特征数据进行掩蔽,以消除第一候选美颜套系中不包含的美颜素材的特征数据对预测美颜素材的美化强度值的影响,最后结合交叉特征和消除影响后的加权特征得到预测美化强度值,在进一步得到的第一美颜素材的美化强度值与待处理画面的匹配度的同时,由于考虑到了用户历史行为数据,可以提升确定的第一美颜素材的美化强度值和用户的美颜素材的美化强度值的使用偏好和习惯的适配度。

在一种可选的实施方式中,为了进一步提升确定的第一美颜素材数据和待处理画面的匹配度,可以直接在拍摄工具服务方提供的多个美颜素材中,确定与待处理画面匹配的第一美颜素材数据;则服务器根据画面特征数据确定与待处理画面匹配的第一美颜素材数据的过程可以包括:将画面特征数据输入预先训练的预测模型中进行美颜特效数据预测,以得到与待处理画面匹配的第一美颜素材数据。可以在多个美颜素材中直接确定与待处理画面匹配的第一美颜素材数据,提升确定的第一美颜素材数据的与待处理画面的匹配度。

其中,预测模型可以包括美颜素材预测子模型和美化强度值预测子模型,则将画面特征数据输入预先训练的预测模型中进行美颜特效数据预测,以得到与待处理画面匹配的第一美颜素材数据的过程可以包括:将画面特征数据输入美颜素材预测子模型中进行美颜素材预测,得到第一美颜素材,以及将画面特征数据输入美化强度值预测子模型中进行美化强度值预测,得到第一美颜素材的美化强度值。其中,美颜素材预测子模型和美化强度值预测子模型分别可以为任一机器学习模型的模型结构,本公开实施例对此不作限定。示例的,美颜素材预测子模型可以为图7所示的美颜素材预测子模型,美化强度值预测子模型可以为图8所示的美化强度值预测子模型。

在步骤S203中,服务器可以根据第一美颜素材数据生成目标美颜套系,并将目标美颜套系确定为与待处理画面对应的美颜特效数据。

需要说明的是,在本公开实施例中,在用户对确定的第一美颜素材数据不满意时,可以重新确定第一美颜素材数据,其中,为了打破用户的历史美颜特效行为习惯,帮助用户探索更丰富且更符合自身特点的美颜特效,可以选择与确定第一美颜素材数据使用的信息不相同的信息,确定更新后的第一美颜素材数据;例如,若服务器是根据待处理画面的画面特征数据确定的第一美颜素材数据,则可以再重新确定更新后的第一美颜素材时,根据待处理画面的画面特征数据,以及用户历史行为数据确定更新后的第一美颜素材数据;若服务器是根据待处理画面的画面特征数据,以及用户历史行为数据中的目标用户账户使用过的历史美颜套系,以及与历史美颜套系关联的第二美颜素材数据确定的第一美颜素材数据,则可以再重新确定更新后的第一美颜素材时,根据待处理画面的画面特征数据,以及用户历史行为数据中,与目标用户账户关联的美颜套系展示量、美颜套系点击量、美颜套系使用量、被展示美颜套系的点击率和被点击美颜套的使用率中的至少一个,确定更新后的第一美颜素材数据。

在一种可选的实施方式中,服务器是根据待处理画面的画面特征数据确定的第一美颜素材数据,则服务器响应于接收到美颜素材数据更换指令,根据画面特征数据,以及与目标用户账户关联的用户历史行为数据,确定与待处理画面匹配的更新后第一美颜素材数据;并根据更新后第一美颜素材数据生成更新后目标美颜套系,并将更新后目标美颜套系确定为与待处理画面对应的更新后美颜特效数据。可以在用户对确定的第一美颜素材数据不满意时,重新确定第一美颜素材数据,可以为用户探索更丰富以及更符合自身特点的美颜特效数据。

图4是根据一示例性实施例示出的一种美颜特效数据预测模型训练方法的流程图,如图4所示,包括以下步骤:

步骤S401,采集样本画面的样本画面特征数据和样本标签;

其中,样本画面特征数据包括样本人脸特征数据和样本场景特征数据,样本标签包括样本美颜套系、样本美颜素材和样本美化强度值,样本美颜套系为拍摄样本画面时使用的美颜套系,样本美颜素材为拍摄样本画面时,在样本美颜套系中调整过的美颜素材,样本美化强度值为拍摄样本画面时,样本美颜素材的美化强度值;

可以理解的是,服务器采集样本画面的样本画面特征数据和样本标签的过程可以参考上述实施例,本公开对此不作赘述。

步骤S402,根据样本画面特征数据和样本标签,对待训练的美颜特效数据预测模型进行迭代训练,直至待训练的美颜特效数据预测模型收敛,确定待训练的美颜特效数据预测模型训练完毕。

可以理解的是,服务器根据样本画面特征数据和样本标签,对待训练的美颜特效数据预测模型进行迭代训练的过程可以参考上述实施例,本公开对此不作赘述。

需要说明的是,在本公开实施例中,可以基于不同的样本数据训练不同的美颜特效数据预测模型,以用于确定与待处理画面匹配的美颜特效数据;例如,根据样本画面特征数据训练一种美颜特效数据预测模型,根据样本画面特征数据以及与样本目标用户账户关联的样本用户历史行为数据,训练另一种美颜特效数据预测模型,根据样本画面特征数据,以及与样本目标用户账户关联的样本用户历史行为数据中,目标用户账户使用过的历史美颜套系,训练又一种美颜特效数据预测模型,根据样本画面特征数据、以及与样本目标用户账户关联的样本用户历史行为数据中,目标用户账户使用过的美颜素材和美颜素材的强度值,训练再一种美颜特效数据预测模型。

在一种可选的实施方式中,预先训练的多个美颜特效数据预测模型,也可以用于重新确定美颜特效数据的场景中;示例的,服务器在获取待处理画面的画面特征数据后,可以利用根据样本画面特征数据训练的美颜特效数据预测模型,确定与待处理画面匹配的第一美颜素材数据;在接收到美颜素材数据更换指令之后,可以继续获取目标用户账户关联的样本用户历史行为数据,并利用根据样本画面特征数据,以及与样本目标用户账户关联的样本用户历史行为数据,训练的美颜特效数据预测模型,确定与待处理画面匹配的更新后第一美颜素材数据。

图11是根据一示例性实施例示出的一种美颜特效数据确定装置,如图11所示,美颜特效数据确定装置1100,包括:

获取模块1101,被配置为获取待处理画面的画面特征数据,画面特征数据包括人脸特征数据和场景特征数据;

第一确定模块1102,被配置为根据画面特征数据确定与待处理画面匹配的第一美颜素材数据,第一美颜素材数据包括第一美颜素材,以及第一美颜素材的美化强度值;

第二确定模块1103,被配置为根据第一美颜素材数据生成目标美颜套系,并将目标美颜套系确定为与待处理画面对应的美颜特效数据。

可选的,待处理画面为目标用户账户的待处理画面;

第一确定模块1102,被配置为:

根据画面特征数据,以及与目标用户账户关联的用户历史行为数据,确定与待处理画面匹配的第一美颜素材数据,用户历史行为数据包括目标用户账户使用过的历史美颜套系,以及与历史美颜套系关联的第二美颜素材数据中的至少一种。

可选的,与目标用户账户关联的用户历史行为数据还包括:与目标用户账户关联的美颜套系展示量、美颜套系点击量、美颜套系使用量、被展示美颜套系的点击率和被点击美颜套的使用率中的至少一个。

可选的,第一确定模块1102,被配置为:

根据待处理特征数据确定与待处理画面匹配的第一候选美颜套系,待处理特征数据包括画面特征数据和用户历史行为数据,第一候选美颜套系包括多个美颜素材;

根据待处理特征数据从第一候选美颜套系的多个美颜素材数据中,确定与待处理画面匹配的第一美颜素材和第一美颜素材的美化强度值。

可选的,第一确定模块1102,被配置为:

对待处理特征数据进行特征交叉处理,得到第一特征数据集合,第一特征数据集合包括待处理特征数据,以及待处理特征数据的组合数据;

将第一特征数据集合进行特征提取得到预设数量特征通道的第二特征数据,并根据每个特征通道的第二特征数据确定每个特征通道的第一特征权重,以及根据与每个特征通道关联的第二特征数据和第一特征权重,得到第一加权特征数据;

将第一加权特征数据分别输入多个专家网络得到多个第三特征数据,以及将第一加权特征数据输入与美颜套系预测任务关联的门网络,得到在美颜套系预测任务中每个第三特征数据的第一权重值,并根据多个第三特征数据,以及每个第三特征数据的第一权重值,得到第二加权特征数据;

基于第一特征数据集合和第二加权特征数据进行候选美颜套系预测,得到与待处理画面匹配的第一候选美颜套系。

可选的,第一确定模块1102,被配置为:

对第一目标特征数据进行交叉处理,得到第二特征数据集合,第一目标特征数据包括第一候选美颜套系和待处理特征数据,第二特征数据集合包括第一目标特征数据,以及第一目标特征数据的组合数据;

将第二特征数据集合进行特征提取得到预设数量特征通道的第四特征数据,并根据每个特征通道的第四特征数据确定每个特征通道的第二特征权重,以及根据与每个特征通道关联的第四特征数据和第二特征权重,得到第三加权特征数据;

将第三加权特征数据分别输入多个专家网络得到多个第五特征数据,以及将第三加权特征数据输入与多个美颜素材预测任务分别关联的门网络,得到在每个美颜素材预测任务中每个第五特征数据的第二权重值,并根据多个第五特征数据,以及在每个美颜素材预测任务中每个第五特征数据的第二权重值,得到第四加权特征数据;

基于第二特征数据集合和第四加权特征数据进行美颜素材预测,在第一候选美颜套系的多个美颜素材数据中,确定与待处理画面匹配的第一美颜素材。

可选的,第一确定模块1102,被配置为:

对第一目标特征数据进行交叉处理,得到第二特征数据集合,第一目标特征数据包括第一候选美颜套系和待处理特征数据,第二特征数据集合包括第一目标特征数据,以及第一目标特征数据的组合数据;

将第二特征数据集合进行特征提取得到预设数量特征通道的第六特征数据,并根据每个特征通道的第六特征数据确定每个特征通道的第三特征权重,以及根据与每个特征通道关联的第六特征数据和第三特征权重,得到第五加权特征数据;

将第五加权特征数据分别输入多个专家网络得到多个第七特征数据,以及将第五加权特征数据输入与多个美颜素材的美化强度值预测任务分别关联的门网络,得到在每个美颜素材的美化强度值预测任务中每个第七特征数据的第三权重值,并根据多个第七特征数据,以及在每个美颜素材的美化强度值预测任务中每个第七特征数据的第三权重值,得到第六加权特征数据;

将第二特征数据集合和第六加权特征数据输入掩蔽层,以根据第二特征数据集合中的第一候选美颜套系,将第六加权特征数据中第一候选美颜套系中不包含美颜素材的加权特征数据进行掩蔽,得到更新后的第六加权特征数据;

根据第二特征数据集合和更新后的第六加权特征数据进行美化强度值预测,得到与待处理画面匹配的第一美颜素材的美化强度值。

可选的,第一确定模块1102,被配置为:

根据画面特征数据确定与待处理画面匹配的第二候选美颜套系,第二候选美颜套系包括多个美颜素材;

根据画面特征数据从第二候选美颜套系的多个美颜素材数据中,确定与待处理画面匹配的第一美颜素材和第一美颜素材的美化强度值。

可选的,第一确定模块1102,被配置为:

对画面特征数据进行特征交叉处理,得到第三特征数据集合,第三特征数据集合包括画面特征数据,以及画面特征数据的组合数据;

将第三特征数据集合进行特征提取得到预设数量特征通道的第八特征数据,并根据每个特征通道的第八特征数据确定每个特征通道的第四特征权重,以及根据与每个特征通道关联的第八特征数据和第四特征权重,得到第七加权特征数据;

将第七加权特征数据分别输入多个专家网络得到多个第九特征数据,以及将第七加权特征数据输入与美颜套系预测任务关联的门网络,得到在美颜套系预测任务中每个第九特征数据的第四权重值,并根据多个第九特征数据,以及每个第九特征数据的第四权重值,得到第八加权特征数据;

基于第三特征数据集合和第八加权特征数据进行候选美颜套系预测,得到与待处理画面匹配的第二候选美颜套系。

可选的,第一确定模块1102,被配置为:

对第二目标特征数据进行交叉处理,得到第四特征数据集合,第二目标特征数据包括第二候选美颜套系和画面特征数据,第四特征数据集合包括第二目标特征数据,以及第二目标特征数据的组合数据;

将第四特征数据集合进行特征提取得到预设数量特征通道的第十特征数据,并根据每个特征通道的第十特征数据确定每个特征通道的第五特征权重,以及根据与每个特征通道关联的第十特征数据和第五特征权重,得到第九加权特征数据;

将第九加权特征数据分别输入多个专家网络得到多个第十一特征数据,以及将第九加权特征数据输入与多个美颜素材预测任务分别关联的门网络,得到在每个美颜素材预测任务中每个第十一特征数据的第五权重值,并根据多个第十一特征数据,以及在每个美颜素材预测任务中每个第十一特征数据的第五权重值,得到第十加权特征数据;

基于第四特征数据集合和第十加权特征数据进行美颜素材预测,在第二候选美颜套系的多个美颜素材数据中,确定与待处理画面匹配的第一美颜素材。

可选的,第一确定模块1102,被配置为:

对第二目标特征数据进行交叉处理,得到第四特征数据集合,第二目标特征数据包括第二候选美颜套系和画面特征数据,第四特征数据集合包括第二目标特征数据,以及第二目标特征数据的组合数据;

将第四特征数据集合进行特征提取得到预设数量特征通道的第十二特征数据,并根据每个特征通道的第十二特征数据确定每个特征通道的第六特征权重,以及根据与每个特征通道关联的第十二特征数据和第六特征权重,得到第十一加权特征数据;

将第十一加权特征数据分别输入多个专家网络得到多个第十三特征数据,以及将第十一加权特征数据输入与多个美颜素材的美化强度值预测任务分别关联的门网络,得到在每个美颜素材的美化强度值预测任务中每个第十三特征数据的第六权重值,并根据多个第十三特征数据,以及在每个美颜素材的美化强度值预测任务中每个第十三特征数据的第六权重值,得到第十二加权特征数据;

将第四特征数据集合和第十二加权特征数据输入掩蔽层,以根据第四特征数据集合中的第二候选美颜套系,将第十二加权特征数据中第二候选美颜套系中不包含美颜素材的特征数据进行掩蔽,得到更新后的第十二加权特征数据;

根据第四特征数据集合和更新后的第十二加权特征数据进行美化强度值预测,得到与待处理画面匹配的第一美颜素材的美化强度值。

可选的,装置还包括,更新模块1104,被配置为:

响应于接收到美颜素材数据更换指令,根据画面特征数据,以及与目标用户账户关联的用户历史行为数据,确定与待处理画面匹配的更新后第一美颜素材数据;

根据更新后第一美颜素材数据生成更新后目标美颜套系,并将更新后目标美颜套系确定为与待处理画面对应的更新后美颜特效数据。

图12是根据一示例性实施例示出的一种美颜特效数据预测模型训练装置,如图12所示,美颜特效数据预测模型训练装置1200,包括:

采集模块1201,被配置为采集样本画面的样本画面特征数据和样本标签,样本画面特征数据包括样本人脸特征数据和样本场景特征数据,样本标签包括样本美颜套系、样本美颜素材和样本美化强度值,样本美颜套系为拍摄样本画面时使用的美颜套系,样本美颜素材为拍摄样本画面时,在样本美颜套系中调整过的美颜素材,样本美化强度值为拍摄样本画面时,样本美颜素材的美化强度值;

训练模块1202,被配置为根据样本画面特征数据和样本标签,对待训练的美颜特效数据预测模型进行迭代训练,直至待训练的美颜特效数据预测模型收敛,确定待训练的美颜特效数据预测模型训练完毕。

可选的,训练模块1202,被配置为:

将样本画面特征数据输入待训练的美颜套系预测子模型,得到与样本画面匹配的预测美颜套系,并基于预测美颜套系和样本美颜套系,调整待训练的美颜套系预测子模型的模型参数;

根据预测美颜套系确定样本候选美颜套系;

将样本画面特征数据和样本候选美颜套系,输入待训练的美颜素材预测子模型,得到与样本画面匹配的预测美颜素材,并基于预测美颜素材和样本美颜素材,调整待训练的美颜素材预测子模型的模型参数;

将样本画面特征数据和样本候选美颜套系,输入待训练的美化强度值预测子模型,得到与样本画面匹配的预测美颜素材的预测美化强度值,并基于预测美化强度值和样本美化强度值,调整待训练的美化强度值预测子模型的模型参数;

重复上述过程,直至待训练的美颜套系预测子模型、待训练的美颜素材预测子模型,以及待训练的美化强度值预测子模型收敛,确定待训练的美颜特效数据预测模型收敛。

可选的,训练模块1202,被配置为:

基于计划采样策略在预测美颜套系和样本美颜套系中,选取样本美颜套系作为样本候选美颜套系。

可选的,训练模块1202,被配置为:

对样本画面特征数据进行特征交叉处理,得到第一样本特征数据集合,第一样本特征数据集合包括样本画面特征数据,以及样本画面特征数据的组合数据;

将第一样本特征数据集合进行特征提取得到预设数量特征通道的第二样本特征数据,并根据每个特征通道的第二样本特征数据确定每个特征通道的第一样本特征权重,以及根据与每个特征通道关联的第二样本特征数据和第一样本特征权重,得到第一样本加权特征数据;

将第一样本加权特征数据分别输入多个专家网络得到多个第三样本特征数据,以及将第一样本加权特征数据输入与美颜套系预测任务关联的门网络,得到在美颜套系预测任务中每个第三样本特征数据的第一样本权重值,并根据多个第三样本特征数据,以及每个第三样本特征数据的第一样本权重值,得到第二样本加权特征数据;

基于第一样本特征数据集合和第二样本加权特征数据进行候选美颜套系预测,得到与样本画面匹配的预测美颜套系。

可选的,训练模块1202,被配置为:

根据预测美颜套系、样本美颜套系和第一损失函数确定第一损失函数值,第一损失函数为基于对正负样本进行权重调整的损失函数;

若确定第一损失函数值大于第一预设阈值,则调整待训练的美颜套系预测子模型的模型参数。

可选的,训练模块1202,被配置为:

对样本目标特征数据进行交叉处理,得到第二样本特征数据集合,样本目标特征数据包括样本候选美颜套系和样本画面特征数据,第二特征数据集合包括样本目标特征数据,以及样本目标特征数据的组合数据;

将第二样本特征数据集合进行特征提取得到预设数量特征通道的第四样本特征数据,并根据每个特征通道的第四样本特征数据,确定每个特征通道的第二样本特征权重,以及根据与每个特征通道关联的第四样本特征数据和第二样本特征权重,得到第三样本加权特征数据;

将第三样本加权特征数据分别输入多个专家网络得到多个第五样本特征数据,以及将第三样本加权特征数据输入与多个美颜素材预测任务分别关联的门网络,得到在每个美颜素材预测任务中每个第五样本特征数据的第二样本权重值,并根据多个第五样本特征数据,以及在每个美颜素材预测任务中每个第五样本特征数据的第二样本权重值,得到第四样本加权特征数据;

基于第二样本特征数据集合和第四样本加权特征数据进行美颜素材预测,在样本候选美颜套系的多个美颜素材数据中,确定与样本画面匹配的预测美颜素材。

可选的,训练模块1202,被配置为:

根据预测美颜素材、样本美颜素材和第二损失函数确定第二损失函数值,第二损失函数为基于对正负样本进行权重调整的损失函数;

若确定第二损失函数值大于第二预设阈值,则调整待训练的美颜素材预测子模型的模型参数。

可选的,训练模块1202,被配置为:

对样本目标特征数据进行交叉处理,得到第二样本特征数据集合,样本目标特征数据包括样本候选美颜套系和样本画面特征数据,第二特征数据集合包括样本目标特征数据,以及样本目标特征数据的组合数据;

将第二样本特征数据集合进行特征提取得到预设数量特征通道的第六样本特征数据,并根据每个特征通道的第六样本特征数据,确定每个特征通道的第三样本特征权重,以及根据与每个特征通道关联的第六样本特征数据和第三样本特征权重,得到第五样本加权特征数据;

将第五样本加权特征数据分别输入多个专家网络得到多个第七样本特征数据,以及将第五样本加权特征数据输入与多个美颜素材的美化强度值预测任务分别关联的门网络,得到在每个美颜素材的美化强度值预测任务中每个第七样本特征数据的第三样本权重值,并根据多个第七样本特征数据,以及在每个美颜素材的美化强度值预测任务中每个第七样本特征数据的第三样本权重值,得到第六样本加权特征数据;

将第二样本特征数据集合和第六样本加权特征数据输入掩蔽层,以根据第四样本特征数据集合中的样本候选美颜套系,将第六样本加权特征数据中样本候选美颜套系中不包含的样本美颜素材的特征数据进行掩蔽,得到更新后的第六样本加权特征数据;

根据第二样本特征数据集合和更新后的第六样本加权特征数据进行美化强度值预测,得到与样本画面匹配的预测美颜素材的预测美化强度值。

可选的,训练模块1202,被配置为:

根据样本画面特征数据和样本标签,以及与样本目标用户账户关联的样本用户历史行为数据,对待训练的美颜特效数据预测模型进行迭代训练,样本目标用户账户为样本画面的用户账户。

关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。

本公开的示例性实施方式还提供了一种电子设备,可以是终端设备或服务器。下面参考图13对该电子设备进行说明。应当理解,下面参考图13对该电子设备进行说明。应当理解,图13显示的电子设备1300仅仅是一个示例,不应对本公开实施方式的功能和使用范围带来任何限制。

如图13所示,电子设备1300以通用计算设备的形式表现。电子设备1300的组件可以包括但不限于:至少一个处理单元1310、至少一个存储单元1320、连接不同系统组件(包括存储单元1320和处理单元1310)的总线1330。

其中,存储单元存储有程序代码,程序代码可以被处理单元1310执行,使得处理单元1310执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如,处理单元1310可以执行如图2或者图4所示的方法步骤等。

存储单元1320可以包括易失性存储单元,例如随机存取存储单元(RAM)1321和/或高速缓存存储单元1322,还可以进一步包括只读存储单元(ROM)1323。

存储单元1320还可以包括具有一组(至少一个)程序模块1325的程序/实用工具1324,这样的程序模块1325包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线1330可以包括数据总线、地址总线和控制总线。

电子设备1300也可以与一个或多个外部设备1400(例如键盘、指向设备、蓝牙设备等)通信,这种通信可以通过输入/输出(I/O)接口1340进行。电子设备1300还可以通过网络适配器1380与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器1380通过总线1330与电子设备1300的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备1300使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的示例性实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

所属技术领域的技术人员能够理解,本公开的各个方面可以实现为系统、方法或程序产品。因此,本公开的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施方式。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的,本公开的真正范围和精神由权利要求指出。

另外,本公开还提供一种计算机可读存储介质,当计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如上述实施例所提供的美颜特效数据确定方法。或者,使得电子设备能够执行如上述实施例所提供的美颜特效数据预测模型训练方法。

另外,本公开还提供一种计算机程序产品,包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行如上述实施例所提供的美颜特效数据确定方法。或者,使得电子设备执行如上述实施例所提供的美颜特效数据预测模型训练方法。

本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。

相关技术
  • 数据训练方法、装置、设备及存储介质
  • 模型训练方法、装置、设备以及介质
  • 模型训练方法、广告推荐方法、相关装置、设备及介质
  • 机器学习模型训练方法、装置、存储介质和计算机设备
  • MR图像预测模型的训练方法、装置、设备及存储介质
  • 模型训练数据确定方法、检测模型训练方法、装置及设备
  • 特效模型的训练方法及装置、特效生成方法及装置
技术分类

06120115759027