一种图像处理方法、装置及设备

技术领域

本发明涉及计算机技术领域，特别是涉及图像处理技术领域，具体涉及一种图像处理方法、装置及设备。

背景技术

近年来，美瞳颇受消费者欢迎，越来越多的年轻人选择佩戴美瞳。由于人与人之间的人眼轮廓、虹膜的大小、纹理、颜色等都会存在差异，这就使得美瞳佩戴效果因人而异。因此，在进行美瞳佩戴前需要进行美瞳选型，即选择适合自己眼睛尺寸的美瞳，以达到最佳的佩戴效果。

为了提高用户在美瞳选型时的效率，一般通过为用户生成美瞳试戴图像，以辅助用户进行美瞳选型。但是，相关技术中，在生成美瞳试戴图像时，通常是通过贴图、渲染、重叠等方式生成，这些方式生成的美瞳试戴图像在不同用户、不同场景下生成效果不稳定，容易效果失真，甚至产生非眼球区域出现美瞳效果等不良现象。

因此，如何生成具有高仿真效果的美瞳试戴图像成为亟需解决的问题。

发明内容

本发明实施例的目的在于提供一种图像处理方法、装置及设备，以生成具有高仿真效果的美瞳试戴图像。具体技术方案如下：

第一方面，本发明实施例提供了一种图像处理方法，所述方法包括：

获取美瞳图像以及待进行美瞳试戴的面部图像；

从所述面部图像中分割出包含虹膜区域的虹膜局部图像；

将所述虹膜局部图像与所述美瞳图像进行第一融合处理，得到局部美瞳效果图；其中，所述第一融合处理用于在所述虹膜局部图像中融入所述美瞳图像的图像风格，并保留所述虹膜局部图像的纹理特征；

对所述局部美瞳效果图与所述面部图像进行第二融合处理，得到美瞳试戴图像；其中，所述第二融合处理用于将所述局部美瞳效果图的图像风格融入到所述面部图像的眼部区域中。

可选地，所述从所述面部图像中分割出包含虹膜区域的虹膜局部图像，包括：

识别所述面部图像中的眼部关键点信息；

利用所述眼部关键点信息，确定所述面部图像中的虹膜区域；

对所述面部图像进行虹膜局部区域裁剪，得到虹膜局部图像。

可选地，所述利用所述眼部关键点信息，确定所述面部图像中的虹膜区域，包括：

利用所述眼部关键点信息拟合所述面部图像中的眼部轮廓，得到眼部拟合曲线；其中，所述眼部轮廓为贴合眼睑的轮廓；

基于所述眼部拟合曲线以及虹膜轮廓的轮廓参数，对所述面部图像进行前景掩膜处理，得到所述面部图像的掩膜图像；其中，所述前景掩膜处理为以所述面部图像的虹膜区域作为前景区域的掩膜处理；所述虹膜轮廓的轮廓参数为基于所述眼部关键点信息中的指定关键点所生成的，所述指定关键点信息为位于虹膜外圆的轮廓上的关键点信息；

基于所述面部图像的掩膜图像，确定所述面部图像中的虹膜区域。

可选地，所述基于所述眼部拟合曲线以及虹膜轮廓的轮廓参数，对所述面部图像进行前景掩膜处理，得到所述面部图像的掩膜图像，包括：

基于所述眼部拟合曲线以及虹膜轮廓的轮廓参数，识别所述面部图像中的指定像素点；其中，所述指定像素点位于眼部轮廓所构成区域内且位于虹膜外圆的轮廓所构成的区域内；

将所述面部图像中的指定像素点的像素值设置为第一数值，以及将所述面部图像中的除所述指定像素点以外的像素点设置为第二数值，得到所述面部图像的掩膜图像。

可选地，所述对所述局部美瞳效果图与所述面部图像进行第二融合处理，得到美瞳试戴图像，包括：

基于所述局部美瞳效果图，生成备用效果图；其中，所述备用效果图的大小与目标眼部图像的大小相同，且所述备用效果图中的目标区域具有所述局部美瞳效果图的虹膜区域的图像信息，所述目标眼部图像为所述面部图像的眼部区域图像，所述目标区域为与所述眼部区域图像的虹膜区域位置相同的区域；

确定所述备用效果图中的各个像素点对应的融合系数；

利用所确定的融合系数，将所述备用效果图和所述面部图像中的眼部区域进行融合，得到美瞳试戴图像。

可选地，所述基于所述局部美瞳效果图，生成备用效果图，包括：

确定所述局部美瞳效果图中的虹膜区域，作为待利用区域；

将指定图像中的所述目标区域的图像信息，替换为所述待利用区域的图像信息，得到备用效果图；其中，所述指定图像为与所述目标眼部图像大小相同。

可选地，所述确定所述局部美瞳效果图中的虹膜区域，作为待利用区域，包括：

确定所述虹膜局部图像的目标掩膜图像；其中，所述目标掩膜图像为以虹膜区域为前景的二值化图像；

将所述局部美瞳效果图的各个像素点的像素值与所述目标掩膜图像中的相应像素点的像素值进行相乘；

基于相乘后所得到的图像中的像素点的像素值，确定所述局部美瞳效果图中的虹膜区域，作为待利用区域。

可选地，所述将所述虹膜局部图像与所述美瞳图像进行第一融合处理，得到局部美瞳效果图，包括：

提取所述美瞳图像的风格特征；

提取所述虹膜局部图像的纹理特征；

将所述风格特征与所述纹理特征进行融合，得到所述虹膜局部图像对应的融合后特征；

生成具有所述虹膜局部图像对应的融合后特征的图像，作为局部美瞳效果图。

可选地，所述将所述虹膜局部图像与所述美瞳图像进行第一融合处理，得到局部美瞳效果图的步骤通过预先训练完成的融合网络实现；

其中，所述融合网络为基于样本虹膜局部图像以及样本美瞳图像训练得到的、用于输出融合结果的神经网络；其中，所述融合结果为在所述样本虹膜局部图像中融入所述样本美瞳图像的图像风格，并保留所述样本虹膜局部图像的纹理特征的结果。

可选地，所述预先训练完成的融合网络为预先训练完成的生成对抗网络中的生成网络；

其中，所述生成对抗网络的训练过程，包括：

获取样本虹膜局部图像以及样本美瞳图像；

将所述样本虹膜局部图像和所述样本美瞳图像输入所述生成网络，得到作为融合结果的生成图像；

将所述生成图像和所述样本虹膜图像分别输入所述生成对抗网络中的对抗网络，得到对应于所述生成图像的第一鉴别结果和对应于所述样本虹膜局部图像的第二鉴别结果；其中，所述对抗网络用于鉴别输入的图像是否为真实图像；

基于所述第一鉴别结果与相应真值之间的差异，与所述第二鉴别结果与相应真值之间的差异，计算所述对抗网络的损失值；

基于所述第一鉴别结果与相应假值之间的差异，计算所述生成网络的损失值；

基于所述对抗网络的损失值与所述生成网络的损失值，判断所述对抗网络与所述生成网络是否达到纳什均衡状态；其中，所述纳什均衡状态用于表征所述对抗网络与所述生成网络的损失值处于指定范围内波动的平稳状态；

若所述对抗网络和所述生成网络未达到纳什均衡状态，调整所述生成对抗网络的参数，并返回所述获取样本虹膜局部图像以及样本美瞳图像的步骤。

可选地，所述基于所述第一鉴别结果与相应假值之间的差异，计算所述生成网络的损失值之前，还包括：

将所述生成图像和所述样本虹膜局部图像分别输入特征提取网络，并基于所述特征提取网络针对所述生成图像和样本虹膜图像的输出结果之间的差异，计算第一损失值；

将所述生成图像和所述样本美瞳图像分别输入风格约束网络，并基于所述风格约束网络针对所述生成图像和所述样本美瞳图像的输出结果之间的差异，计算第二损失值；其中，所述风格约束网络为用于鉴别图像风格的神经网络；

所述基于所述第一鉴别结果与相应假值之间的差异，计算所述生成网络的损失值，包括：

基于所述第一鉴别结果与相应假值之间的差异，以及所述第一损失值和所述第二损失值，计算所述生成网络的损失值。

可选地，所述生成网络中包括风格编码网络、编码器和解码器；

所述将所述样本虹膜局部图像和所述样本美瞳图像输入所述生成网络，得到作为融合结果的生成图像，包括：

将所述样本美瞳图像输入所述风格编码网络，得到所述样本美瞳图像的风格特征；

将所述样本美瞳图像的风格特征和所述样本虹膜局部图像输入所述编码器进行编码，得到样本虹膜局部图像对应的融合后特征；所述样本虹膜局部图像对应的融合后特征为融合有所述样本美瞳图像的风格特征以及所述样本虹膜局部图像的纹理特征的特征图像；

将样本虹膜局部图像对应的融合后特征输入所述解码器进行解码，得到作为融合结果的生成图像。

第二方面，本发明实施例提供了一种图像处理装置，所述装置包括：

获取模块，用于获取美瞳图像以及待进行美瞳试戴的面部图像；

分割模块，用于从所述面部图像中分割出包含虹膜区域的虹膜局部图像；

第一融合模块，用于将所述虹膜局部图像与所述美瞳图像进行第一融合处理，得到局部美瞳效果图；其中，所述第一融合处理用于在所述虹膜局部图像中融入所述美瞳图像的图像风格，并保留所述虹膜局部图像的纹理特征；

第二融合模块，用于对所述局部美瞳效果图与所述面部图像进行第二融合处理，得到美瞳试戴图像；其中，所述第二融合处理用于将所述局部美瞳效果图的图像风格融入到所述面部图像的眼部区域中。

可选地，所述分割模块，包括：

识别子模块，用于识别所述面部图像中的眼部关键点信息；

第一确定子模块，用于利用所述眼部关键点信息，确定所述面部图像中的虹膜区域；

裁剪子模块，用于对所述面部图像进行虹膜局部区域裁剪，得到虹膜局部图像。

可选地，所述确定子模块，具体用于：

利用所述眼部关键点信息拟合所述面部图像中的眼部轮廓，得到眼部拟合曲线；其中，所述眼部轮廓为贴合眼睑的轮廓；

基于所述眼部拟合曲线以及虹膜轮廓的轮廓参数，对所述面部图像进行前景掩膜处理，得到所述面部图像的掩膜图像；其中，所述前景掩膜处理为以所述面部图像的虹膜区域作为前景区域的掩膜处理；所述虹膜轮廓的轮廓参数为基于所述眼部关键点信息中的指定关键点所生成的，所述指定关键点信息为位于虹膜外圆的轮廓上的关键点信息；

基于所述面部图像的掩膜图像，确定所述面部图像中的虹膜区域。

可选地，所述基于所述眼部拟合曲线以及虹膜轮廓的轮廓参数，对所述面部图像进行前景掩膜处理，得到所述面部图像的掩膜图像，包括：

基于所述眼部拟合曲线以及虹膜轮廓的轮廓参数，识别所述面部图像中的指定像素点；其中，所述指定像素点位于眼部轮廓所构成区域内且位于虹膜外圆的轮廓所构成的区域内；

将所述面部图像中的指定像素点的像素值设置为第一数值，以及将所述面部图像中的除所述指定像素点以外的像素点设置为第二数值，得到所述面部图像的掩膜图像。

可选地，所述第二融合模块，包括：

第一生成子模块，用于基于所述局部美瞳效果图，生成备用效果图；其中，所述备用效果图的大小与目标眼部图像的大小相同，且所述备用效果图中的目标区域具有所述局部美瞳效果图的虹膜区域的图像信息，所述目标眼部图像为所述面部图像的眼部区域图像，所述目标区域为与所述眼部区域图像的虹膜区域位置相同的区域；

第二确定子模块，用于确定所述备用效果图中的各个像素点对应的融合系数；

第二融合子模块，用于利用所确定的融合系数，将所述备用效果图和所述面部图像中的眼部区域进行融合，得到美瞳试戴图像。

可选地，所述第一生成子模块，具体用于：

确定所述局部美瞳效果图中的虹膜区域，作为待利用区域；

将指定图像中的所述目标区域的图像信息，替换为所述待利用区域的图像信息，得到备用效果图；其中，所述指定图像为与所述目标眼部图像大小相同。

可选地，所述确定所述局部美瞳效果图中的虹膜区域，作为待利用区域，包括：

确定所述虹膜局部图像的目标掩膜图像；其中，所述目标掩膜图像为以虹膜区域为前景的二值化图像；

将所述局部美瞳效果图的各个像素点的像素值与所述目标掩膜图像中的相应像素点的像素值进行相乘；

基于相乘后所得到的图像中的像素点的像素值，确定所述局部美瞳效果图中的虹膜区域，作为待利用区域。

可选地，所述第一融合模块，包括：

第一提取子模块，用于提取所述美瞳图像的风格特征；

第二提取子模块，用于提取所述虹膜局部图像的纹理特征；

第一融合子模块，用于将所述风格特征与所述纹理特征进行融合，得到所述虹膜局部图像对应的融合后特征；

第二生成子模块，用于生成具有所述虹膜局部图像对应的融合后特征的图像，作为局部美瞳效果图。

可选地，所述将所述虹膜局部图像与所述美瞳图像进行第一融合处理，得到局部美瞳效果图的步骤通过预先训练完成的融合网络实现；其中，所述融合网络为基于样本虹膜局部图像以及样本美瞳图像训练得到的、用于输出融合结果的神经网络；其中，所述融合结果为在所述样本虹膜局部图像中融入所述样本美瞳图像的图像风格，并保留所述样本虹膜局部图像的纹理特征的结果。

可选地，所述预先训练完成的融合网络为预先训练完成的生成对抗网络中的生成网络；

其中，所述生成对抗网络的训练过程，包括：

获取样本虹膜局部图像以及样本美瞳图像；

将所述样本虹膜局部图像和所述样本美瞳图像输入所述生成网络，得到作为融合结果的生成图像；

将所述生成图像和所述样本虹膜图像分别输入所述生成对抗网络中的对抗网络，得到对应于所述生成图像的第一鉴别结果和对应于所述样本虹膜局部图像的第二鉴别结果；其中，所述对抗网络用于鉴别输入的图像是否为真实图像；

基于所述第一鉴别结果与相应真值之间的差异，与所述第二鉴别结果与相应真值之间的差异，计算所述对抗网络的损失值；

基于所述第一鉴别结果与相应假值之间的差异，计算所述生成网络的损失值；

基于所述对抗网络的损失值与所述生成网络的损失值，判断所述对抗网络与所述生成网络是否达到纳什均衡状态；其中，所述纳什均衡状态用于表征所述对抗网络与所述生成网络的损失值处于指定范围内波动的平稳状态；

若所述对抗网络和所述生成网络未达到纳什均衡状态，调整所述生成对抗网络的参数，并返回所述获取样本虹膜局部图像以及样本美瞳图像的步骤。

可选地，所述基于所述第一鉴别结果与相应假值之间的差异，计算所述生成网络的损失值之前，还包括：

将所述生成图像和所述样本虹膜局部图像分别输入特征提取网络，并基于所述特征提取网络针对所述生成图像和样本虹膜图像的输出结果之间的差异，计算第一损失值；

将所述生成图像和所述样本美瞳图像分别输入风格约束网络，并基于所述风格约束网络针对所述生成图像和所述样本美瞳图像的输出结果之间的差异，计算第二损失值；其中，所述风格约束网络为用于鉴别图像风格的神经网络；

所述基于所述第一鉴别结果与相应假值之间的差异，计算所述生成网络的损失值，包括：

基于所述第一鉴别结果与相应假值之间的差异，以及所述第一损失值和所述第二损失值，计算所述生成网络的损失值。

可选地，所述生成网络中包括风格编码网络、编码器和解码器；

所述将所述样本虹膜局部图像和所述样本美瞳图像输入所述生成网络，得到作为融合结果的生成图像，包括：

将所述样本美瞳图像输入所述风格编码网络，得到所述样本美瞳图像的风格特征；

将所述样本美瞳图像的风格特征和所述样本虹膜局部图像输入所述编码器进行编码，得到样本虹膜局部图像对应的融合后特征；所述样本虹膜局部图像对应的融合后特征为融合有所述样本美瞳图像的风格特征以及所述样本虹膜局部图像的纹理特征的特征图像；

将样本虹膜局部图像对应的融合后特征输入所述解码器进行解码，得到作为融合结果的生成图像。

第三方面，本发明实施例提供了一种电子设备，包括摄像头、显示器、处理器和存储器；

所述摄像头，用于采集待进行美瞳试戴的面部图像；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述任一所述的图像处理方法的步骤；

所述显示器，用于显示所述处理器在实现上述任一所述的图像处理方法的步骤后得到的美瞳试戴图像。

可选地，所述电子设备为计算机、手机、电子镜子或电子相册。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的图像处理方法的步骤。

本发明实施例有益效果：

本发明实施例提供的方案，首先从面部图像中分割出包含虹膜区域的虹膜局部图像，然后将虹膜局部图像与美瞳图像进行第一融合处理，得到局部美瞳效果图，最后对所述局部美瞳效果图与所述面部图像进行第二融合处理，得到美瞳试戴图像。由于第一融合处理为在虹膜局部图像中融入美瞳图像的图像风格，并保留虹膜局部图像的纹理特征，因此，后续将局部美瞳效果图与面部图像进行第二融合时，使得美瞳试戴图像在融入了美瞳风格的同时，保留了面部图像中的虹膜区域的纹理特征，从而具有高仿真的美瞳佩戴效果。可见，通过本方案可以生成具有高仿真效果的美瞳试戴图像。

当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。

图1为本发明实施例所提供的一种图像处理方法的流程图；

图2为本发明实施例所提供的图像处理方法的另一流程图；

图3为本发明实施例所提供的一种进行生成对抗网络的训练的流程图；

图4为本发明实施例所提供的图像处理方法的又一流程图；

图5为实现本发明实施例所提供的图像处理方法的一个具体装置的结构示意图；

图6为本发明实施例所提供的一种眼部关键点模板的示意图；

图7为本发明实施例所提供的一种生成美瞳试戴图像的流程图；

图8为根据本发明实施例所提供一种图像处理装置的结构示意图；

图9为用来实现本发明实施例所提供的图像处理方法的电子设备的框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本发明保护的范围。

相关技术中，在生成美瞳试戴图像时，通常是通过贴图、渲染、重叠等方式生成，这些方式生成的美瞳试戴图像在不同用户、不同场景下生成效果不稳定，容易效果失真，甚至产生非眼球区域出现美瞳效果等不良现象。例如，在生成美瞳试戴图像时，采用线性加和的方式实现美瞳素材和原始图像的渲染混合，在渲染时，考虑采用低权重和阴影效果来减少美瞳贴附眼睑的失真影响，而这里涉及到的部分参数需要人为干预，特别地在修改透明度时将影响美瞳纹理的效果，与真实佩戴可能会出现较大差异；或者，使用图像生成技术，即CycleGan(Cycle Generative Adversarial Networks，循环生成对抗网络)的方法来实现美瞳佩戴和美瞳去除，通过训练两个生成器，结合循环损失和GAN损失，达到尽可能保持原纹理信息不变和佩戴或去除美瞳的目的，但CycleGan的方法只能学习到佩戴和去除这个行为，且没有办法指定具体的美瞳风格，使得生成效果单一，无法通用于各式各样的美瞳素材试戴，并且，也未对美瞳生成区域进行约束，这可能造成生成美瞳不完整或覆盖到眼皮，从而导致失真。

基于上述内容，为了生成具有高仿真效果的美瞳试戴图像，本发明实施例提供了一种图像处理方法、装置及设备。

下面首先对本发明实施例所提供的一种图像处理方法、装置及设备进行介绍。

本发明实施例所提供的一种图像处理方法可以应用于电子设备。在具体应用中，该电子设备可以为服务器，也可以为终端设备，这都是合理的。在实际应用中，该终端设备可以是：手机、平板电脑、台式电脑等等。

具体而言，该图像处理方法的执行主体可以为图像处理装置。示例性的，当该图像处理方法应用于终端设备时，该图像处理装置可以为运行于终端设备中的功能软件，例如：图像处理软件；当然，该图像处理装置也可以为现有功能软件中的插件，例如：图像处理软件中用于生成美瞳试戴图像的插件，或者，购物客户端中用于生成美瞳试戴图像的插件。示例性的，当该图像处理方法应用于服务器时，该图像处理装置可以为运行于服务器中的计算机程序，该计算机程序可以用于生成美瞳试戴图像。

其中，本发明实施例所提供的一种图像处理方法，可以包括如下步骤：

获取美瞳图像以及待进行美瞳试戴的面部图像；

从所述面部图像中分割出包含虹膜区域的虹膜局部图像；

将所述虹膜局部图像与所述美瞳图像进行第一融合处理，得到局部美瞳效果图；其中，所述第一融合处理用于在所述虹膜局部图像中融入所述美瞳图像的图像风格，并保留所述虹膜局部图像的纹理特征；

对所述局部美瞳效果图与所述面部图像进行第二融合处理，得到美瞳试戴图像；其中，所述第二融合处理用于将所述局部美瞳效果图的图像风格融入到所述面部图像的眼部区域中。

本发明实施例提供的方案，首先从面部图像中分割出包含虹膜区域的虹膜局部图像，然后将虹膜局部图像与美瞳图像进行第一融合处理，得到局部美瞳效果图，最后对所述局部美瞳效果图与所述面部图像进行第二融合处理，得到美瞳试戴图像。由于第一融合处理为在虹膜局部图像中融入美瞳图像的图像风格，并保留虹膜局部图像的纹理特征，因此，后续将局部美瞳效果图与面部图像进行第二融合时，使得美瞳试戴图像在融入了美瞳风格的同时，保留了面部图像中的虹膜区域的纹理特征，从而具有高仿真的美瞳佩戴效果。可见，通过本方案可以生成具有高仿真效果的美瞳试戴图像。

下面结合附图，对本发明实施例所提供的图像处理方法进行介绍。

如图1所示，本发明实施例所提供的图像处理方法，可以包括步骤S101-S104：

S101，获取美瞳图像以及待进行美瞳试戴的面部图像；

本实施例中，美瞳图像以及面部图像可以是预先存储在电子设备的本地内存中的图像，也可以实时获取的图像。示例性的，该美瞳图像可以是手机上存储的美瞳图像，也可以是从网站上的美瞳素材库中下载的美瞳图像。示例性的，该面部图像可以是手机上存储的人脸图像或者动物的面部图像，也可以是用户打开电子设备中相关功能软件采集到的人脸图像或者动物的面部图像。

需要说明的是，本实施例中的人脸图像可以来自于公开数据集，或者，人脸图像的获取是经过了对应的用户的授权；并且，对于人脸图像的收集、存储、使用、加工等处理，均符合相关法律法规的规定，且不违背公序良俗。

S102，从该面部图像中分割出包含虹膜区域的虹膜局部图像；

可以理解的是，由于进行美瞳佩戴时，是将美瞳佩戴到眼部区域的虹膜区域上，因此，为了生成具有美瞳佩戴效果的美瞳试戴图像，可以将美瞳图像的图像风格融入到面部图像的虹膜区域中。在通过步骤S101获取到美瞳图像以及待进行美瞳试戴的面部图像后，为了后续将美瞳图像的图像风格融入到面部图像的虹膜区域中，可以首先从面部图像中分割出包含虹膜区域的虹膜局部图像，以便于后续融合处理。另外，需要说明的是，后续将虹膜局部图像与美瞳图像进行第一融合处理时，为了使美瞳图像中各个像素点的信息与虹膜局部图像中对应位置的各个像素点的信息进行融合，在从面部图像中分割虹膜局部图像时，该虹膜局部图像可以为包含虹膜区域的、与该美瞳图像尺寸相同的图像。

示例性的，在一种可选的实现方式中，从该面部图像中分割出包含虹膜区域的虹膜局部图像的方式，可以是首先识别面部图像中的虹膜区域，然后以该虹膜区域的外接矩形区域为裁剪区域对该面部图像进行图像裁剪，得到虹膜局部图像。其中，识别面部图像中的虹膜区域的方式可以是人工识别、机器识别等等，本发明实施例对面部图像中的虹膜区域的具体识别方式不做限定。

S103，将该虹膜局部图像与该美瞳图像进行第一融合处理，得到局部美瞳效果图；其中，该第一融合处理用于在该虹膜局部图像中融入该美瞳图像的图像风格，并保留该虹膜局部图像的纹理特征；

可以理解的是，在通过步骤S102从面部图像中分割出包含虹膜区域的虹膜局部图像后，通过将美瞳图像的图像风格融入到该虹膜局部图像中，并保留该虹膜局部图像的纹理特征，可以使融合后得到的局部美瞳效果图中的虹膜区域具有该面部图像的虹膜纹理特征，且具有美瞳图像的图像风格，从而可以达到高仿真的美瞳佩戴效果。

可选地，在一种实现方式中，将该虹膜局部图像与该美瞳图像进行第一融合处理，得到局部美瞳效果图，可以包括步骤A1-A4：

A1，提取该美瞳图像的风格特征；

A2，提取该虹膜局部图像的纹理特征；

可以理解的是，为了得到具有美瞳图像的图像风格和面部图像的虹膜纹理特征的局部美瞳效果图，可以提取出该美瞳图像的风格特征以及该虹膜局部图像的纹理特征，后续将该风格特征与该纹理特征进行融合，从而得到具有该虹膜局部图像对应的融合后特征的图像。

本实现方式中，可以通过神经网络来提取该美瞳图像的风格特征和提取该虹膜局部图像的纹理特征，当然并不局限于此。示例性的，在通过神经网络提取风格特征时，用于提取美瞳图像的风格特征的神经网络可以是基于卷积神经网络的风格编码网络，该风格编码网络的输出层为两个并联的全连接层，用于将美瞳图像的图像风格进行编码并以均值和方差的形式输出，也就是，以高斯分布来拟合美瞳图像的风格特征分布。示例性的，在通过神经网络提取纹理特征时，用于提取虹膜局部图像的纹理特征的神经网络可以是基于卷积神经网络的特征提取网络，该特征提取网络主要由全连接层构成，可以充分利用虹膜局部图像中各个像素点的信息进行特征提取，得到该虹膜局部图像的纹理特征。

A3，将该风格特征与该纹理特征进行融合，得到该虹膜局部图像对应的融合后特征；

示例性的，将该风格特征与纹理特征进行融合的方式，可以是将纹理特征的每个值乘以风格特征的方差，再加上风格特征的均值，以得到该虹膜局部图像对应的融合后特征。

A4，生成具有该虹膜局部图像对应的融合后特征的图像，作为局部美瞳效果图。

可以理解的是，在步骤A3将该风格特征与该纹理特征融合后，得到的与虹膜局部图像对应的融合后特征构成的图像，即为局部美瞳效果图，其既保留了面部图像中的虹膜纹理特征，又具有美瞳图像的图像风格。

S104，对该局部美瞳效果图与该面部图像进行第二融合处理，得到美瞳试戴图像；其中，该第二融合处理用于将该局部美瞳效果图的图像风格融入到该面部图像的眼部区域中。

可以理解的是，在通过步骤S103得到局部美瞳效果图后，为了得到对应于面部图像的美瞳试戴图像，可以将该局部美瞳效果图与该面部图像进行第二融合处理，以将该局部美瞳效果图的图像风格融入到面部图像的眼部区域中，从而得到美瞳试戴图像。

示例性的，将该局部美瞳效果图的图像风格融入到该面部图像的眼部区域中的方式，可以是将该局部美瞳图像贴到该面部图像中的对应位置，即将该局部美瞳图像中各个像素点信息替换面部图像中对应位置的像素点信息，或者，对该局部美瞳效果图的各个像素点与该面部图像中相应位置的各个像素点进行加权求和，等等。

本发明实施例提供的方案，首先从面部图像中分割出包含虹膜区域的虹膜局部图像，然后将虹膜局部图像与美瞳图像进行第一融合处理，得到局部美瞳效果图，最后对所述局部美瞳效果图与所述面部图像进行第二融合处理，得到美瞳试戴图像。由于第一融合处理为在虹膜局部图像中融入美瞳图像的图像风格，并保留虹膜局部图像的纹理特征，因此，后续将局部美瞳效果图与面部图像进行第二融合时，使得美瞳试戴图像在融入了美瞳风格的同时，保留了面部图像中的虹膜区域的纹理特征，从而具有高仿真的美瞳佩戴效果。可见，通过本方案可以生成具有高仿真效果的美瞳试戴图像。

可选地，在本发明的另一实施例中，在图1所示实施例的基础上，如图2所示，上述步骤S102中从面部图像中分割出包含虹膜区域的虹膜局部图像，可以包括步骤S1021-S1023：

S1021，识别该面部图像中的眼部关键点信息；

可选地，在一种实现方式中，首先可以识别面部图像的眼部区域，然后从该眼部区域中确定眼部关键点信息。其中，在识别面部图像的眼部区域时，可以利用基于深度学习的目标检测模式，快速地进行眼部区域识别，当然并不局限于此。示例性的，该目标检测模型可以是YOLO、SSD、Faster RCNN等目标检测模型。在实际应用中，该目标检测模型可以通过大量的样本面部图像训练得到，每一样本面部图像均具有预先标定好的眼框标签。在使用训练完成的目标检测模型识别面部图像中的眼部区域时，模型的输入为面部图像，输出为面部图像中眼眶位置的坐标信息，从而实现从面部图像中识别出眼部区域。

其中，在识别出面部图像中的眼部区域后，可以利用通过深度学习得到的关键点定位模型来快速地预测该眼部区域中的眼部关键点，从而得到眼部关键点信息，当然并不局限于此。示例性的，该关键点定位模型可以是回归模型、热力图模型等深度学习模型。在实际应用中，该关键点定位模型可以通过大量的样本眼部图像训练得到，每一样本眼部图像均具有预先标定好的眼部关键点标签。在使用训练完成的关键点定位模型预测眼部关键点时，模型的输入为该面部图像中的眼部图像，输出为眼部关键点预测结果，从而得到该面部图像中的眼部关键点信息。

可选地，在另一种实现方式中，可以将面部图像输入至预先训练得到的眼部关键点识别模型，从而快速地得到面部图像中的眼部关键点信息。眼部关键点识别模型可以为任一种深度学习模式。在实际应用中，眼部关键点识别模型可以通过大量的样本面部图像训练得到，每一样本面部图像均具有预先标定好的眼部关键点标签。在使用训练完成的关键点识别模型预测眼部关键点时，模型的输入为该面部图像，输出为眼部关键点预测结果，从而得到该面部图像中的眼部关键点信息。

需要强调的是，上述的识别该面部图像中的眼部关键点信息的具体实现方式仅仅作为示例，并不应该构成对本发明实施例的限定。

另外，需要说明的是，眼部关键点可以包括用于描绘眼部区域中上下眼睑、虹膜、瞳孔等轮廓的关键点，眼部关键点信息可以是该眼部关键点在眼部区域中的坐标信息，或者，该眼部关键点在面部图像中的坐标信息，等等。示例性的，如图4所示，眼部关键点信息可以为包含图中标号0-15所示的多个眼部关键点的坐标信息，当然，为了后续可以更好的利用眼部关键点信息来拟合眼部区域中的各个轮廓曲线，眼部关键点信息中还可以包含更多的关键点的坐标信息，本发明实施例对该眼部关键点的个数不做限定。

S1022，利用该眼部关键点信息，确定该面部图像中的虹膜区域；

可以理解的是，在通过步骤S1021得到该面部图像中的眼部关键点信息后，由于该眼部关键点信息中包含上眼睑、下眼睑、虹膜、瞳孔等多处关键点，因此，可以利用该眼部关键信息，确定出面部图像中的虹膜区域。

可选地，在一种实现方式中，利用该眼部关键点信息，确定该面部图像中的虹膜区域，可以包括步骤B1-B3：

B1，利用该眼部关键点信息拟合该面部图像中的眼部轮廓，得到眼部拟合曲线；其中，该眼部轮廓为贴合眼睑的轮廓；

示例性的，利用眼部关键点信息拟合面部图像中的眼部轮廓时，可以将眼部轮廓中的上眼睑以及下眼睑轮廓形状分别使用抛物线进行匹配，即利用眼部关键点信息中的上眼睑关键点信息计算与之匹配的抛物线，作为上眼睑拟合曲线，利用眼部关键点信息中的下眼睑关键点信息计算与之匹配的抛物线，作为下眼睑拟合曲线，然后将上眼睑拟合曲线和下眼睑拟合缺陷组合为眼部拟合曲线。例如，如图6所示，可以基于标号为0、2、3、4、1的眼部关键点的坐标信息，计算上眼睑对应的抛物线，基于标号为0、5、6、7、1的眼部关键点的坐标信息，计算下眼睑对应的抛物线，从而得到由上眼睑对应的抛物线和下眼睑对应的抛物线组合而成的眼部拟合曲线。

另外，需要说明的是，在分别利用上眼睑关键点以及下眼睑关键点计算与之匹配的抛物线时，为了达到更好的曲线拟合效果，可以利用上眼睑关键点中，每三个相互邻近的关键点进行分段的上眼睑抛物线拟合，以及利用下眼睑关键点中，每三个相互邻近的关键点进行分段的下眼睑抛物线拟合，从而得到眼部拟合曲线。

B2，基于该眼部拟合曲线以及虹膜轮廓的轮廓参数，对该面部图像进行前景掩膜处理，得到该面部图像的掩膜图像；其中，该前景掩膜处理为以该面部图像的虹膜区域作为前景区域的掩膜处理；该虹膜轮廓的轮廓参数为基于该眼部关键点信息中的指定关键点所生成的，该指定关键点信息为位于虹膜外圆的轮廓上的关键点信息；

本实现方式中，利用指定关键点信息生成虹膜轮廓的轮廓参数时，将虹膜轮廓视为正圆形，利用指定关键点信息计算与之匹配的圆的参数，即可得到虹膜轮廓的轮廓参数。

B3，基于该面部图像的掩膜图像，确定该面部图像中的虹膜区域。

可以理解的是，由于存在眼皮覆盖部分虹膜区域的面部图像，针对该种面部图像而言，直接使用上述指定关键点去拟合虹膜区域的虹膜轮廓，可能会导致所拟合出的虹膜轮廓超出眼部轮廓的范围，从而后续从面部图像中分割出虹膜局部图像并与美瞳图像进行第一融合处理时，得到的局部美瞳效果图会产生效果失真。

为了解决上述失真问题，需要准确的确定出面部图像中的虹膜区域。本实现方式中，通过结合眼部拟合曲线以及虹膜轮廓的轮廓参数，对该面部图像进行前景掩膜处理，得到该面部图像的掩膜图像，然后基于该掩膜图像，确定面部图像中的虹膜区域。

示例性的，在一种具体的实现方式中，基于该眼部拟合曲线以及虹膜轮廓的轮廓参数，对该面部图像进行前景掩膜处理，得到该面部图像的掩膜图像，包括：基于该眼部拟合曲线以及虹膜轮廓的轮廓参数，识别该面部图像中的指定像素点；其中，该指定像素点位于眼部轮廓所构成区域内且位于虹膜外圆的轮廓所构成的区域内；将该面部图像中的指定像素点的像素值设置为第一数值，以及将该面部图像中的除该指定像素点以外的像素点设置为第二数值，得到该面部图像的掩膜图像。示例性的，可以将面部图像中位于眼部拟合曲线所构成区域内部，且位于虹膜外圆的轮廓所构成的区域内部的像素点的像素值赋值为1，其他位置像素点的像素值赋值为0，得到面部图像的掩膜图像，并将该掩膜图像中像素值为1的区域确定为虹膜区域。例如，如图6所示，将眼部拟合曲线内部，即利用标号为0、2、3、4、1、5、6、7的眼部关键点信息所拟合的眼部拟合曲线内部，且位于虹膜轮廓内部，即利用标号为8、9、10、11的眼部关键点所拟合的虹膜轮廓所构成的区域内部的像素点的像素值赋值为1，其他位置像素点的像素值赋值为0，得到面部图像的掩膜图像。

S1023，对该面部图像进行虹膜局部区域裁剪，得到虹膜局部图像。

在通过步骤S1022确定该面部图像中的虹膜区域后，即可对该面部图像进行虹膜局部图像裁剪，其中，虹膜局部图像裁剪用于裁剪出包含虹膜区域的局部图像，作为虹膜局部图像。

可见，通过本方案，在识别出该面部图像中的眼部关键点信息后，可以利用该眼部关键点信息确定面部图像中的虹膜区域，从而可以快速、准确的对面部图像进行虹膜局部区域裁剪，得到虹膜局部图像。

可选地，在本发明的另一实施例中，上述步骤S103中将该虹膜局部图像与该美瞳图像进行第一融合处理，得到局部美瞳效果图的步骤可以通过预先训练完成的融合网络实现；其中，该融合网络为基于样本虹膜局部图像以及样本美瞳图像训练得到的、用于输出融合结果的神经网络；其中，该融合结果为在该样本虹膜局部图像中融入该样本美瞳图像的图像风格，并保留该样本虹膜局部图像的纹理特征的结果。

也就是，利用预先训练完成的融合网络对虹膜局部图像与美瞳图像进行第一融合处理，在实际应用中，该融合网络可以是卷积神经网络、全连接神经网络，等等。

可选地，在一种实现方式中，预先训练完成的融合网络可以为预先训练完成的生成对抗网络中的生成网络；本领域普通技术人员可以知晓，生成对抗网络是近年来复杂分布上无监督学习的方法之一，生成对抗网络通过网络框架中两个模块：生成网络和判别网络的互相博弈学习产生相当好的输出。

相应的，在该种实现方式中，如图3所示，该生成对抗网络的训练过程，可以包括步骤S301-S307：

S301，获取样本虹膜局部图像以及样本美瞳图像；

本实现方式中，可以首先获取样本面部图像和样本美瞳图像，然后从该样本面部图像中分割出包含虹膜区域的样本虹膜局部图像，具体的分割过程与上述步骤S102类似，这里不再赘述。

S302，将该样本虹膜局部图像和该样本美瞳图像输入该生成网络，得到作为融合结果的生成图像；

本实现方式中，生成网络可以由基于卷积神经网络的编码器和解码器构成，将该样本虹膜局部图像和该样本美瞳图像输入该生成网络后，先由编码器对输入的图像进行下采样特征编码，即下采样压缩图像信息并得到多分辨率的特征编码，得到编码结果，再由解码器根据编码结果上采样，使编码结果的分辨率恢复到输入图像的大小，解码器的输出即为作为融合结果的生成图像。

S303，将该生成图像和该样本虹膜图像分别输入该生成对抗网络中的对抗网络，得到对应于该生成图像的第一鉴别结果和对应于该样本虹膜局部图像的第二鉴别结果；其中，该对抗网络用于鉴别输入的图像是否为真实图像；

本实现方式中，对抗网络可以由具备下采样机制的卷积网络构成，以图像为输入，输出为该图像是否为真实图像的鉴别结果，即鉴别结果可以为真实图像或生成图像。

S304，基于该第一鉴别结果与相应真值之间的差异，与该第二鉴别结果与相应真值之间的差异，计算该对抗网络的损失值；

可以理解的是，由于对抗网络的训练目标在于有效区分生成图像和真实图像，因此，可以基于该第一鉴别结果与相应真值之间的差异，与该第二鉴别结果与相应真值之间的差异，计算该对抗网络的损失值。由于生成图像为基于样本虹膜局部图像和样本美瞳图像生成得到，样本虹膜局部图像为基于样本面部图像裁剪得到，因此，第一鉴别结果的相应真值为生成图像，第二鉴别结果的相应真值为真实图像。示例性的，可以通过损失函数计算第一鉴别结果以及第二鉴别结果分别与相应真值之间的差异，该损失函数可以是L1损失函数、L2损失函数，等等。

S305，基于该第一鉴别结果与相应假值之间的差异，计算该生成网络的损失值；

可以理解的是，由于生成图像为基于样本虹膜局部图像和样本美瞳图像生成得到，因此，第一鉴别结果的相应真值为生成图像，第一鉴别结果的相应假值为真实图像。对于生成网络而言，训练的目标是生成尽可能逼真的生成图像，因此在训练生成网络的时候，需要联合对抗网络一起才能达到训练的目的，即当对抗网络将生成图像鉴别为真实图像时，可以认为该生成网络生成了逼近真实图像的生成图像。在生成网络的训练过程中，由于第一鉴别结果与其相应假值之间的差值，表征该生成图像被鉴别为真实图像的损失值，因此，可以基于该第一鉴别结果与相应假值之间的差异，计算该生成网络的损失值。

S306，基于该对抗网络的损失值与该生成网络的损失值，判断该对抗网络与该生成网络是否达到纳什均衡状态；其中，该纳什均衡状态用于表征该对抗网络与该生成网络的损失值处于指定范围内波动的平稳状态；

可以理解的是，由于生成网络和对抗网络的训练实际上是矛盾的两个过程，因此生成网络和对抗网络在训练时比较难达到收敛，最佳的状态一般是生成网络和对抗网络二者达到一个纳什均衡状态，即生成网络生成的图像尽可能真实，且此时对抗网络已难以区分真实图像和生成图像。其中，纳什均衡状态用于表征该对抗网络与该生成网络的损失值处于指定范围内波动的平稳状态，该指定范围可以是围绕某一数值的上下波动的区间范围。在生成对抗网络的训练过程中，当生成网络的损失值下降到一定程度，在某一数值上下微震动，而此时，若对抗网络的损失值随着生成网络的优化，也在某一数值上下微震动时，认为该对抗网络与该生成网络达到纳什均衡状态，此时该生成对抗网络达到停止训练条件，可以停止训练；否则，判定该生成对抗网络未达到停止训练条件，需要继续调整生成对抗网络的参数进行训练。

本实现方式中，对抗网络的损失值表征对抗网络输出的鉴别结果与相应真值之间的损失值，即表征对抗网络对输入图像鉴别错误的概率值，生成网络的损失值表征生成网络输出的生成图像被鉴别为真实图像的损失值，在该生成对抗网络的训练过程中，可以利用该对抗网络的损失值和该生成网络的损失值，分析该生成对抗网络的优化情况，从而判断该对抗网络与该生成网络是否达到纳什均衡状态。

S307，若该对抗网络和该生成网络未达到纳什均衡状态，调整该生成对抗网络的参数，并返回该获取样本虹膜局部图像以及样本美瞳图像的步骤。

若通过步骤S306判断该对抗网络和该生成网络未达到纳什均衡状态，则该生成对抗网络未达到停止训练条件，则可以基于该对抗网络的损失值和该生成网络的损失值，分别调整该对抗网络和该生成网络的参数，然后返回获取样本虹膜局部图像以及样本美瞳图像的步骤，继续对该生成对抗网络进行训练，直到该对抗网络和该生成网络达到纳什均衡状态，停止训练。另外，需要说明的是，还可以通过其他方式判断该生成对抗网络是否达到停止训练条件，例如，在对生成对抗网络进行训练时，设置迭代次数，达到停止训练条件可以是达到所设置的迭代次数。本实施例对判断该生成对抗网络是否达到停止训练条件的方式并不限定。

可见，通过本方案，利用预先训练完成的融合网络，将虹膜局部图像与美瞳图像进行第一融合处理，可以快速、自动化的生成融合后的局部美瞳效果图。

可选地，在本发明的另一实施例中，上述步骤S305中，基于该第一鉴别结果与相应假值之间的差异，计算该生成网络的损失值之前，该方法还可以包括步骤D1-D2：

D1，将该生成图像和该样本虹膜局部图像分别输入特征提取网络，并基于该特征提取网络针对该生成图像和样本虹膜图像的输出结果之间的差异，计算第一损失值；

本实施例中，特征提取网络可以是主要由全连接层构成的特征编码网络，用于分析样本虹膜局部图像和生成图像在编码过程中，纹理和轮廓的差异。该第一损失值可以是特征提取网络中各层的输出结果差异之和，即样本虹膜局部图像与生成图像在编码过程中产生的不同层、不同位置特征对于虹膜纹理、眼部轮廓的差异，也可以是特征提取网络最后一层输出结果之间的差异。示例性的，计算该第一损失值的损失函数可以是交叉熵损失函数、L1损失函数，等等。

D2，将该生成图像和该样本美瞳图像分别输入风格约束网络，并基于该风格约束网络针对该生成图像和该样本美瞳图像的输出结果之间的差异，计算第二损失值；其中，该风格约束网络为用于鉴别图像风格的神经网络；

示例性的，该风格约束网络可以是预先训练完成的卷积神经网络，例如VGG网络、全连接神经网络，等等。将该生成图像和该样本美瞳图像分别输入风格约束网络，该风格约束网络可以提取出不同图像中的风格特征，从而可以计算该生成图像和该样本美瞳图像之间的风格特征的差异，得到第二损失值。其中，计算第二损失值的损失函数可以是L1损失函数、L2损失函数，等等。

相应的，在本实施例中，上述步骤S305中，基于该第一鉴别结果与相应假值之间的差异，计算该生成网络的损失值，可以包括：

基于该第一鉴别结果与相应假值之间的差异，以及该第一损失值和该第二损失值，计算该生成网络的损失值。

本实施例中，该第一鉴别结果与相应假值之间的差异表征生成图像被鉴别为真实图像的损失值，该差异越小，表征该生成图像的特征越接近于真实图像的特征，即越接近于样本虹膜局部图像的特征；第一损失值表征生成图像与样本虹膜局部图像在编码过程中产生的对于虹膜纹理、眼部轮廓的差异，该第一损失值越小，生成图像的纹理特征、眼部轮廓越接近于真实图像的特征；第二损失值表征生成图像与样本美瞳图像的风格特征的差异，该第二损失值越小，生成图像的风格特征越接近于真实图像的风格特征。因此，为了使训练出的生成网络生成的图像，既可保留样本虹膜局部图像的纹理特征，又可融入样本美瞳图像的风格特征，可以基于该第一鉴别结果与相应假值之间的差异、该第一损失值和该第二损失值的和值，计算该生成网络的损失值，从而后续基于该生成网络的损失值调整生成网络的参数。

可以理解的是，由于在对生成网络进行训练时，该第一鉴别结果与相应假值之间的差异、该第一损失值以及该第二损失值越小，表征该生成图像的仿真效果越好，因此，在计算该生成网络的损失值后，若该生成对抗网络未达到停止训练条件，可以基于该生成网络的损失值，调整该生成网络的参数。

可见，通过本方案，通过结合特征提取网络和风格约束网络对该生成网络进行辅助训练，可以使得预先训练完成的生成网络，既可学习到美瞳图像中的美瞳风格，又可以保留虹膜局部图像中的纹理特征，从而后续可以利用该训练完成的生成网络，生成仿真效果更佳的局部美瞳效果图。

可选地，在本发明的另一实施例中，上述步骤S302中的生成网络中包括风格编码网络、编码器和解码器；

相应的，在本实施例中，上述步骤S302中将该样本虹膜局部图像和该样本美瞳图像输入该生成网络，得到作为融合结果的生成图像，可以包括步骤E1-E3：

E1，将该样本美瞳图像输入所述风格编码网络，得到该样本美瞳图像的风格特征；

可以理解的是，为了使得生成网络输出的生成图像更好的学习到样本美瞳图像中的美瞳风格，可以在将样本美瞳图像和样本虹膜局部图像进行编码时，将样本美瞳图像的风格特征引入到编码过程中，来影响融合后的生成图像的图像风格。由于图像风格可以用高斯分布来拟合，而高斯分布使用的参数为均值和方差，因此在本实施例中，可以利用风格编码网络，对该样本美瞳图像进行处理，得到该样本美瞳图像的均值和方差，作为该样本美瞳图像的风格特征，从而后续可以在编码过程中引入该样本美瞳图像的风格特征，来影响融合后的生成图像的图像风格。

示例性的，该风格编码网络可以是卷积神经网络，该卷积神经网络输出层为两个并联的全连接层，用于将样本美瞳图像进行编码，并将该编码以均值和方差的形式输出。当然，该风格编码网络还可以是其他类型的神经网络，例如：深度神经网络，等等，本发明实施例对该风格编码网络的具体类型不做限定。

E2，将该样本美瞳图像的风格特征和该样本虹膜局部图像输入该编码器进行编码，得到样本虹膜局部图像对应的融合后特征；该样本虹膜局部图像对应的融合后特征为融合有该样本美瞳图像的风格特征以及该样本虹膜局部图像的纹理特征的特征图像；

本实施例中，该编码器可以是卷积神经网络，该卷积神经网络可以由多个网络层构成，为了使得编码后得到的融合后特征具有较好的样本美瞳图像中的美瞳风格，可以将该样本美瞳图像的风格特征输入到该编码器的后几个网络层中，去修改样本虹膜局部图像中的特征，从而在该样本虹膜局部图像的风格特征中导入样本美瞳图像的风格特征，得到该样本虹膜局部图像对应的融合后特征。

示例性的，若以高斯分布来拟合该美瞳图像的风格特征，则可以以如下公式去修改样本虹膜局部图像中的特征：

其中，/>

E3，将样本虹膜局部图像对应的融合后特征输入该解码器进行解码，得到作为融合结果的生成图像。

可以理解的是，为了得到与输入图像相同尺寸的输出图像，在对样本虹膜局部图像和样本美瞳图像进行编码和特征融合后，可以将样本虹膜局部图像对应的融合后特征输入解码器进行解码，得到生成图像。

可见，通过本方案，通过在生成网络中增加风格编码网络，可以提取出样本美瞳图像中的风格特征，将该提取出的风格特征融入到样本虹膜局部图像中，可以使得融合后得到的生成图像更好地学习到样本美瞳图像中的美瞳风格。

可选地，在本发明的另一实施例中，在图1所示实施例的基础上，如图4所示，上述步骤S104中，对该局部美瞳效果图与该面部图像进行第二融合处理，得到美瞳试戴图像，可以包括步骤S1041-S1043：

S1041，基于该局部美瞳效果图，生成备用效果图；其中，该备用效果图的大小与目标眼部图像的大小相同，且该备用效果图中的目标区域具有该局部美瞳效果图的虹膜区域的图像信息，该目标眼部图像为该面部图像的眼部区域图像，该目标区域为与该眼部区域图像的虹膜区域位置相同的区域；

可以理解的是，为了将局部美瞳效果图中的图像风格，融入到面部图像的眼部区域中，可以先基于该局部美瞳效果图，生成与该面部图像的眼部区域大小相同的备用效果图，即将该局部美瞳效果图调整为与该面部头像的眼部区域大小相同的备用效果图，以便于后续进行融合。然后确定该备用效果图中各个像素点对应的融合系数，以该融合系数将备用效果图和该面部图像的眼部区域进行融合，从而得到对应于该面部图像的美瞳试戴图像。

可选地，在一种实现方式中，基于该局部美瞳效果图，生成备用效果图，可以包括步骤F1-F2：

F1，确定该局部美瞳效果图中的虹膜区域，作为待利用区域；

F2，将指定图像中的该目标区域的图像信息，替换为所述待利用区域的图像信息，得到备用效果图；其中，所述指定图像为与所述目标眼部图像大小相同。

可以理解的是，为了使生成的备用效果图中的目标区域，具有该局部美瞳效果图的虹膜区域的图像信息，首先可以确定该局部美瞳效果图中的虹膜区域作为待利用区域，然后将指定图像中的该目标区域的信息，替换为该待利用区域的图像信息，从而得到备用效果图。示例性的，该指定图像可以是与目标眼部图像大小相同的人眼图像，或者全0图像，等等。

示例性的，在一种具体的实现方式中，上述步骤F1中确定该局部美瞳效果图中的虹膜区域，作为待利用区域，可以包括步骤F11-F13：

F11，确定该虹膜局部图像的目标掩膜图像；其中，该目标掩膜图像为以虹膜区域为前景的二值化图像；

本实现方式中，为了确定该局部美瞳图像中的虹膜区域，可以先确定该虹膜局部图像的目标掩膜图像，即对该虹膜局部图像进行以虹膜区域为前景的掩膜处理，该得到的目标掩膜图像中，对应于虹膜区域的像素点的像素值为1，对应于虹膜区域以外的像素点的像素值为0。

F12，将该局部美瞳效果图的各个像素点的像素值与该目标掩膜图像中的相应像素点的像素值进行相乘；

F13，基于相乘后所得到的图像中的像素点的像素值，确定该局部美瞳效果图中的虹膜区域，作为待利用区域。

可以理解的是，由于目标掩膜图像中对应于虹膜区域以外的像素点的像素值为0，对应于虹膜区域的像素点的像素值为1，将该局部美瞳效果图的各个像素点的像素值与该目标掩膜图像中的相应像素点的像素值进行相乘后，对应于虹膜区域的各个像素点的像素值，为局部美瞳效果图中的对应于该虹膜区域的各个像素点的像素值，对应于虹膜区域以外的各个像素点的像素值为0。从而，可以将该相乘后得到的像素点不为0的区域，确定为该局部美瞳效果图中的虹膜区域，即待利用区域。

S1042，确定该备用效果图中的各个像素点对应的融合系数；

可以理解的是，为该备用效果图中的各个像素点确定对应的融合系数，后续将该备用效果图与面部图像中的眼部区域进行融合时，可以根据该融合系数调整融合效果。示例性的，确定该融合系数的方式，可以是相关技术人员根据经验自行设定，也可以是根据该备用效果图中的各个像素点距离目标区域的距离确定。

S1043，利用所确定的融合系数，将该备用效果图和该面部图像中的眼部区域进行融合，得到美瞳试戴图像。

可以理解的是，在通过步骤S1042确定该备用效果图中的各个像素点对应的融合系数，将该备用效果图和该面部图像中的眼部区域进行融合，使得该面部图像中的眼部区域融入备用效果图中目标区域的特征，从而得到具有美瞳佩戴效果的美瞳试戴图像。

示例性的，在一种具体的实现方式中，该指定图像为全0的图像，该融合系数基于该备用效果图中的各个像素点与该目标区域的距离所确定；

示例性的，基于该备用效果图中的各个像素点距离目标区域的距离，确定该备用效果图中的各个像素点对应的融合系数的方式，可以是：像素点距离目标区域越近，该像素点的融合系数越大。这样，可以使得后续将该备用效果图与面部图像中的眼部区域进行融合时，距离虹膜区域越远，保留越少的备用效果图中目标区域的特征，从而达到一个平滑过渡的效果，弱化视觉上的贴图感。

相应的，在该种具体的实现方式中，利用所确定的融合系数，将该备用效果图和该面部图像中的眼部区域进行融合，得到美瞳试戴图像，包括：

按照预定的计算公式，利用所确定的融合系数，将该备用效果图和该面部图像中的眼部区域进行融合，得到美瞳试戴图像；其中，该预定的计算公式为：

C

可以理解的是，由于距离目标区域越近，备用效果图中各个像素点对应的W

可见，通过本方案，为该备用效果图中的各个像素点确定对应的融合系数，将该备用效果图与面部图像中的眼部区域进行融合时，可以根据该融合系数调整融合效果。

为了更加清楚的理解本发明实施例的内容，下面结合图5、图6和图7对本发明实施例的具体示例进行介绍。

如图5所示，展示了一种实现本发明实施例所提供的图像处理方法的装置，该装置包括面部图像获取模块、眼睛检测模块、眼部关键点定位模块、虹膜分割模块、美瞳素材获取模块、美瞳生成模块和图像输出模块。利用该装置生成美瞳试戴图像的一个具体示例的流程如下：

(1)通过面部图像获取模块从终端设备获取一张未佩戴美瞳的面部图像。

(2)将面部图像输入眼睛检测模块中，该眼睛检测模块用于检测面部图像中的眼部区域位置，并输出面部图像和所有眼框位置相对于该面部图像的坐标信息。

其中，该眼睛检测模块可以包括根据大批量标定好的面部图像和对应眼睛标签训练的检测模型，该模型的输入为面部图像，输出为眼框位置的坐标信息，然后将训练好的该检测模型应用于眼睛检测模块中实现眼框位置的检测输出。其中，该检测模型可以是YOLO(一种将对象检测重新定义为一个回归问题的检测模型)、SSD(Single Shot MultiBoxDetector，一种一级目标检测模型)、Faster RCNN(Faster Regions with CNN features，一种快速端到端的深度学习检测模型)等深度学习模型。

(3)将步骤(2)输出的面部图像和眼眶位置相对于该面部图像的坐标信息输入眼部关键点定位模块，该眼部关键点定位模块用于根据眼眶位置相对于该面部图像的坐标信息，从该面部图像中框裁剪出眼部区域图像，然后使用关键点检测器定位眼部所需关键点的坐标信息，并输出面部图像和相对于该面部图像的来自不同位置的所有眼部关键点信息。

其中，该眼部关键点定位模块可以包括根据大批量标定好的眼部图像和对应眼部关键点标签训练的关键点定位模型，该模型的输入为眼部图像，输出为关键点预测结果，然后将训练好的关键点定位模型应用于眼部关键点定位模块中实现眼部关键点预测。

在对关键点定位模型进行训练时，标定眼部图像的眼部关键点标签可以按照如图6所示的眼部关键点模板进行标定。如图6所示，标号0、1分别为左、右眼角点，标号2、3、4分别为上眼睑的四等分点，标号5、6、7分别为下眼睑的四等分点，标号8、9、10、11分别为虹膜外圆的左、上、右、下四等分点，标号12、13、14、15分别为虹膜内圆的左、上、右、下四等分点。

其中，该关键点定位模型可以是基于深度学习的回归模型，该回归模型的输入为眼部图像，输出为回归偏移量Δp，实际模型使用时将回归偏移量与模板点位置信息p

(4)将步骤(3)输出的面部图像和眼部关键点信息，输入虹膜分割模块中，该虹膜分割模块根据输入的面部图像和眼部关键点信息，拟合不同眼睛的眼部拟合曲线，并根据眼部拟合曲线以及虹膜轮廓的轮廓参数绘制对应面部图像的虹膜前景掩膜(对应于上文中的面部图像的掩膜图像)，并输出面部图像、针对面部图像的虹膜前景掩膜和眼部关键点信息；

本方案将虹膜轮廓视为正圆形，关键点定位模型预测的指定关键点为正圆内与圆心水平或垂直方向对齐的四个等分点，由这四点可得到圆的具体参数。本方案将眼睑轮廓形状使用抛物线进行模板匹配，通过每三个相互邻近的点进行分段抛物线拟合。例如，上眼睑标号为0-4的关键点中，使用标号为0、2、3的三个关键点拟合0-2段的抛物线，使用标号为2、3、4的三个关键点拟合2-3-4段的抛物线，使用标号为3、4、1的关键点拟合4-1段的抛物线，下眼睑选点拟合策略类同上眼睑。上述关键点个数、种类仅作为一种示例，使用时可增添关键点个数以达到最优形状拟合目的。

在获得虹膜轮廓、上眼睑轮廓和下眼睑轮廓的拟合曲线参数后，记虹膜轮廓的轮廓参数为(c

其中，Mask(i，j)为虹膜前景掩膜，i表征横轴坐标，j表征纵轴坐标，该公式表征在上眼睑轮廓下方、下眼睑轮廓上方，且在虹膜轮廓区域内的像素点值为1，其他区域像素点值为0。

(5)通过美瞳素材获取模块获取一张美瞳图像，并输出这张图像；

(6)将步骤(3)输出的面部图像和眼部关键点信息，输入美瞳生成模块，该美瞳生成模块用于首先根据面部图像以及眼部关键点信息对该面部图像进行预处理，即以虹膜轮廓外接正方形对该面部图像进行虹膜区域裁剪，得到虹膜局部图像；然后将该虹膜局部图像以及由步骤(5)输出的美瞳图像一同输入到美瞳生成器中，得到并输出局部美瞳效果图。

其中，该美瞳生成器可以是基于深度学习的融合网络，该融合网络的输入为美瞳图像、虹膜局部图像，输出为局部美瞳效果图。具体的，该融合网络可以是生成对抗网络中的生成网络，也可以使VQ-VAE等其他深度学习模型。

(7)将步骤(6)输出的局部美瞳效果图以及步骤(4)输出的面部图像、针对面部图像的虹膜前景掩膜和眼部关键点信息，输入到图像输出模块中，该图像输出模块用于利用虹膜前景掩膜计算融合权重矩阵，基于该融合权重矩阵将虹膜局部美瞳效果图和面部图像中的眼部区域进行融合，得到美瞳试戴效果图，并基于该美瞳试戴效果图得到最终的面部美瞳效果图。

如图7所示，展示了图像输出模块对面部图像中的眼部区域E、虹膜前景掩膜M

步骤1：根据虹膜前景掩膜M

步骤2：基于虹膜前景掩膜M

步骤3：在眼部区域大小的全0图像(对应于上文中的指定图像)中，将步骤2中得到的前景美瞳效果图恢复到眼部区域里的原虹膜前景对应位置，得到备用效果图；

步骤4：将步骤3得到的备用效果图和面部图像中的眼部区域，按照步骤1得到的权重矩阵进行加权求和得到美瞳试戴图像；

在通过步骤4得到美瞳试戴图像后，可以将该美瞳试戴图像还原到面部图像上，例如贴回面部图像中，得到呈现佩戴美瞳的面部全局效果的面部美瞳效果图。

为了更好的理解上述利用融合网络生成局部美瞳效果图的原理，下面以融合网络为生成对抗网络为例，对利用该融合网络生成局部美瞳效果图的过程进行介绍。其中，该生成对抗网络分为预先训练和实际使用两个阶段：

在训练阶段，需要训练生成网络和对抗网络，由于本方案需要另外学习美瞳风格以及保持原虹膜纹理特征不变，因此需要额外增加风格编码网络、特征提取网络以及风格分析网络作为辅助。

具体的训练阶段包含如下步骤：

步骤1：将样本虹膜局部图像和样本美瞳图像输入生成网络，得到生成图像。

步骤2：计算对抗网络的损失值D

步骤3：计算生成网络的损失值G

G

然后，根据G

在使用阶段，仅需利用生成网络即可。具体使用阶段包含如下步骤：

步骤1：将虹膜局部图像和美瞳图像输入到生成网络中；

步骤2：由生成网络生成具有美瞳佩戴效果的局部美瞳效果图，该局部美瞳效果图具有虹膜局部图像的虹膜纹理和轮廓，以及美瞳图像的美瞳风格。

步骤3：输出生成的局部美瞳效果图。

可见，通过本方案，在实际应用中，可以使进行美瞳选型的用户在无需真正佩戴美瞳的前提下，查看到美瞳佩戴效果，使美瞳选型过程更方便、卫生、快捷。该方案通过结合深度学习技术，获得清晰美瞳试戴图像的速度较快，对不同人、不同场景的自适应能力较强，且不涉及手动调节参数步骤，可以产生较好且较直观的用户体验，同时本方案生成的美瞳试戴图像还可以有效保留面部图像中的虹膜内部纹理特征不变，使得仿真效果更好，并且对于未来探索受美瞳遮挡的虹膜识别技术，或美瞳场景下与眼部相关的研究而言具有重要参考价值。

相应上述方法实施例，本发明实施例还提供了一种图像处理装置，如图8所示，所述装置包括：

获取模块810，用于获取美瞳图像以及待进行美瞳试戴的面部图像；

分割模块820，用于从所述面部图像中分割出包含虹膜区域的虹膜局部图像；

第一融合模块830，用于将所述虹膜局部图像与所述美瞳图像进行第一融合处理，得到局部美瞳效果图；其中，所述第一融合处理用于在所述虹膜局部图像中融入所述美瞳图像的图像风格，并保留所述虹膜局部图像的纹理特征；

第二融合模块840，用于对所述局部美瞳效果图与所述面部图像进行第二融合处理，得到美瞳试戴图像；其中，所述第二融合处理用于将所述局部美瞳效果图的图像风格融入到所述面部图像的眼部区域中。

可选地，所述分割模块，包括：

识别子模块，用于识别所述面部图像中的眼部关键点信息；

第一确定子模块，用于利用所述眼部关键点信息，确定所述面部图像中的虹膜区域；

裁剪子模块，用于对所述面部图像进行虹膜局部区域裁剪，得到虹膜局部图像。

可选地，所述确定子模块，具体用于：

利用所述眼部关键点信息拟合所述面部图像中的眼部轮廓，得到眼部拟合曲线；其中，所述眼部轮廓为贴合眼睑的轮廓；

基于所述眼部拟合曲线以及虹膜轮廓的轮廓参数，对所述面部图像进行前景掩膜处理，得到所述面部图像的掩膜图像；其中，所述前景掩膜处理为以所述面部图像的虹膜区域作为前景区域的掩膜处理；所述虹膜轮廓的轮廓参数为基于所述眼部关键点信息中的指定关键点所生成的，所述指定关键点信息为位于虹膜外圆的轮廓上的关键点信息；

基于所述面部图像的掩膜图像，确定所述面部图像中的虹膜区域。

可选地，所述基于所述眼部拟合曲线以及虹膜轮廓的轮廓参数，对所述面部图像进行前景掩膜处理，得到所述面部图像的掩膜图像，包括：

基于所述眼部拟合曲线以及虹膜轮廓的轮廓参数，识别所述面部图像中的指定像素点；其中，所述指定像素点位于眼部轮廓所构成区域内且位于虹膜外圆的轮廓所构成的区域内；

将所述面部图像中的指定像素点的像素值设置为第一数值，以及将所述面部图像中的除所述指定像素点以外的像素点设置为第二数值，得到所述面部图像的掩膜图像。

可选地，所述第二融合模块，包括：

第一生成子模块，用于基于所述局部美瞳效果图，生成备用效果图；其中，所述备用效果图的大小与目标眼部图像的大小相同，且所述备用效果图中的目标区域具有所述局部美瞳效果图的虹膜区域的图像信息，所述目标眼部图像为所述面部图像的眼部区域图像，所述目标区域为与所述眼部区域图像的虹膜区域位置相同的区域；

第二确定子模块，用于确定所述备用效果图中的各个像素点对应的融合系数；

第二融合子模块，用于利用所确定的融合系数，将所述备用效果图和所述面部图像中的眼部区域进行融合，得到美瞳试戴图像。

可选地，所述第一生成子模块，具体用于：

确定所述局部美瞳效果图中的虹膜区域，作为待利用区域；

将指定图像中的所述目标区域的图像信息，替换为所述待利用区域的图像信息，得到备用效果图；其中，所述指定图像为与所述目标眼部图像大小相同。

可选地，所述确定所述局部美瞳效果图中的虹膜区域，作为待利用区域，具体用于：

确定所述虹膜局部图像的目标掩膜图像；其中，所述目标掩膜图像为以虹膜区域为前景的二值化图像；

将所述局部美瞳效果图的各个像素点的像素值与所述目标掩膜图像中的相应像素点的像素值进行相乘；

基于相乘后所得到的图像中的像素点的像素值，确定所述局部美瞳效果图中的虹膜区域，作为待利用区域。

可选地，所述第一融合模块，包括：

第一提取子模块，用于提取所述美瞳图像的风格特征；

第二提取子模块，用于提取所述虹膜局部图像的纹理特征；

第一融合子模块，用于将所述风格特征与所述纹理特征进行融合，得到所述虹膜局部图像对应的融合后特征；

第二生成子模块，用于生成具有所述虹膜局部图像对应的融合后特征的图像，作为局部美瞳效果图。

可选地，所述将所述虹膜局部图像与所述美瞳图像进行第一融合处理，得到局部美瞳效果图的步骤通过预先训练完成的融合网络实现；其中，所述融合网络为基于样本虹膜局部图像以及样本美瞳图像训练得到的、用于输出融合结果的神经网络；其中，所述融合结果为在所述样本虹膜局部图像中融入所述样本美瞳图像的图像风格，并保留所述样本虹膜局部图像的纹理特征的结果。

可选地，所述预先训练完成的融合网络为预先训练完成的生成对抗网络中的生成网络；

其中，所述生成对抗网络的训练过程，包括：

获取样本虹膜局部图像以及样本美瞳图像；

将所述样本虹膜局部图像和所述样本美瞳图像输入所述生成网络，得到作为融合结果的生成图像；

将所述生成图像和所述样本虹膜图像分别输入所述生成对抗网络中的对抗网络，得到对应于所述生成图像的第一鉴别结果和对应于所述样本虹膜局部图像的第二鉴别结果；其中，所述对抗网络用于鉴别输入的图像是否为真实图像；

基于所述第一鉴别结果与相应真值之间的差异，与所述第二鉴别结果与相应真值之间的差异，计算所述对抗网络的损失值；

基于所述第一鉴别结果与相应假值之间的差异，计算所述生成网络的损失值；

基于所述对抗网络的损失值与所述生成网络的损失值，判断所述对抗网络与所述生成网络是否达到纳什均衡状态；其中，所述纳什均衡状态用于表征所述对抗网络与所述生成网络的损失值处于指定范围内波动的平稳状态；

若所述对抗网络和所述生成网络未达到纳什均衡状态，调整所述生成对抗网络的参数，并返回所述获取样本虹膜局部图像以及样本美瞳图像的步骤。

可选地，所述基于所述第一鉴别结果与相应假值之间的差异，计算所述生成网络的损失值之前，还包括：

将所述生成图像和所述样本虹膜局部图像分别输入特征提取网络，并基于所述特征提取网络针对所述生成图像和样本虹膜图像的输出结果之间的差异，计算第一损失值；

将所述生成图像和所述样本美瞳图像分别输入风格约束网络，并基于所述风格约束网络针对所述生成图像和所述样本美瞳图像的输出结果之间的差异，计算第二损失值；其中，所述风格约束网络为用于鉴别图像风格的神经网络；

所述基于所述第一鉴别结果与相应假值之间的差异，计算所述生成网络的损失值，包括：

基于所述第一鉴别结果与相应假值之间的差异，以及所述第一损失值和所述第二损失值，计算所述生成网络的损失值。

可选地，所述生成网络中包括风格编码网络、编码器和解码器；

所述将所述样本虹膜局部图像和所述样本美瞳图像输入所述生成网络，得到作为融合结果的生成图像，包括：

将所述样本美瞳图像输入所述风格编码网络，得到所述样本美瞳图像的风格特征；

将所述样本美瞳图像的风格特征和所述样本虹膜局部图像输入所述编码器进行编码，得到样本虹膜局部图像对应的融合后特征；所述样本虹膜局部图像对应的融合后特征为融合有所述样本美瞳图像的风格特征以及所述样本虹膜局部图像的纹理特征的特征图像；

将样本虹膜局部图像对应的融合后特征输入所述解码器进行解码，得到作为融合结果的生成图像。

本发明实施例还提供了一种电子设备，如图9所示，包括摄像头901、显示器902、处理器903、和存储器904；

所述摄像头901，用于采集待进行美瞳试戴的面部图像；

存储器904，用于存放计算机程序；

处理器903，用于执行存储器904上所存放的程序时，实现上述实施例中任一所述的图像处理方法的步骤；

所述显示器902，用于显示所述处理器903在实现上述任一所述的图像处理方法的步骤后得到的美瞳试戴图像。

可选地，所述电子设备为计算机、手机、电子镜子或电子相册。

上述电子设备提到的

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

另外，上述电子相册可以是实现拍照、相册管理等功能的相册设备。

在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例中任一所述的图像处理方法的步骤。

在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的图像处理方法的步骤。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。