图像、数据处理的方法和装置

技术领域

本发明涉及互联网技术应用领域，具体而言，涉及一种图像、数据处理的方法和装置。

背景技术

随着电商规模不断扩大，线上产品的种类，消费与体验方式日趋多元化，传统基于文字描述+商品静态照片的宣传方式已难以充分展示商品的亮点和用户体验效果。而制作专业的商品广告宣传片，不仅要耗费大量时间，通常还需要专业人员的参与(如服装模特)，给个体商户，中小型企业推广宣传产品带来巨大负担。

当前公开的人物动作迁移方法在提取特征时往往容易丢失发丝，衣物花纹等细小的纹理细节，导致合成的图像过度平滑，欠缺真实感，即，如图1所示，图1是现有技术在进行人物动作迁移时的示意图，由图1可知，合成图和实际拍摄图对比，最大区别的在于衣物上的纹理(花纹)以及人物特征(例如，模特发型)在合成图上并没有清楚显示。

针对上述由于现有技术在进行人物动作迁移时会在提取特征时遗漏纹理细节，导致合成图像缺乏真实感的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种图像、数据处理的方法和装置，以至少解决由于现有技术在进行人物动作迁移时会在提取特征时遗漏纹理细节，导致合成图像缺乏真实感的技术问题。

根据本发明实施例的一个方面，提供了一种图像处理的方法，其中，包括：根据源图像获取源姿态和纹理信息；依据源图像、目标姿态和源姿态获取第一合成图像；依据纹理信息和第一合成图像，获取残差图；依据第一合成图像和残差图，获取第二合成图像。

可选的，根据源图像获取源姿态和纹理信息包括：根据源图像通过姿态估计得到源图像的源姿态；对源图像通过特征提取，得到源图像的纹理信息。

可选的，依据源图像、目标姿态和源姿态获取第一合成图像包括：根据源图像、目标姿态和源姿态，获取内容特征图；根据内容特征图，获取第一合成图像。

可选的，依据纹理信息和第一合成图像，获取残差图包括：依据纹理信息编码和内容特征图进行归一化处理，得到残差图；其中，依据纹理信息编码和内容特征图进行归一化处理，得到残差图包括：依据纹理信息通过深层学习，与内容特征图通过归一化，并经过重建后，得到残差图，其中，残差图包括源图像中的轮廓特征和表面纹理细节。

进一步地，可选的，轮廓特征包括：人脸、动物头部、肢体特征或物品外表特征中至少一种；表面纹理细节包括：商品表面纹理细节，其中，商品表面纹理细节包括：衣物纹理细节、饰品纹理细节或用具纹理细节中的至少一种。

可选的，依据第一合成图像和残差图，获取第二合成图像包括：依据第一合成图像和残差图进行叠加，得到第二合成图像。

进一步地，依据第一合成图像和残差图进行叠加，得到第二合成图像包括：依据残差图中源图像中的轮廓特征和表面纹理细节，在第一合成图像中与轮廓特征和表面纹理细节对应的位置进行填补，得到第二合成图像，其中，第二合成图像相比第一合成图像具有源图像中的轮廓特征和表面纹理细节。

根据本发明实施例的另一方面，还提供了一种数据处理的方法，其中，包括：接收用户上传的源图像；依据源图像获取源图像的源姿态和纹理信息；依据源图像、目标姿态以及源姿态进行姿态迁移，获取第一合成图像；依据纹理信息进行特征增强处理，获取残差图像，其中，残差图像包括：源图像中的轮廓特征和表面纹理细节；在第一合成图像中填充残差图像中的轮廓特征和表面纹理细节，生成第二合成图像；将第二合成图像确定为展示图像进行展示。

根据本发明实施例的又一方面，还提供了一种图像处理的方法，其中，包括：接收用户上传的源图像；依据源图像的源姿态生成第一合成图像，以及，依据源图像的纹理信息生成残差图像；依据第一合成图像和残差图像，获取第二合成图像；依据第二合成图像生成图像集合或视频数据。

可选的，图像集合或视频数据应用于在线试衣效果展示或广告图页展示。

根据本发明实施例的再一方面，还提供了一种图像获取的方法，其中，包括：上传源图像；接收依据源图像返回的图像集合或视频数据，其中，图像集合或视频数据依据源图像的源姿态和纹理信息，生成第一合成图像和残差图像；依据第一合成图像和残差图像，获取第二合成图像；并依据第二合成图像得到。

根据本发明另一实施例的一方面，还提供了一种图像处理的装置，其中，包括：第一获取模块，用于根据源图像获取源姿态和纹理信息；第一合成模块，用于依据源图像、目标姿态和源姿态获取第一合成图像；第二获取模块，用于依据纹理信息和第一合成图像，获取残差图；第二合成模块，用于依据第一合成图像和残差图，获取第二合成图像。

根据本发明另一实施例的另一方面，还提供了一种数据处理的装置，其中，包括：接收模块，用于接收用户上传的源图像；获取模块，用于依据源图像获取源图像的源姿态和纹理信息；第一图像处理模块，用于依据源图像、目标姿态以及源姿态进行姿态迁移，获取第一合成图像；第二图像处理模块，用于依据纹理信息进行特征增强处理，获取残差图像，其中，残差图像包括：源图像中的轮廓特征和表面纹理细节；合成模块，用于在第一合成图像中填充残差图像中的轮廓特征和表面纹理细节，生成第二合成图像；展示模块，用于将第二合成图像确定为展示图像进行展示。

根据本发明另一实施例的又一方面，还提供了一种图像处理的装置，其中，包括：接收模块，用于接收用户上传的源图像；第一生成模块，用于依据源图像的源姿态生成第一合成图像，以及，依据源图像的纹理信息生成残差图像；获取模块，用于依据第一合成图像和残差图像，获取第二合成图像；第二生成模块，用于依据第二合成图像生成图像集合或视频数据。

根据本发明另一实施例的再一方面，还提供了一种图像获取的装置，其中，包括：上传模块，用于上传源图像；接收模块，用于接收依据源图像返回的图像集合或视频数据，其中，图像集合或视频数据依据源图像的源姿态和纹理信息，生成第一合成图像和残差图像；依据第一合成图像和残差图像，获取第二合成图像；并依据第二合成图像得到。

根据本发明又一实施例的一方面，还提供了一种存储介质，其中，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述图像、数据处理的方法。

根据本发明又一实施例的一方面，还提供了一种处理器，其中，处理器用于运行程序，其中，程序运行时执行上述图像、数据处理的方法。

在本发明实施例中，采用复用输入的源图像以提取纹理信息编码，以及复用依据原图像、目标姿态和源姿态得到的内容特征图以提供包含空域信息的引导的方式，通过根据源图像获取源姿态和纹理信息；依据源图像、目标姿态和源姿态获取第一合成图像；依据纹理信息和第一合成图像，获取残差图；依据第一合成图像和残差图，获取第二合成图像，达到了改善粗合成图像中丢失/弱化的细节信息的目的，从而实现了提升合成图像真实感的技术效果，进而解决了由于现有技术在进行人物动作迁移时会在提取特征时遗漏纹理细节，导致合成图像缺乏真实感的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是现有技术在进行人物动作迁移时的示意图；

图2是本发明实施例的一种图像处理的方法的计算机终端的硬件结构框图；

图3是根据本发明实施例一的图像处理的方法的流程图；

图4a-4c是根据本发明实施例一的图像处理的方法中根据源图像得到第二合成图像的示意图；

图5是根据本发明实施例二的数据处理的方法的流程图；

图6是根据本发明实施例三的图像处理的方法的流程图；

图7是根据本发明实施例四的图像获取的方法的流程图；

图8是根据本发明实施例五的图像处理的装置的示意图；

图9是根据本发明实施例六的数据处理的装置的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请涉及的技术名词：

人物姿态迁移：根据给定人物图像及目标姿态的引导信息，合成人物在新姿态下的图像或视频。

实施例1

根据本发明实施例，还提供了一种图像处理的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在计算机终端上为例，图2是本发明实施例的一种图像处理的方法的计算机终端的硬件结构框图。如图2所示，计算机终端20可以包括一个或多个(图中仅示出一个)处理器202(处理器202可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器204、以及用于通信功能的传输模块206。本领域普通技术人员可以理解，图2所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端20还可包括比图2中所示更多或者更少的组件，或者具有与图2所示不同的配置。

存储器204可用于存储应用软件的软件程序以及模块，如本发明实施例中的图像处理的方法对应的程序指令/模块，处理器202通过运行存储在存储器204内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的图像处理的方法。存储器204可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器204可进一步包括相对于处理器202远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端20。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置206用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端20的通信供应商提供的无线网络。在一个实例中，传输装置206包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置206可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

在上述运行环境下，本申请提供了如图3所示的图像处理的方法。图3是根据本发明实施例一的图像处理的方法的流程图。本申请实施例提供的图像处理的方法包括：

步骤S302，根据源图像获取源姿态和纹理信息；

本申请上述步骤S302中，在获取到用户上传的源图像后，根据该源图像通过姿态估算得到该源图像的源姿态；同时，根据该源图像进行特征提取得到纹理信息。

步骤S304，依据源图像、目标姿态和源姿态获取第一合成图像；

本申请上述步骤S304中，通过复用步骤S302中的源图像，依据该源图像，和步骤S302根据源图像得到的源姿态，结合预先得到的目标姿态进行编码，得到内容特征图，其中，该编码过程可以如下：输入包含两分支，一支为源图像I_s，另一支为源姿态P_s与目标姿态P_t合并。两分支先独自经过前处理得到初始编码，再一并输入PATN模块进行信息的融合和相互引导，最终输出内容特征图。

基于内容特征图进行解码得到粗合成图像，即，本申请实施例中的第一合成图像，其中，基于内容特征图进行解码得到粗合成图像的过程可以如下：经过至少以一层卷积和上采样，融合卷积网络学到的中间特征，并使特征图空域尺寸与输入图像一致。最后通过值域压缩函数(一般是Tanh)，将输出压缩到[-1,1]的范围，再转化为0～255的RGB数值进行显示，得到粗合成图像。

步骤S306，依据纹理信息和第一合成图像，获取残差图；

本申请上述步骤S306中，在获取残差图的过程中，本申请实施例提供了两种获取方式：

方式1：基于步骤S302得到的纹理信息和步骤S304得到内容特征图进行归一化处理，并通过重建将卷积神经网络提取的特征恢复成图像，得到残差图，其中，通过重建将卷积神经网络提取的特征恢复成图像具体可以为；通过卷积结合上采样的方式，或反卷积的方式将卷积神经网络提取的特征恢复成图像。需要说明的是，本申请实施例中重建的方式仅以上述示例为例进行说明，以实现本申请实施例提供的图像处理的方法为准，具体不做限定。

方式2：基于步骤S302得到的纹理信息和步骤S304得到第一合成图像进行归一化处理，得到残差图。

其中，残差图是包含源图像中的轮廓特征和表面纹理细节的图像。

步骤S308，依据第一合成图像和残差图，获取第二合成图像。

本申请上述步骤S308中，基于步骤S304得到的第一合成图和步骤S306得到的残差图，将残差图叠加到粗合成图像上，输出修缮后的精细图像(Refined Image)，其中，精细图像可以为在粗合成图像上通过残差图像补充源图像中的轮廓特征和表面纹理细节得到的图像，在本申请实施例中粗合成图像相较于精细图像缺少残差图像中的轮廓特征和表面纹理细节，即，本申请实施例中的第二合成图像。

综上，结合步骤S302至步骤S308，图4a-4c是根据本发明实施例一的图像处理的方法中根据源图像得到第二合成图像的示意图，如图4a-4c所示，本申请实施例提供的图像处理的方法可以应用于电商领域，例如，在购物网站侧，卖家上传商品图片，若该商品图片为模特穿着待售的衣服图片，但是为了生成广告文本，该图片还不能满足生成广告文本的需要，因此，该衣服图片可以为本申请实施例中的源图像，在得到源图片后，基于广告文本所需，得到目标姿态，因此依据源图像(Source Image)先通过姿态估计算法得到该源图像的源姿态(Source Pose)；进而通过姿态迁移模块(Pose Transfer Module)基于源图像、目标姿态(Target Pose)和源姿态进行编码，得到内容特征图(Content Feature Map)，并将该内容特征图通过解码器进行解码，得到粗合成图像，即，本申请实施例中的第一合成图像；

此外，本申请实施例提供的图像处理的方法还通过该衣服图片经深度学习网络提取特征，得到纹理信息编码(即，本申请实施例中的纹理信息通过纹理信息编码体现)，通过纹理增强模块(Texture Enhancing Module)基于该纹理信息编码(Texture Code)和内容特征图进行归一化(Adaptive Instance Normalization,简称AdaIN)，并在反卷积(deconv)后得到包含人脸和衣物纹理细节的残差图(residual map)；

将粗合成图像与该残差图进行结合，例如，将残差图叠加到粗合成图像上，输出修缮后的精细图像(Refined Image)，即，得到本申请实施例中的第二合成图像。

即，通过上述方式在购物网站侧，卖家上传该衣服图片后通过人物姿态迁移得到更多的模特衣着待售衣物的图片，以实现从静态人物图像自动合成“卖家秀”视频，实现电商宣传“由静到动”的转变，提升中小型商家宣传展示能力，促进电商平台更新升级，提升宣传手段和产品价值挖掘。

如图4a-4c所示，目标姿态以骨架图表示，但实际应用中，姿态特征的表示包括而不限于2D/3D骨架，人体分割图(全局或局部)，参数化/非参数化的三维人体模型(包括点云(point cloud)，多边形面片(polygonal mesh)，体素(voxel)等表示)等。

其中，如图4c所示，基于图4a和4b的图片处理流程，通过输入图片，生成合成图像，由图4c可知，合成图像在以新的姿态呈现时，还能够体现输入图像模特的面部特征、发型、衣物纹理，达到了改善粗合成图像中丢失/弱化的细节信息的目的，从而实现了提升合成图像真实感的技术效果。

需要说明的是，本申请实施例提供的图像处理的方法仅以上述示例为例进行说明，以实现本申请实施例提供的图像处理的方法为准，具体不做限定。

在本发明实施例中，采用复用输入的源图像以提取纹理信息编码，以及复用依据原图像、目标姿态和源姿态得到的内容特征图以提供包含空域信息的引导的方式，通过根据源图像获取源姿态和纹理信息；依据源图像、目标姿态和源姿态获取第一合成图像；依据纹理信息和第一合成图像，获取残差图；依据第一合成图像和残差图，获取第二合成图像，达到了改善粗合成图像中丢失/弱化的细节信息的目的，从而实现了提升合成图像真实感的技术效果，进而解决了由于现有技术在进行人物动作迁移时会在提取特征时遗漏纹理细节，导致合成图像缺乏真实感的技术问题。

可选的，步骤S302中根据源图像获取源姿态和纹理信息包括：

步骤S3021，根据源图像通过姿态估计得到源图像的源姿态；

步骤S3022，对源图像通过特征提取，得到源图像的纹理信息

其中，对源图像经深度学习网络提取特征，得到纹理信息，纹理信息以纹理信息编码进行体现，即，对该源图像进行卷积、残差和平均采样处理，得到源图像的纹理信息编码。

可选的，步骤S304中依据源图像、目标姿态和源姿态获取第一合成图像包括：根据源图像、目标姿态和源姿态，获取内容特征图；根据内容特征图，获取第一合成图像。

通过复用源图像，依据该源图像，和根据源图像得到的源姿态，结合预先得到的目标姿态进行编码，得到内容特征图，其中，该编码过程可以如下：输入包含两分支，一支为源图像I_s，另一支为源姿态P_s与目标姿态P_t合并。两分支先独自经过前处理得到初始编码，再一并输入PATN模块进行信息的融合和相互引导，最终输出内容特征图。

基于内容特征图进行解码得到粗合成图像，即，本申请实施例中的第一合成图像，其中，基于内容特征图进行解码得到粗合成图像的过程可以如下：经过至少以一层卷积和上采样，融合卷积网络学到的中间特征，并使特征图空域尺寸与输入图像一致。最后通过值域压缩函数(一般是Tanh)，将输出压缩到[-1,1]的范围，再转化为0～255的RGB数值进行显示，得到粗合成图像。

可选的，步骤S306中依据纹理信息和第一合成图像，获取残差图包括：

步骤S3061，依据纹理信息编码和内容特征图进行归一化处理，得到残差图，其中，依据纹理信息编码和内容特征图进行归一化处理，得到残差图包括：依据纹理信息编码通过深层学习，与内容特征图通过归一化，并经过重建后，得到残差图，其中，残差图包括源图像中的轮廓特征和表面纹理细节。

其中，依据纹理信息编码通过深层学习实现了在不影响纹理信息编码所包含信息的前提下，把纹理信息编码的维度调整到网络需要的大小；进而将通过深层学习后的纹理信息编码与内容特征图一起通过归一化，控制深度特征的均值与方差，从而实现“风格”的迁移和转换。其中，本申请实施例中的归一化处理可以通过自适应实例归一化层(AdaptiveInstance Normalization,简称AdaIN)处理得到。

最后通过反卷积，将卷积神经网络提取的特征恢复成图像，并在保持图像大体结构的前提下提升分辨率，并融合不同层的特征，得到残差图。

进一步地，可选的，轮廓特征包括：人脸、动物头部、肢体特征或物品外表特征中至少一种；表面纹理细节包括：商品表面纹理细节，其中，商品表面纹理细节包括：衣物纹理细节、饰品纹理细节或用具纹理细节中的至少一种。

具体的，在本申请实施例中，仍以模特衣着待售衣物的源图像为例，在经过步骤S3061的处理后得到的残差图，是包含人脸和衣物纹理细节的图像，这里人脸即为轮廓特征的一种，衣物的纹理特征即表面纹理细节中的一种。

若源图像为宠物用品图像，例如一只狗穿着宠物雨衣的图像，通过步骤S3061得到的残差图像中就可以为包含了狗头部特征和/或躯干特征，以及雨衣表面纹路的图像。

可选的，步骤S308中依据第一合成图像和残差图，获取第二合成图像包括：步骤S3081，依据第一合成图像和残差图进行叠加，得到第二合成图像。

进一步地，步骤S3081中依据第一合成图像和残差图进行叠加，得到第二合成图像包括：依据残差图中源图像中的轮廓特征和表面纹理细节，在第一合成图像中与轮廓特征和表面纹理细节对应的位置进行填补，得到第二合成图像，其中，第二合成图像相比第一合成图像具有源图像中的轮廓特征和表面纹理细节。

本申请实施例提供的图像处理的方法关键在于复用输入的源图像以提取纹理信息编码z_t，以及复用步骤S304中的得到的内容特征图以提供包含空域信息的引导，指导纹理增强模块在正确的位置生成合适的纹理，从而补全，即，通过生成的方式补充丢失的纹理细节，从而改善粗合成图像中丢失/弱化的细节信息，进而显著提高合成图像的视觉质量。

其中，空域信息指的是要在正确的位置生成正确的纹理，比如人脸区域要正确合成眼睛，鼻子，嘴；衣服区域要生成合适的纹饰和织物面料等。

实施例2

根据本发明实施例的另一方面，还提供了一种数据处理的方法，图5是根据本发明实施例二的数据处理的方法的流程图，如图5所示，本申请实施例提供的数据处理的方法包括：

步骤S502，接收用户上传的源图像；

步骤S504，依据源图像获取源图像的源姿态和纹理信息；

步骤S506，依据源图像、目标姿态以及源姿态进行姿态迁移，获取第一合成图像；

步骤S508，依据纹理信息进行特征增强处理，获取残差图像，其中，残差图像包括：源图像中的轮廓特征和表面纹理细节；

步骤S510，在第一合成图像中填充残差图像中的轮廓特征和表面纹理细节，生成第二合成图像；

步骤S512，将第二合成图像确定为展示图像进行展示。

综上，结合步骤S502至步骤S512，本申请实施例提供的数据处理的方法可以应用于电商领域，例如，在购物网站侧，卖家上传商品图片，若该商品图片为模特穿着待售的衣服图片，但是为了生成广告文本，该图片还不能满足生成广告文本的需要，因此，该衣服图片可以为本申请实施例中的源图像，在得到源图片后，基于广告文本所需，得到目标姿态，因此依据源图像(Source Image)先通过姿态估计算法得到该源图像的源姿态(SourcePose)；进而通过姿态迁移模块(Pose Transfer Module)基于源图像、目标姿态(TargetPose)和源姿态进行编码，得到内容特征图(Content Feature Map)，并将该内容特征图通过解码器进行解码，得到粗合成图像，即，本申请实施例中的第一合成图像；

此外，本申请实施例提供的数据处理的方法还通过该衣服图片经深度学习网络提取特征，得到纹理信息编码，通过纹理增强模块(Texture Enhancing Module)基于该纹理信息编码(Texture Code)和上述过程得到的内容特征图进行归一化(Adaptive InstanceNormalization,简称AdaIN)，并在反卷积(deconv)后得到包含人脸和衣物纹理细节的残差图(residual map)；

将粗合成图像与该残差图进行结合，例如，将残差图叠加到粗合成图像上，输出修缮后的精细图像(Refined Image)，即，得到本申请实施例中的第二合成图像。

即，通过上述方式在购物网站侧，卖家上传该衣服图片后通过人物姿态迁移得到更多的模特衣着待售衣物的图片，以实现从静态人物图像自动合成“卖家秀”视频，实现电商宣传“由静到动”的转变，提升中小型商家宣传展示能力，促进公司电商平台更新升级，提升宣传手段和产品价值挖掘。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的数据处理的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

实施例3

根据本发明实施例的又一方面，还提供了一种图像处理的方法，图6是根据本发明实施例三的图像处理的方法的流程图。如图6所示，其中，本申请实施例提供的图像处理的方法包括：

步骤S602，接收用户上传的源图像；

步骤S604，依据源图像的源姿态生成第一合成图像，以及，依据源图像的纹理信息生成残差图像；

步骤S606，依据第一合成图像和残差图像，获取第二合成图像；

步骤S608，依据第二合成图像生成图像集合或视频数据。

可选的，图像集合或视频数据应用于在线试衣效果展示或广告图页展示。

综上，结合步骤S602至步骤S608，本申请实施例提供的图像处理的方法可以应用于电商领域，即，在购物网站侧，例如，在线购物平台的后台服务器侧，接收卖家上传商品图片，若该商品图片为模特穿着待售的衣服图片，但是为了生成广告文本，该图片还不能满足生成广告文本的需要，因此，该衣服图片可以为本申请实施例中的源图像，在得到源图片后，基于广告文本所需，得到目标姿态，因此依据源图像(Source Image)先通过姿态估计算法得到该源图像的源姿态(Source Pose)；进而通过姿态迁移模块(Pose TransferModule)基于源图像、目标姿态(Target Pose)和源姿态进行编码，得到内容特征图(Content Feature Map)，并将该内容特征图通过解码器进行解码，得到粗合成图像，即，本申请实施例中的第一合成图像；

此外，本申请实施例提供的图像处理的方法还通过该衣服图片经深度学习网络提取特征，得到纹理信息编码(即，本申请实施例中的纹理信息通过纹理信息编码体现)，通过纹理增强模块(Texture Enhancing Module)基于该纹理信息编码(Texture Code)和内容特征图进行归一化(Adaptive Instance Normalization,简称AdaIN)，并在反卷积(deconv)后得到包含人脸和衣物纹理细节的残差图(residual map)；

将粗合成图像与该残差图进行结合，例如，将残差图叠加到粗合成图像上，输出修缮后的精细图像(Refined Image)，即，得到本申请实施例中的第二合成图像。

即，通过上述方式在购物网站侧，卖家上传该衣服图片后通过人物姿态迁移得到更多的模特衣着待售衣物的图片，以实现从静态人物图像自动合成“卖家秀”视频(或，由多张合成后图片组成的宣传页面)，实现电商宣传“由静到动”的转变，提升中小型商家宣传展示能力，促进电商平台更新升级，提升宣传手段和产品价值挖掘。

此外，在买家侧，在用户浏览在线电商网站时，若对某一件待售衣服、饰品、用具感兴趣，用户可以通过打开摄像头的方式，由终端获取用户图像，其中，用户图像包含：用户的面部特征(五官、皮肤纹路、发型、是否化妆的面容)、用户的躯干特征(当前用户的姿态，例如，站立或坐着；以及用户当前身着的衣物)；基于上述获取到的用户图像，由服务器侧合成用户身着或拿取待售衣服、饰品、用具的图像，并依据该图像生成多张图像或视频，并将多张图像或视频反馈给客户端供用户浏览，从而令用户全方位了解体验待售衣服、饰品、用具的穿着效果，或使用效果。

其中，若用户所使用的终端若为AR或VR设备，则生成的图像或视频将能够适配AR或VR设备进行展示。

需要说明的是，本申请实施例提供的图像处理的方法仅以上述示例为例进行说明，以实现本申请实施例提供的图像处理的方法为准，具体不做限定。

在本发明实施例中，采用复用输入的源图像以提取纹理信息编码，以及复用依据原图像、目标姿态和源姿态得到的内容特征图以提供包含空域信息的引导的方式，通过接收用户上传的源图像；依据源图像的源姿态和纹理信息，生成第一合成图像和残差图像；依据第一合成图像和残差图像，获取第二合成图像；依据第二合成图像生成图像集合或视频数据，达到了改善粗合成图像中丢失/弱化的细节信息的目的，从而实现了提升合成图像真实感的技术效果，进而解决了由于现有技术在进行人物动作迁移时会在提取特征时遗漏纹理细节，导致合成图像缺乏真实感的技术问题。

实施例4

根据本发明实施例的再一方面，还提供了一种图像获取的方法，图7是根据本发明实施例四的图像获取的方法的流程图。如图7所示，其中，本申请实施例提供的图像获取的方法包括：

步骤S702，上传源图像；

步骤S704，接收依据源图像返回的图像集合或视频数据。

其中，图像集合或视频数据依据源图像的源姿态和纹理信息，生成第一合成图像和残差图像；依据第一合成图像和残差图像，获取第二合成图像；并依据第二合成图像得到。

具体的，结合步骤S702至步骤S704，在用户所使用的客户端侧，用户打开当前所使用的智能终端，其中，智能终端可以包括：智能手机、笔记本电脑、台式电脑、穿戴式智能设备(例如，智能手表、AR、VR设备)等携带有摄像头或数据传输接口的终端。

以智能手机为例，用户通过打开智能手机的摄像头，由智能手机中安装的客户端APP获取用户的图像，其中，用户图像包含：用户的面部特征(五官、皮肤纹路、发型、是否化妆的面容)、用户的躯干特征(当前用户的姿态，例如，站立或坐着；以及用户当前身着的衣物)；

若用户对某一件待售衣服、饰品、用具感兴趣，通过客户端APP提示，通过摄像头采集用户的当前行为姿态，并将该携带有行为姿态的图像作为源图像进行上传，由服务器依据源图像，合成用户身着或拿取待售衣服、饰品、用具的图像，并依据该图像生成多张图像或视频，并将多张图像或视频反馈给客户端供用户浏览，从而令用户全方位了解体验待售衣服、饰品、用具的穿着效果，或使用效果。

其中，若用户所使用的终端若为AR或VR设备，则生成的图像或视频将能够适配AR或VR设备进行展示。

需要说明的是，本申请实施例提供的图像处理的方法仅以上述示例为例进行说明，以实现本申请实施例提供的图像处理的方法为准，具体不做限定。

在本发明实施例中，采用复用输入的源图像以提取纹理信息编码，以及复用依据原图像、目标姿态和源姿态得到的内容特征图以提供包含空域信息的引导的方式，通过上传源图像；接收依据源图像返回的图像集合或视频数据，达到了改善粗合成图像中丢失/弱化的细节信息的目的，从而实现了提升合成图像真实感的技术效果，进而解决了由于现有技术在进行人物动作迁移时会在提取特征时遗漏纹理细节，导致合成图像缺乏真实感的技术问题。实施例5

根据本发明实施例，还提供了一种用于实施上述实施例1中的图像处理的方法的装置，图8是根据本发明实施例五的图像处理的装置的示意图，如图8所示，该装置包括：第一获取模块82，用于根据源图像获取源姿态和纹理信息；第一合成模块84，用于依据源图像、目标姿态和源姿态获取第一合成图像；第二获取模块86，用于依据纹理信息和第一合成图像，获取残差图；第二合成模块88，用于依据第一合成图像和残差图，获取第二合成图像。

实施例6

根据本发明实施例，还提供了一种用于实施上述实施例2中的数据处理方法的装置，图9是根据本发明实施例六的数据处理的装置的示意图，如图9所示，包括：接收模块91，用于接收用户上传的源图像；获取模块92，用于依据源图像获取源图像的源姿态和纹理信息；第一图像处理模块93，用于依据源图像、目标姿态以及源姿态进行姿态迁移，获取第一合成图像；第二图像处理模块94，用于依据纹理信息进行特征增强处理，获取残差图像，其中，残差图像包括：源图像中的轮廓特征和表面纹理细节；合成模块95，用于在第一合成图像中填充残差图像中的轮廓特征和表面纹理细节，生成第二合成图像；展示模块96，用于将第二合成图像确定为展示图像进行展示。

实施例7

根据本发明另一实施例的又一方面，还提供了一种图像处理的装置，其中，包括：接收模块，用于接收用户上传的源图像；第一生成模块，用于依据源图像的源姿态生成第一合成图像，以及，依据源图像的纹理信息生成残差图像；获取模块，用于依据第一合成图像和残差图像，获取第二合成图像；第二生成模块，用于依据第二合成图像生成图像集合或视频数据。

实施例8

根据本发明另一实施例的再一方面，还提供了一种图像获取的装置，其中，包括：上传模块，用于上传源图像；接收模块，用于接收依据源图像返回的图像集合或视频数据，其中，图像集合或视频数据依据源图像的源姿态和纹理信息，生成第一合成图像和残差图像；依据第一合成图像和残差图像，获取第二合成图像；并依据第二合成图像得到。

实施例9

根据本发明又一实施例的一方面，还提供了一种存储介质，其中，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述实施例1或2中的图像、数据处理的方法。

实施例10

根据本发明又一实施例的一方面，还提供了一种处理器，其中，处理器用于运行程序，其中，程序运行时执行上述实施例1或2中的图像、数据处理的方法。

实施例11

本发明的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于保存上述实施例一所提供的图像处理的方法所执行的程序代码。

可选地，在本实施例中，上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。

可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：根据源图像获取源姿态和纹理信息；依据源图像、目标姿态和源姿态获取第一合成图像；依据纹理信息和第一合成图像，获取残差图；依据第一合成图像和残差图，获取第二合成图像。

可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：根据源图像获取源姿态和纹理信息包括：根据源图像通过姿态估计得到源图像的源姿态；对源图像通过特征提取，得到源图像的纹理信息。

可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：依据源图像、目标姿态和源姿态获取第一合成图像包括：根据源图像、目标姿态和源姿态，获取内容特征图；根据内容特征图，获取第一合成图像。

可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：依据纹理信息和第一合成图像，获取残差图包括：依据纹理信息编码和内容特征图进行归一化处理，得到残差图；其中，依据纹理信息编码和内容特征图进行归一化处理，得到残差图包括：依据纹理信息通过深层学习，与内容特征图通过归一化，并经过重建后，得到残差图，其中，残差图包括源图像中的轮廓特征和表面纹理细节。

进一步地，可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：轮廓特征包括：人脸、动物头部、肢体特征或物品外表特征中至少一种；表面纹理细节包括：商品表面纹理细节，其中，商品表面纹理细节包括：衣物纹理细节、饰品纹理细节或用具纹理细节中的至少一种。

可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：依据第一合成图像和残差图，获取第二合成图像包括：依据第一合成图像和残差图进行叠加，得到第二合成图像。

进一步地，可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：依据第一合成图像和残差图进行叠加，得到第二合成图像包括：依据残差图中源图像中的轮廓特征和表面纹理细节，在第一合成图像中与轮廓特征和表面纹理细节对应的位置进行填补，得到第二合成图像，其中，第二合成图像相比第一合成图像具有源图像中的轮廓特征和表面纹理细节。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。