用于服装虚拟试穿的人体姿势变换方法及系统

技术领域

本发明属于智能服装制造领域，具体涉及一种用于服装虚拟试穿的人体姿势变换方法及系统。

背景技术

目前，在图像处理时尚领域，对于包含人体图像的人体姿势进行转变的方法可以在2D图像试穿服装后进行各种姿势的变换调整，以增加用户的体验，当下有很大的潜在应用价值。现有的人体变换方法很难保留原始的人物身份信息，即人体的面部，头发，肤色等，使生成的图像模糊，丢失了过多的纹理信息，不具有使用价值。

计算机视觉技术飞速发展，计算机能够处理的场景越来越多，因此越来越多的场合开始使用基于图像的服装处理技术。近年来，出现了基于图像分析的姿势转换方法。公开号为CN111680623A的中国专利“姿态转换方法及装置、电子设备、存储介质”通过对待处理图像进行特征提取，得到所述待处理图像所呈现目标体的目标表观特征，获取目标姿态特征，基于所述目标表观特征以及所述目标姿态特征，对所述待处理图像中的所述目标体进行姿态转换，得到目标图像。这种方法无法对人体进行服装的更换，实际应用中有很大局限性。申请号为CN201910966746.0的中国专利“基于计算机视觉的人体姿态分类方法” 通过监控摄像头采集视频监控数据，筛选出有效人体姿态分类特征，训练出人体姿态分类模型。这种方式没有对图像的姿势进行转换，没有实现姿势转换的效果。

发明内容

本发明的目的是针对上述问题，提供一种用于服装虚拟试穿的人体姿势变换方法及系统，对试穿人的人体图像进行语义分割，并提取人体姿势点，对试穿服装结合人体姿势点进行适应人体姿势的扭曲变换，对具姿势变换的目标服装和人体语义分割图像进行融合生成，并利用人体发肤的特征对得到的试穿服装的人体效果图再次进行融合优化，得到最终的试穿服装的人体效果图，使得试穿效果图更逼真，且可得到不同姿势的试穿效果图，便于判断服装试穿效果，提高服装试穿效率。

本发明的技术方案是用于服装虚拟试穿的人体姿势变换方法，包括以下步骤：

步骤1：分别采集试穿的人体和准备试穿的服装的图像，得到人体图像和目标服装图像；

步骤2：利用语义分割神经网络对人体图像进行语义分割，得到人体语义分割图；

步骤3：利用沙漏型卷积神经网络提取人体图像中的姿势点，得到姿势点图；

步骤4：结合姿势点图和目标服装，采用样条插值算法对目标服装进行多个试穿姿势的扭曲变换，得到具姿势变换的目标服装；

步骤5：根据人体语义分割图，采用生成对抗网络对具姿势变换的目标服装和人体图像进行融合，得到试穿服装的人体效果图；

步骤6：利用卷积神经网络，将步骤5得到的试穿服装的人体效果图与姿势点图以及人体面部、肢体的肤色特征再次进行融合，得到最终的试穿服装的人体效果图。

所述姿势点为人体上随人体动作，变化幅度大的脊柱、肢体上的关节点。

优选地，步骤2中，所述语义分割神经网络为变分自动编码器，可采用Unet网络或FCN或DeepLab。

进一步地，步骤3，所述沙漏型卷积神经网络采用OpenPose或CPM或PoseCNN。

优选地，步骤4中，所述样条插值算法为薄板样条插值算法。

一种人体姿势变换系统，包括图像采集模块、语义分割模块、姿势点提取模块、服装变换模块、融合生成模块和融合优化模块。图像采集模块，采集得到试穿人的人体图像和试穿服装的目标服装图像；语义分割模块，对人体图像进行语义分割，得到人体语义分割图；姿势点提取模块，从人体图像中提取人体姿势点，得到姿势点图；服装变换模块，结合姿势点图，对目标服装进行多个试穿姿势的扭曲变换，得到具姿势变换的目标服装；融合生成模块，对具姿势变换的目标服装和人体图像进行融合，得到试穿服装的人体效果图；融合优化模块，将试穿服装的人体效果图与姿势点图以及人体面部、肢体的肤色特征进行融合，得到最终的试穿服装的人体效果图。

相比现有技术，本发明的有益效果包括：

（1）本发明提供了可展示多姿态试穿效果的虚拟试穿服装的人体姿势变换方法，可进行各种各样服装的虚拟试穿并展示不同姿态的试穿效果，便于判断服装的穿着效果，代替现场的服装试穿，大大提高人试穿服装的效率，省时省力；

（2）本发明方法利用生成对抗网络对具姿势变换的目标服装和人体语义分割图进行融合生成后，再次利用人体面部、肢体的肤色特征对得到的试穿效果图进行融合优化，试穿效果图更逼真；

（3）本发明的试穿系统适用于商场、超市购物现场的服装虚拟试穿，提高服装试穿效率，解决试衣间紧缺人员排队等候的问题；本发明的试穿系统也适用于线上购物的在线选购服装的在线虚拟试穿，提高用户体验，省时省力。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1为本发明实施例的虚拟试穿的人体姿势变换的流程示意图。

图2为本发明实施例的虚拟试穿的人体姿势变换系统的框图。

图3为本发明实施例的变分自动编码器的示意图。

图4为本发明实施例的OpenPose网络的示意图。

图5为本发明实施例的Unet网络的示意图。

图6为本发明实施例的生成对抗网络的示意图。

具体实施方式

如图1所示，用于服装虚拟试穿的人体姿势变换方法，包括以下步骤：

步骤1：利用相机分别采集试穿人和准备试穿的服装的图像，得到人体图像和目标服装图像；

步骤2：利用变分自动编码器（Variational Auto-Encoder，VAE）如Unet网络对人体图像进行语义分割，得到人体语义分割图；

人体语义分割图是对人体图像中上衣、裤子等不同色块的归类划分，实施例的人体图像划分为8个色块；

步骤3：利用OpenPose网络提取人体图像中的姿势点，得到姿势点图；

姿势点为人体上随人体动作，变化幅度大的脊柱、肢体上的关节点，实施例在人体上选取18个姿势点；

步骤4：结合姿势点图和目标服装，采用薄板样条插值算法（Thin Plate Spline,TPS）对目标服装进行多个试穿姿势的扭曲变换，得到具姿势变换的目标服装；

对人体肩膀、手臂等的关键点即姿势点和试穿服装中对应肩膀、手臂处的图像点进行对应并将其联系到特征图中，回归出插值所需要的参数，再利用薄板样条插值算法进行试穿服装的扭曲变换，得到具姿势变换的目标服装；

步骤5：根据人体语义分割图，采用生成对抗网络（Generative AdversarialNetworks， GAN）对具姿势变换的目标服装和人体图像进行融合回归，得到试穿服装的人体效果图；

生成对抗网络包括生成转换结果的生成网络和进行生成结果真假判别的对抗网络；

步骤6：利用卷积神经网络，将步骤5得到的试穿服装的人体效果图与姿势点图以及人体面部、肢体的肤色特征再次进行融合，得到最终的试穿服装的人体效果图。

实施例的薄板样条插值算法参照Duchon等2006年发表的论文“Splinesminimizing rotation-invariant semi-norms in Sobolev spaces”公开的TPS插值算法。

实施例的变分自动编码器的神经网络结构参照Diederik等2014年发表的论文“Splines minimizing rotation-invariant semi-norms in Sobolev spaces”公开的VAE网络架构，如图3所示。

实施例的OpenPose网络的神经网络结构参照Cao等2017年发表的论文“OpenPose: Realtime Multi-Person 2D Pose Estimation Using Part AffinityFields”公开的OpenPose网络架构，如图4所示。

实施例的Unet网络的神经网络结构参照Ronneberger等2015年发表的论文 “U-Net: Convolutional Networks for Biomedical Image Segmentation”公开的Unet网络架构，如图5所示。

实施例的生成对抗网络的神经网络结构参照Goodfellow等2014年发表的论文“Generative Adversarial Networks”公开的生成对抗网络架构，如图6所示。

步骤6的卷积神经网络是对抗生成网络或变分自动编码器中的反卷积解码部分。

实施例的用于人体语义分割的Unet网络也可以是FCN（Fully ConvolutionalNetworks）或DeepLab网络。

实施例的用于提取姿势点的OpenPose网络也可以是CPM（Convolutional PoseMachine）或PoseCNN网络。

如图2所示，人体姿势变换系统，包括图像采集模块、语义分割模块、姿势点提取模块、服装变换模块、融合生成模块和融合优化模块。

图像采集模块：采集得到试穿人的人体图像和试穿服装的目标服装图像。

语义分割模块：对人体图像进行语义分割，得到人体语义分割图。

姿势点提取模块：从人体图像中提取人体姿势点，得到姿势点图。

服装变换模块：结合姿势点图，对目标服装进行多个试穿姿势的扭曲变换，得到具姿势变换的目标服装。

融合生成模块：对具姿势变换的目标服装和人体图像进行融合，得到试穿服装的人体效果图。

融合优化模块：将试穿服装的人体效果图与姿势点图以及人体面部、肢体的肤色特征进行融合，得到最终的试穿服装的人体效果图。

另有实施例提供的人体姿势转换系统，采用可在任意图像上采集的人体姿势点进行目标图像中人体呈现的姿势进行转换。通过不同的人体姿势点和不同的服装，实现任意姿势的变化，通过精细化的算法处理，优化生成图像的所有像素细节。

本发明提供的人体姿势转换方法和系统，可准确地对图像中人体的姿势进行改变，且可以对人体的服饰进行更换，极大减少了计算量和计算成本，而且对生成图像进行细化处理，可以生成高质量的图像，是姿势转换最高效的技术方案，具有极大的价值。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。