一种显示设备、虚拟试衣系统及方法

技术领域

本申请涉及智能显示设备技术领域，尤其涉及一种显示设备、虚拟试衣系统及方法。

背景技术

虚拟试衣系统是一种集成硬件和软件的服务平台，可以通过增强现实(AugmentedReality，AR)、人工智能(Artificial Intelligence，AI)以及3D视觉等技术，构建虚拟模型，并依据虚拟模型生成显示画面。虚拟试衣系统可以实现虚拟衣物360度自然贴身、衣随人动的用户体验，可广泛应用于网络购物、日常穿搭等生活场景中。

虚拟试衣系统可以内置在智能终端、显示设备等智能设备中，用户可以在使用时，控制智能设备运行虚拟试衣系统的应用程序。再输入照片等图像数据，则虚拟试衣系统可以通过图片合成的方式，将用户的面部静态图片或离线动画贴合在预先构建的身体模型上，并通过更换身体模型上的着装，以形成合成效果图，通过智能设备进行显示，达到虚拟试衣的目的。

但是，这种通过图片合成的方式形成效果图像的虚拟试衣方式，只适用于静态的图像展示，无法实时展示试衣效果，也无法展示多种穿戴姿势、可视角度下的效果，导致这种虚拟试衣系统呈现的最终效果较差，试衣还原度低，降低用户体验。

发明内容

本申请提供了一种显示设备、虚拟试衣系统及方法，以解决传统虚拟试衣方法无法实时展示试衣效果的问题。

第一方面，本申请提供一种显示设备，包括：显示器、摄像头、通信器以及控制器。其中，所述显示器被配置为显示用户界面；所述摄像头被配置为实时采集用户图像数据；所述通信器被配置为与服务器建立通信连接，所述服务器内置模型重建应用，用于根据用户图像数据生成人体模型；所述控制器被配置为执行以下程序步骤：

获取所述用户图像数据；

将所述用户图像数据发送给所述服务器，以触发所述服务器根据所述用户图像数据生成并反馈人体模型；

为所述人体模型添加衣物素材，以合成渲染模型；

从所述用户图像数据中提取动作参数，以及按照所述动作参数调节所述渲染模型的模型姿态，以渲染出试衣画面。

第二方面，本申请还提供一种虚拟试衣系统，包括：显示设备、图像采集装置以及服务器；其中，所述图像采集装置连接所述显示设备，所述显示设备与所述服务器建立通信连接；

所述图像采集装置被配置为实时采集用户图像，以及对所述用户图像执行图像信号处理，以生成用户图像数据；所述图像采集装置还被配置为向所述显示设备发送所述用户图像数据；

所述显示设备被配置为获取所述用户图像数据，以及将所述用户图像数据发送给所述服务器；

所述服务器中内置模型重建应用，所述服务器被配置为接收所述用户图像数据，以及运行所述模型重建应用；根据所述用户图像数据生成人体模型，所述服务器还被配置为向所述显示设备反馈所述人体模型；

所述显示设备还被配置为向所述人体模型添加衣物素材，以合成渲染模型；以及，从所述用户图像数据中提取动作参数，并按照所述动作参数调节所述渲染模型的模型姿态，以渲染出试衣画面。

第三方面，本申请还提供一种虚拟试衣方法，应用于虚拟试衣系统，所述虚拟试衣系统包括：显示设备、图像采集装置以及服务器；其中，所述图像采集装置连接所述显示设备，所述显示设备与所述服务器建立通信连接；所述虚拟试衣方法包括以下步骤：

所述图像采集装置实时采集用户图像，以及对所述用户图像执行图像信号处理，以生成用户图像数据；

所述显示设备获取所述用户图像数据，以及将所述用户图像数据发送给所述服务器；

所述服务器接收所述用户图像数据，以及根据所述用户图像数据生成人体模型；

所述显示设备为所述人体模型添加衣物素材，以合成渲染模型；

所述显示设备从所述用户图像数据中提取动作参数，并按照所述动作参数调节所述渲染模型的模型姿态，以渲染出试衣画面。

由以上技术方案可知，本申请提供的显示设备、虚拟试衣系统及方法可以在使用中实时采集用户图像数据，并将用户图像数据发送给服务器生成人体模型。再向人体模型添加衣物素材合成渲染模型，以及实时提取人物动作，从而按照动作参数调节渲染模型的模型姿态，形成试衣画面。所述方法可以实现动态3D虚拟试衣功能，并通过渲染模型实时展示用户动作，达到衣随人动、穿搭推荐的使用效果，解决传统虚拟试衣方法无法实时展示试衣效果的问题。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例中虚拟试衣系统使用场景图；

图2为本申请实施例中显示设备的硬件配置图；

图3为本申请实施例中家用智能衣柜的结构示意图；

图4为本申请实施例中内置摄像头的显示设备结构示意图；

图5为本申请实施例中外接图像采集装置的显示设备结构示意图；

图6a为本申请实施例中虚拟试衣界面示意图；

图6b为本申请实施例中衣物选项分类显示效果图；

图6c为本申请实施例中识别衣物界面示意图；

图6d为本申请实施例中选择衣物颜色界面示意图；

图6e为本申请实施例中显示购买链接效果示意图；

图6f为本申请实施例中显示购买界面示意图；

图6g为本申请实施例中智能试衣镜显示商品销售位置效果示意图；

图7为本申请实施例中虚拟试衣方法流程示意图；

图8为本申请实施例中服务器的软件配置图；

图9为本申请实施例中一种试衣应用界面示意图；

图10为本申请实施例中基于关键帧的动作驱动流程示意图；

图11为本申请实施例中匹配关联衣物流程示意图；

图12为本申请实施例中表情匹配流程示意图；

图13为本申请实施例中虚拟试衣系统数据交互时序图。

具体实施方式

下面将详细地对实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施方式并不代表与本申请相一致的所有实施方式。仅是与权利要求书中所详述的、本申请的一些方面相一致的系统和方法的示例。

在本申请实施例中，虚拟试衣系统是一种集成硬件和软件的服务平台，可以通过增强现实(Augmented Reality，AR)、人工智能(Artificial Intelligence，AI)以及3D视觉等技术，构建虚拟模型，并依据虚拟模型生成显示画面。

图1为本申请实施例中虚拟试衣系统的使用场景图。如图1所示，本申请提供的虚拟试衣系统可以包括控制装置100、显示设备200、智能终端300、服务器400。所述虚拟试衣系统可以通过多个设备之间的协同工作，实现虚拟试衣功能。其中，控制装置100和智能终端300可以用于用户交互，可基于显示设备200提供虚拟试衣用户界面向显示设备200输入控制指令。显示设备200与服务器400均具有数据处理能力。显示设备200部署在本地，服务器400部署在云端，显示设备200与服务器400可以进行数据交互。

需要说明的是，所述显示设备200泛指具有数据处理能力和画面显示能力的设备，包括但不限于智能电视、个人计算机、显示终端、智能广告屏、魔方屏、虚拟现实设备、增强现实设备、智能可穿戴设备、机器人助手、商场的智能试衣镜、家庭智能衣柜等。在一些实施例中，如图2所示，显示设备200包括供电电源210、通信器220、存储器230、接口模块240、控制器250、显示器260等功能模块中的一种或多种组合。

其中，供电电源210可以为显示设备200供电，使各功能模块可以上电运行。通信器220用于使显示设备200与服务器400建立通信连接关系。存储器230用于存储各种信息和应用程序数据。接口模块240用于使显示设备200连接外设，实现特定类型信号的输入或输出。控制器250通过运行存储在存储器230上中各种软件控制程序，来控制显示设备200的工作和响应用户的操作。

显示器260用于呈现用户界面，使显示设备200具有画面显示功能，显示设备200可以通过运行存储器230中与显示过程应用程序，在显示器260中呈现具体的显示画面。例如，播放界面、用户界面、应用程序界面等。

对于不同类型的显示设备200，显示器260可以采用不同的形式并具有不同的显示比例。对于智能电视、个人计算机、显示终端等显示设备200，显示器260可以为标准显示画面比例对应的形状。例如，智能电视的显示分辨率为3840×2160；个人计算机的显示器分辨率为1920×1080；显示终端的显示分辨率为2400×1080。而对于虚拟现实设备、商场的智能试衣镜以及家庭智能衣柜等显示设备200，其所包含的显示器260可以按照实际用途设计相适应等的形状和比例。例如，虚拟现实设备的显示器260包括左右两个方形屏幕；如图3所示，家庭智能衣柜的显示器260为宽度和高度小于或等于衣柜柜门宽度和高度的长条形显示屏。

由于虚拟试衣系统可以根据用户的人像画面进行画面合成，从而生成试衣效果画面。因此，为了能够进行画面合成，显示设备200应能够获取用户的人像画面。在一些实施例中，显示设备200可以通过内置的图像采集模块270获取人像画面，即显示设备200在包括上述各种功能模块的基础上，还包括图像采集模块270。例如，如图4所示，所述图像采集模块为设置在显示设备200顶部或底部的摄像头。

在一些实施例中，显示设备200可以通过外接图像采集装置500获取人像画面。即如图5所示，显示设备200可以通过接口模块240连接图像采集装置500。图像采集装置500内置摄像头和传输电路，可以通过摄像头对用户进行画面拍摄，再将拍摄获得的图像或视频通过传输电路和接口模块240发送给显示设备200进行显示。

在虚拟试衣系统中，显示设备200作为用户的直接交互设备，可以接收用户的控制指令，并根据控制指令执行数据处理，以形成包含不同内容的用户界面，通过显示器260进行呈现。在一些实施例中，显示设备200可以作为虚拟试衣系统的专用设备，即显示设备200仅用于运行虚拟试衣程序以及呈现虚拟试衣界面。例如，显示设备200可以应用于商场环境的机器人助手，用户可以通过与机器人助手进行语音交互，实现虚拟试衣功能。

在一些实施例中，显示设备200还可以是虚拟试衣系统的一个实施设备，即显示设备200具有众多使用功能，虚拟试衣功能是众多使用功能中的一个。例如，显示设备200可以是个人计算机，用户可以在个人计算机中安装虚拟试衣应用，使其能够实施虚拟试衣功能。

在一些实施例中，用户可以在显示设备200中安装多种应用程序，用于实现特定的功能。所安装的应用程序可以为系统应用或第三方应用。例如，用户可以在显示设备200运营商提供的应用商店中下载并安装“虚拟试衣”应用程序。“虚拟试衣”应用程序中可以预先构建有衣物素材，则用户可以通过控制显示设备200运行该应用程序，并输入用户图像，使显示设备200可以对用户输入的用户图像与预先构建的衣物素材进行合成，并显示合成效果，达到试衣目的。

试衣类应用程序可以为独立的应用程序也可以是集成在特定应用中的一个功能模块。例如，对于购物类应用，为了使用户可以在网络购物过程中了解要购买衣物的穿戴效果，用户可以在购物类应用中启动“虚拟试衣”功能。与独立应用相适应的，在启用“虚拟试衣”功能后，购物类应用可以通过提示界面引导用户输入用户图像，并调用当前带购买服装的素材模型，从而利用“虚拟试衣”功能将用户图像与素材模型进行合成，输出试衣效果画面。

显示设备200在实现虚拟试衣功能的过程中，可以基于获取的用户人像画面进行图像合成处理。在一些实施例中，显示设备200以人像画面为基础通过添加虚拟衣物图案，将人像画面与衣物画面进行合成，实现虚拟试衣。例如，显示设备200在获取用户的人像画面后，可以对人像画面进行特征识别，识别出人像图案的可穿衣位置，包括上肢、下肢、手、足、颈部、头顶等。再从衣物素材库中提取虚拟衣物素材，从而在各可穿衣位置处添加对应的衣物素材，完成虚拟试衣。

在一些实施例中，显示设备200还可以按照虚拟衣物图案为基础，通过添加人像图案进行画面合成。例如，虚拟试衣应用可以在虚拟衣物图案对应的头部区域添加人像显示区域，并将获取的人像图案画面中，头部画面显示在该显示区域内，从而合成出虚拟试衣画面。

其中，虚拟衣物图案可以通过存储在存储器230或云端服务器400中的衣物素材获得。例如，虚拟试衣系统的运营商可以根据当前销售的热门衣物进行多角度图像拍摄、3D建模等处理方式，生成虚拟衣物素材。生成的虚拟衣物素材可以存储在虚拟试衣系统的服务器400中，当显示设备200启用虚拟试衣应用，并选中待试穿的衣物时，显示设备200可以根据用户选择向服务器400请求虚拟衣物素材。

在获取虚拟衣物素材后，显示设备200可以根据自身存储器230的使用情况，对请求的虚拟衣物素材进行缓存。因此，用户在后续使用虚拟试衣系统时，选定待试穿的衣物后，可以先在存储器230的本地缓存中先匹配对应虚拟衣物素材，当本地缓存中包括对应虚拟衣物素材时，提取该虚拟衣物素材。而当本地缓存中未匹配到对应虚拟衣物素材时，可以再次向服务器400请求对应的虚拟衣物素材。

在一些实施例中，虚拟衣物素材可以包括多个维度相互独立的参数，包括：衣物版型、颜色、材质等。显示设备200可以通过不同维度上参数间的排列组合，呈现出多种不同衣物样式。例如，对于相同版型的衣物可以采用相同的虚拟衣物素材，而通过在虚拟试穿时，调整颜色、材质等参数，获得不同衣物的外观效果。因此，显示设备200可以通过较少的模型数据组合出多种衣物素材，减少衣物模型的构建量以及请求衣物素材时的数据传输量。

为了合成出虚拟试衣效果，在一些实施例中，显示设备200可以在运行虚拟试衣应用后，为用户呈现虚拟试衣界面。如图6a所示，在虚拟试衣界面中可以包括展示窗口、衣物选项、控制选项以及穿搭推荐选项等。用户可以基于虚拟试衣界面选中不同的选项，控制合成虚拟试衣画面。例如，图像采集装置500采集的用户人像画面可以实时显示在展示窗口中，当用户在多个衣物选项中选中“衣物A”，则显示设备200可以从本地缓存或服务器400中调用“衣物A”对应的虚拟衣物素材，并通过展示窗口进行显示。同理，在用户选中“衣物B”的选项时，则显示设备200可以调用“衣物B”对应的虚拟衣物素材，并通过展示窗口进行显示。

虚拟试衣界面中的衣物选项可以按照实际穿戴位置进行分类，例如包括上装、下装、鞋、帽、饰品等分类类别。不用类别间的衣物选项支持同时选中，但同一类别中的衣物选项不支持多选。例如，如图6b所示，用户可以在选中一个上装中的“上衣A”选项后，再选中一个下装中的“裤子B”，则显示设备200可以在展示窗口中同时显示选中的上装衣物“上衣A”和下装衣物“裤子B”对应的画面。而对于同为上装的“上衣A”和“上衣B”，则不能被同时选中，而是通过后选中的衣物素材替代先选中的衣物素材。

不同类别的虚拟衣物素材可采用不同的衣物版型，因此需要显示设备200调用不同的虚拟衣物素材。而在一些实施例中，由于衣物种类众多，因此相同类别的虚拟衣物素材还可以进一步划分为更细致的分类。例如，对于上装的分类类别可以按照穿戴季节进一步划分为春装、夏装、秋装、冬装等类别；也可以按照穿着位置进一步划分为外套、衬衫等类别。同理，对于进一步划分的不同类别，也需要显示设备200调用不同的虚拟衣物素材。

用户在使用显示设备200进行虚拟试衣交互时，除通过上述衣物选项选择试穿衣物外，还可以通过其他交互方式选中试穿衣物。在一些实施例中，用户可以通过输入衣物商品名称、货号等信息，指示选择待试穿的衣物。对于这类交互方式，显示设备200可以根据用户信息在衣物素材库中进行检索，以调用与输入信息相关的衣物素材。

在一些实施例中，显示设备200还可以基于图像识别技术，对衣物的展示图片、实体画面、吊牌上的条形码等图像类信息进行识别，确定待试穿的衣物。例如，如图6a、图6c所示，在虚拟试衣界面中可以包括“识别衣物”选项，当用户选中“识别衣物”选项后，显示设备200可以自动启动图像采集装置500获取衣物图像，并对衣物图像进行识别，并根据图像识别结果调用虚拟衣物素材。其中，对衣物图像进行识别的依据可以通过计算图像相似度的方式，计算拍摄获得的衣物图像与预设标准图像之间的相似度，将相似度最高的标准图像作为识别结果，并在数据库中调用该标准图像对应的虚拟衣物素材。

虚拟试衣界面中的一个衣物选项对应一类虚拟试衣素材。在用户选中一个衣物选项后，可以通过控制选项调整衣物参数。例如，如图6d所示，在选中“衣物A”选项后，显示设备200可以在虚拟试衣界面中显示颜色控制选项，用户可以在预设的多个颜色控制选项中选择任一颜色，控制展示窗口中所显示虚拟衣物画面的当前颜色。

控制选项除用于控制选中衣物素材的颜色外，还可以用于控制调节展示窗口的显示画面，例如，旋转显示角度、局部放大、亮度调节、美颜功能等。用户可以通过选中对应的选项，并输入参数调节交互动作，控制显示设备200对展示窗口的呈现效果。

穿搭推荐选项用于启用或关闭虚拟试衣应用的穿搭推荐功能。所述穿搭推荐功能可以在用户选中任意衣物选项后，根据用户所选择的衣物，自动在展示窗口中显示推荐穿搭的衣物画面。穿搭推荐功能可以按照特定的风格算法，以用户选中的衣物选项为基准，在虚拟衣物素材库中匹配未选中分类类别的衣物素材。穿搭推荐算法可以基于颜色、类型、风格等维度进行统一匹配运算。例如，在用户选中黑色、正装类型的上装后，穿搭推荐算法可以自动匹配黑色、正装类型的下装和鞋，并调用相应的虚拟衣物模型，与选中的上装虚拟衣物模型一同显示在展示窗口中。

除上述展示窗口、衣物选项、控制选项以及穿搭推荐选项等内容，在一些实施例中，显示设备200所呈现的虚拟试衣界面中还可以包括提示内容和链接选项。例如，虚拟试衣界面中还可以包括“保存穿搭”选项，当用户通过选中多个衣物选项完成试衣后，可以通过点击“保存穿搭”选项，保存当前展示窗口中所展示图案。同时，虚拟试衣应用还可以通过在用户点击“保存穿搭”后，自动为用户展示对应衣物的购买链接或导购信息，以便用户可以根据虚拟试衣结果，购买相应的衣物。

显然，对于不同类型的显示设备200，在虚拟试衣界面所显示的提示内容和链接选项可以不同。例如，如图6e、图6f所示，在计算机运行购物类应用时，在用户选中“保存穿搭”后，显示设备200可以呈现当前展示窗口中所显示虚拟衣物图案对应的商品链接，以供用户选择。在用户选中任一商品链接后，显示设备200可以从虚拟试衣界面跳转到商品详情界面中。而在使用商场的智能试衣镜时，如果用户选中“保存穿搭”，则可以在虚拟试衣界面中显示当前展示窗口中对应衣物的销售门店位置，如“衣物A可以在三楼A区306××购买到”，如图6g所示。

可见，无论虚拟试衣类应用还是购物类应用，为了输出试衣效果画面，都需要用户输入用户图像。而由于不同的应用所呈现的最终试衣效果画面形式不同，因此用户需要通过不同的方式输入用户图像。即在一些实施例中，为了合成出2D、静态的试衣图像画面，用户可以在应用提示输入用户图像时，打开文件管理器，并在特定的保存路径下选中图片文件，以该图片文件作为用户图像输入。用户还可以通过显示设备200内置的摄像头或外接的图像采集装置为用户拍照，并将拍照获得的图像作为用户图像输入应用。

但是，对于2D的静态的图像展示，无法实时展示试衣效果，也无法展示多种穿戴姿势、可视角度下的效果，导致这种虚拟试衣应用所呈现的最终效果较差。为此，在一些实施例中，虚拟试衣应用还可以提供动态的试衣图像画面，用户可以通过上传视频文件或实时录制视频文件的方式输入用户图像。输入的视频图像可以在应用界面中的特定区域内进行展示，以获得更好的合成效果。

为了获得更好的试衣效果，在一些实施例中，显示设备200还可以通过增强现实技术，在用户上传的用户视频画面中添加虚拟衣物素材模型，并且通过对视频画面中的人物目标进行追踪，使衣物素材模型可以跟随视频中的人物目标产生动作变化。但是，这种动态试衣方式受限于AR技术的局限，导致衣物素材与视频中的人物目标的融合效果较差，衣物无法精确贴合人物目标。并且衣物跟随人物动作的展示效果存在较大延迟，因此虚拟试衣功能的交互体验较差。

为了获得更好的虚拟试衣效果和交互体验，在本申请的部分实施例中提供一种虚拟试衣方法，所述方法可以应用于虚拟试衣系统，用于实时展示试衣效果画面。其中，虚拟试衣系统包括显示设备200、服务器400以及图像采集装置500。图像采集装置500用于实时采集用户图像，并经过图像信号处理，形成用户图像数据。服务器400中可以内置模型重建应用，模型重建应用可以根据用户图像数据生成人体模型。显示设备200用于运行虚拟试衣应用程序，并对人体模型进行渲染，以合成并展示虚拟试衣画面。具体的，所述虚拟试衣方法包括以下内容：

通过图像采集装置500实时采集用户图像。图像采集装置500可以包括摄像头和数据处理模块，其中，摄像头可以对用户所处环境进行图像拍摄，获得用户图像。数据处理模块可以对用户图像执行图像信号处理，以生成用户图像数据，并将用户图像数据作为一种图像信号输入显示设备200。

在一些实施例中，图像采集装置500可以是内置在显示设备200中的功能模块，与显示设备200为一个整体设备。例如，如图4所示，图像采集装置500为显示设备200上的摄像头，可以受显示设备200中控制器250的统一控制，并且可以将采集到的用户图像直接发送给控制器250。显然，为了便于采集用户图像，摄像头应设置在显示设备200上的特定位置。例如，对于智能电视等显示设备200，摄像头可以设置在智能电视的顶部，并且摄像头的拍摄方向与智能电视的屏幕光发出方向相同，从而能够拍摄到位于屏幕前的用户图像。

在一些实施例中，图像采集装置500还可以是外接显示设备200的外接设备，即如图5所示，显示设备200上可以设有接口模块240，接口模块240可以是HDMI接口、模拟或数据高清分量输入接口、CVBS接口、USB接口以及RGB端口中的一种，可支持特定的数据传输方式。则图像采集装置500可以在接入接口模块240后，通过该接口所支持的特定数据传输方式，将采集到的用户图像发送给显示设备200。例如，图像采集装置500可以在连接智能电视后，通过开放自然交互(Open Natural Interaction，OpenNI)与智能电视进行通信，从而将采集到的用户图像发送给智能电视。

为了实现更好的动态试衣效果，在图像采集装置500向显示设备200发送的用户图像数据中除包括图像内容外，还可以包括图像识别结果、骨骼参数、表情参数、手势识别结果数据等内容。因此，在一些实施例中，图像采集装置500的数据处理模块中还可以内置图像处理应用，当摄像头采集到用户图像后，数据处理模块可以通过运行图像处理应用，对用户图像进行识别。

例如，图像采集装置500可以通过运行不同功能的图像处理应用，在用户图像中识别出“图像-深度”数据、3D人体骨骼关键点坐标、人像头部识别位置、人像目标追踪点等内容。从而在将识别出的内容发送给显示设备200时，可以为显示设备200提供RGBD图像数据、肢体驱动、人体跟踪、人脸重建素材以及表情驱动素材等功能支持。因此，这些数据可以与用户图像一起构成用户图像数据。

为了获得相应的数据，图像采集装置500需要具有特定的硬件支持。例如，为了能够在图像中识别出图像深度，图像采集装置500可以是具有多个镜头的摄像头组，多个镜头可以从不同位置检测同一目标，从而通过对比多个镜头的图像拍摄结果和角度差异，计算出目标的深度信息。

显然，图像采集装置500还可以通过集成特定功能的传感器元件，使其采集的用户图像中包含用于进行三维建模的数据。例如，在图像采集装置500中，可以内置激光雷达元件，激光雷达可以向拍摄区域发射激光，并检测反射的激光信号测量拍摄区域内目标与图像采集装置500之间的距离，并将扫描结果与摄像头拍摄的每帧图像进行关联，从而生成带有图像深度的用户图像数据。

如图7所示，图像采集装置500在采集用户图像并生成用户图像数据后，可以将用户图像数据发送给显示设备200。显示设备200则获取所述用户图像数据，作为试衣类应用的数据输入。显示设备200可以在用户控制启动试衣类应用后，向图像采集装置500发送启动指令，控制图像采集装置500开始采集用户图像，并对用户图像执行处理以获得用户图像数据。

在一些实施例中，根据显示设备200所启动的试衣类应用所呈现的画面效果的不同，显示设备200可以向图像采集装置500获取包括不同内容的用户图像数据。例如，当用户控制显示设备200启动仅能够展示2D静态效果的试衣类应用时，显示设备200可以在向图像采集装置500发送的启动指令中，设置用户图像数据的类型仅包括图像内容。而当用户控制显示设备200启动能够展示3D动态效果的试衣类应用时，则需要在启动指令中指定用户图像数据包括“图像-深度”数据、3D人体骨骼关键点坐标等数据内容。

同理，对于不同的试衣类应用，显示设备200获取的用户图像数据中，图像的形式也可以不同。例如，对于静态效果的试衣类应用，可以从图像采集装置500中获取图片形式的用户图像数据；而对于动态效果的试衣类应用，则可以从图像采集装置500中获取视频形式的用户图像数据。

显示设备200在获取用户图像数据后，可以根据用户图像数据进行试衣结果画面的渲染。为了呈现更好的衣物融合效果，显示设备200可以基于人体模型获得试衣画面。因此在获取用户图像数据后，显示设备200可以根据用户图像数据创建人体模型。但是，由于人体模型的创建过程数据处理量巨大，并且受显示设备200硬件配置的限制，通过显示设备200本地创建的人体模型质量粗糙，精度较差。因此，在一些实施例中，显示设备200可以在获取用户图像数据后，将用户图像数据发送给服务器400进行建模处理。

为此，服务器400中可以内置模型重建应用。模型重建应用可以基于用户图像数据生成人体模型。在服务器400中，可以预先配置有多个初始人体模型，初始人体模型可以根据年龄、性别等因素设置多个。当显示设备200向服务器400发送用户图像数据后，服务器400可以先对用户图像数据中的图像进行识别，以确定图像中人物的年龄、性别等信息，再根据这些信息从预设的多个初始人体模型中调用相适应的一个。

在调用初始人体模型后，服务器400还可以在用户图像数据中读取“图像-深度”数据、3D人体骨骼关键点坐标等数据，并根据读取的数据对初始人体模型进行设置、修改、调整，使初始模型逐渐具有用户图像数据中的人像特征。例如，服务器400可以从用户图像数据中提取用户头部宽度与肩部宽度之间的比例关系，并根据该比例关系调整初始模型中的头部宽度和肩部宽度。

在一些实施例中，如图8所示，服务器400所创建的人体模型可以包括多个部分，每个部分可以单独进行参数设置和调整，并且支持通过预设的素材库进行替换，以快速生成人体模型。例如，在服务器400中可以预先存储多种发型素材，服务器400在接收到用户图像数据后，可以根据用户图像数据中人像发型、颜色在发型素材库中匹配相类似的模型，并将头发模型添加到人体模型的头部，作为初始发型。

而在后续使用中，用户可以在使用试衣类应用时，任意选择更换虚拟试衣效果画面中的人物发型，则在用户选择更换特定的发型后，显示设备200可以再向服务器400请求重建模型，则服务器400可以在发型素材库中选择新的发型素材添加到人体模型上，重建人体模型。

为了创建更加精细的人体模型，在一些实施例中，可以在服务器400中内置多个建模模块，包括头部重建模块、身体重建模块、表情识别模块、试发模块等。每个建模模块可以通过特定的模型重建方式，构建对应的虚拟模型。例如，头部建模可以进一步包括几何重建和纹理重建单元，其中，几何重建单元可以根据用户图像数据进行点云去噪处理、三角构网处理、点云平滑处理以及点云融合处理，以使头部模型的形状与用户图像数据中的人物目标逐渐趋于一致。而纹理重建单元可以对头部模型进行人像分割处理、肤色迁移处理以及肤色融合等处理，使头部模型的外观与用户图像数据中的人物目标逐渐趋于一致。

同理，对于身体重建模块，也可以基于特定的建模方式生成身体部分的模型。例如，在身体重建模块可以通过蒙皮多人体线性模型(Skinned Multi-Person LinearModel，SMPL)方式创建身体模型。因此身体重建模块可以包括SMPL模型生成单元、参数化映射单元以及拼接单元等。在重建身体模型时，服务器400可以通过SMPL模型生成单元生成初始模型，再从用户图像数据中提取人体参数，以将SMPL模型向参数化模型进行参数映射，得到符合用户图像数据的参数化身体模型，最后通过拼接单元将身体模型与头部模型进行拼接，得到人体模型。

在一些实施例中，为了得到人体模型，显示设备200还可以将用户图像数据发送给服务器400时，从用户图像数据中识别人像目标，并根据识别结果为人像目标添加骨骼关键点，以生成骨骼参数。再向服务器400发送骨骼参数，以使服务器400根据骨骼参数设置人体模型的关节点位置。添加骨骼参数后的人体模型可以按照骨骼参数对应的规律产生变化，从而能够模拟出更加符合真实的人物状态的模型姿态。

此外，对于表情识别模块，也可以通过内置处理单元分别进行表情基模型建立以及表情参数估计，以根据用户图像数据中的人物表情为人体模型设置具体的表情形式。而对于试发模块，可以通过预置功能单元，分别用于设置头发匹配功能和头发穿透处理功能等，以创建更加真实的头发模型。

由于服务器400生成或重建人体模型是用于后续的虚拟试衣过程，因此在一些实施例中，在服务器400中除内置有用于生成人体模型的应用外，还可以内置有用于生成衣物模型的应用。服务器400可以通过运行该应用，进行服装建模、衣料仿真以及服装变形的处理，以根据衣物图像数据创建衣物模型。

与人体模型相类似的，服务器400在创建衣物模型时，也可以由显示设备200向服务器400发送衣物图像数据，衣物图像数据可以通过对衣物进行多个角度的图像拍摄获得，例如，可以在衣物的商品界面中获取衣物的六视图，即正视图、背视图、左视图、右视图、仰视图以及俯视图。将不同角度的图片发送给服务器400后，服务器400可以根据这些图像自动建模生成衣服图案，再经过布料仿真、服装变形等渲染过程，获得符合真实效果的衣物模型。

服务器400在生成人体模型后，可以向显示设备200反馈生成的人体模型。显示设备200则在接收到人体模型后，对人体模型进行渲染，以渲染出试衣效果图像。在人体模型渲染的过程中，显示设备200可以将衣物素材添加至人体模型，以合成出渲染模型。

在合成渲染模型的过程中，显示设备200还可以对服务器400反馈的人体模型进行优化处理。例如，显示设备200可以基于Unity引擎对人体模型进行头部合成和还原处理，包括通过meshfilter工具和meshrender工具进行头部形状处理；通过texture工具和normalmap工具进行纹理处理；通过blendshape/morph工具进行头部参数模型算法进行表情参数信息处理和头发贴合头部形状的调整等处理过程。

在一些实施例中，为了便于用户对比试衣效果，显示设备200在将用户图像数据发送给服务器400的同时，还可以对用户图像数据中的图像部分进行显示。例如，如图9所示，在试衣类应用程序的程序界面中，可以包括试衣窗口和原始窗口，在试衣窗口中可以显示人体模型及衣物素材的渲染结果，在原始窗口中则显示用户图像数据中的图像部分，即图像采集装置500实时拍摄的图像画面。

显示设备200在合成出渲染模型后，还可以从用户图像数据中提取动作参数，并按照动作参数调节渲染模型的模型姿态，以渲染出试衣画面。即显示设备200可以根据用户图像数据确定用户的动作，并控制渲染模型跟随用户图像数据对应的用户动作。其中，可以在试衣画面中呈现的动作包括身体动作、头部动作、表情动作、手势动作以及衣物动作等。动作参数可以由图像采集装置500通过头部检测、3D人体骨架关键点检测、面部表情检测以及手势识别检测等方式计算获得。

显示设备200可以通过用户图像数据中多帧图像进行对比的方式，检测用户的动作。即在一些实施例中，显示设备200可以在按照动作参数调节渲染模型的模型姿态的步骤中，遍历用户图像数据中每帧图像的骨骼关键点；再对比相邻两帧图像中的骨骼关键点位置，以获得每个骨骼关键点的移动距离，以根据移动距离移动人体模型的关节点位置。通过对多个骨骼关键点的协同调整，显示设备200可以将渲染模型中的人物姿态跟随用户图像数据中的每帧图像内容调整为相同的动作，实现动作跟随效果。

为了实现动作跟随效果，显示设备200可以通过蒙皮，即为模型添加骨骼的方式使人体模型产生合理的运行方式。例如，在获取人体模型后，显示设备200可以蒙皮到人体模型、衣物模型以及为布料仿真算法提供个纹理进行蒙皮，以及使用blendshape/morph工具为模型处理骨骼蒙皮动画。

可见，在上述实施例中，所述虚拟试衣方法可以通过图像采集装置500实时采集用户图像数据，并通过服务器400根据用户图像数据生成人体模型，以及在显示设备200中为人体模型添加衣物素材，形成渲染模型。同时，显示设备200还可以根据用户图像数据获取用户动作，并根据用户动作实时调整渲染模型的模型姿态，实现虚拟形象驱动。所述方法可以通过人体模型，实现3D、动态、实时、多角度显示试衣画面的效果。并通过服务器400执行模型建立和重建，能够分担显示设备200的数据处理量，有利于生成更加精细、逼真的人物模型，提供用户体验。

由于显示设备200部署在本地，服务器400部署在云端，显示设备200和服务器400之间进行数据通信时会受到网络延迟等因素的影响，导致在将用户图像数据发送给服务器400后，可能延迟一段时间才能后接收到人体模型。延长了展示试衣效果的等待时间，因此，在呈现最终试衣画面的过程中，应尽量减少显示设备200与服务器400之间的数据交互次数，以降低延迟。对此，在一些实施例中，显示设备200可以在初次获得人体模型后，对人像目标进行监控，从而在未发生较明显的特征变化时，一直使用初次获得的人体模型。即如图10所示，显示设备200在将用户图像数据发送给服务器400后，从用户图像数据中提取初始关键帧图像，并在初始关键帧图像中提取图像深度参数，从而将初始关键帧和图像深度参数均发送给服务器400，以使服务器400根据图像深度参数设置人体模型参数，向显示设备200反馈人体模型。

在获得人体模型后，显示设备200可以在后续应用中，从用户图像数据中提取实时关键帧图像。其中，关键帧可以是特定时间点对应的一帧图像。例如，显示设备200可以每隔1s从用户图像数据中提取一帧图像作为关键帧。关键也可以是通过间隔一定帧数，获得的一帧图像，例如，显示设备200可以间隔20帧从用户图像数据中提取一帧图像作为关键帧。关键帧还可以是通过对图像帧进行图像识别，获得的带有特征明显的人像目标的一帧图像。例如，通过将用户图像数据逐帧输入人像识别模型中，则通过模型识别确定图像帧中包含人像时，将其标记为关键帧。

提取关键帧后，显示设备200可以对比初始关键帧图像和实时关键帧图像，以获得图像相似度。其中，初始关键帧为用于提取图像深度参数，以生成人体模型的图像帧。实时关键帧则是显示设备200在用户图像数据中实时提取的关键帧。所述图像相似度可以通过分别计算两幅图像的直方图，再计算两个直方图的归一化相关系数，如巴氏距离，直方图相交距离等数据，确定两个图像的相似度。由于用户处于静止状态时，两个关键帧图像的内容相同，而当用户处于动作状态时，两个关键帧图像的内容则存在差异，并且动作幅度越大，两帧图像的内容相似程度越低，因此可以通过图像相似度检测用户的动作状态。

在对比初始关键帧和实时关键帧图像以获得图像相似度后，显示设备200可以将图像相似度与预设相似度阈值进行对比，如果图像相似度大于或等于预设相似度阈值，即两个关键帧中用户的实际动作幅度较小，或处于静止状态，此时无需重新建模，仍然采用原有人体模型即可获得较好的试衣画面展示效果，即显示设备200可以执行从用户图像数据中提取动作参数的步骤，以根据动作参数驱动人体模型产生动作。

如果图像相似度小于预设相似度阈值，即两个关键帧中的内容差异较大，此时为了获得更加逼真的模型效果，显示设备200可以从实时关键帧图像中提取图像深度参数，并将提取的图像深度参数发送给服务器400，以触发服务器400根据图像深度参数重建人体模型。

随着图像采集装置500获取持续获取用户图像，图像中所包含的画面内容可以随用户动作逐渐出现差异，即初始关键帧与后续提取的实施关键帧中图像相似度逐渐降低，因此，为了保持显示设备200对模型动作驱动的连贯性，减少重新建模次数，在一些实施例中，显示设备200可以在初始关键帧图像中提取图像深度参数后，记录初始关键帧图像。并且在执行从用户图像数据中提取动作参数的步骤后，或者在将图像深度参数发送给服务器的步骤后，使用实时关键帧图像替换记录的初始关键帧图像。

例如，在用户启动试衣类应用后，显示设备200可以先从用户图像数据中提取初始关键帧T0，并将初始关键帧T0发送给服务器400生成人体模型。并且，显示设备200在后续渲染人体模型试衣画面时，可以持续获取实时关键帧，即T1。则显示设备200可以在获取实时关键帧T1后，可以对比初始关键帧T0和实时关键帧T1，计算两帧图像的相似度S01，当相似度S01大于或等于相似度阈值S时，则从实时关键帧T1或用户图像数据中提取动作参数，以驱动人体模型产生动作，跟随用户动作变化。在提取动作参数后，显示设备200可以使用实时关键帧T1替换初始关键帧T0，作为后续动作判断过程的初始关键帧。即在获得实时关键帧T2时，可以对比关键帧T1和关键帧T2之间的相似度，以继续追踪用户动作或者重建人体模型。

由以上技术方案可知，上述实施例可以通过初始关键帧和实时关键帧对图像采集装置500采集到的用户图像画面进行持续分析，从而追踪用户的实际动作。并且，显示设备200可以通过对比相邻两个关键帧之间的图像相似度，确定是否需要重建人体模型，以使人体模型在能够及时同步的前提下，减少重建模型的次数，提高试衣类应用的响应速度。

在一些实施例中，所述试衣类应用在提供实时动态试衣功能的同时，还可以为用户提供穿搭推荐，即如图11所示，显示设备200在为人体模型添加衣物素材的过程中，可以获取用户输入的用于选定衣物的选择指令。例如，试衣类应用界面中，可以设置有多个衣物选项，用户可以通过交互操作选中界面中的任一选项，以输入选择指令。用户还可以在多个衣物选项中，选中多个目标衣物，即所述选择指令中指定至少一个目标衣物。例如，用户可以同时选中上装、下装以输入选择指令。

在用户输入选择指令后，显示设备200可以响应于该选择指令，从衣物素材库中提取目标衣物素材。由于衣物可以划分为多个种类，如上装、下装、鞋、帽、包等。这些种类可以相互搭配，形成最终的穿衣效果。因此，当用户在选择指令中，没有选择全部种类时，试衣类应用可以根据已选择的衣物特点，自动搭配相适应的其余类型服装，以便于呈现更好的试衣效果。

因此，显示设备200在提取目标衣物素材的同时，可以按照预设穿搭推荐规则，根据目标衣物素材在衣物素材库中匹配关联衣物素材。其中，预设穿搭推荐规则可以基于颜色、用途、版型、适用年龄等分类综合设定。例如，当用户选择蓝白色小清新风格的上装时，可以按照预设穿搭推荐规则为用户推荐蓝白色小清新风格的下装、鞋等关联衣物素材。

在获得目标衣物素材和关联衣物素材后，显示设备200可以向人体模型添加目标衣物素材和关联衣物素材，以形成带有意见穿搭效果的渲染模型。显然，为了给用户推荐更多类型的穿搭风格，显示设备200中可以预先设有多个穿搭推荐规则，每种规则可以根据用户已选择的目标衣物素材，匹配该规则下合适的关联衣物素材，并通过多个窗口进行预览，以提高用户体验。

由于用户实际表情的复杂程度较高，在不同的表情下人体模型需要修改的参数数据量巨大，导致试衣类应用在进行表情追踪时，需要处理大量的数据，以修改人体模型中的面部特征。这将导致应用的响应速度变慢，因此，在一些实施例中，显示设备200可以通过预设标准表情模板的形式，快速实现表情切换。即如图12所示，在按照动作参数调节渲染模型的模型姿态时，显示设备200可以在用户图像数据中识别头部区域，并在头部区域中检测用户表情，再根据用户表情所属的表情类型，在预设表情库中匹配与表情类型相同的表情模型，从而使用表情模型替换渲染模型中的面部区域。

例如，显示设备200可以通过检测用户图像数据中目标形状，以及该形状中画面布局特点，识别用户图像中的头部区域。再从头部区域中，使用表情识别模型识别当前用户表情。其中，表情识别模型可以通过样本数据训练人工智能模型的方式获得。即通过将大量带有表情标签的样本数据输入初始模型，并设置模型输出结果为图像归属于特定表情类别的分类概率，再通过计算分类概率与表情标签的误差，并按照该误差反向传播调整模型参数，以使模型输出的结果逐渐与标签结果相同，得到表情识别模型。

在表情识别模型输出当前图像针对某一表情的分类概率后，可以将分类概率最高的表情作为用户表情，如微笑。再按照识别出的用户表情在预设数据库中匹配相同类型的表情模型，即标准微笑模型，并使用标准微笑模型替换渲染模型中的面部区域，使渲染模型能够展示微笑表情。

可见，上述实施例可以通过匹配标准表情模型的方式，快速替换渲染模型中的面部区域，使显示设备200无需大量修改模型面部参数，减少数据处理量。并且可以获得较好的面部表情追踪时效，提高用户体验。

基于上述虚拟试衣方法，在本申请的部分实施例中还提供一种显示设备200包括：显示器260、摄像头、通信器220以及控制器250。其中，所述显示器260被配置为显示用户界面；所述摄像头被配置为实时采集用户图像数据；所述通信器220被配置为与服务器400建立通信连接，所述服务器400内置模型重建应用，用于根据用户图像数据生成人体模型；所述控制器250被配置为执行以下程序步骤：

获取所述用户图像数据；

将所述用户图像数据发送给所述服务器，以触发所述服务器根据所述用户图像数据生成并反馈人体模型；

为所述人体模型添加衣物素材，以合成渲染模型；

从所述用户图像数据中提取动作参数，以及按照所述动作参数调节所述渲染模型的模型姿态，以渲染出试衣画面。

如图13所示，在一些实施例中，本申请还提供一种虚拟试衣系统，包括：显示设备200、图像采集装置500以及服务器400；其中，所述图像采集装置500连接所述显示设备200，所述显示设备200与所述服务器400建立通信连接。

其中，所述图像采集装置500被配置为实时采集用户图像，以及对所述用户图像执行图像信号处理，以生成用户图像数据；所述图像采集装置500还被配置为向所述显示设备200发送所述用户图像数据；

所述显示设备200被配置为获取所述用户图像数据，以及将所述用户图像数据发送给所述服务器400；

所述服务器400中内置模型重建应用，所述服务器被配置为接收所述用户图像数据，以及运行所述模型重建应用；根据所述用户图像数据生成人体模型，所述服务器400还被配置为向所述显示设备200反馈所述人体模型；

所述显示设备200还被配置为向所述人体模型添加衣物素材，以合成渲染模型；以及，从所述用户图像数据中提取动作参数，并按照所述动作参数调节所述渲染模型的模型姿态，以渲染出试衣画面。

可见，在上述实施例中，整个虚拟试衣系统可以包括：云端服务器400、本地显示设备200以及图像采集装置500。其中，云端服务器400可以负责人体重建，包括头部重建、身体重建、表情识别、头发试戴等基础算法模块，为显示设备200提供人体模型、表情驱动参数、试戴头发等功能支持。服务器400可以依赖图像采集装置500采集的数据作为输入，并将建模处理结果输出给显示设备200支持应用。

图像采集装置500则负责提供采集数据，包括ISP调试、RGBD流、3D人体骨架关键点、人头部检测、多目标跟踪数据等，从而通过OpenNI进行通信传输，为显示设备200提供RGBD图像数据、肢体驱动、人体跟踪、人脸重建素材、表情驱动素材的功能支持。显示设备200端则可以负责人体模型的渲染、衣服素材显示及渲染、动作驱动以及本地参数调整等功能。

由以上技术方案可知，本申请提供的虚拟试衣系统可以在使用中实时采集用户图像数据，并将用户图像数据发送给服务器400生成人体模型。再向人体模型添加衣物素材合成渲染模型，以及实时提取人物动作，从而按照动作参数调节渲染模型的模型姿态，形成试衣画面。所述虚拟试衣系统可以实现动态3D虚拟试衣功能，并通过渲染模型实时展示用户动作，达到衣随人动、穿搭推荐的使用效果，解决传统虚拟试衣方法无法实时展示试衣效果的问题。

本申请提供的实施例之间的相似部分相互参见即可，以上提供的具体实施方式只是本申请总的构思下的几个示例，并不构成本申请保护范围的限定。对于本领域的技术人员而言，在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。