设计图像生成方法、装置、电子设备及存储介质

技术领域

本公开涉及图像处理技术领域，尤其涉及一种设计图像生成方法、装置、电子设备及存储介质。

背景技术

随着计算机技术的发展，越来越多的数据驱动技术被应用于各种实际产品与日常生活中。在服装行业随着数字化时代来临，服装的数字化也得到越来越多人的关注。

在相关技术的服装设计过程中，通常是将真实的服装产品图像输入至神经网络模型中，直接将通过神经网络模型生成的图像作为设计稿，该方法生成设计稿的效率较低。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种设计图像生成方法、装置、电子设备及存储介质，该方法可以根据按照预设服饰主题制作的情绪板快速、准确地生成符合预设服饰主题的目标设计图像，提高了生成目标设计图像的效率。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

本公开实施例提供一种设计图像生成方法，包括：获取按照预设服饰主题制作的情绪板；对所述情绪板进行识别，获得所述情绪板对应的设计元素信息；根据所述设计元素信息从线稿数据集中匹配获得子线稿数据集；根据所述设计元素信息对所述子线稿数据集中的目标线稿进行填充，获得目标服饰图像；将所述目标服饰图像和虚拟模特图像进行融合，生成符合所述预设服饰主题的目标设计图像。

在本公开一些示例性实施例中，将所述目标服饰图像和虚拟模特图像进行融合，生成符合所述预设服饰主题的目标设计图像，包括：对所述目标服饰图像进行关键点检测，获得所述目标服饰图像的关键点；对所述虚拟模特图像进行关键点检测，获得所述虚拟模特图像的关键点；根据所述目标服饰图像的关键点和所述虚拟模特图像的关键点的对应关系，将所述目标服饰图像叠加至所述虚拟模特图像中，生成所述目标设计图像。

在本公开一些示例性实施例中，将所述目标服饰图像叠加至所述虚拟模特图像中，生成所述目标设计图像，包括：对所述目标服饰图像进行前后景分割，获得所述目标服饰图像的前景图像；将所述目标服饰图像的前景图像叠加至所述虚拟模特图像中，生成所述目标设计图像。

在本公开一些示例性实施例中，所述设计元素信息包括颜色信息和印花信息；其中，根据所述设计元素信息对所述子线稿数据集中的目标线稿进行填充，获得目标服饰图像，包括：从所述子线稿数据集中随机获取目标线稿；使用所述颜色信息和所述印花信息对所述目标线稿进行填充，获得所述目标服饰图像。

在本公开一些示例性实施例中，所述设计元素信息还包括情绪信息和风格信息；其中，将所述目标服饰图像和虚拟模特图像进行融合，生成符合所述预设服饰主题的目标设计图像，包括：将所述目标服饰图像和虚拟模特图像进行融合，生成初始设计图像；根据所述情绪信息和风格信息对所述初始设计图像进行风格转化，生成所述目标设计图像。

在本公开一些示例性实施例中，将所述目标服饰图像和虚拟模特图像进行融合，生成符合所述预设服饰主题的目标设计图像，包括：将所述目标服饰图像组成套装组，其中，所述套装组包括的目标服饰图像分别属于不同服饰类别；将所述套装组中的各个目标服饰图像和所述虚拟模特图像进行融合，生成所述目标设计图像。

在本公开一些示例性实施例中，所述方法还包括：获取训练集，所述训练集包括带有设计元素的训练图像和所述设计元素所属的类别标签；通过所述训练集训练深度神经网络模型，以获得设计元素识别模型；其中，所述设计元素识别模型用于对所述情绪板进行识别，获得所述情绪板对应的设计元素信息。

本公开实施例提供一种设计图像生成装置，包括：情绪板获取模块，用于获取按照预设服饰主题制作的情绪板；情绪板识别模块，用于对所述情绪板进行识别，获得所述情绪板对应的设计元素信息；线稿匹配模块，用于根据所述设计元素信息从线稿数据集中匹配获得子线稿数据集；线稿填充模块，用于根据所述设计元素信息对所述子线稿数据集中的目标线稿进行填充，获得目标服饰图像；图像融合模块，用于将所述目标服饰图像和虚拟模特图像进行融合，生成符合所述预设服饰主题的目标设计图像。

本公开实施例提供一种电子设备，包括：至少一个处理器；存储装置，用于存储至少一个程序，当所述至少一个程序被所述至少一个处理器执行时，使得所述至少一个处理器实现如上述任一种设计图像生成方法。

本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述任一种设计图像生成方法。

本公开实施例提供的设计图像生成方法，可以对按照预设服饰主题制作的情绪板自动进行识别，获得情绪板对应的设计元素信息；根据设计元素信息从线稿数据集中匹配获得子线稿数据集，可以提高线稿匹配的准确性；根据设计元素信息对子线稿数据集中的目标线稿进行填充，获得目标服饰图像；将目标服饰图像和虚拟模特图像进行融合，生成符合预设服饰主题的目标设计图像，提高了生成目标设计图像的效率；该方法可以根据按照预设服饰主题制作的情绪板快速、准确地生成符合预设服饰主题的目标设计图像，提高了生成目标设计图像的效率，从而提高了服饰设计效率，节省了服饰设计时间。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了可以应用本公开实施例的设计图像生成方法的示例性系统架构的示意图。

图2是根据一示例性实施方式示出的一种设计图像生成方法的流程图。

图3是根据一示例示出的根据情绪板自动生成目标设计图像的示意图。

图4示出了一种印花数据库的示意图。

图5是根据一示例示出的一种根据颜色信息对目标线稿进行填充生成目标服饰图像的示意图。

图6是根据一示例示出的一种根据颜色信息和印花信息对目标线稿进行填充生成目标服饰图像的示意图。

图7是根据一示例示出的一种生成目标设计图像的示意图。

图8是根据一示例示出的一种对初始设计图像进行风格转换的示意图。

图9是根据一示例性实施例示出的另一种设计图像生成方法的流程图。

图10是根据一示例示出的对虚拟模特图像和目标服饰图像进行关键点检测的示意图。

图11是根据一示例性实施例示出的一种设计图像生成流程的示意图。

图12是根据一示例性实施例示出的一种生成设计图像的界面示意图。

图13是根据一示例性实施方式示出的一种设计图像生成装置的框图。

图14根据一示例性实施方式示出的一种电子设备的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

此外，在本公开的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。

图1示出了可以应用本公开实施例的设计图像生成方法的示例性系统架构的示意图。

如图1所示，该系统架构可以包括服务器101、网络102和终端设备103。网络102用以在终端设备103和服务器101之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

本公开实施例中，服务器101可以是提供各种服务的服务器，例如对用户利用终端设备103所进行操作的装置提供支持的后台管理服务器。后台管理服务器可以对接收到的请求等数据进行分析等处理，并将处理结果反馈给终端设备103。

本公开实施例中，终端设备103可以是智能手机、平板电脑、电子书阅读器、智能眼镜、智能家居设备、AR(Augmented Reality，增强现实)设备、VR(Virtual Reality，虚拟现实)设备等移动终端，或者，终端120也可以是个人计算机(Personal Computer，PC)，比如膝上型便携计算机和台式计算机等等。

本公开实施例中，设计师可以通过终端设备103输入按照预设服饰主题制作的情绪板；服务器101例如可以获取设计师按照预设服饰主题制作的情绪板；对情绪板进行识别，获得情绪板对应的设计元素信息；根据设计元素信息从线稿数据集中匹配获得子线稿数据集；根据设计元素信息对子线稿数据集中的目标线稿进行填充，获得目标服饰图像；以及将目标服饰图像和虚拟模特图像进行融合，生成符合预设服饰主题的目标设计图像；服务器101可以将目标设计图像发送至终端设备103上进行显示，设计师可以针对目标设计图像进行调整。

应该理解，图1中的终端设备103、网络102和服务器101的数目仅仅是示意性的，服务器101可以是一个实体的服务器，还可以为多个服务器组成的服务器集群，还可以是云端服务器，根据实际需要，可以具有任意数目的终端设备、网络和服务器。

下面，将结合附图及实施例对本公开示例实施例中的设计图像生成方法的各个步骤进行更详细的说明。

图2是根据一示例性实施方式示出的一种设计图像生成方法的流程图。

如图2所示，本公开实施例提供的设计图像生成方法可以包括以下步骤。

在步骤S202中，获取按照预设服饰主题制作的情绪板。

本公开实施例中，情绪板(Mood Board)可以指一系列图像、文字、或者样品的拼贴，设计师可以通过将图像、文字或者样品拼贴至情绪板中，以表达设计主题。

本公开实施例中，服饰可以为服装、配饰、鞋子等，服装可以为上衣、裤子、半裙、连衣裙等，配饰可以为眼镜、耳环、项链、手链、帽子、箱包(手提包、单肩包、双肩包、斜跨包)等，鞋子可以为皮鞋、运动鞋、帆布鞋、靴子等，但本公开并不限定于此。

本公开实施例中，设计师可以按照预设服饰主题将其认为可以表达该预设服饰主题的图像、文字或样品拼贴形成情绪板，该情绪板包括可以表达预设服饰主题的设计元素(例如颜色、印花、情绪等)。

例如，预设服饰主题可以是某品牌发布的某年秋季系列主题：“Afterworld：TheAge of Tomorrow(未来世界：明日时代)”，设计师可以根据该预设服饰主题制作情绪板。

图3是根据一示例示出的根据情绪板自动生成目标设计图像的示意图。

例如，参考图3，设计师根据预设服饰主题制作出情绪板301，该情绪板301中可以包括一些符合预设服饰主题的图像和颜色的拼贴，其中，图像可以包括穿着不同服饰的人物图像，颜色可以包括亮白色(bright white)、淡杏色(pale apricot)、花瓣玫瑰(petalrose)、新薄荷绿(new mint)、灰绿色(new sage)、峡谷色(canyon)、和靛蓝色(indigo)、粉红色(pink)、鹅蛋黄(light yellow)等。

在步骤S204中，对情绪板进行识别，获得情绪板对应的设计元素信息。

在示例性实施例中，设计元素信息可以包括颜色信息(Color)、印花信息(Print)、情绪信息(Emotion)和风格信息(Style)中的至少一种。

例如，颜色信息可以是红色、绿色、蓝色等，印花信息可以是条纹、拼接、碎花、迷彩、格子等，情绪信息可以是开心、悲伤、生气、兴奋等，风格信息可以是可爱、典雅、高贵等。

本公开实施例中，可以通过训练好的设计元素识别模型(也可称为图像识别模型、或属性识别模型)对情绪板进行识别，以获得情绪板对应的设计元素信息。

例如，可以通过训练好的属性识别模型(例如颜色识别模型、印花识别模型、情绪识别模型或风格识别模型)对情绪板进行识别，获得情绪板对应的属性信息(例如颜色信息、印花信息、情绪信息或风格信息)。

其中，属性识别模型可以是基于数据驱动算法以及对应数据库训练得到的深度神经网络模型。

在示例性实施例中，训练设计元素识别模型可以包括：获取训练集，训练集包括带有设计元素的训练图像和设计元素所属的类别标签；通过训练集训练深度神经网络模型，以获得设计元素识别模型；其中，设计元素识别模型用于对情绪板进行识别，获得情绪板对应的设计元素信息。

本公开实施例中，可以预先标注训练图像中设计元素所属的类别作为标签，将训练图像及其标签输入到深度神经网络模型中进行训练，获得设计元素识别模型。

下面以训练印花识别模型为例进行说明，其他属性识别模型(颜色识别模型、情绪识别模型或风格识别模型)的训练过程与其类似，本公开在此不再赘述。

例如，采集大量的印花数据(例如带有印花元素的服饰图像)，并对印花数据进行类别标注，将标注的标签(label)以及对应图片输入到深度神经网络中，经过训练迭代，获得相应的印花识别模型。

图4示出了一种印花数据库的示意图。

参考图4，示出了各种带有印花元素的服饰图像及其对应的印花类别，其中，印花类别可以包括：抽象图案(abstract)、花纹(allover)、动物印花(animal print)、迷彩(camouflage)、格子(checks)、色块(colour block)、小碎花(ditsy print)、波点(dotted)、碎花(floral)、涂鸦印花(graphic print)、标志/标语印花(logo/sloganprint)、拼接(patchwork)、纯色(plain)、条纹(stripe)等。

在步骤S206中，根据设计元素信息从线稿数据集中匹配获得子线稿数据集。

其中，线稿数据集可以是包括大量线稿的数据库，线稿可以包括服装线稿、配饰线稿、鞋子线稿等，服装线稿可以为上衣线稿、裤子线稿、半裙线稿、连衣裙线稿等，配饰线稿可以为眼镜线稿、耳环线稿、项链线稿、手链线稿、帽子线稿、箱包线稿等，鞋子线稿可以为皮鞋线稿、运动鞋线稿、帆布鞋线稿、靴子线稿等，但本公开并不限定于此。

本公开实施例中，可以根据设计元素信息中的情绪信息和风格信息从线稿数据集中匹配获得子线稿数据集(例如使用Sub-sketch表示)。

例如，对情绪板识别获得的情绪信息包括“开心”、风格信息包括“可爱”，则可以从线稿数据集中将符合“开心”和“可爱”的线稿组成子线稿数据集。

在步骤S208中，根据设计元素信息对子线稿数据集中的目标线稿进行填充，获得目标服饰图像。

在示例性实施例中，可以从子线稿数据集中随机获取目标线稿；使用颜色信息和印花信息对目标线稿进行填充，获得目标服饰图像。

例如，可以从根据情绪板识别获得的颜色信息中随机选取目标颜色，对从子线稿数据集中随机获取的目标线稿进行填充，获得多个目标服饰图像。

再例如，可以从根据情绪板识别获得的印花信息中随机选取目标印花，对从子线稿数据集中随机获取的目标线稿进行填充，获得多个目标服饰图像。

又例如，可以从根据情绪板识别获得的颜色信息中随机选取目标颜色，可以从根据情绪板识别获得的印花信息中随机选取目标印花，使用目标颜色和目标印花同时对从子线稿数据集中随机获取的目标线稿进行填充，获得多个目标服饰图像。

图5是根据一示例示出的一种根据颜色信息对目标线稿进行填充生成目标服饰图像的示意图。

例如，参考图5，从设计师提供的情绪板中识别出颜色信息501，从颜色信息501中随机确定出目标颜色5011，从子线稿数据集中随机获取目标线稿502(例如裤子线稿)，基于小块图像填充算法将目标颜色5011填充至目标线稿502上，获得目标服饰图像503；重复上述步骤，可以获得多个不同颜色不同款式的目标服饰图像504。

图6是根据一示例示出的一种根据颜色信息和印花信息对目标线稿进行填充生成目标服饰图像的示意图。

例如，参考图6，从根据情绪板识别获得的颜色信息中随机选取目标颜色603，从根据情绪板识别获得的印花信息中随机选取目标印花602，从子线稿数据集中随机获取目标线稿601，使用目标颜色603和目标印花602对目标线稿601进行填充，获得目标服饰图像604；从根据情绪板识别获得的颜色信息中随机选取目标颜色607，从根据情绪板识别获得的印花信息中随机选取目标印花606，从子线稿数据集中随机获取目标线稿605，使用目标颜色607和目标印花606对目标线稿605进行填充，获得目标服饰图像608。

本公开实施例中，可以采用邻接像素种子生成以及小块图像填充算法(PatchPadding Strategy，PPS)对获取的目标线稿进行颜色信息与印花信息的填充。

具体地，可以取色块(即上述目标颜色)或者印花图案(即上述目标印花)的左上角n*n像素的patch(小块)，其中，n为大于或等于1的整数，n的数值可以根据实际情况设置；根据这个patch在设计稿上根据邻接像素开始重复贴该patch(此处的“重复”可以是有规律的持续重复，也可以是随机地重复以出现不同的设计方案)，再利用获取的设计图前后景分割信息，最终得出颜色与印花填充后的结果。

在步骤S210中，将目标服饰图像和虚拟模特图像进行融合，生成符合预设服饰主题的目标设计图像。

本公开实施例中，可以通过虚拟穿衣算法将目标服饰图像和虚拟模特图像进行融合，生成目标设计图像。

本公开实施例中，由于情绪板是设计师根据预设服饰主题制作的，因此根据情绪板识别获得的设计元素信息是符合预设服饰主题的，从而根据设计元素信息匹配的子线稿数据库、以及获得的目标服饰图像均是符合预设服饰主题的，从而根据目标服饰图像生成的目标设计图像是符合预设服饰主题的。

例如，设计师根据预设服饰主题“Afterworld：The Age of Tomorrow(未来世界：明日时代)”制作了情绪板，根据该情绪板自动生成的目标设计图像也是符合该预设服饰主题的。

参考图3，本公开实施例提供的方法可以根据设计师制作的情绪板301自动生成多个目标设计图像302。

本公开实施例中，可以通过关键点匹配模型(Key Points Matching Module，KPMM)匹配目标服饰图像和虚拟模特图像的关键点，以将目标服饰图像和虚拟模特图像进行融合。

图7是根据一示例示出的一种生成目标设计图像的示意图。

例如，参考图7，基于小块图像填充算法使用目标颜色703和目标印花702对目标上衣线稿701进行填充，获得目标上衣图像707；基于小块图像填充算法使用目标颜色706和目标印花705对目标下衣线稿704进行填充，获得目标下衣图像708；通过关键点匹配模型匹配目标上衣图像707、目标下衣图像708和虚拟模特图像709，以将目标上衣图像707、目标下衣图像708和虚拟模特图像709进行融合，获得目标设计图像710。

在示例性实施例中，可以将目标服饰图像组成套装组，其中，套装组包括的目标服饰图像分别属于不同服饰类别；将套装组中的各个目标服饰图像和虚拟模特图像进行融合，生成目标设计图像。

本公开实施例中，根据设计元素信息对目标线稿进行填充获得的目标服饰图像可以是目标服饰单品图像(例如上衣图像、下衣图像、箱包图像)。

本公开实施例中，可以根据目标服饰单品图像所属的服饰类别将目标服饰图像组成套装组。

具体地，可以从服饰类别为上衣的目标服饰单品图像中随机选择一个目标上衣图像、从服饰类别为下衣的目标服饰单品图像中随机选择一个目标下衣图像，将选择的目标上衣图像和目标下衣图像组成一个套装组。

本公开实施例中，可以将一个套装组中的各个目标单品服饰图像和虚拟模特图像进行融合，生成目标设计图像。

在示例性实施例中，可以将目标服饰图像和虚拟模特图像进行融合，生成初始设计图像；根据情绪信息和风格信息对初始设计图像进行风格转化，生成目标设计图像。

本公开实施例中，可以将使用上述步骤生成的设计图像作为初始设计图像，然后基于风格迁移算法根据设计元素信息中的情绪信息和/或风格信息对初始设计图像进行风格转换，生成一个或多个目标设计图像。

其中，风格迁移算法例如可以为训练好的CycleGAN(Cycle GenerativeAdversarial Networks，环形生成对抗网络)模型。

例如，可以将不同风格和/或不同情绪的设计图像作为训练集(例如将A风格的设计图像作为输入图像，将B风格的设计图像作为标签)训练CycleGAN模型。

图8是根据一示例示出的一种对初始设计图像进行风格转换的示意图。

例如，参考图8，将目标服饰图像和虚拟模特图像进行融合生成初始设计图像801，根据情绪信息和风格信息对初始设计图像进行风格转化，生成具有不同风格和/或不同情绪的目标设计图像802。

本公开实施例中，在自动生成多个目标设计图像后，设计师可以对这多个目标设计图像进行调整，也可以先从多个目标设计图像中找出符合预设概念和审美的目标设计图像，再对其进行调整，将调整后的目标设计图像作为最终设计图像。

本公开实施例提供的设计图像生成方法，可以对按照预设服饰主题制作的情绪板自动进行识别，获得情绪板对应的设计元素信息；根据设计元素信息从线稿数据集中匹配获得子线稿数据集，可以提高线稿匹配的准确性；根据设计元素信息对子线稿数据集中的目标线稿进行填充，获得目标服饰图像；将目标服饰图像和虚拟模特图像进行融合，生成符合预设服饰主题的目标设计图像，提高了生成目标设计图像的效率；该方法可以根据按照预设服饰主题制作的情绪板快速、准确地生成符合预设服饰主题的目标设计图像，提高了生成目标设计图像的效率，从而提高了服饰设计效率，节省了服饰设计时间。

图9是根据一示例性实施例示出的另一种设计图像生成方法的流程图。

如图9所示，上述图2实施例中的步骤S210可以进一步包括以下步骤。

在步骤S902中，对目标服饰图像进行关键点检测，获得目标服饰图像的关键点。

本公开实施例中，可以根据训练得到的关键点检测模型对目标服饰图像进行关键点检测，获得目标服饰图像的关键点。

其中，目标服饰图像的关键点可以包括但不限于肩部关键点、腰部关键点、裆部关键点、肘部关键点、腕部关键点、膝盖关键点、头部关键点等。

例如，在目标服饰图像是上衣图像时，对其进行关键点检测，可以获得上衣图像的肩部关键点和腰部关键点；在目标服饰图像是下衣图像时，对其进行关键点检测，可以获取下衣图像的腰部关键点。

图10是根据一示例示出的对虚拟模特图像和目标服饰图像进行关键点检测的示意图。

参考图10，对下衣图像进行关键点检测，获得该下衣图像的腰部关键点1002。

在步骤S904中，对虚拟模特图像进行关键点检测，获得虚拟模特图像的关键点。

本公开实施例中，可以根据训练得到的关键点检测模型对虚拟模特图像进行关键点检测，获得虚拟模特图像的关键点。

其中，虚拟模特图像的关键点可以包括但不限于肩部关键点、腰部关键点、裆部关键点、肘部关键点、腕部关键点、膝盖关键点、头部关键点、手部关键点、脚部关键点等。

参考图10，对虚拟模特图像进行关键点检测，获得该虚拟模特图像的关键点1001(包括头部关键点、肩部关键点、腰部关键点、裆部关键点、手部关键点、脚部关键点)。

在步骤S906中，根据目标服饰图像的关键点和虚拟模特图像的关键点的对应关系，将目标服饰图像叠加至虚拟模特图像中，生成目标设计图像。

本公开实施例中，可以先确定出目标服饰图像的关键点和虚拟模特图像的关键点中均包含的目标关键点，根据目标关键点将目标服饰图像叠加至虚拟模特图像中，使目标服饰图像的目标关键点和目标服饰图像的目标关键点重合。

例如，目标服饰图像的关键点和虚拟模特图像的关键点均包括腰部关键点，则将目标服饰图像叠加至虚拟模特图像中，使目标服饰图像的腰部关键点和虚拟模特图像的腰部关键点重合。

参考图7，可以分别对目标上衣图像707、目标下衣图像708和虚拟模特图像709进行关键点识别，根据目标上衣图像707的关键点和虚拟模特图像709的关键点的匹配关系，将目标上衣图像707叠加至虚拟模特图像709上，并根据目标下衣图像708的关键点和虚拟模特图像709的关键点的匹配关系，将目标下衣图像708叠加至虚拟模特图像709上，生成目标设计图像710。

在示例性实施例中，将目标服饰图像叠加至虚拟模特图像中，生成目标设计图像，可以包括：对目标服饰图像进行前后景分割，获得目标服饰图像的前景图像；将目标服饰图像的前景图像叠加至虚拟模特图像中，生成目标设计图像。

本公开实施例中，可以在对目标服饰图像和虚拟模特图像进行关键点检测的同时(或在对目标服饰图像和虚拟模特图像进行关键点检测之前)，利用图像分割模型对目标服饰图像进行前后景分割，去除目标服饰图像的后景部分，获得目标服饰图像的前景图像和后景图像；然后根据目标服饰图像的前景图像的关键点和虚拟模特图像的关键点的匹配关系，将目标服饰图像的前景图像叠加至虚拟模特图像中，生成目标设计图像。

本公开实施例中，还可以利用图像抠图技术，去除目标设计图像中不必要的背景边界，使生成的目标设计图像更自然。

本公开实施例提供的设计图像生成方法，通过分别对目标服饰图像和虚拟模特图像进行关键点检测，并根据目标服饰图像的关键点和虚拟模特图像的关键点的对应关系，将目标服饰图像叠加至虚拟模特图像中，可以提高目标服饰图像和虚拟模特图像融合的准确性，可以生成自然且符合人类审美的目标设计图像。

图11是根据一示例性实施例示出的一种设计图像生成流程的示意图。

参考图11，本公开实施例提供的设计图像生成流程可以由情绪板获取单元1101、设计元素信息识别单元1102、服饰单品设计单元1103、虚拟穿衣单元1104和风格转换单元1105执行。

首先，设计师可以通过情绪板获取单元1101提供情绪板；然后，通过设计元素信息识别单元1102对情绪板进行识别(例如颜色识别、印花识别、效果(effects)识别、风格识别、情绪识别)，获得颜色信息(例如色块(colour patches))、印花信息，并从数据库中匹配获得线稿；通过服饰单品设计单元1103基于从情绪板中识别出的信息和从数据库中匹配的线稿生成目标服饰单品图像；通过虚拟穿衣单元1104将目标服饰单品图像和虚拟模特图像进行融合，获得初始设计图像组成的集合；通过风格转换单元1105对初始设计图像进行风格转换，获得目标设计图像。

图12是根据一示例性实施例示出的一种生成设计图像的界面示意图。

参考图12，设计师可点击设计新系列按钮1201进行新服饰系列的设计，设计师可以点击调整按钮1202调整来自系统的比例，设计师可以点击套装按钮1203选择是否生成套装；设计师可以通过点击情绪板按钮1204上传情绪板，点击印花板按钮1205上传印花图像，点击颜色版按钮1206上传颜色图像，点击线稿板按钮1207上传线稿，设计师也可以从线稿数据库1208中自动匹配线稿。

本公开实施例中，设计师通过情绪板按钮1204上传情绪板后，系统可以自动识别情绪板对应的设计元素信息，并根据设计元素信息从线稿数据库中匹配获得子线稿数据集，根据设计元素信息对子线稿数据集中的目标线稿进行填充，获得目标服饰图像；将目标服饰图像和虚拟模特图像进行融合，生成目标设计图像，并展示在设计图像展示区域1209，设计师可以在设计图像展示区域1209中选择目标设计图像，选定的目标设计图像可以展示在选定设计区域1210中。

需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。

图13是根据一示例性实施方式示出的一种设计图像生成装置的框图。

如图13所示，设计图像生成装置1300可以包括：情绪板获取模块1302、情绪板识别模块1304、线稿匹配模块1306、线稿填充模块1308和图像融合模块1310。

其中，情绪板获取模块1302用于获取按照预设服饰主题制作的情绪板；情绪板识别模块1304用于对所述情绪板进行识别，获得所述情绪板对应的设计元素信息；线稿匹配模块1306用于根据所述设计元素信息从线稿数据集中匹配获得子线稿数据集；线稿填充模块1308用于根据所述设计元素信息对所述子线稿数据集中的目标线稿进行填充，获得目标服饰图像；图像融合模块1310用于将所述目标服饰图像和虚拟模特图像进行融合，生成符合所述预设服饰主题的目标设计图像。

在本公开一些示例性实施例中，图像融合模块1310用于对所述目标服饰图像进行关键点检测，获得所述目标服饰图像的关键点；对所述虚拟模特图像进行关键点检测，获得所述虚拟模特图像的关键点；根据所述目标服饰图像的关键点和所述虚拟模特图像的关键点的对应关系，将所述目标服饰图像叠加至所述虚拟模特图像中，生成所述目标设计图像。

在本公开一些示例性实施例中，图像融合模块1310用于对所述目标服饰图像进行前后景分割，获得所述目标服饰图像的前景图像；将所述目标服饰图像的前景图像叠加至所述虚拟模特图像中，生成所述目标设计图像。

在本公开一些示例性实施例中，所述设计元素信息包括颜色信息和印花信息；其中，线稿填充模块1308用于从所述子线稿数据集中随机获取目标线稿；使用所述颜色信息和所述印花信息对所述目标线稿进行填充，获得所述目标服饰图像。

在本公开一些示例性实施例中，所述设计元素信息还包括情绪信息和风格信息；其中，图像融合模块1310用于将所述目标服饰图像和虚拟模特图像进行融合，生成初始设计图像；根据所述情绪信息和风格信息对所述初始设计图像进行风格转化，生成所述目标设计图像。

在本公开一些示例性实施例中，图像融合模块1310用于将所述目标服饰图像组成套装组，其中，所述套装组包括的目标服饰图像分别属于不同服饰类别；将所述套装组中的各个目标服饰图像和所述虚拟模特图像进行融合，生成所述目标设计图像。

在本公开一些示例性实施例中，设计图像生成装置1300还包括：训练集获取模块，用于获取训练集，所述训练集包括带有设计元素的训练图像和所述设计元素所属的类别标签；模型训练模块，用于通过所述训练集训练深度神经网络模型，以获得设计元素识别模型；其中，所述设计元素识别模型用于对所述情绪板进行识别，获得所述情绪板对应的设计元素信息。

需要注意的是，上述附图中所示的框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

图14是根据一示例性实施方式示出的一种电子设备的结构示意图。需要说明的是，图14示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图14所示，电子设备1400包括中央处理单元(CPU)1401，其可以根据存储在只读存储器(ROM)1402中的程序或者从存储部分1408加载到随机访问存储器(RAM)1403中的程序而执行各种适当的动作和处理。在RAM 1403中，还存储有系统1400操作所需的各种程序和数据。CPU 1401、ROM 1402以及RAM 1403通过总线1404彼此相连。输入/输出(I/O)接口1405也连接至总线1404。

以下部件连接至I/O接口1405：包括键盘、鼠标等的输入部分1406；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1407；包括硬盘等的存储部分1408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1409。通信部分1409经由诸如因特网的网络执行通信处理。驱动器1410也根据需要连接至I/O接口1405。可拆卸介质1411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1410上，以便于从其上读出的计算机程序根据需要被安装入存储部分1408。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1409从网络上被下载和安装，和/或从可拆卸介质1411被安装。在该计算机程序被中央处理单元(CPU)1401执行时，执行本公开的系统中限定的上述功能。

需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括发送单元、获取单元、确定单元和第一处理单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，发送单元还可以被描述为“向所连接的服务端发送图片获取请求的单元”。

作为另一方面，本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如上述实施例中所述的方法。例如，所述的电子设备可以实现如图2所示的各个步骤。

根据本公开的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例的各种可选实现方式中提供的方法。

需要理解的是，在本公开附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。