掌桥专利:专业的专利平台
掌桥专利
首页

图像生成方法及装置

文献发布时间:2023-06-19 09:46:20


图像生成方法及装置

技术领域

本申请实施例涉及计算机技术领域,具体涉及一种图像生成方法及装置。

背景技术

目前,在图像生成领域,由于采用人工方式生成图像的效率低下,一般采用机器合图引擎生成图像。采用机器合图引擎生成图像的方式一般包括:一、基于机器学习方法,使用大量的样本训练得到图像生成模型,通过图像生成模型生成图像;二、建立一些简单的知识规则,在此知识规则下演绎生成大量的图像。

发明内容

本申请实施例提出了一种图像生成方法及装置。

第一方面,本申请实施例提供了一种图像生成方法,包括:基于获取的图像生成条件,进行图像构图,确定图像的图元类型和布局信息,得到构图图像;根据对应于图像生成条件的场景构建信息,对构图图像进行场景构建,确定构图图像中、多个图元类型中的每个图元类型对应的图元,得到场景构建图像;根据对应于图像生成条件的配色信息,调整场景构建图像中各图元的颜色,得到配色图像;对配色图像进行渲染,得到目标图像。

在一些实施例中,上述基于获取的图像生成条件,进行图像构图,确定图像的图元类型和布局信息,得到构图图像,包括:基于获取的图像生成条件,利用预设构图知识图谱进行从部分到整体的多个层次的图像构图,确定每层图像中的图元类型和布局信息,得到表征各层次的构图信息的、层层嵌套的多层构图图像,其中,层层嵌套用于表征针对于多层构图图像中的每层构图图像,该层构图图像中嵌套有以该层构图图像中的部分图元类型为整体的下层的构图图像。

在一些实施例中,上述基于获取的图像生成条件,利用预设构图知识图谱进行从部分到整体的多个层次的图像构图,确定每层图像中的图元类型和布局信息,得到表征各层次的构图信息的、层层嵌套的多层构图图像,包括:针对于多层构图图像中的每层构图图像,执行如下操作:在该层构图图像的构图过程中,针对于基于图像生成条件和预设知识图谱所确定的多个构图参数中的每个构图参数,通过对应于该构图参数的判断信息确定该构图参数的参数值,其中,构图参数包括针对于该层构图图像中的各图元类型的操作参数、对下层构图图像的调用参数;基于各参数值,得到该层构图图像。

在一些实施例中,针对于该层构图图像,同一构图参数所确定的参数值不同,该层构图图像包括图元类型相同、布局不同的多个子构图图像;上述基于各参数值,得到该层构图图像,包括:针对于该层构图图像的构图过程中的多个构图参数中的每个构图参数,嵌套调用前序已确定参数值的构图参数的参数值,以确定包括多个构图参数的参数值的多套参数值组;基于多套参数值组,得到该层构图图像对应的图元类型相同、布局不同的多个子构图图像。

在一些实施例中,上述方法还包括:响应于确定接收到选取指令,基于选取指令,确定该层构图图像的上层构图图像所要嵌套调用的该层构图图像的至少一个子构图图像。

在一些实施例中,上述根据对应于图像生成条件的场景构建信息,对构图图像进行场景构建,确定构图图像中、多个图元类型中的每个图元类型对应的图元,得到场景构建图像,包括:针对于多层构图图像中的每层构图图像,执行如下操作:执行第一知识迁移操作,直至确定达到第一预设终止条件;根据每次第一知识迁移操作得到的目标场景构建信息,确定该层构图图像对应的最终场景构建信息;根据最终场景构建信息,对该层构图图像进行场景构建,确定该层构图图像中、多个图元类型中的每个图元类型对应的图元,得到该层构图图像对应的场景构建图像,其中,所述第一知识迁移操作包括:基于相似度,确定第一图元类型集合对应的第一目标图元类型集合;将第一目标图元类型集合所对应的场景构建信息确定为目标场景构建信息;将第一图元类型集合所包括的、但第一目标图元类型集合所不包括的图元类型,确定为下一次第一知识迁移操作的第一图元类型集合;其中,首次的第一知识迁移操作的第一图元类型集合为该层构图图像所对应的图元类型集合。

在一些实施例中,上述确定该层构图图像中、多个图元类型中的每个图元类型对应的图元,得到该层构图图像对应的场景构建图像,包括:根据预先建立的表征图元类型和图元关系的搜索树,从图元库中确定该层构图图像中、多个图元类型中的每个图元类型对应的图元,得到该层构图图像对应的场景构建图像。

在一些实施例中,第一预设终止条件包括:第一图元类型集合为空集合,该次第一知识迁移操作的第一图元类型集合与上一次第一知识迁移操作的第一图元类型集合相同;上述方法还包括:响应于确定第一预设终止条件为该次第一知识迁移操作的第一图元类型集合与上一次第一知识迁移操作的第一图元类型集合相同,基于接收到的输入指令,在最终场景构建信息中添加表征对该次第一知识迁移操作的第一图元类型集合中的图元类型进行场景构建的信息。

在一些实施例中,上述根据对应于图像生成条件的配色信息,调整场景构建图像中各图元的颜色,得到配色图像,包括:针对于多层场景构建图像中的每层场景构建图像,执行如下操作:执行第二知识迁移操作,直至确定达到第二预设终止条件;根据每次第二知识迁移操作得到的目标配色信息,确定该层构图图像对应的最终配色信息;根据配色信息,调整该层场景构建图像中各图元的颜色,得到该层场景构建图像对应的配色图像,其中,所述第二知识迁移操作包括:基于相似度,确定第二图元类型集合对应的第二目标图元类型集合;将第二目标图元类型集合所对应的配色信息确定为目标配色信息;将第二图元类型集合所包括的、但第二目标图元类型集合所不包括的图元类型,确定为下一次第二知识迁移操作的第二图元类型集合;其中,首次的第二知识迁移操作的第二图元类型集合为该层场景构建图像所对应的图元类型集合。

在一些实施例中,第二预设终止条件包括:第二图元类型集合为空集合,该次第二知识迁移操作的第二图元类型集合与上一次第二知识迁移操作的第二图元类型集合相同;上述方法还包括:响应于确定第二预设终止条件为该次第二知识迁移操作的第二图元类型集合与上一次第二知识迁移操作的第二图元类型集合相同,基于接收到的输入指令,在最终配色信息中添加表征对该次第二知识迁移操作的第二图元类型集合中的图元类型进行配色的信息。

第二方面,本申请实施例提供了一种图像生成装置,包括:构图单元,被配置成基于获取的图像生成条件,进行图像构图,确定图像的图元类型和布局信息,得到构图图像;场景构建单元,被配置成根据对应于图像生成条件的场景构建信息,对构图图像进行场景构建,确定构图图像中、多个图元类型中的每个图元类型对应的图元,得到场景构建图像;配色单元,被配置成根据对应于图像生成条件的配色信息,调整场景构建图像中各图元的颜色,得到配色图像;渲染单元,被配置成对配色图像进行渲染,得到目标图像。

在一些实施例中,构图单元,进一步被配置成:基于获取的图像生成条件,利用预设构图知识图谱进行从部分到整体的多个层次的图像构图,确定每层图像中的图元类型和布局信息,得到表征各层次的构图信息的、层层嵌套的多层构图图像,其中,层层嵌套用于表征针对于多层构图图像中的每层构图图像,该层构图图像中嵌套有以该层构图图像中的部分图元类型为整体的下层的构图图像。

在一些实施例中,构图单元,进一步被配置成:针对于多层构图图像中的每层构图图像,执行如下操作:在该层构图图像的构图过程中,针对于基于图像生成条件和预设知识图谱所确定的多个构图参数中的每个构图参数,通过对应于该构图参数的判断信息确定该构图参数的参数值,其中,构图参数包括针对于该层构图图像中的各图元类型的操作参数、对下层构图图像的调用参数;基于各参数值,得到该层构图图像。

在一些实施例中,针对于该层构图图像,同一构图参数所确定的参数值不同,该层构图图像包括图元类型相同、布局不同的多个子构图图像;构图单元,进一步被配置成:针对于该层构图图像的构图过程中的多个构图参数中的每个构图参数,嵌套调用前序已确定参数值的构图参数的参数值,以确定包括多个构图参数的参数值的多套参数值组;基于多套参数值组,得到该层构图图像对应的图元类型相同、布局不同的多个子构图图像。

在一些实施例中,上述装置还包括:选取单元,被配置成响应于确定接收到选取指令,基于选取指令,确定该层构图图像的上层构图图像所要嵌套调用的该层构图图像的至少一个子构图图像。

在一些实施例中,场景构建单元,进一步被配置成:针对于多层构图图像中的每层构图图像,执行如下操作:执行第一知识迁移操作,直至确定达到第一预设终止条件;根据每次第一知识迁移操作得到的目标场景构建信息,确定该层构图图像对应的最终场景构建信息;根据最终场景构建信息,对该层构图图像进行场景构建,确定该层构图图像中、多个图元类型中的每个图元类型对应的图元,得到该层构图图像对应的场景构建图像,其中,所述第一知识迁移操作包括:基于相似度,确定第一图元类型集合对应的第一目标图元类型集合;将第一目标图元类型集合所对应的场景构建信息确定为目标场景构建信息;将第一图元类型集合所包括的、但第一目标图元类型集合所不包括的图元类型,确定为下一次第一知识迁移操作的第一图元类型集合;其中,首次的第一知识迁移操作的第一图元类型集合为该层构图图像所对应的图元类型集合。

在一些实施例中,场景构建单元,进一步被配置成:根据预先建立的表征图元类型和图元关系的搜索树,从图元库中确定该层构图图像中、多个图元类型中的每个图元类型对应的图元,得到该层构图图像对应的场景构建图像。

在一些实施例中,第一预设终止条件包括:第一图元类型集合为空集合,该次第一知识迁移操作的第一图元类型集合与上一次第一知识迁移操作的第一图元类型集合相同;装置还包括:第一添加单元,被配置成响应于确定第一预设终止条件为该次第一知识迁移操作的第一图元类型集合与上一次第一知识迁移操作的第一图元类型集合相同,基于接收到的输入指令,在最终场景构建信息中添加表征对该次第一知识迁移操作的第一图元类型集合中的图元类型进行场景构建的信息。

在一些实施例中,配色单元,进一步被配置成:针对于多层场景构建图像中的每层场景构建图像,执行如下操作:执行第二知识迁移操作,直至确定达到第二预设终止条件;根据每次第二知识迁移操作得到的目标配色信息,确定该层构图图像对应的最终配色信息;根据配色信息,调整该层场景构建图像中各图元的颜色,得到该层场景构建图像对应的配色图像,其中,所述第二知识迁移操作包括:基于相似度,确定第二图元类型集合对应的第二目标图元类型集合;将第二目标图元类型集合所对应的配色信息确定为目标配色信息;将第二图元类型集合所包括的、但第二目标图元类型集合所不包括的图元类型,确定为下一次第二知识迁移操作的第二图元类型集合;其中,首次的第二知识迁移操作的第二图元类型集合为该层场景构建图像所对应的图元类型集合。

在一些实施例中,第二预设终止条件包括:第二图元类型集合为空集合,该次第二知识迁移操作的第二图元类型集合与上一次第二知识迁移操作的第二图元类型集合相同;装置还包括:第二添加单元,被配置成响应于确定第二预设终止条件为该次第二知识迁移操作的第二图元类型集合与上一次第二知识迁移操作的第二图元类型集合相同,基于接收到的输入指令,在最终配色信息中添加表征对该次第二知识迁移操作的第二图元类型集合中的图元类型进行配色的信息。

第三方面,本申请实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,程序被处理器执行时实现如第一方面任一实现方式描述的方法。

第四方面,本申请实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如第一方面任一实现方式描述的方法。

本申请实施例提供的图像生成方法及装置,通过基于获取的图像生成条件,进行图像构图,确定图像的图元类型和布局信息,得到构图图像;根据对应于图像生成条件的场景构建信息,对构图图像进行场景构建,确定构图图像中、多个图元类型中的每个图元类型对应的图元,得到场景构建图像;根据对应于图像生成条件的配色信息,调整场景构建图像中各图元的颜色,得到配色图像;对配色图像进行渲染,得到目标图像,从而根据图像生成条件,可以灵活地生成目标图像,提高了图像生成的灵活性。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:

图1是本申请的一个实施例可以应用于其中的示例性系统架构图;

图2是根据本申请图像生成方法的一个实施例的流程图;

图3是根据本申请的多个操作得到构图图像的示意图;

图4是根据本申请的构图过程中的参数的嵌套调用示意图;

图5是根据本申请的实施例的构图操作的示意图;

图6是根据本申请的搜索树的示意图;

图7是根据本实施例的图像生成方法的应用场景的示意图;

图8是根据本申请的图像生成方法的又一个实施例的流程图;

图9是根据本申请的图像生成装置的一个实施例的结构图;

图10是适于用来实现本申请实施例的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。

需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了可以应用本申请的图像生成方法及装置的示例性架构100。

如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。

终端设备101、102、103可以是支持网络连接从而进行数据交互和数据处理的硬件设备或软件。当终端设备101、102、103为硬件时,其可以是支持网络连接,信息交互、显示、处理等功能的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时,可以安装在上述所列举的电子设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块,也可以实现成单个软件或软件模块。在此不做具体限定。

服务器105可以是提供各种服务的服务器,例如响应于确定基于用户在终端设备101、102、103的输入的图像生成条件,进行图像生成的后台处理服务器。后台处理服务器可以基于图像生成条件进行构图、场景构建、配色、渲染等处理,从而得到目标图像。可选的,后台处理服务器可以将目标图像反馈至终端设备,以供终端设备显示。作为示例,服务器105可以是云端服务器。

需要说明的是,服务器可以是硬件,也可以是软件。当服务器为硬件时,可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器。当服务器为软件时,可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块),也可以实现成单个软件或软件模块。在此不做具体限定。

还需要说明的是,本公开的实施例所提供的图像生成方法可以由服务器执行,也可以由终端设备执行,还可以由服务器和终端设备彼此配合执行。相应地,图像生成装置包括的各个部分(例如各个单元、子单元、模块、子模块)可以全部设置于服务器中,也可以全部设置于终端设备中,还可以分别设置于服务器和终端设备中。

应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。当图像生成方法运行于其上的电子设备不需要与其他电子设备进行数据传输时,该系统架构可以仅包括图像生成方法运行于其上的电子设备(例如服务器或终端设备)。

继续参考图2,示出了图像生成方法的一个实施例的流程200,包括以下步骤:

步骤201,基于获取的图像生成条件,进行图像构图,确定图像的图元类型和布局信息,得到构图图像。

本实施例中,图像生成方法的执行主体(例如图1中的终端设备或服务器)可以获取图像生成条件,并基于图像生成条件,进行图像构图,确定图像的图元类型和布局信息,得到构图图像。

其中,图像生成条件表征所生成的图像的限制条件,包括以下至少一项:图像主题、图像尺寸、图像风格、图像文案内容。

图元一般指构成图像的基本图形元素,图像的构图过程为确定所生成的图像中的图元类型以及图元类型的布局信息的过程。图元类型可以根据图像中包括的各种图元的一种或多重属性进行分类得到。作为示例,根据图元在图像中的位置信息,可以将图元分为上方图元、下方图元、左方图元、右方图元等图元类型;根据图元的类别,可以将图元区分为背景、图形、文本等图元类型。

需要说明的是,本实施例中的图元类型可以是根据实际情况而灵活划分的粗粒度或细粒度的图元类型。

根据图像生成条件,上述执行主体可以在预设构图知识图谱中查找对应的构图信息,其中,预设构图知识图谱中包括各种图像生成条件与构图信息之间的对应关系的知识。作为示例,图像生成条件为年会主题,则上述执行主体可以从与年会相关的构图信息中确定对应的图元类型与布局信息。例如,确定所要生成的图像的背景为表现热闹、欢快氛围的背景。

在本实施例的一些可选的实现方式中,为了得到更细致的构图图像,上述执行主体可以通过如下方式执行上述步骤201:

基于获取的图像生成条件,利用预设构图知识图谱进行从部分到整体的多个层次的图像构图,确定每层图像中的图元类型和布局信息,得到表征各层次的构图信息的、层层嵌套的多层构图图像。其中,层层嵌套用于表征针对于多层构图图像中的每层构图图像,该层构图图像中嵌套有以该层构图图像中的部分图元类型为整体的下层的构图图像。

上述执行主体根据图像生成条件,首先确定图像中一部分的图元类型和布局信息,得到该部分对应的构图图像。在嵌套调用该层构图图像的基础上,逐步增加新的图元类型,确定该层构图图像与新增加的图元类型的布局信息,确定下一层构图图像。如此,上述执行主体最终得到完整的构图图像。

作为示例,上述执行主体可以首先确定包括背景、文本内容两种图元类型以及上述两种图元类型的布局信息的第一层构图图像。在第一层构图图像的基础上,确定新的图元类型—插入的图片,并确定第一层构图图像与新插入的图片的布局信息,得到第二层构图图像。在第二层构图图像的基础上,继续确定新的图元类型—修饰图形,并确定第二层构图图像与新插入的修饰图形的布局信息,得到最终的构图图像。

进一步的,本实现方式中,针对于多层构图图像中的每层构图图像,执行主体执行如下操作:

首先,在该层构图图像的构图过程中,针对于基于图像生成条件和预设知识图谱所确定的多个构图参数中的每个构图参数,通过对应于该构图参数的判断信息确定该构图参数的参数值,其中,构图参数包括针对于该层构图图像中的各图元类型的操作参数、对下层构图图像的调用参数。

作为示例,其构图参数可以是表征根据图像的尺寸确定横向、纵向排列的参数,也可以是表征根据所插入的图片确定环绕图片排列还是位于图片一侧设置的参数。判断信息则可以表征图像的长与宽的比较结果,从而可以确定当所要生成的图像的长大于宽时,所插入的文本采用纵向排列;否则,所插入的文本可以横向排列。

然后,基于各参数值,得到该层构图图像。

在图元类型确定的基础上,确定了各参数的参数值,则确定了该层构图图像。

本实现方式中,如图3所示,上述执行主体可以以构图操作301为单位逐步实现该层构图图像的构图过程。其中,构图操作可以是构图过程中涉及到的任意操作。作为示例,构图操作可以是针对于该层构图图像中的不同的图元类型的对齐操作。每一个构图操作均包括对应的构图参数302和构图对象303,其中,构图对象包括下层的构图图像和新添加的图元类型,通过每一构图参数对应的判断信息304确定构图参数具体的参数值。

该构图图像中的每一种构图对象可以看作组成该构图图像的一种图形。各种图形存储于对应的容器305中。容器对下层构图图像的选取和存储即是对下层的构图图像的嵌套调用。针对于存储该层构图图像的构图对象的容器,也可以设置相应的表征嵌套调用下层构图图像的构图参数,以实现对下层构图图像的嵌套调用。

可以理解,上层构图图像对该层构图图像的嵌套调用,会影响该层构图图像的构图过程,因此,该层构图图像构图过程中的每一构图操作,需要受到上层构图图像的影响。在图3中,通过变量306提现上层构图图像对构图操作的影响。

针对于构图过程中的每个构图操作,确定对应的构图参数和构图对象,其中,构图对象中包括下层的构图图像,从而实现从部分到整体的、层层嵌套的构图过程。

在本实现方式中,上述执行主体中预设有针对构图操作的类别信息。构图操作的分类信息可以是根据实际情况而划分细粒度或粗粒度的类别信息。上述执行主体基于接收到的分类信息选取操作,可以确定对应的类别的构图操作。并给予确定的类别的构图操作进行构图图像的构图。

可以理解,针对于一层构图图像,同一构图参数所确定的参数值可能不同,也即,该层构图图像的多个参数中存在这种参数:该参数下对应的不同参数值均满足该层构图图像的图像生成条件和预设构图知识库中的知识。如此,则会使得该层构图图像包括图元类型相同、布局不同的多个子构图图像。

针对于上述同一构图参数所确定的参数值可能不同的情形,首先,上述执行主体针对于该层构图图像的构图过程中的多个构图参数中的每个构图参数,嵌套调用前序已确定参数值的构图参数的参数值,以确定包括多个构图参数的参数值的多套参数值组。对于唯一确定参数值的构图参数而言,多套参数值组之间的参数值是相同的;而对于选取不同的参数值的同一参数而言,多套参数值组之间的参数值是不同。

如图4所示,该层构图图像中包括N+2个参数节点,每个参数节点对应于一个参数。则第二个参数节点可以嵌套调用第一个参数节点,同理,第N+2个参数节点可以调用前N+1个参数节点,最终确定出参数值数组。

然后,上述执行主体基于多套参数值组,得到该层构图图像对应的图元类型相同、布局不同的多个子构图图像。在上层图像的构图过程中,可以调用下层图像中的任意子构图图像,从而增加的构图图像的丰富性。

在本实施例的一些可选的而实现方式中,上述执行主体响应于确定接收到选取指令,基于选取指令,确定该层构图图像的上层构图图像所要嵌套调用的该层构图图像的至少一个子构图图像。

如图5所示,示出了本申请实施例的构图过程中的选取控制逻辑示意图500。其中,构图过程涉及到第一层构图图像501、第二层构图图像502、第三层构图图像503和第四层构图图像504。具体的,每一层构图图像都包括多个子构图图像,每层构图图像嵌套调用下层的构图图像,最终得到第四层构图图像。

其中,每层构图图像中的子构图图像可以看做一个节点,基于在构图过程中所接收到的选取指令,上述执行主体确定了第一层构图图像501中的子构图图像5011、5012、5013,第二层构图图像502中的子构图图像5021、5022,第二层构图图像503中的子构图图像5031、5032,以及第四层构图图像504中的子构图图像5041。上述执行主体基于所确定的各层构图图像中的子构图图像对应的节点,可以确定出构图过程中最上层的构图图像的构图路径。例如,由子构图图像5011、5021、5031、5041所指定的构图路径所对应的构图图像。

步骤202,根据对应于图像生成条件的场景构建信息,对构图图像进行场景构建,确定构图图像中、多个图元类型中的每个图元类型对应的图元,得到场景构建图像。

本实施例中,上述执行主体根据对应于图像生成条件的场景构建信息,可以对步骤201得到的构图图像进行场景构建,确定构图图像中、多个图元类型中的每个图元类型对应的图元,得到场景构建图像。

其中,构图图像的场景构建过程为确定构图图像中的图元类型对应的图元的过程,其中,还可能涉及对图元的位置信息的调整。

作为示例,场景构建信息可以是根据场景构建知识库所确定的场景构建脚本,场景构建知识库中包括各种图像生成条件下对应的场景构建知识。根据场景构建信息可以从图元库中确定构图图像中、多个图元类型中的每个图元类型对应的图元。

本实施例中,为了提高图元库的实用性,要求图元库中包括丰富的图元。除了通过第三方获取现有的图元、自主设计图元外,上述执行主体可以在第三方的原子图元(不可分解的图元)、自主设计的图元的基础上,进行图元组合,生成复合型图元。

图元库中的图元数量巨大,种类丰富,为了提高图元的确定效率,预先建立表征图元类型和图元的对应关系的搜索树。如图6所示,示出了一种搜索树示意图。搜索树500中包括各粗粒度图元类型601,针对于各粗粒度图元类型601,进行进一步划分得到细粒度图元类型602。每一细粒度图元类型602包括对应的图元603,并记载有具体的图元信息。

上述执行主体根据搜索树,可以快速地从图元库中确定该层构图图像中、多个图元类型中的每个图元类型对应的图元,得到该层构图图像对应的场景构建图像。

在本实施例的一些可选的实现方式中,可以只创建经常使用的、比较典型的、少数量的场景构建信息,在已有的场景构建信息的基础上,上述执行主体通过知识迁移确定场景构建过程中所需的场景构建信息。

具体的,针对于多层构图图像中的每层构图图像,上述执行主体执行如下操作:

首先,执行如下第一知识迁移操作,直至确定达到第一预设终止条件:

第一,基于相似度,确定第一图元类型集合对应的第一目标图元类型集合。

其中,第一目标图元类型集合是与第一图元类型集合相似度最高的集合。作为示例,当集合之间的交集的图元类型越多时,相似度越高。

第二,将第一目标图元类型集合所对应的场景构建信息确定为目标场景构建信息。

第三,将第一图元类型集合所包括的、但第一目标图元类型集合所不包括的图元类型,确定为下一次第一知识迁移操作的第一图元类型集合。

本实现方式中,针对于每层构图图像,上述执行主体均可能执行多次第一知识迁移操作。其中,首次的第一知识迁移操作的第一图元类型集合为该层构图图像所对应的图元类型集合。该层构图图像所对应的图元类型集合也就是由该层构图图像中包括的所有图元类型所组成的集合。

然后,根据每次第一知识迁移操作得到的目标场景构建信息,确定该层构图图像对应的最终场景构建信息。

作为示例,可以将每次第一知识迁移操作得到的目标场景构建信息进行组合,得到最终场景构建信息。

最后,根据最终场景构建信息,对该层构图图像进行场景构建,确定该层构图图像中、多个图元类型中的每个图元类型对应的图元,得到该层构图图像对应的场景构建图像。

在第一知识迁移操作中,第一预设终止条件包括:第一图元类型集合为空集合,该次第一知识迁移操作的第一图元类型集合与上一次第一知识迁移操作的第一图元类型集合相同。

第一预设终止条件为该次第一知识迁移操作的第一图元类型集合与上一次第一知识迁移操作的第一图元类型集合相同时,表明该层构图图像对应的图元类型集合中包括至今还未涉及到的图元类型,需要基于用户的输入操作,添加对应的场景构建信息。

具体的,上述执行主体响应于确定第一预设终止条件为该次第一知识迁移操作的第一图元类型集合与上一次第一知识迁移操作的第一图元类型集合相同,基于接收到的输入指令,在最终场景构建信息中添加表征对该次第一知识迁移操作的第一图元类型集合中的图元类型进行场景构建的信息。

步骤203,根据对应于图像生成条件的配色信息,调整场景构建图像中各图元的颜色,得到配色图像。

本实施例中,上述执行主体可以根据对应于图像生成条件的配色信息,调整步骤202得到的场景构建图像中各图元的颜色,得到配色图像。

配色信息可以是根据配色知识库所确定的配色脚本,配色知识库中包括各种图像生成条件下对应的配色知识。根据配色信息可以从图元库确定构图图像中、多个图元类型中的每个图元类型对应的图元。

以包括背景、图片、文本、堆图的构图图像示例,根据对应的配色信息可以执行如下操作:首先,确定背景的颜色。例如,根据上传的图片来确定背景的颜色。具体的,背景的颜色可以是上传的图片的最大颜色分量、互补色或相邻色。又例如,背景的颜色从可以从图像生成条件中限定的主题所对应的颜色集合中随机获取。然后,确定文本的颜色,文本的颜色与背景的颜色色相相同,并在此基础上修改其亮度;或者通过预设配色表进行配色,然后是对文本的阴影进行配色。文本阴影的配色与文字颜色相同,并在此基础上修改亮度。最后,对堆图进行色相迁移,使其与背景相同。

在本实施例的一些可选的实现方式中,可以只创建经常使用的、比较典型的、少数量的配色信息,在已有的配色信息的基础上,上述执行主体通过知识迁移确定配色过程中所需的配色信息。

具体的,针对于多层场景构建图像中的每层场景构建图像,执行如下操作:

首先,执行如下第二知识迁移操作,直至确定达到第二预设终止条件:

第一,基于相似度,确定第二图元类型集合对应的第二目标图元类型集合。

其中,第二目标图元类型集合是与第二图元类型集合相似度最高的集合。作为示例,当集合之间的交集的图元类型越多时,相似度越高。

第二,将第二目标图元类型集合所对应的配色信息确定为目标配色信息。

第三,将第二图元类型集合所包括的、但第二目标图元类型集合所不包括的图元类型,确定为下一次第二知识迁移操作的第二图元类型集合。

本实现方式中,针对于每层场景构建图像,上述执行主体均可能执行多次第二知识迁移操作。其中,首次的第二知识迁移操作的第二图元类型集合为该层场景构建图像所对应的图元类型集合。

然后,根据每次第二知识迁移操作得到的目标配色信息,确定该层构图图像对应的最终配色信息。

作为示例,可以将每次第二知识迁移操作得到的目标配色信息进行组合,得到最终配色场景构建信息。

最后,根据配色信息,调整该层场景构建图像中各图元的颜色,得到该层场景构建图像对应的配色图像。

在第二知识迁移操作中,第二预设终止条件包括:第二图元类型集合为空集合,该次第二知识迁移操作的第二图元类型集合与上一次第二知识迁移操作的第二图元类型集合相同。

当第二预设终止条件为该次第二知识迁移操作的第二图元类型集合与上一次第二知识迁移操作的第二图元类型集合相同时,表明该层场景构建图像对应的图元类型集合中包括至今还未涉及到的图元类型,需要基于用户的输入操作,添加对应的配色信息。

具体的,上述执行主体响应于确定第二预设终止条件为该次第二知识迁移操作的第二图元类型集合与上一次第二知识迁移操作的第二图元类型集合相同,基于接收到的输入指令,在最终配色信息中添加表征对该次第二知识迁移操作的第二图元类型集合中的图元类型进行配色的信息。

步骤204,对配色图像进行渲染,得到目标图像。

本实施例中,上述执行主体可以对步骤203得到的配色图像进行渲染,得到目标图像。

图像渲染中要完成的工作是:通过几何变换,投影变换,透视变换和窗口剪裁,再通过获取的材质与光影信息,生成图像。

继续参见图7,图7是根据本实施例的图像生成方法的应用场景的一个示意图。在图7的应用场景中,用户701通过终端设备702输入图像生成条件。服务器703基于获取的图像生成条件,进行图像构图,确定图像的图元类型和布局信息,得到构图图像704;根据对应于图像生成条件的场景构建信息,对构图图像704进行场景构建,确定构图图像704中、多个图元类型中的每个图元类型对应的图元,得到场景构建图像705;根据对应于图像生成条件的配色信息,调整场景构建图像中各图元的颜色,得到配色图像706;对配色图像进行渲染,得到目标图像707,并将目标图像707反馈至终端设备702。

本公开的上述实施例提供的方法,通过基于获取的图像生成条件,进行图像构图,确定图像的图元类型和布局信息,得到构图图像;根据对应于图像生成条件的场景构建信息,对构图图像进行场景构建,确定构图图像中、多个图元类型中的每个图元类型对应的图元,得到场景构建图像;根据对应于图像生成条件的配色信息,调整场景构建图像中各图元的颜色,得到配色图像;对配色图像进行渲染,得到目标图像,从而根据图像生成条件,可以灵活地生成目标图像,提高了图像生成的灵活性。

继续参考图8,示出了根据本申请的图像生成方法的另一个实施例的示意性流程800,包括以下步骤:

步骤801,基于获取的图像生成条件,利用预设构图知识图谱进行从部分到整体的多个层次的图像构图,确定每层图像中的图元类型和布局信息,得到表征各层次的构图信息的、层层嵌套的多层构图图像。

步骤802,针对于多层构图图像中的每层构图图像,执行如下操作:

步骤8021,执行如下第一知识迁移操作,直至确定达到第一预设终止条件:

步骤80211,基于相似度,确定第一图元类型集合对应的第一目标图元类型集合。

步骤80212,将第一目标图元类型集合所对应的场景构建信息确定为目标场景构建信息。

步骤80213,将第一图元类型集合所包括的、但第一目标图元类型集合所不包括的图元类型,确定为下一次第一知识迁移操作的第一图元类型集合;其中,首次的第一知识迁移操作的第一图元类型集合为该层构图图像所对应的图元类型集合。

步骤8022,根据每次第一知识迁移操作得到的目标场景构建信息,确定该层构图图像对应的最终场景构建信息。

步骤8023,根据最终场景构建信息,对该层构图图像进行场景构建,确定该层构图图像中、多个图元类型中的每个图元类型对应的图元,得到该层构图图像对应的场景构建图像。

步骤803,针对于多层场景构建图像中的每层场景构建图像,执行如下操作:

步骤8031,执行如下第二知识迁移操作,直至确定达到第二预设终止条件:

步骤80311,基于相似度,确定第二图元类型集合对应的第二目标图元类型集合。

步骤80312,将第二目标图元类型集合所对应的配色信息确定为目标配色信息。

步骤80313,将第二图元类型集合所包括的、但第二目标图元类型集合所不包括的图元类型,确定为下一次第二知识迁移操作的第二图元类型集合。

其中,首次的第二知识迁移操作的第二图元类型集合为该层场景构建图像所对应的图元类型集合。

步骤8032,根据每次第二知识迁移操作得到的目标配色信息,确定该层构图图像对应的最终配色信息。

步骤8033,根据配色信息,调整该层场景构建图像中各图元的颜色,得到该层场景构建图像对应的配色图像。

步骤804,对配色图像进行渲染,得到目标图像。

从本实施例中可以看出,与图2对应的实施例相比,本实施例中的图像生成方法的流程800具体说明了分层次的构图过程,以及场景构建过程和配色过程中的知识迁移过程。如此,提高了本实施例图像生成的质量和效率。

继续参考图9,作为对上述各图所示方法的实现,本公开提供了一种图像生成装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。

如图9所示,图像生成装置包括:包括:构图单元901,被配置成基于获取的图像生成条件,进行图像构图,确定图像的图元类型和布局信息,得到构图图像;场景构建单元902,被配置成根据对应于图像生成条件的场景构建信息,对构图图像进行场景构建,确定构图图像中、多个图元类型中的每个图元类型对应的图元,得到场景构建图像;配色单元903,被配置成根据对应于图像生成条件的配色信息,调整场景构建图像中各图元的颜色,得到配色图像;渲染单元904,被配置成对配色图像进行渲染,得到目标图像。

在一些实施例中,构图单元901,进一步被配置成:基于获取的图像生成条件,利用预设构图知识图谱进行从部分到整体的多个层次的图像构图,确定每层图像中的图元类型和布局信息,得到表征各层次的构图信息的、层层嵌套的多层构图图像,其中,层层嵌套用于表征针对于多层构图图像中的每层构图图像,该层构图图像中嵌套有以该层构图图像中的部分图元类型为整体的下层的构图图像。

在一些实施例中,构图单元901,进一步被配置成:针对于多层构图图像中的每层构图图像,执行如下操作:在该层构图图像的构图过程中,针对于基于图像生成条件和预设知识图谱所确定的多个构图参数中的每个构图参数,通过对应于该构图参数的判断信息确定该构图参数的参数值,其中,构图参数包括针对于该层构图图像中的各图元类型的操作参数、对下层构图图像的调用参数;基于各参数值,得到该层构图图像。

在一些实施例中,针对于该层构图图像,同一构图参数所确定的参数值不同,该层构图图像包括图元类型相同、布局不同的多个子构图图像;构图单元901,进一步被配置成:针对于该层构图图像的构图过程中的多个构图参数中的每个构图参数,嵌套调用前序已确定参数值的构图参数的参数值,以确定包括多个构图参数的参数值的多套参数值组;基于多套参数值组,得到该层构图图像对应的图元类型相同、布局不同的多个子构图图像。

在一些实施例中,上述装置还包括:选取单元(图中未示出),被配置成响应于确定接收到选取指令,基于选取指令,确定该层构图图像的上层构图图像所要嵌套调用的该层构图图像的至少一个子构图图像。

在一些实施例中,场景构建单元902,进一步被配置成:针对于多层构图图像中的每层构图图像,执行如下操作:执行第一知识迁移操作,直至确定达到第一预设终止条件;根据每次第一知识迁移操作得到的目标场景构建信息,确定该层构图图像对应的最终场景构建信息;根据最终场景构建信息,对该层构图图像进行场景构建,确定该层构图图像中、多个图元类型中的每个图元类型对应的图元,得到该层构图图像对应的场景构建图像,其中,第一知识迁移操作包括:基于相似度,确定第一图元类型集合对应的第一目标图元类型集合;将第一目标图元类型集合所对应的场景构建信息确定为目标场景构建信息;将第一图元类型集合所包括的、但第一目标图元类型集合所不包括的图元类型,确定为下一次第一知识迁移操作的第一图元类型集合;其中,首次的第一知识迁移操作的第一图元类型集合为该层构图图像所对应的图元类型集合。

在一些实施例中,场景构建单元902,进一步被配置成:根据预先建立的表征图元类型和图元关系的搜索树,从图元库中确定该层构图图像中、多个图元类型中的每个图元类型对应的图元,得到该层构图图像对应的场景构建图像。

在一些实施例中,第一预设终止条件包括:第一图元类型集合为空集合,该次第一知识迁移操作的第一图元类型集合与上一次第一知识迁移操作的第一图元类型集合相同;装置还包括:第一添加单元(图中未示出),被配置成响应于确定第一预设终止条件为该次第一知识迁移操作的第一图元类型集合与上一次第一知识迁移操作的第一图元类型集合相同,基于接收到的输入指令,在最终场景构建信息中添加表征对该次第一知识迁移操作的第一图元类型集合中的图元类型进行场景构建的信息。

在一些实施例中,配色单元903,进一步被配置成:针对于多层场景构建图像中的每层场景构建图像,执行如下操作:执行第二知识迁移操作,直至确定达到第二预设终止条件;根据每次第二知识迁移操作得到的目标配色信息,确定该层构图图像对应的最终配色信息;根据配色信息,调整该层场景构建图像中各图元的颜色,得到该层场景构建图像对应的配色图像,其中,第二知识迁移操作包括:基于相似度,确定第二图元类型集合对应的第二目标图元类型集合;将第二目标图元类型集合所对应的配色信息确定为目标配色信息;将第二图元类型集合所包括的、但第二目标图元类型集合所不包括的图元类型,确定为下一次第二知识迁移操作的第二图元类型集合;其中,首次的第二知识迁移操作的第二图元类型集合为该层场景构建图像所对应的图元类型集合。

在一些实施例中,第二预设终止条件包括:第二图元类型集合为空集合,该次第二知识迁移操作的第二图元类型集合与上一次第二知识迁移操作的第二图元类型集合相同;装置还包括:第二添加单元(图中未示出),被配置成响应于确定第二预设终止条件为该次第二知识迁移操作的第二图元类型集合与上一次第二知识迁移操作的第二图元类型集合相同,基于接收到的输入指令,在最终配色信息中添加表征对该次第二知识迁移操作的第二图元类型集合中的图元类型进行配色的信息。

本实施例中,图像生成装置中的构图单元基于获取的图像生成条件,进行图像构图,确定图像的图元类型和布局信息,得到构图图像;场景构建单元根据对应于图像生成条件的场景构建信息,对构图图像进行场景构建,确定构图图像中、多个图元类型中的每个图元类型对应的图元,得到场景构建图像;配色单元根据对应于图像生成条件的配色信息,调整场景构建图像中各图元的颜色,得到配色图像;渲染单元对配色图像进行渲染,得到目标图像,从而根据图像生成条件,可以灵活地生成目标图像,提高了图像生成的灵活性。

下面参考图10,其示出了适于用来实现本申请实施例的设备(例如图1所示的设备101、102、103、105)的计算机系统1000的结构示意图。图10示出的设备仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。

如图10所示,计算机系统1000包括处理器(例如CPU,中央处理器)1001,其可以根据存储在只读存储器(ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。在RAM1003中,还存储有系统1000操作所需的各种程序和数据。处理器1001、ROM1002以及RAM1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。

以下部件连接至I/O接口1005:包括键盘、鼠标等的输入部分1006;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007;包括硬盘等的存储部分1008;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1010上,以便于从其上读出的计算机程序根据需要被安装入存储部分1008。

特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分1009从网络上被下载和安装,和/或从可拆卸介质1011被安装。在该计算机程序被处理器1001执行时,执行本申请的方法中限定的上述功能。

需要说明的是,本申请的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码,程序设计语言包括面向目标的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在客户计算机上执行、部分地在客户计算机上执行、作为一个独立的软件包执行、部分在客户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到客户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图,图示了按照本申请各种实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器,包括构图单元、场景构建单元、配色单元和渲染单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,构图单元还可以被描述为“基于获取的图像生成条件,进行图像构图,确定图像的图元类型和布局信息,得到构图图像的单元”。

作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该装置执行时,使得该计算机设备:基于获取的图像生成条件,进行图像构图,确定图像的图元类型和布局信息,得到构图图像;根据对应于图像生成条件的场景构建信息,对构图图像进行场景构建,确定构图图像中、多个图元类型中的每个图元类型对应的图元,得到场景构建图像;根据对应于图像生成条件的配色信息,调整场景构建图像中各图元的颜色,得到配色图像;对配色图像进行渲染,得到目标图像。。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

相关技术
  • 中间图像生成方法、中间图像文件、中间图像生成装置、立体图像生成方法、立体图像生成装置、裸眼立体图像显示装置、立体图像生成系统
  • 图像接收再现装置、图像生成发送装置、显示系统、图像接收再现方法、图像生成发送方法、图像接收再现程序和图像生成发送程序
技术分类

06120112290618