图像生成方法、装置、设备及存储介质
文献发布时间:2024-04-18 19:58:26
技术领域
本申请涉及图像处理技术领域,特别涉及一种图像生成方法、装置、设备及存储介质。
背景技术
在包括虚拟环境的应用程序中通常需要控制的虚拟对象在虚拟环境中进行活动,如:行走、驾驶、攀爬、捡拾物品、作战等。
在相关技术中,玩家可以根据需要,基于预先提供的虚拟模型,自定义搭建虚拟环境,用于在虚拟环境中进行虚拟对局或虚拟观光。
然而,上述过程需要玩家构思虚拟环境中的各个虚拟物品的设计细节,操作繁琐,人机交互效率低下。
发明内容
本申请提供了一种图像生成方法、装置、设备及存储介质,所述技术方案如下:
根据本申请的一方面,提供了一种图像生成方法,所述方法包括:
显示虚拟环境的搭建界面,所述搭建界面中包括用于搭建虚拟环境的至少一种候选虚拟模型;
获取输入文本,所述输入文本是搭建兴趣虚拟环境的提示文本,所述输入文本用于描述所述兴趣虚拟环境包括的至少一个虚拟物品的外观;
响应于获取到所述输入文本,显示预测图像,所述预测图像是针对使用所述至少一种候选虚拟模型搭建的所述兴趣虚拟环境的预览图像,所述预测图像包括对至少一个所述候选虚拟模型的观察画面。
根据本申请的另一方面,提供了一种图像生成装置,所述装置包括:
显示模块,用于显示虚拟环境的搭建界面,所述搭建界面中包括用于搭建虚拟环境的至少一种候选虚拟模型;
获取模块,用于获取输入文本,所述输入文本是搭建兴趣虚拟环境的提示文本,所述输入文本用于描述所述兴趣虚拟环境包括的至少一个虚拟物品的外观;
所述显示模块,还用于响应于获取到所述输入文本,显示预测图像,所述预测图像是针对使用所述至少一种候选虚拟模型搭建的所述兴趣虚拟环境的预览图像,所述预测图像包括对至少一个所述候选虚拟模型的观察画面。
在本申请的一个可选设计中,所述预测图像包括第一预测图像和第二预测图像;所述显示模块还用于:
响应于获取到所述输入文本,显示所述第一预测图像和所述第二预测图像;
其中,所述第一预测图像中的第一虚拟物品是由第一数量的所述候选虚拟模型拼接得到的,所述第二预测图像中的第二虚拟物品是由第二数量的所述候选虚拟模型拼接得到的;所述第一虚拟物品和所述第二虚拟物品属于相同的物品类型,第一数量和第二数量均为正整数,第一数量小于第二数量。
在本申请的一个可选设计中,所述预测图像以悬浮窗方式叠加显示在所述搭建界面上;
或,所述预测图像和所述搭建界面以分屏方式显示;
或,所述预测图像以贴图方式显示在所述搭建界面中的至少一个虚拟模型上。
在本申请的一个可选设计中,所述显示模块还用于:
响应于获取到所述输入文本,调用所述图像预测模型,根据所述输入文本预测得到所述预测图像,以及显示所述预测图像,所述图像预测模型用于根据输入的提示文本生成图像。
在本申请的一个可选设计中,所述获取模块,还用于获取样本图像和所述样本图像的描述文本,所述样本图像是对样本环境进行观察的画面,所述样本环境是基于所述搭建界面包括的所述至少一种候选虚拟模型搭建得到的虚拟环境;
所述装置还包括处理模块:
所述处理模块,用于基于所述样本图像和所述描述文本对通识图像预测模型进行训练,得到所述图像预测模型,所述通识图像预测模型是具有根据提示文本生成图像的能力的模型。
在本申请的一个可选设计中,所述获取模块还用于:
获取图像风格文本,所述图像风格文本是描述预测图像的风格类型的提示文本;
所述显示模块还用于:
响应于获取到所述输入文本和所述图像风格文本,将所述输入文本和所述图像风格文本确定为图像预测模型的输入参数;
调用所述图像预测模型,根据所述输入参数预测得到所述预测图像,所述图像预测模型用于根据输入的提示文本生成图像。
在本申请的一个可选设计中,所述获取模块还用于:
获取样本图像和所述样本图像的描述文本,所述样本图像是对样本环境进行观察的画面,所述样本环境是基于所述搭建界面包括的所述至少一种候选虚拟模型搭建得到的虚拟环境;
对所述样本图像的图像风格进行特征提取处理,得到样本风格特征;
调用通识图像预测模型对所述描述文本和初始风格文本进行预测处理,得到风格预测图像,所述初始风格文本包括风格描述词和权重信息;
以降低所述风格预测图像的预测风格特征和所述样本风格特征之间的差异为修正目标,修正所述初始风格文本中的权重信息,得到所述图像风格文本。
在本申请的一个可选设计中,所述显示模块还用于:
显示第一虚拟模型的颜色选择器,所述颜色选择器提供有至少一种推荐颜色,所述推荐颜色是所述预测图像中兴趣取色点的颜色,所述兴趣取色点的位置归属于第一兴趣区域,所述第一兴趣区域的形状和第一虚拟模型在至少一个视角下的观察形状相同;
响应于填充操作,在所述第一虚拟模型的至少一个外表面上显示所述填充操作选中的第一推荐颜色,所述至少一个外表面对应与所述第一兴趣区域。
在本申请的一个可选设计中,所述显示模块还用于:
显示至少一种推荐模型,所述推荐模型是所述搭建界面中包括的候选虚拟模型,所述推荐模型在至少一个视角下的观察形状和所述预测图像中的第二兴趣区域的形状相同;
响应于针对所述推荐模型中的第一推荐模型的模型选中操作,在所述搭建界面中创建所述第一推荐模型,所述第一推荐模型用于搭建所述兴趣虚拟环境。
在本申请的一个可选设计中,所述显示模块还用于:
显示第一模型相对于第二模型的推荐位置,所述第一模型在所述推荐位置和所述第二模型组成有兴趣模型组,所述兴趣模型组在至少一个视角下的观察形状和所述预测图像中的第三兴趣区域的形状相同;
响应于针对所述第一模型的位置选中操作,在所述搭建界面中将所述第一模型移动至所述推荐位置。
在本申请的一个可选设计中,所述获取模块还用于:
响应于针对语言模板的触发操作,显示所述语言模板对应的第一文本,所述第一文本包括对所述兴趣虚拟环境中的虚拟物品在至少一个外观属性上的初始描述词;
响应于针对所述第一文本的编辑操作,显示所述第一文本变更为第二文本,所述第二文本用于对所述第一文本中的所述初始描述词进行修改;
响应于针对所述第二文本的确认操作,将所述第二文本确定为所述输入文本。
根据本申请的另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上方面所述的图像生成方法。
根据本申请的另一方面,提供了一种计算机可读存储介质,所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上方面所述的图像生成方法。
根据本申请的另一方面,提供了一种计算机程序产品,所述计算机程序产品包括计算机指令,所述计算机指令存储在计算机可读存储介质中,处理器从所述计算机可读存储介质读取并执行所述计算机指令,以实现上述如上方面所述的图像生成方法。
本申请提供的技术方案带来的有益效果至少包括:
通过根据输入文本,生成包括至少一个候选虚拟模型的预测图像,为兴趣虚拟环境的搭建提供了有效参考;预测图像中包括对至少一个候选至少一个候选虚拟模型的观察画面,在预测图像和搭建界面提供的虚拟之间建立了联系,避免了在搭建虚拟环境的过程中,由于没有兴趣虚拟环境的参考画面而造成的重复调整搭建位置,提高了人机交互效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一个示例性实施例提供的计算机系统的结构框图;
图2是本申请一个示例性实施例提供的图像生成方法的示意图;
图3是本申请一个示例性实施例提供的图像生成方法的流程图;
图4是本申请一个示例性实施例提供的图像生成方法的流程图;
图5是本申请一个示例性实施例提供的预测图像的示意图;
图6是本申请一个示例性实施例提供的预测图像和搭建界面的示意图;
图7是本申请一个示例性实施例提供的图像生成方法的流程图;
图8是本申请一个示例性实施例提供的图像生成方法的流程图;
图9是本申请一个示例性实施例提供的预测图像的示意图;
图10是本申请一个示例性实施例提供的图像生成方法的流程图;
图11是本申请一个示例性实施例提供的图像生成方法的流程图;
图12是本申请一个示例性实施例提供的图像生成方法的流程图;
图13是本申请一个示例性实施例提供的图像生成方法的流程图;
图14是本申请一个示例性实施例提供的图像生成装置的结构框图;
图15是本申请一个示例性实施例提供的终端的结构框图。
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如,本申请中涉及到的输入文本等信息都是在充分授权的情况下获取的。
应当理解,尽管在本公开可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本公开范围的情况下,第一参数也可以被称为第二参数,类似地,第二参数也可以被称为第一参数。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
图1示出了本申请一个示例性实施例提供的计算机系统的结构框图。该计算机系统100包括:第一终端110、服务器120、第二终端130。
第一终端110安装和运行有支持虚拟环境的客户端111,该客户端111可以是多人在线对战程序。当第一终端运行客户端111时,第一终端110的屏幕上显示客户端111的用户界面。该客户端111可以是大逃杀射击游戏、虚拟现实(Virtual Reality,VR)应用程序、增强现实(Augmented Reality,AR)程序、三维地图程序、虚拟现实游戏、增强现实游戏、第一人称射击游戏(First-Person Shooting Game,FPS)、第三人称射击游戏(Third-PersonalShooting Game,TPS)、多人在线战术竞技游戏(Multiplayer Online Battle ArenaGames,MOBA)、策略游戏(Simulation Game,SLG)中的任意一种。在本实施例中,以该客户端111是FPS游戏来举例说明。第一终端110是第一用户112使用的终端,第一用户112使用第一终端110控制位于虚拟环境中的第一虚拟对象进行活动,第一虚拟对象可以称为第一用户112的虚拟对象。第一虚拟对象的活动包括但不限于:移动、跳跃、传送、释放技能、使用道具、调整身体姿态、爬行、步行、奔跑、骑行、飞行、跳跃、驾驶、拾取、射击、攻击、投掷中的至少一种。示意性的,第一虚拟对象是第一虚拟对象,比如仿真人物角色或动漫人物角色。
第二终端130安装和运行有支持虚拟环境的客户端131,该客户端131可以是多人在线对战程序。当第二终端130运行客户端131时,第二终端130的屏幕上显示客户端131的用户界面。该客户端可以是大逃杀射击游戏、VR应用程序、AR程序、三维地图程序、虚拟现实游戏、增强现实游戏、FPS、TPS、MOBA、SLG中的任意一种,在本实施例中,以该客户端是MOBA游戏来举例说明。第二终端130是第二用户132使用的终端,第二用户132使用第二终端130控制位于虚拟环境中的第二虚拟对象进行活动,第二虚拟对象可以称为第二用户132的虚拟对象。示意性的,第二虚拟对象是第二虚拟对象,比如仿真人物角色或动漫人物角色。
可选地,第一虚拟对象和第二虚拟对象处于同一虚拟环境中。可选地,第一虚拟对象和第二虚拟对象可以属于同一个阵营、同一个队伍、同一个组织、具有好友关系或具有临时性的通讯权限。可选的,第一虚拟对象和第二虚拟对象可以属于不同的阵营、不同的队伍、不同的组织或具有敌对关系。
可选地,第一终端110和第二终端130上安装的客户端是相同的,或两个终端上安装的客户端是不同操作系统平台(安卓或IOS)上的同一类型客户端。第一终端110可以泛指多个终端中的一个,第二终端130可以泛指多个终端中的另一个,本实施例仅以第一终端110和第二终端130来举例说明。第一终端110和第二终端130的设备类型相同或不同,该设备类型包括:智能手机、平板电脑、电子书阅读器、MP3播放器、MP4播放器、膝上型便携计算机和台式计算机中的至少一种。
图1中仅示出了两个终端,但在不同实施例中存在多个其它终端140可以接入服务器120。可选地,还存在一个或多个终端140是开发者对应的终端,在终端140上安装有支持虚拟环境的客户端的开发和编辑平台,开发者可在终端140上对客户端进行编辑和更新,并将更新后的客户端安装包通过有线或无线网络传输至服务器120,第一终端110和第二终端130可从服务器120下载客户端安装包实现对客户端的更新。
第一终端110、第二终端130以及其它终端140通过无线网络或有线网络与服务器120相连。
服务器120包括一台服务器、多台服务器、云计算平台和虚拟化中心中的至少一种。服务器120用于为支持三维虚拟环境的客户端提供后台服务。可选地,服务器120承担主要计算工作,终端承担次要计算工作;或者,服务器120承担次要计算工作,终端承担主要计算工作;或者,服务器120和终端之间采用分布式计算架构进行协同计算。
在一个示意性的例子中,服务器120包括处理器122、用户账号数据库123、对战服务模块124、面向用户的输入/输出接口(Input/Output Interface,I/O接口)125。其中,处理器122用于加载服务器120中存储的指令,处理用户账号数据库123和对战服务模块124中的数据;用户账号数据库123用于存储第一终端110、第二终端130以及其它终端140所使用的用户账号的数据,比如用户账号的头像、用户账号的昵称、用户账号的战斗力指数,用户账号所在的服务区;对战服务模块124用于提供多个对战房间供用户进行对战,比如1V1对战、3V3对战、5V5对战等;面向用户的I/O接口125用于通过无线网络或有线网络和第一终端110和/或第二终端130建立通信交换数据。
本申请中提供的方法可以但不限于应用于下述场景中的至少一个:虚拟现实应用程序、三维地图程序、第一人称射击游戏(First-Person Shooting Game,FPS)、第三人称射击游戏(Third-Person Shooting Game,TPS)、多人在线战术竞技游戏(MultiplayerOnline Battle Arena Games,MOBA)、多人枪战类生存游戏等,下述实施例是以在游戏中的应用来举例说明。
图2示出了本申请一个示例性实施例提供的图像生成方法的示意图。
第一界面310是虚拟环境的搭建界面,搭建界面中包括有用于搭建虚拟环境的候选虚拟模型,示例性的,候选虚拟模型包括圆锥体模型311、十二面体模型312、立方体模型313;可以理解的,搭建界面中还可以提供有更多种类的候选虚拟模型。
示例性的,第一界面310中的沙盒区域315用于搭建兴趣虚拟环境,通过在沙盒区域中创建虚拟模型,实现搭建兴趣虚拟环境;示例性的,图中的沙盒区域315中创建有一个立方体形状的虚拟模型315a。示例性的,第一界面上的参考图控件316提供有生成预测图像的功能入口,响应于对参考图控件316的点击操作,显示第二界面320。
第二界面320中的输入入口322用于获取输入文本;响应于点击确认控件324获取在输入入口322键入的输入文本;响应于对确认控件324的点击操作,显示三个预测图像,上述三个预测图像包括第一预测图像325、第二预测图像326和第三预测图像327;其中,第一预测图像325的图像复杂程度低于第二预测图像326,第二预测图像326的图像复杂程度低于第三预测图像327。
响应于对第二预测图像326的点击操作,显示第三界面330。在第三界面330中,第二预测图像326叠加显示在虚拟环境的搭建界面上。通过同时显示预测图像和搭建界面,实现了在使用搭建界面提供的候选虚拟模型搭建兴趣虚拟环境时,同时显示预测图像,为兴趣虚拟环境的搭建提供了有效参考。
图3示出了本申请一个示例性实施例提供的图像生成方法的流程图。以该方法应用于终端中为例进行说明,该方法包括以下步骤:
步骤510:显示虚拟环境的搭建界面;
示例性的,搭建界面中包括有用于搭建虚拟环境的候选虚拟模型;示例性的,搭建界面是用于搭建虚拟环境的界面,搭建界面中提供有至少一种候选虚拟模型,通过移动候选虚拟模型的位置、放缩候选虚拟模型的大小、排列至少两个候选虚拟模型之间的相对位置等方式中的至少之一搭建虚拟环境。虚拟环境是用于供当前终端登录的控制帐号进行虚拟活动的环境,虚拟环境中包括由至少一个候选虚拟模型搭建得到的虚拟物品,可以理解的,虚拟环境中可以包括一个或多个虚拟物品。
示例性的,搭建界面中提供的候选虚拟模型可以是球形、棱柱体、棱锥体、圆柱体、圆锥体等三维形状模型,也可以是预先搭建的虚拟房屋、虚拟车辆、虚拟树木等虚拟物品的模型,本申请对此不进行限制。
步骤520:获取输入文本;
示例性的,输入文本是搭建兴趣虚拟环境的提示文本,示例性的,输入文本是在搭建兴趣虚拟环境时,对该环境的外观进行描述文本。如上文所述,虚拟环境中包括至少一个虚拟物品,输入文本用于描述兴趣虚拟环境包括的至少一个虚拟物品的外观,即通过对虚拟环境的外观,提示虚拟环境的搭建方式。
示例性的,输入文本可以通过颜色、材质、纹理、尺寸、类型中的至少一种描述虚拟物品,虚拟物品的类型信息可以通过现实世界中的物品名称进行描述。比如,兴趣环境物品中包括一个虚拟城堡,输入文本可以通过显示世界中的物品名称进行描述,比如城堡建筑。示例性的,输入文本中可以包括有虚拟物品的样式信息,比如虚拟建筑的样式为哥特式建筑、虚拟建筑的配色为园林建筑配色。
示例性的,输入文本可以用于描述一个或多个虚拟物品的外观,在输入文本描述多个虚拟物品的外观的情况下,输入文本可以描述有多个虚拟物品之间的相对位置关系。
步骤530:响应于获取到输入文本,显示预测图像;
示例性的,预测图像是针对使用至少一种候选虚拟模型搭建的兴趣虚拟环境的预览图像,预测图像用于模拟对兴趣虚拟环境的观察画面;示例性的,预测图像是根据输入文本预测得到的兴趣虚拟环境的观察画面。示例性的,预测图像中包括有输入图像携带的虚拟物品,预测图像中的虚拟物品的外观和输入文本中的描述相同。
示例性的,预测图像包括对至少一个候选虚拟模型的观察画面,候选虚拟模型是搭建界面提供的、用于搭建虚拟环境的模型。示例性的,在预测图像中的候选虚拟模型可以是一个虚拟物品,也可以是虚拟物品中的一个子部分。具体的,预测图像包括对一个圆柱形模型的观察画面,圆柱形模型是虚拟车辆的一个子部分,比如虚拟车辆的车轮部分。预测图像包括对一个四棱锥模型的观察画面,四棱锥模型是虚拟环境中的虚拟树木模型。
示例性的,预测图像是用于模拟通过虚拟摄像机模型在兴趣虚拟环境中进行观察的画面。示例性的,通过输入文本模拟兴趣虚拟环境中的虚拟物品。
综上所述,本实施例提供的方法,通过根据输入文本,生成包括至少一个候选虚拟模型的预测图像,为兴趣虚拟环境的搭建提供了有效参考;预测图像中包括对至少一个候选虚拟模型的观察画面,在预测图像和搭建界面提供的虚拟之间建立了联系,避免了在搭建虚拟环境的过程中,由于没有兴趣虚拟环境的参考画面而造成的重复调整搭建位置,提高了人机交互效率。
图4示出了本申请一个示例性实施例提供的图像生成方法的流程图。以该方法应用于终端中为例进行说明,即在图3示出的实施例中,步骤530可以实现为步骤530a:
步骤530a:响应于获取到输入文本,显示第一预测图像和第二预测图像;
示例性的,预测图像包括第一预测图像和第二预测图像;第一预测图像和第二预测图像中均包括对至少一个候选虚拟模型的观察画面。
示例性的,第一预测图像的图像复杂程度低于第二预测图像;比如,第一预测图像中的虚拟物品的数量小于第二预测图像。
在一个示例中,第一预测图像中包括第一虚拟物品,第二预测图像中包括第二虚拟物品;第一虚拟物品和第二虚拟物品属于相同的物品类型,比如,第一虚拟物品和第二虚拟物品均属于虚拟建筑、虚拟植物、虚拟车辆、虚拟桌椅中的至少之一。
示例性的,第一虚拟物品是由至少一个候选虚拟模型拼接得到的;示例性的,拼接候选虚拟模型用于指示两个候选虚拟模型之间具有相接的连接点、连接线或连接面,将两个候选虚拟模型组合成为一个整体,确定为该第一虚拟物体。相似的,第二虚拟物品是由至少一个候选虚拟模型拼接得到的。
示例性的,第一虚拟物品是由第一数量的候选虚拟模型拼接得到的,第二虚拟物品是由第二数量的候选虚拟模型拼接得到的;第一数量和第二数量均为正整数,第一数量小于第二数量。示例性的,在使用搭建界面提供的候选虚拟模型搭建第一预测图像中的第一虚拟物品时,对应的候选虚拟模型数量a,小于使用候选虚拟模型搭建第二预测图像中的第二虚拟物品时,对应的候选虚拟模型数量b;第一预测图像中的第一虚拟物品的搭建复杂程度低于第二预测图像中的第二虚拟物品。
示例性的,通过显示第一预测图像和第二预测图像,显示有不同搭建困难程度的兴趣虚拟环境的观察画面;在兴趣虚拟环境的搭建困难程度的维度上提供了多种类型的预测图像。
示例性的,图5示出了本申请一个示例性实施例提供的预测图像的示意图。图5中包括九张子图,其中第一子图a、第二子图b和第三子图c是基于相同的输入文本预测得到的预测图像;示例性的,输入文本为:“城堡建筑的全景,城堡有尖尖的房顶”;可以看出,第一子图a至第三子图c的图像复杂程度逐渐提高。
相似的,第四子图d、第五子图e、第六子图f是基于相同的输入文本预测得到的预测图像;示例性的,输入文本为:“一个位于月光下的房屋建筑的全景,蓝色色调,建筑周围有云朵”;可以看出,第四子图d至第六子图f的图像复杂程度逐渐提高。第七子图g、第八子图h、第九子图i是基于相同的输入文本预测得到的预测图像;示例性的,输入文本为:“一个坐落在山坡上的多层古建筑,从山脚下有通往古建筑门口的台阶,山坡上有丰富的植物,比如草皮、樱花树”;可以看出,第七子图g至第九子图i的图像复杂程度逐渐提高。
综上所述,本实施例提供的方法,通过根据输入文本,生成包括至少一个候选虚拟模型的预测图像,为兴趣虚拟环境的搭建提供了有效参考;预测图像包括第一预测图像和第二预测图像,在不同复杂程度上模拟了兴趣虚拟环境;预测图像中包括对至少一个候选虚拟模型的观察画面,在预测图像和搭建界面提供的虚拟之间建立了联系,避免了在搭建虚拟环境的过程中,由于没有兴趣虚拟环境的参考画面而造成的重复调整搭建位置,提高了人机交互效率。
接下来,对虚拟环境的显示方式进行介绍。
本申请的各个实现方式中,虚拟环境的显示方式至少包括如下三种实现方式中的任意之一。
·预测图像以悬浮窗方式叠加显示在搭建界面上;
·预测图像和搭建界面以分屏方式显示;
·预测图像以贴图方式显示在搭建界面中的至少一个虚拟模型上。
示例性的,通过同时显示预测图像和搭建界面,实现了在使用搭建界面提供的候选虚拟模型搭建兴趣虚拟环境时,同时显示预测图像,为兴趣虚拟环境的搭建提供了有效参考。
在一个实现方式中,预测图像以悬浮窗方式叠加显示在搭建界面上,保证了搭建界面的显示尺寸,通过悬浮窗方式显示预测图像能够在搭建界面上移动显示位置,在搭建兴趣虚拟环境是避免遮挡创建的虚拟模型。
在另一个实现方式中,预测图像和搭建界面以分屏方式显示,实现了对预测图像和搭建界面的并行显示,上述两个显示部分不存在重叠区域,避免了在搭建界面上由于悬浮窗遮挡,无法完全查看创建的虚拟模型的问题。
在另一个实现方式中,预测图像以贴图方式显示在搭建界面中的至少一个虚拟模型上。通过在搭建界面中创建一个贴图有预测图像的虚拟模型;通过控制虚拟模型进行旋转、移动,能够在搭建过程中沉浸式的查看预测图像,为兴趣虚拟环境的搭建提供参考。示例性的,图6示出了本申请一个示例性实施例提供的预测图像和搭建界面的示意图。预测图像以贴图方式显示在搭建界面中创建的第一虚拟模型612上,第一虚拟模型612是虚拟告示牌模型。搭建界面上还包括有第二虚拟模型614,第二虚拟模型614是由多个立方体模型拼接得到的建筑外墙模型。
综上所述,本实施例提供的方法,通过根据输入文本,生成包括至少一个候选虚拟模型的预测图像,为兴趣虚拟环境的搭建提供了有效参考;预测图像中包括对至少一个候选虚拟模型的观察画面,在预测图像和搭建界面提供的虚拟之间建立了联系,避免了在搭建虚拟环境的过程中,由于没有兴趣虚拟环境的参考画面而造成的重复调整搭建位置,提高了人机交互效率;实现了在使用搭建界面提供的候选虚拟模型搭建兴趣虚拟环境时,同时显示预测图像,为兴趣虚拟环境的搭建提供了有效参考。
在一种可选实现方式中,图3示出的实施例中的步骤530能够实现为如下步骤:
·响应于获取到输入文本,调用图像预测模型,根据输入文本预测得到预测图像,以及显示预测图像;
示例性的,图像预测模型用于根据输入的提示文本生成图像。示例性的,图像预测模型可以是人工神经网络(Artificial Neural Networks,ANN)模型,也可以是基于统计计算方式的函数计算模型,示例性的,图像预测模型包括但不限于卷积神经网络(Convolutional Neural Network,CNN)、循环神经网络(Recurrent Neural Network,RNN)、深度残差网络(Deep residual network,ResNet)、转换网络(Transformer Network)中的至少之一。示例性的,图像预测模型具有根据提示文本生成图像的能力的模型。
进一步的,图7示出了本申请一个示例性实施例提供的图像生成方法的流程图。以该方法应用于终端中为例进行说明,该方法包括步骤510、步骤520、步骤525、步骤532、步骤534;关于步骤510、步骤520的介绍可以参考上文中图3对应的实施例;以下,对本实施例中的步骤525、步骤532、步骤534进行介绍。
步骤525:获取图像风格文本;
示例性的,图像风格文本是描述预测图像的风格类型的提示文本;预测图像的风格类型用于指示候选虚拟模型搭建得到的虚拟环境的整体风格特征,比如卡通风格、彩虹色配色、柔光光照条件等。用于供图像预测模型生成预测图像。
示例性的,图像风格文本作为图像预测模型的输入参数,对预测图像模拟的兴趣虚拟环境你的整体风格特征进行描述。示例性的,图像风格文本可以是预先设定的,也可以是从已有的虚拟环境中提取得到的整体风格特征;进一步的,已有的虚拟环境是通过基于搭建界面包括的候选虚拟模型搭建得到的虚拟环境;以虚拟环境是闯关类关卡为例,图像风格文本可以从虚拟关卡对应的虚拟环境的截图中提取得到的图像风格文本。
步骤532:响应于获取到输入文本和图像风格文本,将输入文本和图像风格文本确定为图像预测模型的输入参数;
示例性的,将输入文本和图像风格文本确定为图像预测模型的输入参数,通过图像风格文本对输入文本进行补强,作为图像预测模型的输入参数;保证图像预测模型生成的预测图像具有稳定的整体风格特征,以实现预测图像和已有的虚拟环境在配色色彩、光照条件、图像风格上具有相同的特征,以利于提高预测图像对兴趣虚拟环境进行观察的模拟水平,为兴趣虚拟环境的搭建提供有效参考。
步骤534:调用图像预测模型,根据输入参数预测得到预测图像,以及显示预测图像;
示例性的,图像预测模型用于根据输入的提示文本生成图像;具体的,输入参数是图像预测模型生成预测图像的参考信息,基于图像预测模型中的网络参数对输入参数进行处理,得到预测图像。
示例性的,图像预测模型具有根据提示文本生成图像的能力的模型,示例性的,图像预测模型生成的预测图像和已有的虚拟环境的观察画面具有相同的整体风格特征。
综上所述,本实施例提供的方法,根据输入文本,通过调用图像预测模型生成包括至少一个候选虚拟模型的预测图像,为兴趣虚拟环境的搭建提供了有效参考;预测图像中包括对至少一个候选虚拟模型的观察画面,在预测图像和搭建界面提供的虚拟之间建立了联系,避免了在搭建虚拟环境的过程中,由于没有兴趣虚拟环境的参考画面而造成的重复调整搭建位置,提高了人机交互效率。
接下来,将对上述两个实施例中的图像预测模型的训练过程进行进一步介绍。
在一种可选实现方式中,还包括如下步骤用于对图像预测模型进行训练:
·获取样本图像和样本图像的描述文本;
示例性的,样本图像是对样本环境进行观察的画面;具体的,样本环境是基于搭建界面包括的至少一种候选虚拟模型搭建得到的虚拟环境。在一个示例中,样本环境是用于为虚拟角色进行闯关类关卡的虚拟环境,样本图像可以是该闯关类关卡的截图信息。示例性的,描述文本用于描述样本环境中部署的虚拟物品,示例性的,描述文本可以是通过人工标注获得的信息,也可以是对样本图像进行图像识别,得到的样本图像中的虚拟物品的外观。
·基于样本图像和描述文本对通识图像预测模型进行训练,得到图像预测模型;
示例性的,将描述文本输入通识图像预测模型,得到通识预测图像;通识预测图像是具有根据提示文本生成图像能力的通识图像预测模型预测得到的图像。根据通识预测图像和样本图像之间的区别,对通识图像预测模型进行后向传播训练,对通识图像预测模型的模型参数进行调整,训练得到图像预测模型。
示例性的,通识图像预测模型是具有根据提示文本生成图像的能力的模型。示例性的,在对通识图像预测模型进行训练的过程中,对通识图像预测模型的模型参数进行调整的目的是减小通识预测图像和样本图像之间的区别。
示例性的,图像预测模型是在通识图像预测模型的基础上训练得到的,通过对通识图像预测模型的模型参数进行调整,保证了训练得到的图像预测模型能够生成和样本图像具有相同搭建特征的图像,保证了图像预测模型生成的预测图像包括对至少一个虚拟模型的观察画面,图像预测模型模拟的兴趣虚拟环境进行观察的画面中,兴趣虚拟环境是基于至少一种候选虚拟模型搭建得到的。
示例性的,通识图像预测模型和通识图像预测模型具有相同的网络模型结构,但对应的网络模型参数通常是不同的。示例性的,在本实施例和图4示出的实施例结合的情况下,第一预测图像对应有第一图像预测模型,第二预测图像对应有第二图像预测模型,第一图像预测模型和第二图像预测模型的网络参数不同。进一步的,在训练过程中,基于对通识图像预测模型进行训练,得到第一图像预测模型;相似的,基于对通识图像预测模型进行训练,得到第二图像预测模型;得到第一图像预测模型的第一训练次数小于得到第一图像预测模型的第二训练次数。
综上所述,本实施例提供的方法,根据输入文本,通过调用图像预测模型生成包括至少一个候选虚拟模型的预测图像,为兴趣虚拟环境的搭建提供了有效参考;通过对通识图像预测模型进行训练,得到图像预测模型,提高了对兴趣虚拟环境的观察画面的预测准确程度;预测图像中包括对至少一个候选虚拟模型的观察画面,在预测图像和搭建界面提供的虚拟之间建立了联系,避免了在搭建虚拟环境的过程中,由于没有兴趣虚拟环境的参考画面而造成的重复调整搭建位置,提高了人机交互效率。
在另一种可选实现方式中,还包括如下步骤用于对图像预测模型进行训练:
·获取样本模型和样本模型的描述文本;
示例性的,样本模型可以是搭建界面中提供的候选虚拟模型,也可以是由多个候选虚拟模型搭建得到的模型,本实施例对此不进行限定。示例性的,描述文本用于描述样本模型的外观信息,示例性的,描述文本可以是通过人工标注获得的信息,也可以是对样本图像进行图像识别,得到的样本图像中的虚拟物品的外观。
·基于样本模型和描述文本对三维模型预测网络进行训练,得到训练后的三维模型预测网络;
示例性的,将描述文本输入三维模型预测网络,得到预测模型;三维模型预测网络用于根据描述文本生成三维虚拟模型。根据样本模型和预测模型之间的区别,对三维模型预测网络进行后向传播训练,对三维模型预测网络的模型参数进行调整,得到训练后的三维模型预测网络。
在一种可选实现方式中,对三维模型预测网络进行训练可以分为多个训练阶段;示例性的,以两个训练阶段为例进行说明。
在一种实现方式中,样本模型的外表面是通过三角形贴片进行拼接得到的立体结构;在第一训练阶段中,样本模型外表面的三角形贴片的数量小于数量阈值,在第二训练阶段中,样本模型外表面的三角形贴片的数量大于数量阈值。第一训练阶段的训练次数是预先设置的,在完成预先设置的训练次数后进入第二训练阶段。通过两个训练阶段,提高三维模型预测网络在三维结构的不同复杂程度下的预测能力。
在另一种实现方式中,在第一训练阶段中,描述文本仅包括对样本模型的三维结构的描述信息;在第二训练阶段中,描述文本还包括对样本模型的颜色、材质等其他外观属性的描述信息。通过两个训练阶段,首先对三维模型的结构预测能力进行训练,再对三维模型上如何进行光照、色彩填充等能力进行训练。
需要说明的是,图像预测模型中包括训练后的三维模型预测网络;在图像预测模型的使用过程中,调用图像预测模型生成的预测图像是针对预测虚拟环境的观察图像,预测虚拟环境是由训练后的三维模型预测网络根据输入文本生成的三维虚拟模型搭建得到的虚拟环境。
接下来,将对图像风格文本行进一步介绍。
在一种可选实现方式中,在图7示出的实施例中的步骤525能够实现为如下子步骤:
子步骤25a:获取样本图像和样本图像的描述文本;
示例性的,样本图像是对样本环境进行观察的画面;具体的,样本环境是基于搭建界面包括的至少一种候选虚拟模型搭建得到的虚拟环境。示例性的,描述文本用于描述样本环境中部署的虚拟物品,示例性的,描述文本可以是通过人工标注获得的信息,也可以是对样本图像进行图像识别,得到的样本图像中的虚拟物品的外观。
子步骤25b:对样本图像的图像风格进行特征提取处理,得到样本风格特征;
示例性的,特征提取处理可以将一个样本图像中的虚拟物品的颜色相似程度、样本图像的光照条件等特征确定为样本风格特征;也可以将多个样本图像中具有相似度的特征确定为样本风格特征。比如,样本风格特征是两张样本图像中均具有的:虚拟建筑均是按照低矮建筑位于样本图像中的中部区域,高耸建筑位于样本图像中的左右两侧区域的建筑风格特征。样本风格特征是两张样本图像中均具有的:色彩饱和度均低于第一门限的色彩风格特征。
子步骤25c:调用通识图像预测模型对描述文本和初始风格文本进行预测处理,得到风格预测图像;
示例性的,初始风格文本包括风格描述词和权重信息;风格描述词是描述样本风格特征的自然语言词语,初始风格文本可以是预先选定的,也可以是根据样本风格特征确定的。
示例性的,将描述文本和初始风格文本作为通识图像预测模型的输入参数进行预测处理,得到风格预测图像;该风格预测图像是预测得到的、和样本图像具有相同整体风格特征的图像。示例性的,权重信息用于指示风格描述词的对图像预测模型的约束程度;示例性的,权重信息是经过标准化处理的信息,权重信息以数值1为标准浮动,指示风格描述词的重要程度。
子步骤25d:以降低风格预测图像的预测风格特征和样本风格特征之间的差异为修正目标,修正初始风格文本中的权重信息,得到图像风格文本;
示例性的,预测风格特征和样本风格特征之间的差异,用于指示风格预测图像的整体风格特征和样本图像的整体风格特征之间的差异;这种差异是由于初始风格文本没有准确表述提取得到的样本风格特征导致的;示例性的,是由于在使用自然语言描述样本风格特征,以及通识图像预测模型对自然语言的理解之间存在偏差造成的。
示例性的,通过修正初始风格文本中的权重信息,调整初始风格文本中的风格描述词对通识图像预测模型的影响程度,以实现得到图像风格文本,进而保证风格预测图像的整体风格特征和样本图像的整体风格特征相近。
在一个示例中,得到的图像风格文本为:卡通风格、三维图像、柔和的灯光(1.5)、色彩缤纷的闪光、柔和的填充颜色(1.3)。示例性的,括弧内的数值信息为风格描述词的权重信息。
综上所述,本实施例提供的方法,根据输入文本,通过调用图像预测模型生成包括至少一个候选虚拟模型的预测图像,为兴趣虚拟环境的搭建提供了有效参考;通过得到图像风格文本,保证预测图像和样本图像具有相同的整体风格特征;预测图像中包括对至少一个候选虚拟模型的观察画面,在预测图像和搭建界面提供的虚拟之间建立了联系,避免了在搭建虚拟环境的过程中,由于没有兴趣虚拟环境的参考画面而造成的重复调整搭建位置,提高了人机交互效率。
图8示出了本申请一个示例性实施例提供的图像生成方法的流程图。该方法包括:
步骤702:获取样本图像和描述文本;
示例性的,样本图像是对样本环境进行观察的画面;在一个示例中,样本环境是用于为虚拟角色进行闯关类关卡的虚拟环境,样本图像可以是该闯关类关卡的截图信息。示例性的,描述文本用于描述样本环境中部署的虚拟物品。
步骤704:调用通识图像预测模型对描述文本进行预测;
示例性的,将描述文本输入通识图像预测模型,调用通识图像预测模型对描述文本进行预测。
步骤706:输出通识预测图像;
示例性的,响应于调用通识图像预测模型对描述文本进行预测,通识图像预测模型输出通识预测图像。
步骤708:人工标注样本图像和通识预测图像之间整体风格差异;
示例性的,整体风格用于指示虚拟物品的颜色相似程度、样本图像的光照条件等特征。
步骤710:判断是否满足模型训练要求;
示例性的,判断人工标注的整体风格差异是否满足针对通识预测图像的模型训练要求,模型训练要求通常是预设的。
示例性的,在满足模型训练要求的情况下,执行步骤712;在不满足模型训练要求的情况下,执行步骤714。
示例性的,模型训练要求可以是针对同时训练模型的训练次数。示例性的,针对输入文本:一个室外的就餐区域,餐桌上方有遮阳布,餐桌附近有草坪和树木,还有一辆汽车。
经过a次模型训练得到的第一图像预测模型在使用阶段预测得到的预测图像如图9中的第一图像631所示;经过b次模型训练得到的第二图像预测模型在使用阶段预测得到的预测图像如图9中的第二图像632所示;经过c次模型训练得到的第三图像预测模型在使用阶段预测得到的预测图像如图9中的第三图像633所示。
示例性的,a大于b,b大于c,且a、b、c均为正整数。可以看出,第一图像631至第三图像633的复杂程度逐渐提高,这是由于模型的训练次数导致的。具体的,第一图像预测模型经过a次模型训练,生成的第一图像631中接近闯关类关卡的截图信息,第一图像631中的各个虚拟物体是基于搭建界面提供的候选虚拟模型搭建的。随着训练次数的减小,第二图像632、第三图像633中,闯关类关卡的截图信息对模型的约束逐渐变小,生成的虚拟物体和搭建界面提供的候选虚拟模型的关联程度降低。
可以看出,第一图像631中的虚拟车辆的主体为立方体,是由立方体作为车身、圆柱形作为车轮进行拼接得到的,仅需要在车头部分添加部分车辆细节,虚拟书树木也是由立方体和球形进行拼接得到的。而在第二图像632中,虚拟车辆具有了圆滑的车辆外观,虚拟植物也有了不同类型,部分植物有丰富的叶片细节特征。进一步的,在第三图像633中虚拟车辆具有了车灯、进气格栅、车辆腰线等丰富的车辆细节,在虚拟植物有叶片特征的前提下,虚拟草坪也有了细节特征。
步骤712:训练得到图像预测模型;
示例性的,将调用的通识图像预测模型确定为图像预测模型。
步骤714:调整通识预测图像的网络参数;
示例性的,对调用的通识图像预测模型的网络参数进行调整,进行后向误差传播训练,在执行步骤714之后执行步骤704。
综上所述,本实施例提供的方法,通过对通识图像预测模型进行训练,得到图像预测模型,提高了对兴趣虚拟环境的观察画面的预测准确程度;预测图像中包括对至少一个候选虚拟模型的观察画面,在预测图像和搭建界面提供的虚拟之间建立了联系,避免了在搭建虚拟环境的过程中,由于没有兴趣虚拟环境的参考画面而造成的重复调整搭建位置,提高了人机交互效率。
接下来,将通过三个实施例对兴趣虚拟环境的搭建过程进行介绍。
图10示出了本申请一个示例性实施例提供的图像生成方法的流程图。以该方法应用于终端中为例进行说明,即在图3示出的实施例的基础上,还包括步骤542、步骤543:
步骤542:显示第一虚拟模型的颜色选择器;
示例性的,第一虚拟模型是在搭建界面中创建的虚拟模型,第一虚拟模型用于搭建兴趣虚拟环境。示例性的,第一虚拟模型和搭建界面中提供的至少一种虚拟模型具有相同的种类。
示例性的,第一虚拟模型的颜色选择器提供有至少一种推荐颜色,用于推荐在搭建界面中对第一虚拟模型的外表面进行填充。示例性的,推荐颜色是预测图像中的颜色;具体的,推荐颜色是预测图像中兴趣取色点的颜色。兴趣取色点的位置归属于第一兴趣区域,第一兴趣区域可以是预测图像中由线条围成的区域;比如一个第一颜色线条围成的多边形,第一颜色和多边形填充的没人颜色可以是不同的。也可以是一个色块区域,比如一个第三颜色的椭圆形色块。
示例性的,第一兴趣区域的形状和第一虚拟模型在至少一个视角下的观察形状相同。以第一虚拟模型是是一个立方体为例,在正视视角下针对立方体的观察形状为矩形,对应的第一兴趣区域也是一个矩形。在另一个视角下针对立方体的观察形状能够看出立方体的三维结构,观察形状为一个六边形,该六边形上互不相邻的三个顶点对应与互不平行的三条线段的起点,上述三条线段在六边形内部相交。对应的第一兴趣区域也是一个六边形。可以理解的,受到三维结构的影响,六边形中不同区域的颜色明暗程度可以不同。
步骤543:响应于填充操作,在第一虚拟模型的至少一个外表面上显示填充操作选中的第一推荐颜色;
示例性的,填充操作是针对颜色选择器上的任意一种推荐颜色的选择操作;在颜色选择器提供有一种推荐颜色的情况下,填充操作可以是针对搭建界面中的第一虚拟模型的触发操作;比如,长按第一虚拟模型、双击第一虚拟模型。在颜色选择器提供有多种推荐颜色的情况下,填充操作可以是针对任意一种推荐颜色的触发操作;比如,点击第一推荐颜色、将第一推荐颜色拖拽到第一虚拟模型上。
示例性的,颜色选择器可以以气泡方式显示在第一虚拟模型周侧,也可以以弹出式卡片的方式显示在搭建界面上。
示例性的,至少一个外表面对应与第一兴趣区域。填充第一推荐颜色的外表面是在预测图像中能够观察到的外表面。进一步的,填充操作为针对第一推荐颜色的拖拽操作,将拖拽操作的结束位置对应的外表面上显示为第一推荐颜色。
综上所述,本实施例提供的方法,通过根据输入文本,生成包括至少一个候选虚拟模型的预测图像,为兴趣虚拟环境的搭建提供了有效参考;通过在颜色选择器上推荐预测图像中的填充颜色,在兴趣虚拟环境的搭建阶段提供了有效参考,提高了人机交互效率。
图11示出了本申请一个示例性实施例提供的图像生成方法的流程图。以该方法应用于终端中为例进行说明,即在图3示出的实施例的基础上,还包括步骤544、步骤545:
步骤544:显示至少一种推荐模型;
示例性的,推荐模型是搭建界面中包括的候选虚拟模型,显示推荐模型用于提示在搭建界面中创建该推荐模型,以用于搭建兴趣虚拟环境。
示例性的,推荐模型在至少一个视角下的观察形状和预测图像中的第二兴趣区域的形状相同;示例性的,第二兴趣区域可以是预测图像中由线条围成的区域,也可以是一个色块区域;本申请对此不进行限制。关于第二兴趣区域的详细介绍可以参考上文中的第一兴趣区域。
步骤545:响应于针对推荐模型中的第一推荐模型的模型选中操作,在搭建界面中创建第一推荐模型;
示例性的,第一推荐模型用于搭建兴趣虚拟环境,兴趣虚拟环境中包括有第一推荐模型,第一推荐模型用于搭建预测图像中的一个虚拟物品,或一个虚拟物品中的一个子部分。
示例性的,本实施例对第一推荐模型的位置、尺寸、颜色填充等参数的设置不进行限制,可以通过调整上述参数中的至少之一,对兴趣虚拟环境进行搭建。
综上所述,本实施例提供的方法,通过根据输入文本,生成包括至少一个候选虚拟模型的预测图像,为兴趣虚拟环境的搭建提供了有效参考;通过显示至少一种推荐模型,在兴趣虚拟环境的搭建阶段为候选虚拟模型的选择提供了有效参考,提高了人机交互效率。
图12示出了本申请一个示例性实施例提供的图像生成方法的流程图。以该方法应用于终端中为例进行说明,即在图3示出的实施例的基础上,还包括步骤546、步骤547:
步骤546:显示第一模型相对于第二模型的推荐位置;
示例性的,在第一模型位于推荐位置的情况下,第一模型和第二模型组成有兴趣模型组;兴趣模型组可以是预测图像中的一个或多个虚拟物品,但也不排除是一个虚拟物品中的子部分的情况。
示例性的,第一模型为圆锥模型、第二模型为圆柱模型,第一模型在推荐位置和第二模型组成的兴趣模型组对应于虚拟城堡;即兴趣模型组是预测图像中的一个虚拟物品。示例性的,第一模型为台灯模型、第二模型为桌子模型,第一模型在推荐位置和第二模型组成的兴趣模型组对应于预测图像中的虚拟台灯和虚拟桌子,虚拟台灯放置在虚拟桌子上;即兴趣模型组是预测图像中的多个虚拟物品。
示例性的,兴趣模型组在至少一个视角下的观察形状和预测图像中的第三兴趣区域的形状相同;示例性的,第二兴趣区域可以是预测图像中由线条围成的区域,也可以是一个色块区域;本申请对此不进行限制。关于第三兴趣区域的详细介绍可以参考上文中的第一兴趣区域。
步骤547:响应于位置选中操作,在搭建界面中将第一模型移动至推荐位置;
示例性的,第一模型的位置选中操作,可以是针对推荐位置的触发操作,也可以是针对第一模型的拖拽操作,本申请对位置选中操作的操作方式不进行限制。
示例性的,在位置选中操作是针对第一模型的拖拽操作的情况下,在拖拽位置和推荐位置的距离小于距离门限的情况下,将第一模型位置显示为推荐位置;通过在拖拽位置和推荐位置的距离小于距离门限的情况下,将第一模型位置吸附在推荐位置上;能够快速选定推荐位置。示例性的,距离门限通常是预先设置的经验值。
综上所述,本实施例提供的方法,通过根据输入文本,生成包括至少一个候选虚拟模型的预测图像,为兴趣虚拟环境的搭建提供了有效参考;通过显示第一模型相对于第二模型的推荐位置,在兴趣虚拟环境的搭建阶段为确定第一模型在兴趣虚拟环境中的位置提供了有效参考,提高了人机交互效率。
图13是本申请一个示例性实施例提供的图像生成方法的流程图;以该方法应用于终端中为例进行说明,即在图3示出的实施例中的步骤520能够实现为步骤522、步骤524、步骤526:
步骤522:响应于针对语言模板的触发操作,显示语言模板对应的第一文本;
示例性的,第一文本包括对兴趣虚拟环境中的虚拟物品在至少一个外观属性上的初始描述词;外观属性包括颜色、材质、纹理、三维结构、尺寸、填充图案中的至少之一。具体的,进行如下介绍。
颜色,用于指示虚拟物体的贴图颜色,该颜色可以是单一颜色,也可以是多个颜色的组合。
材质,用于指示虚拟物体通过反光率、透明度等参数信息模拟现实物体的材质,比如金属材质、玻璃材质、橡胶材质等。
纹理,用于指示虚拟物体通过贴图等方式模拟现实物体凹凸不平的纹路。
三维结构,用于指示虚拟物体在三维空间中的结构信息,比如:球形、椭球形、圆柱、圆锥、棱柱体、棱锥体等三维形状中的至少一个,或通过组合组成的三维结构。示例性的,三维结构还可以是外表面是通过三角形进行拼接得到的立体结构。
尺寸,用于指示虚拟物体在三维空间中的长度、宽度、高度等描述虚拟物体大小的信息。
填充图案,用于指示虚拟物体在外表面贴图的图案。
步骤524:响应于针对第一文本的编辑操作,显示第一文本变更为第二文本;
示例性的,第二文本用于对第一文本中的初始描述词进行修改;第二文本是替换了第一文本中在至少一个外观属性上的描述词,但并没有删除或新增第一文本中包括的外观属性的维度。
步骤526:响应于针对第二文本的确认操作,将第二文本确定为输入文本;
示例性的,通过编辑操作,获得了兴趣虚拟环境的描述信息,第二文本中携带有至少一个维度的外观属性,实现了对兴趣虚拟环境从不同维度进行描述。
综上所述,本实施例提供的方法,通过根据输入文本,生成包括至少一个候选虚拟模型的预测图像,为兴趣虚拟环境的搭建提供了有效参考;通过第一文本引导获取多个维度的外观属性,提高了输入文本对兴趣虚拟环境进行描述的维度,预测图像中包括对至少一个候选虚拟模型的观察画面,在预测图像和搭建界面提供的虚拟之间建立了联系,避免了在搭建虚拟环境的过程中,由于没有兴趣虚拟环境的参考画面而造成的重复调整搭建位置,提高了人机交互效率。
本领域普通技术人员可以理解,上述实施例可以独立实施,也可以将上述实施例进行自由组合,组合出新的实施例实现本申请的图像生成方法。
图14示出了本申请一个示例性实施例提供的图像生成装置的结构框图。
该装置包括:
显示模块810,用于显示虚拟环境的搭建界面,所述搭建界面中包括用于搭建虚拟环境的至少一种候选虚拟模型;
获取模块820,用于获取输入文本,所述输入文本是搭建兴趣虚拟环境的提示文本,所述输入文本用于描述所述兴趣虚拟环境包括的至少一个虚拟物品的外观;
所述显示模块810,还用于响应于获取到所述输入文本,显示预测图像,所述预测图像是针对使用所述至少一种候选虚拟模型搭建的所述兴趣虚拟环境的预览图像,所述预测图像包括对至少一个所述候选虚拟模型的观察画面。
在本实施例的一个可选实现方式中,所述预测图像包括第一预测图像和第二预测图像;所述显示模块810还用于:
响应于获取到所述输入文本,显示所述第一预测图像和所述第二预测图像;
其中,所述第一预测图像中的第一虚拟物品是由第一数量的所述候选虚拟模型拼接得到的,所述第二预测图像中的第二虚拟物品是由第二数量的所述候选虚拟模型拼接得到的;所述第一虚拟物品和所述第二虚拟物品属于相同的物品类型,第一数量和第二数量均为正整数,第一数量小于第二数量。
在本实施例的一个可选实现方式中,所述预测图像以悬浮窗方式叠加显示在所述搭建界面上;
或,所述预测图像和所述搭建界面以分屏方式显示;
或,所述预测图像以贴图方式显示在所述搭建界面中的至少一个虚拟模型上。
在本实施例的一个可选实现方式中,所述显示模块810还用于:
响应于获取到所述输入文本,调用所述图像预测模型,根据所述输入文本预测得到所述预测图像,以及显示所述预测图像,所述图像预测模型用于根据输入的提示文本生成图像。
在本申请的一个可选设计中,所述获取模块820,还用于获取样本图像和所述样本图像的描述文本,所述样本图像是对样本环境进行观察的画面,所述样本环境是基于所述搭建界面包括的所述至少一种候选虚拟模型搭建得到的虚拟环境;
所述装置还包括处理模块830:
所述处理模块830,用于基于所述样本图像和所述描述文本对通识图像预测模型进行训练,得到所述图像预测模型,所述通识图像预测模型是具有根据提示文本生成图像的能力的模型。
在本实施例的一个可选实现方式中,所述获取模块820还用于:
获取图像风格文本,所述图像风格文本是描述预测图像的风格类型的提示文本;
所述显示模块810还用于:
响应于获取到所述输入文本和所述图像风格文本,将所述输入文本和所述图像风格文本确定为图像预测模型的输入参数;
调用所述图像预测模型,根据所述输入参数预测得到所述预测图像,所述图像预测模型用于根据输入的提示文本生成图像。
在本实施例的一个可选实现方式中,所述获取模块820还用于:
获取样本图像和所述样本图像的描述文本,所述样本图像是对样本环境进行观察的画面,所述样本环境是基于所述搭建界面包括的所述至少一种候选虚拟模型搭建得到的虚拟环境;
对所述样本图像的图像风格进行特征提取处理,得到样本风格特征;
调用通识图像预测模型对所述描述文本和初始风格文本进行预测处理,得到风格预测图像,所述初始风格文本包括风格描述词和权重信息;
以降低所述风格预测图像的预测风格特征和所述样本风格特征之间的差异为修正目标,修正所述初始风格文本中的权重信息,得到所述图像风格文本。
在本实施例的一个可选实现方式中,所述显示模块810还用于:
显示第一虚拟模型的颜色选择器,所述颜色选择器提供有至少一种推荐颜色,所述推荐颜色是所述预测图像中兴趣取色点的颜色,所述兴趣取色点的位置归属于第一兴趣区域,所述第一兴趣区域的形状和第一虚拟模型在至少一个视角下的观察形状相同;
响应于填充操作,在所述第一虚拟模型的至少一个外表面上显示所述填充操作选中的第一推荐颜色,所述至少一个外表面对应与所述第一兴趣区域。
在本实施例的一个可选实现方式中,所述显示模块810还用于:
显示至少一种推荐模型,所述推荐模型是所述搭建界面中包括的候选虚拟模型,所述推荐模型在至少一个视角下的观察形状和所述预测图像中的第二兴趣区域的形状相同;
响应于针对所述推荐模型中的第一推荐模型的模型选中操作,在所述搭建界面中创建所述第一推荐模型,所述第一推荐模型用于搭建所述兴趣虚拟环境。
在本实施例的一个可选实现方式中,所述显示模块810还用于:
显示第一模型相对于第二模型的推荐位置,所述第一模型在所述推荐位置和所述第二模型组成有兴趣模型组,所述兴趣模型组在至少一个视角下的观察形状和所述预测图像中的第三兴趣区域的形状相同;
响应于针对所述第一模型的位置选中操作,在所述搭建界面中将所述第一模型移动至所述推荐位置。
在本实施例的一个可选实现方式中,所述获取模块820还用于:
响应于针对语言模板的触发操作,显示所述语言模板对应的第一文本,所述第一文本包括对所述兴趣虚拟环境中的虚拟物品在至少一个外观属性上的初始描述词;
响应于针对所述第一文本的编辑操作,显示所述第一文本变更为第二文本,所述第二文本用于对所述第一文本中的所述初始描述词进行修改;
响应于针对所述第二文本的确认操作,将所述第二文本确定为所述输入文本。
需要说明的一点是,上述实施例提供的装置在实现其功能时,仅以上述各个功能模块的划分进行举例说明,实际应用中,可以根据实际需要而将上述功能分配由不同的功能模块完成,即将设备的内容结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述;各个模块执行操作取得的技术效果与有关该方法的实施例中的技术效果相同,此处将不做详细阐述说明。
本申请实施例还提供了一种计算机设备,该计算机设备包括:处理器和存储器,存储器中存储有计算机程序;所述处理器,用于执行所述存储器中的所述计算机程序以实现上述各方法实施例提供的图像生成方法。
图15示出了本申请一个示例性实施例提供的终端的结构框图。该终端1900可以是:智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio LayerIV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1900还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其它名称。
通常,终端1900包括有:处理器1901和存储器1902。处理器1901可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1901可以采用DSP(Digital SignalProcessing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1901也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central Processing Unit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1901可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1901还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1902可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1902还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1902中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器1901所执行以实现本申请中方法实施例提供的图像生成方法。
在一些实施例中,终端1900还可选包括有:外围设备接口1903和至少一个外围设备。处理器1901、存储器1902和外围设备接口1903之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1903相连。具体地,外围设备包括:射频电路1904、触摸显示屏1905、摄像头组件1906、音频电路1907和电源1908中的至少一种。
外围设备接口1903可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器1901和存储器1902。在一些实施例中,处理器1901、存储器1902和外围设备接口1903被集成在同一芯片或电路板上;在一些其它实施例中,处理器1901、存储器1902和外围设备接口1903中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路1904用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路1904通过电磁信号与通信网络以及其它通信设备进行通信。射频电路1904将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1904包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1904可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路1904还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
触摸显示屏1905用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。触摸显示屏1905还具有采集在触摸显示屏1905的表面或表面上方的触摸信号的能量。该触摸信号可以作为控制信号输入至处理器1901进行处理。此时,触摸显示屏1905还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,触摸显示屏1905可以为一个,设置终端1900的前面板;在另一些实施例中,触摸显示屏1905可以为至少两个,分别设置在终端1900的不同表面或呈折叠设计;在再一些实施例中,触摸显示屏1905可以是柔性显示屏,设置在终端1900的弯曲表面上或折叠面上。甚至,触摸显示屏1905还可以设置成非矩形的不规则图形,也即异形屏。触摸显示屏1905可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1906用于采集图像或视频。可选地,摄像头组件1906包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件1906还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路1907可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1901进行处理,或者输入至射频电路1904以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端1900的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1901或射频电路1904的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1907还可以包括耳机插孔。
电源1908用于为终端1900中的各个组件进行供电。电源1908可以是交流电、直流电、一次性电池或可充电电池。当电源1908包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端1900还包括有一个或多个传感器1909。该一个或多个传感器1909包括但不限于:加速度传感器1910、陀螺仪传感器1911、压力传感器1912、光学传感器1913以及接近传感器1914。
加速度传感器1910可以检测以终端1900建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器1910可以用于检测重力加速度在三个坐标轴上的分量。处理器1901可以根据加速度传感器1910采集的重力加速度信号,控制触摸显示屏1905以横向视图或纵向视图进行用户界面的显示。加速度传感器1910还可以用于游戏或者用户的运动数据的采集。陀螺仪传感器1911可以检测终端1900的机体方向及转动角度,陀螺仪传感器1911可以与加速度传感器1910协同采集用户对终端1900的3D动作。处理器1901根据陀螺仪传感器1911采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1912可以设置在终端1900的侧边框和/或触摸显示屏1905的下层。当压力传感器1912设置在终端1900的侧边框时,可以检测用户对终端1900的握持信号,由处理器1901根据压力传感器1912采集的握持信号进行左右手识别或快捷操作。当压力传感器1912设置在触摸显示屏1905的下层时,由处理器1901根据用户对触摸显示屏1905的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
光学传感器1913用于采集环境光强度。在一个实施例中,处理器1901可以根据光学传感器1913采集的环境光强度,控制触摸显示屏1905的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏1905的显示亮度;当环境光强度较低时,调低触摸显示屏1905的显示亮度。在另一个实施例中,处理器1901还可以根据光学传感器1913采集的环境光强度,动态调整摄像头组件1906的拍摄参数。
接近传感器1914,也称距离传感器,通常设置在终端1900的前面板。接近传感器1914用于采集用户与终端1900的正面之间的距离。在一个实施例中,当接近传感器1914检测到用户与终端1900的正面之间的距离逐渐变小时,由处理器1901控制触摸显示屏1905从亮屏状态切换为息屏状态;当接近传感器1914检测到用户与终端1900的正面之间的距离逐渐变大时,由处理器1901控制触摸显示屏1905从息屏状态切换为亮屏状态。
本领域技术人员可以理解,上述结构并不构成对终端1900的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
在示例性实施例中,还提供了一种芯片,所述芯片包括可编程逻辑电路和/或程序指令,当所述芯片在计算机设备上运行时,用于实现上述方面所述的图像生成方法。
在示例性实施例中,还提供了一种计算机程序产品,该计算机程序产品包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器从计算机可读存储介质读取并执行该计算机指令,以实现上述各方法实施例提供的图像生成方法。
在示例性实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,所述计算机程序由处理器加载并执行以实现上述各方法实施例提供的图像生成方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
- 图像生成方法、装置,图像显示方法、装置和存储介质
- 一种图像生成方法、装置、设备和存储介质
- 图像生成方法和装置、计算机设备和计算机存储介质
- 中文训练图像生成方法、装置、计算机设备及存储介质
- 手势三维图像生成方法、装置、计算机设备及存储介质
- 图像生成模型训练方法、图像生成方法、装置、设备及存储介质
- 图像生成方法、图像生成装置、存储介质与电子设备