掌桥专利:专业的专利平台
掌桥专利
首页

一种图像处理方法、装置、设备、介质及程序产品

文献发布时间:2023-06-19 19:30:30


一种图像处理方法、装置、设备、介质及程序产品

技术领域

本申请涉及计算机技术领域,具体涉及图像处理领域,尤其涉及一种图像处理方法、一种图像处理装置、一种图像处理设备、一种计算机可读存储介质以及一种计算机程序产品。

背景技术

随着科学技术的飞速发展,人体姿态迁移技术受到大众广泛关注;人体姿态迁移可以简单理解为:将图像所包含的目标对象的姿态转换成目标姿态的过程。因此,如何对目标对象的姿态进行姿态迁移,以提高姿态迁移后的目标对象的质量,成为研究的热点话题。

发明内容

本申请实施例提供一种图像处理方法、装置、设备、介质及程序产品,能够提高姿态迁移后的目标对象的质量。

一方面,本申请实施例提供一种图像处理方法,该方法包括:

获取包含目标对象的初始图像,并对初始图像中的目标对象进行姿态扭转处理,得到姿态扭转图像;

对姿态扭转图像和初始图像进行图像融合,得到融合图像;融合图像中的目标对象的姿态,与姿态扭转图像中的目标对象的姿态相同;

从融合图像中截取出包含目标对象的指定部位的部位图像,并对部位图像进行图像超分处理,得到超分后的部位图像;

融合超分后的部位图像和融合图像,得到目标图像。

另一方面,本申请实施例提供一种图像处理装置,该装置包括:

获取单元,用于获取包含目标对象的初始图像,并对初始图像中的目标对象进行姿态扭转处理,得到姿态扭转图像;

处理单元,用于对姿态扭转图像和初始图像进行图像融合,得到融合图像;融合图像中的目标对象的姿态,与姿态扭转图像中的目标对象的姿态相同;

获取单元,用于从融合图像中截取出包含目标对象的指定部位的部位图像,并对部位图像进行图像超分处理,得到超分后的部位图像;

处理单元,用于融合超分后的部位图像和融合图像,得到目标图像。

在一种实现方式中,初始图像中的目标对象呈现初始姿态,处理单元,用于对初始图像中的目标对象进行姿态扭转处理,得到姿态扭转图像时,具体用于:

获取素材图像,素材图像包括素材对象且素材对象呈现目标姿态;

对初始图像中目标对象进行建模,得到第一模型;对素材图像中素材对象进行建模,得到第二模型;对任一对象进行建模得到的模型包括:构成任一对象所呈现的姿态的多个网格,每个网格关联有任一对象的纹理信息;

基于第一模型与第二模型之间的网格对应关系,将第一模型中的各个网格所关联的纹理信息,映射至第二模型中的相应网格中;

采用映射后的第二模型,生成姿态扭转图像。

在一种实现方式中,处理单元用于获取素材图像时,具体用于:

获取素材视频,素材视频包括N帧图像帧,N为大于零的整数;

遍历素材视频中的各个图像帧,并将当前被遍历的图像帧确定为素材图像。

在一种实现方式中,处理单元,还用于:

当素材视频中的各个图像帧均被遍历后,得到N个目标图像,一个目标图像对应素材视频中的一个图像帧;

按照各个目标图像对应的图像帧在素材视频中的播放顺序,对N个目标图像进行按序排列,得到目标视频。

在一种实现方式中,处理单元用于对姿态扭转图像和初始图像进行图像融合,得到融合图像时,具体用于:

对初始图像中的目标对象进行特征提取处理,得到第一特征图;以及,对姿态扭转图像进行特征提取处理,得到第二特征图;其中,任一特征图中包括多个特征;

按照第一特征图和第二特征图之间的特征对应关系,采用第一特征图中的各个特征,替换第二特征图中的对应特征;

基于特征替换后的第二特征图进行图像重建,得到融合图像。

在一种实现方式中,处理单元用于对初始图像中的目标对象进行特征提取处理,得到第一特征图时,具体用于:

对初始图像进行前景分割处理,得到包含目标对象的前景图像;

对前景图像进行特征提取处理,得到第一特征图。

在一种实现方式中,处理单元用于基于特征替换后的第二特征图进行图像重建,得到融合图像时,具体用于:

基于特征替换后的第二特征图,重建出包含呈现目标姿态的目标对象的色彩模式图像,以及包含呈现目标姿态的目标对象的掩膜图像;

根据色彩模式图像和掩膜图像,生成融合图像。

在一种实现方式中,处理单元用于根据色彩模式图像和掩膜图像,生成融合图像时,具体用于:

获取目标背景图像,目标背景图像包括:初始图像的背景图像,或者素材图像的背景图像,或者自定义背景图像;

对色彩模式图像和掩膜图像进行图像融合,得到中间图像;

将目标背景图像叠加至中间图像中,得到融合图像。

在一种实现方式中,当目标背景图像是自定义背景图像时,处理单元,还用于:

显示数据推荐界面,数据推荐界面中包括一个或多个多媒体数据;

当数据推荐界面中的任一多媒体数据被选中时,从被选中的多媒体数据中分割出目标背景图像;

其中,被选中的多媒体数据为图像或者视频流,当被选中的多媒体数据为视频流时,目标背景图像是从被选中的多媒体数据中的任一图像帧中分割出的。

在一种实现方式中,处理单元用于对部位图像进行图像超分处理,得到超分后的部位图像时,具体用于:

从初始图像中截取出包含目标对象的指定部位的图像,作为参考图像;其中,参考图像的清晰度高于部位图像的清晰度;

对参考图像进行特征提取得到参考图像特征,以及对部位图像进行特征提取得到部位图像特征;

融合参考图像特征和部位图像特征,并基于融合后的特征进行图像重建,得到超分后的部位图像。

另一方面,本申请实施例提供了一种图像处理设备,该图像处理设备包括:

处理器,用于加载并执行计算机程序;

计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,该计算机程序被处理器执行时,实现上述图像处理方法。

另一方面,本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,该计算机程序适于由处理器加载并执行上述图像处理方法。

另一方面,本申请实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。图像处理设备的处理器从计算机可读存储介质读取该计算机指令,计算机指令被处理器执行时实现上述的图像处理方法。

本申请实施例中,可对获取到的初始图像中目标对象进行姿态扭转处理,使得扭转后的姿态扭转图像中包含目标对象且目标对象呈现目标姿态;再采用细节较为丰富的初始图像对细节较为粗糙的姿态扭转图像进行图像融合,得到细节较为丰富的融合图像,实现对姿态扭转图像所包含的呈现目标姿态的目标对象的精修,并且,姿态扭转图像所包含的目标对象已经呈现目标姿态,这使得图像融合过程中可专注于对姿态扭转图像的细节特征的丰富,而不用考虑对目标对象的姿态进行扭转,降低图像融合的难度。另外,还支持对从融合图像中截取的包含目标对象的指定部位的部位图像,进行图像超分处理,使得超分后的部位图像所包含的指定部位的清晰度更高,且对包含指定部位的部位图像进行图像超分处理,可以节省图像处理资源;再将超分后的部位图像与融合图像进行融合,得到清晰度较高的目标图像。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1a示出了本申请一个示例性实施例提供的一种图像处理系统的架构示意图;

图1b示出了本申请一个示例性实施例提供的一种图像处理场景的场景示意图;

图2示出了本申请一个示例性实施例提供的一种图像处理方法的流程示意图;

图3示出了本申请一个示例性实施例提供的一种初始图像的示意图;

图4a示出了本申请一个示例性实施例提供的一种获取初始图像的界面流程示意图;

图4b示出了本申请一个示例性实施例提供的一种从社交会话界面中确定初始图像的界面流程示意图;

图5示出了本申请一个示例性实施例提供的一种基于素材图像对初始图像中目标对象进行姿态扭转处理,得到姿态扭转图像的界面流程示意图;

图6a示出了本申请一个示例性实施例提供的一种素材选择界面的示意图;

图6b示出了本申请一个示例性实施例提供的一种素材获取界面的示意图;

图6c示出了本申请一个示例性实施例提供的一种从同一界面中获取初始图像和素材图像的示意图;

图7示出了本申请一个示例性实施例提供的一种融合图像的示意图;

图8示出了本申请一个示例性实施例提供的一种对部位图像进行图像超分处理后,得到超分后的部位图像的示意图;

图9示出了本申请一个示例性实施例提供的一种目标图像的示意图;

图10示出了本申请一个示例性实施例提供的一种图像处理方法的流程示意图;

图11示出了本申请一个示例性实施例提供的一种对目标对象和素材对象进行建模的示意图;

图12示出了本申请一个示例性实施例提供的一种网格映射的示意图;

图13a示出了本申请一个示例性实施例提供的一种GAN生成网络的结构示意图;

图13b示出了本申请一个示例性实施例提供的一种基于色彩模式图像和掩膜图像生成融合图像的示意图;

图14示出了本申请一个示例性实施例提供的一种对图像进行前景分割处理,得到背景图像和前景图像的示意图;

图15示出了本申请一个示例性实施例提供的一种采用素材图像的背景图像作为目标背景图像,与中间图像进行叠加得到融合图像的示意图;

图16示出了本申请一个示例性实施例提供的一种目标背景图像为目标用户自定义的背景图像的示意图;

图17示出了本申请一个示例性实施例提供的一种人脸增强模型的结构示意图;

图18示出了本申请一个示例性实施例提供的一种图像处理装置的结构示意图;

图19示出了本申请一个示例性实施例提供的一种图像处理设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

在本申请实施例中,涉及一种图像处理系统,该图像处理系统可如图1a所示;该图像处理系统可包括终端和服务器,本申请对终端和服务器的数量不作限定。其中,终端可包括但不限于:智能手机(如Android手机、iOS手机等)、平板电脑、便携式个人计算机、移动互联网设备(Mobile Internet Devices,简称MID)、智能电视、车载设备、头戴设备等可以进行触屏的智能设备。终端中可以运行具备图像处理功能的应用程序(可简称为应用);应用程序可是指为完成某项或多项特定功能的计算机程序;按照应用程序的运行方式分类,应用程序可包括但不限于:安装在终端中的客户端、无需下载安装即可使用的小程序、通过浏览器打开的web应用程序等等。按照应用程序的功能类型分类,应用程序可包括但不限于:IM(Instant Messaging,即时通信)应用程序、内容交互应用程序等等;其中,即时通信应用程序是指基于互联网的即时交流消息和社交交互的应用程序,即时通信应用程序可以包括但不限于:包含通信功能的社交应用程序、包含社交交互功能的地图应用程序、游戏应用程序等等。内容交互应用程序是指能够实现内容交互的应用程序,例如可以是网银、分享平台、个人空间、新闻等应用程序。本申请实施例对目标应用程序具体为上述哪种类型的应用程序不作限定,特此说明。服务器可以包括但不限于:数据处理服务器、Web服务器、应用服务器等等具有复杂计算能力的设备。服务器可以是任一应用的后台服务器,用于与运行该任一应用的终端进行交互,以为该任一应用提供计算和应用服务支持。服务器可以是独立的物理服务器,也可以是由多个物理服务器构成的服务器集群或者分布式系统。终端和服务器可以通过有线或无线方式进行直接或间接地通信连接,本申请实施例并不对终端和服务器之间的连接方式进行限定。

基于上述的图像处理系统,本申请实施例提出一种图像处理方案,该图像处理方案可实现人体姿态迁移;其中,人体姿态迁移可以称为姿态迁移技术或人体姿态迁移技术,是一种将图像所包含的目标对象(如人或动物)的姿态转换为目标姿态(如任一指定姿态)的图像生成技术。具体实现中,当给定初始图像和目标姿态时,假设初始图像中包含的目标人体(如任一人体)呈现初始姿态,则对该目标人体进行姿态迁移处理可生成目标图像,该目标图像中包含初始图像的目标人体、且该目标人体呈现目标姿态。上述描述的人体姿态迁移的转换过程可参见图1a,如图1a所示,假设待进行姿态转换的图像为初始图像101,该初始图像101中包含目标人体1011,且目标姿态为素材图像102中的素材人体1021所呈现的姿态;那么对初始图像101中目标人体1011进行人体姿态迁移后,可生成目标图像103,该目标图像103中包含目标人体1011,且目标人体1011呈现的姿态与素材图像102中素材人体1021呈现的目标姿态相匹配(或相同)。通过人体姿态迁移技术能够实现对初始图像中目标对象的姿态进行转换,当存在多个目标姿态时可基于初始图像生成包含同一人体、但人体呈现不同目标姿态的多帧目标图像,这使得人体姿态迁移技术可被广泛应用多种场景中,如基于初始图像生成视频流的场景,在一定程度上丰富图像生成类玩法。

在具体实现中,该图像处理方案可由上述图像处理系统中的目标终端(即任一终端)来执行,或者,由目标终端中运行的具有图像处理功能的目标应用程序(如任一应用程序)来执行,或者,由目标终端(或目标终端中运行的具有图像处理功能的目标应用程序)与服务器共同来执行,或者,由服务器来执行。具体地,该图像处理方案可包括:获取包含呈现初始姿态的目标对象的初始图像(如图1a所示的初始图像101)以及目标姿态(或包含呈现目标姿态的素材对象的素材图像);并对初始图像中的目标对象进行姿态扭转处理,使得扭转后的姿态扭转图像所包含的目标对象呈现目标姿态;再依赖于初始图像包含有目标对象丰富的细节,将该姿态扭转图像和初始图像进行融合处理,得到细节更丰富的融合图像;然后,还可对融合图像中目标对象的指定部位(如脸部)进行细节增强,得到辨识度较高的目标图像(如图1a所示的目标图像102)。上述方案中,先对目标对象的姿态进行扭转,可以使得后续图像融合过程中可专注于提高目标对象的分辨率;并且,采用细节较为丰富的初始图像对细节较为粗糙的姿态扭转图像进行精修,可丰富融合图像的细节,提高融合图像中目标对象的纹理的清晰度。另外,还支持对包含目标对象的指定部位的部位图像进行图像超分处理,使得超分后的部位图像的清晰度更高,且对包含指定部位的部位图像进行图像超分处理,可以节省图像处理资源;再将超分后的部位图像与融合图像进行融合,得到清晰度较高的目标图像。

值得注意的是,当存在多帧素材图像时,可按照多帧素材图像中素材对象呈现的目标姿态对单帧初始图像中目标对象的初始姿态进行姿态迁移处理,得到每帧素材图像对应的目标图像,任一素材图像对应的目标图像中包含目标对象、且目标对象呈现的姿态与该任一素材图像中素材对象呈现的目标姿态是一致的。进一步地,若多帧素材图像是同一素材视频所包含的多帧图像帧,则按照该多帧图像帧在素材视频中的播放顺序,对多帧目标图像进行排序,可生成目标视频;当播放该目标视频时,每一视频帧中包含目标对象,且各帧视频帧中目标对象呈现不同目标姿态。

为便于更好地理解上述提出的图像处理场景,下面结合图1b对该图像处理场景进行详细介绍;如图1b所示,首先,获取待处理的初始图像101,该初始图像101中包含目标人体1011且目标人体1011呈现的初始姿态为站立姿态;以及获取素材视频104,该素材视频104,素材视频104包括N帧图像帧,N为大于零的整数,如图1b所示该素材视频中包含图像帧1041、图像帧1042、……等。其次,遍历素材视频104中的各个图像帧,并将当前被遍历的图像帧确定为素材图像,这样当素材视频104中的各个图像帧均被遍历后,可得到N个目标图像,一个目标图像对应素材视频104中的一个图像帧。如图1b所示的素材视频104中包含素材人体1021,素材视频104的图像帧1041中素材人体1021呈现的姿态为展开双臂站立姿态,图像帧1041中素材人体1021呈现的姿态为比爱心姿态;那么对初始图像101与图像帧1041执行上述的图像处理方案得到目标图像1051,目标图像1051中包含初始图像101所包含的目标人体1011、且目标人体1011呈现图像帧1041中素材人体1021所呈现的目标姿态(即展开双臂站立姿态),以及,对初始图像101与图像帧1042执行上述的图像处理方案得到目标图像1052,目标图像1052中包含初始图像101所包含的目标人体1011、且目标人体1011呈现图像帧1042中素材人体1021所呈现的目标姿态(即比爱心姿态)。最后,按照各个目标图像对应的图像帧在素材视频104中的播放顺序,对N个目标图像进行按序排列,可得到目标视频105。如按照图像帧1041和图像帧1042在素材视频104中的播放顺序,将目标图像1051和目标图像1052进行排序可得到目标视频105,播放目标视频105时目标图像1051和目标图像1052的播放顺序为:目标图像1051→目标图像1052。基于此,采用本申请实施例所提及的图像处理方案,可实现基于单帧的初始图像,生成包含的目标人体且呈现目标人体呈现不同姿态的多帧目标图像,提高目标图像的生成效率。

需要说明的是,由于素材视频中每帧图像帧与初始图像之间的图像处理流程是一致的,因此后续均以根据素材视频中一帧图像帧对初始图像进行一次姿态扭转,来对图像处理方案进行介绍。另外,上述是以待进行姿态扭转的对象为人体为例进行说明的,在实际情况下待进行姿态扭转的对象还可以是动物(如小猫、小狗等);为便于阐述,后续采用目标对象代替前述描述的初始图像中的目标人体,采用素材对象代替前述描述的素材图像中素材人体进行说明。

基于上述描述的图像处理方案,本申请实施例提出更为详细的图像处理方法,下面将结合附图对本申请实施例提出的图像处理方法进行详细介绍。

图2示出了本申请一个示例性实施例提供的一种图像处理方法的流程示意图;本申请实施例以该图像处理方法由上述提及的目标终端来执行为例进行说明,该图像处理方法可包括但不限于步骤S201-S205:

S201:获取包含目标对象的初始图像。

初始图像所包含的目标对象是待进行姿态扭转的对象,该对象可包括:人体或动物(如小狗、小猫等);后续均以目标对象为人体为例进行介绍。具体地,初始图像中可包含目标对象的全部或部分躯干;如图3中第一幅图所示,初始图像中包含目标对象301的全部躯干(包括从头到脚);再如图3中第二幅图所示,初始图像中包含目标对象301的部分躯干,如只包括从头到腰部的躯干;本申请实施例对初始图像中具体包含目标对象的全部或部分躯干不作限定,在此说明。

在具体实现中,当目标用户(如目标终端的使用者)具有对初始图像中的目标对象进行人体姿态迁移的需求时,可打开并使用目标应用程序来获取初始图像,并对获取到的初始图像进行人体姿态迁移处理,得到姿态迁移后的目标对象。其中,目标应用程序可以是具有社交功能的社交应用程序,这样当在社交应用程序中进行社交的过程中,若存在对初始图像的图像处理需求,则可以直接采用社交应用程序对初始图像进行图像处理,相比于从社交应用程序跳转至其他具备图像处理功能的应用程序来说,可丰富社交应用程序的功能,缩短图像处理路径,提高图像处理效率。再如:目标应用程序是运行于任一应用程序的小程序,通过这种轻便的方式将具备图像处理功能的目标应用程序运行于其他应用程序中,可实现在其他应用程序内快速调起目标应用程序来对初始图像进行姿态迁移处理,提高图像处理速度和效率。

下面给出示例性地通过目标应用程序获取初始图像的一种实现方式,具体地,显示图像获取界面,该图像获取界面中包含图像获取入口;当图像获取入口被触发时,显示图像显示窗口,该图像显示窗口中包含一帧或多帧候选图像;根据图像选取操作从该图像显示窗口中选中任一候选图像时,将被选中的候选图像确定为初始图像;若存在返回至图像获取界面的返回操作,则从图像显示窗口返回至图像获取界面,并在图像获取界面中显示初始图像。上述实现过程的一种示例性地界面流程可参见图4a,如图4a所示,在图像获取界面401中包括图像获取入口4011;当图像获取入口4011被执行触发操作(如单击、双击、长按等操作)时,可显示图像显示窗口402,该图像显示窗口402中包括至少一个候选图像,如候选图像4021、候选图像4022、……;当任一候选图像,如候选图像4021,被选中时,将被选中的候选图像4021确定为初始图像,并返回至图像获取界面401,此时在图像获取界面401中显示有被选中的候选图像4021,即显示有初始图像。

应当说明的是,上述描述只是给出一种示例性的获取初始图像的界面流程,在实际应用场景中获取初始图像的方式可以发生变化。举例来说:①图像获取入口除以图4a所示的样式进行显示外,还可以按键(或按钮、控件以及组件)的形式进行显示。②图4a所示的图像获取界面401中除包含图像获取入口4011外,还可以包含图像推荐区域4012,该图像推荐区域4012用于显示至少一帧推荐图像,这样目标用户可以直接从图像获取界面401中选取推荐图像作为初始图像;具体地选取方式可包括但不限于:将任一推荐图像(如推荐图像40121)从图像推荐区域4012中拖拽至图像获取入口4011所占的显示区域内;或,在图像推荐区域4012中触发任一推荐图像,如点击、长按或双击任一推荐图像;等等。其中,图像推荐区域4012中的推荐图像可以是存储于目标终端的本地内存中的图像(如目标终端的相册中的图像),或目标应用程序预先设置的图像,或从互联网中获取的图像,等等。

③图像显示窗口402除以图4a所示的覆盖于图像获取界面401之上进行显示之外,还可以单独的界面进行显示,或者,以窗口形式显示于图像获取界面中,本申请实施例对图像显示窗口402的具体显示形式不作限定。④在图像显示窗口402中包含多个类型选项,每个类型选项关联有至少一帧候选图像;例如,类型选项为本地图像时,表示该类型选项所关联的候选图像是存储于目标终端的本地空间的,再如,类型选项为互联网图像时,表示该类型选项所关联的候选图像是从互联网中搜索得到的,其中,可以按照图像获取规则从互联网中搜索候选图像,所谓图像获取规则可包括但不限于:获取互联网图像并按照图像热度(图像的点击量、投币量、收藏量等)从高至低的顺序,选取排序位置靠前的多帧图像作为候选图像;或者,根据目标用户的历史行为(如点赞、收藏等)从互联网中获取图像作为候选图像;等等。

在其他实现方式中,若目标应用程序为前述提及的社交应用程序,则本申请实施例还支持将社交会话过程中的图像确定为初始图像;具体地,在社交应用程序的社交会话界面中显示有社交消息流,该社交消息流是由一条或多条社交会话消息组成的,任一社交会话消息是由参与社交会话的用户发送的;假设社交消息流中包括包含有图像的社交消息,当检测到针对该社交消息的触发事件时,显示选项栏;该选项栏中包含图像处理选项,当图像处理选项被选中,表示目标用户想要对该图像进行人体姿态迁移,则将该图像确定为初始图像。其中,针对社交消息的触发事件可包括但不限于:对社交会话界面中该社交消息执行触发操作(如点击、双击、右键等操作)时所产生的事件、在社交会话界面中检测到存在该社交消息时所产生的事件、在社交会话界面中检测到光标(如电子笔、遥控器、鼠标等设备在显示屏幕中映射的光标)处于该社交消息所处显示区域内时所产生的事件等;本申请实施例对触发事件具体是哪一种或多种不作限定。

结合图4b对上述描述的将社交会话界面中的图像确定为初始图像的具体实现过程进行介绍,如图4b所示,在社交会话界面403中显示有社交消息4031,该社交消息4031包含图像;当存在对该社交消息4031的触发事件(如前述提及的任一种事件)时,显示选项栏4032,该选项栏4032中包含至少一种选项,至少一种选项包含姿态转换选项4033;那么当选中姿态转换选项4033时,表示想要对该社交消息4031所包含图像进行人体姿态迁移,则将该图像确定为初始图像。可选的,在社交会话界面的快捷区域4034内可以包含图像获取入口,这样目标用户可通过快捷区域4034触发执行选取初始图像的操作。

需要说明的是,上述是以社交会话界面为例对从社交会话界面中获取初始图像的过程进行介绍的,本申请实施例还支持从社交公共服务界面(如朋友圈、动态界面等)中获取初始图像,例如,在朋友圈内显示有某一图像,则可将该图像选择为初始图像。这种直接从社交界面(如社交会话界面或社交公共服务界面)中获取初始图像的方式,结合了社交功能和图像处理功能,使得目标用户在社交过程中也可以进行图像处理,相比于需要将图像复制到其他图像处理应用中进行处理而言,提高图像处理效率和速度。另外,在目标应用程序为社交应用程序,即在社交会话场景下对初始图像进行人体姿态迁移处理得到目标图像的场景下,本申请实施例还支持将姿态扭转后的目标图像直接分享至社交界面,如将目标图像分享至包含初始图像的社交消息所在的社交会话界面,或,将目标图像分享至朋友圈等界面;这样可提高目标图像的分享效率,缩短分享路径。另外,上述实现方式均是以选取一张初始图像为例进行介绍的,但实际在选取初始图像时,支持一次性选取多张初始图像,这样后续可以对每一张图像进行人体姿态迁移处理,而不必选取一张初始图像处理后,再选取另一张初始图像来处理,这样可提高图像处理效率。

S202:对初始图像中的目标对象进行姿态扭转处理,得到姿态扭转图像。

对目标对象进行姿态扭转处理可以是指:将目标对象的姿态从初始图像所呈现的初始姿态扭转至目标姿态,这样生成的姿态扭转图像中包含的目标对象呈现目标姿态。具体地,可以基于素材图像进行姿态扭转处理,得到姿态扭转图像;其中,素材图像中包含素材对象以及素材对象呈现目标姿态;素材对象的相关介绍可参见前述对目标对象的相关介绍,在此不作赘述。一种参照素材图像中素材对象呈现的目标姿态,对初始图像中目标对象的初始姿态进行姿态扭转处理,得到姿态扭转图像的示例图可参见图5;如图5所示,素材图像102中包含素材对象501,且素材对象501呈现的目标姿态为比爱心姿态,初始图像101中包含目标对象301,该目标对象301呈现的初始姿态为站立姿态;那么根据素材对象501对目标对象301的初始姿态进行姿态扭转处理后,可得到目标对象301呈现比爱心姿态的姿态扭转图像502。

其中,素材图像可以是由业务人员根据业务需求事先设定好的,在这种实现方式下,获取到包含目标对象的初始对象后,可采用设定好的素材图像直接对初始图像中目标对象执行姿态扭转处理,得到姿态扭转图像。或者,素材图像是由目标用户确定的,这种由目标用户来确定素材图像的实现方式可包括:显示素材选择界面,该素材选择界面中包含一个或多个候选素材图像;当素材选择界面中任一候选素材图像被选中时,将被选中的候选素材图像确定为包含目标姿态的素材图像。一种示例性的素材选择界面的示意图可参见图6a,如图6a所示,在素材选择界面601中可选择一个候选素材图像作为包含目标姿态的素材图像;或者,选择多个候选素材图像作为包含目标姿态的素材图像,当选择多个候选素材图像作为素材图像时,可按照多个素材图像各自所包含的素材对象的目标姿态,对初始图像中目标对象进行姿态扭转处理,得到目标对象呈现不同目标姿态的多帧姿态扭转图像。其中,素材选择界面601中包含的候选素材图像可以是来自于目标终端的本地空间、互联网或业务人员设定中的一种或多种,本申请实施例对此不作限定。

本申请实施例支持从素材获取界面中触发显示素材选择界面,并实现从素材选择界面中选择素材图像;如图6b所示,在素材获取界面602中包含素材获取入口6021;当素材获取入口6021被选择时,显示素材选择界面601,素材选择界面601中包含一个或多个候选素材图像;目标用户可以从素材选择界面601中选择素材图像;若检测到从素材选择界面601返回至素材获取界面602的返回操作,则返回素材获取界面602,并在素材获取界面602中显示素材图像。其中,上述流程中各个界面的样式变化,以及候选素材图像的显示方式等均可以参照前述对选择初始图像的具体实现方式的相关描述,在此不作赘述。

值得注意的是,用于获取初始图像的图像获取入口以及用于获取素材图像的素材获取入口可以设置于不同的界面中,如图像获取入口设置于图4a所示的图像获取界面中,而素材获取入口设置于图6b所示的素材获取界面中。但本申请实施例还支持将图像获取入口和素材获取入口设置于同一界面中,即在同一界面上对初始图像和素材图像进行获取;在这种实现方式下,当目标用户存在对初始图像中目标对象进行人体姿态迁移处理的需求时,可以在同一界面下实现对初始图像和素材图像的选择,相比于从不同界面中获取初始图像和素材图像来说,可以避免繁琐的界面跳转,缩短获取图像路径,提高图像获取效率。

一种示例性地从同一界面中获取初始图像和素材图像的界面示意图可参见图6c,如图6c所示,在图像界面603中包含用于获取初始图像的图像获取入口4011,以及用于获取素材图像的素材获取入口6021;当任一获取入口被选中时,可触发显示与该获取入口所关联的界面,例如,当图像获取入口4011被选中时,可触发显示图4a所示图像显示窗口,以便于目标用户选择初始图像;在目标用户选择好初始图像后,可直接返回图像界面603,此时图像界面603中包含已经选择好的初始图像,且目标用户可以继续触发图像界面603中的素材获取入口6021,实现对素材图像的选择。本申请实施例对获取初始图像以及获取素材图像的执行顺序不作限定,也就是说,目标用户可凭喜好选择先执行哪个图像的获取步骤。

可以理解的是,素材图像可以是素材视频所包含的多帧图像中的任一帧图像;那么图6a、图6b以及图6c所示的全部或部分候选素材图像的图标可以替换为候选视频的图标,当任一候选视频被选中时,表示目标用户想要将初始图像中目标对象的初始姿态扭转为候选视频中素材对象所呈现的目标姿态;由于候选视频包含至少两帧图像,那么基于候选视频对初始图像进行扭转处理可得到至少两帧目标图像,至少两帧目标图像按照候选视频中各帧图像的播放顺序进行排序,可得到目标视频,播放该目标视频时由目标对象来执行素材视频中素材对象所执行的动作。可选的,本申请实施例还支持由目标用户从候选视频中选择一帧图像作为素材图像。例如:当任一候选视频被选中时,可显示该候选视频的播放界面,播放界面中包含进度条以及进度条所指示的指针(如指针位于进度条上);目标用户可以通过拖动指针来选择素材图像;如将指针所指的图像确定为素材图像。基于此,本申请实施例丰富了目标用户对素材图像的选择权,满足目标用户对多种素材图像的需求,提升用户体验。

S203:对姿态扭转图像和初始图像进行图像融合,得到融合图像。

基于步骤S202对初始图像中目标对象进行姿态扭转处理,使得姿态扭转后的姿态扭转图像中目标对象已经初步呈现目标姿态,但仅仅依靠姿态扭转处理得到的姿态扭转图像的分辨率较低,姿态扭转图像中目标对象的清晰度低,如图5所示姿态扭转图像中目标对象缺少纹理细节、人体边缘等信息。因此,在基于步骤S202得到包含具有目标姿态的目标对象的姿态扭转图像后,本申请实施例还支持对姿态扭转图像中目标对象的细节进行丰富,以得到清晰度高于姿态扭转图像的融合图像;其中,得到的融合图像中的目标对象的姿态,与姿态扭转图像中的目标对象的姿态相同,且融合图像的清晰度高于姿态扭转图像的清晰度。

应当理解的是,由于初始图像是包含目标对象所有细节的图像,那么可以基于初始图像对姿态扭转图像进行精修,得到清晰度较高的融合图像;在具体实现中,可以对姿态扭转图像和初始图像进行图像融合,得到融合图像。所谓图像融合可以理解为:将初始图像中目标对象的特征与姿态扭转图像中目标对象的特征进行融合,得到融合特征,并基于融合特征进行图像重建得到融合图像。一种示例性的将姿态扭转图像和融合图像进行融合,得到清晰度更高的融合图像的示例图可参见图7,如图7所示,融合图像所包含的目标对象的细节相比于姿态扭转图像中目标对象的细节更为丰富。通过上述实现方式,可丰富目标对象的细节和纹理,提升融合图像的质量。

S204:从融合图像中截取包含目标对象的指定部位的部位图像,并对部位图像进行图像超分处理,得到超分后的部位图像。

S205:融合超分后的部位图像和融合图像,得到目标图像。

步骤S204-S205中,部位图像是只包含目标对象的指定部位的图像,本申请实施例支持对部位图像进行图像超分处理,满足不同场景下对不同指定部位清晰度的要求。例如,指定部位为目标对象的人脸部位,那么部位图像可以是指包含目标对象的脸部的图像。本申请实施例对部位图像进行图像超分处理后,可以实现将低分辨率的部位图像转化为高分辨率的部位图像,超分后的部位图像的清晰度高于未超分处理前的部位图像。一种示例性的对人脸图像进行图像超分处理,得到超分后的部位图像的示意图可参见图8,如图8所示,对从融合图像中截取的人脸图像801和从初始图像中截取的人脸图像802进行图像超分处理,可得到超分后的部位图像803。

本申请实施例还支持将超分后的部位图像与融合图像进行融合,得到目标图像,该目标图像中包含的目标对象呈现目标姿态,且目标对象中指定部位的分辨率高,目标图像质量较好。一种示例性的融合超分后的人脸图像和融合图像,得到目标图像的示意图可参见图9。

本申请实施例中,可对获取到的初始图像中目标对象进行姿态扭转处理,使得扭转后的姿态扭转图像中包含目标对象且目标对象呈现目标姿态;再采用细节较为丰富的初始图像对细节较为粗糙的姿态扭转图像进行图像融合,得到细节较为丰富的融合图像,实现对姿态扭转图像所包含的呈现目标姿态的目标对象的精修,并且,姿态扭转图像所包含的目标对象已经呈现目标姿态,这使得图像融合过程中可专注于对姿态扭转图像的细节特征的丰富,而不用考虑对目标对象的姿态进行扭转,降低图像融合的难度。另外,还支持对从融合图像中截取的包含目标对象的指定部位的部位图像,进行图像超分处理,使得超分后的部位图像所包含的指定部位的清晰度更高,且对包含指定部位的部位图像进行图像超分处理,可以节省图像处理资源;再将超分后的部位图像与融合图像进行融合,得到清晰度较高的目标图像。

图10示出了本申请一个示例性实施例提供的一种图像处理方法的流程示意图;本申请实施例以该图像处理方法由上述提及的目标终端来执行为例进行说明,该图像处理方法可包括但不限于步骤S1001-S1006:

S1001:获取包含目标对象的初始图像。

S1002:获取素材图像,素材图像包括素材对象且素材对象呈现目标姿态。

需要说明的是,步骤S1001-S1002所示的具体实现过程可参见前述步骤S201-S202所示的具体实现过程的相关描述,在此不做赘述。

S1003:基于素材图像对初始图像中的目标对象进行姿态扭转处理,得到姿态扭转图像。

素材图像中包含素材对象且素材对象呈现目标姿态,那么基于素材图像对初始图像中目标对象进行姿态扭转处理,可以将目标对象从初始姿态扭转至目标姿态。在具体实现中基于素材图像对初始图像中的目标对象进行姿态扭转处理,得到姿态扭转图像的步骤可包括但不限于步骤s11-s13,其中:

s11:对初始图像中目标对象进行建模,得到第一模型;以及,对素材图像中素材对象进行建模,得到第二模型。其中,对任一对象进行建模得到的模型包括:构成任一对象所呈现的姿态的多个网格,每个网格关联有任一对象的纹理信息;也就是说,通过对任一对象进行建模,可实现采用网格将任一对象划分为多个面片,一个面片对应一个网格。其中,任一网格是由至少三个网格顶点构成的多边形(如三角形、四边行或其他简单凸多边形),构成该网格的任一网格顶点可包括网格信息(如坐标值、激光反射强度、颜色信息等);将多个网格按照一定顺序进行连接,即得到对对象进行建模后的模型。

在具体实现中,本申请实施例支持采用三维(three-dimensional,3D)建模技术分别对初始图像中目标对象,以及素材图像中素材对象进行建模,这样得到的目标对象对应的第一模型和素材对象对应的第二模型均是3D模型(或称为三维模型)。这种采用3D建模技术对目标对象或素材对象进行建模的方式,可以得到任一对象较为丰富的三维数据,进而基于丰富的三维数据进行后续图像处理,可使得扭转后目标对象的姿态与素材对象的目标姿态更为匹配。其中,3D建模技术可包括但不限于:搭积木(如把一个物体分很多小块,再将多个小块合起来实现建模)、网格编辑、蒙皮以及参数化人体模型(Skinned Multi-PersonLinear Model,SMPL)等技术;其中,SMPL是一种用于对人体进行建模的方法,该方法可以进行任意的人体建模和动画驱动,在一定程度上可以模拟人的肌肉在肢体运动过程中的凸起和凹陷;因此,可以避免人体在运动过程中的表面失真,可以精准的刻画人的肌肉拉伸以及收缩运动的形貌。本申请实施例对具体采用哪种3D建模技术不作限定,在此说明。

一种示例性的对初始图像中目标对象进行建模得到目标对象对应的第一模型,以及对素材图像中素材对象进行建模得到素材对象对应的第二模型的示例性示意图可参见图11;如图11所示,采用3D建模技术(如SMPL)对初始图像101中的目标对象301进行3D建模后,可得到目标对象301的第一模型1101(即目标对象3D模型);以及,采用3D建模技术对素材图像102中的素材对象501进行3D建模后,可得到素材对象501的第二模型1102(即素材对象3D模型)。其中,对任一对象进行3D建模后得到的模型包括多个网格;需要说明的是,在图11中只示例性的画出任一模型的头部所包含的网格,并不会对本申请实施例产生限定,本申请实施例对任一模型所包含的网格数量和网格形状不作限定。

本申请实施例还对组成任一模型的所有网格进行编号,得到第一模型所包含的多个网格中每个网格的编号,以及第二模型所包含的多个网格中每个网格的编号。例如:第一模型包含10000个网格,那么可以按照编号规则对10000个网格进行编号,得到每个网格的编号;编号规则可包括:按照人体的结构从头至脚、从左到右给每个网格进行编号,如图11所示,将第一模型的头顶的第一个网格1103编号为网格1、将与第一网格1103左边相邻网格1104编号为网格2、……、将脚趾最后一个网格编号为网格10000;同理,假设第二模型包含9800个网格,那么按照上述同样的方式对网格进行编号,可得到每个网格的编号,如将第一模型的头顶的第一个网格1105编号为网格1、将与第一网格1105相邻左边网格1106编号为网格2、……、将脚趾的最后一个网格编号为网格9800。当然上述只是给出一种示例性的给网格编号的方式,在实际应用中编号规则可以变化,本申请实施例对编号规则不作限制。

s12:基于第一模型与第二模型之间的网格对应关系,将第一模型中各个网格所关联的纹理信息,映射至第二模型中的相应网格中。

需要说明的是,构成任一对象的模型的网格关联有该任一对象的纹理信息,该纹理信息也可以简称为纹理,所谓纹理信息可是指任一对象表面的纹理;纹理信息可包括但不限于:使任一对象的表面呈现凹凸不平的沟纹、任一对象的表面所呈现的彩色图案等;当把纹理信息映射至任一对象的模型上时,可使该模型看起来更为真实。本申请实施例支持采用图像仿射变换算法(warp算法),来将第一模型中各个网格所关联的纹理信息映射至第二模型中的相应网格中,使得映射后的第二模型的表皮纹理和颜色,与初始图像中目标对象的表皮纹理和颜色一致。

其中,图像仿射变换算法是一种通过对几何形状进行比例缩放、扭曲等操作,使几何形状发生变形的变化方法;具体地,基于预设矩阵将第一模型中所包含的各个网格所关联的纹理信息,映射至第二模型中所包含的各个网格中,就可以使呈现目标姿态的目标对象的外观(与外衣样式、纹理、颜色等)与初始图像中目标对象的外观一致。其中,预设矩阵是基于第一模型和第二模型确定的,预设矩阵在本申请实施例中被称为网格对应关系,即通过第一模型与第二模型之间的网格对应关系可实现上述描述的纹理映射的过程。所谓第一模型与第二模型之间的网格对应关系是指:第一模型所包含的网格与第二模型所包含的网格之间的对应关系;正如图11所示实施例所描述的,组成第一模型所包含的每个网格均具有编号,以及,组成第二模型所包含的每个网格均具有编号,则称:组成第一模型的网格中编号与组成第二模型的网格中编号相同的两个网格具有对应关系;例如:组成第一模型的网格编号包括:网格1、网格2、网格3、……、网格10000,组成第二模型的网格编号包括:网格1、网格2、网格3、……、网格9800,则称:组成第一模型的网格中编号为网格1的网格,与组成第二模型的网格中编号为网格1的网格之间具有对应关系。

下面结合图12所示的示意图来对根据第一模型与第二模型之间的网格对应关系,对纹理映射的过程进行简单说明;如图12所示,将第一模型1101所包含的编号为网格X(X为正整数,且X小于第一模型所包含的网格总数)的网格所关联的纹理信息,映射至第二模型1102所包含的编号为网格X的网格中之后,第二模型1102中网格X所占显示区域呈现了第一模型1101中网格X所占显示区域所包含的纹理和颜色;继续按照网格对应关系将第一模型1101中网格所关联的纹理信息,映射至第二模型1102中对应的网格后,可得到映射后的第二模型1201;该映射后的第二模型1201呈现目标姿态、且任一部位的纹理和颜色,与第一模型1101中与该任一部位对应的部位的纹理和颜色相匹配,这使得映射后的第二模型1201看起来就是初始图像所包含的目标对象,只是目标对象姿态从初始图像所呈现的初始姿态变化为了目标姿态。

需要说明的是,将第一模型中网格X所关联的纹理信息,映射至第二模型中网格X中时,可能会遇到第一模型中网格X的形状与第二模型中网格X的形状并不相同;如第一模型中网格X为直角三角形,而第二模型中网格X为等边三边形;此时若生硬地将第一模型中网格X所关联的纹理信息,贴到第二模型中网格X中,可能会使得网格X在第二模型中显得不够圆滑和自然。基于此,本申请实施例还支持在将第一模型中网格X所关联的纹理信息,贴到第二模型中网格X的过程中,根据第二模型中网格X的形状对第一模型中网格X的形状进行扭曲,使得扭曲后的第一模型中网格X的形状与第二模型中网格X的形状一致;具体可采用前述提及的warp算法来扭转第一模型中网格X。

s13:采用映射后的第二模型,生成姿态扭转图像。

基于上述步骤s11-s12可得到映射后的第二模型,那么基于映射后的第二模型可生成姿态扭转图像,该姿态扭转图像中只包含了映射后的第二模型,姿态扭转图像中的背景为纯色(如黑色或白色)。

综上所述,在获取到初始图像后,可对获取到的初始图像中目标对象进行姿态扭转处理,得到姿态扭转图像,该姿态扭转图像中包括的目标对象呈现目标姿态,这种首先对初始图像中目标对象的姿态进行预处理,得到呈现目标姿态的目标对象的方式,可避免后续对目标对象进行细节增强时还要对目标对象进行姿态扭转,可降低后续丰富目标对象的细节的难度。

S1004:对姿态扭转图像和初始图像进行图像融合,得到融合图像。

基于步骤S1003可得到包含呈现目标姿态的目标对象的姿态扭转图像,但仅仅依靠前述描述的将目标对象对应的第一模型的纹理信息,映射至素材对象对应的第二模型来生成姿态扭转图像,导致姿态扭转图像中目标对象的边缘(或轮廓)缺失、纹理细节丢失,使得姿态扭转图像中目标对象虽然呈现目标姿态,但姿态扭转图像的分辨率较低,细节不够清晰。基于此,本申请实施例还支持对姿态扭转图像进行细节增强,以得到分辨率较高的融合图像。考虑到初始图像是目标用户上传的高分辨率图像,因此,本申请实施例可以将高分辨率的初始图像与姿态扭转图像进行图像融合,以得到分辨率较高的融合图像。

在具体实现中,本申请实施例支持采用生成式对抗网络(Generative Adversarial Networks,GAN)来执行上述所描述的对姿态扭转图像和初始图像进行图像融合的过程;GAN网络是人工智能(Artificial Intelligence,AI)技术中的一种深度学习模型。其中,人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。上述提及的GAN网络涉及人工智能领域下的机器学习/深度学习等方向。

GAN网络可以包括至少两个模块:生成模块(Generative Model)和判别模块(Discriminative Model),并通过该至少两个模块之间的相互博弈学习产生较好的输出结果。以GAN网络的输入数据的类型为图像,GAN网络具有生成包含猫咪的图像的功能为例,对GAN网络所包含的生成模块和判别模块进行简单介绍;其中,所谓生成模块是用于对输入的一帧或多帧包含猫咪的图像进行处理,以生成一帧新的包含猫咪的图像,该新的图像是不包含于输入的一帧或多帧图像中的;所谓判别模块是用于对输入的一帧图像进行判断,以确定该图像中所包含的动物是否为猫咪。在对GAN网络进行训练的过程中,生成模块生成的图像可以给到判别模块来进行判断,并根据判别结果不断修正GAN网络的参数,直至训练好的GAN网络中生成模块能够较为准确地生成新的图像,且判别模块能够较为准确地对图像进行判别。需要说明的是,根据对GAN网络的训练目标的不同,GAN网络所包含的模块并不仅限于上述两种模块。

为便于更好地理解采用GAN网络对姿态扭转图像和初始图像执行图像融合,得到融合图像的过程,下面结合附图13a所示的GAN生成网络结构图,对图像融合的具体实现方式进行介绍,该GAN生成网络结构图是前述所提及的GAN网络所包含的生成模块对应的网络结构图。如图13a所示,GAN生成网络结构中包括:自编码器(Auto Encoder,AE)、主干迁移网络以及特征融合模块;其中:①自编码器是一种神经网络架构,其包括编码架构(或称为编码器)和解码架构(或称为解码器);编码架构是由一系列维度逐步递减的隐层(或称为隐藏层)构成,编码架构可对输入数据(如初始图像)进行降维处理后可得到维度较低的信息表达(如图像特征);解码架构是由一系列维度逐步递增的隐层构成,其网格结构可理解为编码架构的镜像,解码架构可以对编码架构输出的低维度的信息表达进行重构,得到高维度的输出结果。上述提及的隐层的维度可以通过隐层所包含的神经元的个数来确定,如隐层1包含2000个神经元,隐层2包含1000个神经元,则确定隐层1的维度高于隐层2。②主干迁移网络是一种神经网络架构,与自编码器类似的,主干迁移网络同样包括编码架构和解码架构,其中,编码架构和解码架构的相关介绍可参见前述对自编码器的相关描述,在此不作赘述。③特征融合模块包括多个子特征融合模块(如图13a所示的spade模块),通过每个子特征融合模块可以对从初始图像和姿态扭转图像中提取的两个特征进行融合,得到两个特征的融合特征。

上述对GAN生成网络结构的组成进行了简单介绍,那么采用GAN生成网络结构对姿态扭转图像和初始图像进行图像融合,得到融合图像的实现方式可包括:首先,对初始图像中的目标对象进行特征提取处理,得到第一特征图;以及,对姿态扭转图像进行特征提取处理,得到第二特征图;其中,任一特征图中包括多个特征;其次,按照第一特征图和第二特征图之间的特征对应关系,采用第一特征图中的各个特征,替换第二特征图中的对应特征;最后,基于特征替换后的第二特征图进行图像重建,得到融合图像。进一步地结合图13a所示的GAN生成网络结构对上述图像融合的详细流程进行介绍,该流程可包括但不限于步骤s21-s24。其中:

s21:将初始图像作为GAN生成网络结构中自编码器的输入数据,该初始图像中包括目标对象;以及,将姿态扭转图像作为GAN生成网络结构中主干迁移网络的输入数据。

s22:采用自编码器对初始图像中目标对象进行特征提取处理,可得到第一特征图,该第一特征图中包括目标对象的多个特征;例如,第一特征图包含第一特征1、第一特征2、第一特征3、……、第一特征M,M为大于3的整数其中,可通过自编码器所包含的第一个卷积层提取到目标对象的第一特征1;再通过自编码器所包含的第二卷积层对第一特征1进行特征提取处理,提取到第一特征2,继续采用自编码器所包含的第三卷积层对第一特征2进行特征提取处理,提取到第一特征3,重复上述过程,直到通过自编码器所包含的最后一个卷积层提取到第一特征M。同理,采用主干迁移网络对姿态扭转图像中目标对象进行特征提取,可得到第二特征图,该第二特征图中包含通过主干迁移网络中第一卷积层提取到的第二特征1、第二卷积层提取到的第二特征2等等。

s23:按照第一特征图(包括第一特征1)以及第二特征图(包括第二特征1)之间的特征对应关系,并采用特征融合模块中各个子特征融合模块对第一特征图和第二特征图进行融合处理,此处的融合处理可包括采用第一特征图中各个特征,替换第二特征图中对应特征,如采用第一特征图中第一特征1替换第二特征图中第二特征1。具体地特征融合过程可包括:将自编码器中第一卷积层对初始图像提取到的第一特征1,和主干迁移网络中第一卷积层对姿态扭转图像提取到的第二特征1,作为特征融合模块中第一个子特征融合模块的输入数据;再将第一个子特征融合模块输出的第一融合特征以及主干迁移网络的第一卷积层输出的第二特征1,作为主干迁移网络中第二个卷积层的输入数据,以及,将第二个卷积层的输出结果作为目标对象的第二特征2。继续采用特征融合模块中第二个子特征融合模块将第一特征2和第二特征2进行融合处理,得到第二融合特征。再将第二融合特征以及第二特征2,作为主干迁移网络中第三个卷积层的输入数据,并将第三个卷积层的输出结果作为目标对象的第二特征3。重复上述过程,直至得到主干迁移网络中最后一个卷积层输出的第二特征M,以及特征融合模块中最后一个子特征融合模块输出的第M个融合特征。

s24:通过步骤s23可得到特征替换后的第二特征图,该第二特征图中包含:主干迁移网络中最后一个卷积层输出的第二特征M,以及,特征融合模块中最后一个子特征融合模块输出的第M个融合特征;则基于特征替换后的第二特征图进行图像重建的过程可包括:基于特征替换后的第二特征图,重建出包含呈现目标姿态的目标对象的色彩模式图像,以及包含呈现目标姿态的目标对象的掩膜图像;根据色彩模式图像和掩膜图像,生成融合图像。

其中,上述图像重建的过程其实质是采用上采样网络(如一种具有上采样功能的神经网络)对特征替换后的第二特征图进行重建的过程,即基于特征替换后的第二特征图所包含的各个特征生成图像,该图像包含色彩模式图像和掩膜图像。所谓色彩模式图像是一种包含呈现目标姿态的目标对象的RGB(色彩系统)图像,该RGB图像包含红(red,R)、绿(green,G)、蓝(blue,B)三种颜色通道,使得RGB图像呈现彩色模式。所谓掩膜图像是与色彩模式图像关联的alpha(阿尔法)图像,此处的关联是指掩膜图像中同样包括色彩模式图像所包含的呈现目标姿态的目标对象;该alpha图像包含阿尔法通道(Alpha Channel),阿尔法通道取值为0~1之间,当阿尔法通道取值为0时,表示将对应的像素初始化为0,则该像素组成的图像显示为黑色,当阿尔法通道取值为1时,表示将对应的像素值设置为255,则该像素组成的图像显示为白色;调整阿尔法通道的取值可调整图像的透明度。

基于上述描述,一种示例性的基于包含呈现目标姿态的目标对象的色彩模式图像和掩膜图像,生成融合图像的示意图可参见图13b,如图13b所示,掩膜图像1301中目标对象所占显示区域的像素值被设置为0,即目标对象呈现为黑色,而将除目标对象所占显示区域的其他像素值设置为255,这样在掩膜图像1301中目标对象所占的显示区域为黑色,其他区域显示为白色;采用掩膜图像1301乘以色彩模式图像1302,可得到包含呈现目标姿态的目标对象的中间图像1303,该中间图像1303中目标对象所占显示区域是不透明的,但除目标对象以外的其他区域是透明的。

需要说明的是,初始图像中除包含目标对象外,往往还包括图像背景,所谓图像背景是指初始图像中除目标对象以外的内容;因此,为实现步骤s22中提及的提取初始图像中目标对象的特征,本申请实施例支持在执行步骤s22之前,首先对初始图像进行前景分割处理,得到包含目标对象的前景图像和背景图像,再对前景图像进行特征提取处理,得到第一特征图。这种基于前景图像对目标对象进行特征提取处理,可得到目标对象的较为准确的特征,进而提高后续特征融合后融合图像的质量。其中,对图像(如任一图像)进行前景分割处理,得到背景图像和前景图像的一种界面示意图可参见图14,如图14所示,图像1401中包括前景图像1402以及背景图像1403,其中,前景图像1402中只包括目标对象,而背景图像中包括初始图像中除目标对象以外的其他内容,如图1403所示的背景图像中包括街景。

通过上述步骤s21-s24所示的相关内容,实现采用初始图像对姿态扭转图像的精修,得到分辨率较高的中间图像,且中间图像中包含目标对象。当不需要为目标对象添加背景时,可将中间图像确定为融合图像;当需要对目标对象添加背景时,可以将添加背景后的图像确定为融合图像,例如,为目标对象添加运动场的背景,表示目标对象处于运动场的场景中。通过为目标对象添加背景可以实现将呈现目标姿态的目标对象添加至任何场景中,提高人体姿态迁移的趣味性,满足目标用户对将目标对象迁移至不同场景中的场景需求。

本申请实施例中还支持为目标对象添加背景,在这种实现方式下融合图像中包括:呈现目标姿态的目标对象以及背景。在具体实现中,生成包含背景内容的融合图像的过程可包括:首先,获取目标背景图像,该目标背景图像包括:初始图像的背景图像,或者素材图像的背景图像,或者自定义背景图像(如用户上传或选择的);其次,对色彩模式图像和掩膜图像进行图像融合,得到中间图像;最后,将目标背景图像叠加至中间图像中,得到融合图像,该融合图像包含目标背景图像所包含的背景内容。

在一种实现方式中,目标背景图像为素材图像的背景图像。如图15所示,对素材图像102进行前景分割处理后,可得到素材图像102的前景图像1501和背景图像1502;再将背景图像1502叠加至中间图像1503,可得到融合图像1504。通过上述过程就可以实现将初始图像中目标对象的姿态迁移为素材对象中素材对象的目标姿态,以及将初始图像中目标对象的场景迁移为素材图像中素材对象所在的场景。需要说明的是,在对素材图像(或初始图像)进行前景分割处理后,得到的素材图像的背景图像中抠除了目标对象,导致在背景图像中目标对象所占的显示区域显示为黑色(或白色),即目标对象所占的显示区域对应的像素值为0(或1);如果将中间图像与该背景图像进行叠加,会使得背景图像与中间图像叠加所得到的图像不够自然。因此,本申请实施例还支持对抠除目标对象的背景图像进行填充处理,使得填充后的背景图像中目标对象所占显示区域呈现,与背景图像中与该显示区域相邻区域相近的颜色。可选的,可采用目标对象所占显示区域周围的像素值对目标对象所占显示区域的像素进行插值,使得插值后的目标对象所占显示区域的颜色与周围看起来更为自然。可选的,可采用具有插值功能的神经网络模型来对抠除目标对象的背景图像进行插值处理,本申请实施例对具有插值功能的神经网络模型不作限定,在此说明。

其他实现方式中,目标背景图像也可以是目标用户自定义的背景图像,由目标用户来自定义目标背景图像的实现方式可包括:显示数据推荐界面,该数据推荐界面中包括一个或多个多媒体数据;当数据推荐界面中的任一多媒体数据被选中时,从被选中的多媒体数据中分割出目标背景图像;其中,被选中的多媒体数据可为图像或视频流,当被选中的多媒体数据为视频流时,目标背景图像是从被选中的多媒体数据中的任一图像帧中分割出来的。当目标背景图像为目标用户自定义的背景图像时,不需要对该背景图像进行前述所描述的前景分割处理,而是直接将背景图像叠加至中间图像中即可。一种示例性的基于色彩模式图像和掩膜图像融合得到中间图像,将目标背景图像叠加至中间图像中得到融合图像的界面流程图可参见图16,如图16所示,该目标背景图像是目标用户自定义的图像,首先,采用掩膜图像1301乘以色彩模式图像1302,可得到包含呈现目标姿态的目标对象的中间图像,再将中间图像与目标背景图像1601中,可以得到融合图像1504。

值得注意的是,本申请实施例还支持将多帧中间图像,如各帧中间图像所包含目标对象呈现不同的目标姿态,叠加至一帧目标背景图像中;在这种实现方式下,在一帧融合图像中可显示多个呈现不同目标姿态的目标对象。进一步地,如果生成包含目标对象的多个目标视频,则可以为多个目标视频添加相同的背景,且将多个视频进行融合,得到一个新的目标视频,这样播放该新的目标视频时,任一视频帧中可包括多个目标对象,且多个目标对象呈现相同或不同的目标姿态。

S1005:从融合图像中截取包含目标对象的指定部位的部位图像,并对部位图像进行图像超分处理,得到超分后的部位图像。

S1006:融合超分后的部位图像和融合图像,得到目标图像。

步骤S1005-S1006中,正如前述所描述的,由于初始图像具有较高分辨率,清晰度高,因此本申请实施例支持从初始图像中截取包含目标对象的指定部位的图像,作为参考图像;并基于参考图像和部位图像进行图像超分处理,得到超分后的部位图像。具体地,可以从初始图像中截取出包含目标对象的指定部位的图像作为参考图像,该参考图像的清晰度高于部位图像的清晰度;对参考图像进行特征提取得到参考图像特征,以及对部位图像进行特征提取得到部位图像特征;再融合参考图像特征和部位图像特征,并基于融合后的特征进行图像重建,得到超分后的部位图像。

具体可采用部位增强网络来执行上述描述的图像超分处理;其中,针对截取的部位图像所指示的指定部位的不同,部位增强网络的类型也有所不同,本申请实施例以指定部位为人脸为例,对采用人脸增强网络来执行图像超分处理的过程进行介绍。其中,人脸增强网络的架构示意图可参见图17,如图17所示,该人脸增强网络至少包括重建模块和人脸身份模块;重建模块可实现对输入数据的重建,如输入部位图像,则采用重建模块可对部位图像进行重建,得到重建后的部位图像。人脸身份模块可用于检测重建后的部位图像所包含的人脸是否与参考图像所包含的目标对象的人脸是否一致,如果一致,则确定重建成功,如果不一致,则确定重建失败,那么对人脸增强网络的参数进行调整,以得到能够正确重建人脸的人脸增强网络。需要说明的是,图17提及到的人脸增强网络可以是具有人脸增强功能的GAN网络,本申请实施例对人脸增强网络的具体结构和类型不作限定。

基于上述实现方式得到的超分后的部位图像的清晰度,高于融合图像中指定部位的清晰度,因此,将超分后的部位图像与融合图像进行融合,如将超分后的部位图像粘贴至融合图像中的指定部位,可得到指定部位清晰度高的目标图像。本申请实施例支持对融合图像的指定部位(如人脸)进行细节增强,满足目标用户对指定部位的细节要求,大幅提升了指定部位的纹理的清晰度,也提高目标图像的辨识度。

本申请实施例中,可对获取到的初始图像中目标对象进行姿态扭转处理,使得扭转后的姿态扭转图像中包含目标对象且目标对象呈现目标姿态;再采用细节较为丰富的初始图像对细节较为粗糙的姿态扭转图像进行图像融合,得到细节较为丰富的融合图像,实现对姿态扭转图像所包含的呈现目标姿态的目标对象的精修,并且,姿态扭转图像所包含的目标对象已经呈现目标姿态,这使得图像融合过程中可专注于对姿态扭转图像的细节特征的丰富,而不用考虑对目标对象的姿态进行扭转,降低图像融合的难度。另外,还支持对从融合图像中截取的包含目标对象的指定部位的部位图像,进行图像超分处理,使得超分后的部位图像所包含的指定部位的清晰度更高,且对包含指定部位的部位图像进行图像超分处理,可以节省图像处理资源;再将超分后的部位图像与融合图像进行融合,得到清晰度较高的目标图像。

上述详细阐述了本申请实施例的方法,为了便于更好地实施本申请实施例的上述方案,相应地,下面提供了本申请实施例的装置。

图18示出了本申请一个示例性实施例提供的一种图像处理装置的结构示意图;该图像处理装置可以用于执行图2或图10所示的方法实施例中的部分或全部步骤。请参见图18,该图像处理装置包括如下单元:

获取单元1801,用于获取包含目标对象的初始图像,并对初始图像中的目标对象进行姿态扭转处理,得到姿态扭转图像;

处理单元1802,用于对姿态扭转图像和初始图像进行图像融合,得到融合图像;融合图像中的目标对象的姿态,与姿态扭转图像中的目标对象的姿态相同;

获取单元1801,用于从融合图像中截取出包含目标对象的指定部位的部位图像,并对部位图像进行图像超分处理,得到超分后的部位图像;

处理单元1802,用于融合超分后的部位图像和融合图像,得到目标图像。

在一种实现方式中,初始图像中的目标对象呈现初始姿态,处理单元1802,用于对初始图像中的目标对象进行姿态扭转处理,得到姿态扭转图像时,具体用于:

获取素材图像,素材图像包括素材对象且素材对象呈现目标姿态;

对初始图像中目标对象进行建模,得到第一模型;对素材图像中素材对象进行建模,得到第二模型;对任一对象进行建模得到的模型包括:构成任一对象所呈现的姿态的多个网格,每个网格关联有任一对象的纹理信息;

基于第一模型与第二模型之间的网格对应关系,将第一模型中的各个网格所关联的纹理信息,映射至第二模型中的相应网格中;

采用映射后的第二模型,生成姿态扭转图像。

在一种实现方式中,处理单元1802用于获取素材图像时,具体用于:

获取素材视频,素材视频包括N帧图像帧,N为大于零的整数;

遍历素材视频中的各个图像帧,并将当前被遍历的图像帧确定为素材图像。

在一种实现方式中,处理单元1802,还用于:

当素材视频中的各个图像帧均被遍历后,得到N个目标图像,一个目标图像对应素材视频中的一个图像帧;

按照各个目标图像对应的图像帧在素材视频中的播放顺序,对N个目标图像进行按序排列,得到目标视频。

在一种实现方式中,处理单元1802用于对姿态扭转图像和初始图像进行图像融合,得到融合图像时,具体用于:

对初始图像中的目标对象进行特征提取处理,得到第一特征图;以及,对姿态扭转图像进行特征提取处理,得到第二特征图;其中,任一特征图中包括多个特征;

按照第一特征图和第二特征图之间的特征对应关系,采用第一特征图中的各个特征,替换第二特征图中的对应特征;

基于特征替换后的第二特征图进行图像重建,得到融合图像。

在一种实现方式中,处理单元1802用于对初始图像中的目标对象进行特征提取处理,得到第一特征图时,具体用于:

对初始图像进行前景分割处理,得到包含目标对象的前景图像;

对前景图像进行特征提取处理,得到第一特征图。

在一种实现方式中,处理单元1802用于基于特征替换后的第二特征图进行图像重建,得到融合图像时,具体用于:

基于特征替换后的第二特征图,重建出包含呈现目标姿态的目标对象的色彩模式图像,以及包含呈现目标姿态的目标对象的掩膜图像;

根据色彩模式图像和掩膜图像,生成融合图像。

在一种实现方式中,处理单元1802用于根据色彩模式图像和掩膜图像,生成融合图像时,具体用于:

获取目标背景图像,目标背景图像包括:初始图像的背景图像,或者素材图像的背景图像,或者自定义背景图像;

对色彩模式图像和掩膜图像进行图像融合,得到中间图像;

将目标背景图像叠加至中间图像中,得到融合图像。

在一种实现方式中,当目标背景图像是自定义背景图像时,处理单元1802,还用于:

显示数据推荐界面,数据推荐界面中包括一个或多个多媒体数据;

当数据推荐界面中的任一多媒体数据被选中时,从被选中的多媒体数据中分割出目标背景图像;

其中,被选中的多媒体数据为图像或者视频流,当被选中的多媒体数据为视频流时,目标背景图像是从被选中的多媒体数据中的任一图像帧中分割出的。

在一种实现方式中,处理单元1802用于对部位图像进行图像超分处理,得到超分后的部位图像时,具体用于:

从初始图像中截取出包含目标对象的指定部位的图像,作为参考图像;其中,参考图像的清晰度高于部位图像的清晰度;

对参考图像进行特征提取得到参考图像特征,以及对部位图像进行特征提取得到部位图像特征;

融合参考图像特征和部位图像特征,并基于融合后的特征进行图像重建,得到超分后的部位图像。

根据本申请的一个实施例,图18所示的图像处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。在本申请的其它实施例中,该图像处理装置也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。根据本申请的另一个实施例,可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2及图10所示的相应方法所涉及的各步骤的计算机程序(包括程序代码),来构造如图18中所示的图像处理装置,以及来实现本申请实施例的图像处理方法。计算机程序可以记载于例如计算机可读记录介质上,并通过计算机可读记录介质装载于上述计算设备中,并在其中运行。

本申请实施例中,处理单元1802可对获取到的初始图像中目标对象进行姿态扭转处理,使得扭转后的姿态扭转图像中包含目标对象且目标对象呈现目标姿态;处理单元1802还采用细节较为丰富的初始图像对细节较为粗糙的姿态扭转图像进行图像融合,得到细节较为丰富的融合图像,实现对姿态扭转图像所包含的呈现目标姿态的目标对象的精修,并且,姿态扭转图像所包含的目标对象已经呈现目标姿态,这使得图像融合过程中可专注于对姿态扭转图像的细节特征的丰富,而不用考虑对目标对象的姿态进行扭转,降低图像融合的难度。另外,还支持对从融合图像中截取的包含目标对象的指定部位的部位图像,进行图像超分处理,使得超分后的部位图像所包含的指定部位的清晰度更高,且对包含指定部位的部位图像进行图像超分处理,可以节省图像处理资源;再将超分后的部位图像与融合图像进行融合,得到清晰度较高的目标图像。

图19示出了本申请一个示例性实施例提供的一种图像处理设备的结构示意图。请参见图19,该图像处理设备包括处理器1901、通信接口1902以及计算机可读存储介质1903。其中,处理器1901、通信接口1902以及计算机可读存储介质1903可通过总线或者其它方式连接。其中,通信接口1902用于接收和发送数据。计算机可读存储介质1903可以存储在图像处理设备的存储器中,计算机可读存储介质1903用于存储计算机程序,计算机程序包括程序指令,处理器1901用于执行计算机可读存储介质1903存储的程序指令。处理器1901(或称CPU(Central Processing Unit,中央处理器))是图像处理设备的计算核心以及控制核心,其适于实现一条或多条指令,具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能。

本申请实施例还提供了一种计算机可读存储介质(Memory),计算机可读存储介质是图像处理设备中的记忆设备,用于存放程序和数据。可以理解的是,此处的计算机可读存储介质既可以包括图像处理设备中的内置存储介质,当然也可以包括图像处理设备所支持的扩展存储介质。计算机可读存储介质提供存储空间,该存储空间存储了图像处理设备的处理系统。并且,在该存储空间中还存放了适于被处理器1901加载并执行的一条或多条的指令,这些指令可以是一个或多个的计算机程序(包括程序代码)。需要说明的是,此处的计算机可读存储介质可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatilememory),例如至少一个磁盘存储器;可选的,还可以是至少一个位于远离前述处理器的计算机可读存储介质。

在一个实施例中,该图像处理设备可以是前述实施例提到的目标终端或服务器;该计算机可读存储介质中存储有一条或多条指令;由处理器1901加载并执行计算机可读存储介质中存放的一条或多条指令,以实现上述显示处理方法实施例中的相应步骤;具体实现中,计算机可读存储介质中的一条或多条指令由处理器1901加载并执行如下步骤:

获取包含目标对象的初始图像,并对初始图像中的目标对象进行姿态扭转处理,得到姿态扭转图像;

对姿态扭转图像和初始图像进行图像融合,得到融合图像;融合图像中的目标对象的姿态,与姿态扭转图像中的目标对象的姿态相同;

从融合图像中截取出包含目标对象的指定部位的部位图像,并对部位图像进行图像超分处理,得到超分后的部位图像;

融合超分后的部位图像和融合图像,得到目标图像。

在一种实现方式中,初始图像中的目标对象呈现初始姿态,计算机可读存储介质中的一条或多条指令由处理器1901加载并在执行对初始图像中的目标对象进行姿态扭转处理,得到姿态扭转图像时,具体执行如下步骤:

获取素材图像,素材图像包括素材对象且素材对象呈现目标姿态;

对初始图像中目标对象进行建模,得到第一模型;对素材图像中素材对象进行建模,得到第二模型;对任一对象进行建模得到的模型包括:构成任一对象所呈现的姿态的多个网格,每个网格关联有任一对象的纹理信息;

基于第一模型与第二模型之间的网格对应关系,将第一模型中的各个网格所关联的纹理信息,映射至第二模型中的相应网格中;

采用映射后的第二模型,生成姿态扭转图像。

在一种实现方式中,计算机可读存储介质中的一条或多条指令由处理器1901加载并在执行获取素材图像时,具体执行如下步骤:

获取素材视频,素材视频包括N帧图像帧,N为大于零的整数;

遍历素材视频中的各个图像帧,并将当前被遍历的图像帧确定为素材图像。

在一种实现方式中,计算机可读存储介质中的一条或多条指令由处理器1901加载并还执行如下步骤:

当素材视频中的各个图像帧均被遍历后,得到N个目标图像,一个目标图像对应素材视频中的一个图像帧;

按照各个目标图像对应的图像帧在素材视频中的播放顺序,对N个目标图像进行按序排列,得到目标视频。

在一种实现方式中,计算机可读存储介质中的一条或多条指令由处理器1901加载并在执行对姿态扭转图像和初始图像进行图像融合,得到融合图像时,具体执行如下步骤:

对初始图像中的目标对象进行特征提取处理,得到第一特征图;以及,对姿态扭转图像进行特征提取处理,得到第二特征图;其中,任一特征图中包括多个特征;

按照第一特征图和第二特征图之间的特征对应关系,采用第一特征图中的各个特征,替换第二特征图中的对应特征;

基于特征替换后的第二特征图进行图像重建,得到融合图像。

在一种实现方式中,计算机可读存储介质中的一条或多条指令由处理器1901加载并在执行对初始图像中的目标对象进行特征提取处理,得到第一特征图时,具体执行如下步骤:

对初始图像进行前景分割处理,得到包含目标对象的前景图像;

对前景图像进行特征提取处理,得到第一特征图。

在一种实现方式中,计算机可读存储介质中的一条或多条指令由处理器1901加载并在执行基于特征替换后的第二特征图进行图像重建,得到融合图像时,具体执行如下步骤:

基于特征替换后的第二特征图,重建出包含呈现目标姿态的目标对象的色彩模式图像,以及包含呈现目标姿态的目标对象的掩膜图像;

根据色彩模式图像和掩膜图像,生成融合图像。

在一种实现方式中,计算机可读存储介质中的一条或多条指令由处理器1901加载并在执行根据色彩模式图像和掩膜图像,生成融合图像时,具体执行如下步骤:

获取目标背景图像,目标背景图像包括:初始图像的背景图像,或者素材图像的背景图像,或者自定义背景图像;

对色彩模式图像和掩膜图像进行图像融合,得到中间图像;

将目标背景图像叠加至中间图像中,得到融合图像。

在一种实现方式中,当目标背景图像是自定义背景图像时,计算机可读存储介质中的一条或多条指令由处理器1901加载并还执行如下步骤:

显示数据推荐界面,数据推荐界面中包括一个或多个多媒体数据;

当数据推荐界面中的任一多媒体数据被选中时,从被选中的多媒体数据中分割出目标背景图像;

其中,被选中的多媒体数据为图像或者视频流,当被选中的多媒体数据为视频流时,目标背景图像是从被选中的多媒体数据中的任一图像帧中分割出的。

在一种实现方式中,计算机可读存储介质中的一条或多条指令由处理器1901加载并在执行对部位图像进行图像超分处理,得到超分后的部位图像时,具体执行如下步骤:

从初始图像中截取出包含目标对象的指定部位的图像,作为参考图像;其中,参考图像的清晰度高于部位图像的清晰度;

对参考图像进行特征提取得到参考图像特征,以及对部位图像进行特征提取得到部位图像特征;

融合参考图像特征和部位图像特征,并基于融合后的特征进行图像重建,得到超分后的部位图像。

本申请实施例中,处理器1901可对获取到的初始图像中目标对象进行姿态扭转处理,使得扭转后的姿态扭转图像中包含目标对象且目标对象呈现目标姿态;再采用细节较为丰富的初始图像对细节较为粗糙的姿态扭转图像进行图像融合,得到细节较为丰富的融合图像,实现对姿态扭转图像所包含的呈现目标姿态的目标对象的精修,并且,姿态扭转图像所包含的目标对象已经呈现目标姿态,这使得图像融合过程中可专注于对姿态扭转图像的细节特征的丰富,而不用考虑对目标对象的姿态进行扭转,降低图像融合的难度。另外,还支持对从融合图像中截取的包含目标对象的指定部位的部位图像,进行图像超分处理,使得超分后的部位图像所包含的指定部位的清晰度更高,且对包含指定部位的部位图像进行图像超分处理,可以节省图像处理资源;再将超分后的部位图像与融合图像进行融合,得到清晰度较高的目标图像。

本申请实施例还提供一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。图像处理设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该图像处理设备执行上述显示处理方法。

本领域普通技术人员可以意识到,结合本申请中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用,使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。

在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程设备。计算机指令可以存储在计算机可读存储介质中,或者通过计算机可读存储介质进行传输。计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如,同轴电缆、光纤、数字用户线(DSL))或无线(例如,红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如,固态硬盘(Solid State Disk,SSD))等。

以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

相关技术
  • 图像处理方法和装置、电子设备、存储介质、程序产品
  • 图像处理方法和装置、电子设备、存储介质、程序产品
  • 图像处理方法和装置、电子设备、存储介质、程序产品
  • 一种应用程序处理方法、装置、电子设备及可读存储介质
  • 一种图像处理方法及其装置、设备和存储介质
  • 一种图像处理方法、装置、设备及存储介质、程序产品
  • 图像处理方法、装置、设备、可读存储介质及程序产品
技术分类

06120115932175