掌桥专利:专业的专利平台
掌桥专利
首页

图像处理方法、装置、终端及存储介质

文献发布时间:2023-06-19 09:55:50


图像处理方法、装置、终端及存储介质

技术领域

本申请实施例涉及图像处理技术领域,特别涉及一种图像处理方法、装置、终端及存储介质。

背景技术

随着图像处理技术的快速发展,逐渐出现了多种多样的图像处理功能。其中常用的一种功能是人脸形状调整功能,通过调整人脸形状能够起到瘦脸或平滑脸部轮廓的效果。

以目标图像为例,在调整目标图像中的人脸区域的形状时,在关键点展示界面中,显示目标图像中的多个人脸关键点,用户可以对至少一个人脸关键点进行调整,调整完成后点击确认选项,则根据调整后的多个人脸关键点的位置,对人脸区域进行变形处理,并在图像展示界面显示变形后的人脸区域。用户如果对变形后的人脸区域不满意,可以切换至关键点展示界面,重新进行调整。

但是,用户在一个界面上调整完成之后才能在另一个界面上看到变形后的人脸区域,导致在调整过程中用户无法获知人脸区域的变形效果,只能凭主观判断来进行调整,进而导致人脸区域的变形效果差,并且可能需要多次切换界面,导致操作效率低。

发明内容

本申请实施例提供了一种图像处理方法、装置、终端及存储介质,提高了对人脸区域进行变形处理的效果,并且对图像中的人脸区域进行变形处理的过程方便简洁,无需频繁切换界面,提高了对图像中人脸区域进行变形处理的操作效率。所述技术方案如下:

一方面,提供了一种图像处理方法,所述方法包括:

显示第一图像和多个参考关键点,所述第一图像包括人脸区域,所述人脸区域中包括多个人脸关键点,所述多个参考关键点的位置与所述多个人脸关键点的位置分别对应;

响应于对任一个参考关键点的位置调整操作,对所述参考关键点的位置进行调整,对所述参考关键点对应的人脸关键点的位置进行同步调整;

根据所述多个人脸关键点调整后的位置,对所述第一图像中的所述人脸区域进行变形处理,得到第二图像,所述第二图像包括变形后的所述人脸区域;

显示所述第二图像。

可选地,所述显示第一图像和多个参考关键点,包括:

在人脸展示区域显示所述第一图像;

在关键点展示区域显示所述多个参考关键点。

可选地,所述显示第一图像和多个参考关键点,包括:

创建与所述多个人脸关键点的位置分别对应的第一参考关键点;

以每个第一参考关键点为中心,分别创建具有目标尺寸的第二参考关键点;

显示所述第一图像和多个第二参考关键点。

可选地,所述响应于对任一个参考关键点的位置调整操作,对所述参考关键点的位置进行调整,对所述参考关键点对应的人脸关键点的位置进行同步调整,包括:

将与鼠标悬停点相邻的参考关键点设置为选中状态;

响应于对所述参考关键点的拖动操作,拖动所述参考关键点,并同步拖动所述参考关键点对应的人脸关键点。

可选地,所述响应于对任一个参考关键点的位置调整操作,对所述参考关键点的位置进行调整,对所述参考关键点对应的人脸关键点的位置进行同步调整,包括:

将与鼠标悬停点相邻的参考关键点设置为选中状态;

悬浮显示偏移量设置窗口,所述偏移量设置窗口中包括所述参考关键点的位置信息和所述参考关键点的偏移量输入框;

获取所述偏移量输入框中输入的偏移量;

根据所述偏移量对所述参考关键点的位置进行调整,对所述参考关键点对应的人脸关键点的位置进行同步调整。

可选地,所述将与鼠标悬停点相邻的参考关键点设置为选中状态,包括:

确定所述鼠标悬停点与所述相邻的参考关键点之间的第一距离;

若所述第一距离不大于第一预设距离,则将所述相邻的参考关键点设置为选中状态。

可选地,所述将与鼠标悬停点相邻的参考关键点设置为选中状态,包括:

根据所述关键点展示区域的尺寸,对所述鼠标悬停点的坐标进行归一化处理,得到第一坐标;

根据所述关键点展示区域的尺寸,对与所述鼠标悬停点相邻的参考关键点的坐标进行归一化处理,得到第二坐标;

根据所述第一坐标和所述第二坐标,确定所述鼠标悬停点与所述相邻的参考关键点之间的第二距离;

若所述第二距离不大于第二预设距离,则将所述相邻的参考关键点设置为选中状态。

可选地,所述响应于对任一个参考关键点的位置调整操作,对所述参考关键点的位置进行调整,对所述参考关键点对应的人脸关键点的位置进行同步调整,包括:

根据所述位置调整操作,对所述参考关键点的位置进行调整;

根据所述参考关键点的第一偏移量,确定所述参考关键点对应的人脸关键点的第二偏移量;

根据所述第二偏移量,对所述人脸关键点的位置进行调整。

可选地,所述根据所述第一偏移量确定所述人脸区域对应的人脸关键点的第二偏移量,包括:

根据所述多个参考关键点中的眼睛关键点确定两个眼睛之间的第三距离;

根据所述多个人脸关键点中的眼睛关键点确定两个眼睛之间的第四距离;

将所述第四距离与所述第三距离之间的比值与所述第一偏移量的乘积,确定为所述第二偏移量。

可选地,所述显示所述第二图像,包括:

显示所述第二图像和调整位置后的所述多个参考关键点。

另一方面,提供了一种图像处理方法,所述方法包括:

响应于对变形效果设置选项的触发操作,显示当前采集到的第一图像和多个参考关键点,所述第一图像包括人脸区域,所述人脸区域中包括多个人脸关键点,所述多个参考关键点的位置与所述多个人脸关键点的位置分别对应;

响应于对任一个参考关键点的位置调整操作,对所述参考关键点的位置进行调整,对所述参考关键点对应的人脸关键点的位置进行同步调整;

根据所述多个人脸关键点调整后的位置,对所述第一图像中的所述人脸区域进行变形处理,得到第二图像,所述第二图像包括变形后的所述人脸区域;

显示所述第二图像;

根据所述多个参考关键点中位置发生调整的至少一个参考关键点的偏移量,创建变形效果,所述变形效果包括所述多个参考关键点中位置发生调整的至少一个参考关键点的偏移量,所述变形效果用于对直播图像中的人脸区域进行变形处理。

可选地,所述方法还包括:

采用所述变形效果包括的至少一个参考关键点的偏移量,对直播图像中的人脸区域中与所述至少一个参考关键点对应的人脸关键点的位置进行调整,在直播界面中显示变形后的所述直播图像。

可选地,所述创建变形效果,包括:

响应于对确认选项的触发操作,创建所述变形效果,将所述至少一个参考关键点的偏移量存储于服务器中。

另一方面,提供了一种图像处理方法,所述方法包括:

显示直播界面,所述直播界面中包括直播图像和变形效果设置选项;

响应于对所述变形效果设置选项的触发操作,显示至少一种变形效果,每种变形效果包括至少一个参考关键点的偏移量;

响应于对任一变形效果的触发操作,获取所述变形效果包括的至少一个参考关键点的偏移量;

直播图像中的人脸区域中与所述至少一个参考关键点对应的人脸关键点的位置进行变形,得到变形后的图像,在所述直播界面中显示变形后的所述直播图像。

另一方面,提供了一种图像处理装置,所述装置包括:

显示模块,用于显示第一图像和多个参考关键点,所述第一图像包括人脸区域,所述人脸区域中包括多个人脸关键点,所述多个参考关键点的位置与所述多个人脸关键点的位置分别对应;

调整模块,用于响应于对任一个参考关键点的位置调整操作,对所述参考关键点的位置进行调整,对所述参考关键点对应的人脸关键点的位置进行同步调整;

变形模块,用于根据所述多个人脸关键点调整后的位置,对所述第一图像中的所述人脸区域进行变形处理,得到第二图像,所述第二图像包括变形后的所述人脸区域;

所述显示模块,用于显示所述第二图像。

可选地,所述显示模块,用于:

在人脸展示区域显示所述第一图像;

在关键点展示区域显示所述多个参考关键点。

可选地,所述显示模块,用于:

创建与所述多个人脸关键点的位置分别对应的第一参考关键点;

以每个第一参考关键点为中心,分别创建具有目标尺寸的第二参考关键点;

显示所述第一图像和多个第二参考关键点。

可选地,所述调整模块,包括:

设置单元,用于将与鼠标悬停点相邻的参考关键点设置为选中状态;

拖动单元,用于响应于对所述参考关键点的拖动操作,拖动所述参考关键点,并同步拖动所述参考关键点对应的人脸关键点。

可选地,所述调整模块,包括:

设置单元,用于将与鼠标悬停点相邻的参考关键点设置为选中状态;

显示单元,用于悬浮显示偏移量设置窗口,所述偏移量设置窗口中包括所述参考关键点的位置信息和所述参考关键点的偏移量输入框;

获取单元,用于获取所述偏移量输入框中输入的偏移量;

调整单元,用于根据所述偏移量对所述参考关键点的位置进行调整,对所述参考关键点对应的人脸关键点的位置进行同步调整。

可选地,所述设置单元,用于:

确定所述鼠标悬停点与所述相邻的参考关键点之间的第一距离;

若所述第一距离不大于第一预设距离,则将所述相邻的参考关键点设置为选中状态。

可选地,所述设置单元,用于:

根据所述关键点展示区域的尺寸,对所述鼠标悬停点的坐标进行归一化处理,得到第一坐标;

根据所述关键点展示区域的尺寸,对与所述鼠标悬停点相邻的参考关键点的坐标进行归一化处理,得到第二坐标;

根据所述第一坐标和所述第二坐标,确定所述鼠标悬停点与所述相邻的参考关键点之间的第二距离;

若所述第二距离不大于第二预设距离,则将所述相邻的参考关键点设置为选中状态。

可选地,所述调整模块,用于:

根据所述位置调整操作,对所述参考关键点的位置进行调整;

根据所述参考关键点的第一偏移量,确定所述参考关键点对应的人脸关键点的第二偏移量;

根据所述第二偏移量,对所述人脸关键点的位置进行调整。

可选地,所述调整模块,用于:

根据所述多个参考关键点中的眼睛关键点确定两个眼睛之间的第三距离;

根据所述多个人脸关键点中的眼睛关键点确定两个眼睛之间的第四距离;

将所述第四距离与所述第三距离之间的比值与所述第一偏移量的乘积,确定为所述第二偏移量。

可选地,所述显示模块,用于显示所述第二图像和调整位置后的所述多个参考关键点。

另一方面,提供了一种图像处理装置,所述装置包括:

显示模块,用于响应于对变形效果设置选项的触发操作,显示当前采集到的第一图像和多个参考关键点,所述第一图像包括人脸区域,所述人脸区域中包括多个人脸关键点,所述多个参考关键点的位置与所述多个人脸关键点的位置分别对应;

调整模块,用于响应于对任一个参考关键点的位置调整操作,对所述参考关键点的位置进行调整,对所述参考关键点对应的人脸关键点的位置进行同步调整;

变形模块,用于根据所述多个人脸关键点调整后的位置,对所述第一图像中的所述人脸区域进行变形处理,得到第二图像,所述第二图像包括变形后的所述人脸区域;

所述显示模块,用于显示所述第二图像;

创建模块,用于创建变形效果,所述变形效果包括所述多个参考关键点中位置发生调整的至少一个参考关键点的偏移量,所述变形效果用于对直播图像中的人脸区域进行变形处理。

可选地,所述调整模块,用于采用所述变形效果包括的至少一个参考关键点的偏移量,对直播图像中的人脸区域中与所述至少一个参考关键点对应的人脸关键点的位置进行调整,在直播界面中显示变形后的所述直播图像。

可选地,所述创建模块,用于响应于对确认选项的触发操作,创建所述变形效果,将所述至少一个参考关键点的偏移量存储于服务器中。

另一方面,提供了一种图像处理装置,所述装置包括:

显示模块,用于显示直播界面,所述直播界面中包括直播图像和变形效果设置选项;

所述显示模块,用于响应于对所述变形效果设置选项的触发操作,显示至少一种变形效果,每种变形效果包括至少一个参考关键点的偏移量;

获取模块,用于响应于对任一变形效果的触发操作,获取所述变形效果包括的至少一个参考关键点的偏移量;

变形模块,用于根据所述至少一个参考关键点的偏移量,对所述直播图像中的人脸区域中与所述至少一个参考关键点对应的人脸关键点的位置进行变形,得到变形后的图像,在所述直播界面中显示变形后的所述直播图像。

另一方面,提供了一种终端,所述终端包括处理器和存储器,所述存储器中存储有至少一条程序代码,所述至少一条程序代码由所述处理器加载并执行,以实现如所述图像处理方法中所执行的操作。

另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条程序代码,所述至少一条程序代码由处理器加载并执行,以实现如所述图像处理方法中所执行的操作。

再一方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机程序代码,该计算机程序代码存储在计算机可读存储介质中,终端的处理器从计算机可读存储介质读取该计算机程序代码,处理器执行该计算机程序代码,使得该终端实现如上述方面所述的图像处理方法中所执行的操作。

本申请实施例提供的方法、装置、终端及存储介质,同时显示第一图像和多个参考关键点,并且在调整参考人脸关键点时,能够同步对与该参考人脸关键点对应的人脸关键点进行调整,实现对第一图像中的人脸图像的变形处理,实时显示变形后的第二图像,用户能够根据实时显示的第二图像继续对参考关键点进行调整,提高了对人脸区域进行变形处理的效果,并且对图像中的人脸区域进行变形处理的过程方便简洁,无需频繁切换界面,提高了对图像中人脸区域进行变形处理的操作效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请实施例的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种实施环境的结构示意图。

图2是本申请实施例提供的一种图像处理方法的流程图。

图3是本申请实施例提供的一种图像处理方法的流程图。

图4是本申请实施例提供的一种图像处理方法的流程图。

图5是本申请实施例提供的一种图像处理方法的流程图。

图6是本申请实施例提供的一种聚合显示图像和参考关键点的示意图。

图7是本申请实施例提供的一种偏移量设置窗口的示意图。

图8是本申请实施例提供的一种对图像进行变形处理的流程图。

图9是本申请实施例提供的一种对图像进行变形处理的流程图。

图10是本申请实施例提供的一种显示界面的示意图。

图11是本申请实施例提供的一种显示界面的示意图。

图12是本申请实施例提供的一种显示界面的示意图。

图13是本申请实施例提供的一种显示界面的示意图。

图14是本申请实施例提供的一种图像处理方法的流程图。

图15是本申请实施例提供的一种图像处理方法的流程图。

图16是本申请实施例提供的一种图像处理装置的结构示意图。

图17是本申请实施例提供的另一种图像处理装置的结构示意图。

图18是本申请实施例提供的一种图像处理装置的结构示意图。

图19是本申请实施例提供的一种图像处理装置的结构示意图。

图20是本申请实施例提供的一种终端的结构示意图。

图21是本申请实施例提供的一种服务器的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。

可以理解,本申请所使用的术语“第一”、“第二”、“第三”、“第四”、“第五”、“第六”等可在本文中用于描述各种概念,但除非特别说明,这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。举例来说,在不脱离本申请的范围的情况下,可以将第一排列顺序称为第二排列顺序,将第二排列顺序称为第一排列顺序。

本申请所使用的术语“每个”、“多个”、“至少一个”、“任一”等,至少一个包括一个、两个或两个以上,多个包括两个或两个以上,而每个是指对应的多个中的每一个,任一是指多个中的任意一个。举例来说,多个元素包括3个元素,而每个是指这3个元素中的每一个元素,任一是指这3个元素中的任意一个,可以是第一个,可以是第二个,也可以是第三个。

首先,对本申请实施例所涉及的名词进行解释:

变形效果:对于包含人脸区域的图像,能够对该人脸区域进行变形。例如,该人脸区域包括眼睛、鼻子、嘴巴、耳朵等等,能够将眼睛进行放大、对鼻子进行拉长、对嘴巴进行缩小等等,对人脸区域中的每种处理均称为变形,每种变形均对应一种变形效果。

直播图像:任一终端在直播过程中,能够采集包括主播图像的直播图像,将该直播图像和采集的音频信息构成直播视频后发布在直播间中。

本申请实施例提供的方法,应用于直播场景中,主播终端在直播过程中,能够在直播界面中显示直播视频,并且还能够将直播视频推送给观众终端,另外还能够采用本申请实施例提供的方法,对直播视频中的人脸区域进行变形,后续能够在直播界面中显示变形后的图像。

或者,本申请实施例提供的方法,应用于图像变形场景中,终端能够显示包括人脸区域的图像,采用本申请实施例提供的方法,对图像中的人脸区域进行变形处理,得到变形后的图像。

本申请实施例提供的方法,应用于终端101和服务器102中,终端101和服务器102通过通信网络连接。终端101显示第一图像和多个参考关键点,用户基于显示的多个参考关键点调整人脸关键点,终端101根据检测的人脸关键点对图像中的人脸区域进行变形处理,进而创建变形效果,将变形效果发送给服务器102,由服务器102存储。并且服务器102还能够为终端101提供至少一种变形效果,用户能够通过终端101选择任一种变形效果,以使终端101中显示的图像应用该变形效果。

该终端101为手机、平板电脑、计算机等多种类型的终端101。该服务器102为一台服务器102,或者由若干服务器102组成的服务器102集群,或者是一个云计算服务中心。

图2是本申请实施例提供的一种图像处理方法的流程图。本申请实施例的执行主体为终端。参见图2,该方法包括:

201、显示第一图像和多个参考关键点。

其中,第一图像包括人脸区域,人脸区域中包括多个人脸关键点,多个参考关键点的位置与多个人脸关键点的位置分别对应。

202、响应于对任一个参考关键点的位置调整操作,对参考关键点的位置进行调整,对参考关键点对应的人脸关键点的位置进行同步调整。

203、根据多个人脸关键点调整后的位置,对第一图像中的人脸区域进行变形处理,得到第二图像,第二图像包括变形后的人脸区域。

204、显示第二图像。

本申请实施例提供的方法,同时显示第一图像和多个参考关键点,并且在调整参考人脸关键点时,能够同步对与该参考人脸关键点对应的人脸关键点进行调整,实现对第一图像中的人脸图像的变形处理,实时显示变形后的第二图像和调整后的参考关键点,用户能够根据实时显示的第二图像继续对参考关键点进行调整,提高了对人脸区域进行变形处理的效果,并且对图像中的人脸区域进行变形处理的过程方便简洁,无需频繁切换界面,提高了对图像中人脸区域进行变形处理的操作效率。

可选地,显示第一图像和多个参考关键点,包括:

在人脸展示区域显示第一图像;

在关键点展示区域显示多个参考关键点。

可选地,显示第一图像和多个参考关键点,包括:

创建与多个人脸关键点的位置分别对应的第一参考关键点;

以每个第一参考关键点为中心,分别创建具有目标尺寸的第二参考关键点;

显示第一图像和多个第二参考关键点。

可选地,响应于对任一个参考关键点的位置调整操作,对参考关键点的位置进行调整,对参考关键点对应的人脸关键点的位置进行同步调整,包括:

将与鼠标悬停点相邻的参考关键点设置为选中状态;

响应于对参考关键点的拖动操作,拖动参考关键点,并同步拖动参考关键点对应的人脸关键点。

可选地,响应于对任一个参考关键点的位置调整操作,对参考关键点的位置进行调整,对参考关键点对应的人脸关键点的位置进行同步调整,包括:

将与鼠标悬停点相邻的参考关键点设置为选中状态;

悬浮显示偏移量设置窗口,偏移量设置窗口中包括参考关键点的位置信息和参考关键点的偏移量输入框;

获取偏移量输入框中输入的偏移量;

根据偏移量对参考关键点的位置进行调整,对参考关键点对应的人脸关键点的位置进行同步调整。

可选地,将与鼠标悬停点相邻的参考关键点设置为选中状态,包括:

确定鼠标悬停点与相邻的参考关键点之间的第一距离;

若第一距离不大于第一预设距离,则将相邻的参考关键点设置为选中状态。

可选地,将与鼠标悬停点相邻的参考关键点设置为选中状态,包括:

根据关键点展示区域的尺寸,对鼠标悬停点的坐标进行归一化处理,得到第一坐标;

根据关键点展示区域的尺寸,对与鼠标悬停点相邻的参考关键点的坐标进行归一化处理,得到第二坐标;

根据第一坐标和第二坐标,确定鼠标悬停点与相邻的参考关键点之间的第二距离;

若第二距离不大于第二预设距离,则将相邻的参考关键点设置为选中状态。

可选地,响应于对任一个参考关键点的位置调整操作,对参考关键点的位置进行调整,对参考关键点对应的人脸关键点的位置进行同步调整,包括:

根据位置调整操作,对参考关键点的位置进行调整;

根据参考关键点的第一偏移量,确定参考关键点对应的人脸关键点的第二偏移量;

根据第二偏移量,对人脸关键点的位置进行调整。

可选地,根据第一偏移量确定人脸区域对应的人脸关键点的第二偏移量,包括:

根据多个参考关键点中的眼睛关键点确定两个眼睛之间的第三距离;

根据多个人脸关键点中的眼睛关键点确定两个眼睛之间的第四距离;

将第四距离与第三距离之间的比值与第一偏移量的乘积,确定为第二偏移量。

可选地,显示第二图像,包括:

显示第二图像和调整位置后的多个参考关键点。

图3是本申请实施例提供的一种图像处理方法的流程图。参见图3,该方法包括:

301、响应于对变形效果设置选项的触发操作,显示当前采集到的第一图像和多个参考关键点。

其中,第一图像包括人脸区域,人脸区域中包括多个人脸关键点,多个参考关键点的位置与多个人脸关键点的位置分别对应。

302、响应于对任一个参考关键点的位置调整操作,对参考关键点的位置进行调整,对参考关键点对应的人脸关键点的位置进行同步调整。

303、根据多个人脸关键点调整后的位置,对第一图像中的人脸区域进行变形处理,得到第二图像。

其中,第二图像包括变形后的人脸区域。

304、显示第二图像。

305、创建变形效果,变形效果包括多个参考关键点中位置发生调整的至少一个参考关键点的偏移量,变形效果用于对直播图像中的人脸区域进行变形处理。

本申请实施例提供的方法,能够生成与变形后的人脸区域对应的变形效果,将变形效果存储于服务器中,以便于终端能够将变形效果应用于直播过程中,对直播过程中的直播图像进行变形处理,不仅为用户对图像中的人脸区域进行变形处理的过程提供便利,提高了对人脸区域进行变形处理的效果以及处理效率,而且也提高了用户的直播效果。

可选地,采用变形效果包括的至少一个参考关键点的偏移量,对直播图像中的人脸区域中与至少一个参考关键点对应的人脸关键点的位置进行调整,在直播界面中显示变形后的直播图像。

可选地,创建变形效果,包括:

响应于对确认选项的触发操作,创建变形效果,将至少一个参考关键点的偏移量存储于服务器中。

图4是本申请实施例提供的一种图像处理方法的流程图。参见图4,该方法包括:

401、显示直播界面,直播界面中包括直播图像和变形效果设置选项。

402、响应于对变形效果设置选项的触发操作,显示至少一种变形效果,每种变形效果包括至少一个参考关键点的偏移量。

403、响应于对任一变形效果的触发操作,获取变形效果包括的至少一个参考关键点的偏移量。

404、根据至少一个参考关键点的偏移量,对直播图像中的人脸区域中与至少一个参考关键点对应的人脸关键点的位置进行变形,得到变形后的图像,在直播界面中显示变形后的直播图像。

本申请实施例提供的方法,在直播过程中能够直接获取已存储的至少一种变形效果,进而能够将选择的任一种变形效果应用在直播过程中,能够简化用户在直播过程中选择变形效果的流程,并且还能够提高用户直播的效果,提高用户的粘性。

在本申请中,图5实施例主要说明了如何对参考关键点的位置进行调整,进而完成对图像中人脸区域进行变形处理,同时显示变形后的图像和位置调整后的多个参考关键点的过程。可选地,本申请实施例能够在显示界面中显示图像和参考关键点。例如,该显示界面包括人脸调整界面、人脸整形界面、人脸编辑界面或者其他界面等,本申请实施例并不做限定。

图5是本申请实施例提供的一种图像处理方法的流程图。参见图5,该方法应用于终端中,该方法包括:

501、创建与多个人脸关键点的位置分别对应的第一参考关键点。

本申请实施例中,终端获取当前显示的第一图像,并且获取第一图像的人脸区域的人脸关键点对应的参考关键点,进而显示第一图像和获取的参考关键点。

其中,多个人脸关键点为第一图像中的人脸区域包括的关键点。该第一图像为终端当前采集的包括人脸区域的图像,或者,该第一图像为终端中存储的包括人脸区域的图像,或者,该第一图像采用其他方式获取的图像。

可选地,终端在显示界面中显示多个第一参考关键点。该显示界面为终端安装的目标应用中的界面。用户在该显示界面中对参考关键点的位置进行调整,进而同步将参考关键点对应的人脸关键点进行调整,得到人脸区域变形后的图像。

另外,该目标应用为直播应用、图像处理应用或者其他类型的应用。

例如,若该目标应用为直播应用,在该直播应用中显示该显示界面,基于该显示界面设置变形效果。或者,若该目标应用为图像处理应用,则在该图像处理应用中显示该显示界面,基于该显示界面设置变形效果。

终端创建与多个人脸关键点的位置分别对应的第一参考关键点,后续基于创建的多个第一参考关键点对人脸关键点进行调整。

其中,与多个人脸关键点的位置分别对应的第一参考关键点存储于服务器中,终端从服务器中获取第一参考关键点,进而基于获取的第一参考关键点创建与多个人脸关键点的位置分别对应的第一参考关键点。

可选地,在创建与多个人脸关键点的位置分别对应的第一参考关键点之前,需要先基于包括标准人脸区域的标准图像进行关键点检测,以确定标准人脸区域中的标准人脸关键点。

其中,该包括标准人脸区域的图像为人眼正视前方时所采集的图像。例如,用户正视具有采集功能的摄像头,终端基于该摄像头采集到包括标准人脸区域的图像。或者,终端从数据库中获取多张包括标准人脸区域的图像。

另外,采用人脸关键点检测算法检测人脸关键点、或者采用人脸关键点检测模型检测人脸关键点,或者采用其他方式进行检测。

502、以每个第一参考关键点为中心,分别创建具有目标尺寸的第二参考关键点。

在本申请实施例中,由于需要显示参考关键点,如果仅基于参考关键点对应的一个像素点显示,会导致显示的参考关键点过小,则为了保证显示的每个参考关键点清晰,以每个第一参考关键点为中心,分别创建具有目标尺寸的第二参考关键点。

其中,该目标尺寸由终端设置,或者由操作人员设置,或者采用其他方式设置。

例如,对于每个第一参考关键点,以该第一参考关键点为中心,构成由四个点构成的一个矩形,再利用渲染API(Application Programming Interface,应用程序编程接口)渲染构成的矩形,进而显示第二参考关键点。

503、显示第一图像和多个第二参考关键点。

确定第一图像和多个第二参考关键点后,显示该第一图像和多个第二参考关键点。

可选地,终端的显示界面中包括人脸展示区域和关键点展示区域。终端在人脸展示区域显示该第一图像,在关键点展示区域显示这多个第二参考关键点。

其中,该人脸展示区域位于关键点展示区域上方,或者人脸展示区域位于关键点区域下方,或者人脸展示区域位于关键点展示区域左侧,或者人脸展示区域位于关键点区域右侧。

例如,如图6所示,终端能够获取到第一图像和多个第一参考关键点,根据每个第一参考关键点能够绘制一个矩形,进而得到多个第二参考关键点,将显示第一图像的人脸展示区域和显示多个第二参考关键点的关键点展示区域合并显示,以同时显示第一图像和多个第二参考关键点。

在一种可能实现方式中,将显示界面按照预设比例进行划分,得到人脸展示区域和关键点展示区域。

例如,该预设比例为2:1,则人脸展示区域占显示界面的2/3的区域,关键点展示区域占显示界面的3/1的区域。或者,该预设比例为1:1,则人脸展示区域占显示界面的1/2的区域,关键点展示区域占显示界面的1/2的区域。或者,该预设比例还可以为其他数值。

需要说明的是,本申请实施例仅是以501-503为例进行说明。在另一实施例中,不执行501-503,直接显示第一图像和多个参考关键点。

其中,多个参考关键点的位置与多个人脸关键点的位置分别对应。

可选地,在人脸展示区域,显示第一图像,在关键点展示区域,显示多个参考关键点。

其中,显示第一图像和多个参考关键点的过程与上述显示第一图像和多个第二参考关键点的过程同理,在此不再赘述。

504、响应于对任一个第二参考关键点的位置调整操作,对第二参考关键点的位置进行调整,对第二参考关键点对应的人脸关键点的位置进行同步调整。

在本申请实施例中,第二参考关键点和人脸关键点具有一一对应关系,则第二参考关键点的位置发生改变时,该第二参考关键点对应的人脸关键点的位置也会基于第二参考关键点的位置进行同步移动。

其中,用户执行对第二参考关键点的位置调整操作,终端检测到位置调整操作,则响应于对任一个第二参考关键点的位置调整操作,对第二参考关键点的位置进行调整,进而对第二参考关键点对应的人脸关键点的位置进行同步调整。

例如,若第二参考关键点向左移动,该第二参考关键点对应的人脸关键点也会向左移动,若第二参考关键点向下移动,则第二参考关键点对应的人脸关键点也向下移动。

在一种可能实现方式中,将与鼠标悬停点相邻的参考关键点设置为选中状态,响应于对参考关键点的拖动操作,拖动参考关键点,并同步拖动参考关键点对应的人脸关键点。

其中,该鼠标悬停点用于指示鼠标指针的位置。在对任一个第二参考关键点进行调整时,需要先选中需要调整的第二参考关键点,再将与鼠标悬停点相邻的第二参考关键点设置为选中状态,用户执行对该第二参考关键点的拖动操作,拖动该第二参考关键点,同时第二参考关键点对应的人脸关键点也会同步基于拖动操作进行移动。

例如,根据鼠标悬停点的悬停位置,确定选中的参考关键点,再基于拖动操作将选中的参考关键点拖动至拖动操作的终止位置,并且该参考关键点对应的人脸关键点也根据参考关键点进行同步移动。

在另一种可能实现方式中,将与鼠标悬停点相邻的参考关键点设置为选中状态,悬浮显示偏移量设置窗口,获取偏移量输入框中输入的偏移量,根据偏移量对参考关键点的位置进行调整,对参考关键点对应的人脸关键点的位置进行同步调整。

其中,偏移量设置窗口中包括参考关键点的位置信息和参考关键点的偏移量输入框。该参考关键点的位置信息为参考关键点的坐标,参考关键点的偏移量为相对于该参考关键点的位置信息的偏移量。

可选地,本申请实施例中的偏移量设置窗口显示在显示界面的上层。在本申请实施例中,将与鼠标悬停点相邻的参考关键点设置为选中状态,则用户执行对该参考关键点的位置调整操作,在显示界面的上层显示的偏移量设置窗口中输入该参考关键点的偏移量,终端获取该偏移量后,则根据该偏移量对参考关键点的位置进行调整,且与该参考关键点对应的人脸关键点也会同步进行调整。

例如,如图7所示,在显示界面中悬浮显示偏移量设置窗口,在该偏移量设置窗口中显示参考关键点的标识(点下标)、参考关键点的坐标(坐标x和坐标y)、参考关键点的偏移量输入栏(偏移x和偏移y)、参考关键点的尺寸(点大小)、以及整形强度。

通过在参考关键点的偏移量输入栏输入偏移量,能够调整参考关键点的位置,通过调整参考关键点的尺寸,能够调整显示的参考关键点的尺寸,通过调整整形强度,能够在不改变参考关键点的偏移量的情况下,调整变形效果。

另外,终端在显示偏移量设置窗口的过程中,将其他的参考关键点设置为选中状态,此时偏移量设置窗口中会显示其他的参考关键点的位置信息,则根据在偏移量设置窗口中获取的偏移量对其他的参考关键点的位置进行调整,且与该其他的参考关键点对应的人脸关键点进行同步调整。

其中,将鼠标悬停点相邻的参考关键点设置为选中状态,包括:确定鼠标悬停点与相邻的参考关键点之间的第一距离,若第一距离不大于第一预设距离,则将相邻的参考关键点设置为选中状态。

该第一预设距离由终端设置,或者由操作人员设置,或者采用其他方式设置。

在本申请实施例中,该鼠标悬停点具有相邻的参考关键点,则获取该鼠标悬停点与相邻的参考关键点之间的第一距离,若该第一距离不大于第一预设距离,则将相邻的参考关键点设置为选中状态。

需要说明的是,本申请实施例将参考关键点设置为选中状态的过程可以理解为:将以该鼠标悬停点为中心,以第一预设距离为半径的范围内的参考关键点设置为选中状态。

在本申请实施例中,若直接根据鼠标悬停点和相邻的参考关键点之间的第一距离确定是否将该参考关键点设置为选中状态,可能会因为关键点展示区域的尺寸不同,导致确定的第一距离也不同,基于该第一距离和第一预设距离进行比较会导致确定的选中状态不准确,则为了保证设置的参考关键点的选中状态准确,根据关键点展示区域的尺寸将鼠标悬停点的坐标和与该鼠标悬停点相邻的参考关键点的坐标进行归一化处理,基于归一化处理后的坐标确定鼠标悬停点与相邻的参考关键点之间的距离,进而确定是否将参考关键点设置为选中状态。

在一种可能实现方式中,根据关键点展示区域的尺寸,对鼠标悬停点的坐标进行归一化处理,得到第一坐标,根据关键点展示区域的尺寸,对与鼠标悬停点相邻的参考关键点的坐标进行归一化处理,得到第二坐标,根据第一坐标和第二坐标,确定鼠标悬停点与相邻的参考关键点之间的第二距离,若第二距离不大于第二预设距离,则将相邻的参考关键点设置为选中状态。

关键点展示区域包括长度和宽度,鼠标悬停点的坐标和与鼠标悬停点相邻的参考关键点的坐标均具有横坐标和纵坐标,例如横坐标与关键点展示区域的长度对应,纵坐标与关键点展示区域的宽度对应,则将鼠标悬停点的横坐标与关键点展示区域的长度的比值确定为归一化后的第一坐标的横坐标,将鼠标悬停点的纵坐标与关键点展示区域的宽度的比值确定为归一化后的第一坐标的纵坐标,进而确定第一坐标,将与鼠标悬停点相邻的参考关键点的横坐标与关键点展示区域的长度的比值确定为归一化后的第二坐标的横坐标,将与鼠标悬停点相邻的参考关键点的纵坐标与关键点展示区域的宽度的比值确定为归一化后的第二坐标的纵坐标,进而确定第二坐标,根据第一坐标和第二坐标,确定鼠标悬停点与相邻的参考关键点之间的第二距离,若第二距离不大于第二预设距离,则将相邻的参考关键点设置为选中状态。

在另一种可能实现方式中,根据位置调整操作,对参考关键点的位置进行调整,根据参考关键点的第一偏移量,确定参考关键点对应的人脸关键点的第二偏移量,根据第二偏移量,对人脸关键点的位置进行调整。

基于位置调整操作对参考关键点的位置进行调整,且参考关键点的位置改变后具有偏移量,则根据该参考关键点的第一偏移量确定该参考关键点的第二偏移量,根据该第二偏移量对人脸关键点的位置进行调整。

其中,根据参考关键点的第一偏移量,确定参考关键点对应的人脸关键点的第二偏移量,包括:根据多个参考关键点中的眼睛关键点确定两个眼睛之间的第三距离,根据多个人脸关键点中的眼睛关键点确定两个眼睛之间的第四距离,将第四距离与第三距离之间的比值与第一偏移量的乘积,确定为第二偏移量。

其中,人脸区域中的两个眼睛之间的距离不会发生改变,则以人脸区域中两个眼睛之间的距离为基准,根据多个参考关键点中的眼睛关键点对应确定两个眼睛之间的第三距离,再根据人脸关键点中的眼睛关键点确定两个眼睛之间的第四距离,此时根据第三距离和第四距离确定在人脸展示区域中的人脸区域的关键点展示区域中的人脸区域的比例,第四距离与第三距离之间的比值与第一偏移量的乘积,确定为第二偏移量,该第二偏移量为符合人脸展示区域中人脸区域的角度的偏移量。

在一种可能实现方式中,在确定两个眼睛之间的距离时,每个眼睛关键点中均具有左眼角关键点和右眼角关键点,则将两个左眼角关键点之间的距离确定为两个眼睛之间的距离。

或者,将两个右眼角关键点之间的距离确定为两个眼睛之间的距离。

或者,根据一个眼睛的左眼角关键点和右眼角关键点确定该眼睛的中心关键点,根据另一个眼睛的左眼角关键点和右眼角关键点确定该另一个眼睛的中心关键点,再将两个中心关键点之间的距离确定为两个眼睛之间的距离。

可选地,在显示参考关键点的过程中,能够采用不同的颜色来区分参考关键点是否处于选中状态,参考关键点的位置是否经过了调整,或者人脸关键点是否处于选中状态等等。

例如,对于参考关键点而言,调整位置后的参考关键点用黄色显示,而处于原始状态的参考关键点用绿色显示,当前选中的已经调整过的参考关键点用青色显示,当前选中的未经过调整的参考关键点用蓝色显示。对于人脸关键点而言,人脸关键点用红色显示,当前选中的人脸关键点用紫色的点显示。

本申请实施例中,基于人脸区域中的两个眼睛之间的距离对关键点的偏移量进行转换,能够保证随着人脸区域的尺寸的变化,人脸关键点的偏移量也会对应改变,防止出现随着人脸区域的尺寸变化,人脸关键点的偏移量却是固定的情况,进而能够实现变形效果会跟随人脸的移动而移动,会跟随人脸旋转而旋转,会跟随人脸大小变化而变化的效果,提高了对人脸区域进行整形的效果。

505、根据多个人脸关键点调整后的位置,对第一图像中的人脸区域进行变形处理,得到第二图像。

其中,该第二图像包括变形后的人脸区域。在调整多个人脸关键点的位置后,这多个人脸关键点所对应的人脸区域也会相应发生变化,则根据多个人脸关键点调整后的位置,对第一图像中的人脸区域进行变形处理,得到包括变形后的人脸区域的第二图像。

其中,采用变形算法,根据人脸关键点调整后的位置对第一图像中的人脸区域进行变形处理,得到第二图像。

在一种可能实现方式中,在对第一图像中的人脸区域进行变形处理的过程中,能够基于人脸识别库对人脸区域进行人脸识别,识别出人脸关键点,再根据DirectX3D(一种渲染工具)对第一图像进行渲染。

例如,图8示出了得到变形后的人脸区域的流程图,如图8所示,根据识别的第一图像中的人脸关键点构建网络,将第一图像渲染在显示界面中,再基于人脸关键点中的边缘关键点将人脸区域截取出来,再根据人脸关键点的偏移量,对该人脸关键点所在网格所涉及的区域的像素点的像素值进行插值处理,得到变形处理后的人脸区域,将变形处理后的人脸区域拼接回原来的图像中,得到变形后的第二图像。

506、显示第二图像和调整位置后的多个参考关键点。

在本申请实施例中,根据调整位置后的多个参考关键点对人脸区域变形后,显示得到的第二图像和调整位置后的多个参考关键点。

如图9所示,图9示出了本申请实施例提供的图像处理方法的流程,用户通过鼠标或键盘控制鼠标悬停点移动,选中参考关键点,通过鼠标拖动或键盘输入偏移量对参考关键点的位置进行调整,将调整后的参考关键点显示在右屏中,再基于人脸关键点确定人脸尺寸,将参考关键点的偏移量转换为对应的人脸关键点的偏移量,进而对图像中的人脸区域进行变形处理,在左侧区域中实时展示变形处理之后的图像,在右侧区域中实时显示参考关键点的位置调整情况。

需要说明的第一点是,本申请实施例仅是以显示第二图像和调整位置后的多个参考关键点为例进行说明。在另一实施例中,除了显示第二图像和调整位置后的多个参考关键点以外,还能够在第二图像中显示调整位置后的多个人脸关键点。或者,在另一实施例中,仅显示第二图像,不显示调整位置后的多个参考关键点。

另外,下面以图10-13来说明本申请实施例所提供的图像处理方法,例如,如图10所示,在左侧屏幕中能够显示包括人脸的图像,并且显示人脸关键点,在右侧屏幕中显示与人脸关键点对应的参考关键点。如图11所示,右侧屏幕中的参考关键点的位置调整后,在左侧屏幕中显示变形处理后的图像,又如图12所示,若图像中的人脸区域的角度发生变化,则在对人脸区域进行变形处理的过程中,变形效果也会随着人脸区域的角度改变。又如图13所示,能够将左侧屏幕显示的人脸关键点取消,并且还能够对右侧屏幕中的参考关键点的尺寸放大,还能够调整人脸区域的整形效果。

本申请实施例提供的方法,同时显示第一图像和多个参考关键点,并且在调整参考人脸关键点时,能够同步对与该参考人脸关键点对应的人脸关键点进行调整,实现对第一图像中的人脸图像的变形处理,实时显示变形后的第二图像,用户能够根据实时显示的第二图像继续对参考关键点进行调整,提高了对人脸区域进行变形处理的效果,并且对图像中的人脸区域进行变形处理的过程方便简洁,无需频繁切换界面,提高了对图像中人脸区域进行变形处理的操作效率。

并且,基于人脸区域中的两个眼睛之间的距离对关键点的偏移量进行转换,能够保证随着人脸区域的尺寸的变化,人脸关键点的偏移量也会对应改变,防止出现随着人脸区域的尺寸变化,人脸关键点的偏移量却是固定的情况,进而能够实现变形效果会跟随人脸的移动而移动,会跟随人脸旋转而旋转,会跟随人脸大小变化而变化的效果,提高了对人脸区域进行整形的效果。

并且,在本申请实施例中,由于关键点展示区域的尺寸可能会出现不同的情况,若直接根据鼠标悬停点和相邻的参考关键点之间的第一距离确定是否将该参考关键点设置为选中状态,可能会导致确定的第一距离不同,为了保证设置的参考关键点的选中状态准确性,根据关键点展示区域的尺寸将鼠标悬停点的坐标和与该鼠标悬停点相邻的参考关键点的坐标进行归一化处理,基于归一化处理后的坐标确定鼠标悬停点与相邻的参考关键点之间的距离,进而确定是否将参考关键点设置为选中状态,提高了对参考关键点设置为选中状态的准确性,进而能够提高对人脸区域进行变形处理的效果。

在图5实施例的基础上,用户完成对图像中人脸区域的变形处理后,能够控制终端创建对应的变形效果,进而将变形效果存储的过程,具体过程请见下述实施例。图14是本申请提供的一种图像处理方法的流程图。参见图14,该方法应用于终端中,该方法包括:

1401、响应于对变形效果设置选项的触发操作,显示当前采集到的第一图像和多个参考关键点。

其中,第一图像包括人脸区域,人脸区域中包括多个人脸关键点,多个参考关键点的位置与多个人脸关键点的位置分别对应。

在本申请实施例中,终端显示变形效果设置选项,若用户需要设置变形效果,则能够执行对变形效果设置选项的触发操作,终端响应于对该变形效果设置选项的触发操作,显示当前采集到的第一图像和多个参考关键点。

其中,该触发操作为单击操作、双击操作、长按操作或者其他操作。

需要说明的是,本申请实施例仅是以显示变形效果设置选项为例进行说明。在另一实施例中,若终端正在直播,显示直播界面,且该直播界面中包括变形效果创建选项,终端响应于对该变形效果创建选项的触发操作,显示包括变形效果设置选项的界面,进而执行1401。

其中,显示变形效果设置选项的界面能够作为直播画面推送给观众终端,或者,仅在进行直播的终端中显示包括该变形效果设置选项的界面,而观众终端仍显示直播画面。

1402、响应于对任一个参考关键点的位置调整操作,对参考关键点的位置进行调整,对参考关键点对应的人脸关键点的位置进行同步调整。

1403、根据多个人脸关键点调整后的位置,对第一图像中的人脸区域进行变形处理,得到第二图像。

其中,第二图像包括变形后的人脸区域。

1404、显示第二图像和调整位置后的多个参考关键点。

其中,1402-1404的过程与上述501-506类似,在此不再赘述。

需要说明的是,本申请实施例仅是以显示第二图像和调整位置后的多个参考关键点为例进行说明。在另一实施例中,还能够仅显示第二图像,不显示其他参考关键点。

1405、创建变形效果。

其中,该变形效果包括多个参考关键点中位置发生调整的至少一个参考关键点的偏移量,变形效果用于对直播图像中的人脸区域进行变形处理。

若用户完成对人脸区域的变形处理后,则能够控制终端创建变形效果,后续终端能够基于该变形效果对直播图像中的人脸区域进行变形处理。

在一种可能实现方式中,响应于对确认选项的触发操作,创建变形效果,将至少一个参考关键点的偏移量存储于服务器中。

在本申请实施例中,终端还能够显示确认选项,若用户完成对人脸区域的变形处理,则触发该确认选项,终端响应于对该确认选项的触发操作,创建变形效果,将至少一个参考关键点的偏移量存储于服务器中。

其中,该服务器为目标应用对应的服务器,该服务器能够存储目标应用中的所产生的数据。

终端将创建的变形效果存储于服务器中,则后续终端能够从服务器中获取已存储的至少一个变形效果,进而基于该变形效果对图像中的人脸区域进行变形处理。

1406、采用变形效果包括的至少一个参考关键点的偏移量,对直播图像中的人脸区域中与至少一个参考关键点对应的人脸关键点的位置进行调整,在直播界面中显示变形后的直播图像。

其中,1406中的过程与上述505类似,在此不再赘述。

本申请实施例提供的方法,能够生成与变形后的人脸区域对应的变形效果,将变形效果存储于服务器中,以便于终端能够将变形效果应用于直播过程中,对直播过程中的直播图像进行变形处理,不仅为用户对图像中的人脸区域进行变形处理的过程提供便利,提高了对人脸区域进行变形处理的效果以及处理效率,而且也提高了用户的直播效果。

在图14所示的实施例的基础上,终端创建变形效果之后,还能够获取已存储的变形效果,进而在直播过程中使用选择的变形效果,具体过程请见下述实施例。图15是本申请提供的一种图像处理方法的流程图。参见图15,该方法应用于终端中,该方法包括:

1501、显示直播界面。

其中,该直播界面中包括直播图像和变形效果设置选项。

在本申请实施例中,终端能够采集主播用户的直播图像,在直播界面中显示已采集的直播图像,并且在主播用户直播过程中,该主播用户还能够选择变形效果,以使直播图像中的人脸区域基于该变形效果进行形变,进而在直播界面中显示变形后的直播图像。

其中,该直播图像为包括主播的人脸区域的图像,终端实时采集主播的图像,将实时采集的图像作为直播图像,进而推动给观众终端。

另外,该变形效果设置选项用于供用户触发对人脸区域的变形处理的流程,若终端检测到对该变形效果设置选项的触发操作,则显示供用户选择的至少一种变形效果。

1502、响应于对变形效果设置选项的触发操作,显示至少一种变形效果。

终端在该直播界面中显示变形效果设置选项,若主播用户需要控制终端执行对直播图像中的人脸区域进行变形的过程,则触发该变形效果设置选项,若终端检测到对该变形效果设置选项的触发操作,响应于对该变形效果设置选项的触发操作,显示至少一种变形效果。

其中,每种变形效果包括至少一个参考关键点的偏移量。该触发操作为单击操作、长按操作、双击操作或者其他类型的操作。

在一种可能实现方式中,在直播界面中悬浮显示效果设置窗口,在该效果设置窗口中显示至少一种变形效果。

例如,终端在该效果设置窗口中显示预设数量的变形效果,若用户需要查看额外的变形效果,则能够在该效果设置窗口中触发上滑操作,以使终端显示其他变形效果。

其中,该预设数量由终端设置,或者由网络设备设置,或者采用其他方式设置。例如该预设数量为4、5或者其他数值。

在另一种可能实现方式中,终端显示至少一种变形效果的过程中,用户能够触发对任一种变形效果的预览操作,则能够将该变形效果悬浮显示在显示界面中。

其中,该预览操作为长按操作、滑动操作或者其他操作。

在本申请实施例中,用户能够查看每一种变形效果的预览效果,进而通过查看的预览效果选择一种变形效果,后续对人脸区域进行变形处理。

1503、响应于对任一变形效果的触发操作,获取变形效果包括的至少一个参考关键点的偏移量。

终端显示至少一种变形效果后,则主播用户能够查看每种变形效果,进而从至少一种变形效果中选择一种变形效果,执行对该变形效果的触发操作,则终端检测到对该变形效果的触发操作时,响应于对该变形效果的触发操作,获取该变形效果包括的至少一个参考关键点的偏移量。

1504、根据至少一个参考关键点的偏移量,对直播图像中的人脸区域中与至少一个参考关键点对应的人脸关键点的位置进行变形,得到变形后的图像,在直播界面中显示变形后的直播图像。

其中,1503-1504中的过程与上述过程504-505类似,在此不再赘述。

本申请实施例提供的方法,在直播过程中能够直接获取已存储的至少一种变形效果,进而能够将选择的任一种变形效果应用在直播过程中,能够简化用户在直播过程中选择变形效果的流程,并且还能够提高用户直播的效果,提高用户的粘性。

图16是本申请提供的一种图像处理装置的结构示意图。参见图16,该装置包括:

显示模块1601,用于显示第一图像和多个参考关键点,第一图像包括人脸区域,人脸区域中包括多个人脸关键点,多个参考关键点的位置与多个人脸关键点的位置分别对应;

调整模块1602,用于响应于对任一个参考关键点的位置调整操作,对参考关键点的位置进行调整,对参考关键点对应的人脸关键点的位置进行同步调整;

变形模块1603,用于根据多个人脸关键点调整后的位置,对第一图像中的人脸区域进行变形处理,得到第二图像,第二图像包括变形后的人脸区域;

显示模块1601,用于显示第二图像。

本申请实施例提供的装置,同时显示第一图像和多个参考关键点,并且在调整参考人脸关键点时,能够同步对与该参考人脸关键点对应的人脸关键点进行调整,实现对第一图像中的人脸图像的变形处理,实时显示变形后的第二图像和调整后的参考关键点,用户能够根据实时显示的第二图像继续对参考关键点进行调整,提高了对人脸区域进行变形处理的效果,并且对图像中的人脸区域进行变形处理的过程方便简洁,无需频繁切换界面,提高了对图像中人脸区域进行变形处理的操作效率。

可选地,显示模块1601,用于:

在人脸展示区域显示第一图像;

在关键点展示区域显示多个参考关键点。

可选地,显示模块1601,用于:

创建与多个人脸关键点的位置分别对应的第一参考关键点;

以每个第一参考关键点为中心,分别创建具有目标尺寸的第二参考关键点;

显示第一图像和多个第二参考关键点。

可选地,调整模块1602,包括:

设置单元16021,用于将与鼠标悬停点相邻的参考关键点设置为选中状态;

拖动单元16022,用于响应于对参考关键点的拖动操作,拖动参考关键点,并同步拖动参考关键点对应的人脸关键点。

可选地,调整模块1602,包括:

设置单元16021,用于将与鼠标悬停点相邻的参考关键点设置为选中状态;

显示单元16023,用于悬浮显示偏移量设置窗口,偏移量设置窗口中包括参考关键点的位置信息和参考关键点的偏移量输入框;

获取单元16024,用于获取偏移量输入框中输入的偏移量;

调整单元16025,用于根据偏移量对参考关键点的位置进行调整,对参考关键点对应的人脸关键点的位置进行同步调整。

可选地,设置单元16021,用于:

确定鼠标悬停点与相邻的参考关键点之间的第一距离;

若第一距离不大于第一预设距离,则将相邻的参考关键点设置为选中状态。

可选地,设置单元16021,用于:

根据关键点展示区域的尺寸,对鼠标悬停点的坐标进行归一化处理,得到第一坐标;

根据关键点展示区域的尺寸,对与鼠标悬停点相邻的参考关键点的坐标进行归一化处理,得到第二坐标;

根据第一坐标和第二坐标,确定鼠标悬停点与相邻的参考关键点之间的第二距离;

若第二距离不大于第二预设距离,则将相邻的参考关键点设置为选中状态。

可选地,调整模块1602,用于:

根据位置调整操作,对参考关键点的位置进行调整;

根据参考关键点的第一偏移量,确定参考关键点对应的人脸关键点的第二偏移量;

根据第二偏移量,对人脸关键点的位置进行调整。

可选地,调整模块1602,用于:

根据多个参考关键点中的眼睛关键点确定两个眼睛之间的第三距离;

根据多个人脸关键点中的眼睛关键点确定两个眼睛之间的第四距离;

将第四距离与第三距离之间的比值与第一偏移量的乘积,确定为第二偏移量。

可选地,显示模块1601,用于显示第二图像和调整位置后的多个参考关键点。

图18是本申请提供的一种图像处理装置的结构示意图。参见图18,该装置包括:

显示模块1801,用于响应于对变形效果设置选项的触发操作,显示当前采集到的第一图像和多个参考关键点,第一图像包括人脸区域,人脸区域中包括多个人脸关键点,多个参考关键点的位置与多个人脸关键点的位置分别对应;

调整模块1802,用于响应于对任一个参考关键点的位置调整操作,对参考关键点的位置进行调整,对参考关键点对应的人脸关键点的位置进行同步调整;

变形模块1803,用于根据多个人脸关键点调整后的位置,对第一图像中的人脸区域进行变形处理,得到第二图像,第二图像包括变形后的人脸区域;

显示模块1801,用于显示第二图像;

创建模块1804,用于创建变形效果,变形效果包括多个参考关键点中位置发生调整的至少一个参考关键点的偏移量,变形效果用于对直播图像中的人脸区域进行变形处理。

本申请实施例提供的装置,能够生成与变形后的人脸区域对应的变形效果,将变形效果存储于服务器中,以便于终端能够将变形效果应用于直播过程中,对直播过程中的直播图像进行变形处理,不仅为用户对图像中的人脸区域进行变形处理的过程提供便利,提高了对人脸区域进行变形处理的效果以及处理效率,而且也提高了用户的直播效果。

可选地,调整模块1802,用于采用变形效果包括的至少一个参考关键点的偏移量,对直播图像中的人脸区域中与至少一个参考关键点对应的人脸关键点的位置进行调整,在直播界面中显示变形后的直播图像。

可选地,创建模块1804,用于响应于对确认选项的触发操作,创建变形效果,将至少一个参考关键点的偏移量存储于服务器中。

图19是本申请提供的一种图像处理装置的结构示意图。参见图19,该装置包括:

显示模块1901,用于显示直播界面,直播界面中包括直播图像和变形效果设置选项;

显示模块1901,用于响应于对变形效果设置选项的触发操作,显示至少一种变形效果,每种变形效果包括至少一个参考关键点的偏移量;

获取模块1902,用于响应于对任一变形效果的触发操作,获取变形效果包括的至少一个参考关键点的偏移量;

变形模块1903,用于根据至少一个参考关键点的偏移量,对直播图像中的人脸区域中与至少一个参考关键点对应的人脸关键点的位置进行变形,得到变形后的图像,在直播界面中显示变形后的直播图像。

本申请实施例提供的装置,在直播过程中能够直接获取已存储的至少一种变形效果,进而能够将选择的任一种变形效果应用在直播过程中,能够简化用户在直播过程中选择变形效果的流程,并且还能够提高用户直播的效果,提高用户的粘性。

图20是本申请实施例提供的一种终端的结构示意图。该终端2000可以是便携式移动终端,比如:智能手机、平板电脑、MP3播放器(Moving Picture Experts Group AudioLayer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts GroupAudio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端2000还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

终端2000包括有:处理器2001和存储器2002。

处理器2001可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器2001可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器2001也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器2001可以集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器2001还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。

存储器2002可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器2002还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器2002中的非暂态的计算机可读存储介质用于存储至少一个程序代码,该至少一个程序代码用于被处理器2001所执行以实现本申请中方法实施例提供的图像处理方法。

在一些实施例中,终端2000还可选包括有:外围设备接口2003和至少一个外围设备。处理器2001、存储器2002和外围设备接口2003之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口2003相连。具体地,外围设备包括:射频电路2004、显示屏2005、摄像头组件2006、音频电路2007、定位组件2008和电源2009中的至少一种。

外围设备接口2003可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器2001和存储器2002。在一些实施例中,处理器2001、存储器2002和外围设备接口2003被集成在同一芯片或电路板上;在一些其他实施例中,处理器2001、存储器2002和外围设备接口2003中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。

射频电路2004用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路2004通过电磁信号与通信网络以及其他通信设备进行通信。射频电路2004将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路2004包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路2004可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及20G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路2004还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。

显示屏2005用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏2005是触摸显示屏时,显示屏2005还具有采集在显示屏2005的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器2001进行处理。此时,显示屏2005还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏2005可以为一个,设置在终端2000的前面板;在另一些实施例中,显示屏2005可以为至少两个,分别设置在终端2000的不同表面或呈折叠设计;在另一些实施例中,显示屏2005可以是柔性显示屏,设置在终端2000的弯曲表面上或折叠面上。甚至,显示屏2005还可以设置成非矩形的不规则图形,也即异形屏。显示屏2005可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-EmittingDiode,有机发光二极管)等材质制备。

摄像头组件2006用于采集图像或视频。可选地,摄像头组件2006包括前置摄像头和后置摄像头。前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件2006还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。

音频电路2007可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器2001进行处理,或者输入至射频电路2004以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端2000的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器2001或射频电路2004的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路2007还可以包括耳机插孔。

定位组件2008用于定位终端2000的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件2008可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。

电源2009用于为终端2000中的各个组件进行供电。电源2009可以是交流电、直流电、一次性电池或可充电电池。当电源2009包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

在一些实施例中,终端2000还包括有一个或多个传感器2010。该一个或多个传感器2010包括但不限于:加速度传感器2011、陀螺仪传感器2012、压力传感器2013、指纹传感器2014、光学传感器2015以及接近传感器2016。

加速度传感器2011可以检测以终端2000建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器2011可以用于检测重力加速度在三个坐标轴上的分量。处理器2001可以根据加速度传感器2011采集的重力加速度信号,控制显示屏2005以横向视图或纵向视图进行用户界面的显示。加速度传感器2011还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器2012可以检测终端2000的机体方向及转动角度,陀螺仪传感器2012可以与加速度传感器2011协同采集用户对终端2000的3D动作。处理器2001根据陀螺仪传感器2012采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器2013可以设置在终端2000的侧边框和/或显示屏2005的下层。当压力传感器2013设置在终端2000的侧边框时,可以检测用户对终端2000的握持信号,由处理器2001根据压力传感器2013采集的握持信号进行左右手识别或快捷操作。当压力传感器2013设置在显示屏2005的下层时,由处理器2001根据用户对显示屏2005的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器2014用于采集用户的指纹,由处理器2001根据指纹传感器2014采集到的指纹识别用户的身份,或者,由指纹传感器2014根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器2001授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器2014可以被设置在终端2000的正面、背面或侧面。当终端2000上设置有物理按键或厂商Logo时,指纹传感器2014可以与物理按键或厂商Logo集成在一起。

光学传感器2015用于采集环境光强度。在一个实施例中,处理器2001可以根据光学传感器2015采集的环境光强度,控制显示屏2005的显示亮度。具体地,当环境光强度较高时,调高显示屏2005的显示亮度;当环境光强度较低时,调低显示屏2005的显示亮度。在另一个实施例中,处理器2001还可以根据光学传感器2015采集的环境光强度,动态调整摄像头组件2006的拍摄参数。

接近传感器2016,也称距离传感器,设置在终端2000的前面板。接近传感器2016用于采集用户与终端2000的正面之间的距离。在一个实施例中,当接近传感器2016检测到用户与终端2000的正面之间的距离逐渐变小时,由处理器2001控制显示屏2005从亮屏状态切换为息屏状态;当接近传感器2016检测到用户与终端2000的正面之间的距离逐渐变大时,由处理器2001控制显示屏2005从息屏状态切换为亮屏状态。

本领域技术人员可以理解,图20中示出的结构并不构成对终端2000的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。

图21是根据一示例性实施例示出的一种服务器的结构示意图,该服务器2100可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(CentralProcessing Units,CPU)2101和一个或一个以上的存储器2102,其中,存储器2102中存储有至少一条程序代码,至少一条程序代码由处理器2101加载并执行以实现上述各个方法实施例提供的方法。当然,该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。

服务器2100可以用于执行上述应用图像处理方法中服务器所执行的步骤。

本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条程序代码,该至少一条程序代码由处理器加载并执行,以实现上述实施例的图像处理方法中所执行的操作。

本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机程序代码,该计算机程序代码存储在计算机可读存储介质中,终端的处理器从计算机可读存储介质读取该计算机程序代码,处理器执行该计算机程序代码,使得该终端实现如上述方面所述的图像处理方法中所执行的操作。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,该程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。

以上仅为本申请实施例的可选实施例,并不用以限制本申请实施例,凡在本申请实施例的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

相关技术
  • 图像处理系统、图像处理终端、图像处理方法、程序、信息存储介质以及图像处理装置
  • 图像处理方法、图像处理装置、终端及可读存储介质
技术分类

06120112357029