掌桥专利:专业的专利平台
掌桥专利
首页

视频画面动态人脸图像自主生成的系统及方法

文献发布时间:2024-04-18 19:59:31


视频画面动态人脸图像自主生成的系统及方法

技术领域

本发明实施例涉及图像处理技术领域,尤其涉及一种视频画面动态人脸图像自主生成的系统及方法。

背景技术

伴随着短视频技术的快速发展,越来越多视频图像编辑以及视频图形处理软件也越来越多。

随着短视频画面的兴起,出现了越来越多的基于静态图像生成动态图像实现短视频输出的应用技术;即基于现有的图像处理技术可以对静态人脸图像进行各种操作,例如美颜、修图、滤镜等,但是静态图像在生成动态图像的动态的效果,例如生成的眨眼、微笑、说话等表情动作图像的输出效果不佳。

然而,研究发现,制作动态人脸图像其技术手段相对简单,其常规方式仅仅是通过现有图像的图像拉伸以及扭转实现获取动态图像,然后将获取的动态图像进行输出,但是研究发现这种输出的动态图像可看性较差,生成的图像不真实。

发明内容

本发明的目的在于提供一种视频画面动态人脸图像自主生成的系统及方法,解决了现有技术中指出的上述技术问题。

本发明提供了一种视频画面动态人脸图像自主生成的系统,包括人脸检测模块、关键点检测模块、关键点分析模块、关键点计算模块、动态表情初始处理模块、图像合成模块;

所述人脸检测模块,用于获取初始的静态图像;并从所述初始的静态图像中获取初始人脸图像;根据所述初始人脸图像获取人脸部位特征信息及人脸像素矩阵;

所述关键点检测模块,用于根据所述人脸部位特征信息,确定满足处理前提条件的关键点坐标点;

所述关键点分析模块,用于确定所述每个关键点坐标点分别对应的移动变化量;

所述移动变化量是指关键点坐标点的最大移动变化量;

所述关键点计算模块,用于根据所述移动变化量,对所述关键点坐标点进行迭代计算,得到表情变化矢量;

所述动态表情初始处理模块,用于根据所述表情变化矢量,获取多个动态表情变化帧图像;

所述图像合成模块,用于根据所述动态表情变化帧图像和人脸像素矩阵,对所述人脸图像进行动态优化处理,获取动态人脸图像,将所述动态人脸图像与所述初始静态图像进行融合,获取动态图像;

较佳的,所述动态表情初始处理模块,包括第一计算子模块、第二计算子模块、第三计算子模块、融合处理子模块;

所述第一计算子模块,用于根据所述表情变化矢量计算每个关键点坐标点在单位时间步长t的新坐标;

所述第二计算子模块,用于根据所述关键点坐标点在单位时间步长t的新坐标分别计算关键点坐标点的单位时间步长移动变化距离;

所述第三计算子模块,用于预设时间段T,分别计算时间段T内每个时间步长的新坐标;

所述融合处理子模块,用于分别将每个时间步长产生的新坐标进行融合,获取每个时间步长对应的动态表情变化帧图像。

较佳的,所述融合处理子模块,具体用于分别将所述新坐标对应的第一像素点通过双线插值算法计算获取目标像素点,将所述目标像素点进行融合,获取动态表情变化帧图像;

较佳的,所述融合处理子模块,还用于确定所述新坐标对应的像素点为第一像素点;获取所述第一像素点的邻域像素点的坐标以及邻域像素点的坐标对应的像素值;根据所述邻域像素点的坐标点计算插值系数;根据所述插值系数分别计算所述邻域像素点的权重;根据所述邻域像素的权重计算第二像素点的坐标对应的像素值;获取所述邻域像素点区间;并获取所述邻域像素点区间内所有一级待确定像素点的像素值;判断所有所述一级待确定像素点的像素值是否等于所述第二像素点的坐标对应的像素值;若是,则从所有所述一级待确定像素点中筛选出像素值等于所述第二像素点的坐标对应的像素值的一级待确定像素点为二级待确定像素点;从所述二级待确定像素点中随机选取任意一个像素点为目标像素点。

相应地,本发明还提出了一种视频画面动态人脸图像自主生成的方法,包括如下操作步骤:

获取初始的静态图像;并从所述初始的静态图像中获取初始人脸图像;根据所述初始人脸图像获取人脸部位特征信息及人脸像素矩阵;

根据所述人脸部位特征信息,确定满足处理前提条件的关键点坐标点;

确定所述每个关键点坐标点分别对应的移动变化量;

根据所述移动变化量,对所述关键点坐标点进行迭代计算,得到表情变化矢量;

根据所述表情变化矢量,获取多个动态表情变化帧图像;

根据所述动态表情变化帧图像和人脸像素矩阵,对所述人脸图像进行动态优化处理,获取动态人脸图像,将所述动态人脸图像与所述初始静态图像进行融合,获取动态图像。

与现有技术相比,本发明实施例至少存在如下方面的技术优势:

分析本发明提供的上述一种视频画面动态人脸图像自主生成的系统及方法可知,在具体应用时首先从初始的静态图像中获取初始人脸图像;根据初始人脸图像获取人脸部位特征信息及人脸像素矩阵;然后使用关键点检测模块根据人脸部位特征信息,确定满足处理前提条件的关键点坐标点;利用关键点分析模块确定关键点坐标点分别对应的移动变化量;

本发明实施例提供的视频画面动态人脸图像自主生成的方法,其通过关键点计算模块根据移动变化量,对关键点坐标点进行迭代计算,得到表情变化矢量;再通过动态表情初始处理模块根据表情变化矢量,获取多个动态表情变化帧图像;

最终通过图像合成模块根据动态表情变化帧图像和人脸像素矩阵,对人脸图像进行动态优化处理,获取动态人脸图像,将动态人脸图像与初始静态图像进行融合,获取动态图像进行输出,使图像更具可看性,进而改善用户体验。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的一种视频画面动态人脸图像自主生成的系统的整体架构示意图;

图2为本发明实施例二提供的一种视频画面动态人脸图像自主生成的系统的;

图3为本发明实施例二提供的一种视频画面动态人脸图像自主生成的方法的操作流程示意图;

图4为本发明实施例二提供的一种视频画面动态人脸图像自主生成的方法中的一个人体头像显示关键点的示意图;

图5为本发明实施例二提供的一种视频画面动态人脸图像自主生成的方法的一具体操作流程图;

图6为本发明实施例二提供的一种视频画面动态人脸图像自主生成的方法的另一具体操作流程图。

标号:人脸检测模块10;关键点检测模块20;关键点分析模块30;关键点计算模块40;动态表情初始处理模块50;图像合成模块60;第一计算子模块51;第二计算子模块52;第三计算子模块53;融合处理子模块54。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

下面通过具体的实施例并结合附图对本发明做进一步的详细描述。

实施例一

如图1所示,本发明提出了一种视频画面动态人脸图像自主生成的系统,包括人脸检测模块10、关键点检测模块20、关键点分析模块30、关键点计算模块40、动态表情初始处理模块50、图像合成模块60;

所述人脸检测模块,用于获取初始的静态图像;所述初始的静态图像包括人脸;并从所述初始的静态图像中获取初始人脸图像;根据所述初始人脸图像获取人脸部位特征信息及人脸像素矩阵;

上述本发明实施例所采用的人脸检测模块,获取静态图像,并从静态图像中检测到人脸,并将人脸进行等比例放大;方便后续进行获取人脸关键点;

所述关键点检测模块,用于根据所述人脸部位特征信息,确定满足处理前提条件的关键点坐标点;

所述关键点分析模块,用于确定所述每个关键点坐标点分别对应的移动变化量;

所述移动变化量是指关键点坐标点的最大移动变化量;

所述关键点计算模块,用于根据所述移动变化量,对所述关键点坐标点进行迭代计算,得到表情变化矢量;

所述动态表情初始处理模块,用于根据所述表情变化矢量,获取多个动态表情变化帧图像;

所述图像合成模块,用于根据所述动态表情变化帧图像和人脸像素矩阵,对所述人脸图像进行动态优化处理,获取动态人脸图像,将所述动态人脸图像与所述初始静态图像进行融合,获取动态图像;

较佳的,如图2所示,所述动态表情初始处理模块50,包括第一计算子模块51、第二计算子模块52、第三计算子模块53、融合处理子模块54;

所述第一计算子模块,用于根据所述表情变化矢量计算每个关键点坐标点在单位时间步长t的新坐标;

所述关键点坐标点在单位时间步长t的新坐标的计算方式为:

P(t)=P(0)+V*t;

式中,P(t)为关键点坐标点在单位时间步长的新坐标;

P(0)为关键点坐标点的初始坐标;

V为表情变化矢量;

t为单位时间步长(一般为0.1S);

所述第二计算子模块,用于根据所述关键点坐标点在单位时间步长t的新坐标分别计算关键点坐标点的单位时间步长移动变化距离;

所述关键点坐标点的单位时间步长移动变化距离的计算方式为:

式中,D为关键点坐标点的单位时间步长移动变化距离;

x1为关键点坐标点的初始横坐标(即为上述P0的横坐标);

y1为关键点坐标点的初始纵坐标(即为上述P0的纵坐标);

x2为关键点坐标点在单位时间步长的新坐标的横坐标(即为上述Pt的横坐标);

y2为关键点坐标点在单位时间步长的新坐标的纵坐标(即为上述Pt的纵坐标);

所述第三计算子模块,用于预设时间段T,分别计算时间段T内每个时间步长的新坐标;

所述时间段T内每个时间步长的新坐标的计算方式为:

x=(1-(t-t1)/(t2-t1))*x1+((t-t1)/(t2-t1))*x2

式中,X为新坐标的横坐标;

tn为第n个时间步长;

D为关键点坐标点的单位时间步长移动变化距离;

式中,Y为新坐标的纵坐标;

Tn为第n个时间步长;

D为关键点坐标点的单位时间步长移动变化距离;

所述融合处理子模块,用于分别将每个时间步长产生的新坐标进行融合,获取每个时间步长对应的动态表情变化帧图像。

较佳的,所述融合处理子模块,具体用于分别将所述新坐标对应的第一像素点通过双线插值算法计算获取目标像素点,将所述目标像素点进行融合,获取动态表情变化帧图像;

较佳的,所述融合处理子模块,还用于确定所述新坐标对应的像素点为第一像素点;

获取所述第一像素点的邻域像素点的坐标以及邻域像素点的坐标对应的像素值;其中,所述邻域像素点为四个;四个邻域像素点的坐标分别表示为p1(x1,y1)、p2(x1,y2)、p3(x2,y1)、p4(x2,y2),其中x1≤x≤x2,y1≤y≤y2;其中,p1、p2、p3、p4分别代表各自像素点的像素值;

根据所述邻域像素点的坐标点计算插值系数;

所述插值系数的计算方式为:

式中,u为横坐标的插值系数;

v为纵坐标的插值系数;

x为第一像素点的横坐标;

y为第一像素点的纵坐标;

x1为邻域像素点p1(x1,y1)、p2(x1,y2)的横坐标;

x2为邻域像素点p3(x2,y1)、p4(x2,y2)的横坐标;

y1为邻域像素点p1(x1,y1)、p3(x2,y1)的纵坐标;

y2为邻域像素点p2(x1,y2)、p4(x2,y2)的纵坐标;

根据所述插值系数分别计算所述邻域像素点的权重;

所述邻域像素点的权重的计算方式为:

w

w

w

w

式中,w

W

W

W

根据所述邻域像素的权重计算第二像素点的坐标对应的像素值;

所述第二像素点的坐标对应的像素值的计算方式为:

p0(x,y)=p1(x1,y1)*w

获取所述邻域像素点区间;并获取所述邻域像素点区间内所有一级待确定像素点的像素值;

判断所有所述一级待确定像素点的像素值是否等于所述第二像素点的坐标对应的像素值;若是,则从所有所述一级待确定像素点中筛选出像素值等于所述第二像素点的坐标对应的像素值的一级待确定像素点为二级待确定像素点;从所述二级待确定像素点中随机选取任意一个像素点为目标像素点。

综上,本发明提供的上述一种视频画面动态人脸图像自主生成的系统,首先通过人脸检测模块获取初始的静态图像;并从初始的静态图像中获取初始人脸图像;根据初始人脸图像获取人脸部位特征信息及人脸像素矩阵;

然后使用关键点检测模块根据人脸部位特征信息,确定满足处理前提条件的关键点坐标点;

利用关键点分析模块确定关键点坐标点分别对应的移动变化量;

通过关键点计算模块根据移动变化量,对关键点坐标点进行迭代计算,得到表情变化矢量;再通过动态表情初始处理模块根据表情变化矢量,获取多个动态表情变化帧图像;并且在获取动态表情变化帧图像的同时,考虑到图像拉伸或压缩造成的图像失真状况,使用双线性插值法进行计算,获取动态表情变化帧图像,保障图像的拉伸或压缩的同时不会造成图像失真,并且保障图像的比例不变,还可以对图像进行平滑处理,减少了图像中的锯齿和毛刺现象,使得图像更加真实、自然;最终通过图像合成模块根据动态表情变化帧图像和人脸像素矩阵,对人脸图像进行动态优化处理,获取动态人脸图像,将动态人脸图像与初始静态图像进行融合,获取动态图像进行输出,使图像更具可看性,进而改善用户体验。

实施例二

如图3所示,相应地,本发明还提出了一种视频画面动态人脸图像自主生成的方法,本发明实施例可适用于对包含人脸的静态图像进行处理,以实现包含人脸的静态图像的动态展示;

该方法可由包含人脸的静态图像处理装置来执行,以对包含人脸的静态图像处理过程进行控制;在本实施例中,计算机设备可以是任意具有拍摄及数据处理功能的设备,比如智能手机、个人数字化助理等等;

本发明实施例中的一种视频画面动态人脸图像自主生成的方法,包括如下操作步骤:

步骤S10:获取初始的静态图像;所述初始的静态图像包括人脸;并从所述初始的静态图像中获取初始人脸图像;根据所述初始人脸图像获取人脸部位特征信息及人脸像素矩阵;

本发明实施例从照片、截屏等包含人脸的初始的静态图像中,获取初始人脸图像,并获取位于初始人脸图像中的人脸部位特征信息,根据人脸部位特征信息对该初始人脸图像进行优化,等比例放大的人脸图像;

本发明实施例可将任意图像格式的包含人脸的初始的静态图像进行处理,获取初始的静态图像中的人脸部位特征信息;

步骤S20:根据所述人脸部位特征信息,确定满足处理前提条件的关键点坐标点;

需要说明的是,上述处理前提条件指的是为了后续操作步骤进行处理获取动态的人脸图像,需要获取人脸的关键坐标点;上述关键点坐标点的获取方式是通过利用算法Face++通过人脸部位特征信息进行定位,然后获取人脸图像中的80个关键点(举例说明:眼角关键点、上眼眶关键点、下眼眶关键点等等,参见图4,图4示意了一个头部进行关键点获取时,得到的部分人脸图像中的部分数量的关键点,并未示意全部的80个关键点);上述关键点坐标点的获取方式是现有技术,本发明实施例不再赘述。

步骤S30:确定所述每个关键点坐标点分别对应的移动变化量;

需要说明的是,上述移动变化量是指关键点坐标点的最大移动变化量;

人脸的正常表情下,关键点坐标点会有对应的移动变化量,即在对应的表情下,关键点坐标点会有不同的移动情况,本发明实施例所采用的技术方案,是获取当前人脸图像中若干个人脸关键点坐标点的最大移动变化量,即为给每一个关键点坐标点设置移动的区间;

举例说明:例如人脸左眼的关键点坐标点分别表示为左右眼角关键点坐标点a1(0,1)、a2(3,1);上眼眶关键点坐标点a3(1,2)、a4(2,2);下眼眶关键点坐标点a5(0,1)、a6(0,2);

在人脸闭眼时,a1(0,1)转换为(0,1)不变,则a1的闭眼最大移动变化量为0;a2(3,1)转换为(3,1)不变,则a2的闭眼最大移动变化量为0;a3(1,2)转换为(1,0),则a3的闭眼最大移动变化量为(0,2);a4(2,2)转换为(2,0),则a4的闭眼最大移动变化量为(0,2);a5(0,1)、a6(0,2)不变,则a5与a6的闭眼最大移动变化量为0;

在人脸瞠目时,a1(0,1)转换为(0,1)不变,则a1的瞠目最大移动变化量为0;a2(3,1)转换为(3,1)不变,则a2的瞠目最大移动变化量为0;a3(1,2)转换为(1,4),则a3的瞠目最大移动变化量为(0,2);a4(2,2)转换为(2,4),则a4的瞠目最大移动变化量为(0,2);a5(0,1)、a6(0,2)不变,则a5与a6的瞠目最大移动变化量为0;

综上,a1的最大移动变化量为0;a2的最大移动变化量为0;a3的最大移动变化量为(0,2)+(0,2)=(0,4);a4的最大移动变化量为(0,2)+(0,2)=(0,4);a5的最大移动变化量为0;a6的最大移动变化量为0;

步骤S40:根据所述移动变化量,对所述关键点坐标点进行迭代计算,得到表情变化矢量;

需要说明的是,在具体操作时,是指将各个关键点坐标点分别对应进行其各自所属的移动变化量移动,从而得到移动变化矢量;上述表情变化矢量体现出在变换表情时每一个关键点坐标点进行移动的方向和距离;

在人脸表情中,人脸的每个关键点坐标点会根据人脸表情的变化从而发生不同移动,本发明实施例所采用的技术方案是首先预设人脸各个表情时各个关键点坐标点的移动变化量;并基于当前人脸图像的各个关键点坐标点,获取当前人脸图像变化到相应的表情时各个关键点坐标点的移动变化量;

并且,每个关键点坐标点的变化唯有相应的移动变化,例如当前人脸图像的表情为无表情,在转到微笑时,眼部的上下关键点坐标点的间距会缩小;并且两边嘴角的关键点坐标点会适度上移;

本发明实施例所采用的技术方案,是根据人脸关键点,预设在不同表情时会发生的移动变化量,通过卷积神经网络算法,训练出不同表情状况下关键点坐标点的移动范围模型;

然后将当前人脸的关键点坐标点进行输入,通过关键点坐标点移动范围模型,计算出当前人脸的不同表情的关键点坐标点移动矢量;通过上述方式计算的关键点坐标点移动矢量更为精准,再次基础上根据所述表情变化矢量生成的动态表情变化帧图像细节表现更好,更突出。

步骤S50:根据所述表情变化矢量,获取多个动态表情变化帧图像;

需要说明的是,上述操作指的是在进行表情变化时,由初始表情开始连续获取每一帧表情图像,很显然,根据所述表情变化矢量,获取多个动态表情变化帧图像是通过计算的关键点坐标点移动矢量来计算生成动态表情变化帧图像的过程,具体详见后续操作;

步骤S60:根据所述动态表情变化帧图像和人脸像素矩阵,对所述人脸图像进行动态优化处理,获取动态人脸图像,将所述动态人脸图像与所述初始静态图像进行融合,获取动态图像;

解释说明:将每一个动态表情变化帧图像分别与人脸像素矩阵进行融合,便可以获取连续并且不同的人脸表情图像;进而将连续并且不同的人脸表情图像进行融合获取动态人脸图像,最终将动态人脸图像与初始的静态图像进行融合(将动态人脸图像与初始的静态图像进行图像融合,也进一步保障了获取的动态图像表现更为真实),便可以获取动态图像。

本发明实施例所采用的技术方案中,首先将包含人脸的静态图像(照片等图像)进行等比例放大,然后获取人脸像素矩阵及人脸部位特征信息,根据人脸部位特征信息获取80个人脸关键点坐标点,然后确定每个关键点坐标点分别对应的移动变化量,再根据移动变化量,获取每个表情状态对应的关键点表情变化矢量;

然后根据关键点的表情变化矢量获取不同表情的多个动态表情变化帧图像(一个表情会对应多个动态表情变化帧图像,即为从当前表情状态转换为新的表情状态会对应多个动态表情变化帧图像),然后将所有的动态表情变化帧图像和人脸像素矩阵进行融合,获取多个连续并且不同表情的人脸表情图像,将人脸表情图像进行融合便可以获取动态的人脸图像,最终将动态的人脸图像替换到初始的静态图像中的人脸,便可以获取动态图像。

具体地,如图5所示,在步骤S50中,根据所述表情变化矢量,获取多个动态表情变化帧图像,包括如下操作步骤:

步骤S51:根据所述表情变化矢量计算每个关键点坐标点在单位时间步长的新坐标;

所述关键点坐标点在单位时间步长的新坐标的计算方式为:

P(t)=P(0)+V*t;

式中,P(t)为关键点坐标点在单位时间步长的新坐标;

P(0)为关键点坐标点的初始坐标;

V为表情变化矢量;

t为单位时间步长(一般为0.1S);

步骤S52:根据所述关键点坐标点在单位时间步长的新坐标分别计算关键点坐标点的单位时间步长移动变化距离(所述新坐标的移动变化距离指的是人脸由初始表情状态变换到新的表情状态时,所造成的关键点坐标点的位移量,并且所述位移量小于或等于初始关键点坐标点的最大移动变化量);

所述关键点坐标点的单位时间步长移动变化距离的计算方式为:

式中,D为关键点坐标点的单位时间步长移动变化距离;

x1为关键点坐标点的初始横坐标(即为上述P0的横坐标);

y1为关键点坐标点的初始纵坐标(即为上述P0的纵坐标);

x2为关键点坐标点在单位时间步长的新坐标的横坐标(即为上述Pt的横坐标);

y2为关键点坐标点在单位时间步长的新坐标的纵坐标(即为上述Pt的纵坐标);

需要说明的是,在实际应用中,可以将移动距离作为表情变化矢量的一个元素,以表示对应关键点的移动变化量;例如,可以将左眼移动距离作为表情变化矢量的第一个元素,右眼移动距离作为第二个元素,以此类推;这样,就可以根据表情变化矢量计算每个关键点的移动距离,并生成动态表情变化帧图像;

步骤S53:预设时间段T(所述时间段T指的是当前人脸表情由初始表情转换为新表情状态时所用的时长),分别计算时间段T内每个时间步长的新坐标;其中,t≤T;

所述时间段T内每个时间步长的新坐标的计算方式为:

x=(1-(t-t1)/(t2-t1))*x1+((t-t1)/(t2-t1))*x2

式中,X为新坐标的横坐标;

tn为第n个时间步长;

D为关键点坐标点的单位时间步长移动变化距离;

式中,Y为新坐标的纵坐标;

Tn为第n个时间步长;

D为关键点坐标点的单位时间步长移动变化距离;

需要说明的是,对于每个关键点坐标点,可以根据其在不同时间步长上的位置变化量,计算出在每个时间点上的坐标,从而生成一组关键点在不同时间点上的位置信息;然后,可以将这些关键点位置信息进行融合,生成中间帧图像(即为多个动态表情帧图像);通过不断生成中间帧图像,就可以形成一个动态表情变化帧序列。

步骤S54:分别将每个时间步长产生的新坐标进行融合,获取每个时间步长对应的动态表情变化帧图像。

本发明实施例所采用的技术方案,通过分别计算出各个关键点坐标点在单位时间步长所移动产生的新坐标,然后计算出各个新坐标分别产生的单位时间移动距离;然后利用单位时间移动距离分别计算每个时间步长产生的多个新坐标(即为一个关键点坐标点在多个时间步长下对应多个新坐标);最终将每个时间步长对应的所有关键点坐标点进行融合,分别获取每个时间步长对应的动态表情帧图像(即为在上述时间段T内会对应多个时间步长,则时间段T内会对应多个动态表情帧图像)。

在本发明实施例所采用的技术方案具体实施时,技术人员发现,直接将每个时间步长产生的新坐标进行融合,然后与人脸像素矩阵进行融合后获取得到的动态表情序列中的一些动态人脸图像或多或少会有一些动态人脸图像会出现模糊的状况,这是因为关键点坐标点在移动后获取的新的关键点坐标点,在所有新的关键点坐标点进行融合后,会因为图像的拉伸或压缩,导致图像失真,并且图像的比例会发生改变,这便需要在对各个关键点坐标点的新坐标进行融合后,还需要对融合后的动态表情变化帧图像进行处理,从而保障后续与人脸像素矩阵融合时图像的精度。

具体地,在步骤S54中,分别将每个时间步长产生的新坐标进行融合,获取每个时间步长对应的动态表情变化帧图像,包括如下操作步骤:

步骤S541:分别将所述新坐标对应的第一像素点通过双线插值算法计算获取目标像素点,将所述目标像素点进行融合,获取动态表情变化帧图像;

需要说明的是,上述本发明实施例所采用的技术方案指的是,将每个时间步长产生的多个新坐标通过双线插值算法获取多个目标像素点,然后将每个时间步长对应的多个目标像素点进行融合,获取每个时间步长对应的多个动态表情变化帧图像;

举例说明:当前有三个步长时间,分别表示为a、b、c;每个步长时间对应有80个新坐标,分别表示为a={A1、A2、A3...A80};b={B1、B2、B3...B80};c={C1、C2、C3...C80};将每个时间步长对应的多个新坐标对应的像素点通过双线插值算法获取多个目标像素点,对应获得的目标像素点表示为:a={A

具体地,如图6所示,在步骤S541中,分别将所述新坐标对应的像素点通过双线插值算法计算获取目标像素点,将所述目标像素点进行融合,获取动态表情变化帧图像,包括如下操作步骤:

步骤S5411:确定所述新坐标对应的像素点为第一像素点;

步骤S5412:获取所述第一像素点的邻域像素点的坐标以及邻域像素点的坐标对应的像素值;其中,所述邻域像素点为四个;四个邻域像素点的坐标分别表示为p1(x1,y1)、p2(x1,y2)、p3(x2,y1)、p4(x2,y2),其中x1≤x≤x2,y1≤y≤y2;其中,p1、p2、p3、p4分别代表各自像素点的像素值;

需要说明的是,本发明实施例所采用的技术方案中,采用双线插值算法是对新坐标对应的像素点的四个邻域像素点进行插值计算,获取目标像素点,因此,本发明实施例优先选取第一像素点的四个邻域像素点,距离说明,当前第一像素点坐标为(1,1),获取得到的第一像素点的邻域像素点为(0,2)、(2,0)、(0,0)、(2,2);

步骤S5413:根据所述邻域像素点的坐标点计算插值系数;

所述插值系数的计算方式为:

式中,u为横坐标的插值系数;

v为纵坐标的插值系数;

x为第一像素点的横坐标;

y为第一像素点的纵坐标;

x1为邻域像素点p1(x1,y1)、p2(x1,y2)的横坐标;

x2为邻域像素点p3(x2,y1)、p4(x2,y2)的横坐标;

y1为邻域像素点p1(x1,y1)、p3(x2,y1)的纵坐标;

y2为邻域像素点p2(x1,y2)、p4(x2,y2)的纵坐标;

步骤S5414:根据所述插值系数分别计算所述邻域像素点的权重;

所述邻域像素点的权重的计算方式为:

w

w

w

w

式中,w

W

W

W

步骤S5415:根据所述邻域像素的权重计算第二像素点的坐标对应的像素值;

所述第二像素点的坐标对应的像素值的计算方式为:

p0(x,y)=p1(x1,y1)*w

步骤S5416:获取所述邻域像素点区间;并获取所述邻域像素点区间内所有一级待确定像素点的像素值;

需要说明的是,上述邻域像素点区间指的是四个邻域像素点的坐标共同构成的一个平面区间,举例说明:四个邻域像素点的坐标分别表示为p1(x1,y1)、p2(x1,y2)、p3(x2,y1)、p4(x2,y2),则邻域像素点区间为[x1,x2]和[y1,y2];

步骤S5417:判断所有所述一级待确定像素点的像素值是否等于所述第二像素点的坐标对应的像素值;若是,则从所有所述一级待确定像素点中筛选出像素值等于所述第二像素点的坐标对应的像素值的一级待确定像素点为二级待确定像素点;从所述二级待确定像素点中随机选取任意一个像素点为目标像素点。

本发明实施例所采用的技术方案,首先将每个时间步长产生的多个新坐标确定为第一像素点,然后对分别选择所有第一像素点的邻域像素点进行插值算法确定估计的第二像素点的像素值,然后根据第二像素点的像素值进行确定目标像素点的坐标;可以保障图像的拉伸或压缩的同时不会造成图像失真,并且保障图像的比例不变,还可以对图像进行平滑处理,减少了图像中的锯齿和毛刺现象,使得图像更加真实、自然;同时,本发明实施例所采用的技术方案可以快速处理大量图像数据,提高了图像处理的效率。

综上所述,本发明实例提出的一种视频画面动态人脸图像自主生成的系统及方法,在具体应用时首先通过初始的静态图像获取初始人脸图像;根据初始人脸图像获取人脸部位特征信息及人脸像素矩阵;

然后根据人脸部位特征信息,确定满足处理前提条件的关键点坐标点,方便后续操作步骤进行处理获取动态的人脸图像;

再确定关键点坐标点分别对应的移动变化量,给每一个关键点坐标点设置移动的区间;

然后对关键点坐标点进行迭代计算,得到表情变化矢量,从而得到在变换表情时每一个关键点坐标点进行移动的方向和距离;再通过分别计算出各个关键点坐标点在单位时间步长所移动产生的新坐标,然后计算出各个新坐标分别产生的单位时间移动距离;然后利用单位时间移动距离分别计算每个时间步长产生的多个新坐标(即为一个关键点坐标点在多个时间步长下对应多个新坐标);最终将每个时间步长对应的所有关键点坐标点进行融合,分别获取每个时间步长对应的动态表情帧图像(即为在上述时间段T内会对应多个时间步长,则时间段T内会对应多个动态表情帧图像);

具体在进行获得动态表情帧图像时,首先将每个时间步长产生的多个新坐标确定为第一像素点,然后对分别选择所有第一像素点的邻域像素点进行插值算法确定估计的第二像素点的像素值,然后根据第二像素点的像素值进行确定目标像素点的坐标;可以保障图像的拉伸或压缩的同时不会造成图像失真,并且保障图像的比例不变,还可以对图像进行平滑处理,减少了图像中的锯齿和毛刺现象,使得图像更加真实、自然;同时,本发明实施例所采用的技术方案可以快速处理大量图像数据,提高了图像处理的效率;

最终通过图像合成模块根据动态表情变化帧图像和人脸像素矩阵,对人脸图像进行动态优化处理,获取动态人脸图像,将动态人脸图像与初始静态图像进行融合,获取动态图像进行输出,使图像更具可看性,进而改善用户体验。

最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;本领域的普通技术人员可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

技术分类

06120116525087