用于人脸视频画质增强的方法、装置及计算机设备

技术领域

本发明属于图像处理技术领域，具体涉及一种用于人脸视频画质增强的方法、装置及计算机设备。

背景技术

随着手机硬件性能和软件功能丰富度的逐步提升，用户对于自己拍摄或者从其他设备导入的视频的清晰度和分辨率也有了更高的要求，因此也衍生出了在移动端上对于视频(尤其是含有人物或人脸的视频)进行画质增强的需求。

相关技术中，为了提升用户观看视频的视觉体验，往往会使用视频增强技术，来提高用户所观看到的视频的清晰度。在现有的主打提升视频清晰度的移动端工具类应用中，较为常见的做法是将视频中人脸的部分进行裁切，这是因为用户对人脸的感知会比背景的感知更强，因此将人脸裁剪出来，然后对人脸和背景分别采用不同的增强技术进行处理。在这过程中，用于增强人脸的模型需要消耗大量的计算资源；而在对低清人脸进行修复时，上述的人脸增强模型需要进行有别于处理非低清人脸的细节补充操作，这可能会导致不同帧之间同一人脸实际增强的效果不一致，导致整体的画质增强结果出现闪烁的现象。而为了解决闪烁的问题，一般会利用光流来增加帧间的连续性。但是，由于帧与帧之间存在移动，因此会出现一些像素被遮挡的现象，导致增强效果受到一定影响。同时，也会比较大程度地依赖光流模型的结果，当光流模型不准确时，会对增强结果产生负面影响。

发明内容

有鉴于此，本发明的目的在于克服现有技术的不足，提供一种用于人脸视频画质增强的方法、装置及计算机设备，以解决现有技术中光流模型不准确时，会对增强结果产生负面影响的问题。

为实现以上目的，本发明采用如下技术方案：一种用于人脸视频画质增强的方法，包括：

获取视频流的视频帧图像，识别第一帧图像中的人脸，得到第一帧人脸框，对所述第一帧人脸框中的人脸进行裁剪，得到第一帧待增强人脸图；

对所述第一帧待增强人脸图进行增强处理，得到第一帧增强人脸，将所述第一帧增强人脸放入所述第一帧人脸框中相应位置，得到第一增强帧；

对后续帧图像进行处理时，根据当前帧图像得到当前帧人脸框，通过所述当前帧人脸框得到当前帧待增强人脸图；

计算上一帧待增强人脸图与当前帧待增强人脸图之间的第一光流及第一光流遮挡区域遮罩，将所述第一光流映射至上一帧增强人脸，得到当前帧光流增强人脸；

将所述当前帧光流增强人脸、第一光流遮挡区域遮罩以及当前帧待增强人脸图输入预构建的遮罩增强模型中，得到当前帧增强人脸；

对所述视频流中的所有视频帧图像进行增强处理后，组合为增强视频。

进一步的，如果当前帧图像中的人脸为多个，则将所述当前帧图像中的人脸与上一增强帧中的人脸进行匹配，包括：

计算上一帧中每个待增强人脸图与当前帧图像中每个待增强人脸图的像素距离值；

对所有的距离从小到大进行遍历，如果距离小于预设阈值，且该距离对应的前一帧的待增强人脸图与当前帧的待增强人脸图之前均未匹配过，则认为匹配成功；所有距离遍历结束后，当前帧未被匹配的待增强人脸图作为新的人脸图进行处理。

进一步的，如果当前帧图像中出现新的人脸时，识别当前帧图像中新的人脸，得到新的人脸框，对所述新的人脸框中的人脸进行裁剪，得到待增强人脸图；

对所述待增强人脸图进行增强处理，得到帧增强人脸，将所述帧增强人脸放入所述新的人脸框中相应位置，得到新的人脸增强帧。

进一步的，预构建的遮罩增强模型，包括：

提取高清视频流中连续的第一高质量帧图像和第二高质量帧图像；

对所述第一高质量帧图像和第二高质量帧图像进行退化处理，得到第一低质量帧图像和第二低质量帧图像；

分别对所述第一低质量帧图像和第二低质量帧图像进行人脸识别，得到第一低质量帧人脸框和第二低质量帧人脸框，基于第一低质量帧人脸框和第二低质量帧人脸框对所述第一低质量帧图像和第二低质量帧图像进行人脸裁剪，得到第一低质量帧人脸和第二低质量帧人脸；

分别对所述第一高质量帧图像和第二高质量帧图像进行人脸识别，得到第一高质量帧人脸框和第二高质量帧人脸框，基于第一高质量帧人脸框和第二高质量帧人脸框对所述第一高质量帧图像和第二高质量帧图像进行人脸裁剪，得到第一高质量帧人脸和第二高质量帧人脸；

通过光流算法计算第一低质量帧人脸和第二低质量帧人脸之间的第二光流和第二光流遮挡区域遮罩；

将所述第二光流映射至所述第一高质量帧人脸，得到第二帧光流增强人脸；

基于目标损失函数将第二帧光流增强人脸、第二光流遮挡区域遮罩以及第二低质量帧人脸对深度神经网络进行训练，得到遮罩增强模型；其中，所述遮罩增强模型用于输出第二帧增强人脸。

进一步的，对所述第一高质量帧图像和第二高质量帧图像进行退化处理，包括：

分别对所述第一高质量帧图像和第二高质量帧图像进行加入噪声、模糊以及格式变更处理。

进一步的，遮罩增强模型的损失函数为

L＝l_pix(G(x)*m,gt*m)+0.1*l_pix(G(x)*(1.-m),gt*(1.-m))

其中，m为归一化之后的“第二光流遮挡区域遮罩”；x为遮罩增强模型的输入；G(x)为遮罩增强模型的输出结果即第二帧光流增强人脸，gt为遮罩增强模型的目标增强结果即第二高质量帧人脸；l_pix(A,B)为对图像A、B进行逐像素计算差距的损失函数；l_pix(G(x)*m,gt*m)为对遮挡部分的增强结果进行监督的损失；0.1*l_pix(G(x)*(1.-m),gt*(1.-m))为对非遮挡部分的增强结果进行监督的损失。

进一步的，对所述第一帧人脸框中的人脸进行裁剪，得到第一帧待增强人脸图，包括：

识别第一帧图像中的人脸后，将所述人脸缩放至预设尺寸；

将预设尺寸的人脸作为第一帧待增强人脸图。

本申请实施例提供一种用于人脸视频画质增强的装置，包括：

获取模块，用于获取视频流的视频帧图像，识别第一帧图像中的人脸，得到第一帧人脸框，对所述第一帧人脸框中的人脸进行裁剪，得到第一帧待增强人脸图；

第一处理模块，用于对所述第一帧待增强人脸图进行增强处理，得到第一帧增强人脸，将所述第一帧增强人脸放入所述第一帧人脸框中相应位置，得到第一增强帧；

第二处理模块，用于对后续帧图像进行处理时，根据当前帧图像得到当前帧人脸框，通过所述当前帧人脸框得到当前帧待增强人脸图；

计算模块，用于计算上一帧待增强人脸图与当前帧待增强人脸图之间的第一光流及第一光流遮挡区域遮罩，将所述第一光流映射至上一帧增强人脸，得到当前帧光流增强人脸；

输出模块，用于将所述当前帧光流增强人脸、第一光流遮挡区域遮罩以及当前帧待增强人脸图输入预构建的遮罩增强模型中，得到当前帧增强人脸；

增强处理模块，用于对所述视频流中的所有视频帧图像进行增强处理后，组合为增强视频。

本申请实施例提供一种计算机设备，包括：存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述任一项用于人脸视频画质增强的方法的步骤。

本发明采用以上技术方案，能够达到的有益效果包括：

本发明提供一种用于人脸视频画质增强的方法、装置及计算机设备，本申请利用光流保证了人脸视频增强结果的连续性，并通过遮罩增强模型用低清的原始帧图像作为引导，对光流结果中的遮挡区域进行细节增强，对非遮挡区域进行细节微调。除此之外，本发明仅对人脸部分进行光流的计算以及光流映射，大大提高了算法的处理性能，从而实现了人脸视频得到稳定且高效的画质增强的目的。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明用于人脸视频画质增强的方法的步骤示意图；

图2为本发明用于人脸视频画质增强的装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。

下面结合附图介绍本申请实施例中提供的一个具体的用于人脸视频画质增强的方法、装置及计算机设备。

如图1所示，本申请实施例中提供的用于人脸视频画质增强的方法，包括：

S101，获取视频流的视频帧图像，识别第一帧图像中的人脸，得到第一帧人脸框，对所述第一帧人脸框中的人脸进行裁剪，得到第一帧待增强人脸图；

一些实施例中，对所述第一帧人脸框中的人脸进行裁剪，得到第一帧待增强人脸图，包括：

识别第一帧图像中的人脸后，将所述人脸缩放至预设尺寸；

将预设尺寸的人脸作为第一帧待增强人脸图。

本申请可通过移动端拍摄获取视频流或者通过移动端的相册获取视频流，然后对视频流进行解码得到视频帧图像，首先，采用人脸框算法对视频帧图像中的人脸进行识别，得到第一帧图像的第一帧人脸框，利用第一帧人脸框对人脸进行裁剪，从而将人脸框中的人脸裁剪出来，再将人脸缩放至预设尺寸，得到第一帧待增强人脸图。

S102，对所述第一帧待增强人脸图进行增强处理，得到第一帧增强人脸，将所述第一帧增强人脸放入所述第一帧人脸框中相应位置，得到第一增强帧；

本申请中先采用现有技术中的人脸增强模型对第一帧待增强人脸图进行增强处理，得到第一帧增强人脸，然后将第一帧增强人脸贴回第一帧人脸框对应的位置，作为第一增强帧。

S103，对后续帧图像进行处理时，根据当前帧图像得到当前帧人脸框，通过所述当前帧人脸框得到当前帧待增强人脸图；

需要说明的是，对后续帧图像进行处理时，例如对第二帧图像进行增强处理时，将第一帧图像作为上一帧图像，第二帧图像作为当前帧图像也就是需要处理的帧图像；也就是说，第一帧人脸框为上一帧人脸框，第一帧待增强人脸图为上一帧待增强人脸；然后通过人脸框算法得到当前帧图像中的人脸框，得到“当前帧人脸框”。将当前帧人脸框中的人脸裁剪出来，并缩放到预设的固定尺寸，得到“当前帧待增强人脸图”。

S104，计算上一帧待增强人脸图与当前帧待增强人脸图之间的第一光流及第一光流遮挡区域遮罩，将所述第一光流映射至上一帧增强人脸，得到当前帧光流增强人脸；

利用光流法计算“上一帧待增强人脸”和“当前帧待增强人脸”之间的第一光流，以及“第一光流遮挡区域遮罩”。然后在“上一帧增强人脸”上映射该第一光流，得到“当前帧光流增强人脸”。

需要说明的是，“上一帧待增强人脸”和“当前帧待增强人脸”之间的关系和“上一帧增强人脸”和“当前帧增强人脸”的关系是类似的，所以可以在“上一帧增强人脸”上应用同样的光流。

S105，将所述当前帧光流增强人脸、第一光流遮挡区域遮罩以及当前帧待增强人脸图输入预构建的遮罩增强模型中，得到当前帧增强人脸；

一些实施例中，构建遮罩增强模型，包括：

提取高清视频流中连续的第一高质量帧图像和第二高质量帧图像；

对所述第一高质量帧图像和第二高质量帧图像进行退化处理，得到第一低质量帧图像和第二低质量帧图像；

分别对所述第一低质量帧图像和第二低质量帧图像进行人脸识别，得到第一低质量帧人脸框和第二低质量帧人脸框，基于第一低质量帧人脸框和第二低质量帧人脸框对所述第一低质量帧图像和第二低质量帧图像进行人脸裁剪，得到第一低质量帧人脸和第二低质量帧人脸；

分别对所述第一高质量帧图像和第二高质量帧图像进行人脸识别，得到第一高质量帧人脸框和第二高质量帧人脸框，基于第一高质量帧人脸框和第二高质量帧人脸框对所述第一高质量帧图像和第二高质量帧图像进行人脸裁剪，得到第一高质量帧人脸和第二高质量帧人脸；

通过光流算法计算第一低质量帧人脸和第二低质量帧人脸之间的第二光流和第二光流遮挡区域遮罩；

将所述第二光流映射至所述第一高质量帧人脸，得到第二帧光流增强人脸；

基于目标损失函数将第二帧光流增强人脸、第二光流遮挡区域遮罩以及第二低质量帧人脸对深度神经网络进行训练，得到遮罩增强模型；其中，所述遮罩增强模型用于输出第二帧增强人脸。

其中，对所述第一高质量帧图像和第二高质量帧图像进行退化处理，包括：

分别对所述第一高质量帧图像和第二高质量帧图像进行加入噪声、模糊以及格式变更处理。

一些实施例中，遮罩增强模型的损失函数为

L＝l_pix(G(x)*m,gt*m)+0.1*l_pix(G(x)*(1.-m),gt*(1.-m))

其中，m为归一化之后的“第二光流遮挡区域遮罩”；x为遮罩增强模型的输入；G(x)为遮罩增强模型的输出结果即第二帧光流增强人脸，gt为遮罩增强模型的目标增强结果即第二高质量帧人脸，l_pix(A,B)为对图像A、B进行逐像素计算差距的损失函数；l_pix(G(x)*m,gt*m)为对遮挡部分的增强结果进行监督的损失；0.1*l_pix(G(x)*(1.-m),gt*(1.-m))为对非遮挡部分的增强结果进行监督的损失。

具体的，将“当前帧光流增强人脸”、“光流遮挡区域遮罩”、“当前帧待增强人脸也就是第二低质量帧人脸”作为输入，输入到“遮罩增强模型”中，“遮罩增强模型”能够会对遮挡区域进行增强，同时也会对非遮挡区域进行一定程度地微调，最终得到“当前帧增强人脸也就是第二帧增强人脸”。

S106，对所述视频流中的所有视频帧图像进行增强处理后，组合为增强视频。

具体的，利用步骤S103～S105对所述视频流中的所有视频帧图像进行增强处理，然后将增强处理后的所有帧图像进行组合成视频，也就得到增强视频。

用于人脸视频画质增强的方法的工作原理为：获取视频流的视频帧图像，识别第一帧图像中的人脸，得到第一帧人脸框，对第一帧人脸框中的人脸进行裁剪，得到第一帧待增强人脸图；对第一帧待增强人脸图进行增强处理，得到第一帧增强人脸，将第一帧增强人脸放入第一帧人脸框中相应位置，得到第一增强帧；对后续帧图像进行处理时，根据当前帧图像得到当前帧人脸框，通过当前帧人脸框得到当前帧待增强人脸图；计算上一帧待增强人脸图与当前帧待增强人脸图之间的第一光流及第一光流遮挡区域遮罩，将第一光流映射至上一帧增强人脸，得到当前帧光流增强人脸；根据当前帧光流增强人脸、第一光流遮挡区域遮罩以及当前帧待增强人脸图输入预构建的遮罩增强模型中，得到当前帧增强人脸；对视频流中的所有视频帧图像进行增强处理后，组合为增强视频。

本申请提供的技术方案兼顾提升人脸视频的清晰度的同时保证视频结果连续性以及处理高效性，利用光流保证了人脸视频增强结果的连续性。其次，本发明通过遮罩增强模型以及对应的训练方法，用低清的原始帧作为引导，对光流结果中的遮挡区域进行细节增强，对非遮挡区域进行细节微调。同时，本发明仅对人脸部分进行光流的计算以及光流映射，大大提高了算法的处理性能，从而实现了人脸视频得到稳定且高效的画质增强的目的。

一些实施例中，如果当前帧图像中的人脸为多个，则将所述当前帧图像中的人脸与上一增强帧中的人脸进行匹配，包括：

计算上一帧中每个待增强人脸图与当前帧图像中每个待增强人脸图的像素距离值；

对所有的距离从小到大进行遍历，如果距离小于预设阈值，且该距离对应的前一帧的待增强人脸图与当前帧的待增强人脸图之前均未匹配过，则认为匹配成功；所有距离遍历结束后，当前帧未被匹配的待增强人脸图作为新的人脸图进行处理。

具体的，因为视频里面可能出现多个人脸，所以需要对人脸进行匹配。

匹配的规则具体为，前一帧的每个人脸和当前帧的每个人脸都计算一个距离，具体的，要计算前一帧的每个人脸与当前帧的每个人脸的距离，对所有的距离从小到大进行遍历，如果距离<预设阈值，且该距离对应的前一帧的人脸与当前帧的人脸之前均未匹配过，则认为匹配成功；距离遍历结束后，当前帧未被匹配的人脸作为新的人脸进行处理。

其中，距离的计算直接按像素差异的绝对值的和进行计算：

其中，n为人脸图像中的像素个数。R1、G1和B1分别是前一帧图像中的其中一个人脸的某一像素的红、绿、蓝颜色值；R2、G2和B2分别是当前帧图像中的其中一个人脸对应位置像素的红、绿、蓝颜色值。

一些实施例中，如果当前帧图像中出现新的人脸时，

识别当前帧图像中新的人脸，得到新的人脸框，对所述新的人脸框中的人脸进行裁剪，得到待增强人脸图；

对所述待增强人脸图进行增强处理，得到帧增强人脸，将所述帧增强人脸放入所述新的人脸框中相应位置，得到新的人脸增强帧。

具体的，当视频帧图像中的当前帧图像出现新的人脸时，则按照步骤S101～S102进行处理，然后后续再按照S103～S105进行处理。

如图2所示，本申请实施例提供一种用于人脸视频画质增强的装置，包括：

获取模块201，用于获取视频流的视频帧图像，识别第一帧图像中的人脸，得到第一帧人脸框，对所述第一帧人脸框中的人脸进行裁剪，得到第一帧待增强人脸图；

第一处理模块202，用于对所述第一帧待增强人脸图进行增强处理，得到第一帧增强人脸，将所述第一帧增强人脸放入所述第一帧人脸框中相应位置，得到第一增强帧；

第二处理模块203，用于对后续帧图像进行处理时，根据当前帧图像得到当前帧人脸框，通过所述当前帧人脸框得到当前帧待增强人脸图；

计算模块204，用于计算上一帧待增强人脸图与当前帧待增强人脸图之间的第一光流及第一光流遮挡区域遮罩，将所述第一光流映射至上一帧增强人脸，得到当前帧光流增强人脸；

输出模块205，用于将所述当前帧光流增强人脸、第一光流遮挡区域遮罩以及当前帧待增强人脸图输入预构建的遮罩增强模型中，得到当前帧增强人脸；

增强处理模块206，用于对所述视频流中的所有视频帧图像进行增强处理后，组合为增强视频。

本申请实施例提供的用于人脸视频画质增强的装置的工作原理为，获取模块201获取视频流的视频帧图像，识别第一帧图像中的人脸，得到第一帧人脸框，对所述第一帧人脸框中的人脸进行裁剪，得到第一帧待增强人脸图；第一处理模块202对所述第一帧待增强人脸图进行增强处理，得到第一帧增强人脸，将所述第一帧增强人脸放入所述第一帧人脸框中相应位置，得到第一增强帧；第二处理模块203对后续帧图像进行处理时，根据当前帧图像得到当前帧人脸框，通过所述当前帧人脸框得到当前帧待增强人脸图；计算模块204计算上一帧待增强人脸图与当前帧待增强人脸图之间的第一光流及第一光流遮挡区域遮罩，将所述第一光流映射至上一帧增强人脸，得到当前帧光流增强人脸；输出模块205将所述当前帧光流增强人脸、第一光流遮挡区域遮罩以及当前帧待增强人脸图输入预构建的遮罩增强模型中，得到当前帧增强人脸；增强处理模块206对所述视频流中的所有视频帧图像进行增强处理后，组合为增强视频。

本申请提供一种计算机设备，包括：存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行

获取视频流的视频帧图像，识别第一帧图像中的人脸，得到第一帧人脸框，对所述第一帧人脸框中的人脸进行裁剪，得到第一帧待增强人脸图；

对所述第一帧待增强人脸图进行增强处理，得到第一帧增强人脸，将所述第一帧增强人脸放入所述第一帧人脸框中相应位置，得到第一增强帧；

对后续帧图像进行处理时，根据当前帧图像得到当前帧人脸框，通过所述当前帧人脸框得到当前帧待增强人脸图；

计算上一帧待增强人脸图与当前帧待增强人脸图之间的第一光流及第一光流遮挡区域遮罩，将所述第一光流映射至上一帧增强人脸，得到当前帧光流增强人脸；

将所述当前帧光流增强人脸、第一光流遮挡区域遮罩以及当前帧待增强人脸图输入预构建的遮罩增强模型中，得到当前帧增强人脸；

对所述视频流中的所有视频帧图像进行增强处理后，组合为增强视频。

可以理解的是，上述提供的方法实施例与上述的装置实施例对应，相应的具体内容可以相互参考，在此不再赘述。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令方法的制造品，该指令方法实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。