一种视频换脸方法和装置

技术领域

本发明涉及视频处理技术领域，具体涉及一种视频换脸方法和装置。

背景技术

随着AI科技，人工智能的深度换脸技术发展，深度学习AI Deepfakes其核心是利用噪编码器来识别图像是否经过图像变换，在伪造视频中，需要对人物的人脸图像进行图像变换处理，以得到多帧该人物的人脸图像，然后将多帧该人物的人脸图像分别替换原视频中人物的人脸图像，才得到伪造视频，其中，该去噪编码器为基于第一样本人脸图像和第二样本人脸图像训练自编码器而得到。

另有一种轻量级换脸算法，其核心思维不是用神经网络的方法，使用Dlib进行人脸检测和68个关键点定位，使用的是ERT方法，进行旋转，缩放，平移等变换，即aligement操作，使得第二个图和原始图相互吻合；这里使用的是普式变换（Ordinary ProcrustesAnalysis），最终结果是要使得变换过程满足下面式子最小化，简单的说，就是第一个图的68个点经过透视变换（warp_affine）后，和第二个图的68个点的距离最小。

基于深度学习实现换脸，需要用户上传图像视频至服务器处理，从技术层面讲，以上用户数据开发者可以随意使用，且对用户的个人隐私造成极大的威胁，其换脸成本高；而本地实现的轻量级换脸，对于光线，肤色等处理不好，换脸痕迹明显，五官形状变化时，不能良好的进行调整。

发明内容

本发明的目的在于提供，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案，本发明技术提供一种视频换脸方法，主要内容包括：

S100：对用户的输入数据进行预处理；

S200：调整实现图像帧所述人脸部分对齐；

S300：对换脸后人脸五官和肤色进行调整；

S400：实现人脸部位融合，输出最终效果图像帧。

进一步的，所述步骤S100包括以下子步骤：

步骤S110：输入视频V进行解码得到模板图像帧T1；

步骤S120：对模板图像帧T1进行人脸检测，计算人脸大小以及中心位置，得到关键点数据A、欧拉角B、矩形区域C中心位置；

步骤S130：通过所述关键点数据A和欧拉角B摆正所述关键点数据A，得到关键点数据A1；

步骤S140：输入用户素材图片T2，对T2进行人脸检测，得到关键数据D和欧拉角E；

步骤S150：通过所述关键点数据D和欧拉角E摆正所述关键点数据D，得到关键点数据D1;

步骤S160：通过所述关键点数据D1和矩形区域C，对所述关键点数据D1进行缩放和位移，得到关键点数据D2;

步骤S170：通过所述关键点数据D2，进行透视变换，对齐关键点，得到所述用户素材图的关键点D3。

进一步的，所述步骤S200包括以下子步骤：

步骤S210：输入所述用户素材图片T2关键点数据D3，获取T2左上，上中，右上，右中，右下，下中，左下，左中八个点，以及人脸关键点数据D3，对T2做三角剖分，得到三角剖分结果F；

步骤S220：根据所述剖分结果F重新绘制T2，使T2对齐到T1，得到效果图T22。

进一步的，所述步骤S300包括以下子步骤：

步骤S310：获取用户素材图T22,获得用户人脸区域图T3和模板图像帧T1的人脸区域图像帧T4；

步骤S320：将所述用户素材图人脸区域图T3和模板图像帧T1的人脸区域图T4，将两张图片的RGB空间分别转化为LAB空间，计算模板图像帧T4的像素，迁移至用户素材图T3，获得肤色迁移后的用户图T5；

步骤S330：根据所述用户素材图片T2和关键点数据D，使用贝塞尔曲线计算出只包含用户图双眼和嘴部的掩码图T6；

步骤S340：将所述掩码图T6、肤色迁移后的用户图T5和用户图T2，通过泊松融合还原用户眼睛，嘴巴颜色，得到效果图像帧T7。

进一步的，所述步骤S400包括以下子步骤：

步骤S410：通过效果图像帧T7和关键点数据B，计算出用户脸部轮廓，去除上下嘴唇之间的部分，得到掩码图T8；

步骤S420：所述效果图像帧T7、模板图像帧T1和掩码图T8，通过泊松融合，得到换脸初步效果图像帧T9；

步骤S430：根据所述关键点数据A，对所述模板图像帧T1抠出脸部面具，去除眼睛，嘴巴区域，得到掩码图T10；

步骤S440：所述初步效果图像帧T9、模板图像帧T1和掩码图T10，通过泊松融合算法，得到最终的效果图像帧并输出。

为实现上述目的，本发明还提供一种视频换脸装置，其中包括：

预处理模块：对用户的输入数据进行预处理；

人脸对齐模块：调整实现图像帧所述人脸部分对齐；

五官和肤色调整模块：对换脸后人脸五官和肤色进行调整；

融合模块：实现人脸部位融合，输出最终效果图像帧。

进一步的，预处理模块包括：

解码单元：输入视频V进行解码得到模板图像帧T1；

检测单元：对模板图像帧T1进行人脸检测，计算人脸大小以及中心位置，得到关键点数据A、欧拉角B、矩形区域C中心位置；

摆正单元：通过所述关键点数据A和欧拉角B摆正所述关键点数据A，得到关键点数据A1；

检测子单元：输入用户素材图片T2，对T2进行人脸检测，得到关键数据D和欧拉角E；

摆正子单元：通过所述关键点数据D和欧拉角E摆正所述关键点数据D，得到关键点数据D1;

处理单元：通过所述关键点数据D1和矩形区域C，对所述关键点数据D1进行缩放和位移，得到关键点数据D2;

透视变换单元：通过所述关键点数据D2，进行透视变换，对齐关键点，得到所述用户素材图的关键点D3。

进一步的，所述人脸对齐模块包括以下内容：

三角剖分单元：输入所述用户素材图片T2关键点数据D3，获取T2左上，上中，右上，右中，右下，下中，左下，左中八个点，以及人脸关键点数据D3，对T2做三角剖分，得到三角剖分结果F；

绘制单元：根据所述剖分结果F重新绘制T2，使T2对齐到T1，得到效果图T22。

进一步的，所述五官和肤色调整模块包括以下内容：

提取单元：获取用户素材图T22,获得用户人脸区域图T3和模板图像帧T1的人脸区域图像帧T4；

替换迁移单元：将所述用户素材图人脸区域图T3和模板图像帧T1的人脸区域图T4，将两张图片的RGB空间分别转化为LAB空间，计算模板图像帧T4的像素，迁移至用户素材图T3，获得肤色迁移后的用户图T5；

贝塞尔曲线单元：根据所述用户素材图片T2和关键点数据D，使用贝塞尔曲线计算出只包含用户图双眼和嘴部的掩码图T6；

泊松融合单元：将所述掩码图T6、肤色迁移后的用户图T5和用户图T2，通过泊松融合还原用户眼睛，嘴巴颜色，得到效果图像帧T7。

进一步的，所述融合模块包括以下内容：

计算单元：通过效果图像帧T7和关键点数据B，计算出用户脸部轮廓，去除上下嘴唇之间的部分，得到掩码图T8；

泊松融合子单元：所述效果图像帧T7、模板图像帧T1和掩码图T8，通过泊松融合，得到换脸初步效果图像帧T9；

处理单元：根据所述关键点数据A，对所述模板图像帧T1抠出脸部面具，去除眼睛，嘴巴区域，得到掩码图T10；

融合输出单元：所述初步效果图像帧T9、模板图像帧T1和掩码图T10，通过泊松融合算法，得到最终的效果图像帧并输出。

本发明提供一种视频换脸方法和装置，获取待处理图像帧，对模板图和待处理用户图像进行关键检测，调整关键点实现对齐重合，迁移所述人脸，肤色等区域融合，还原其余部位，将脸部轮廓掩码图融合到模板，替换得到换脸后的图像帧。本发明为本地算法，无需庞大的云端计算服务，解决用户肖像权和隐私权的问题，以及本地换脸算法存在地光线、肤色、五官问题，我们通过本地的处理方式，实现视频换脸。由于视频中人脸随时会变化，光线，五官形状，角度都会改变，因此开发过程中也重点对光线，五官形状进行了优化。

附图说明

为了更清楚地说明本发明的实施例的技术方案，下面将对本发明的实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明的一种视频换脸方法流程图；

图2示出了本发明的一种视频换脸方法子步骤S100流程图；

图3示出了本发明的一种视频换脸方法子步骤S200流程图；

图4示出了本发明的一种视频换脸方法子步骤S300流程图；

图5示出了本发明的一种视频换脸方法子步骤S400流程图；

图6示出了本发明的一种视频换脸装置流程图。

具体实施方式

为了使本发明的目的，技术方案和有点更加清楚，下面结合附图对本发明作进一步的阐述解释。本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的实施例保护范围。

本发明提供如下技术方案，如示图1所示，本发明技术提供一种视频换脸方法，主要内容包括：

S100：对用户的输入数据进行预处理；

S200：调整实现图像帧所述人脸部分对齐；

S300：对换脸后人脸五官和肤色进行调整；

S400：实现人脸部位融合，输出最终效果图像帧。

进一步的，所述步骤S100包括以下子步骤：

步骤S110：输入视频V进行解码得到模板图像帧T1；

步骤S120：对模板图像帧T1进行人脸检测，计算人脸大小以及中心位置，得到关键点数据A、欧拉角B、矩形区域C中心位置；

步骤S130：通过所述关键点数据A和欧拉角B摆正所述关键点数据A，得到关键点数据A1；

步骤S140：输入用户素材图片T2，对T2进行人脸检测，得到关键数据D和欧拉角E；

步骤S150：通过所述关键点数据D和欧拉角E摆正所述关键点数据D，得到关键点数据D1;

步骤S160：通过所述关键点数据D1和矩形区域C，对所述关键点数据D1进行缩放和位移，得到关键点数据D2;

步骤S170：通过所述关键点数据D2，进行透视变换，对齐关键点，得到所述用户素材图的关键点D3。

进一步的，所述步骤S200包括以下子步骤：

步骤S210：输入所述用户素材图片T2关键点数据D3，获取T2左上，上中，右上，右中，右下，下中，左下，左中八个点，以及人脸关键点数据D3，对T2做三角剖分，得到三角剖分结果F；

步骤S220：根据所述剖分结果F重新绘制T2，使T2对齐到T1，得到效果图T22。

进一步的，所述步骤S300包括以下子步骤：

步骤S310：获取用户素材图T22,获得用户人脸区域图T3和模板图像帧T1的人脸区域图像帧T4；

步骤S320：将所述用户素材图人脸区域图T3和模板图像帧T1的人脸区域图T4，将两张图片的RGB空间分别转化为LAB空间，计算模板图像帧T4的像素，迁移至用户素材图T3，获得肤色迁移后的用户图T5；

步骤S330：根据所述用户素材图片T2和关键点数据D，使用贝塞尔曲线计算出只包含用户图双眼和嘴部的掩码图T6；

步骤S340：将所述掩码图T6、肤色迁移后的用户图T5和用户图T2，通过泊松融合还原用户眼睛，嘴巴颜色，得到效果图像帧T7。

进一步的，所述步骤S400包括以下子步骤：

步骤S410：通过效果图像帧T7和关键点数据B，计算出用户脸部轮廓，去除上下嘴唇之间的部分，得到掩码图T8；

步骤S420：所述效果图像帧T7、模板图像帧T1和掩码图T8，通过泊松融合，得到换脸初步效果图像帧T9；

步骤S430：根据所述关键点数据A，对所述模板图像帧T1抠出脸部面具，去除眼睛，嘴巴区域，得到掩码图T10；

步骤S440：所述初步效果图像帧T9、模板图像帧T1和掩码图T10，通过泊松融合算法，得到最终的效果图像帧并输出。

为实现上述目的，本发明还提供一种视频换脸装置，其中包括：

预处理模块：对用户的输入数据进行预处理；

人脸对齐模块：调整实现图像帧所述人脸部分对齐；

五官和肤色调整模块：对换脸后人脸五官和肤色进行调整；

融合模块：实现人脸部位融合，输出最终效果图像帧。

进一步的，预处理模块包括：

解码单元：输入视频V进行解码得到模板图像帧T1；

检测单元：对模板图像帧T1进行人脸检测，计算人脸大小以及中心位置，得到关键点数据A、欧拉角B、矩形区域C中心位置；

摆正单元：通过所述关键点数据A和欧拉角B摆正所述关键点数据A，得到关键点数据A1；

检测子单元：输入用户素材图片T2，对T2进行人脸检测，得到关键数据D和欧拉角E；

摆正子单元：通过所述关键点数据D和欧拉角E摆正所述关键点数据D，得到关键点数据D1;

处理单元：通过所述关键点数据D1和矩形区域C，对所述关键点数据D1进行缩放和位移，得到关键点数据D2;

透视变换单元：通过所述关键点数据D2，进行透视变换，对齐关键点，得到所述用户素材图的关键点D3。

进一步的，所述人脸对齐模块包括以下内容：

三角剖分单元：输入所述用户素材图片T2关键点数据D3，获取T2左上，上中，右上，右中，右下，下中，左下，左中八个点，以及人脸关键点数据D3，对T2做三角剖分，得到三角剖分结果F；

绘制单元：根据所述剖分结果F重新绘制T2，使T2对齐到T1，得到效果图T22。

进一步的，所述五官和肤色调整模块包括以下内容：

提取单元：获取用户素材图T22,获得用户人脸区域图T3和模板图像帧T1的人脸区域图像帧T4；

替换迁移单元：将所述用户素材图人脸区域图T3和模板图像帧T1的人脸区域图T4，将两张图片的RGB空间分别转化为LAB空间，计算模板图像帧T4的像素，迁移至用户素材图T3，获得肤色迁移后的用户图T5；

贝塞尔曲线单元：根据所述用户素材图片T2和关键点数据D，使用贝塞尔曲线计算出只包含用户图双眼和嘴部的掩码图T6；

泊松融合单元：将所述掩码图T6、肤色迁移后的用户图T5和用户图T2，通过泊松融合还原用户眼睛，嘴巴颜色，得到效果图像帧T7。

进一步的，所述融合模块包括以下内容：

计算单元：通过效果图像帧T7和关键点数据B，计算出用户脸部轮廓，去除上下嘴唇之间的部分，得到掩码图T8；

泊松融合子单元：所述效果图像帧T7、模板图像帧T1和掩码图T8，通过泊松融合，得到换脸初步效果图像帧T9；

处理单元：根据所述关键点数据A，对所述模板图像帧T1抠出脸部面具，去除眼睛，嘴巴区域，得到掩码图T10；

融合输出单元：所述初步效果图像帧T9、模板图像帧T1和掩码图T10，通过泊松融合算法，得到最终的效果图像帧并输出。

本发明提供一种视频换脸方法和装置，获取待处理图像帧，对模板图和待处理用户图像进行关键检测，调整关键点实现对齐重合，迁移所述人脸，肤色等区域融合，还原其余部位，将脸部轮廓掩码图融合到模板，替换得到换脸后的图像帧。本发明为本地运行，无需庞大的云端计算服务，解决用户肖像权和隐私权的问题，以及本地换脸算法存在地光线、肤色、五官问题，我们通过本地的处理方式，实现视频换脸。由于视频中人脸随时会变化，光线，五官形状，角度都会改变，因此开发过程中也重点对光线，五官形状进行了优化。

泊松融合算法的基本原理是，分别计算目标图像的梯度场以及源图像的梯度场，然后将源图像的梯度场中，位于源图像的目标区域内的梯度场替换为目标图像的梯度场，根据替换后的新的梯度场以及源图像的边界约束条件，就可以计算得到目标图像和源图像融合后的图像，完成图像融合。

当然，上述图像融合的步骤，可以适用于本申请任一实施例提供的视频换脸方法中。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。