基于BEMD和深度学习的美颜图像还原方法

技术领域

本发明涉及神经网络与图像处理技术领域，尤其是基于BEMD和深度学习的美颜图像还原方法。

背景技术

近年来，由于网络平台和社交软件的快速发展，分享照片成为人们记录生活的一种方式。新一代的智能手机都附带了非常强大的美颜拍照功能，还有诸如美颜相机，无他相机等软件也支持美颜拍照，拍出来的照片经过滤镜、美白等操作的处理，提高照片的美感度。同时，美图秀秀和Photoshop等一些常用的美化图片的软件，可以提供图像编辑和智能修图功能。经过美颜处理之后的图像更能够满足人眼的视觉需求，也标志着图像处理技术的进步。但是，美颜之后的自拍照其实是不真实的，这些“照骗”甚至可以被称作是网络欺骗，由此会引发严重的社会信任危机。

深度学习作为实现人工智能的强大技术，在图像处理领域获得了大量成功的运用，卷积神经网络(Convolutional Neural Network,CNN)是比较常用的模型，从2012以来极大地推进了图像分类、识别和理解技术的发展。CNN在图像恢复和图像重建领域能发挥较大的作用，使用卷积神经网络来对美颜处理后的图片进行还原操作具有极其重要的研究价值。传统的CNN模型在美颜图像还原任务中性能较差，未能清晰地还原出人脸的皱纹等细节信息。BEMD是一种自适应的信号分析方法，用于分析非线性非平稳的二维图像信号，可以将图像分解成一系列不同频率的分量。高频分量包含图像的边缘轮廓信息，低频分量包含图像的具体细节信息，把BEMD应用到图像恢复领域成为热门的研究课题。

发明内容

技术问题：本发明提出了一种基于BEMD和深度学习的美颜图像还原方法，在恢复出图像整体轮廓信息的同时，也能够较好地恢复其中的细节信息。

技术方案：一种基于BEMD和深度学习的美颜图像还原方法，其特征在于，包括以下步骤：

步骤1，选择人脸数据集，把人脸数据集中的图片经美颜处理后作为美颜图像样本；

从IMDB-WIKI人脸数据集中挑选不同年龄、颜色、服饰、发型、性别的比较清晰的人脸照片作为人脸数据集，人脸数据集中的照片均是未经美颜处理过的照片；把人脸数据集的图片经美颜处理后作为美颜图像样本；美颜处理是指自动磨皮和自动祛斑祛痘处理，美颜图像样本作为网络的训练输入。

步骤2，构建成分递归网络(Component Regression Network,CRN)，成分递归网络包括普通网络和子网络组，普通网络旨在学习输入美颜图像的特征，子网络组中每个子网络的结构都相同，输入都是普通网络输出的相同的特征，但是独立执行回归任务；

步骤3，将未经过美颜处理的原始图像，也就是人脸数据集中的图像使用BEMD分解，得到一系列不同频率的图像分量，即二维固有模式函数(Bidimensional IntrinsicMode Function,BIMF)，分别作为子网络训练监督的标签，低阶高频分量主要是图像的边缘轮廓信息，高阶低频分量主要是图像的具体细节信息；

步骤4，使用均方误差作为网络的损失函数训练各个子网络，当网络回归收敛后，最终的重建图像是各个子网络的输出值之和。

本发明的进一步改进，所述步骤(1)中，对于本发明的任务需求，没有公开的数据集可以直接下载训练，需要自己构建数据集。从IMDB-WIKI人脸数据集中挑选包含较多的细节信息并且未美化过的人脸照片，一共包含2000张图片，作为网络训练监督的标签。把数据集中的图片经美图秀秀处理后的结果作为网络的训练输入，使用自动磨皮和自动祛斑祛痘的功能。

本发明的进一步改进，步骤2中普通网络包括3个卷积层，每个卷积层的设置都是相同的。采用的卷积核的大小为3x3，包含56个通道。在普通网络中引入PReLU激活函数层，提高模型非线性表示能力，从图像中提取特征信息，在所有的卷积操作之前对图像进行“补零”操作；

子网络是由6个卷积核大小为3x3的卷积层组成，卷积层都采用“补零”操作以保持图像的大小不变。第1个卷积层是收缩层，把输入图像特征映射的数量从56减小到12，可以加速映射过程，减少了训练和测试过程中的网络参数数量，提升网络的训练速度。接下来是3个卷积层和PReLU非线性映射层。第5层卷积是重构操作，相当于收缩层的逆操作，使用1个卷积核把特征图拓展成64个通道。最后把图像恢复成3通道的RGB图像。

本发明的进一步改进，所述步骤3中将未经过美颜处理的原始图像使用BEMD分解的具体过程为：

设原始图像为一个M×N的二维图像信号f(x,y)，x＝1,2,...,M，y＝1,2,...,N。

步骤3.1：外部初始化，设置中间变量r

步骤3.2：采用某种方式可以找出函数r

步骤3.3：对步骤3.2中得到的点采用某种插值方法可以得到上包络轮廓面Max(x，y)和下包络轮廓面Min(x，y)。

步骤3.4：计算轮廓面的平均量m(x，y)＝(Max(x，y)+Min(x，y))/2。

步骤3.5：计算L(x，y)＝r

否则，令h＝h+1，r

步骤3.6：保存过程变量temp(x，y)＝r

最终得到原始信号的分解结果为

其中，BIMF

本发明的进一步改进，所述步骤(4)通过修改BEMD的迭代结束条件，可以减少BEMD的分解时间，提高分解效率。

BEMD中的迭代次数决定了分解后会得到的BIMF的个数，如果迭代的次数过多，会花费很长的时间。如果迭代的次数过少，就会达不到分解的要求。因此，设置合适的迭代停止准则对BEMD很重要。通常迭代停止准则有以下三种。

(一)分解出来的BIMF的数目达到了分解所需要的个数。

(二)待分解信号的局部极值点个数少于2个。

(三)分解出来的残余分量满足柯西收敛准则。

在本发明所使用的BEMD方法中使用第一种作为分解停止的规则，例如，如果分解得到的BIMF图像分量个数为5，结束分解过程。

本发明的进一步改进，所述步骤(5)中的使用均方误差作为网络的损失函数

其中，y是网络的训练监督图像，

最终的重建图像是各个子网络的输出值和

其中，I

本发明的进一步改进，子网络的数量等于BEMD自适应分解得到的BIMF分量总数。本发明的进一步改进，子网络的数量为k，图像通过BEMD得到J+1个二维固有模式函数BIMF分量，其中，把残余分量看成是最后一个BIMF分量，且满足k

有益效果：

本发明提供一种新的基于BEMD的成分递归网络模型，可以用于对美颜图像进行还原，旨在还原出图像的亮度、人脸上的皱纹和雀斑等信息。通过使用一个普通网络提取美颜图像的输入特征，再分别使用多个子网络对不同频率的图像分量进行回归操作，子网络训练监督的标签是原始图像经过BEMD分解后得到的图像分量。最后通过对子网络的输出结果进行相加操作，得到网络预测的还原图像。本发明通过使用单独的子网络对不同频率的图像分量分别进行回归操作，在恢复出图像整体亮度、轮廓等信息的同时，对于人脸上的雀斑、皱纹等细节信息也能较好地还原。由于图像的低频分量中包含较少的信息，把CRN模型的子网络数量设置成5，同时修改BEMD的迭代终止条件，可以减少训练时间，提高模型效率。

附图说明

图1为本发明实现的CRN网络结构图。

图2为使用不同网络模型得到的还原图。

图2(a)为美颜操处理得到的图。

图2(b)是使用VDSR模型还原得到的结果图。

图2(c)是本发明方法还原得到的结果图。

图2(d)是原始图。

图2(e)是图2(a)-(d)中鼻梁方框中的细节放大图。

图2(f)是图2(a)-(d)中脸颊方框中的细节放大图。

具体实施方式

下面结合附图对本发明进一步说明：

图1为本发明提出的CRN网络结构图。普通网络旨在学习输入美颜图像的特征，子网络组中每个子网络的结构都相同，输入都是普通网络输出的特征，但是独立执行回归任务。如果对图像通过BEMD得到的所有的J+1个分量分别设置一个子网络回归，模型的回归学习需要较长的时间。为了提高网络的训练效率，本文把子网络的数量减小到k，满足k

CRN模型由一个普通网络和5个子网络构成，以美颜图像作为模型的输入进行训练，模型的输出为还原操作得到的恢复图像结果。普通网络通过3个卷积层进行处理，每个卷积层的设置都是相同的。采用的卷积核的大小为3×3，包含56个通道。在模型中引入PReLU激活函数层，提高模型非线性表示能力，从图像中提取特征信息，在所有的卷积操作之前对图像进行“补零”操作。

子网络是由6个卷积核大小为3×3的卷积层组成，卷积层都采用“补零”操作以保持图像的大小不变。第1个卷积层是收缩层，把输入图像特征映射的数量从56减小到12，可以加速映射过程，减少了训练和测试过程中的网络参数数量，提升网络的训练速度。接下来是3个卷积层和PReLU非线性映射层。第5层卷积是重构操作，相当于收缩层的逆操作，使用1个卷积核把特征图拓展成64个通道。最后把图像恢复成3通道的RGB图像，通过把各个子网络的图像分量相加，得到最终的重建图像。

子网络数量的多少会影响CRN的美颜图像恢复性能，理想情况下，应该对图像通过BEMD得到的每一个分量都使用单独的网络进行回归，此时子网络的数量等于BEMD自适应分解得到的分量总数，子网络数量过多会带来非常大的计算成本。同时，不同图像使用BEMD自适应分解后得到的BIMF分量数未必相等，因此对子网络数量的选择带来困难。在本发明的美颜图像还原恢复任务中，把最后的若干个低频分量放在同一个子网络中回归，在几乎不影响性能的前提下加快了网络的训练和测试速度。通过修改BEMD的迭代终止条件使得分解得到的分量总数和CRN的子网络数量一致。

图2为使用不同网络模型得到的图像还原结果。(a)为美颜操作后得到的图像，(d)为原始图像，与(d)相比，(a)较好地遮盖了位于鼻梁方框中的斑点和位于脸颊方框中的皱纹，(b)是使用VDSR模型得到的结果，(c)是使用本发明提出的5个子网络的CRN模型得到的结果，(e)和(f)是(a)-(d)中两方框中的细节放大图。从主观评价角度出发，VDSR模型得到的恢复图像虽然在图像的亮度和整体轮廓方面进行了较好的还原，但未能较好的恢复出人脸部的雀斑和皱纹信息。包含5个子网络的CRN模型能够比较好的还原出了人脸部的细节，皱纹和斑点等信息清晰可见，恢复效果最好。

从客观评价的角度对不同网络模型得到的结果进行评价。如表1所示，使用MSE，PSNR，SSIM这三个指标进行客观评价。使用5个子网络的CRN模型得到的恢复图像均方误差最小，说明与原始图像的偏差最小；峰值信噪比最大，说明与原始的未美颜图像相似度最大；结构相似度较大，说明得到的恢复图像与原始图像最为接近。从主观评价和客观评价相结合的角度出发，CRN模型的还原性能较好。

表1不同网络模型得到的还原图像客观评价

本发明提出的CRN模型对美颜图像进行盲还原时，能够在具体美颜操作未知的情况下，较好地恢复出人脸上的皱纹和雀斑等细节信息，恢复性能较好。为了减少网络的训练时间，提高训练效率，没有对BEMD分解得到的每一个分量都建立一个子网络，而是使用了固定数量的子网络，最后一个子网络对剩余的所有图像分量进行回归。使用实例证明CRN模型在美颜图像还原任务中性能较好。