基于新型对抗学习去模糊理论的动态人脸识别方法

技术领域

本发明属于深度学习领域与计算机视觉领域，具体涉及基于新型对抗学习去模糊理论的动态人脸识别方法。

背景技术

随着互联网技术的飞速发展，算法对数据进行处理的能力也得到了极大的提高，伴随大数据技术的高速发展，会产生诸如信息安全等相关问题的隐患，使得信息识别以及检测等相关技术手段显得尤为重要。人脸识别技术的出现解决了这些问题。相较于传统的使用磁卡或是身份证等带有磁力密码的手段，人脸识别作为一个人体的固有特征，对于单个人来说是固定不变的，对于不同人来说是无法重复的，人脸是一种生物特征，由每个人唯一不变的基因决定，通过人脸来识别身份既简便又快捷，因此人脸识别的快速发展是社会前进的必要趋势。

面向社会场景下的动态人脸识别，由于不需要被识别人主动配合摄像机进行静态人脸识别，因此经常会导致摄像机抓拍到的人脸图像存在各种模糊问题，主要体现在抓拍运动中人脸而出现的运动模糊和因为摄像机没来得及对焦远近物体而出现的对焦模糊。目前市面上各式各样的去模糊算法应运而生，以生成对抗网络为主的去模糊算法得到了广泛应用，虽然当下的去模糊算法的运行效果都很好，几乎不会产生图像失真的问题，但在运行速度上几乎都达不到动态人脸识别的实时性要求。

发明内容

本发明的目的在于提供基于新型对抗学习去模糊理论的动态人脸识别方法，以解决现有技术中对抗网络DeblurGAN_V2找不到纳什平衡点陷入死循环，对模糊人脸图片识别速度慢的问题。

为实现上述目的，本发明提供如下技术方案：基于新型对抗学习去模糊理论的动态人脸识别方法，基于各个原始模糊人脸图片，执行步骤A获得各个原始模糊人脸图片对应的去一次模糊处理图片，然后执行步骤B至步骤C获得基于预设人脸图片模糊度各变化率分类阈值下的各一次模糊后处理图片的各个划分集合，之后根据所述各一次去模糊后处理图片的划分集合，执行人脸识别方法，得到各原始模糊人脸图片的人脸识别结果；

步骤A：基于以原始模糊人脸图片为输入、以相对应一次去模糊处理后图片为输出，结合目标训练截止点函数、已训练完成的对抗网络DeblurGAN_V2去模糊模型，针对各个原始模糊人脸图片进行去模糊处理，获得所述各个模糊人脸图片所对应的一次模糊处理后图片，随后进入步骤B；

步骤B：应用人脸模糊度方法，针对各个一次去模糊后图片进行处理，获得各个一次去模糊处理后图片的模糊度、以及各个一次去模糊处理后图片的模糊度变化率；随后进入步骤C；

步骤C：根据第一次去模糊处理后图片的模糊度变化率、预设人脸图片模糊度各变化率分类阈值、以及各个一次去模糊处理后图片的模糊度，获得一次去模糊处理后图片模糊度变化率与一次去模糊处理后图片模糊度相结合的划分区间下的一次去模糊后处理图片的各个划分集合。

进一步地，前述的步骤A中，基于对抗网络DeblurGAN_V2去模糊模型的目标训练截止点函数包括全局对抗损失函数、以及训练截止点函数，其中，全局对抗损失函数如下：

其中，x

e

进一步地，前述的步骤B中分别针对各一次去模糊处理后图片，执行以下步骤B1至步骤B12:

步骤B1:针对一次去模糊处理后图片，按如下公式计算一次去模糊处理后图片的亮度掩阈值ΔL：

其中，L

步骤B2:针对该一次去模糊处理后图片，计算人脸图像中大小为N×N区域B内以(x

其中，B(x

步骤B3：基于一次去模糊处理后图片的亮度掩阈值ΔL、和一次去模糊处理后图片的区域亮度，针对一次去模糊处理后图片按下公式进行亮度掩盖、背景亮度增强、空间复杂度对一次去模糊处理后图片进行更新，并获得该更新后一次去模糊处理后图片及所述一次去模糊处理后图片的梯度值；

其中，M

步骤B4:针对所述一次去模糊处理后图片，按如下公式用小波变换在每个分辨率级别j(0＜j＜J)提取边缘，获得一次去模糊后处理图片的细节轮廓图的像素点；

其中，J表示最高分辨率级别，N

步骤B5：根据一次去模糊后处理图片的细节轮廓图的像素点，按如下公式：

计算该一次去模糊后处理图片的能检测到细节轮廓图的感知像素点边缘的概率；其中，w(C

步骤B6:基于检测到细节轮廓图的像素点边缘的概率，按如下公式：

计算感知像素点边缘图矩阵PC

步骤B7:分别从垂直和水平两个方向计算感知边缘图的两个相邻像素区域的均值：

其中，PA

步骤B8:按如下公式：

计算模糊像素，其中，PNB

步骤B9:按如下公式：

PNE

计算清晰像素；其中，PNE

步骤B10:基于获得的不同分辨率水平下的模糊像素PNB

计算模糊质量因数PQ

步骤B11:按如下公式：

计算人脸模糊度CI；其中，CI表示人脸模糊度，PQ

步骤B12:根据人脸模糊度CI，按如下公式：

计算人脸模糊度变化率CJ，即该一次去模糊处理后图片的人脸模糊度变化率，其中，

进一步地，前述的步骤C中，基于一次去模糊后处理图片模糊度变化率划分阈值、以及各个一次去模糊后处理图片的人脸模糊度变化率的排序，分别针对各个一次去模糊后图片进行划分，获得三个一次去模糊后图片的划分集合S1、划分集合S2、划分集合S3；基于划分集合S3、以及一次去模糊后处理图片的模糊度，针对所述划分集合S3再次划分，获得一次去模糊后处理图片的划分集合S31和划分集合S4；最终以划分集合S1、划分集合S2、划分集合S31、划分集合S4作为一次模糊后处理图片的划分集合。

进一步地，针对划分集合S1中的各个一次去模糊后处理图片、划分集合S2中的各个一次去模糊后处理图片、划分集合S4中的各个一次去模糊后处理图片，执行人脸识别方法W1，获得人脸识别结果；针对划分集合S31中的各个一次去模糊后处理图片执行人脸识别方法W2之后获得二次去模糊后处理图片，之后针对各个二次去模糊后处理图片，执行人脸识别方法W1，获得人脸识别结果。

进一步地，前述的，前述的人脸识别方法W1具体为以下步骤E1至步骤E3；

步骤E1:计算去模糊处理后图片的模糊人脸特征映射矩阵，再将去模糊处理后图片的模糊人脸特征映射矩阵按照如下公式：

计算去模糊后处理图片的模糊人脸特征相似度投影矩阵，其中，ε是去模糊后处理图片的模糊人脸特征相似度投影矩阵，WI是去模糊处理后图片的模糊人脸图片宽度，LE是去模糊处理后图片的模糊人脸图片长度，|·|表示取绝对值，dis(a,b)是去模糊处理后图片在映射空间的投影距离，b是去模糊处理后图片在映射空间的纵坐标，a是去模糊处理后图片在映射空间的横坐标；

步骤E2:按照如下公式计算基于三元空间融合去提取去模糊后图片的模糊人脸局部特征描述子：

其中，

步骤E3:按照如下相似性度量方程计算公式：

计算去模糊处理后图片的识别结果；其中，

进一步地，前述的人脸识别方法W2具体为以下步骤G1至步骤G5；步骤G1:按如下公式：

建立人脸识别方法W2的去初级模糊处理模块，其中，||·||

步骤G2:针对人脸识别方法W2的初级去模糊处理模块，按如下公式：

对人脸识别方法W2的初级去模糊处理模块在提取去模糊处理后图片的模糊人脸显著边缘时削减无关细节并增强显著边缘；其中，N(x)表示以x为中心的区域，ε为常量，

步骤G3：针对去模糊后处理图片，按如下公式：

提取人脸模糊图像显著边缘，其中，H

步骤G4:针对人脸识别方法W2的初级去模糊处理模块，用拉普拉斯先验的方法改写该初级去模糊模块，获得二级去模糊处理模型：

其中，

步骤G5:对二级去模糊处理模块中fc求解，即得出二次去模糊处理后图片，用以下IRLS方法将迭代求解转换成最小二乘加权的形式：

其中，

进一步地，前述的模糊度变化率划分阈值为阈值|CJ|＝0、阈值|CJ|＝2％、以及阈值|CJ|＝30％，一次去模糊后处理图片的模糊度变化率阈值为|CI|＝0.3；获得人脸模糊度变化率划0≤|CJ|＜2％下的划分集合S1、人脸模糊度变化率划|CJ|﹥30％下的划分集合S2、人脸模糊度变化率划2％≤|CJ|≤30％且人脸模糊度|CI|＜0.3下的划分集合S4，人脸模糊度变化率划2％≤|CJ|≤30％且人脸模糊度|CI|≥0.3下的划分集合S31。

进一步地，前述的对抗网络DeblurGAN_V2去模糊模型的目标训练截止点函数，选取45％≤e

本发明所述基于新型对抗学习去模糊理论的动态人脸识别方法，采用以上技术方案与现有技术相比，具有以下技术效果：有益效果：本发明采用了新型DeblurGAN_V2对图像进行去模糊操作，提出了新的训练截止方法，解决了生成对抗网络模型训练困难的的问题，为了避免没有完全训练的生成器在去模糊方面出现问题，根据模糊度变化率对去模糊后的图片引入了人脸模糊度计算方法对于输出的图片进行分类，针对不同分类下的模糊人脸图片进行不同处理，添加了去模糊后处理优化结果，提高了对模糊人脸图片识别的速度，有广阔的应用场景。

附图说明

图1为本发明的流程图；

图2为DeblurGAN_V2生成器网络结构；

图3为DeblurGAN_V2判别器网络结构；

图4为人脸图像模糊度变化率计算流程图。

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下：本发明提供了基于新型对抗学习去模糊理论的动态人脸识别方法，如图1所示，首先基于DeblurGAN_V2提出了一种新型的训练截止方法，提升了生成对抗网络的训练速度，避免了找不到纳什平衡点而陷入死循环的问题，利用这种新型生成对抗网络对输入图片进行去模糊操作。然后提出了一种人脸模糊度评价模型，根据人脸模糊度变化率对生成器生成的图片进行分类，并针对各个分类下的图片进行不同操作操作，对于变化率过高或过低的图片放弃使用DeblurGAN_V2去模糊算法，直接进行人脸识别，对于变化率不高且不低的图片添加去模糊后处理模块后再进行人脸识别。具体为：

步骤A：基于以原始模糊人脸图片为输入、以相对应一次去模糊处理后图片为输出，结合目标训练截止点函数、已训练完成的对抗网络DeblurGAN_V2去模糊模型，针对各个原始模糊人脸图片进行去模糊处理，获得所述各个模糊人脸图片所对应的一次模糊处理后图片，随后进入步骤B；

步骤B：应用人脸模糊度方法，针对各个一次去模糊后图片进行处理，获得各个一次去模糊处理后图片的模糊度、以及各个一次去模糊处理后图片的模糊度变化率；随后进入步骤C；

步骤C：根据第一次去模糊处理后图片的模糊度变化率、预设人脸图片模糊度各变化率分类阈值、以及各个一次去模糊处理后图片的模糊度，获得一次去模糊处理后图片模糊度变化率与一次去模糊处理后图片模糊度相结合的划分区间下的一次去模糊后处理图片的各个划分集合，获得三个一次去模糊后图片的划分集合S1、划分集合S2、划分集合S3；基于划分集合S3、以及一次去模糊后处理图片的模糊度，针对所述划分集合S3再次划分，获得一次去模糊后处理图片的划分集合S31和划分集合S4；最终以划分集合S1、划分集合S2、划分集合S31、划分集合S4作为一次模糊后处理图片的划分集。

针对划分集合S1中的各个一次去模糊后处理图片、划分集合S2中的各个一次去模糊后处理图片、划分集合S4中的各个一次去模糊后处理图片，直接执行人脸识别方法，获得人脸识别结果；针对划分集合S31中的各个一次去模糊后处理图片经过执行人脸识别方法W2，即图中所示去模糊后处理模块，获得二次去模糊后处理图片，之后针对各个二次去模糊后处理图片，执行人脸识别方法，获得人脸识别结果。

如图2所示的DeblurGAN_V2生成器网络结构，DeblurGAN_V2构建了一个专门用于去模糊算法的新条件生成对抗网络框架，对于生成器，使用了特征金字塔网络FeaturePyramid Deblurring，FPN作为整体基础框架。DeblurGAN_V2的生成器由三个特征金字塔骨干网组成，第一个特征金字塔由五层网络组成，除了最上层仅由一个卷积快构成，其余四层均由最大池化层和卷积层共同组成，第二个特征金字塔依旧由五层网络组成，除了最上层由卷积层组成，其余四层均有上采样层、附加层和卷积层组成，前一个金字塔的卷积输出组成了该座金字塔对应网络层的上采样层，第三个特征金字塔仅由三层网络组成，最上层由两层连接层和一层卷积层组成，中间一层由上采样层、附加层和卷积层组成，最下层由上采样层和卷积层组成，前一个特征金字塔的前四层卷积层的卷积输出先输入到最大池化层中池化，前一个特征金字塔的最后一层的卷积输出进行卷积操作后输入到该座金字塔的中间层进行上采样，最终映射到最下层并输出结果，也就是最终去完模糊的人脸图片。

如图3所示的DeblurGAN_V2判别器网络结构，DeblurGAN_V2使用了一个相对判别结构组成判别器。对于同一幅模糊或者清晰图像，除了需要输入到全局判别器生成惩罚损失函数之外，还需要对图像进行局部随机切片，将切片的图片输入到局部判别器中并生成惩罚损失函数，整合两个损失函数对生成器进行惩罚，监督生成器的学习过程。

在DeblurGAN_V2的实际使用训练过程中可以发现，很难找到生成器生成的模糊图像通过率达到100％以及判别器判别准确度达到50％的纳什平衡点。主要因为生成对抗网络的平衡点难以检测，需要反复的截停网络进行测算数据并加以调整，没有直观的监测手段，常常会陷入到死循环中找不到纳什平衡点。而且虽然DeblurGAN_V2相比于V1版本有了几十倍的速度上的提高，对于整体图像的去模糊效果也非常好，但是其速度依旧达不到人脸识别的实时性要求，代码对于人脸模糊度拥有一定的鲁棒性，关键在于是否能检测到关键的人脸特征点，也就是说如果能检测到人脸特征点，并不需要死板的将人脸图像去模糊到纳什平衡点。因此需要找出除了纳什平衡点以外的一个新型方法去截停生成对抗网络，此时的生成器虽然没有达到最佳状态，但其去模糊算法已经达到了人脸识别的要求，可以进行进一步人脸识别，这样既避免了找不到苛刻的纳什平衡点的局面，又能加快训练速度和运行速度。所以，基于以原始模糊人脸图片为输入、以相对应一次去模糊处理后图片为输出，结合目标训练截止点函数、已训练完成的对抗网络DeblurGAN_V2去模糊模型，针对各个原始模糊人脸图片进行去模糊处理，获得所述各个模糊人脸图片所对应的一次模糊处理后图片，具体为：

首先进行初始化，令

其中，<·>表示内积，d表示判别器的当前状态，d

其中，<·>表示内积，γ和l表示常数，g表示生成器的当前状态，g

其中，w表示生成对抗网络的整体状态，I表示单位矩阵，D(w

其中，<·>表示内积，终止条件为：

e

其中，e

如图4所示，人脸图像模糊度变化率计算流程图。分别针对各一次去模糊处理后图片，执行以下步骤B1至步骤B12:

步骤B1:针对一次去模糊处理后图片，按如下公式计算一次去模糊处理后图片的亮度掩阈值ΔL：

步骤B2:针对该一次去模糊处理后图片，计算人脸图像中大小为N×N区域B内以(x

其中，B(x

步骤B3：基于一次去模糊处理后图片的亮度掩阈值ΔL、和一次去模糊处理后图片的区域亮度，针对一次去模糊处理后图片按下公式进行亮度掩盖、背景亮度增强、空间复杂度对一次去模糊处理后图片进行更新，并获得该更新后一次去模糊处理后图片及所述一次去模糊处理后图片的梯度值；

其中，M

步骤B4:针对所述一次去模糊处理后图片，按如下公式用小波变换在每个分辨率级别j(0＜j＜J)提取边缘，获得一次去模糊后处理图片的细节轮廓图的像素点；

其中，J表示最高分辨率级别，N

步骤B5：根据一次去模糊后处理图片的细节轮廓图的像素点，按如下公式：

计算该一次去模糊后处理图片的能检测到细节轮廓图的感知像素点边缘的概率；其中，w(C

步骤B6:基于检测到细节轮廓图的像素点边缘的概率，按如下公式：

计算感知像素点边缘图矩阵PC

步骤B7:分别从垂直和水平两个方向计算感知边缘图的两个相邻像素区域的均值：

其中，PA

步骤B8：按如下公式：

计算模糊像素，其中，PNB

步骤B9：按如下公式：

PNE

计算清晰像素；其中，PNE

步骤B10：基于获得的不同分辨率水平下的模糊像素PNB

计算模糊质量因数PQ

步骤B11:按如下公式：

计算人脸模糊度CI；其中，CI表示人脸模糊度，PQ

步骤B12:根据人脸模糊度CI，按如下公式：

计算人脸模糊度变化率CJ，即该一次去模糊处理后图片的人脸模糊度变化率，其中，

e

表1使用DeblurGAN_V2对多张图片去模糊的结果：

由于在45％≤e

在45％≤e

人脸识别方法W2，即图1中去模糊后处理模块，具体为以下步骤G1至步骤G5；

步骤G1:按如下公式：

建立人脸识别方法W2的去初级模糊处理模块，其中，||·||

步骤G2:针对人脸识别方法W2的初级去模糊处理模块，按如下公式：

对人脸识别方法W2的初级去模糊处理模块在提取去模糊处理后图片的模糊人脸显著边缘时削减无关细节并增强显著边缘；其中，N(x)表示以x为中心的区域，ε为常量，

步骤G3：针对去模糊后处理图片，按如下公式：

提取人脸模糊图像显著边缘，其中，H

步骤G4:针对人脸识别方法W2的初级去模糊处理模块，用拉普拉斯先验的方法改写该初级去模糊模块，获得二级去模糊处理模型：

其中，

步骤G5:对二级去模糊处理模块中fc求解，即得出二次去模糊处理后图片，用以下IRLS方法将迭代求解转换成最小二乘加权的形式：

其中，

在本发明中参照附图来描述本发明的各方面，附图中示出了许多说明性实施例。本发明的实施例不局限于附图所示。应当理解，本发明通过上面介绍的多种构思和实施例，以及下面详细描述的构思和实施方式中的任意一种来实现，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。