基于双重判别生成对抗网络的人脸图像超分辨率方法及系统

技术领域

本发明属于人脸图像超分辨率技术领域，更具体地，涉及一种基于双 重判别生成对抗网络的人脸图像超分辨率方法及装置。

背景技术

人脸超分辨率(Super-Resolution，SR)是一种从输入的低分辨率(LowResolution，LR)人脸图像中推断出潜在的高分辨率(High Resolution，HR) 图像的技术，可以显著增强LR人脸图像的细节信息。因此，它被广泛应用 于人脸识别、娱乐等领域。

虽然人脸SR也被归类为自然图像SR，但是大多数基于深度学习SR 方法的自然图像都不适合这种情况。由于人脸结构有许多不同于自然图像 的先验知识，自然图像SR方法不能充分利用人脸图像唯一的先验信息，这 使得人脸SR任务不同于一般的自然图像SR问题。近年来，人脸先验在现 有的人脸SR算法中得到了广泛的应用。例如：Song提出了一种基于分量 生成和增强学习的幻觉人脸图像算法(Learning to hallucinate face imagesvia Component Generation and Enhancement，LCGE)，证明了人脸分量在 HR图像重建中的作用；Yang等人为了获取与原始高分辨率图像更接近的 逼真效果，在生成网络中加入增强判别器(Enhanced discriminative generative adversarial network for facesuper-resolution，EDGAN)，并运用到人脸图像超 分辨率领域；Yu等人提出了一种变换式自动编码器网络来超分辨率非常低 分辨率的未对准和嘈杂的人脸图像(Hallucinatingvery low-resolution unaligned and noisy face images by transformativediscriminative autoencoders， TDAE)；Lu等人提出了一种基于区域的并行深度残差网络(Parallel Region-Based Deep Residual Networks for Face Hallucination，PRDRN)，它 利用基于区域的人脸幻觉来进一步学习准确的先验信息。

目前，采用神经网络的方法来学习低分辨率图像和相应的高分辨率图 像之间的映射关系，从而进行图像超分辨率重建已成为该领域的主流方法。 其核心思想是堆叠更多的卷积层来加深网络结构，增加卷积核感受野以提 升图像高频信息的特征提取，从而提升重建图像的质量。然而，加深超分 重建网络结构会增加模型参数量，从而使得模型的训练难度增加。后来， 基于生成对抗网络的模型以生成对抗的方式不断地生成纹理细节更清晰的 图像，在SR任务中具有提高图像感知质量的优势，然而，重建图像多会 在五官等纹理细节丰富的位置产生伪影甚至形变。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提出了一种基于双重判 别生成对抗网络的人脸图像超分辨率方法及装置，由此解决目前人脸超分 辨率重建算法在重建图像的纹理细节不够真实和丰富的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于双重判别 生成对抗网络的人脸图像超分辨率方法，包括：

(1)由生成对抗网络通过将残差学习和密集连接学习结合，构造密集 -残差网络；

(2)在判别网络中增加局部判别器，以判断图片的真假，其中，局部 判别器和全局判别器共用部分网络结构；

(3)将生成对抗网络和判别网络的损失函数进行融合。

在一些可选的实施方案中，步骤(1)包括：

使用融合了多层残差网络和密集连接网络的RRDB网络单元替换生成 对抗网络中的BN网络单元，构造密集-残差网络。

在一些可选的实施方案中，步骤(2)包括：

由全局判别器从整体上区分真实的高分辨率人脸图像和密集-残差网络G生成的人脸图像；

通过局部判别器从局部上区分G生成的人脸图像和真实的高分辨率人 脸图像；

使用全局判别器估计真实的高分辨率人脸图像比密集-残差网络G生成 的人脸图像更真实的概率，并通过全局判别器和局部判别器的联合损失以 约束密集-残差网络G合成一个比真实的高分辨率人脸图像更真实的假图像。

在一些可选的实施方案中，全局判别器和局部判别器均包括N组由卷 积层-谱归一化层-激活函数构成的网络结构，且全局判别器和局部判别器中 N的数值不同，对于全局判别器，使用了带有最小开方损失的相对判别器。

在一些可选的实施方案中，步骤(3)包括：

生成对抗网络中基于像素域损失函数用于在像素域空间约束超分辨率 图像与原始高分辨率图像的差异；判别网络中的感知损失函数用于约束生 成网络中超分辨率图像在特征域空间的差异；对抗损失函数用于约束生成 网络和对抗网络的对抗学习。

按照本发明的另一方面，提供了一种基于双重判别生成对抗网络的人 脸图像超分辨率装置，包括：

生成模块，用于由生成对抗网络通过将残差学习和密集连接学习结合， 构造密集-残差网络；

图像判别模块，用于在判别网络中增加局部判别器，以判断图片的真 假，其中，局部判别器和全局判别器共用部分网络结构；

融合模块，用于将生成对抗网络和判别网络的损失函数进行融合。

在一些可选的实施方案中，所述生成模块，用于使用融合了多层残差 网络和密集连接网络的RRDB网络单元替换生成对抗网络中的BN网络单 元，构造密集-残差网络。

在一些可选的实施方案中，所述图像判别模块，用于由全局判别器从 整体上区分真实的高分辨率人脸图像和密集-残差网络G生成的人脸图像； 通过局部判别器从局部上区分G生成的人脸图像和真实的高分辨率人脸图 像；使用全局判别器估计真实的高分辨率人脸图像比密集-残差网络G生成 的人脸图像更真实的概率，并通过全局判别器和局部判别器的联合损失以 约束密集-残差网络G合成一个比真实的高分辨率人脸图像更真实的假图像。

在一些可选的实施方案中，全局判别器和局部判别器均包括N组由卷 积层-谱归一化层-激活函数构成的网络结构，且全局判别器和局部判别器中 N的数值不同，对于全局判别器，使用了带有最小开方损失的相对判别器。

在一些可选的实施方案中，所述融合模块，用于生成对抗网络中基于 像素域损失函数用于在像素域空间约束超分辨率图像与原始高分辨率图像 的差异；判别网络中的感知损失函数用于约束生成网络中超分辨率图像在 特征域空间的差异；对抗损失函数用于约束生成网络和对抗网络的对抗学 习。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够 取得下列有益效果：

提出了一种基于双重判别生成对抗网络(Double Discriminant GeneratesAdversarial Network,DDGAN)的人脸超分辨率网络。首先，生成对抗网络通 过将残差学习和密集连接学习结合，构造密集-残差块，在不增加网络深度 和参数的情况下增强了特征提取能力；其次，对判别网络进行改进，增加 了局部判别器，使得重建图像的纹理细节更加真实和丰富；最后提出了新 的联合损失函数。在低分辨率人脸数据集上的实验证明了该算法的有效性。

附图说明

图1是本发明实施例提供的一种基于双重判别生成对抗网络的人脸图 像超分辨率的流程示意图；

图2是本发明实施例提供的一种判别器模块结构图；

图3是本发明实施例提供的一种图像判别模块结构图；

图4是本发明实施例提供的一种在HHFQ数据集上的结果图；

图5是本发明实施例提供的一种生成器G中的RRDB结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图 及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体 实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的 本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可 以相互组合。

实施例一

本发明提出了一种基于双重判别生成对抗网络的人脸图像超分辨率方 法，该人脸图像超分辨率方法使用生成对抗网络通过将残差学习和密集连 接学习结合，构造密集-残差块，在不增加网络深度和参数的情况下增强了 特征提取能力，以得到效果更好的图像。

图1是本发明实施例提供的一种基于双重判别生成对抗网络的人脸图 像超分辨率方法的流程示意图，该方法主要通过以下三个步骤来实现：

S1：由生成对抗网络通过将残差学习和密集连接学习结合，构造密集- 残差网络；

在本发明实施例中，步骤S1可以通过以下方式实现：

如图5所示，通过使用RRDB(Rsidual in Residual Dense Block)结构， 将密接连接网络和残差网络完美结合，在不增加网络深度，不增加计算开 销的同时，最大限度的结合了LR图像的深浅层特征，同时避免了网络过深 导致的梯度消失问题。同时，与常见超分辨率网络相比，此处未使用 BN(Batch normalization)层。残差网络是每个层与前面的某层(一般是2～3 层)通过跳跃连接，连接方式是通过元素级相加。在生成对抗网络的训练期间，生成对抗网络中的BN层使用批处理中每个批次数据向前传播的均值 和方差对特征进行归一化，但是任何图像经过BN层后，其色彩的分布都会 被归一化。也就是说，它破坏了图像原本的对比度信息，因此BN层的加入 会影响SR的结果，导致不可预测的伪影。为保证重建性能，故选择在原始 网络上去掉BN层。

S2：对判别网络进行改进，增加了局部判别器，在不增加网络深度和 参数的情况下增强了特征提取能力，使得重建图像的纹理细节更加真实和 丰富；

其中，局部判别器和全局判别器共用部分网络结构，其本质区别为： 计算真实图片和生成图片相似度方式不同。其中，全局判别器对比整张图 片；局部判别器将图片划分为N*N块，分别计算每块的相似度，生成相似 度矩阵。这种全局-局部结构确保了重建图像的所有局部补丁看起来像真实 的正常补丁，这被证明对于结构和纹理细节丰富的人脸超分辨率重建非常 有用。

在本发明实施例中，步骤S2主要是区分一幅图像是真实的还是虚假的， 包括以下步骤：首先由全局判别器从整体上区分真实的高分辨率人脸图像 和密集-残差网络G生成的人脸图像；类似的，再通过局部判别器从局部上 区分G生成的图像和真实的高分辨率人脸图像，最后使用全局判别器估计真 实的高分辨率人脸图像比密集-残差网络G生成的人脸图像更真实的概率， 并通过全局判别器和局部判别器的联合损失以约束密集-残差网络G合成一 个比真实图像更真实的假图像。

具体地，如图2所示，其中N表示对应“卷积层-谱归一化层-激活函数” 结构的组数。从整体上区分真实的高分辨率人脸图像和G生成的人脸图像； 类似的，从局部上区分G生成的图像和真实的高分辨率人脸图像。对于全局 判别器，使用了带有最小开方损失(least-square loss)的相对判别器 (relativistic discriminator)，它估计了真实的高分辨率人脸图像比密集-残差 网络G生成的人脸图像更真实的概率，并指导G合成一个比真实图像更真实 的假图像。引入了一个局部判别器网络来提高生成图像的纹理细节质量。通过从重建和真实的高分辨人脸图像中提取随机裁剪的局部块，并学习区 分它们是真实的(HR图像)还是假的(G生成的图像)。

在卷积层中，k，s，p，n依次表示卷积核的大小，步长Stride，Padding 和卷积核的个数。全局判别器和局部判别器的所有卷积核尺寸都选择为4， 卷积层卷积核的个数随着网络逐渐加深而增加，从64开始，以2的倍数增 长，一直到512。当图中N＝5时，该判别器为一个全局判别器(Global Discriminator)，输出结果是一个值；当图中N＝3时，该判别器为一个局部 判别器(Local Discriminator)，生成结果是一个矩阵，矩阵中的一个值代表 一个70×70大小的局部块的真假矩阵。网络结构如图3所示。

S3：最后提出了新的联合损失函数，在低分辨率人脸数据集上的实验 证明了该算法的有效性。

在本发明实施例中，步骤S3可以通过以下方式实现：

基于双重判别生成对抗网络的损失由三个部分构成：生成网络中基于 像素域损失函数用于在像素域空间约束超分辨率图像与原始高分辨率图像 的差异；判别网络中的感知损失函数用于约束生成网络中超分辨率图像在 特征域空间的差异；对抗损失函数用于约束生成网络和对抗网络的对抗学 习。

本发明与其他的图像超分辨重建算法对比，提供实验数据来表达本方 法的有效性，对比实验结果的参数比较如下表1所示，为了保证比较的公 平，我们使用相同的训练、测试数据集对以上网络重新训练并测试。用加 黑字体标识最优结果，下划线标识次优结果。实验结果如图4所示。

表1

从以上表格实验数据可以看出，本发明方法均与对比方法相比获得了 高的分数，即优于对比算法。

实施例二

在本申请的另一实施例中，还提供了一种基于双重判别生成对抗网络 的人脸图像超分辨率装置，包括：

生成模块，用于由生成对抗网络通过将残差学习和密集连接学习结合， 构造密集-残差网络；

图像判别模块，用于在判别网络中增加局部判别器，以判断图片的真 假，其中，局部判别器和全局判别器共用部分网络结构；

融合模块，用于将生成对抗网络和判别网络的损失函数进行融合。

其中，在图像判别模块中包括以并联方式连接的一个生成对抗网络模 块及两个判别器网络组成的判别器模块，在生成对抗网络模块和判别器模 块之后为融合模块。融合模块包括三层子网络，不同的子网络使用不同的 卷积内核。

在一些可选的实施方案中，生成模块，用于使用融合了多层残差网络 和密集连接网络的RRDB网络单元替换生成对抗网络中的BN网络单元， 构造密集-残差网络。

在一些可选的实施方案中，图像判别模块，用于由全局判别器从整体 上区分真实的高分辨率人脸图像和密集-残差网络G生成的人脸图像；通过 局部判别器从局部上区分G生成的人脸图像和真实的高分辨率人脸图像；使 用全局判别器估计真实的高分辨率人脸图像比密集-残差网络G生成的人脸 图像更真实的概率，并通过全局判别器和局部判别器的联合损失以约束密 集-残差网络G合成一个比真实的高分辨率人脸图像更真实的假图像。

在一些可选的实施方案中，全局判别器和局部判别器均包括N组由卷 积层-谱归一化层-激活函数构成的网络结构，且全局判别器和局部判别器中 N的数值不同，对于全局判别器，使用了带有最小开方损失的相对判别器。

在一些可选的实施方案中，融合模块，用于生成对抗网络中基于像素 域损失函数用于在像素域空间约束超分辨率图像与原始高分辨率图像的差 异；判别网络中的感知损失函数用于约束生成网络中超分辨率图像在特征 域空间的差异；对抗损失函数用于约束生成网络和对抗网络的对抗学习。

需要指出，根据实施的需要，可将本申请中描述的各个步骤/部件拆分 为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组 合成新的步骤/部件，以实现本发明的目的。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已， 并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等 同替换和改进等，均应包含在本发明的保护范围之内。