一种基于无监督解耦表征的人脸图像去模糊方法

技术领域

本发明涉及计算机视觉中的低质量图像复原技术领域，特别是指一种基于无监督解耦表征的人脸图像去模糊方法。

背景技术

随着智能手机等电子设备的普及，人脸图片已经成为日常生活中最受欢迎的图片类型之一。拍摄过程中相机的抖动或者人物的行走都会造成模糊的产生。这不仅会降低人脸图像的视觉质量，而且模糊造成的失真会在诸多计算机视觉任务上产生负面影响。为了能够从这些模糊图像中获取关键的信息，需要进行去模糊处理。

由于图像模糊本身的不确定性，需要一定的假设或先验知识以约束解空间，利用最大后验概率估计获得的去模糊图像。目前最常使用的先验知识包括梯度统计、稀疏表达、暗通道先验等。然而这些方法需要大量的时间成本和计算效率，并且去模糊效果并不理想。近些年来，深度卷积网络和生成对抗网络日益广泛地应用到图像处理领域，从低分辨率对应估计高分辨率图像到现在对模糊图像的处理，得到了越来越多研究者的重视。与传统的方法相比，深度学习的方法在保留纹理细节和生成逼真图像方面具有更大的优势。大多数现有深度学习的方法需要成对的训练数据，这种训练方式一定程度上限制了这些方法在真实多媒体数字设备应用的通用性、可扩展性和实用性。另外，强健的监督可能会导致过拟合的训练模型，使得模型在真实拍摄图片的去模糊效果下降。

解耦表征为解决以上问题提供了很好的思路。解耦表征旨在在非成对数据的条件下，编码一组能表征数据独特性和独立性的生成因素，学习数据的条理化和可解释性。人脸去模糊任务也可以被视为解耦表征技术的一个分支。Lu等人提出了一种运动去模糊的端到端无监督解耦神经网络，其运用内容编码器和模糊风格编码器分别处理不同的语义特征，将解耦后得到的内容信息和模糊特征作为生成器的输入，在对抗损失和循环一致性损失的作用下达到去模糊效果。但现有无监督解耦方法在训练过程中会出现域转移和解耦不一致的问题，无法得到令人满意的去模糊效果。

发明内容

本发明实施例提供了基于无监督解耦表征的人脸图像去模糊方法，能够解决其他无监督方法在训练过程中出现的域转移和解耦不一致的问题。所述技术方案如下：

一方面，提供了一种基于无监督解耦表征的人脸图像去模糊方法，包括：

获取由清晰图像及模糊图像构成的训练集；其中，所述图像为人脸图像；

构建基于生成对抗网络的去模糊生成网络，确定其总的目标函数；其中，通过所述去模糊生成网络解耦语义内容信息和域内特性，所述去模糊生成网络包括：内容域编码器、特征域编码器、特征域生成器、特征域鉴别器；

利用得到的训练集和总的目标函数，训练所述去模糊生成网络；

将待处理的模糊图像作为输入，利用训练好的所述去模糊生成网络生成清晰的人脸图像。

进一步地，所述获取由清晰图像及模糊图像构成的训练集包括：

获取清晰图像并对其进行裁剪及模糊化处理，得到模糊图像；

对裁剪得到的清晰图像和模糊图像进行图像增强处理；

利用增强后的清晰图像和模糊图像构成训练集

进一步地，所述构建基于生成对抗网络的去模糊生成网络包括：

构建Half-IN残差卷积模块和IN残差卷积模块；

构建基于Half-IN残差卷积模块的内容域编码器

构建基于卷积神经网络的清晰特征编码器

构建基于IN残差卷积模块的特征域生成器

构建基于IN残差卷积模块的特征域鉴别器

根据构建的所述内容域编码器

进一步地，所述Half-IN残差卷积模块由第一卷积分支和第一残差分支并联组成；

所述第一卷积分支由

所述第一残差分支为

进一步地，所述IN残差卷积模块由第二卷积分支和第二残差分支并联组成；

所述第二卷积分支由

所述第二残差分支为

进一步地，所述去模糊生成网络的工作流程包括解耦阶段和重建阶段：

在解耦阶段，对于输入的非成对人脸图像

在重建阶段，对于解耦阶段输出的人脸图像

进一步地，所述在解耦阶段，对于输入的非成对人脸图像

对于输入的非成对人脸图像

其中，

利用清晰特征生成器

其中，

进一步地，所述在重建阶段，对于解耦阶段输出的人脸图像

在重建阶段，使用内容域编码器

其中，

利用清晰特征生成器

其中，

进一步地，所述总的目标函数

其中，

进一步地，所述重建目标函数

其中，

所述生成对抗的目标函数

其中，

所述语义内容监督函数

所述特征表征监督函数

所述循环一致性的目标函数

一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述基于无监督解耦表征的人脸图像去模糊方法。

本发明实施例提供的技术方案带来的有益效果至少包括：

本发明实施例中，获取由清晰图像及模糊图像构成的训练集；其中，所述图像为人脸图像；构建基于生成对抗网络的去模糊生成网络，确定其总的目标函数；其中，通过所述去模糊生成网络解耦语义内容信息和域内特性，所述去模糊生成网络包括：内容域编码器、特征域编码器、特征域生成器、特征域鉴别器；利用得到的训练集和总的目标函数，训练所述去模糊生成网络；将待处理的模糊图像作为输入，利用训练好的所述去模糊生成网络生成清晰的人脸图像。这样，能够解决其他无监督方法在训练过程中出现的域转移和解耦不一致的问题。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于无监督解耦表征的人脸图像去模糊方法的流程示意图；

图2为本发明实施例提供的残差卷积模块的结构示意图；

图3为本发明实施例提供的基于无监督解耦表征的人脸图像去模糊方法的框架示意图；

图4为本发明实施例提供的内容域编码器的结构示意图；

图5为本发明实施例提供的特征域编码器的结构示意图；

图6为本发明实施例提供的特征域生成器的结构示意图；

图7为本发明实施例提供的特征域鉴别器的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

如图1所示，本发明实施例提供了一种基于无监督解耦表征的人脸图像去模糊方法，包括：

S101，获取由清晰图像及模糊图像构成的训练集；其中，所述图像为人脸图像；具体可以包括以下步骤：

A1，获取清晰图像并对其进行裁剪及模糊化处理，得到模糊图像；

本实施例中，获取清晰的人脸图像并将其裁剪成分辨率为

A2，对裁剪得到的清晰图像和模糊图像进行图像增强处理；

本实施例中，所述图像增强处理包括：随机水平旋转和数据归一化。

A3，利用增强后的清晰图像和模糊图像构成训练集

S102，构建基于生成对抗网络的去模糊生成网络，确定其总的目标函数；其中，通过所述去模糊生成网络解耦语义内容信息和域内特性，所述去模糊生成网络包括：内容域编码器、特征域编码器、特征域生成器、特征域鉴别器；

本实施例中，构建基于生成对抗网络的去模糊生成网络，具体可以包括以下步骤：

B1，构建Half-IN残差卷积模块和IN残差卷积模块；

如图2（a）所示，Half-IN残差卷积模块由一个卷积分支和一个残差分支并联组成； 所述第一卷积分支由

如图2（b）所示，IN残差卷积模块也由一个卷积分支和一个残差分支并联组成；IN 残差卷积模块与Half-IN残差卷积模块不同之处在于IN残差卷积模块的卷积分支仅由

其中，

B2，构建基于Half-IN残差卷积模块的内容域编码器

如图3和4所示，两个内容域编码器的结构一致，都由

B3，构建基于卷积神经网络的清晰特征编码器

如图5（a）所示，清晰特征编码器由多个卷积层后接自适应池化层和1个卷积层组 成；清晰特征编码器具体层包括：一个步长为1的

如图5（b）所示，模糊特征编码器由

B4，构建基于IN残差卷积模块的特征域生成器

如图6所示，清晰特征生成器和模糊特征生成器都由IN残差卷积模块后接转置卷积层构成。两者结构一致，具体为：两个共享步长为1的IN残差卷积模块, 三个步长为1的IN残差卷积模块，两个步长为2的转置卷积层。

B5，构建基于IN残差卷积模块的特征域鉴别器

如图7（a）、（b）所示，清晰特征鉴别器和模糊特征鉴别器的结构一致，具体为：一个自适应池化层，后接四个步长为2的IN残差卷积模块，最后接一个卷积层。

B6，根据构建的所述内容域编码器

本实施例中，所述去模糊生成网络的工作流程包括解耦阶段和重建阶段：

1）在解耦阶段，对于输入的非成对人脸图像

对于输入的非成对人脸图像

其中，

特征域生成器的输入为卷积编码网络输出的语义内容信息

其中，

2） 在重建阶段，对于解耦阶段输出的人脸图像

在重建阶段，重复使用内容域编码器

其中，

利用清晰特征生成器

其中，

本实施例中，确定去模糊生成网络总的目标函数，具体可以包括以下步骤；

C1，构建散度目标函数。通过减小语义内容信息与标准正态分布

将内容域编码器输出的语义内容信息

其中，

C2，构建重建目标函数

其中，

C3，构建生成对抗的目标函数

其中，

目标函数

其中，

总的生成对抗目标函数

C4，构建特征域自监督的目标函数。目标函数的第一部分为语义内容监督函数

目标函数的第二部分为特征表征监督函数

C5，构建循环一致性的目标函数

C6，确定去模糊生成网络总的目标函数

其中, 其中，

S103，利用得到的训练集和总的目标函数，训练所述去模糊生成网络；

本实施例中，利用得到的训练集和总的目标函数，训练所述去模糊生成网络，得到 权重文件。在测试过程中，按照步骤A1- A3，获取模糊图像测试集，仅使用模糊图像测试集

S104，将待处理的模糊图像作为输入，利用训练好的所述去模糊生成网络生成清晰的人脸图像。

本发明实施例所述的基于无监督解耦表征的人脸图像去模糊方法，至少具有以下有益效果：

1）本实施例所提出的基于生成对抗网络的去模糊生成网络，能够解耦语义内容信息和域内特性，利用所述去模糊生成网络和其相应的目标函数能够解决其他无监督方法在训练过程中出现的域转移和解耦不一致的问题，例如，人脸图像全局明亮变化、存在局部模糊现象等；

2）清晰特征编码器的存在补偿了因模糊导致人脸图像全局清晰特征的损失，进一步丰富了人脸的细节和纹理信息；

3）本实施例基于无监督解耦表征的方法，使用非成对人脸图像训练去模糊生成网络，使得去模糊生成网络在非成对图像集的条件下能够处理图像去模糊任务，解决了训练集对网络的局限性；

4）通过本实施例提供的基于无监督解耦表征的人脸图像去模糊方法不仅能够生成高质量的去模糊人脸图像，还能同时处理多种模糊类型，例如高斯模糊和运动模糊，特别适用于低质量图像中模糊的消除；

5）测试过程中仅需要模糊图像作为输入，简化了测试流程。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。