基于多个稀疏先验的可学习双层优化实现图像去模糊方法

技术领域

本发明涉及计算机视觉技术领域，具体指一种基于多个稀疏先验的可学习双层优化实现图像去模糊方法。

背景技术

随着计算机视觉技术的发展，利用图像进行目标检测和跟踪等高级任务逐渐应用到社会生产生活中，如道路上的车辆违章检测，人脸识别技术。然而，由于相机抖动或目标物体的运动，拍摄长时间曝光照片导致模糊图像的产生，使目标对象难以识别。图像去模糊是计算机视觉和图像处理领域的关键问题之一。因此，从模糊图像中恢复清晰图像十分必要。本专利以图像处理任务为切入点，聚焦图像去模糊这一具体问题。

图像去模糊是计算机视觉中一个具有挑战性的问题，旨在从模糊图像中恢复清晰图像。由于复杂的未知退化和简单的合成模型不兼容，直接训练的深度卷积神经网络通常不能充分处理现实世界的模糊图像。现有的生成对抗网络(GAN)可以生成更详细、更真实的图像，但生成器和鉴别器之间的博弈是不平衡的，这导致训练参数不能收敛到理想的纳什平衡点。因此，聚焦图像去模糊这一具体问题的解决，对于计算机视觉的实际应用具有重要意义。

发明内容

本发明根据现有技术的不足，提出一种基于多个稀疏先验的可学习双层优化实现图像去模糊方法，平衡生成器和判别器的博弈，提升GAN模型的学习能力，改善图像去模糊效果。

为了解决上述技术问题，本发明的技术方案为：

一种基于多个稀疏先验的可学习双层优化实现图像去模糊方法，具体步骤如下：

步骤(1)数据集获取：训练阶段，使用GOPRO数据集中提供的训练集进行训练；测试阶段，使用GOPRO数据集的测试集和Real-Blur数据集的测试集进行测试。

步骤(2)训练数据预处理：在训练阶段，将原始像素大小为1280×720的图像随机裁剪为256×256的图像，并使用随机水平翻转和随机90度旋转进行数据增强。然后，使用三个尺度

步骤(3)构建上层优化模型：上层优化模型的目标是使用模糊图像求解其对应的清晰图像。这里使用多尺度编码器-解码器网络，用于学习从模糊图像到清晰图像的映射。具体地，采用三尺度的编码器-解码器网络，实现从粗粒度到细粒度的图像分阶段恢复。每个尺度的编码器由15个卷积层、6个残差连接层和6个ReLU激活层组成。解码器由13个卷积层、2个反卷积层，6个残差连接和6个ReLU激活层，整体结构和编码器保持对称。

步骤(4)基于多个稀疏约束构建下层优化模型：下层优化模型的目的是对上层模型的结果进行约束，使其生成的清晰图像具有丰富纹理和接近自然图像的稀疏性。该部分使用分类网络区分真实的清晰图像和上层优化求解的伪清晰图像之间不同的稀疏性。具体的，下层网络中有两个优化目标，一个用于区分真实图像和伪清晰图像，将真实图像的类别鉴定为真，伪清晰图像的类别鉴定为假。另一个使用图像的梯度和暗通道组合特征，通过判别不同图像特征的稀疏程度，将真实图像的稀疏程度鉴别为真，伪清晰图像的稀疏程度鉴别为假。

步骤(5)优化双层模型，训练网络参数：采用上层优化问题和下层优化问题交替迭代的方式，获取最优参数。由于下层优化中约束条件较多、收敛较快，本专利提出了四分法求解方法，在一次优化迭代中，使用梯度下降法先求解上层问题，其次求解下层优化中的真实图像和伪清晰图像的分类问题，再次求解上层问题，最后求解下层优化中的稀疏程度的判别问题。其中，上层优化中生成网络的损失函数包含生成器生成的伪清晰图像和真实的清晰图像之间误差的l

骤(6)最优参数下测试新样本：基于步骤(5)训练得到上层优化中的生成器，即多尺度编码器-解码器的网络参数θ

本发明具有以下的特点和有益效果：

采用上述技术方案，上层优化模型可以提供模糊图像到清晰图像的映射，下层优化模型通过两个约束能引导上层优化的解能够尽可能接近真实图像。进一步提出的四分法求解，从而能有效缓解双层优化中下层优化收敛过快的问题。

通过将多个稀疏先验引入双层优化模型中，并采用生成对抗网络优化双层模型，进而平衡生成器和判别器的博弈，提升GAN模型的学习能力，从而有效改善图像去模糊效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一种基于多个稀疏先验的可学习双层优化实现图像去模糊方法的网络框架流程图。

图2为本发明实施例中上层优化的编码器和解码器结构。

图3为本发明实施例一种基于多个稀疏先验的可学习双层优化实现图像去模糊方法的网络参数求解流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

在本发明的描述中，需要理解的是，“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图1、2，对本实施例提供的基于多个稀疏先验的可学习双层优化实现图像去模糊方法进行进一步详细说明。

步骤(1)数据集获取：

具体的，本实施例中，训练阶段，使用GOPRO数据集中提供的训练集进行训练。该数据集由每秒240帧的GOPR04 Hero摄像机捕获，模糊图像是由连续的短曝光帧叠加后平均生成。在生成的3214张模糊/清晰图像对中，使用2103对进行训练，使用1111对进行测试。

另外，在测试阶段使用Real-Blur数据集进行测试，以验证方法的有效性。该数据集由4738对图像组成，包括来自232个不同场景的参考图像。所有图像均以原始相机和JPEG格式捕获，从而生成两个数据集：原始图像为Real-Blur-R，JPEG图像为Real-Blur-J。每个训练集包含3758个图像对，而每个测试集包含980个图像对。

步骤(2)训练数据预处理：在训练阶段，将原始像素大小为1280×720的图像随机裁剪为256×256的图像，并使用随机水平翻转和随机90度旋转进行数据增强。然后，使用三个尺度

步骤(3)构建上层优化模型：

本实施例中使用三尺度编码器-解码器网络作为生成器，对应数据集预处理过程中三个尺度进行重塑的图像，学习从模糊图像到清晰图像的映射。该映射表述为：

x

其中G表示生成器，θ

为了求解映射中的参数θ

其中，L

步骤(4)基于多个稀疏约束构建下层优化模型：使用双分支鉴别器降低鉴别器的收敛速度，以解决图像恢复任务中生成器和鉴别器的收敛不平衡问题。鉴别器的第一个分支使用传统的鉴别器，采用真实清晰图像和生成的伪清晰图像之间的对抗性，把真实的清晰图像鉴别为真，把生成器生成的清晰图像鉴别为假。它可以被描述为：

其中

其中，P

鉴别器的第二个分支基于图像的稀疏性，采用图像的梯度和暗通道特征作为图像的稀疏先验，把真实的清晰图像的稀疏图鉴别为真，把生成器生成的清晰图像的稀疏图鉴别为假。具体来说，将基于稀疏的分支表述如下，

其中

进一步的，S(x

其中

步骤(5)优化双层模型，训练网络参数：针对步骤(3)和(4)中的优化目标函数(公式(2)、(4)和(7))，采用交替迭代的方式进行优化。具体来说，在一轮迭代中，首先通过公式(2)，更新一次生成器参数θ

训练使用的损失函数由四个部分组成，其中包括生成器生成的清晰图像和真实的清晰图像之间误差的l_1范数、生成的清晰图像和真实的清晰图像通过VGG19后误差的l_2范数、鉴别器第一个分支的对抗性损失和鉴别器第二个分支的对抗性损失。鉴别器第一个分支的对抗性损失如下：

其中，P

其中S和D

为了在生成器中保留更真实的颜色和纹理，采用生成器生成的清晰图像和真实清晰图像之间的像素和特征重构误差。综合以上约束，使用混合损耗来训练生成器：

其中，L

步骤(6)最优参数下测试新样本：基于步骤(5)训练得到生成器，即多尺度编码器-解码器的网络参数θ

以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式包括部件进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。