子带网络桥接的半监督图像去雨方法及装置

技术领域

本发明属于图像处理、增强领域，尤其涉及一种子带网络桥接的半监督图像去雨方法及装置。

背景技术

深度学习去雨时代始于2017年。Yang等人构建一个联合雨痕检测和去除的网络，可以处理大雨，重叠的雨痕和雨雾。该网络可以通过预测二元掩模来检测雨水的位置，并采用递归框架来去除雨痕，逐步清除雨雾。该方法在下大雨的情况下取得了良好的效果。但是，方法可能会错误地去除垂直纹理并造成曝光不足。

同年，Fu等人尝试通过构建深层细节网络去除雨痕。该网络仅将高频细节作为输入，并预测雨痕和干净的无雨图像。该工作表明，移除网络输入中的背景信息有利于网络训练。

继Yang和Fu等人的工作，在后续工作中，许多基于卷积神经网络的方法被提出。这些方法采用了更高级的网络结构，并嵌入了与雨相关的新先验，在定量和定性分析中都取得了更好的结果。但是，由于这些方法受全监督学习范式的局限(即使用合成雨图)，在处理训练过程中从未见过的真实降雨场景时，可能会失效。

发明内容

针对上述问题和相关方法的不足，本发明提出了一种子带网络桥接的半监督图像去雨方法及装置。整体框架如图1所示，该方法构建了一种有效的特征表征——基于学习的子带表示，连接监督学习和非监督学习，实现高效的深度学习半监督去雨。模型的监督学习部分充分利用成对数据和基于信号保真度的损失度量，学习雨痕去除与细节修正过程。半监督学习部分则利用非成对数据和对抗学习，学习图像质量增强过程，提升图像的能见度和舒适度。

本发明采用的技术方案包括以下步骤：

一种子带网络桥接的半监督图像去雨方法，其步骤包括：

1)基于若干样本无雨图像及生成的雨痕与雨雾，生成若干雨天图像y，构建成对图像数据集，并搜集不同质量的样本图像，获取各样本图像的图像质量标签，构建非成对图像质量数据集；

2)构建图像去雨模型，并利用成对图像数据集与非成对图像质量数据集对图像去雨模型进行训练，得到训练后的图像去雨模型；

其中图像去雨模型包括一个用以学习雨天图像y或复原图像中子带信号的迭代子带学习网络与一个用以对子带信号进行重组生成复原图像的迭代子带重建网络；利用成对图像数据集对迭代子带学习网络进行训练，利用成对图像数据集与训练后的质量评估网络对迭代子带重建网络进行训练；

通过以下策略构建迭代子带学习网络：

A)构建若干类似U-Net的深层网络，作为子网络；

B)每个子网络以雨天图像y与上一次循环的复原结果

C)在中间层中，首先通过有步长的卷积和反卷积对特征的空间分辨率进行下采样，然后再上采样；

D)使用跳跃连接将各子网络相同空间分辨率的浅层与深层特征连接；

通过以下策略构建迭代子带重建网络：

a)构建若干类似U-Net的深层网络，作为子网络；

b)使用跳跃连接将各子网络相同空间分辨率的浅层与深层特征连接；

所述训练后的质量评估网络利用非成对雨天图像质量数据集训练得到；质量评估网络的结构包括：一个将最后一层替换为具有n个单元全连接层的VGG16网络和一个softmax层，其中n为图像质量标签的种类数量；

3)将待处理图像输入训练后的图像去雨模型，得到去雨后的图像。

进一步地，生成雨痕与雨雾的方法包括：使用雨痕外观模型。

进一步地，雨雾的参数包括：透光率和背景光。

进一步地，雨天图像y＝x(1-t)+tα+s，其中x为样本无雨图像，s为雨痕，t为透光率，α为背景光。

进一步地，迭代子带学习网络通过以下步骤学习雨天图像y或复原图像中子带信号：

1)将雨天图像映射为特征，或对利用复原图像生成的跨循环特征残差进行累加得到特征；

2)利用长短时记忆网络与所述特征生成跨尺度特征残差，并对跨尺度特征残差进行累加，得到跨尺度特征残差累加结果；

3)通过将跨尺度特征残差累加结果映射为不同尺度下的增强结果，获取雨天图像y或复原图像中的子带信号。

进一步地，利用成对图像数据集对迭代子带学习网络进行训练时，使用多尺度损失函数约束迭代子带学习网络的学习，其中多尺度损失函数

进一步地，迭代子带重建网络通过以下步骤对子带信号进行重组生成复原图像：

1)将子带信号映射为信号重组权重；

2)使用信号重组权重加权子带信号重组生成新的增强结果；

3)对新的增强结果进行重组，生成复原图像。

进一步地，利用成对图像数据集与训练后的质量评估网络对迭代子带重建网络进行训练时，使用损失函数L

一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述所述的方法。

一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机以执行上述所述的方法。

与现有技术相比，本发明具有以下优势：

1)提出一种递归频带表示来连接无监督和全监督框架，兼具监督学习和无监督学习图像增强方法的优点，即：较佳的细节复原能力与整体能见度和视觉舒适度；

2)提取出一系列由粗到精的频带表示，并通过递归的端到端学习进行增强，进行雨痕去除和细节修正。

附图说明

图1为本发明的深度递归子带网络框架图。

图2为本发明的子带学习网络的框架图。

图3为本发明的子带重组网络的框架图。

具体实施方式

为了对本发明的技术方法进一步阐述，下面结合说明书附图和具体实例，对本发明进行进一步的详细说明。

本发明的半监督图像去雨方法，使用如图1所示的深度递归子带网络，包括以下步骤：

步骤1：构建成对有雨/无雨训练数据集，一共1800张有雨/无雨图像对。根据无雨图像x、基于雨痕外观模型(随机采样生成光照方向参数、视角参数和雨滴震动参数)[Gargand Nayar,2016]产生对应的雨痕s和雨雾参数(透光率t和背景光α)，叠加相关变量，生成雨天图像y:

y＝x(1-t)+tα+s. (1)

步骤2：构建非成对图像质量数据集，通过公开渠道，搜集不同质量的图像1000张以及对应的图像质量标签(1-10个等级，10代表最高质量，1代表最低质量)。

步骤3：构建迭代子带学习网络，如图2。首要目标是充分利用步骤1中生成的成对训练数据学习复原图像(迭代子带学习网络的输出，目标拟合无雨图像)的每个子带信号。如图1所示，构建了一系列类似U-Net的深层网络。每个子网络以y和上一次循环的复原结果

1)下面首先介绍递归学习的第一次循环:

其中，

2)之后，在第t次循环时，在先前估计结果的指导下学习残差特征和图像。每个子网络以y和上一次循环的复原结果

其中

步骤4：构建迭代子带重建网络，如图3，该网络同样采用类似U-Net的网络结构，不同之处在于在子带重建网络中，使用跳跃连接将相同空间分辨率的浅层和深层特征连接。利用成对数据，可以很好地学习从雨天图像到正常光图像的频带复原过程，同时可以很好地恢复细节并抑制雨痕。由于信号保真度始终无法很好地与人类视觉感知保持一致，特别是对于图像的某些全局属性(例如能见度、对比度、颜色光照分布等)。因此，进一步使模型通过一种基于神经网络的感知质量评估方法作为约束，使复原模型学到更好的复原增强映射。使用另一个类似U-Net的网络来对子带信号进行重组，使用F

其中，T为总的循环次数，

步骤5：使用非成对图像质量数据集训练质量评估网络D。D使用VGG16的网络结构，并把最后一层成了有10个unit的FC层。然后接softmax。该网络在ImageNet上进行预训练，然后使用AVA Dataset精炼。AVA Dataset包含255,000张图片，每一张都被大约200个熟练的摄影师评分过。每一张图片都与某个比赛主题相关联(一共有近900个主题)。分数范围[1,10]，10是最高分。

步骤6：使用成对图像数据集训练迭代子带学习网络，使用多尺度损失函数约束网络的学习。损失函数可以表示为：

其中，F

步骤7：使用成对图像数据集和质量评估网络约束，训练子带重建网络，使用感知损失函数L

其中，λ

图1总结了本发明的总体流程。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。