一种基于半监督和对比学习的旧照片修复方法

技术领域

本发明涉及图像修复的技术领域，尤其是指一种基于半监督和对比学习的旧照片修复方法。

背景技术

旧照片承载着珍贵的回忆，具有重要的情感价值。然而，由于不当的存储方式，它们随着时间的推移而受损。近几年有照片修复方法解决该问题，但是这些方法都依赖于大量有标签数据。然而，由于有标签数据获取费时又费力。

在旧照片修复研究领域，之前的研究包括基于用户指导或者基于优化方法，该类方法局限性较大。近年基于深度学习方法占据主流位置，例如通过训练三元组域旧照片修复网络，该网络能够修复简单模式旧照片。通过上下文辅助的裂痕照片修复网络，该网络能够修复有裂痕的旧照片和现代照片。虽然这些图像修复网络在旧照片修复领域方面表现良好，但它们在少量有标签数据情况下，表现严重下降。因为它们不能充分利用无标签数据，我们提出的基于半监督和对比学习的旧照片修复方法能够充分解决以上挑战。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于半监督和对比学习的旧照片修复方法，该方法能够摆脱对有标签训练数据的依赖，充分利用无标记数据，在少标签训练数据情况下，仍能够得到较好的修复结果。

为实现上述目的，本发明所提供的技术方案为：一种基于半监督和对比学习的旧照片修复方法，包括以下步骤：

S1、收集旧照片数据，并通过标注和修图，得到有标签旧照片检测数据、有标签旧照片修复数据和无标签旧照片修复数据；

S2、通过步骤S1中获得的有标签旧照片检测数据，训练一个旧照片缺陷检测网络，该旧照片缺陷检测网络由编码器和解码器组成，其中，每个编码器和解码器由通道注意力机制网络模块组成，通过该旧照片缺陷检测网络，得到旧照片缺陷掩码，实现旧照片缺陷定位；

S3、通过步骤S1中获得的有标签旧照片修复数据和步骤S2中获得的旧照片缺陷掩码，训练有监督旧照片修复网络B

S4、通过步骤S3得到旧照片修复网络初始参数，并将B

S5、通过步骤S4构建的初始半监督旧照片修复网络，在B

S6、通过步骤S5得到的最终半监督旧照片修复网络，在该网络基础上，构建对比学习方法，以进一步挖掘无标签数据的关系，从而形成一个具有半监督和对比学习的旧照片修复网络；

S7、通过有监督和无监督的混合损失驱动整个具有半监督和对比学习的旧照片修复网络训练，在少量有标签数据条件下，得到性能优良的旧照片修复结果。

进一步，步骤S3包括以下步骤：

S3-1、通过步骤S1中获得的有标签旧照片修复数据和步骤S2中获得的旧照片缺陷掩码，训练有监督旧照片修复网络B

S3-2、为优化有监督旧照片修复网络参数，得到良好修复结果，定义以下损失函数：

a、为缩小修复结果图和真值图像素间差异，定义重建损失函数L

L

式中，I

b、为缩小修复结果图和真值图特征间差异，定义感知损失函数L

式中，Φ代表VGG-16第i层特征图，N

c、为缩小修复结果图和真值图风格间差异，定义风格损失函数L

式中，

d、为进一步拉近修复结果图和真值图的距离，定义对抗损失函数L

式中，D代表鉴别器，E代表期望；

e、整个有监督旧照片修复网络的有监督损失函数L

L

式中，λ

进一步，步骤S4包括以下步骤：

S4-1、通过S3得到旧照片修复网络初始参数，并将B

S4-2、将步骤S1得到的无标签旧照片修复数据U

S4-3、通过双一致性对齐方法强制保持U

S4-4、使用图像一致性损失和边缘一致性损失驱动初始半监督旧照片修复网络训练并能够结合随机掩码增强方法，克服缺陷数据分布不均衡问题，分别定义图像一致性损失函数

进一步，步骤S5包括以下步骤：

S5-1、基于步骤S4构建的初始半监督旧照片修复网络，构建分层级伪标签筛选方法，该方法分为两个层级：感知伪标签过滤器和掩码伪标签过滤器，对于感知伪标签过滤器，遍历有标签数据，计算B

S5-2、若B

S5-3、将B

S5-4、将预选项中伪标签即U

进一步，步骤S6包括以下步骤：

S6-1、在步骤S5构建的最终半监督旧照片修复网络上，设计对比学习方法，其中B

S6-2、将步骤S6-1中的锚点、正样本和负样本，分别通过预训练的VGG-16编码器和门控反卷积映射网络得到特征潜空间中的特征；

S6-3、在步骤S6-2的特征潜空间内计算锚点、正样本和负样本之间的距离关系，当约束对比学习损失最小化时，即拉近AU

进一步，步骤S7包括以下步骤：

S7-1、定义整个U

式中，

S7-2、为驱动整个旧照片修复网络协同训练，混合步骤S3定义有监督损失函数L

L

S7-3、通过混合损失L

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明能够在较少有标签旧照片训练样本条件下，生成较好的照片修复结果。相比依靠大量训练数据才能取得优良效果的修复方法，本发明能够摆脱有标签训练数据的依赖。

2、本发明使用半监督和对比学习结合的旧照片修复方法，分别从平衡数据分布，筛选伪标签和学习无标签数据之间关系三个方面充分挖掘无标签数据信息。

3、本发明采用随机掩码增强方法而不是普通修复网络的加噪音、翻转增强，能够解决旧照片缺陷数据分布不均衡问题。

4、本发明设计的的双一致性对齐损失能够保证修复图像的细节信息和结构信息。

5、本发明使用分层级伪标签筛选方法能够通过感知距离和掩码L1距离从无标签数据中准确筛选伪标签，增加有标签训练数据数量。

6、本发明的旧照片修复方法，使用多分支部分卷积，能够实现自适应多尺度缺陷修复，即能够应对不同尺度的缺陷，使得旧照片修复得到优良结果。

附图说明

图1为本发明方法的逻辑流程示意图。

图2为本发明提出的具有半监督和对比学习的旧照片修复网络示意图。

图3为本发明提出的旧照片修复网络中分层级伪标签筛选方法示意图。

图4为本发明提出的旧照片修复网络中对比学习方法中的门控反卷积映射网络示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

如图1所示，本实施例提供了一种基于半监督和对比学习的旧照片修复方法，具体实施步骤包括：

1)数据准备

在几个开源网站收集旧照片，并找修复专家标注旧照片破损区域得到旧照片检测数据；并随机修复一部分旧照片，该有标签数据和剩余没有修复的伪标签数据构成有标签旧照片检测数据、有标签旧照片修复数据和无标签旧照片修复数据。

2)数据增强

为增加训练数据，对检测数据和修复数据进行翻转，旋转，剪裁增强，得到大量泛化性强的旧照片检测数据和旧照片修复数据。

3)网络构建

如附图2所示，本实施例使用Pytorch框架构建旧照片缺陷检测网络和旧照片修复网络。其具体步骤如下。

3.1)为得到旧照片缺陷位置，提出旧照片缺陷检测网络。该网络由编码器和解码器构成，基于U-Net网络结构改进。并且该检测网络基本组成模块是由通道注意力机制网络模块组成，即每个编码器和解码器由通道注意力机制网络模块组成。使用步骤1)得到的有标签旧照片检测数据训练该网络，当epoch为80，终止网络训练，得到最优的旧照片缺陷检测网络，再用该最优网络检测得到旧照片缺陷掩码，实现旧照片缺陷定位。

3.2)将有标签旧照片修复数据和由3.1)得到的旧照片缺陷掩码训练最底层的有监督旧照片修复网络B

3.3)通过网络参数共享，引入中间的无监督旧照片修复网络B

3.4)为平衡旧照片数据分布，对B

3.5)如附图3所示，提出分层级伪标签筛选方法，即对无标签数据修复结果做伪标签筛选，增加有标签样本数量。该方法分为两个层级：感知伪标签过滤器和掩码伪标签过滤器，对于感知伪标签过滤器，遍历有标签数据，计算B

若B

将B

将预选项中伪标签即U

3.6)为进一步挖掘无标签样本之间的关系，在得到的最终半监督旧照片修复网络的基础上，提出对比学习方法，形成一个具有半监督和对比学习的旧照片修复网络；，设计经过顶层网络随机掩码增强的无标签输入、修复结果，和中间层网络的修复结果分别为锚点，负样本和正样本，即B

在特征潜空间内计算锚点、正样本和负样本之间的距离关系，当约束对比学习损失最小化时，即拉近AU

如附图4所示，门控反卷积映射网络由1×1卷积、3×3反卷积、映射函数F构成。通过对特征自身做1×1卷积和3×3反卷积，并通过映射函数，能够得到特征自身权重值，并将自身权重值乘以经过卷积和反卷积变换后的特征。实现一种基于反卷积的自注意力机制，自适应加强重要特征权重，减小不重要特征权重。使得减少特征空间中信息冗余。通过拉近锚点和正样本的距离，并拉远锚点和负样本的距离，学习无标签数据的关系。

4)定义损失函数

本实施例采用具有半监督和对比学习的旧照片修复网络，定义损失函数包括有监督损失函数、无监督损失函数和混合损失函数。定义有监督损失函数包括：重建损失函数，感知损失函数，风格损失函数和对抗损失函数。其中定义无监督损失函数包括：双一致性对齐损失函数和对比损失函数。混合损失函数包括：有监督损失函数和无监督损失函数。

4.1)定义有监督损失函数如下所示：

a、为缩小修复结果图和真值图像素间差异，定义重建损失函数L

L

式中，I

b、为缩小修复结果图和真值图特征间差异，定义感知损失函数L

式中，Φ代表VGG-16第i层特征图，N

c、为缩小修复结果图和真值图风格间差异，定义风格损失函数L

式中，

d、为进一步拉近修复结果图和真值图的距离，定义对抗损失函数L

式中，D代表鉴别器，E代表期望。

e、整个有监督旧照片修复网络的有监督损失函数L

L

式中，λ

4.2)定义无监督损失函数如下所示：

分别定义图像一致性损失函数

即拉近AU

图像一致性损失函数

式中，

4.3)定义混合损失如下所示：

L

4.4)通过混合损失L

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。