一种衡量并利用不同退化相互关系恢复图像的方法

技术领域

本发明属于底层视觉领域，具体涉及一种衡量并利用不同退化相互关系恢复图像的方法。

背景技术

图像恢复方法作为底层视觉领域重要的研究方法，旨在从受到退化影响的低质量图像中恢复出视觉友善的高质量图像。在实际情况向下，图像的成像过程难免会受到各式各样退化的影响。早期的一些工作往往针对某种特定的退化来设计具体的一对一模型，但这些方法通常并不适用于实际情况。例如，室外监控系统往往会受到各类恶劣天气(雨水，雪花，雾霾等)的影响，运用针对特定退化设计的一对一模型并不能在所有情况下恢复干净的监控图像，当退化与模型不符时，甚至会降低监控图像质量。因此，越来越多的研究人员将目光转向了多退化研究，以期待使用一个一体化模型来处理多种退化。现有的多退化方法通过将不同退化一起训练，并设计新的网络结构，目标函数，以及训练策略来实现该目标。例如，Hanting Chen提出了一种基于Transformer的方法IPT，它针对具体的退化使用特定的头部与尾部网络结构，使得网络在知道图像具体退化类型的情况下，可以恢复出对应的干净图像。Boyun Li更进一步提出了一种新的基于对比学习的一体式方法AirNet，它可以在不知道图像具体退化类型的情况下，处理多种退化，恢复出视觉友好的图像。

目前的一体式模型通常在训练时将多种退化类型的图像作为输入，以期待模型在面对不同退化的低质量图片时，都能恢复出视觉友好的干净图像。虽然这种方法，已经在处理多退化问题上取得较好的表现。但他们却忽略了模型训练时不同退化之间的相互影响，这导致模型虽然可以处理多种退化，却有可能损失单一图像恢复任务的性能。例如：AirNet网络在实验中指出：对于去噪任务来说，在训练时加入雨水或雾霾数据都将降低网络的去噪性能。然而这种情况并不一定，对于某些图像恢复任务来说，使用多种退化类型的数据进行训练，反而有可能提高模型在该任务上的性能。例如：对于去雾任务，AirNet在训练时候，加入噪声或者雨水图像都将提高模型的去雾性能。虽然这种情况是多退化方法里经常遇到的问题，但是并没有任何研究者进一步探索，揭示不同退化之间的相互影响关系，并利用这种关系有效提高模型的性能。因此，在多退化问题的背景下，衡量并利用不同退化之间的相互关系具有很高的应用前景和实际价值。

发明内容

针对现有技术中的上述不足，本发明提供的一种衡量并利用不同退化相互关系恢复图像的方法解决了目前在处理多类型退化数据时忽略了模型训练过程中不同退化之间相互影响图片恢复的问题。

为了达到上述发明目的，本发明采用的技术方案为：一种衡量并利用不同退化相互关系恢复图像的方法，包括以下步骤：

S1、获取数据集，将训练步骤赋值为1；

S2、从数据集中采样锚点退化数据和辅助退化数据，根据第一占比阈值得到混合退化数据；

S3、根据锚点退化数据和混合退化数据更新模型参数，并计算模型更新后的验证损失下降率的差值；

S4、判断当前训练步骤是否大于最大训练步骤，若是，则进入S5，若否，则将训练步骤加1，并返回S2；

S5、根据模型更新后的验证损失下降率的差值计算锚点退化与辅助退化之间的关系指标；

S6、根据锚点退化与辅助退化之间的关系指标得到改善模型性能的混合退化数据；

S7、根据锚点退化数据和改善模型性能的混合退化数据更新模型参数，将数据集输入更新后的模型，得到恢复的数据。

进一步地：所述S1中，所述数据集包括干净图片对应的锚点退化数据和辅助退化数据。

进一步地：所述S2中，采样的锚点退化数据和辅助退化数据对应的干净图片相同；

生成混合退化数据的方法具体为：

将锚点退化数据和辅助退化数据混合，得到混合退化数据，其中，辅助退化数据的占比为第一占比阈值。

进一步地：所述S3包括以下分步骤：

S31、根据混合退化数据和锚点退化数据进行训练模型，进而更新模型参数，得到第一更新模型参数和第二更新模型参数；

S32、根据第一更新模型参数和第二更新模型参数计算模型更新后的验证损失下降率的差值。

进一步地：所述S31中，得到第一更新模型参数

式中，θ

得到第二更新模型参数

式中，X

进一步地：所述S32中，计算模型更新后的验证损失下降率的差值D

式中，

进一步地：所述S5中，计算锚点退化与辅助退化之间的关系指标DRI的表达式具体为：

式中，D

进一步地：所述S6中，得到改善模型性能的混合退化数据的方法具体为：

判断锚点退化与辅助退化之间的关系指标的值是否为正数；

若是，则混合退化数据中辅助退化数据的占比为第一占比阈值时改善模型性能；若否，则混合退化数据中辅助退化数据的占比为第一占比阈值时损害模型性能。

本发明的有益效果为：

(1)本发明提供的一种衡量并利用不同退化相互关系恢复图像的方法，可以找到合适的辅助退化及混合比例，在不改变模型结构与训练策略的情况下，通过使用锚点退化与辅助退化的混合数据来训练模型，从而提高模型对于锚点退化任务的性能，提高恢复出视觉友好图像的能力。该策略相对于传统方法来说，既没有增加模型的运算量，也没有提高模型的训练次数，因此更适用于对模型运行时间有严格要求，且硬件条件较难提高的实际情况。

(2)本发明不需要完全将模型训练完后再计算锚点退化数据与辅助退化数据之间的关系，通过实验表明，在训练的早期阶段，辅助退化与锚点退化之间的相互关系已经确定，且在训练后期没有较大改变。因此，只需在训练的早期阶段就可以找到合适的锚点退化数据与辅助退化数据占比来提升模型的性能，从而在面对不同退化的低质量图片时，都能恢复出视觉友好的干净图像。

附图说明

图1为本发明一种衡量并利用不同退化相互关系恢复图像的方法流程图。

图2为实施例4的模型训练的性能变化图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

实施例1：

如图1所示，在本发明的一个实施例中，一种衡量并利用不同退化相互关系恢复图像的方法，包括以下步骤：

S1、获取数据集，将训练步骤赋值为1；

S2、从数据集中采样锚点退化数据和辅助退化数据，根据第一占比阈值得到混合退化数据；

S3、根据锚点退化数据和混合退化数据更新模型参数，并计算模型更新后的验证损失下降率的差值；

S4、判断当前训练步骤是否大于最大训练步骤，若是，则进入S5，若否，则将训练步骤加1，并返回S2；

S5、根据模型更新后的验证损失下降率的差值计算锚点退化与辅助退化之间的关系指标；

S6、根据锚点退化与辅助退化之间的关系指标得到改善模型性能的混合退化数据；

S7、根据锚点退化数据和改善模型性能的混合退化数据更新模型参数，将数据集输入更新后的模型，得到恢复的数据。

在本实施例中，混合退化数据的构成对模型性能有较大的影响，当辅助退化数据占比过大时，模型过多的去学习如何去处理辅助退化，而忽视了锚点退化，导致模型性能急剧下降。而当辅助退化数据占比过少时，模型性能并不会有多大的改变。为了找到混合数据中锚点退化与辅助退化合适的占比来改善模型的性能，本发明提出了一种退化比例测定策略，完成第一占比阈值下辅助退化数据构成的混合退化数据改善模型性能评价。

所述S1中，所述数据集包括干净图片对应的锚点退化数据和辅助退化数据。

在本实施例中，一张干净图像会对应多种类型的退化图像，本发明将退化图像分为锚点退化数据和辅助退化数据，其中，辅助退化数据是帮助模型提高其处理锚点退化性能的退化。

所述S2中，采样的锚点退化数据和辅助退化数据对应的干净图片相同；

生成混合退化数据的方法具体为：

将锚点退化数据和辅助退化数据混合，得到混合退化数据，其中，辅助退化数据的占比为第一占比阈值。

在本实施例中，通过第一占比阈值来决定混合退化数据的构成，从而更好的评价改善模型性能。

所述S3包括以下分步骤：

S31、根据混合退化数据和锚点退化数据进行训练模型，进而更新模型参数，得到第一更新模型参数和第二更新模型参数；

S32、根据第一更新模型参数和第二更新模型参数计算模型更新后的验证损失下降率的差值。

在本实施例中，通过混合退化数据与锚点退化数据进行训练模型，模型性能的变化情况可以由训练过程中损失值的变化来体现，在模型训练过程中，当辅助退化可以的改善模型性能时，经混合退化数据训练的模型的损失值的下降速度比只用锚点退化数据训练的模型快，同时，为了避免模型的过拟合带来的影响并体现模型鲁棒性，损失值并不应该由训练数据进行计算，而应通过验证数据得来，因此本发明通过验证损失来计算模型更新后的验证损失下降率的差值，当模型通过混合退化数据进行训练的验证损失值下降率比只用锚点退化数据训练时快时，则辅助退化有助于模型性能的提升。

所述S31中，得到第一更新模型参数

式中，t

得到第二更新模型参数

式中，X

所述S32中，计算模型更新后的验证损失下降率的差值D

式中，

在本实施例中，模型更新后的验证损失下降率的差值D

所述S6中，得到改善模型性能的混合退化数据的方法具体为：

判断锚点退化与辅助退化之间的关系指标的值是否为正数；

若是，则混合退化数据中辅助退化数据的占比为第一占比阈值时改善模型性能；若否，则混合退化数据中辅助退化数据的占比为第一占比阈值时损害模型性能。

所述S5中，计算锚点退化与辅助退化之间的关系指标DRI的表达式具体为：

式中，D

在本实施例中，当锚点退化与辅助退化之间的关系指标DRI为正时，表明整体上辅助退化数据对锚点退化数据起到了正面作用，可以有效增强模型处理锚点退化的能力，反之则表明锚点退化数据对辅助退化数据起抑制作用。

实施例2：

本实施例为探究辅助退化占比对模型性能的影响：

将锚点退化设定为雾霾，并将噪声作为辅助退化来探究辅助退化占比对模型性能的影响。其中，模型训练时的输入为雾霾与噪声的混合数据，在测试时的输入仅为雾霾图。设定辅助退化占比r从0.1递增到0.9，并且间距为0.2。

PSNR为峰值信噪比，是一种评价图像的客观标准，通过量化恢复图像与干净图像的PSNR可以直观的比较图像恢复算法的性能。PSNR具体计算流程如下所示：

给定一幅大小为m×n的清晰图像I，和含有噪点的图像K，均方误差(MSE)定义为：

由此可以得到PSNR的表达式：

其中，

SSIM为结构相似性，是一种量化两幅图像在结构上相似程度的指标。如果两幅图像是恢复图像和干净图像图像，则SSIM算法就可以用来量化图像恢复算法的性能，也可以判断恢复图像的质量。

SSIM公式基于图像I和K之间的三个比较衡量：亮度，对比度和结构。现有如下公式

其中：μ

SSIM(I,K)＝[l(I,K)

将α，β，γ设为1，则得到：

通过实验可以得到锚点退化与辅助退化之间的关系指标DRI，PSNR与SSIM的变化情况，具体结果如表一所示：

表一

由表一所示，辅助退占比对模型性能至关重要，只有设置合适的辅助退化占比r，辅助退化才有助于改善模型性能，例如在噪声占比为10％时，DRI为正，模型的性能在PSNR上提高了0.12dB，在SSIM上提高了0.0001；而当辅助退化占比不合适时，模型性能受到严重影响，特别的当噪声数据占90％时，模型性能在PSNR上下降了-2.88dB且在SSIM上下降了-0.0085。此外，DRI与模型最终性能高度相关。DRI为正总是表明模型的性能改善，而负DRI表明性能下降。

实施例3：

本实施例为探究不同辅助退化对锚点退化的影响：

在实施例2中，当辅助退化占比为10％时，在训练数据中增加噪声退化有助于提升网络处理雾霾的能力。为此，本实施例增加了两种额外的退化，雨水和雪花，并固定其占比为10％来观察DRI与网络性能的变化，具体结果如表二所示。

表二

由表二所示，噪声，雨水，雪花在占比合适的情况下，都有助于提高模型处理雾霾的能力，并且DRI越高，则说明模型提升的越多。

实施例4：

本实施例为验证本发明提出的混合退化数据是否可以普适性的提升多种模型的性能。

在本实施例中，为了验证本发明提出的方法是否具有泛化性，选取了7个有代表性的模型作为基线，观察使用合适的混合模型训练后，性能的变化情况，具体结果如图2所示。其中，Indoor和Outdoor表示数据集中的两个子集，Indoor表示的是室内场景，Outdoor表示的是室外场景。Original表示模型在训练过程中，仅由雾-干净图像对作为训练数据。Noise，Rain，Snow分别表示在训练数据中加入噪声-干净图像对，雨水-干净图像对，雪花-干净图像对三种情况，10％表示加入的图像占总训练数据10％。其余的在第一行的英文表示模型的名称。

使用混合数据后，模型性能有了显著提升，对于室内场景来说，在训练数据中加入10％的噪声，雨水，雪花平均在PSNR上提高了0.48dB，0.83dB与0.62dB，在SSIM上平均提高了0.0023，0.0039与0.0029。对于更为复杂的室外场景来说，本方案同样有效的提高了模型的性能，在PSNR上分别提高了0.36dB，0.71dB与0.64dB，在SSIM上分别提高了0.0009，0.0014和0.0012。

本发明的有益效果为：本发明提供的一种衡量并利用不同退化相互关系恢复图像的方法，可以找到合适的辅助退化及混合比例，在不改变模型结构与训练策略的情况下，通过使用锚点退化与辅助退化的混合数据来训练模型，从而提高模型对于锚点退化任务的性能，提高恢复出视觉友好图像的能力。该策略相对于传统方法来说，既没有增加模型的运算量，也没有提高模型的训练次数，因此更适用于对模型运行时间有严格要求，且硬件条件较难提高的实际情况。

本发明不需要完全将模型训练完后再计算锚点退化数据与辅助退化数据之间的关系，通过实验表明，在训练的早期阶段，辅助退化与锚点退化之间的相互关系已经确定，且在训练后期没有较大改变。因此，只需在训练的早期阶段就可以找到合适的锚点退化数据与辅助退化数据占比来提升模型的性能，从而在面对不同退化的低质量图片时，都能恢复出视觉友好的干净图像。

在本发明的描述中，需要理解的是，术语“中心”、“厚度”、“上”、“下”、“水平”、“顶”、“底”、“内”、“外”、“径向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或隐含指明的技术特征的数量。因此，限定由“第一”、“第二”、“第三”的特征可以明示或隐含地包括一个或者更多个该特征。