基于成像建模和知识蒸馏的盲图像超分辨重建方法及系统

技术领域

本发明涉及视频分辨率重建技术领域，特别是涉及一种基于成像建模和知识蒸馏的盲图像超分辨重建方法及系统。

背景技术

随着许多高清设备在日常生活中的广泛应用，人们迫切需要对低分辨率的图像进行超分辨率处理，以便能够在这些设备上观看到清晰的高分辨率图像，因此，图像超分辨率技术受到越来越多的关注。

单图像超分辨率技术的目标是从低分辨率图像中估计出高分辨率图像。图像超分辨率问题的成像建模的退化过程通常被定义为：

L＝SKI+n；

其中，L、I和n分别表示低分辨率图像、高分辨率图像和噪声，S和K分别表示具有比例因子的降采样矩阵和模糊核的矩阵形式。因为存在无限多成对的模糊核K和高分辨率图像I可以生成相同的低分辨率图像L，所以图像超分辨率是一个病态的问题。

目前，随着深度卷积神经网络的发展，许多任务借助深度卷积神经网络都取得了可观的效果。但是，因为图像超分辨率问题的病态性，这些方法生成的高分辨率图像并不完全满足退化模型。为了克服这一问题，有些方法利用迭代反投影方法或图像形成模型来开发各种反馈机制，确保生成的高分辨率图像满足退化模型，但这样会导致复杂的训练过程。此外，大多数图像超分辨率算法都假设模糊核是已知的(如高斯模糊核和双三次插值)，而真实场景下的退化过程中的模糊核是未知的并且十分复杂，所以在用假设的模糊核构建的数据集上训练的深度模型在真实图像上的泛化能力较差。但在实际应用场景中图像退化过程更加复杂，所以利用上述方式训练的深度模型在对真实视频高分辨率重建时，会出现虚假伪影以及错误结构信息，这类错误信息会使视觉效果降低，并且在基于重建后的高分辨率视频进行下游任务时，会造成精度下降的影响。

发明内容

本发明的目的是提供一种基于成像建模和知识蒸馏的盲图像超分辨重建方法及系统，以改善重建高分辨率视频时出现虚假伪影以及错误结构信息的现象。

为实现上述目的，本发明提供了一种基于成像建模和知识蒸馏的盲图像超分辨重建方法，所述方法包括：

步骤S1：将第一分辨率图像代入模糊核估计网络进行估计，获得模糊核；

步骤S2：将所述第一分辨率图像代入深度图像超分辨率网络进行估计，获得深度内蕴特征知识图像；

步骤S3：根据所述模糊核、所述第一分辨率图像和所述深度内蕴特征知识图像进行图像复原，获得中间超分辨率图像；

步骤S4：将所述中间超分辨率图像代入图像修正网络进行图像修正，获得第二分辨率图像；第二分辨率图像的分辨率大于第一分辨率图像的分辨率；

步骤S5：判断是否满足收敛条件；如果满足收敛条件，则输出第二分辨率图像；如果不满足收敛条件，则执行“步骤S6”，令更新后的深度图像超分辨率网络为深度图像超分辨率网络，更新后的模糊核估计网络为模糊核估计网络，更新后的图像修正网络为图像修正网络，并返回“步骤S1”；

步骤S6：更新模糊核估计网络、深度图像超分辨率网络和图像修正网络。

可选地，所述步骤S3包括：

步骤S31：通过卷积操作，根据所述模糊核确定模糊矩阵K；

步骤S32：采用快速傅立叶变换，对

可选地，所述步骤S5具体包括：

步骤S51：判断第二分辨率图像的峰值信噪比是否收敛达到稳定；如果第二分辨率图像的峰值信噪比收敛达到稳定，则输出第二分辨率图像；如果第二分辨率图像的峰值信噪比没有收敛达到稳定，则执行“步骤S6”，并令更新后的深度图像超分辨率网络为深度图像超分辨率网络，更新后的模糊核估计网络为模糊核估计网络，更新后的图像修正网络为图像修正网络，并返回“步骤S1”；

或步骤S52：确定总损失函数

步骤S53：判断总损失函数

可选地，所述将第一分辨率图像代入深度图像超分辨率网络进行估计，获得深度内蕴特征知识图像，具体公式为：

其中，L表示第一分辨率图像，I′表示在第一分辨率图像中提取的深度内蕴特征知识图像，

可选地，所述将所述中间分辨率图像输入到图像修正网络进行图像修正，获得第二分辨率图像，具体公式为：

其中，I表示第二分辨率图像，

本发明还提供一种基于成像建模和知识蒸馏的盲图像超分辨重建系统，所述系统包括：

模糊核确定模块，用于将第一分辨率图像代入模糊核估计网络进行估计，获得模糊核；

深度内蕴特征知识图像确定模块，用于将所述第一分辨率图像代入深度图像超分辨率网络进行估计，获得深度内蕴特征知识图像；

图像复原模块，用于根据所述模糊核、所述第一分辨率图像和所述深度内蕴特征知识图像进行图像复原，获得中间超分辨率图像；

图像修正模块，用于将所述中间超分辨率图像代入图像修正网络进行图像修正，获得第二分辨率图像；第二分辨率图像的分辨率大于第一分辨率图像的分辨率；

判断模块，用于判断是否满足收敛条件；如果满足收敛条件，则输出第二分辨率图像；如果不满足收敛条件，则执行“网络更新模块”，令更新后的深度图像超分辨率网络为深度图像超分辨率网络，更新后的模糊核估计网络为模糊核估计网络，更新后的图像修正网络为图像修正网络，并返回“模糊核确定模块”；

网络更新模块，用于更新模糊核估计网络、深度图像超分辨率网络和图像修正网络。

可选地，所述图像复原模块包括：

模糊矩阵确定模块，用于通过卷积操作，根据所述模糊核确定模糊矩阵K；

知识蒸馏求解模块，用于采用快速傅立叶变换，对

可选地，所述判断模块具体包括：

第一判断单元，用于判断第二分辨率图像的峰值信噪比是否收敛达到稳定；如果第二分辨率图像的峰值信噪比收敛达到稳定，则输出第二分辨率图像；如果第二分辨率图像的峰值信噪比没有收敛达到稳定，则执行“网络更新模块”，并令更新后的深度图像超分辨率网络为深度图像超分辨率网络，更新后的模糊核估计网络为模糊核估计网络，更新后的图像修正网络为图像修正网络，并返回“模糊核确定模块”；

总损失函数确定单元，用于确定总损失函数

第二判断单元，用于判断总损失函数

可选地，所述将第一分辨率图像代入深度图像超分辨率网络进行估计，获得深度内蕴特征知识图像，具体公式为：

其中，L表示第一分辨率图像，I′表示在第一分辨率图像中提取的深度内蕴特征知识图像，

可选地，所述将所述中间分辨率图像输入到图像修正网络进行图像修正，获得第二分辨率图像，具体公式为：

其中，I表示第二分辨率图像，

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供了一种基于成像建模和知识蒸馏的盲图像超分辨重建方法及系统，将第一分辨率图像分别代入模糊核估计网络和深度图像超分辨率网络进行估计，分别获得深度内蕴特征知识图像和模糊核；根据模糊核、第一分辨率图像和深度内蕴特征知识图像进行图像复原，获得中间超分辨率图像，将中间超分辨率图像代入图像修正网络进行图像修正，获得第二分辨率图像；判断是否满足收敛条件；如果满足收敛条件，则输出第二分辨率图像；如果不满足收敛条件，则更新模糊核估计网络、深度图像超分辨率网络和图像修正网络。本发明通过设置图像修正网络对深度内蕴特征知识图像进行修正，进而剔除深度内蕴特征知识图像中出现伪影，进一步提高第二分辨率图像的分辨率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1基于成像建模和知识蒸馏的盲图像超分辨重建方法流程图；

图2为本发明实施例1模糊核估计网络结构图；

图3为本发明实施例1深度图像超分辨率网络结构图；

图4为本发明实施例1图像修正网络结构图；

图5为本发明实施例2基于成像建模和知识蒸馏的盲图像超分辨重建系统结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于成像建模和知识蒸馏的盲图像超分辨重建方法及系统，以改善重建高分辨率视频时出现虚假伪影以及错误结构信息的现象。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例1

如图1所示，本发明提供一种基于成像建模和知识蒸馏的盲图像超分辨重建方法，所述方法包括：

步骤S1：将第一分辨率图像代入模糊核估计网络进行估计，获得模糊核。

步骤S2：将所述第一分辨率图像代入深度图像超分辨率网络进行估计，获得深度内蕴特征知识图像。

步骤S3：根据所述模糊核、所述第一分辨率图像和所述深度内蕴特征知识图像进行图像复原，获得中间超分辨率图像。

步骤S4：将所述中间超分辨率图像代入图像修正网络进行图像修正，获得第二分辨率图像；第二分辨率图像的分辨率大于第一分辨率图像的分辨率。

步骤S5：判断是否满足收敛条件；如果满足收敛条件，则输出第二分辨率图像；如果不满足收敛条件，则执行“步骤S6”，令更新后的深度图像超分辨率网络为深度图像超分辨率网络，更新后的模糊核估计网络为模糊核估计网络，更新后的图像修正网络为图像修正网络，并返回“步骤S1”。第二分辨率图像的分辨率大于第一分辨率图像的分辨率；本发明所述第一分辨率图像为低分辨率图像，所述第二分辨率图像为高分辨率图像。

步骤S6：更新模糊核估计网络、深度图像超分辨率网络和图像修正网络。

下面对各个步骤进行详细论述：

步骤S1：将第一分辨率图像代入模糊核估计网络进行估计，获得模糊核，具体公式为：

其中，

本发明模糊核估计网络

步骤S2：将所述第一分辨率图像代入深度图像超分辨率网络进行估计，获得深度内蕴特征知识图像，具体公式为：

其中，L表示第一分辨率图像，I′表示在第一分辨率图像中提取的深度内蕴特征知识图像，

本发明深度图像超分辨率网络

步骤S3：根据所述模糊核、所述第一分辨率图像和所述深度内蕴特征知识图像进行图像复原，获得中间超分辨率图像，具体包括：

步骤S31：通过卷积操作，根据所述模糊核K确定模糊矩阵K。

理想情况下，当模糊核和潜在高分辨率图像被准确估计时，图像退化过程严格成立。因此，可以通过以下方式估计潜在的高分辨率图像(即中间分辨率图像)：

然而，直接求解

其中，I

步骤S32：采用快速傅立叶变换，对

如果网络

步骤S4：将所述中间超分辨率图像代入图像修正网络进行图像修正，获得第二分辨率图像，具体公式为：

其中，I表示第二分辨率图像，

步骤S5：判断是否满足收敛条件；如果满足收敛条件，则输出第二分辨率图像；如果不满足收敛条件，则执行“步骤S6”，并令更新后的深度图像超分辨率网络为深度图像超分辨率网络，更新后的模糊核估计网络为模糊核估计网络，更新后的图像修正网络为图像修正网络，并返回“步骤S1”。所述收敛条件为第二分辨率图像的分辨率大于或等于设定分辨率；所述收敛条件为第二分辨率图像的峰值信噪比是否收敛达到稳定；或总损失函数

步骤S5具体包括：

步骤S51：判断第二分辨率图像的峰值信噪比是否收敛达到稳定；如果第二分辨率图像的峰值信噪比收敛达到稳定，则输出第二分辨率图像；如果第二分辨率图像的峰值信噪比没有收敛达到稳定，则执行“步骤S6”，并令更新后的深度图像超分辨率网络为深度图像超分辨率网络，更新后的模糊核估计网络为模糊核估计网络，更新后的图像修正网络为图像修正网络，并返回“步骤S1”。

或步骤S52：确定总损失函数

步骤S53：判断总损失函数

步骤S52：确定总损失函数

由为了确保模糊核的准确性，本发明用模糊核估计损失函数

步骤S521：根据

由深度图像超分辨率网络

步骤S522：根据

将求得的中间分辨率图像输入到潜在高分辨图像修正网络

步骤S523：根据

本发明图像修正网络

步骤S524：根据所述模糊核估计损失函数、所述特征提取损失函数和所述图像修正损失函数确定总损失函数，具体公式为：

其中，

如图5所示，一种基于成像建模和知识蒸馏的盲图像超分辨重建系统，所述系统包括：

模糊核确定模块501，用于将第一分辨率图像代入模糊核估计网络进行估计，获得模糊核。

深度内蕴特征知识图像确定模块502，用于将所述第一分辨率图像代入深度图像超分辨率网络进行估计，获得深度内蕴特征知识图像。

图像复原模块503，用于根据所述模糊核、所述第一分辨率图像和所述深度内蕴特征知识图像进行图像复原，获得中间超分辨率图像。

图像修正模块504，用于将所述中间超分辨率图像代入图像修正网络进行图像修正，获得第二分辨率图像；第二分辨率图像的分辨率大于第一分辨率图像的分辨率。

判断模块505，用于判断是否满足收敛条件；如果满足收敛条件，则输出第二分辨率图像；如果不满足收敛条件，则执行“网络更新模块”，令更新后的深度图像超分辨率网络为深度图像超分辨率网络，更新后的模糊核估计网络为模糊核估计网络，更新后的图像修正网络为图像修正网络，并返回“模糊核确定模块”。

网络更新模块506，用于更新模糊核估计网络、深度图像超分辨率网络和图像修正网络。

作为一种可选的实施方式，本发明所述图像复原模块503包括：

模糊矩阵确定模块，用于通过卷积操作，根据所述模糊核确定模糊矩阵K；知识蒸馏求解模块，用于采用快速傅立叶变换，对

作为一种可选的实施方式，本发明所述判断模块505具体包括：

第一判断单元，用于判断第二分辨率图像的峰值信噪比是否收敛达到稳定；如果第二分辨率图像的峰值信噪比收敛达到稳定，则输出第二分辨率图像；如果第二分辨率图像的峰值信噪比没有收敛达到稳定，则执行“网络更新模块”，并令更新后的深度图像超分辨率网络为深度图像超分辨率网络，更新后的模糊核估计网络为模糊核估计网络，更新后的图像修正网络为图像修正网络，并返回“模糊核确定模块”。

总损失函数确定单元，用于确定总损失函数

第二判断单元，用于判断总损失函数

本发明利用深度内蕴特征知识蒸馏的方法对低分辨率图像形成模型进行约束，然后基于深度卷积神经网络从输入的低分辨率图像中估计出模糊核，最后根据图像盲超分辨率问题中的图像形成过程，实现对高分辨率图像的恢复。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。