基于不确定性学习的模糊核估计和基于纹理感知的盲超分辨率重建方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于不确定性学习的模糊核估计和基于纹理感知的盲超分辨率重建方法。

背景技术

单图像超分辨率(SR)是一种从低分辨率(LR)图像重建高分辨率(HR)图像的低级计算机视觉任务。盲SR就是为了解决在图像降质过程未知的情况下实现SISR。因此，与非盲的SR不同，盲SR需要估计模糊核。传统的流行的盲SR方法通常将SR任务分成两个子问题：核估计和利用估计的核恢复HR图像。最经典的是Gu等人提出的迭代核校正IKC框架，该方法利用核不匹配所导致的规则伪影(如过度锐化或过度平滑)来纠正不准确的估计核。另外Cornillere等人通过生成对抗网络来估计模糊核和重建高分辨率图。Liang等人提出了一种用于估计空间可变模糊核的互仿射网络MANet，以处理具有空间可变退化的LR图像。

此类方法通常将模糊核信息直接融入重建网络，会产生以下两个问题：1)从任意LR图像估计正确的模糊核并不是一件容易的事，如果估计的模糊核与真实核有偏差，重建的HR图像将会受到严重影响，导致SR模型性能下降；2)即使模糊核估计准确，用单个的卷积神经网络也很难拟合不同降质过程得到的低分辨率图像空间和高分辨率图像空间之间复杂的非线性关系。针对这个问题，Luo等人通过交替优化方案联合训练重建网络和核估计网络，形成了一个端到端可训练的深度交替网络DAN。在该方法中，核估计网络可以同时利用LR图像和重建图像的信息，并且重建网络是用核估计网络估计的核进行训练，因此重建网络对核估计网络的估计误差更宽容。传统方法中的核估计网络通常为单个低分辨率输入获得所有可能模糊核的均值，并用L1损失进行约束。这种方法会平等地对待模糊核的每一个区域，无论是中心还是边缘。这种非适应性的损失函数可能会给模糊核的估计带来一定的误差。盲超分辨率方法通常假设模糊核遵循高斯分布。换句话说，模糊核中心区域(具有方差特征)的不确定性显著高于周围区域。

发明内容

针对现有技术存在的缺陷和不足，引入基于不确定性的损失用于核估计使得能够自动区分模糊核的高频或低频信息，有助于准确的核估计。本发明的目的在于提供一种基于不确定性学习的模糊核估计和基于纹理感知的盲超分辨率重建方法，该方法有利于重建出更加清晰的高分辨率图像。

本发明具体采用以下技术方案：

一种基于不确定性学习的模糊核估计和基于纹理感知的盲超分辨率重建方法，其特征在于：将不确定性学习引入到图像盲超分辨率重建的模糊核估计的过程中，以提高核估计的准确度；再将低分辨率图像与估计的模糊核一起输入到基于纹理感知的盲超分辨率重建网络，以输出重建的高分辨率图像。

进一步地，所述盲超分辨率重建网络分为核估计网络与图像重建网络两个部分；所述核估计网络由卷积层与残差块组成；所述图像重建网络由卷积层、动态卷积层以及纹理感知增强模块组成；

所述核估计网络首先使用一个3×3的卷积提取模糊核的浅层特征，然后使用6个ResNet残差块提取深层的模糊核特征，最后，通过两个3×3的卷积层同时学习预测模糊核的均值和方差；

所述图像重建网络使用一个3×3的卷积提取低分辨图像的浅层特征；为了使SR网络可以灵活的处理各种退化类型的图像，通过动态卷积DDC来使用模糊核引导SR；使用纹理感知模块TAB，共包含10个DDC和10个TAB；最后通过上采样以及残差连接重建出高分辨图像。

进一步地，当提供一组训练数据集

其核估计网络的损失函数表示为：

其中，

是Y

一种基于不确定性学习的模糊核估计和基于纹理感知的盲超分辨率重建系统，其特征在于，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如上所述的步骤。

与现有技术相比，本发明及其优选方案提出了一种核的不确定性损失用于训练模糊核估计网络，重点关注模糊核中具有较高不确定性(方差)的区域以提高核估计的精度。此外，还提出了一种模糊核引导的纹理感知SR网络,通过使用Gumbel Softmax技巧以及通道选择机制来更好的捕捉图像特征。使网络对图像纹理复杂的区域赋予更多的注意力，以提高SR的性能。本方法可以实现复杂的超分辨率重建的功能，从而得到高质量的高分辨率图像。

附图说明

下面结合附图和具体实施方式对本发明进一步详细的说明：

图1是本发明实施例中基于不确定性学习的模糊核估计和基于纹理感知的盲超分辨率重建网络网络的整体结构示意图。

图2是本发明实施例中深度动态卷积模块与纹理感知模块的结构示意图。

图3是本发明实施例中本方法与其他方法在各向同性高斯核实验的重建结果对比图。

图4是本发明实施例中本方法与其他方法在各向异性高斯核实验的重建结果对比图。

具体实施方式

为让本专利的特征和优点能更明显易懂，下文特举实施例，并配合附图，作详细说明如下：

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

本实施例提供了一种基于不确定性学习的模糊核估计和基于纹理感知的盲超分辨率重建方法，将不确定性学习引入到图像盲超分辨率重建的模糊核估计的过程中以提高核估计的准确度。将低分辨率图像与估计的模糊核一起输入到基于纹理感知的盲超分辨率重建网络，网络输出重建的高分辨率图像。

如图1所示，基于不确定性学习的模糊核估计和基于纹理感知的盲超分辨率重建网络主要由基于不确定性损失(KULNet)的模糊核估计网络和基于模糊核引导的纹理感知超分辨率网络(KGTANet)组成。首先，将低分辨率图像输入KULNet，以获取估计的模糊核

如图1(a)所示，基于不确定性学习的模糊核估计和基于纹理感知的盲超分辨率重建网络的KULNet首先使用一个3×3卷积层来提取模糊核的浅层特征。然后，采用6个叠加的ResNet块来提取深层模糊核特征。最后，通过两个3×3卷积层来处理这些特征，同时学习预测结果的均值

如图1(b)所示，基于不确定性学习的模糊核估计和基于纹理感知的盲超分辨率重建网络的KGTANet中，首先，通过深度动态卷积(DDC)模块将

基于不确定性学习的模糊核估计和基于纹理感知的盲超分辨率重建网络为了使超分辨率(SR)网络能够灵活地处理各种类型的图像退化，卷积层的权重w是根据模糊核

当提供一组训练数据集

其核估计网络的损失函数表示为：

其中，

是Y

本实施例还提供了一种基于不确定性学习的模糊核估计和基于纹理感知的盲超分辨率重建系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现上述的方法步骤。

在一个具体的应用实例中，利用DIV2K+Flickr2K数据集中的3450幅训练图像对网络进行训练。为了进行测试，我们使用了五个基准数据集：Set5、Set14、BSD100、Urban100和Manga109。采用峰值信噪比(PSNR)和结构相似度(SSIM)来衡量SR图像的质量。在各向同性高斯核的实验中，核大小设置为21×21，内核宽度从[0.2,4.0]、[0.2,3.0]和[0.2,2.0]中随机采样，分别用于×4、×3和×2比例的超分。对于各向异性核的实验，缩放因子为×2和×4，内核大小分别为11×11和31×31，内核宽度从(0.6,5.0)随机采样，旋转角度均匀分布在[-π,π]之间。对于每个训练小批处理，从LR图像中随机裁剪16个大小为64×64的patch作为输入。通过Adam优化器训练本方法，β

为了显示本发明方法的有效性，将本方法与Bicubic方法和以及几种先进的方法进行比较，其中包括：CARN、ZSSR、IKC、DANv1、DANv2和MoESR。本发明方法与上述方法的定量效果对比如表1所示，评价指标为峰值信噪比(PSNR)、结构相似度(SSIM)，示值为测试数据集的重建结果均值，其中PSNR的单位是dB。

表1

实验数据表明，本发明方法比其他超分辨率重建方法性能更好，在大部分数据集上取得了良好的PSNR和SSIM结果。

在重建视觉效果方面，对比方法和本发明方法的超分辨率重建效果对比如图3、图4所示。由图3和图4可以看出，本发明基于不确定性学习的模糊核估计和基于纹理感知的盲超分辨率重建方法能更好地重建出更准确的细节信息。

可见，本发明基于不确定性学习的模糊核估计和基于纹理感知的盲超分辨率重建，可以更好地解决单幅图像超分辨率重建问题，把难的超分辨率重建问题通过基于不确定性学习的模糊核估计和基于纹理感知的盲超分辨率重建解决。这种混合策略能够更好的恢复出图像的细节，并得到高质量的高分辨率图像。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的基于不确定性学习的模糊核估计和基于纹理感知的盲超分辨率重建方法，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。