一种用于获取盲超分辨率图像的方法、设备及存储介质

技术领域

本公开一般地涉及图像处理技术领域。更具体地，本公开涉及一种用于获取盲超分辨率图像的方法、设备及计算机可读存储介质。

背景技术

本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述可包括可以探究的概念，但不一定是之前已经想到或者已经探究的概念。因此，除非在此指出，否则在本部分中描述的内容对于本申请的说明书和权利要求书而言不是现有技术，并且并不因为包括在本部分中就承认是现有技术。

随着信息化技术的发展，人们对数字图像质量的要求也越来越高，特别是在医学、自动驾驶、天文以及监控等计算机视觉领域中，都需要获得高分辨率的、细节丰富的高清图像。然而，在实际图像采集时，往往受到成像系统自身的空间分辨率、光线或射线强度、空间距离以及系统噪声等因素的影响，而导致获得的图像的空间分辨率不高。传统的提高图像的分辨率的方式通常是基于系统硬件设备或者软件算法来设计，并且基于系统硬件设备来提高图像分辨率是较为直接的方式，但该方式成本高且实现难度较大。此外，系统硬件设备还易受到电磁波物理和元器件物理的特性限制，从而使得提高的空间分辨率受限。

单图像超分辨率(Single Image Super Resolution，“SISR”)重建技术主要基于软件算法层面的设计，其可以实现从低分辨率(“LR”)观测图像到高分辨率(“HR”)观测图像的提升。近来，由于深层卷积神经网络在处理具备欧式结构的图像数据上表现出强大的功能，因此许多基于卷积神经网络超分辨技术都从某些特定的角度解决了单图超分辨率分析的任务。然而，这些方法通常是通过先验信息的设计，以寻找细节恢复和噪音抑制之间的平衡，由此往往会导致高频细节信息的丢失。另外，还有很多方法是基于双三次下采样得到HR-LR图像并利用其进行训练，因此在面对由于距离、电磁波信号强度、系统噪声时导致的自然图像降质的问题时，该图像退化过程与这些自然降质过程不相符，而导致超分辨模型的性能受限。

发明内容

为了至少解决上述问题，本公开提出了一种用于获取盲超分辨率图像的方案，即通过估计自然图像的退化模型参数，以便基于模型参数获得配对图像数据集，从而可以训练和优化图像生成器和判别器，获取高质量的盲超分辨率图像。鉴于此，本公开在如下的多个方面提供相应的解决方案。

在第一方面中，本公开提供一种用于获取盲超分辨率图像的方法，包括：估计自然图像退化过程中的图像退化模型参数，其中所述图像退化模型参数包括卷积核池和噪声池；根据所述图像退化模型参数建立低分辨率-高分辨率的配对图像数据集；利用所述配对图像数据集来训练和优化图像生成器；以及基于所述配对图像数据集和所述图像生成器来训练和优化图像判别器，以获得盲超分辨率图像。

在一个实施例中，估计自然图像退化过程中的图像退化模型参数包括：构建所述自然图像中由高分辨率图像到低分辨率图像退化的图像退化模型；利用线性卷积网络学习所述图像退化模型中的每个所述自然图像的模糊核，以估计模糊核池；以及根据相对方差选择和子块划分来提取所述图像退化模型中的所述自然图像的噪声分布，以估计噪声池。

在另一个实施例中，建立低分辨率-高分辨率的配对图像数据集包括：根据随机原则分别从所述模糊核池和所述噪声池中随机抽样，以获得目标模糊核和目标噪声块；以及基于所述目标模糊核、所述目标噪声块以及所述图像退化模型来针对已知高分辨率图像进行降质过程的模拟，以建立与其配对的低分辨率图像。

在又一个实施例中，利用所述配对图像数据集来训练和优化图像生成器包括：在二次Wasserstein距离的约束下，将低分辨率图像输入所述图像生成器来生成伪高分辨率图像，以获得所述图像生成器的损失函数；以及基于所述损失函数来训练图像生成器。

在又一个实施例中，利用所述配对图像数据集来训练和优化图像生成器还包括：在所述损失函数中加入多种目标损失，以对所述图像生成器进行优化。

在又一个实施例中，所述多种目标损失包括对抗损失、边界损失、像素损失和/或感知损失。

在又一个实施例中，训练和优化图像判别器包括：将伪高分辨率图像和真高分辨率图像输入所述图像判别器，以便获取判别分值；利用线性规划和深度神经网络确定所述判别分值的数值解；以及基于最优传输原理和经数值解确定的二次Wasserstein距离来训练和优化图像判别器。

在又一个实施例中，上述方法还包括：在图像判别器中加入最优传输正则项，以便对所述图像判别器进行优化。

在第二方面中，本公开提供了一种用于获取盲超分辨率图像的设备，包括：处理器；以及与所述处理器相连接的存储器，所述存储器中存储有计算机程序代码，当所述计算机程序代码被所述处理器执行时，使得所述设备执行根据上述及其多个实施例中所述的方法。

在第三方面中，本公开提供了一种计算机可读存储介质，其上存储有用于获取盲超分辨率图像的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现根据上述及其多个实施例中所述的方法。

根据本公开的方案，通过估计自然图像的退化模型参数，以便基于模型参数获得配对图像数据集，从而可以训练和优化图像生成器和判别器，获取高质量的盲超分辨率图像。进一步，本公开实施例基于最优传输原理，并利用二次Wasserstein距离作为度量来促进图像生成器和判别器之间相互优化，使得图像经过优化后的生成器，而生成更接近真实的高分辨率图像。此外，本公开实施例中还通过加入多种目标损失来对图像生成器进行训练，以便生成器在边缘高频细节恢复和噪声剔除方面均达到最优，从而能够获得高频细节保真度高且降噪效果显著的盲超分辨率图像。

附图说明

通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：

图1是示出根据本公开实施例的用于获取盲超分辨率图像的方法的简化流程图；

图2是示出根据本公开实施例的用于获取盲超分辨率图像的方法的详细流程图；

图3-图6是示出根据本公开实施例的生成盲超分辨率图像的示例性示意图；以及

图7是示出根据本公开实施例的生成的盲超分辨率图像和其他方式生成的图像的示例性示意图。

具体实施方式

下面将结合附图对本公开实施例中的技术方案进行清楚和完整地描述。应当理解的是本说明书所描述的实施例仅是本公开为了便于对方案的清晰理解和符合法律的要求而提供的部分实施例，而并非可以实现本发明的所有实施例。基于本说明书公开的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

图1是示出根据本公开实施例的用于获取盲超分辨率图像的方法100的简化流程图。

如图所示，在步骤S102处，估计自然图像退化过程中的图像退化模型参数。在一个实施例中，前述图像退化模型参数可以包括卷积核池和噪声池。该步骤S102可以理解成是通过在自然场景下的低质量图像数据集上的学习(例如机器学习或者深度学习)，能够估计出符合真实降质过程的卷积核和噪声分布。在估计图像退化模型参数之前，可以首先构建自然图像中由高分辨率(“HR”)图像到低分辨率(“LR”)图像退化的图像退化模型。在一个实施场景中，可以将高分辨率图像到低分辨率图像的图像退化模型表示成如下公式：

其中，LR表示低分辨率图像，HR表示高分辨率图像，k和n分别表示卷积核和噪声，

基于上述构建的图像退化模型，可以估计图像退化模型参数(包括卷积核池和噪声池)。在一个实施例中，可以利用线性卷积网络(例如KernelGAN网络)学习图像退化模型中的每个自然图像的模糊核，其中所有的模糊核可以形成一个模糊池。在另一个实施例中，可以根据相对方差选择和子块划分来提取图像退化模型中的自然图像的噪声分布，从而形成一个噪声池。具体地，前述噪声分布可以采用如下公式来提取：

其中，p

可以理解，对于图像而言，当局部图像子块方差较小时，可以表示上述图像块中的局部图像子块属于灰度平坦区，即无噪声分布或者噪声很小。当局部图像子块方差较大时，则表示上述图像块中的局部图像子块属于边缘或者高频区域(也即该区域包含噪声或者噪声很大)。由此，结合上述公式(2)可以将局部图像子块方差大于最大方差阈值v

在获得图像退化模型参数(包括模糊核池和噪声池)后，在步骤S104处，根据图像退化模型参数建立低分辨率-高分辨率的配对图像数据集。关于建立前述的配对图像数据集，在一个实施方式中，本公开提出首先可以根据随机原则分别从模糊核池和噪声池中进行随机抽样，从而获得一个目标模糊核和一个目标噪声块。接着，基于前述抽取出来的一个目标模糊核、一个目标噪声块，并将其代入上述公式(1)表示的图像退化模型中，从而能够针对已知高分辨率图像进行降质过程的模拟，以便获得符合自然降质过程的低分辨率图像。由此，本公开建立了低分辨率-高分辨率的配对图像数据集。

在建立上述的配对图像数据集后，流程前进到步骤S106处。在该步骤处，利用配对图像数据集来训练和优化图像生成器。在一个实施场景中，该步骤可以根据最优传输原理来实现。如本领域技术人员所知，最优传输(Optimal Transport)可以用于求解两个分布之间的映射问题。例如，假设给定两个变量X、Y，并且假设两个度量X、Y各自对应空间上的分布为μ、ν。在该假设下寻找传输变换T:X→Y，其能够把服从分布μ对应的随机变量X变换为服从分布ν的Y随机变量，从而获得极小化传输代价c(x,T(x))的期望。由此，可以获得前述两个变量之间的映射。需要理解的是，在最优传输原理中，其主要的传输代价基础可以是二次Wasserstein距离。

具体而言，在二次Wasserstein距离的约束下，可以将低分辨率图像输入图像生成器来生成伪高分辨率图像。此时，由于输入的低分辨率图像与生成的伪高分辨率图像之间存在差异，从而能够获得图像生成器的损失函数。进一步，基于获得的损失函数可以来训练图像生成器。例如，可以通过调整损失函数的权重系数来训练图像生成器。基于训练而成的图像生成器，可以获得伪高分辨率图像，以便用于后续对图像判别器的训练和优化，从而形成低分辨率图像到高分辨率图像的最优映射。在一个实施例中，前述二次Wasserstein距离可以具体表示成如下公式：

其中，G表示图像生成器，D表示图像判别器，z

根据前文描述可知，图像噪声通常分布在边缘或高频区域，因此为了获取高频细节高保真度的图像以及能够获得更多的配对图像信息等，本公开实施例还可以在损失函数中加入多种目标损失，以便对前述图像生成器进行优化。在不同的实施场景中，前述多种目标损失可以例如是对抗损失、边界损失、像素损失和/或感知损失，而对抗损失可以是前述二次Wasserstein距离。下面将分别对前述多种目标损失中的边界损失、像素损失以及感知损失详细描述。

在一个实施例中，当为了获取高频细节高保真度的图像时，可以在损失函数中加入边界损失，通过边界损失引入注意力机制，使得图像生成器能够将更多的注意力放在边缘高频细节恢复上。该边界损失L

其中，

在一个实施例中，为了能够获得更多的配对图像信息来优化图像生成器，可以在损失函数中加入表示图像纹理内容的像素损失。特别地，前述像素损失可以例如是像素均方误差L

其中，G表示图像生成器，||·||

在一个实施例中，为了生成的图像具有更好的视觉效果，还可以在损失函数中加入感知损失。该感知损失L

其中，G表示图像生成器，||·||

基于在损失函数中加入的多种目标损失，可以对多种目标损失采用例如加权求和，获得最终的优化目标，以便对图像生成器进行优化。将该优化目标记为L

L

其中，L

根据上述获得的配对图像数据集和图像生成器，方法100的流程前进至步骤S108。在步骤S108处，基于配对图像数据集和图像生成器来训练和优化图像判别器，以获得盲超分辨率图像。如前所述，配对图像数据集中包含低分辨率图像和高分辨率图像，并且将配对图像数据集中的低分辨率图像输入图像生成器可以生成伪高分辨率图像。进一步地，可以将配对图像数据集中的真高分辨率图像和伪高分辨率图像同时输入图像判别器，以便训练和优化图像判别器。更为具体地，可以利用线性规划和深度神经网络例如VGG-128来求解离散情况下的Monge-Kantorovich对偶问题，从而能够获得经图像判别器后的判别分值的数值解，进而对图像判别器进行训练和优化。

在一个实施场景中，上述离散情况下的Monge-Kantorovich对偶问题可以通过如下公式表示：

其中，SR和HR分别表示伪高分辨图像集和真高分辨率图像集，m表示每一次迭代中伪高分辨图像和真高分辨率图像的数量。c(y

在公式(9)中，||·||

基于获得的判别分值的数值解，并再次根据最优传输原理来训练和优化图像判别器。与上述训练和优化图像生成器类似，在训练和优化图像判别器时，可以将二次传输代价为基础的二次Wasserstein距离作为优化目标。进一步可以经判别分值的数值解来确定二次Wasserstein距离，以便获得最优图像判别器。此时，该二次Wasserstein距离是与判别分值的数值解相关的，其具体表达式如下：

在一个实施例中，为了提高图像判别器的稳定性，本公开实施例还加入了最优传输正则项。该最优传输正则项L

另外，对二次Wasserstein距离L

L

需要理解的是，公式(12)中的L

结合上述描述可知，本公开实施例通过首先估计自然场景下图像的真实降质过程以及对应的参数，进一步根据参数获得符合自然降质过程的低分辨率图像，从而建立了低分辨率-高分辨率的配对图像数据集。基于获得的配对数据集和最优传输原理分别对图像生成器和图像判别器进行训练和优化，例如可以以二次传输代价为基础的二次Wasserstein距离作为伪高分辨率图像空间和真高分辨率图像空间距离的度量，并利用线性规划求解Monge-Kantorovich对偶问题来对二次Wasserstein距离进行不断优化，使得生成的伪高分辨率图像越来越接近真高分辨率图像。此外，本公开实施例通过在优化过程中加入多种目标损失，以便可以获得高频细节保真度高且降噪效果明显的盲超分辨率图像。采用本公开的方案，在图像高频细节的恢复和噪声的剔除方面可以同时达到最优。

图2是示出根据本公开实施例的用于获取盲超分辨率图像的方法的详细流程图。结合上述图1的描述可知，方法200是图1所示方法100的一种具体实现方式，因此上述关于方法100所做的描述也同样适用于方法200。

如图所示，在步骤S202处，向构建的图像退化模型中输入无配对的自然图像数据集。在一个实施例中，图像退化模型可以基于上述公式(1)来构建。接着，在步骤S204处，根据输入的自然图像数据集来估计自然图像退化过程，从而获得图像退化模型参数，例如卷积池K和噪声池N。其中，模糊池可以通过线性卷积网络学习自然图像的卷积核获得，而噪声池N可以基于上述公式(2)来获取。如前所述，通常是选择局部图像子块方差大于最大方差阈值的图像分布作为噪声分布，从而形成噪声池。

根据获得的图像退化模型参数(包括卷积池K和噪声池N)，在步骤S206处，可以根据随机分配原则从K和N中随机抽取一个卷积核k和一个噪声n，并将其作用到高分辨率图像上，以便获得符合真实降至过程的低分辨率图像。反复执行该步骤S206，直至获得本公开的低分辨率-高分辨率(LR-HR)的配对图像数据集。进一步地，在步骤S208处，将上述步骤S206获得的配对图像数据集中的低分辨率图像输入到图像生成器，并且在二次Wasserstein距离的约束下，不断对图像生成器进行训练和优化，使得图像生成器可以逐渐逼近一个从低分辨率-高分辨率的最优映射。换句话说，基于前述的图像生成器，输入的低分辨率图像可以生成伪高分辨率图像。在步骤S210处，将伪高分辨率图像和真高分辨率图像输入图像判别器，并通过图像判别器来区分伪高分辨率图像和真高分辨率图像的能力(例如利用前文描述的判别分值来进行区分)，通过不断优化二次Wasserstein距离，使得图像判别器逼近最优判别器。最后，通过重复执行上述步骤S208和步骤S210，使得图像生成器和图像判别器可以相互促进和优化，最终生成高质量的盲超分辨率图像，例如图3-图6所示。

图3-图6是示出根据本公开实施例的生成盲超分辨率图像的示例性示意图。如图所示，图3-图6中的左侧图像均表示处理前的自然图像，由图3-图6中可以看出，自然图像均呈现出模糊，即分辨率低的问题。图3-图6中的右侧图像均表示利用本公开方案处理后的图像，可以看出，处理后的图像更清晰且显示效果更佳。

图7是示出根据本公开实施例的生成的盲超分辨率图像和其他方式生成的图像的示例性示意图。如图所示，图中左侧第一列示出多个图像，并且均是低分率(“LR”)图像，紧贴第一列后面的多列分别是基于不同处理方法针对左侧第一列图像中的局部图像(图中矩形框所示)而生成的图像。图中进一步示出左侧第二列至最后一列依次是基于本公开的方案、配对的数据集realSR、DAN算法、IKC算法、DPSR算法、ESRGAN算法以及ZSSR算法处理生成的结果图像。通过对比不同算法处理的结果，可以看出采用本公开实施例的方法获得的结果图像更为清晰(也即分辨率更高)。

根据上述结合附图的描述，本领域技术人员也可以理解本公开的实施例还可以通过软件程序来实现。由此本公开还提供了一种计算机程序产品。该计算机程序产品可以用于实现本公开结合附图l和2所描述的用于获取盲超分辨率图像的方法。

应当注意，尽管在附图中以特定顺序描述了本公开方法的操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

应当理解，当本公开的权利要求、说明书及附图中使用到术语“第一”、“第二”、“第三”和“第四”等时，其仅用于区别不同对象，而不是用于描述特定顺序。本公开的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本公开说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本公开。如在本公开说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本公开说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

虽然本发明的实施方式如上，但所述内容只是为便于理解本发明而采用的实施例，并非用以限定本发明的范围和应用场景。任何本发明所述技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。