一种基于域适应与像素域频率约束的图像超分辨率方法

技术领域

本发明涉及数字图像处理技术领域，更具体的说是涉及一种适应与像素域频率约束的图像超分辨率方法。

背景技术

在通信领域，图像是一个重要的信息载体，图像的分辨率直接影响人的感知体验以及图像传达的信息内容。高分辨率的图像承载着更多的信息量以及更好的观看体验，但随之产生的是更高的存储与传输成本。在实际应用中为了降低存储与传输成本会对获取的高分辨率图像进行降分辨率处理，得到一些低分辨率图像。但是在某些特定的场景下既需要低分辨率的低传输与低成本又需要高分辨率所带来的更多信息与更好的体验。这需要将低分辨率的图像进行超分辨率的处理，让图像恢复到所需的大小。

现有公告号为CN112614056A的中国专利公开了一种图像超分辨率处理方法，其包括：获取训练图像集，训练图像集包括多组图像组，每组图像组均包括彼此对应的第一图像和第二图像，第一图像的分辨率低于第二图像的分辨率；基于傅里叶域特征通道注意力机制和卷积神经网络搭建第一模型或第二模型；通过训练图像集训练第一模型，或者通过训练图像集训练第二模型；通过训练完成的第一模型或第二模型完成待处理图像的超分辨率处理。该方法可以更加有效地提取图像特征，在不同超分辨模态和不同成像条件下，实现比现有方法更精确、更鲁棒的超分辨率图像预测和重建。

基于上述现有技术，目前对图像分辨率进行调节方法有两种，一种是采用线性插值、双线性插值以及双三次插值等传统算法进行上采样，该类算法复杂度较低，但是容易造成图像局部细节不连续，产生锯齿噪声以及超分后的图像模糊从而丢失细节等失真情况。另一种是基于卷积神经网络(CNN)与生成对抗网络(GAN)的图像超分辨率算法，在这种算法相对于传统的数字图像有着更好的生成质量，但是这类算法对数据集的质量要求极高，与数据集耦合较深，对于一些通过传统采样获得的低分辨率图像的恢复也会产生相关噪声。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种基于域适应与像素域频率约束的图像超分辨率方法，通过使用不受限制的低分辨率图像的域匹配网络与设计图像域频率约束的方法，使得生成的超分辨率图有着更清晰的结构细节与更高的保真度，达到更接近于真实世界的效果。

为实现上述目的，本发明提供了如下技术方案：本发明提供一种基于域适应训练方法与像素域频率约束的图像超分辨率方法，包括：

获取图像数据集，所述图像数据集包括生成的高清图像和低清图像；

域适应超分网络，所述域适应超分网络包括域适应与像素域频率约束，所述域适应超分网络用于获取图像数据集以及处理数据集，并进行分类识别，以输出分类结果；

所述域适应超分网络还包括域分类器，所述域分类器内构建有梯度反转层，在反向传播时，所述梯度反转层用于方向求反；

所述域适应超分网络中构建有损失函数，所述损失函数包括生成网络损失函数与分类网络损失函数；

所述域适应超分网络用于对图像数据集进行超分辨率处理以获得超分辨率图像。

作为本发明的进一步改进，所述域适应超分网络包括编码器、译码器和域分类器，所述编码器网络层包括卷积层和残差块，所述编码器用于对输入的所述图像数据集进行特征提取，并增加图像深层网络的表达能力；所述解码器网络层包括上采样层和卷积层，所述解码器用于对所述编码器输出的图像特征层进行维度修复，并学习图像的结构和细节特征；所述域分类器网络层包括特征展开层和非线性层，所述域分类器用于判断图像来源并输出图像分类结果。

作为本发明的进一步改进，所述编码器、所述解码器和所述域分类器将所述域适应超分网络分成生成网络与分类网络：

所述生成网络包括所述编码器和所述解码器，所述生成网络的模型优化目标是最小化图像生成误差；

所述分类网络包括所述编码器与所述域分类器，所述分类网络的模型优化目标是最大化域分类误差。

作为本发明的进一步改进，所述生成网络使用分支预训练的模型进行初始化，所述分类网络中所述域分类器的所述非线性层使用针对ReLU激活函数所设计的He初始化算法，所述算法的权重参数(w,b)服从均值为0，方差为Var(w,b)的分布：

其中，n

作为本发明的进一步改进，所述生成网络与所述分类网络共用所述编码器，所述生成网络优化损失梯度方向与所述分类网络优化损失梯度相反，在所述域分类接收所述编码器特征后增加所述构建梯度反转层，在进行梯度反向传播时进行方向求反，用于增加训练收敛速度，所述梯度反转层定义如下：

R

其中，R为梯度反转层，γ为随着训练次数改变的参数，x为图像的输入，epoch代表一次训练集前向与反向传播完成进程的相对值，I为恒等矩阵，α为调整epoch系数。

作为本发明的进一步改进，所述域适应超分网络的网络损失包括生成网络损失与分类网络损失，所述生成网络损失与分类网络损失造成的网络总损失函数如下：

其中，d∈{0,1}为图像域标签，d

作为本发明的进一步改进，所述的生成网络损失函数使用L1损失函数，表达式如下：

其中，y

作为本发明的进一步改进，所述的像素域频率约束中具有高通滤波器，所述高通滤波器用于处理高分辨率图像与网络生成的超分辨率图像，以得到超分辨率图像的低频信息与高频信息，利用所述低频信息与高频信息增强图像生成过程，以此调节图像生成过程中的频率一致性，所述生成网络损失函数包括所述L1损失函数与频率损失函数，表达式如下：

其中，ω为调节L1损失函数与高低频率损失函数权重因子，I

HF(x,y)＝I(x,y)-LF(x,y)

其中，w

作为本发明的进一步改进，所述的分类网络损失函数采用二分类交叉熵损失函数，表达式如下：

其中，δ为Sigmoid激活函数。

综合采用所述生成网络损失函数与所述分类网络损失函数，网络总损失函数可表示为：

作为本发明的进一步改进，在所述分类网络与所述生成网络训练收敛后，去除所述域分类器，保留所述生成网络作为恢复超分辨率图像的应用模型。

本发明的有益效果：

通过利用域适应训练的方法让域适应超分网络学习到真实世界图像分布，能够让生成的超分辨率图像更具真实感；增加的梯度反转层能够在梯度反向传播时进行求反，同步训练生成网络与分类网络，从而加快网络的收敛速度；利用像素域频率约束损失函数进一步将损失进行高低频分解，从高频对应的结构细节与低频对应的亮度水平两方面恢复超分辨率图像，有针对性的提高生成的高分辨率图像的质量，使生成的超分图像有更佳的主观感知体验。

附图说明

图1为本发明实施例基于域适应域像素域频率约束图像超分辨率方法的流程图；

图2为本发明实施例提供的域适应与像素域频率约束网络示意图；

图3为本发明实施例提供的最终形成的图像超分辨率网络模型示意图；

图4为本发明实施例提供的残差模块示意图；

图5为本发明实施例提供的非线性层构成示意图；

图6为本发明实施例提供的梯度反向传播流程图。

具体实施方式

为了使得本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

为了保持本发明实施例的以下说明清楚且简明，本发明省略了已知功能和已知部件的详细说明。

参考图1至图6所示，为本发明一种基于域适应域像素与频率约束的图像超分辨率方法，具体包含如下步骤：

步骤1：构建高低清图像数据集，基于已有的DIV2K数据集，生成4倍超分的数据集，并将其裁剪成有重叠的子图像块，再将高清子图像块通过双三次插值生成低清子图像块，对应组成高清低清图像对。此外，再将上述生成的高清子图像数据集和低清子图像数据集进行随机水平翻转与随机旋转增强，以此来增加训练样本的容量与多样性。

步骤2：搭建域适应与像素域频率约束的超分网络。本发明搭建的域适应超分网络主要包含以下3个主要的部分：编码器、解码器和域分类器，其中，编码器与解码器构成生成网络，编码器与域分类器构成分类网络，步骤2具体还包括：

步骤2.1：编码器包括首尾两个卷积层与中间三个残差块，对于输入的高低清图像，先利用卷积层提取图像特征，再通过残差块用于增加深层网络的表达能力。

其中，第一层卷积层为卷积核3×3通道数为16的卷积层，第二、三、四层残差块包括3x3卷积层、批归一化层(BN)与非线性激活层(ReLU)，通道数均为32，第五层卷积层为卷积核3×3通道数为32的卷积层。

步骤2.2：解码器包括上采样层和两个卷积层，上采样模块用于对编码器输出的图像特征层进行维度修复，两个卷积层进一步学习出图像的结构和细节特征，最后输出处理后的超分辨率图像。

其中，上采样模块通过零插值实现，解码器的第一个卷积层为卷积核3×3通道数为32的卷积层，第二个卷积层为积核3×3通道数为1的卷积层。

步骤2.3：域分类器包括特征展开模块与三个非线性层，域分类器接收来自编码器产生的图像特征，通过特征展开为一维特征后经过非线性层用来判断图像来源是高清图像还是低清图像，最后输出对于图像的分类结果。

其中，第一层为特征展开模块，该模块为[N,C,H,W]在特征图上在N维度上展开特征图为[N,C*H*W]向量，第二、三、四层为非线性层，包括全连接层与非线性激活层，其输出节点数分别为256、128、1，域分类器中的最后激活层为Sigmoid函数。

步骤3：构建梯度反转层。在步骤2中的域分类接收编码器特征后加上梯度反转层，该层能实现在网络前向推理时进行恒等变换，在进行梯度反向传播时对方向自动求反，具体的定义如下：

R

其中，R为梯度反转层，γ为随着训练次数改变的参数，x为图像的输入，epoch代表一次训练集前向与反向传播完成进程的相对值，I为恒等矩阵，α为调整epoch系数。

步骤4：构建损失函数，进行端到端训练。在梯度反向传播过程中有两类损失，包括：生成网络损失与分类网络损失，产生的网络总损失函数如下：

其中，d∈{0,1}为图像域标签，d

步骤4.1：对于生成网络损失函数

其中，y

L1函数在图像的计算窗口内更注重图像的结构细节，使生成的图形更清晰。

此外，对于图像的高频分量的表达的结构细节，以及低频分量表达的色彩和亮度信息，像素域频率约束中具有高通滤波器用于处理高分辨率图像与网络生成的超分辨率图像，得到超分辨率图像的低频信息与高频信息，利用低频信息与高频信息增强图像生成过程中以此低频分量域高频分量的频率一致性，表达如下：

其中，ω为调节L1损失函数与高低频率损失函数权重因子，I

HF(x,y)＝I(x,y)-LF(x,y)

其中，w

步骤4.2：对于分类网络损失函数

其中，δ为Sigmoid激活函数，分类网络的优化器使用SGD，初始学习率为0.01。

分类网络中的域分类器的非线性层使用针对ReLU所设计的He初始化算法，其权重(w,b)服从均值为0，方差为Var(w,b)的分布：

其中，n

综合步骤3中的生成网络损失函数与分类网络损失函数，网络总损失函数可表达为：

步骤5：形成最终生成超分辨率图像的域适应超分网络应用模型。在步骤4中构建的损失函数在分类网络与生成网络训练收敛后，训练形成了一个域适应超分网络，去除域分类器，只保留生成网络作为最终简化网络结构用于实现图像超分辨率的重建。

工作原理及其效果：

综上实施例，本发明基于增强高清图像所生成低清图像的真实感的域适应训练方式，以及利用提高生成网络所生成超分图像质量的像素域频率损失函，来实现图像超分辨率的重建。域适应的训练方式利用区分源域与目标域的分类任务，使编码器同时学到真实世界图像分布以及通过下采样获得的低清图像分布，使得生成网络既能生成高质量的超分图像，又能使生成的图像更具真实感。增加的梯度反转层能够在梯度反向传播时进行求反，同步训练生成网络与分类网络，从而加快网络的收敛速度；利用像素域频率约束损失函数进一步将损失进行高低频分解，从高频对应的结构细节与低频对应的亮度水平两方面恢复超分辨率图像，有针对性的提高生成的高分辨率图像的质量，使生成的超分图像有更佳的主观感知体验。此外，本发明的图像超分辨率算法还在图像峰值信噪比与图像结构相似度指标上有着较为明显的提高，而且在图像主观质量，如图像感知相似度上也有一定的优势。

此外，尽管已经在本发明中描述了示例性实施例，其范围包括任何和所有基于本发明的具有等同元件、修改、省略、组合(例如，各种实施例交叉的方案)、改编或改变的实施例。权利要求书中的元件将被基于权利要求中采用的语言宽泛地解释，并不限于在本说明书中或本申请的实施期间所描述的示例，其示例将被解释为非排他性的。因此，本说明书和示例旨在仅被认为是示例，真正的范围和精神由以下权利要求以及其等同物的全部范围所指示。

以上描述旨在是说明性的而不是限制性的。例如，上述示例(或其一个或更多方案)可以彼此组合使用。例如本领域普通技术人员在阅读上述描述时可以使用其它实施例。另外，在上述具体实施方式中，各种特征可以被分组在一起以简单化本发明。这不应解释为一种不要求保护的公开的特征对于任一权利要求是必要的意图。相反，本发明的主题可以少于特定的公开的实施例的全部特征。从而，以下权利要求书作为示例或实施例在此并入具体实施方式中，其中每个权利要求独立地作为单独的实施例，并且考虑这些实施例可以以各种组合或排列彼此组合。本发明的范围应参照所附权利要求以及这些权利要求赋权的等同形式的全部范围来确定。

以上实施例仅为本发明的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。