导航：首页> 供热；炉灶；通风>一种基于双边生成对抗网络的线扫描图像超分辨率方法

一种基于双边生成对抗网络的线扫描图像超分辨率方法

文献发布时间：2023-06-19 19:30:30

技术领域

本发明属于图像超分辨率领域，涉及一种基于双边生成对抗网络的线扫描图像超分辨率方法，适用于复杂成像环境的图像超分辨率场景。

背景技术

图像超分辨率是指从退化的低分辨率图像中恢复高分辨率图像，该技术是计算机视觉、医学图像处理、科学计算等许多领域的共性科学问题和核心技术。

传统的图像超分辨率方法是基于插值的，比如最近邻插值、双线性插值、双三次插值等。但它无法充分建立从低分辨率图像到高分辨率图像的映射。为了解决这一问题，许多人尝试提出了有效的改进办法。基于重构模型的算法通过添加图像的先验知识作为约束，使得高分辨率图像重建中的病态问题得到一定程度解决。Rasti等人[1]提出了一种迭代反投影，通过模拟低分辨率图像和观察图像之间的差异获得高分辨率图像。Dong[2]等人提出了一种具有结构稀疏性的非局部低秩正则化方法。随着深度学习的迅速发展，不少学者利用深度学习来提高图像超分辨率的性能。Shi[3]等人提出了高效亚像素卷积网络，通过提取低分辨率的特征，实现更好的重建质量和更高的计算效率。Ledig[4]等人将生成对抗网络应用于图像超分辨率，获得了更符合人类视觉效果的重建结果。X.Tian[5]等人利用空间光调制器的逐像素扫描能力将图像超分辨率性能提升到了新的高度，但重建算法无法在去除条纹噪声和超分辨率之间保持平衡。

上述算法只能将图像超分辨率性能提高到一定程度。具备逐像素扫描能力的空间光调制器虽然可以获得高质量的重建结果，但检测器填充因子会导致像素响应的不均匀性，视觉上表现为条纹噪声。因此如何利用空间光调制器的线扫描结果实现高质量高分辨率图像重建，同时去除条纹噪声将是本发明的关键问题。

参考文献

[1]P.Rasti,H.Demirel,and G.Anbarjafari,“Image resolution enhancementby using interpolation followed by iterative back projection,”in 2013 21stSignal Processing and Communications Applications Conference(SIU),(IEEE,2013),pp.1–4.

[2]W.Dong,G.Shi,X.Li,Y.Ma,and F.Huang,“Compressive sensing vianonlocal low-rank regularization,”IEEE Transactions on Image Process.23,3618–3632(2014).

[3]W.Shi,J.Caballero,F.Huszár,J.Totz,A.P.Aitken,R.Bishop,D.Rueckert,and Z.Wang,“Real-time single image and video super-resolution using anefficient sub-pixel convolutional neural network,”in Proceedings of the IEEEconference on Computer Vision and Pattern Recognition,(2016),pp.1874–1883.

[4]C.Ledig,L.Theis,F.Huszár,J.Caballero,A.Cunningham,A.Acosta,A.Aitken,A.Tejani,J.Totz,Z.Wang et al.,“Photo-realistic single image super-resolution using a generative adversarial network,”in Proceedings of the IEEEconference on Computer Vision and Pattern Recognition,(2017),pp.4681–4690.

[5]X.Tian,Y.Xiao,R.Liu,F.He,and J.Ma,“Line-wise scanning-based super-resolution imaging,”Opt.Lett.47,2230–2233(2022).

发明内容

本发明旨在实现线扫描图像超分辨率重建。由于现阶段的线扫描图像重建方法仍然是传统方法，存在无法有效融合线扫描图像信息的问题以及无法平衡去除噪声和超分辨率的问题。故本发明提出了一种基于双边生成对抗网络的线扫描图像超分辨率方法。通过本发明提出的方法，线扫描图像的信息得以充分融合，并且重建图像不含噪声，获得了较高的PSNR和SSIM指标，在去噪和超分辨率之间达到了高度平衡，具有很好的视觉效果。

本发明所采用的技术方案是：一种基于双边生成对抗网络的线扫描图像超分辨率方法，包括以下步骤：

步骤1：构建多层卷积组成的去噪生成网络Gr，Gc。如图2所示，它们均包括8个3*3卷积层，前7个卷积层的通道数均为32，最后一个卷积层的通道数为1。每个卷积层后面都紧跟一个归一化层(BN层)，每个归一化层后面都紧跟一个线性整流层(ReLU层)。

利用卷积层能提取深层特征的优势，提取线扫描图像的深层次特征，去除高频噪声，该网络输出的图像大小和输入图像大小一致；

步骤2：构建与去噪网络相匹配的鉴别网络Dr，Dc：如图3所示，它们都包括6个卷积层，每个卷积层的大小均为3*3，步长为1、2交替，通道数初始为64、64、128、128、256、256。每个卷积层后面均紧跟一个归一化层(BN层)，每个归一化层后面都紧跟一个参数化线性整流层(LeakyReLU层)。在最后的参数化线性整流层中，加入一个通道数为1024的全连接层(FC层)、LeakyReLU层、通道数为1的全连接层，最终输出一个标量，该标量衡量了图像真假的概率。

步骤3：构建编码-解码器构成的融合生成网络Gf：其中编码器为双支路残差融合网络，同时，在不同特征层设计融合模块，更有利于将双支路残差融合网络提取的特征有效融合。经过多个不同层次的特征融合而得到的特征图具有非常强的表征能力，将其送入解码器生成最终的高分辨率图像；

编码器如图4所示，它包括两条支路，每条支路包括dcn个反卷积层，dcn的大小为：

dcn＝log

其中r为超分辨率的倍数。

每个反卷积层后面紧跟一个归一化层(BN层)，每个归一化层后面都紧跟一个线性整流层(ReLU层)。每条支路的最后一个反卷积层后面的ReLU层则连接4个残差段(Restage)，如图5的(b)，其中每个残差段包括2个残差基本块(Residual basic block)，它的基本结构如图5的(a)，残差基本块通过跳跃连接影响输出，它的输出公式可表示为：

F1＝ReLU(BN(f

其中，F

y2＝ReLU(BN(f

其中x

编码器共有4个残差段，因此包含4个融合模块，最后一个融合模块的输出y1为编码器输出。

解码器包括4个3*3卷积层，如图4所示，他们的通道数分别为64、32、16、1。同样的，每个后面紧跟一个归一化层(BN层)，每个归一化层后面都紧跟一个线性整流层(ReLU层)。

将编码器输出输入解码器中可得到最终生成的图像SR。

步骤4：构建与融合生成网络相匹配的鉴别网络Df：如图6所示，包括8个卷积层，每个卷积层的大小均为3*3，步长为1、2交替，通道数初始为64、64、128、128、256、256、512、512。每个卷积层后面均紧跟一个归一化层(BN层)，每个归一化层后面都紧跟一个参数化线性整流层(LeakyReLU层)。在最后的参数化线性整流层中，加入一个通道数为1024的全连接层(FC层)、LeakyReLU层、通道数为1的全连接层，最终输出一个标量，该标量衡量了图像真假的概率。

步骤5：构建双边生成对抗网络G：如图1所示，将去噪生成网络Gr，Gc并行连接到融合生成网络Gf从而得到双边生成对抗网络G，其中鉴别网络Dr，Dc，Df分别与Gr，Gc，Gf保持对抗关系。提出了一种新的损失函数对该网络参数进行优化，它由以下几项构成：

(1)内容损失：

去噪网络Gr、Gc内容损失：

其中，

融合网络Gf内容损失：

表示梯度算子。

总的内容损失为：

(2)感知损失：

去噪网络Gr、Gc感知损失：

融合网络Gf感知损失：

其中φ表示特征提取器，它具体为VGG19网络的第35层输出。

总的感知损失为：

(3)对抗损失：

去噪网络Gr、Gc对抗损失：

融合网络Gf对抗损失：

总的对抗损失为：

所有损失的

将内容损失、感知损失、对抗损失加权求和得到双边对抗生成网络的总损失：

同样的，μ

步骤6：在步骤5得到的双边生成对抗网络G中输入线扫描图像R

本发明的有益效果和优点是：提出一种基于双边生成对抗网络的线扫描图像超分辨率方法。通过构建双支路残差融合网络——编码器充分融合了双边输入的信息，能够充分表征不含噪声的高分辨率图像信息，进一步提高了图像超分辨率的效果。

附图说明

图1是双边对抗生成网络总体架构图。

图2是去噪生成器Gr、Gc结构图。

图3是去噪鉴别器Dr、Dc结构图。

图4是融合生成器Gf结构图。

图5(a)是残差块结构，(b)是残差段结构。

图6是融合鉴别器Df结构图。

图7是成像结果对比图，其中(a)(b)为线扫描图像，(c)(d)为其他重建方法结果，(e)为所提出方法结果。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明做进一步的详细描述，应当理解的是，此处所描述的实施施例仅用于解释本发明，并不用于限定本发明。

本发明所采用的技术方案是：一种基于双边生成对抗网络的线扫描图像超分辨率方法。包括以下步骤：