一种基于Transformer增强残差自编码网络的图像压缩感知重建方法
文献发布时间：2023-06-19 19:30:30
技术领域
本发明涉及图像处理技术领域，具体是一种基于Transformer增强残差自编码网络的图像压缩感知重建方法。
背景技术
压缩感知CS(Compressed sensing，简称CS)是一种新兴的图像信号采集和重建技术，它将采样和压缩过程结合起来，克服了奈奎斯特-香农采样定理的局限性，能够在远低于奈奎斯特采样率的情况下有效恢复和重建图像信息，为更好更快地传输海量数据提供了解决方案。
Transformer是一种基于全局自我注意机制的编码器-解码器架构、可以捕获上下文信息之间的全局交互，并在几个视觉任务中显示出了良好的性能。Swin Transformer集成了卷积神经网络CNN和Transformer的优势，在计算机视觉领域中显示出了巨大的前景。
近几年来，得益于深度学习技术强大的特征提取和表达能力，现有的基于深度学习的方法已经将深度卷积神经网络应用于图像压缩感知任务中，并显著地提高了图像重建性能。然而，深度卷积神经网络卷积层通常只有一个较小的接受域，因此采用CNN捕获长距离像素相关性具有挑战性，这限制了它们在CS任务中的重建性能。
发明内容
本发明的目的是针对现有技术的不足，而提供一种基于Transformer增强残差自编码网络的图像压缩感知重建方法。这种方法能更好地捕捉局部和全局特征，有效增强特征信息，精确重建原始图像。
实现本发明目的的技术方案是：
一种基于Transformer增强残差自编码网络的图像压缩感知重建方法，包括如下步骤：
1)对图像观测值y进行初始线性重建：采用卷积神经网络CNN中卷积层F
2)设计并采用基于Transformer进行特征增强的残差自编码网络进行深度重建：对步骤1)得到的初始重建图像Z
首先，对初始重建图像Z
Z
其次，将特征图Z
Z
其中，w
然后将浅层特征图Z
Z
其中，w
最后，将特征图Z
Z＝(Z
3)基于全局-局部联合损失函数进行网络训练：包括：
3-1)构造训练数据集，获取观测值y：采用BSDS500数据集的200张训练图像和200张测试图像、将它们随机裁剪成大小为B×B×1的不重叠的图像块，对输入图像x采用卷积神经网络CNN中卷积层F
3-2)构造联合损失函数Loss对网络进行端到端训练，如公式(5)所示：
Loss＝Loss
其中，Loss
Loss
其中，x
步骤2)中所述的Transformer增强自编码网络F
2-1)将浅层特征图Z
编码网络F
g
f
g
f
其中，Conv
2-2)将编码网络F
g
f
g
f
Z
其中，Conv
所述残差Swin Transformer模块RSTB过程为：以步骤2-2)中所述的特征g
RSTB＝conv(H
其中，g
本技术方案的有益效果是：
本技术方案采用深度学习技术进行压缩感知图像重建，采用端到端的训练方式对采样和重建网络进行联合优化、基于Transformer增强的残差自编码网络在解码模块中充分利用残差Swin Transformer模块的全局自我注意机制对图像特征进行增强，在编码器和解码器之间采用一种跨层连接来实现各维度特征图的融合，以找回解码过程中丢失的边缘信息，有效提高图像压缩感知重建质量。
这种方法能更好地捕捉局部和全局特征，有效增强特征信息，精确重建原始图像。
附图说明
图1为实施例方法的网络框架图；
图2为实施例中残差Swin Transformer模块RSTB框架图。
具体实施方式
下面结合附图和实施例对本发明的内容作进一步地说明，但不是对本发明的限定。
实施例：
参照图1，一种基于Transformer增强残差自编码网络的图像压缩感知重建方法，包括如下步骤：
1)对图像观测值y进行初始线性重建：采用卷积神经网络CNN中卷积层F
2)设计并采用基于Transformer进行特征增强的残差自编码网络进行深度重建：对步骤1)得到的初始重建图像Z
首先，对初始重建图像Z
Z
其次，将特征图Z
Z
其中，w
然后将浅层特征图Z
Z
其中，w
最后，将特征图v
Z＝(Z
3)基于全局-局部联合损失函数进行网络训练：包括：
3-1)构造训练数据集，获取观测值y：采用BSDS500数据集的200张训练图像和200张测试图像、将它们随机裁剪成大小为B×B×1的不重叠的图像块，对输入图像x采用卷积神经网络CNN中卷积层F
3-2)构造联合损失函数Loss对网络进行端到端训练，如公式(5)所示
Loss＝Loss
其中，Loss
Loss
其中，x
步骤2)中所述的Transformer增强自编码网络F
2-1)将浅层特征图Z
编码网络F
g
f
g
f
其中，Conv
2-2)将编码网络F
g
f
g
f
Z
其中，Conv
所述残差Swin Transformer模块RSTB过程为：以步骤2-2)中所述的特征g
RSTB＝conv(H
其中，g