一种基于优化算法展开的图像压缩感知重建方法及系统

技术领域

本发明属于图像处理领域，主要涉及一种基于优化算法展开的图像压缩感知重建的方法及系统。

背景技术

压缩感知理论表明当信号具有稀疏性时，可以通过比传统的奈奎斯特采样定理更少的采样信号来实现信号的压缩和采样，然后通过非线性优化问题的求解重建原始信号。传统的压缩感知重建算法具备理论依据，但其计算复杂度高且重建精度有限。近些年来，深度学习在高级图像处理任务中表现出的良好性能引起了研究学者们的注意，基于深度学习的压缩感知技术(Deep Learning based Compressed Sensing,DLCS)为图像压缩感知技术打开了新的大门，它在一定程度上有效的克服了传统压缩感知算法的弊端。DLCS的网络模型一般由多个网络层和激活函数堆叠而成，目前最常见的有去噪自动编码器、卷积神经网络、多尺度残差重建网络等。这种方法不仅能够实时重建图像，且其图像重建效果优于传统压缩感知方法。但深度学习技术内在的黑盒特性使DLCS缺乏理论依据，且在纯数据驱动的条件下，深度学习技术的性能依赖于训练数据的数量和质量，在缺乏大量高质量训练数据的情况下，深度神经网络的效果会低于预期效果。

然而，与之前的DLCS相比，算法展开网络是一种具备可解释性的DLCS方法，算法展开最早在2010年由Gregor和LeCun提出，用于稀疏编码问题的求解，他们基于迭代收缩阈值算法(Iterative Shrinkage and Threshold Algorithm，ISTA)，建立了LISTA(LearnedISTA)模型。此后，算法展开技术广泛应用于解决信号和图像处理中的许多重要问题。与传统算法一样，算法展开网络的方法保持了各阶段之间像素空间的信息流，但信息流传输的过程中仅传输经过网络处理的图像特征，在像素空间中传递信息的结构没有充分利用前向传播中图像特征包含的信息，因此会产生信息丢失，特征融合不完整的现象。

发明内容

针对现有技术存在的问题，本发明提供了一种基于优化算法展开的图像压缩感知重建的方法及系统。

本发明结合了基于传统算法和基于深度学习压缩感知重建方法的优点，提出了一种基于迭代收缩阈值泛化结构的算法(Generalized structure of Iterative shrinkagethreshold algorithm,GSISTA)并由此展开的可解释的深度网络GSISTA-Net，用于图像CS的采样和重建。在采样阶段，本发明利用卷积采样方法代替传统的随机矩阵采样，在重建阶段，在重建子模块R中设计了跳跃信息连接结构，利用残差模块连接前后特征信息，避免了深度展开网络中的固有信息损失。不仅如此，在重建子模块R的后端设计了一个双尺度去噪模块，结合不同尺度的特征对图像去噪。GSISTA-Net中涉及的所有参数(如非线性变换、收缩阈值、步长等)都是通过反向传播进行端到端学习的。

本发明的上述技术问题主要是通过下述技术方案得以解决的：

一种基于优化算法展开的图像压缩感知重建方法，其特征在于，包括：

步骤1、输入大小为B×B的图像块，采用1层无偏差的卷积层模拟矩阵采样y＝Φx得到测量值y后进行初始重建；

步骤2、初始重建时，采用一层卷积层，将Φ

步骤3、像素洗牌将大小为N×1×1的张量重塑成

步骤4、初始重建图像x

步骤5、将步骤4融合的特征通过不同尺度对其进行去噪，然后对去噪后的特征进行融合，得到输出特征，并进行下一次迭代；

步骤6、重复步骤4、5直至得到最终的重建图像。

在上述的一种基于优化算法展开的图像压缩感知重建方法，基于GSISTA展开的深度网络，具体方法为：GSISTA算法将迭代算子将迭代收缩算子应用在

其中k代表迭代次数，ρ代表步长，λ代表阈值参数，当n＝0时，

在上述的一种基于优化算法展开的图像压缩感知重建方法，深度重建网络由n个结构相同的R模块迭代组成，在R模块中，用非线性变换函数F(·)来模拟稀疏变换矩阵Ψ，非线性变换函数函数由两个无偏差项的线性卷积算子组成

F(x)＝VReLU(Wx)

其中V、W分别代表两个卷积操作，ReLU为整流线性单元，反变换

其中λ为迭代模块中可学习的参数，并且在网络的每个重建阶段中，其变换参数和阈值参数

在上述的一种基于优化算法展开的图像压缩感知重建方法，跳跃信息连接结构中利用一个残差模块将输入特征传递至输出特征，并且将其输入特征的信息处理后传递至残差模块内部的每一层。

在上述的一种基于优化算法展开的图像压缩感知重建方法，双尺度去噪具体操作是：

第一尺度将步骤4中的输出特征通过不同尺度进行去噪，低分辨率特征通过步长为2卷积对输入特征的进行下采样，使用一个残差模块去噪低分辨率特征，再经过一个上采样操作将特征还原到原来的大小；

第二尺度使用卷积算子与ReLU的组合结构去除其他噪声，对去噪后的特征进行融合，得到输出特征，并送入下一阶段；

最后，在特征空间中逐步实现信息流。

在上述的一种基于优化算法展开的图像压缩感知重建方法，测量值y进行初始重建得到初始重建图像x

一种基于优化算法展开的图像压缩感知重建系统，其特征在于，包括：

采样模块：用于将输入大小为B×B的图像块，采用1层无偏差的卷积层来模拟矩阵采样y＝Φx的过程后得到测量值y，输入到初始重建模块中；

初始重建模块：采用一层卷积层，将Φ

像素洗牌操作模块：将大小为N×1×1的张量重塑成

若干深度重建模块：初始重建图像x

在上述的系统，基于GSISTA展开的深度网络，具体方法为：GSISTA算法将迭代算子将迭代收缩算子应用在

其中k代表迭代次数，ρ代表步长，λ代表阈值参数，当n＝0时，

在上述的系统，深度重建网络由n个结构相同的R模块迭代组成，在R模块中，用非线性变换函数F(·)来模拟稀疏变换矩阵Ψ，非线性变换函数函数由两个无偏差项的线性卷积算子组成

F(x)＝VReLU(Wx)

其中V、W分别代表两个卷积操作，ReLU为整流线性单元，反变换

其中λ为迭代模块中可学习的参数，并且在网络的每个重建阶段中，其变换参数和阈值参数

跳跃信息连接结构中利用一个残差模块将输入特征传递至输出特征，并且将其输入特征的信息处理后传递至残差模块内部的每一层。

在上述的系统，双尺度去噪具体操作是：

第一尺度将步骤4中的输出特征通过不同尺度进行去噪，低分辨率特征通过步长为2卷积对输入特征的进行下采样，使用一个残差模块去噪低分辨率特征，再经过一个上采样操作将特征还原到原来的大小；

第二尺度使用卷积算子与ReLU的组合结构去除其他噪声，对去噪后的特征进行融合，得到输出特征，并送入下一阶段；

最后，在特征空间中逐步实现信息流。

因此，本发明具有如下优点：

1.在每一个深度重建子模块R中，跳跃连接结构以及双尺度去噪模块显著提高了图像重建质量。

2.迭代收缩阈值算法的泛化形式GSISTA将前n次预测值的结果作为中间特征引入算法，并将其扩展为图像重建的网络，使图像重建网络具有一定的可解释性。

附图说明

附图1是本发明基于优化算法展开的图像压缩感知重建方法框架图

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例：

ISTA是一种基于梯度的方法，在每一次迭代中，可微项的梯度被投影，然后它被阈值缩小为一个特定的值。待重建信号通过收缩阈值操作来更新,具体迭代公式如下：

z

其中k代表迭代次数，ρ代表步长，λ代表阈值参数。但是ISTA收敛速度较慢，并且得到的最优解往往不够稀疏。因此有很多研究工作尝试去加速算法的收敛速度得到更为快速的求解算法

与只利用上一次迭代值的ISTA不同，FISTA通过利用前两次迭代的值进行阈值处理来获得新的迭代值。FISTA迭代步骤如下：

受FISTA的启发，采用前n个预测值的一个线性组合，并将其对应公式泛化为如下公式，从而得到迭代收缩阈值算法的泛化结构(GSISTA)：

在附图1所示，GSISTA-Net将大小相同的图像块作为输入，然后通过初始重建模块与深度重建模块输出重建图像。深度重建模块包括n个深度重建子模块R，在每一个深度重建子模块中包括基于GSISTA的展开网络、跳跃连接结构和双尺度去噪模块，下面分别介绍其功能。

1)基于GSISTA的展开网络

GSISTA算法将迭代算子将迭代收缩算子应用在

其中k代表迭代次数，ρ代表步长，λ代表阈值参数。当n＝0时，

深度重建网络由n个结构相同的R模块迭代组成，在R模块中，用一种非线性变换函数F(·)来模拟GSISTA中的稀疏变换矩阵Ψ，该函数由两个无偏差项的线性卷积算子组成

F(x)＝VReLU(Wx)

其中V、W分别代表两个卷积操作，ReLU为整流线性单元。反变换

其中λ为迭代模块中可学习的参数，并且在网络的每个重建阶段中，其变换参数和阈值参数

2)跳跃连接结构

跳跃连接结构利用一个残差模块将输入特征传递至输出特征，并且将其输入特征的信息处理后传递至残差模块内部的每一层。跳跃信息连接结构充分利用每一层的层级信息，在层与层之间的正向传播中实现了网络信息共享机制。网络结构中靠后的卷积层不仅获取了正向传播的信息，而且获取了更多的低层级信息。

3)双尺度去噪模块

双尺度去噪模块将低分辨率特征通过步长为2卷积对输入特征的进行下采样，然后使用一个残差模块去噪低分辨率特征，再经过一个上采样操作将特征还原到原来的大小。另一尺度使用卷积算子与ReLU的组合结构去除其他噪声。然后对去噪后的特征进行融合，得到输出特征，并送入下一阶段。最后，在特征空间中逐步实现信息流。

在基于GSISTA的展开网络、跳跃连接结构和双尺度去噪模块的共同作用下，充分利用每一层的层级信息，并且对图像进行有效去噪。重建网络基于算法展开，使网络本身具有理论依据，且网络结构中靠后的卷积层不仅获取了正向传播的信息，而且获取了更多的低层级信息。

测量值y输入深度重建模块中，在深度重建模块内进行步骤4、5的操作输出到下一个深度重建模块内，再重复以上操作，得到最终的重建图像，而且显著提高了图像重建质量。

下面结合具体实验数据对本发明积极效果作进一步描述。

1)分析R模块迭代次数对图像重建结果的影响

表1R模块迭代次数对图像重建结果的影响

在这一部分中，本发明将探讨R模块迭代次数(包括5、7、9、11次)对结果的影响。从表1可以看出，模块迭代次数对网络性能有一定的影响。通过在性能和计算复杂度之间进行权衡，在本次实验中使用了9个阶段，这也证明了迭代网络设计的有效性。

2)分析不同模块对图像重建结果的影响

为了避免深度重建时信息丢失，前后信息融合不完整，引入了跳跃信息连接结构(JIC)，此外，为了更好的去噪效果，在深度重建子模块R中设计了双尺度去噪模块(DSD)。为了验证网络模块的有效性，本发明使用控制变量的思想把网络分为没有JIC和DSD的基本网络、只增加JIC的网络、只增加DSD模块的网络和同时增加JIC和DSD模块的网络，即本文提出的方法。

表2不同模块对图像重建结果的影响

如表2所示，本发明将各模块的网络分别表示为“Base-Net、Base-Net-JIC、Base-Net-DSD和GSISTA-Net”。可以发现，Base-Net-JIC的PSNR/SSIM比Base-Net提升了0.14/0.0031,这表明JIC模块有助于图像重建的效果。Base-Net-DSD的PSNR/SSIM比Base-Net提升了0.11/0.0020,这表明DSD模块提升了网络的去噪效果，从而使得图像重建的效果更好。

3)探究泛化公式中n取值对图像重建的影响

表3泛化公式中n取值对图像重建的影响

在上述泛化公式中，不同n取值得到不同的迭代算法表达。如表3所示，当n取值为0时，迭代算法表示为ISTA，此时网络重建结果的PSNR/SSIM为29.65/0.8883，当n取值为1时，迭代算法表示为FISTA，此时网络重建结果的PSNR/SSIM为29.78/0.8905，当n取值为网络迭代次数时，网络重建结果的PSNR/SSIM为29.91/0.9034。这表明迭代算法的中n值的选择对算法展开网络的重建效果有一定的影响。

4)验证GSISTA-Net网络框架的有效性

为了验证本发明提出的算法展开网络GSISTA-Net网络框架的有效性，本发明与五种最先进的图像压缩感知方法进行了比较，这些方法的采样矩阵也是可学习的，包括AdapRecon、CSNet、ISTA-Net

表4不同CS方法在数据集Set11的平均PSNR/SSIM性能比较

从表4中可以看出，在所有CS采样率下，GSISTA-Net优于所有其他方法。值得注意的是所提到的三种算法展开的方法，ISTA-Net+、AMPNet与OPINE-Net+，在重建质量方面明显优于普通神经网络AdapRecon与CSNet。这也表明，算法展开网络在一定程度上提升了图像重建网络的性能。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。