基于物理启发的轻量级深度学习压缩成像方法及装置

技术领域

本发明涉及全息成像技术领域，具体涉及一种基于物理启发的轻量级深度学习压缩成像方法及装置。

背景技术

全息成像作为一种强大的现代成像技术，被广泛应用于生物医学、材料科学和其他领域。这种新型的成像技术，不需要过度使用笨重和昂贵的光学元件就可以实现从测量域上的衍射光强度恢复对象域上的复杂光场，这也是基于相干衍射成像的相同理论框架。

在全息成像技术中，关键的一步是解决处理测量域上的二维强度分布以恢复扩展物域上的空间分辨信息这一不确定的逆问题。传统上，为了解决光学成像中的逆向问题，梯度下降法被反复应用，但该方法通常依赖于物理模型和复杂的数学算法，且这个过程通常需要大量的迭代，所以对于高分辨率的成像任务来说，计算成本非常高。另一方面，深度学习(DL)方法被应用于解决光学成像的各种逆向问题。这些DL方法已被证明提供了一个框架，可以在两个领域的大量数据上取得先进的结果。大多数基于DL的光学成像研究都是基于监督学习方法，通常需要物域真实值和测量域相匹配的数据对，但获得匹配的数据对是非常昂贵和耗时的。更重要的是，在生物医学成像应用中，考虑到生物对象的动态性质和多样性，获得匹配的数据是不现实的。

为解决上述问题，一些研究人员研究出了使用非配对数据的学习方法，这些方法使用的框架最初是为实现图像到图像转化任务开发的。它们完全依赖于源域和目标域中给定数据分布之间的统计关系。因此，在现有的框架中，深度神经网络的表示能力严格限制在分布内(ID)数据(特征关联度更高的数据)，这些数据在给定的训练数据的统计分布范围内。也有人提出了基于未经训练网络的迭代方法，以实现没有任何真实值的逆向映射，但收敛通常需要10000次以上的迭代，并且只保证问题的松弛版本，如纯相位成像。这些学习方法并不特别适合解决光学成像中的逆向问题，因为物理成像配置中经常有扰动(例如光学元件轻微移动引起的错位，照明的辐照度变化)，导致分布外(OOD)数据。

为了解决这些问题，现有的最先进的方法(PI-OT-cycleGAN网络)探讨了将参数化的物理前向模型纳入DL方法的潜力，以适应性地处理成像配置中的确定性扰动。在全息成像的框架下，该方法测试了在物体与传感器的距离超出给定数据范围的变化下的可行性。该模型专门对全息成像配置中的距离进行了参数化，并将其与深度神经网络结合起来进行逆向操作，使得该方法能够同时重建出复振幅图和距离。然而，该方法仍然存在需要复杂的网络模型、庞大的网络参数与计算量以及需要高质量的测量的衍射强度模式的问题。

发明内容

为了解决现有技术中的不足，本发明的目的在于提供一种基于物理启发的轻量级深度学习压缩成像方法及装置。

为实现上述目的，本发明采用了以下技术方案：

在本发明的第一方面，公开了一种基于物理启发的轻量级深度学习压缩成像方法。

该方法包括以下步骤：

S1、构建压缩全息感知模型；

S2、利用所述压缩全息感知模型获取低维衍射强度，利用计算超分重建方法构建计算成像框架，利用所述计算成像框架从所述低维衍射强度中恢复复值振幅；

S3、分别构建基于LIST层的轻量化计算成像框架与距离生成网络；

S4、利用所述轻量化计算成像框架和所述距离生成网络，确定轻量级深度学习压缩全息成像模型；

S5、利用所述轻量级深度学习压缩全息成像模型，进行压缩全息成像。

进一步的，所述压缩全息感知模型为：

I(x,y；z＝d)＝ΦU(x,y；z＝0)+e (1)

其中，U(x,y；z＝0)为高维信号，I(x,y；z＝d)为测量向量，Φ为压缩感知矩阵，e为噪声。

进一步的，所述利用所述压缩全息感知模型获取低维衍射强度，利用计算超分重建方法构建计算成像框架，利用所述计算成像框架从所述低维衍射强度中恢复复值振幅，包括：

S21、构建超分重建模块

其中，τ为正则化常数，l

所述超分重建模块

S22、构建Holo-Unet网络；

所述Holo-Unet网络基于Unet网络架构，包括第二编码器、中间层和第二解码器；

第二编码器将复值振幅图作为输入，由两个重复的卷积块组成，其中包括3×3卷积层和ReLU单元，以及一个2×2的最大池化层；所述中间层由两个重复的卷积块组成；所述第二解码器由两个卷积块和转置卷积组成，最终生成复值振幅图；

S23、将所述超分重建模块

进一步的，所述分别构建基于LIST层的轻量化计算成像框架与距离生成网络，包括：

将LIST层分别引入计算成像框架与PI-OT-cycleGAN模型的距离生成网络中，代替PI-OT-cycleGAN模型中的卷积核大小为3×3的卷积层，生成轻量化的计算成像框架与距离生成网络；

其中，LIST层是用M个输入和N个输出特征通道代替一个正常的3×3卷积层；

假设输入到LIST模块的是形状为(H，W，M)(高度，宽度，通道)的特征体；首先，输入体积与M/k个1×1核进行点卷积；k是压缩比；其次，将k个特征映射传递到两个并行的1×1和3×3卷积流中，在1×1分支中，执行另一组点向1×1卷积，输出N/n

进一步的，所述利用所述轻量化计算成像框架和所述距离生成网络，确定轻量级深度学习压缩全息成像模型，包括：

将所述轻量化计算成像框架与所述距离生成网络引入PI-OT-cycleGAN模型中，得到轻量级深度学习压缩全息成像模型PI-LW-OT-cycleGAN。

进一步的，所述轻量级深度学习压缩全息成像模型的损失函数为：

其中，Θ,ψ和η分别为计算成像框架G

损失函数的第一项是循环一致性损失l

其中，

损失函数的第二项是Wasserstein GAN(WGAN)损失l

其中，λ

在WGAN框架中，鉴别器通过梯度惩罚进行正则化以满足1-Lipschitz条件，损失函数的的第三项为梯度惩罚损失l

其中，

损失函数的第四项，使用结构相似指数structural similarity index来惩罚原始和重建的复振幅之间的差异，其中，l

在本发明的第二方面，公开了一种基于物理启发的轻量级深度学习压缩成像装置。

该装置包括：

压缩全息感知模型构建模块，用于构建压缩全息感知模型；

计算成像框架构建及复值振幅恢复模块，用于利用所述压缩全息感知模型获取低维衍射强度，利用计算超分重建方法构建计算成像框架，利用所述计算成像框架从所述低维衍射强度中恢复复值振幅；

轻量化网络构建模块，用于构建基于LIST层的轻量化计算成像框架与距离生成网络；

轻量级深度学习压缩全息成像模型构建模块，用于利用所述轻量化计算成像框架和所述距离生成网络，确定轻量级深度学习压缩全息成像模型；

压缩成像模块，用于利用所述轻量级深度学习压缩全息成像模型，进行压缩全息成像。

和现有技术相比，本发明的优点为：

本发明提出了一种基于物理启发的轻量级深度学习压缩成像方法，能同时从低维衍射强度中重建出高质量复值振幅光场与距离估计，该方法由提出的计算成像框架和轻量化网络两部分构成，在计算成像框架中又分为压缩全息感知模型与计算超分重建两部分，其中计算超分重建部分分为超分重建和Refine两个模块。使用该框架可以实现在测量设备受限的情况下得到低维衍射强度图并重建出高质量的复值振幅图且拥有更精准的距离估计。在轻量化网络部分，使用基于LIST(Light Spatial Transition)层的轻量化网络代替原有的卷积层，简化了网络的参数量和计算量，很大程度上节约了计算成本。实验证明，本发明的方法耗费更少的时间，尤其是在低维衍射强度条件时同时实现更高质量的复振幅重建和更精准的重建距离估计。

附图说明

图1是本发明中轻量级深度学习压缩全息成像方法的流程图；

图2是压缩全息感知模型的成像原理图；

图3是超分重建网络架构图；

图4是Holo-Unet网络架构图；

图5是压缩全息感知模型与计算超分重建框架图；

图6是LIST层示意图；

图7是计算超分重建的工作流程图；

图8是在不同距离下使用本发明所述的方法与PI-OT-cycleGAN方法进行单次重建实验结果与GT的对比图。

具体实施方式

下面结合附图对本发明做进一步说明：

全息成像提出了一个病态逆映射问题，即从测量的衍射强度模式中检索出复值振幅图。现有的深度学习全息成像方法往往只依赖于给定数据分布之间的统计关系，这损害了它们在实际成像配置中的可靠性。

基于此，本发明提出了一种基于物理启发的轻量级深度学习压缩全息成像方法及装置，能够从低维衍射强度中同时实现高质量复值振幅光场重建及高精度距离估计。该方法由提出的计算成像框架和轻量化网络两模块组成，使用该计算成像框架可以实现在测量设备受限的情况下得到低维衍射强度图并重建出高质量的复值振幅图及更精准的距离估计。在轻量化网络部分，使用轻量化网络代替原有的卷积层，简化了网络的参数量和计算量，很大程度上节约了计算成本。

如图1所示的一种基于物理启发的轻量级深度学习压缩成像方法。

该方法包括以下步骤：

S1、构建压缩全息感知模型；

S2、利用所述压缩全息感知模型获取低维衍射强度，利用计算超分重建方法构建计算成像框架，利用所述计算成像框架从所述低维衍射强度中恢复复值振幅；

S3、分别构建基于LIST层的轻量化计算成像框架与距离生成网络；

S4、利用所述轻量化计算成像框架和所述距离生成网络，确定轻量级深度学习压缩全息成像模型；

S5、利用所述轻量级深度学习压缩全息成像模型，进行压缩全息成像。

现有的PI-OT-cycleGAN网络存在需要使用高质量衍射强度图的问题，其衍射强度图需要使用基于傅里叶变换的离轴全息重建算法得到，这通常需要复杂的实验设备和大量的计算资源。本发明所提出的压缩全息感知模型，能够在测量设备受限的情况下，使用积分采样得到低维的衍射强度。

该压缩全息感知模型理论表明，如果物体U＝Ae

I(x,y；z＝d)＝ΦU(x,y；z＝0)+e (1)

其中，公式(1)即为压缩全息感知模型，Φ为压缩感知矩阵，其目的是在测量设备受限时，减小测量次数，且能够获得低质量的衍射强度，使得稀疏高维信号能够从测量向量中成功恢复出来。e为该过程产生的噪声。该压缩全息感知模型成像原理如图2所示。

本发明提出一种新的计算超分重建算法，该算法由超分重建模块和Refine模块两个模块组成，能够从由压缩全息感知模型中获得的低维衍射强度中恢复出高质量的复值振幅。

所述利用所述压缩全息感知模型获取低维衍射强度，利用计算超分重建方法构建计算成像框架，利用所述计算成像框架从所述低维衍射强度中恢复复值振幅，包括：

S21、构建超分重建模块

其中，τ为正则化常数，l

所述超分重建模块

S22、构建Holo-Unet网络；

所述Holo-Unet网络基于Unet网络架构，包括第二编码器、中间层和第二解码器。

第二编码器将复值振幅图作为输入，由两个重复的卷积块组成，其中包括3×3卷积层和ReLU单元，以及一个2×2的最大池化层；所述中间层由两个重复的卷积块组成；所述第二解码器由两个卷积块和转置卷积组成，最终生成复值振幅图。

S23、将所述超分重建模块

超分重建模块

在引入计算超分重建模块后，为了提高生成的复值振幅图质量同时尽量减少额外的运算量，本发明提出了一种较为简单的Holo-Unet网络，该网络结合了Unet的特点和全息图的特殊性，用于更好地捕捉全息图的高频信息。该网络被用于实现超分后的refined网络。该网络主要基于Unet网络架构，由一个编码器、一个中间层和一个解码器组成。编码器将复值振幅图作为输入，由两个重复的卷积块组成，其中包括3×3卷积层和ReLU单元，以及一个2×2的最大池化层。中间层同样由两个重复的卷积块组成，结构与编码器相似，用于更深层的特征提取。解码器由两个卷积块和转置卷积组成，最终生成复值振幅图。Holo-Unet的网络结构如图4所示。将CHSM与CSR两部分相结合得到本发明提出的计算成像总体框架，使用该框架可以从低维衍射强度中重建出高质量的复值振幅。其结构如图5所示。

进一步的，PI-OT-cycleGAN网络具有相对复杂的网络结构，这也导致其网络运算参数量和FLOPs很高，训练时间长。针对这一问题，可以将LIST层引入生成网络中，代替原本网络中的卷积核大小为3×3的卷积层，生成轻量化的生成网络。LIST层同时受益于局部特征聚合和多尺度空间处理，使用的参数比类似的3×3卷积层少24倍，大大减轻了设备的运算负担。

在两个连续层之间存在一个能够进行通用函数逼近的“子网络”，如多层感知机(MLP)，可以提高CNN的特征提取能力。在LIST中，通过两个连续的1×1卷积层的一个并行分支和中间的ReLu非线性来实现这一功能，以提高特征的稀疏性。这种1×1卷积的级联促进了参数跨通道池化，并使网络能够学习非平凡的转换。

LIST层的具体结构如图6所示。一个LIST层是用来用M个输入和N个输出特征通道代替一个正常的3×3卷积层。输入到LIST模块的是形状为(H,W,M)(高度，宽度，通道)的特征体。在第一步中，输入体积与M/k个1×1核进行点卷积；K是压缩比。在第二阶段，将这k个特征映射传递到两个并行的1×1和3×3卷积流中。在1×1分支中，执行另一组点向1×1卷积，输出N/n

将本发明提出的计算成像框架与基于LIST层的轻量化网络引入PI-OT-cycleGAN网络中得到本发明所提出的基于物理启发的轻量级深度学习压缩全息成像网络(PI-LW-OT-cycleGAN)，其示意图如图7所示。

提出的模型用以下损失进行训练：

式中，Θ,ψ和η分别为计算超分重建网络G

其中，

其中，λ

梯度惩罚损失为:

式中，

本发明进一步使用结构相似指数(structural similarity index)来惩罚原始和重建的复振幅之间的差异，以提高复振幅生成器在精细结构信息方面的重建性能。

在本发明的第二方面，公开了一种基于物理启发的轻量级深度学习压缩成像装置。

该装置包括：

压缩全息感知模型构建模块，用于构建压缩全息感知模型；

计算成像框架构建及复值振幅恢复模块，用于利用所述压缩全息感知模型获取低维衍射强度，利用计算超分重建方法构建计算成像框架，利用所述计算成像框架从所述低维衍射强度中恢复复值振幅；

轻量化网络构建模块，用于构建基于LIST层的轻量化计算成像框架与距离生成网络；

轻量级深度学习压缩全息成像模型构建模块，用于利用所述轻量化计算成像框架和所述距离生成网络，确定轻量级深度学习压缩全息成像模型；

压缩成像模块，用于利用所述轻量级深度学习压缩全息成像模型，进行压缩全息成像。

压缩成像技术的发展已经为这一问题提供了新的解决方案。压缩成像利用信号的稀疏性质，通过采集远远少于传统成像所需的数据量，仍然能够准确地恢复高质量的图像。这种方法通过减少传感器的采样数来减小计算负担，同时仍然能够保留有关对象函数的重要信息。为了进一步优化全息成像的性能，利用轻量化网络和refined网络，减小模型的复杂性并提高成像质量。这些网络可以在处理物理成像中的确定性扰动时提供更好的鲁棒性，同时还可以提高逆向问题的求解效率。

为验证本发明所提出的方法能够从低维的衍射强度中重建出高质量的复值振幅图且拥有更精准的距离估计，验证本发明的可行性，进行了如下实验。

为本发明中的轻量级深度学习压缩全息成像网络，PI-LW-OT-cycleGAN网络单次重建实验。本节实验参数设置如下：

网络的权重由Xavier归一化初始化，其增益为1。所有的训练过程都采用Adam优化器，参数β

本发明使用了8个批次的规模，在一台拥有24GB内存、Nvidia GeForce RTX 4090图形处理单元和256GB固态硬盘的计算机上对网络进行了长达20000次迭代的训练。在所有实验中，λ

将本发明所述的方法由低维衍射强度重建出的复值振幅图与现有的PI-OT-cycleGAN方法由高质量衍射强度重建出的复值振幅图以及相应的由干涉仪测量得到的真实值(Ground truth)相对比，本发明的方法能够重建出更高质量的复值振幅图。

在3μm的聚苯乙烯微球数据集上，每一种方法都使用测量到的物体到传感器的距离为7-17mm，间距为2mm的衍射强度和复振幅进行训练，且保证训练参数相同。用物体到传感器距离为7-17mm、间距为1mm的176个衍射强度贴片进行重建，并使用相应的真实值进行评估。

如图8所示，为在不同距离下使用本发明的方法与PI-OT-cycleGAN方法进行单次重建实验结果与GT的对比。图8(a)为在7mm距离上由本发明所述的方法使用低维衍射强度图与由PI-OT-cycleGAN方法使用高质量衍射强度图重建出的复值振幅的振幅、相位与估计距离，以及相应距离的真实值的对比；图8(b)为在17mm距离上的对比。

综上所述，本发明提出的基于物理启发的轻量级深度学习压缩全息成像方法，能够从低维衍射强度中同时实现高质量复值振幅光场重建及高精度距离估计。该方法由提出的压缩全息感知模型、计算超分重建框架和轻量化网络组成，使用该计算成像框架可以实现在测量设备受限的情况下得到低维衍射强度图并重建出高质量的复值振幅图及更精准的距离估计。在轻量化网络部分，使用轻量化网络代替原有的卷积层，简化了网络的参数量和计算量，很大程度上节约了计算成本。实验证明，本发明的方法耗费更少的时间，且对于低维衍射强度拥有更高的重建质量与更精准的估计距离。

以上所述实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。