一种基于物理模型驱动网络的全息图计算方法

一、技术领域

本发明涉及全息显示技术，更具体地说，本发明涉及一种基于物理模型驱动网络的全息图计算方法。

二、背景技术

全息3D显示技术能够重建任意3D物体的深度信息并且不会产生视觉疲劳。然而，在全息图的重建过程中，由于激光的高相干性导致的散斑噪声降低了全息3D显示的质量。为了解决这个问题，研究者们提出了许多方法。比如，利用低相干光源作为再现光来重建全息图。这种方法虽然有效抑制了散斑噪声，但会导致全息重建像的亮度和对比度下降。为了提高全息3D显示的质量，也有研究者基于单个空间光调制器的快速刷新特性，结合时序切换的光源来匀化全息重建像中的散斑噪声。这种方法原理简单，但对空间光调制器的刷新率要求较高，且增大了系统的控制难度。近年来，随着计算机科学技术的发展，深度学习方法与全息3D显示的结合越发紧密。国内外有不少研究机构利用深度神经网络来模拟光波从物平面到像平面的物理传播过程。由于光波中的随机相位没有参与深度神经网络的训练过程，训练后的深度神经网络可以快速生成全息图，并且能有效抑制散斑噪声。然而，目前基于深度神经网络的全息图计算方法大部分都使用均方根误差作为损失函数，虽然均方根误差可以容忍较小的误差，但是会导致重建图像的平滑化，无法真实准确地还原被记录物体，另外，神经网络的结构也亟需优化和改进。

三、发明内容

本发明提出一种基于物理模型驱动网络的全息图计算方法。如附图1所示，该方法包括四个步骤：第一步，将一个3D物体输入到编码器与解码器网络中，网络的输出是3D物体特定颜色通道的待优化的纯相位全息图；第二步，将原始的3D物体输入到一个非锐化掩膜滤波器中，经过非锐化掩膜滤波器后输出高频信息，从而得到优化的3D物体；第三步，将待优化的纯相位全息图输入到一个选定的物理模型中，从而输出待优化的纯相位全息图的重建像；第四步，计算重建像与优化的3D物体的损失函数，基于损失函数优化编码器与解码器网络的参数；然后重复上述的四个步骤，直到损失函数的值小于设定的阈值，此时步骤一中输出的纯相位全息图即为最终的全息图，将最终的全息图加载到空间光调制器上，经过激光照射空间光调制器后可以观察到高质量的全息3D显示效果。

步骤一中的编码器与解码器网络的结构如附图2所示。该网络包含四个下采样块、四个上采样块、三个跳过连接层和一个双曲正切激活函数层。下采样块用于提取输入图像的特征信息，如图像的边缘和纹理。上采样块用于将图像恢复到输入时的矩阵大小。跳过连接层用于将下采样块的输出和上采样块的输出相加，以避免梯度消失的问题。双曲正切激活函数层用于将输出全息图的像素值限制在[-π,π]的范围内。

输入图像每经过一个下采样块，图像的通道数增加一倍，图像的高度和宽度减半。如附图3(a)所示，每个下采样块包含两个序列网络1、一个序列网络2和一个1×1卷积层。图像在进入下采样块后，首先分别通过序列网络1、序列网络2和一个1×1卷积层后进行合并，合并的图像在通过一个序列网络1和一个跳过连接层后输出。输入图像每经过一个上采样块，图像的通道数减半，图像的高度和宽度增加一倍。如附图3(b)所示，每个上采样块包含两个序列网络3，一个序列网络4和一个1×1转置卷积层。图像在进入上采样块后，首先分别通过序列网络3、序列网络4和一个1×1转置卷积层后进行合并，合并的图像在通过一个序列网络3和一个跳过连接层后输出。

序列网络1、序列网络2、序列网络3和序列网络4的具体结构分别如附图4(a)-4(d)所示。序列网络1由两个实例规范化层、两个3×3卷积层和两个参数线性整流函数层构成，序列网络2由两个实例规范化层、三个3×3卷积层和两个参数线性整流函数层构成，序列网络3由两个实例规范化层、两个3×3转置卷积层和两个参数线性整流函数层构成，序列网络4由两个实例规范化层、三个3×3转置卷积层和两个参数线性整流函数层构成。实例规范化层用于对单张图像进行归一化操作。参数线性整流函数层用于解决过拟合问题，并加快模型的收敛速度。

步骤二中的非锐化掩膜滤波器用于增强输入图像的高频信息。首先，对输入图像I(x,y)进行高斯模糊，得到模糊图像。然后，用输入图像I(x,y)减去模糊图像，生成非锐化掩膜。最后，用输入图像加上非锐化掩膜，得到的目标图像I

其中，σ是高斯分布的标准差。

优选地，步骤三中的物理模型为带限角谱衍射算法。根据物体的深度信息，将物体分为i(i＝1,2,...)层。记第i层物体的全息图的复数振幅分布为U

其中||·||表示取符号中表达式的模数，j表示虚数，

其中p代表像素间距，M和N分别代表空间光调制器的水平和垂直分辨率。mask(f

优选地，步骤四中的损失函数为多尺度结构相似性和平均绝对误差的组合。多尺度结构相似性和平均绝对误差构成的损失函数Loss的表达式为：

其中，η是多尺度结构相似性和平均绝对误差的权重；k是缩放系数，输入图像的高度和宽度按2

多尺度结构相似性考虑了待优化图像和目标图像在多个尺度上的结构相似性，平均绝对误差的收敛性能也优于均方根误差。因此，使用多尺度结构相似性和平均绝对误差的组合损失函数可以获得比使用均方根误差更好的优化结果。

四、附图说明

附图1为本发明的基于物理模型驱动网络的全息图计算方法的示意图。

附图2为本发明的编码器与解码器的结构示意图。

附图3为本发明的下采样块和上采样块的结构示意图。附图3(a)为下采样块的结构示意图；附图3(b)为上采样块的结构示意图。

附图4为本发明的序列网络的结构示意图。附图4(a)为序列网络1的结构示意图；附图4(b)为序列网络2的结构示意图；附图4(c)为序列网络3的结构示意图；附图4(d)为序列网络4的结构示意图。

附图5为本发明提出的方法与其它方法的光学重建实验结果对比图。附图5(a)为误差扩散法的光学重建实验结果；附图5(b)为随机梯度下降法的光学重建实验结果；附图5(c)为双相位法的光学重建实验结果；附图5(d)为本发明提出的方法的光学重建实验结果。

应该理解上述附图只是示意性的，并没有按比例绘制。

五、具体实施方式

下面详细说明本发明提出的一种基于物理模型驱动网络的全息图计算方法的实施例，对本发明进行进一步的描述。有必要在此指出的是，以下实施例只用于本发明做进一步的说明，不能理解为对本发明保护范围的限制，该领域技术熟练人员根据上述发明内容对本发明做出一些非本质的改进和调整，仍属于本发明的保护范围。

本发明的实施例为：在实验系统中，激光的波长为532nm；空间光调制器的分辨率为1920×1080，像素间距为6.4μm，刷新速度是60Hz；被记录的物体是分辨率为1920×1072的“蝴蝶”，记录距离为200mm。首先，将被记录物体输入到编码器与解码器网络中，以输出物体绿色通道的待优化的纯相位全息图；接着，将原始物体输入到非锐化掩膜滤波器中，以输出高频信息得到优化的物体；通过将待优化的纯相位全息图输入到带限角谱衍射算法中，得到待优化的纯相位全息图的重建像；然后计算重建像与优化的物体之间的损失函数，基于损失函数对编码器与解码器网络进行优化；当设定阈值是0.175时，得到优化后的纯相位全息图，分辨率为1920×1072。将优化后的纯相位全息图加载到空间光调制器上，经过激光照明衍射后可以观察到高质量的全息显示效果。

为了验证本发明所提出的基于物理模型驱动网络的全息图计算方法可以提高全息3D显示的质量，分别采用误差扩散法、随机梯度下降法和双相位法进行对比实验，实验结果如附图5(a)-5(d)所示。附图5(a)是使用误差扩散法得到的重建像，其中左侧方框中的是重建像的局部放大图，重建像的散斑噪声对比度为0.0484，此时观察到散斑噪声比较严重，再现像的纹理不清晰；附图5(b)是使用随机梯度下降法得到的重建像和局部放大图，重建像的散斑噪声对比度为0.0655，此时观察到重建像边缘信息不清晰；附图5(c)是使用双相位法得到的重建像和局部放大图，重建像的散斑噪声对比度为0.0437，此时观察到再现像的细节模糊；附图5(d)是使用基于物理模型驱动网络的全息图计算方法得到的重建像和局部放大图，重建像的散斑噪声对比度为0.0244，能够观察到重建像的边缘和纹理信息得到了恢复。因此，本发明提出的方法能够实现高质量的全息3D显示效果。